特表 2023-501408 機械学習モデルをトレーニングまたは用いるためのシステム、顕微鏡システム、方法およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-01-18

(54)【発明の名称】機械学習モデルをトレーニングまたは用いるためのシステム、顕微鏡システム、方法およびコンピュータプログラム

(51)【国際特許分類】

   G06V 10/778 20220101AFI20230111BHJP

   G06T 7/00 20170101ALI20230111BHJP

   G06V 10/82 20220101ALI20230111BHJP

【ＦＩ】

G06V10/778

G06T7/00 614

G06T7/00 350B

G06V10/82

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022526221

(86)(22)【出願日】2020-10-30

(85)【翻訳文提出日】2022-07-04

(86)【国際出願番号】 EP2020080486

(87)【国際公開番号】W WO2021089418

(87)【国際公開日】2021-05-14

(31)【優先権主張番号】102019130218.8

(32)【優先日】2019-11-08

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】516114695

【氏名又は名称】ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド

【氏名又は名称原語表記】Ｌｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ．

【住所又は居所原語表記】１２ Ｔｅｂａｎ Ｇａｒｄｅｎｓ Ｃｒｅｓｃｅｎｔ， Ｓｉｎｇａｐｏｒｅ ６０８９２４， Ｓｉｎｇａｐｏｒｅ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ゲオルゲ テメリス

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096BA06

5L096BA13

5L096CA02

5L096CA18

5L096DA01

5L096DA02

5L096EA14

5L096FA02

5L096FA06

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

実施例は、機械学習モデルをトレーニングするためのシステム、方法およびコンピュータプログラムに関し、また、有機組織のサンプルの少なくとも１つの特性を検出するための機械学習モデル、方法およびコンピュータプログラムに関し、さらには顕微鏡システムに関する。システムは、１つまたは複数のストレージモジュールおよび１つまたは複数のプロセッサを含む。システムは、有機組織の１つのサンプルの複数の画像を取得するように構成されている。複数の画像は、複数の種々のイメージング特性を用いて撮影される。システムは、複数の画像を用いて機械学習モデルをトレーニングするように構成されている。複数の画像がトレーニングサンプルとして用いられ、有機組織のサンプルの少なくとも１つの特性に関する情報が、機械学習モデルの所望の出力として用いられる。機械学習モデルは、この機械学習モデルが、複数の種々のイメージング特性の適切なサブセット（のみ）を再現する画像入力データにおいて、有機組織のサンプルの少なくとも１つの特性を検出するのに適するように、トレーニングされる。システムは、機械学習モデルを供給するように構成されている。

【特許請求の範囲】

【請求項1】

１つまたは複数のストレージモジュール（１１０）および１つまたは複数のプロセッサ（１２０）を含むシステム（１００）であって、前記システム（１００）は、
複数の種々のイメージング特性を用いて撮影された有機組織のサンプルの複数の画像を取得し、
機械学習モデルを、トレーニングサンプルとして用いられる前記複数の画像と、前記機械学習モデルの所望の出力として用いられる有機組織の前記サンプルの少なくとも１つの特性に関する情報と、を用いて、前記機械学習モデルが、前記複数の種々のイメージング特性の適切なサブセットを再現する画像入力データにおいて、有機組織の前記サンプルの前記少なくとも１つの特性を検出するのに適するように、トレーニングし、
前記機械学習モデルを供給する、
ように構成されているシステム（１００）。

【請求項2】

有機組織の前記サンプルの前記少なくとも１つの特性に関する前記情報は、正常または異常な有機組織の前記サンプルの少なくとも１つの部分を表し、
かつ／または、有機組織の前記サンプルの前記少なくとも１つの特性に関する前記情報は、有機組織の前記サンプルの１または複数の特徴の形状を表す、
請求項１記載のシステム。

【請求項3】

異常組織または正常組織に関する情報は、前記機械学習モデルの前記トレーニングの所望の出力として用いられ、
前記機械学習モデルは、前記複数の種々のイメージング特性の適切なサブセットを再現する画像入力データにおいて、異常組織または正常組織を検出するのに適するように、トレーニングされる、
請求項１または２記載のシステム。

【請求項4】

有機組織の前記サンプルの１つまたは複数の特徴の形状に関する情報は、前記機械学習モデルの前記トレーニングの所望の出力として用いられ、
前記機械学習モデルは、前記機械学習モデルが、前記複数の種々のイメージング特性の適切なサブセットを再現する画像入力データにおいて、１つまたは複数の特徴の前記形状を決定するのに適するように、トレーニングされる、
請求項１から３までのいずれか１項記載のシステム。

【請求項5】

前記複数の種々のイメージング特性は、種々のスペクトル帯域、種々のイメージングモード、種々の偏光、および、時間分解イメージング系列における種々の時点のうちの少なくとも１つに関係する、
請求項１から４までのいずれか１項記載のシステム。

【請求項6】

前記複数の画像は、種々のスペクトル帯域で撮影された顕微鏡画像、種々のイメージングモードで撮影された顕微鏡画像、種々の偏光で撮影された顕微鏡画像、および、時間分解イメージング系列における種々の時点を表す顕微鏡画像から成るグループの１つまたは複数の要素を含む、
請求項１から５までのいずれか１項記載のシステム。

【請求項7】

前記複数の画像は、有機組織の前記サンプルの１つまたは複数の三次元表現を含み、
かつ／または、有機組織の前記サンプルの前記少なくとも１つの特性に関する前記情報は、有機組織の前記サンプルの前記三次元表現に基づく、
請求項１から６までのいずれか１項記載のシステム。

【請求項8】

有機組織の前記サンプルの前記少なくとも１つの特性に関する前記情報は、前記複数の画像に基づいており、
前記システムは、有機組織の前記サンプルの前記少なくとも１つの特性に関する前記情報を取得するために、前記画像を処理するように構成されている、
請求項１から７までのいずれか１項記載のシステム。

【請求項9】

前記画像は、特定のタイプの異常組織を表すイメージング特性を用いて撮影され、
かつ／または、前記画像は、有機組織の前記サンプルの１つまたは複数の特徴の形状を表すイメージング特性を用いて撮影され、
かつ／または、前記画像は、蛍光スペクトル画像であり、
かつ／または、前記画像は、トレーニングサンプルとして除外されている、
請求項８記載のシステム。

【請求項10】

有機組織の前記サンプルの前記少なくとも１つの特性に関する前記情報は、前記複数の画像のうち２つ以上の複数の画像に基づいており、
前記２つ以上の画像各々は、特定の種類の異常組織を表すイメージング特性を用いて撮影され、
または、前記２つ以上の画像各々は、有機組織の前記サンプルの１つまたは複数の特徴の形状を表すイメージング特性を用いて撮影される、
請求項８から１０までのいずれか１項記載のシステム。

【請求項11】

前記複数の画像の少なくとも１つのサブセットは、有機組織の前記サンプルに適用される少なくとも１つの外部蛍光色素に合わせて調整されたスペクトル帯域を再現し、
かつ／または、前記複数の画像の少なくとも１つのサブセットは、有機組織の前記サンプルの少なくとも一部の自己蛍光に合わせて調整されたスペクトル帯域を再現する、
請求項１から１０までのいずれか１項記載のシステム。

【請求項12】

前記システムは、前記複数の画像をピクセル単位ベースで相関させるように構成されており、
前記機械学習モデルは、相関された前記複数の画像に基づいてトレーニングされる、
請求項１から１１までのいずれか１項記載のシステム。

【請求項13】

前記複数の画像は、１つまたは複数の反射スペクトル画像および１つまたは複数の蛍光スペクトル画像を含み、
前記１つまたは複数の反射スペクトル画像は、可視光スペクトルを再現し、
かつ／または、前記１つまたは複数の蛍光スペクトル画像は、各々、有機組織の前記サンプルにおいて観察可能な特定の波長での蛍光に合わせて調整されたスペクトル帯域を再現する、
請求項１から１１までのいずれか１項記載のシステム。

【請求項14】

前記システムは、前記画像入力データにおける有機組織の前記サンプルの前記少なくとも１つの特性を検出するために、前記複数の種々のイメージング特性の前記適切なサブセットを再現する画像入力データと共に、前記機械学習モデルを用いるように構成されている、
請求項１から１３までのいずれか１項記載のシステム。

【請求項15】

前記画像入力データは、可視光スペクトル内で動作するカメラの画像入力データであり、
かつ／または、前記画像入力データは、外部蛍光色素によって処理されていない組織から取得される、
請求項１４記載のシステム。

【請求項16】

請求項１から１３までのいずれか１項記載のシステムを用いてトレーニングされた機械学習モデル。

【請求項17】

機械学習モデルをトレーニングするための方法であって、前記方法は、
複数の種々のイメージング特性を用いて撮影された有機組織のサンプルの複数の画像を取得するステップ（２１０）と、
機械学習モデルを、トレーニングサンプルとして用いられる前記複数の画像と、前記機械学習モデルの所望の出力として用いられる有機組織の前記サンプルの少なくとも１つの特性に関する情報と、を用いて、前記機械学習モデルが、前記複数の種々のイメージング特性の適切なサブセットを再現する画像入力データにおいて、有機組織の前記サンプルの前記少なくとも１つの特性を検出するのに適するように、トレーニングするステップ（２２０）と、
前記機械学習モデルを供給するステップ（２３０）と、
を含む方法。

【請求項18】

有機組織のサンプルの少なくとも１つの特性を検出するための方法であって、前記方法は、請求項１６記載の機械学習モデルを、複数の種々のイメージング特性の適切なサブセットを再現する画像入力データと共に用いるステップ（２５０）を含む方法。

【請求項19】

コンピュータプログラムがプロセッサにおいて実行されるときに、請求項１７または１８のいずれか１項記載の方法のうちの少なくとも１つを実施するためのプログラムコードを含むコンピュータプログラム。

【請求項20】

請求項１８記載の方法を実行するように構成された顕微鏡システム（３００）。

【発明の詳細な説明】

【技術分野】

【0001】

実施例は、機械学習モデルをトレーニングするためのシステム、方法およびコンピュータプログラムに関し、また、有機組織のサンプルの少なくとも１つの特性を検出するための機械学習モデル、方法およびコンピュータプログラムに関し、さらには顕微鏡システムに関する。

【背景技術】

【0002】

顕微鏡の主な用途は有機組織の分析にある。例えば、顕微鏡を用いて有機組織の詳細なビューを得ることができ、これによって開業医および外科医は、正常な有機組織の中から、異常（すなわち「病的」）組織などのような組織の特徴を検出することができる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

組織の特徴をいっそう良好に検出できるようにする、有機組織分析のための改善されたアプローチが要求される場合がある。

【課題を解決するための手段】

【0004】

この要求は、独立請求項の保護対象によって対処される。

【0005】

本開示の実施形態は、１つまたは複数のストレージモジュールおよび１つまたは複数のプロセッサを含むシステムを提供する。システムは、有機組織の１つのサンプルの複数の画像を取得するように構成されている。複数の画像は、複数の種々のイメージング特性を用いて撮影される。システムは、複数の画像を用いて機械学習モデルをトレーニングするように構成されている。複数の画像がトレーニングサンプルとして用いられ、有機組織のサンプルの少なくとも１つの特性に関する情報が、機械学習モデルの所望の出力として用いられる。機械学習モデルは、この機械学習モデルが、複数の種々のイメージング特性の適切なサブセット（のみ）を再現する画像入力データにおいて、有機組織のサンプルの少なくとも１つの特性を検出するのに適するように、トレーニングされる。システムは、機械学習モデルを供給するように構成されている。

【0006】

特徴の形状など、または異常組織など、有機組織の所定の特徴を、種々の画像特性で撮影された画像において、いっそう容易に検出することができる。例えば所定のスペクトル帯域では、有機組織の一部の反射、蛍光または生物発光を、異常組織に関して特徴的なものとすることができる。種々の画像特性を用いて（例えば種々のスペクトル帯域で、種々のイメージングモードで、種々の偏光等を用いてなど）撮影された同じ有機組織の複数の画像を用いることによって、種々の画像特性の適切なサブセットにしかマッチしない画像からであっても、異常組織などの少なくとも１つの特徴の発現を推定するように、人工知能の形態を提供可能な機械学習モデルをトレーニングすることができる。例えば、画像特性として、可視光スペクトルまたは反射イメージングを有する白色光反射画像（カラー画像）に加えて、異常組織などの特性がその反射または蛍光ゆえに際立っているスペクトル帯域で撮影されたトレーニングサンプルとして、付加的な画像を用いることができる。機械学習モデルは、複数のイメージング特性を用いて撮影された入力サンプルを用いて特性を検出するように「学習」することができ、これにより、イメージング特性のサブセットのみを再現する入力データが機械学習モデルに供給されたとしても、異常組織または正常組織といった特徴の検出を依然として実現可能である。

【0007】

本開示の実施形態によればさらに、機械学習モデルをトレーニングするための方法が提供される。この方法は、有機組織のサンプルの複数の画像を取得するステップを含む。複数の画像は、複数の種々のイメージング特性を用いて撮影される。この方法は、複数の画像を用いて機械学習モデルをトレーニングするステップを含む。複数の画像がトレーニングサンプルとして用いられ、有機組織のサンプルの少なくとも１つの特性に関する情報が、機械学習モデルのトレーニングにおける機械学習モデルの所望の出力として用いられる。機械学習は、この機械学習モデルが、複数の種々のイメージング特性の適切なサブセットを再現する画像入力データにおいて、有機組織のサンプルの少なくとも１つの特性を検出するのに適するように、トレーニングされる。この方法は、機械学習モデルを供給するステップを含む。本開示の実施形態によればさらに、システムまたは方法を用いてトレーニングされる機械学習モデルが提供される。

【0008】

本開示の実施形態によればさらに、有機組織のサンプルの少なくとも１つの特性を検出するための方法が提供される。この方法は、上述のシステムまたは方法によって生成された機械学習モデルを、複数の種々のイメージング特性の適切なサブセットを再現する画像入力データと共に用いるステップを含む。

【0009】

実施形態によればさらに、コンピュータプログラムがプロセッサにおいて実行されるときに、上述の方法のうちの少なくとも１つを実行するためのプログラムコードを含むコンピュータプログラムが提供される。

【0010】

かかる実施形態を、例えば、手術中に少なくとも１つの特徴の検出を支援するために、手術用顕微鏡などの顕微鏡において用いることができる。本開示の実施形態によれば、上述のシステムを含む、または複数の方法のうちの少なくとも１つを実行するように構成された顕微鏡システムが提供される。

【0011】

以下では、単なる例として添付の図面を参照しながら、装置および／または方法のいくつかの実施例について説明する。

【図面の簡単な説明】

【0012】

【図1】システムに関する１つの実施形態を示すブロック図である。

【図2a】機械学習モデルをトレーニングするための方法に関する１つの実施形態を示すフローチャートである。

【図2b】有機組織のサンプルの少なくとも１つの特性を検出するための方法に関する１つの実施形態を示すフローチャートである。

【図3】顕微鏡システムを示すブロック図である。

【図4a】有機組織のサンプルの少なくとも１つの特性の検出について示す概略図である。

【図4b】有機組織のサンプルの少なくとも１つの特性の検出について示す概略図である。

【図5a】有機組織のサンプルの少なくとも１つの特性の検出について示す概略図である。

【図5b】有機組織のサンプルの少なくとも１つの特性の検出について示す概略図である。

【図5c】有機組織のサンプルの少なくとも１つの特性の検出について示す概略図である。

【図6a】有機組織のサンプルの少なくとも１つの特性の検出について示す概略図である。

【図6b】有機組織のサンプルの少なくとも１つの特性の検出について示す概略図である。

【発明を実施するための形態】

【0013】

次に、いくつかの実施例が示された添付の図面を参照しながら、さまざまな実施例についてさらに詳しく説明する。見やすくするために、図中、線、層および／または領域の厚みが強調されている場合もある。

【0014】

かくしてさらなる実施例は、さまざまな変形および択一的な形態が可能なものであるが、図面にはそれらのうちいくつかの特定の実施例が示されており、それらの実施例について以下で詳しく説明する。ただしこの詳細な説明は、さらなる実施例を説明されている特定の形態に限定するものではない。さらなる実施例は、本開示の範囲内に収まるあらゆる変形、均等物および代替をカバーすることができる。同じまたは同様の参照符号は、図面の説明全体を通して同様のまたは類似の要素を指しており、それらの要素を同一に、あるいは同じまたは類似の機能を提供しながらも互いに対比した場合に変形された形態で、実装することができる。

【0015】

自明のとおり、ある要素が別の要素と「接続されている」または「結合されている」ものとして言及されているならば、それらの要素は直接的に接続または結合されているかもしれないし、あるいは１つまたは複数の介在要素を介して接続または結合されているかもしれない。２つの要素ＡおよびＢが「または」を用いて結合されているならば、このことは、明示的にまたは暗黙的に他の趣旨で定義されていなければ、全ての可能な組み合わせ、すなわちＡのみ、Ｂのみ、ならびにＡおよびＢ、を開示していると解されたい。同じ組み合わせに対する択一的な言葉遣いは、「ＡおよびＢのうちの少なくとも１つ」あるいは「Ａおよび／またはＢ」である。同じことは、２つの要素よりも多くの組み合わせについて準用される。

【0016】

特定の実施例を説明する目的で本明細書において用いられる用語は、さらなる実施例の限定を意図するものではない。定冠詞、不定冠詞など単数形が用いられ、かつ単一の要素のみを用いることが、明示的にも暗黙的にも必須のこととして定義されていないときはいつでも、同じ機能を実現するためにさらなる実施例が複数の要素を用いることもできる。同様に、それに続いて機能が複数の要素を用いて実現されるものとして説明されているならば、さらなる実施例が単一の要素または処理エンティティを用いて、同じ機能を実現することができる。さらに自明のとおり、用語「有する」、「有している」、「含む」、および／または「含んでいる」は、これらが用いられたときに、記載された特徴、完全体、ステップ、オペレーション、プロセス、挙動、要素、および／またはコンポーネントの存在を指定するが、１つまたは複数の他の特徴、完全体、ステップ、オペレーション、プロセス、挙動、要素、コンポーネント、および／またはそれらの任意のグループの存在または追加を除外するものではない。

【0017】

他の趣旨で定義されていない限り、（技術用語および科学用語を含め）全ての用語は本明細書において、実施例が属する分野のそれらの通常の意味で用いられる。

【0018】

図１には、機械学習モデルをトレーニングするためのシステム１００に関する１つの実施形態のブロック図が示されている。システムは、１つまたは複数のストレージモジュール１１０、および１つまたは複数のストレージモジュール１１０に結合された１つまたは複数のプロセッサ１２０を含む。任意選択的に、システム１００は、情報を取得および／または供給するために、例えば機械学習モデルを供給するために、かつ／または複数の画像を取得するために、１つまたは複数のプロセッサ１２０に結合可能な１つまたは複数のインタフェース１３０を含む。一般に、システムの１つまたは複数のプロセッサ１２０を、例えば、１つまたは複数のストレージモジュール１１０および／または１つまたは複数のインタフェース１３０と連携して、以下のタスクを実行するように構成することができる。

【0019】

システムは、有機組織の１つのサンプルの複数の画像を取得するように構成されている。複数の画像は、複数の種々のイメージング特性を用いて撮影される。システムは、複数の画像を用いて機械学習モデルをトレーニングするように構成されている。複数の画像は、トレーニングサンプルとして用いられる。有機組織のサンプルの少なくとも１つの特性に関する情報が、機械学習モデルの所望の出力として用いられる。機械学習モデルは、（例えば複数の種々のイメージング特性の全体ではなく）複数の種々のイメージング特性の適切なサブセット（のみ）を再現する画像入力データにおいて、有機組織のサンプルの少なくとも１つの特性を検出するのに適しているように、トレーニングされる。システムは、機械学習モデルを供給するように構成されている。例えばシステムを、コンピュータにより実装されたシステムとすることができる。

【0020】

実施形態によれば、機械学習モデルをトレーニングするためのシステム、方法およびコンピュータプログラムが提供される。機械学習とは、コンピュータシステムが、明示的な命令を用いることなく、その代わりにモデルおよび推論に依拠して、特定のタスクを実行するために用いることができるアルゴリズムおよび統計モデルのことを指すものであるといえる。例えば機械学習においては、ルールベースのデータ変換の代わりに、過去のデータおよび／またはトレーニングデータの分析から推論されるデータ変換を用いることができる。例えば画像コンテンツを、機械学習モデルを用いて、または機械学習アルゴリズムを用いて、解析することができる。機械学習モデルが画像コンテンツを解析するために、機械学習モデルを、入力としてトレーニング画像を、出力としてトレーニングコンテンツ情報を用いて、トレーニングすることができる。多数のトレーニング画像および／またはトレーニングシーケンス（例えば単語または文）ならびに関連するトレーニングコンテンツ情報（例えばラベルまたはアノテーション）を用いて機械学習モデルをトレーニングすることにより、機械学習モデルは、画像コンテンツを認識することを「学習」し、したがってトレーニングデータに含まれていない画像コンテンツを、機械学習モデルを用いて認識することができる。

【0021】

機械学習モデルを、トレーニング入力データを用いてトレーニングすることができる。上述の例は、「教師あり学習」と称されるトレーニング方法を用いる。教師あり学習の場合、機械学習モデルは、複数のトレーニングサンプルを用いてトレーニングされ、その際に各サンプルは、複数の入力データ値と、複数の所望の出力値と、を含むことができ、つまり各トレーニングサンプルは、所望の出力値と関連付けられている。トレーニングサンプルと所望の出力値の双方を指定することによって、機械学習モデルは、トレーニング中に供給されたサンプルに類似する入力サンプルに基づき、いずれの出力値を共有するのかを「学習」する。

【0022】

実施形態によれば、このアプローチを複数の画像において用いることができる。換言すれば、機械学習モデルを、教師あり学習を用いてトレーニングすることができる。複数の画像が、トレーニングサンプルとして機械学習モデルに供給される。例えば複数の画像を、機械学習モデルの複数の入力において、例えば同時に入力することができる。対応する所望の出力として、少なくとも１つの特性に関する情報を用いることができる。例えば、有機組織のサンプルの少なくとも１つの特性に関する情報は、正常なまたは異常な有機組織のサンプルの少なくとも１つの部分を表すことができる。したがって、異常組織または正常組織に関する情報を、機械学習モデルのトレーニングの所望の出力として用いることができる。このケースでは機械学習モデルを、複数の種々のイメージング特性の適切なサブセットを再現する画像入力データにおいて、異常組織または正常組織を検出するために機械学習モデルが適するように、トレーニングすることができる。択一的にまたは付加的に、有機組織のサンプルの少なくとも１つの特性に関する情報は、有機組織のサンプルの１つまたは複数の特徴（例えば血管、有機組織のサンプルの別個の部分、骨構造など）の形状を表すことができる。したがって有機組織のサンプルの１つまたは複数の特徴の形状に関する情報を、機械学習モデルのトレーニングの所望の出力として用いることができる。このケースでは機械学習モデルを、複数の種々のイメージング特性の適切なサブセットを再現する画像入力データにおいて、１つまたは複数の特徴の形状を検出するために機械学習モデルが適するように、トレーニングすることができる。一般に、有機組織のサンプルの少なくとも１つの特性に関する情報を、例えば異常組織または正常組織に関する情報を、あるいは有機組織のサンプルの１つまたは複数の特徴の形状に関する情報を、有機組織のサンプルの少なくとも１つの特性を表す有機組織のサンプルの部分がハイライト表示されたまたは指し示された画像またはビットマップに対応させることができる。機械学習の成果を向上させるために、画像またはビットマップは、複数の画像のうちの画像と同じサイズを有することができ、または少なくとも同じアスペクト比を有することができ、かつ／または有機組織のサンプルの同じセグメントを表すことができる。機械学習モデルのトレーニング精度を改善し、ひいては、複数の種々の画像特性を有する撮影された画像を用いることで取得された値を改善するために、ａ）複数の画像が互いに正確に位置合わせされ、これにより、第１の画像内のピクセルに示された有機組織の一部が、複数の画像のうちの第２の画像の対応するピクセルにおいても示され、ｂ）画像を実質的に同時に撮影することができ、これにより例えば有機組織が画像同士で変化しないことが保証される。換言すれば、複数の画像をピクセル単位ベースで相関させる（すなわち正確に位置合わせする）ように、システムを構成することができる。機械学習モデルを、相関された複数の画像に基づいてトレーニングすることができる。付加的にまたは択一的に、複数の画像を実質的に同時に記録された画像とすることができる。換言すれば、複数の画像を、相互に最大３０秒（または最大１５秒、最大１０秒、最大５秒、最大２秒、最大１秒）以内に撮影することができる（上述の複数の画像の各画像ペアに適用）。

【0023】

システムは、有機組織の１つのサンプルの複数の画像を取得するように構成されている。生物学において組織は、同じ起源を持ち、一緒に特定の機能を実行する類似の細胞（および細胞外基質）の集合体である。「有機」組織という用語は、その組織が、動物、ヒトまたは植物などの有機物の一部であるか、または有機物に由来する、ということを意味する。例えば、有機組織を（ヒトの）脳組織とすることができ、機械学習モデルを、脳腫瘍（脳腫瘍である異常組織）を検出するようにトレーニングすることができる。例えば、有機組織の同じサンプルについて、複数の画像を同じ角度から撮影することができる。複数の画像は、有機組織のサンプルの同じセグメントを示すことができる。（例えば複数の画像の相関後に）第１の画像内のピクセルに示されている有機組織の一部が、複数の画像のうちの第２の画像の対応するピクセルにも示されているように、複数の画像を互いに正確に位置合わせすることができる。少なくともいくつかの実施例によれば、複数の画像は複数の顕微鏡画像であり、すなわち顕微鏡のカメラによって撮影された複数の画像である。

【0024】

複数の画像は、複数の種々のイメージング特性を用いて撮影される。この文脈において、「イメージング特性」という用語は、複数の画像が種々の技術を用いて撮影され、その結果、たとえ同一の有機組織であっても（実質的に同時に）種々の特性を有する画像が得られる、ということを意味する。例えば複数の画像を、種々のスペクトル帯域で、種々のイメージングモード（これらのイメージングモードは、反射イメージング、蛍光イメージングおよび生物発光イメージングのうちの少なくとも２つである）を用い、種々の偏光（例えば円偏光、直線偏光、種々の角度での直線偏光）を用いて、さらに時間分解イメージング系列における種々の時点の種々の画像であるように、撮影することができる。換言すれば、複数のイメージング特性を、種々のスペクトル帯域、種々のイメージングモード、種々の偏光、および時間分解イメージング系列における種々の時点のうちの少なくとも１つに関係するものとすることができる。したがって複数の画像は、種々のスペクトル帯域で撮影された顕微鏡画像、種々のイメージングモードで撮影された顕微鏡画像、種々の偏光で撮影された顕微鏡画像、および時間分解イメージング系列における種々の時点を表す顕微鏡画像から成るグループの１つまたは複数の要素を含むことができる。

【0025】

種々のスペクトル帯域で撮影されたスペクトル画像を、画像によって再現される光の波長範囲（すなわち「帯域」）がそれぞれ異なる画像とすることができる。このことを、種々のセンサを用いる（例えば所定の波長範囲に対してのみ感応するセンサを用いる）ことにより、センサの前に種々のフィルタを配置する（種々のフィルタが種々の波長範囲をフィルタリングする）ことにより、または有機組織のサンプルを種々の波長範囲の光を用いて照射することによって、達成することができる。

【0026】

種々のスペクトル帯域を用いることによって、種々のイメージングモードを、例えば反射イメージング、蛍光イメージングまたは生物発光イメージングを、実現することができる。反射イメージングの場合、有機組織のサンプルを照射するために用いられる同じ波長で、有機組織のサンプルにより光が反射され、反射された光が個々の画像によって再現される。蛍光イメージングの場合、有機組織のサンプルを照射するために用いられる波長（または波長範囲）とは異なる波長（または波長範囲）で、有機組織のサンプルにより光が放出され、放出された光が個々の画像によって再現される。生物発光イメージングの場合、組織のサンプルは照射されないが、それにもかかわらず光を放出し、この光が個々の画像によって再現される。反射イメージング、蛍光イメージングまたは生物発光イメージングにおいて、１つまたは複数のフィルタを用いて、個々の画像によって再現される波長範囲を制限することができる。以下、ほとんどの実施例は、種々のスペクトル帯域および／または種々のイメージングモードが用いられることに関するものである。

【0027】

さまざまな実施形態によれば、異常組織を表す、または有機組織のサンプルに適用される蛍光色素を検出するために用いられる、種々のスペクトル帯域が用いられる。例えば外部蛍光色素として、フルオレセイン、インドシアニングリーン（ＩＣＧ）または５－ＡＬＡ（５－アミノレブリン酸）を用いることができる。換言すれば、画像の少なくとも１つのサブセットを、外部蛍光色素の使用または有機組織のサンプルの自己蛍光（のいずれか）に基づくものとすることができる。蛍光色素を、異常組織である有機組織のサンプルの一部に適用することができ、したがって例えば蛍光色素を、対応するスペクトル帯域で撮影された複数の画像のうちの少なくとも１つにおいて区別することができる。これに加えいくつかのケースによれば、正常組織もしくは異常組織、または有機組織のサンプルの所定の特徴を、自己蛍光性とすることができ、したがってその特徴を（やはり）、対応するスペクトル帯域で撮影された複数の画像のうちの少なくとも１つにおいて区別することもできる。したがって、複数の画像の少なくとも１つのサブセットは、有機組織のサンプルに適用される少なくとも１つの外部蛍光色素、例えば蛍光色素が適用される有機組織の一部によって光が放出されるスペクトル帯域、に合わせて調整されたスペクトル帯域を再現することができる。付加的にまたは択一的に、複数の画像の少なくとも１つのサブセットは、有機組織のサンプルの少なくとも一部の自己蛍光に合わせて調整されたスペクトル帯域、例えば自己蛍光特性を有する有機組織の一部によって光が放出されるスペクトル帯域、を再現する。

【0028】

一般に複数の画像は、１つまたは複数の反射スペクトル画像および１つまたは複数の蛍光スペクトル画像を含むことができる。例えば１つまたは複数の反射スペクトル画像は、可視光スペクトルを再現することができる。１つまたは複数の蛍光スペクトル画像は各々、有機組織のサンプルにおいて観察可能な特定の波長での蛍光に合わせて調整されたスペクトル帯域を再現することができる。その結果、複数の画像は、有機組織のサンプルの少なくとも１つの特性をいっそう良好に区別可能なものとすることができる画像のサブセット（すなわち１つまたは複数の蛍光スペクトル画像）と、少なくとも１つの特性の検出において入力データとして用いられる可能性が高い画像のさらなるサブセットと、を含むことができる。例えば複数の画像は、異常組織を正常組織からいっそう良好に区別可能なものとすることができる画像のサブセット（すなわち１つまたは複数の蛍光スペクトル画像）と、正常組織または異常組織の検出において入力データとして用いられる可能性が高い画像のさらなるサブセットと、を含むことができる。付加的にまたは択一的に、複数の画像は、１つまたは複数の特徴の形状をいっそう良好に区別可能である画像のサブセット（すなわち１つまたは複数の蛍光スペクトル画像）と、１つまたは複数の特徴の形状の検出において入力データとして用いられる可能性が高い画像のさらなるサブセットと、を含むことができる。

【0029】

付加的にまたは択一的に、種々の偏光を用いることができる。種々の偏光を用いて、カメラに入射する光が個々の画像によって再現される方向または角度を制限することができる。種々の偏光を用いる場合、複数の画像は、偏光なしで撮影された１つまたは複数の画像、円偏光を用いて撮影された１つまたは複数の画像、直線偏光を用いて撮影された１つまたは複数の画像、および直線偏光の種々の角度で撮影された種々の画像のうち、１つまたは複数の要素を含むことができる。

【0030】

いくつかの実施形態によれば、種々の時間分解画像を用いることができる。例えば、時間分解イメージング系列における種々の時点の種々の画像を、複数の画像について用いることができる。時間分解イメージング系列の場合には、例えば所定の波長／帯域の光で有機組織のサンプルを照射した後、ある程度の発光作用または蛍光作用が現れるまでにかかる期間（例えば１秒）にわたって、有機組織のサンプルの発光または蛍光が記録される。

【0031】

先に指摘したように、複数の画像は、複数（例えば少なくとも２つ、少なくとも３つ、少なくとも５つ、少なくとも８つ、少なくとも１０個）の種々のイメージング特性を用いて撮影された画像を含む。これまでのところ、画像は二次元画像であった。換言すれば、複数の画像を二次元画像とすることができる。

【0032】

いくつかのケースによれば、何らかの異常組織はその特徴的な三次元の形状または表面構造ゆえに検出可能である可能性もあることから、三次元データも同様に含めるのが有益となる場合もある。したがって複数の画像は、有機組織のサンプルの１つまたは複数の三次元表現を含むことができる。有機組織のサンプルの１つまたは複数の三次元表現は、有機組織のサンプルの三次元表面表現および／または有機組織のサンプルの（顕微鏡）イメージングトモグラフィベースの三次元表現を含むことができる。例えば、有機組織のサンプルの１つまたは複数の三次元表現を、複数の画像の二次元画像と正確に整列させることができる。付加的にまたは択一的に、有機組織のサンプルの１つまたは複数の三次元表現は、有機組織のサンプルの同じセグメントを複数の画像の二次元画像として示すことができる。

【0033】

さまざまな実施形態によれば、複数の画像のうち１つの画像を、機械学習モデルの所望の出力として、または所望の出力を決定するために用いることができ、つまり有機組織のサンプルの少なくとも１つの特性に関する情報（例えば異常組織または正常組織に関する情報、あるいは１つまたは複数の特徴の形状に関する情報）を決定するために用いることができる。これにより、有機組織のサンプルの１つまたは複数の画像について人間によるアノテーションを必要とすることなく、あるいは有機組織のサンプルの少なくとも１つの特性を手動で定義する必要なく、機械学習モデルをトレーニング可能とすることができる。換言すれば、有機組織のサンプルの少なくとも１つの特性に関する情報を、複数の画像のうち以下に示す１つの「参照画像」（または複数の「参照画像」）における１つの画像に基づくものとすることができる。付加的にまたは択一的に、有機組織のサンプルの少なくとも１つの特性に関する情報を、有機組織のサンプルの三次元表現に基づくものとすることができる。参照画像を、有機組織のサンプルの少なくとも１つの特性に関する情報を取得（すなわち決定または生成）するために処理することができる。換言すれば、有機組織のサンプルの少なくとも１つの特性に関する情報（例えば異常組織または正常組織に関する情報あるいは１つまたは複数の特徴の形状に関する情報）を取得するために画像を処理するように、システムを構成することができる。

【0034】

複数の画像のいずれを参照画像として選択するかを決定する際に、注意を払わなければならない可能性がある。一般的には、少なくとも１つの特性を明確に区別可能または視認可能な画像を選択することができる。換言すれば、有機組織のサンプルの特定の特性を表すイメージング特性を用いて、例えば、特定の種類の異常組織（または正常組織）を表す、あるいは有機組織のサンプルの１つまたは複数の特徴の形状を表すイメージング特性を用いて、画像を撮影することができる。先に述べたように、かかる画像を取得するために蛍光イメージングを用いてもよい。換言すれば、参照画像を、蛍光スペクトル画像すなわち蛍光イメージングを用いて撮影された画像とすることができる。かかるケースの場合、例えば、同じイメージング特性を用いて撮影された入力データのみに対してしか動作しないといったような、機械学習モデルのスキューを回避するために、トレーニングサンプルとしてこの画像を除外することができる。

【0035】

いくつかのケースによれば、複数の特性が検出される場合があり、例えば複数の種類の異常組織または複数の種類の特徴が存在する可能性がある。このケースでは例えば、有機組織のサンプルの少なくとも１つの特性に関する情報を取得するために、複数の画像のうち複数の参照画像を使用および／または処理することができる。換言すれば、有機組織のサンプルの少なくとも１つの特性に関する情報を、複数の画像のうち２つ以上の（参照）画像に基づくものとすることができる。有機組織のサンプルの特定の特性を表すイメージング特性を用いて、例えば、特定の種類の異常組織（または正常組織）を表す、あるいは有機組織のサンプルの１つまたは複数の特徴の形状を表すイメージング特性を用いて、２つ以上の画像各々を撮影することができる。その結果、少なくとも１つの特性に関する情報を、複数の種類の特性に基づくものとすることができ、例えば、複数の種類の異常組織に基づくものとすることができ、または複数の種類の特徴に基づくものとすることができる。換言すれば、少なくとも１つの特性に関する情報において、有機組織のサンプルの複数の種々の種類の特性を、例えば別個にまたは組み合わせたかたちで、ハイライト表示するまたは指し示すことができる。

【0036】

機械学習モデルは、この機械学習モデルが、複数の種々のイメージング特性の適切なサブセットを再現する画像入力データにおいて、有機組織のサンプルの少なくとも１つの特性を検出するのに適するように、トレーニングされる。換言すれば、入力データは、機械学習モデルのトレーニングサンプルとして用いられる複数の画像よりも少ないイメージング特性をカバーする（すなわち再現する）ことができる。例えば、画像入力データを、可視光スペクトル内で動作するカメラの画像入力データとすることができ、または可視光スペクトル内で動作するカメラの画像入力データとすることができ、画像入力データはさらに、１つ、２つまたは３つの付加的な反射画像、蛍光画像または生物発光画像を含む。例えばカメラを、顕微鏡のカメラ、例えば図３の顕微鏡３１０のカメラ、とすることができる。可視光スペクトル内で動作するカメラの画像入力データのみなど、複数の特性のサブセット（のみ）が、入力として機械学習モデルに供給される場合に、少なくとも１つの特性の検出が（信頼できる）結果をもたらすように、機械学習モデルをトレーニングすることができる。いくつかのケースによれば、安全上またはコスト上の理由から蛍光色素を用いることができない状況で、機械学習モデルを用いることができる。したがって画像入力データを、外部蛍光色素で処理されていない組織から取得することができる。

【0037】

さまざまな実施形態によれば、有機組織の単一のサンプルのみでは、機械学習モデルを適切にトレーニングするのに十分でない場合がある。このため有機組織の複数のサンプルを、複数の画像から成る複数のセットと共に用いることができる。例えば、複数のセットのうちの複数の画像から成るセット各々を、有機組織のサンプルの少なくとも１つの特性に関する対応する情報と共に用いることができ、例えば機械学習モデルを、この機械学習モデルの入力に適用される単一のセットの複数の画像と、機械学習モデルの所望の出力として用いられる少なくとも１つの特性に関する対応する情報と、によって、トレーニングすることができる。

【0038】

上述のように機械学習モデルを用いて、有機組織のサンプルの少なくとも１つの特性を検出することができ、例えば画像入力データにおける正常組織または異常組織あるいは１つまたは複数の特徴の形状を検出することができる。換言すれば、複数の異なるイメージング特性の（適切な）サブセットを再現する画像入力データと共に機械学習モデルを用い、画像入力データにおける少なくとも１つの特性を検出するように、例えば異常組織または正常組織を、あるいは１つまたは複数の特徴の形状を検出するように、システムを構成することができる。例えば画像入力データは、有機組織、例えば（先に述べた有機組織のサンプルとは異なる）有機組織の別のサンプル、を示すまたは表現することができる。

【0039】

少なくともいくつかの実施形態によれば、例えば、異常組織または正常組織をハイライト表示することによって、あるいは１つまたは複数の特徴の形状をハイライト表示することによって、画像入力データを有機組織のサンプルの少なくとも１つの特性を表す視覚的オーバーレイと重ね合わせるように、システムを構成することができる。

【0040】

１つまたは複数のインタフェース１３０は、モジュール内、モジュール間、または種々のエンティティのモジュール間で、特定のコードによるデジタル（ビット）値であるようにすることができる情報を、受信および／または送信するための１つまたは複数の入力および／または出力に対応するものとすることができる。例えば、１つまたは複数のインタフェース１３０は、情報を受信および／または送信するように構成されたインタフェース回路を含むことができる。

【0041】

実施形態によれば、１つまたは複数の処理ユニット、１つまたは複数の処理デバイス、プロセッサ、コンピュータ、または相応に適合されたソフトウェアと共に動作可能なプログラマブルハードウェアコンポーネントなど、処理のための任意の手段を用いて、１つまたは複数のプロセッサ１２０を実装することができる。換言すれば、１つまたは複数のプロセッサ１２０の既述の機能を、ソフトウェアとして実装することもでき、そのようにした場合にはこのソフトウェアは、１つまたは複数のプログラマブルハードウェアコンポーネントにおいて実行される。かかるハードウェアコンポーネントは、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マイクロコントローラなどを含むことができる。

【0042】

少なくともいくつかの実施形態によれば、１つまたは複数のストレージモジュール１１０は、磁気記憶媒体または光学記憶媒体、例えばハードディスクドライブ、フラッシュメモリ、フロッピーディスク、ランダムアクセスメモリ（ＲＡＭ）、プログラマブルリードオンリメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）、電子消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、またはネットワークストレージなどのような、コンピュータ可読記憶媒体のグループのうちの少なくとも１つの要素を含むことができる。

【0043】

実施形態のさらなる詳細および態様について、提案されたコンセプトあるいは前述または後述の１つまたは複数の実施例に関連して言及する。実施形態は、提案されたコンセプトの１つまたは複数の態様、あるいは前述または後述の１つまたは複数の実施例に対応する、１つまたは複数の付加的な任意の特徴を含むことができる。

【0044】

図２ａには、機械学習モデルをトレーニングするための（コンピュータにより実装された）相応の方法に関する１つの実施形態のフローチャートが示されている。この方法は、有機組織のサンプルの複数の画像を取得するステップ２１０を含む。複数の画像は、複数の種々のイメージング特性を用いて撮影される。この方法は、複数の画像を用いて機械学習モデルをトレーニングするステップ２２０を含む。トレーニングサンプルとして用いられる複数の画像と、有機組織のサンプルの少なくとも１つの特性に関する情報と、が機械学習モデルの所望の出力として用いられる。機械学習モデルは、この機械学習モデルが、複数の種々のイメージング特性の適切なサブセットを再現する画像入力データにおいて、有機組織のサンプルの少なくとも１つの特性を検出するのに適するように、トレーニングされる。この方法は、機械学習モデルを供給するステップ２３０を含む。任意選択的に、この方法は、有機組織のサンプルの少なくとも１つの特性を検出するために、複数の種々のイメージング特性の適切なサブセットを再現する画像入力データと共に機械学習モデルを用いるステップ２５０を含む。

【0045】

択一的にこの検出を、機械学習モデルのトレーニングとは別に実施することができる。かくして機械学習モデルを、トレーニングが別のコンピュータシステムにおいて実施されている間、顕微鏡システム内で用いることができる。よって、図２ｂには、有機組織のサンプルの少なくとも１つの特性を検出するための方法に関する１つの実施形態のフローチャートが示されている。任意選択的に、この方法は、複数の種々のイメージング特性の適切なサブセットを再現する機械学習モデルおよび／または画像入力データを取得するステップ２４０を含む。この方法は、例えば有機組織のサンプルの少なくとも１つの特性を検出するために、複数の種々のイメージング特性の適切なサブセットを再現する画像入力データと共に機械学習モデルを用いるステップ２５０を含む。

【0046】

実施形態のさらなる詳細および態様について、提案されたコンセプトあるいは前述または後述の１つまたは複数の実施例に関連して言及する。実施形態は、提案されたコンセプトの１つまたは複数の態様、あるいは前述または後述の１つまたは複数の実施例に対応する、１つまたは複数の付加的な任意の特徴を含むことができる。

【0047】

図３には、顕微鏡システム３００のブロック図が示されている。例えば顕微鏡システムを、図２ａおよび／または図２ｂの方法のうちの少なくとも１つを実施するように構成することができ、かつ／またはこの顕微鏡システムは、図１のシステムを含むことができる。したがって、いくつかの実施形態は、図１から図２ｂのうちの１つまたは複数の図に関連して説明されたようなシステムを含んでいる顕微鏡に関する。択一的に、顕微鏡は、図１から図２ｂのうちの１つまたは複数の図に関連して説明されたようなシステムの一部であってもよい、または図１から図２ｂのうちの１つまたは複数の図に関連して説明されたようなシステムに接続されていてもよい。図３には、本明細書に記載された方法を実施するように構成された顕微鏡システム３００の概略図が示されている。システム３００は、顕微鏡３１０およびコンピュータシステム３２０を含む。顕微鏡３１０は、画像を撮影するように構成されており、コンピュータシステム３２０に接続されている。コンピュータシステム３２０は、本明細書に記載された方法の少なくとも一部を実施するように構成されている。コンピュータシステム３２０は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム３２０と顕微鏡３１０は別個の存在物であってもよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム３２０は、顕微鏡３１０の中央処理システムの一部であってもよく、かつ／またはコンピュータシステム３２０は、顕微鏡３１０のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡３１０の従属部品の一部であってもよい。

【0048】

コンピュータシステム３２０は、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話）であってもよく、または分散コンピュータシステム（例えば、ローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンター等のさまざまな場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム）であってもよい。コンピュータシステム３２０は、任意の回路または回路の組み合わせを含んでいてもよい。１つの実施形態では、コンピュータシステム３２０は、任意の種類のものとすることができる、１つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品（例えばカメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム３２０に含まれ得る他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）等である。コンピュータシステム３２０は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子を含み得る１つまたは複数のストレージデバイス、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム３２０はディスプレイ装置、１つまたは複数のスピーカーおよびキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識装置を含み得るコントローラ、またはシステムのユーザーがコンピュータシステム３２０に情報を入力すること、およびコンピュータシステム３２０から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。

【0049】

ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

【0050】

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

【0051】

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

【0052】

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

【0053】

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

【0054】

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

【0055】

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

【0056】

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

【0057】

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

【0058】

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

【0059】

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

【0060】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

【0061】

実施形態のさらなる詳細および態様について、提案されたコンセプトあるいは前述または後述の１つまたは複数の実施例に関連して言及する。実施形態は、提案されたコンセプトの１つまたは複数の態様、あるいは前述または後述の１つまたは複数の実施例に対応する、１つまたは複数の付加的な任意の特徴を含むことができる。

【0062】

少なくともいくつかの実施形態は、例えば機械学習モデルの形態にある人工知能（ＡＩ）の、顕微鏡での、例えば手術用顕微鏡でキャプチャされた画像を解釈するための、使用に関する。例えば、（全ての）利用可能な情報を収集することができ、ＡＩを用いて診断情報を増やすことができる。実施形態によれば、手術用顕微鏡において、キャプチャされた画像を解釈するために人工知能が用いられる。

【0063】

いくつかの顕微鏡システムをＡＩと共に用いようとするならば、それらの顕微鏡システムの制限は、ＡＩのトレーニングと適用の両方のための画像の収集である。特に、顕微鏡は種々の画像を順次に取得するので、種々のデータを収集するのはいっそう困難であり煩雑であるかもしれない。さらにいっそう困難であるかもしれないのは、データアノテーションステップであり、すなわち専門の外科医を使って、正常画像と異常画像とにアノテーションを付けるステップであり、またはさらにいっそう困難であるかもしれないのは、正常組織領域と疾患組織領域とを手動でセグメント化することである。

【0064】

発明者は、手術用顕微鏡におけるＡＩのトレーニングおよび適用をいっそう簡単に、いっそう効率的に、かついっそう正確に行う方法を提案している。少なくともいくつかの実施形態によれば、顕微鏡は、反射および蛍光の多数の画像（例えば複数の画像）を同時にリアルタイムで（例えば実質的に同時に）キャプチャすることができる。換言すれば、カメラは、フレームごとに、複数の画像、いくつかの実施例によれば、最大３つの反射スペクトル画像および３つの蛍光スペクトル画像をキャプチャする。この数は今後、増えるかもしれない。画像を同時にかつ瞬時にキャプチャできることにより、ピクセル単位ベースで画像を相関させることができる。ピクセル単位で相関させることができるこれら複数の画像によって、ニューラルネットワーク相関のためにいっそう多くのデータを利用可能とすることができるので、ＡＩにとって、すなわち機械学習モデルをトレーニングするために、優れたプラットフォームが提供される。その結果として、実施形態を、フルオレセイン、インドシアニングリーン（ＩＣＧ）および５－ＡＬＡ、または（蛍光色素を用いない）組織自己蛍光などの外部蛍光色素を用いることで、反射および蛍光において、種々のスペクトル帯域でキャプチャされた複数の画像を用いることに基づくものとすることができ、実施形態によれば、種々の異常組織および／または正常組織を検出するようにシステムをトレーニングすることを試みることができる。ＡＩの使用が比較的容易でかつ自明でないといえる具体的なケースは、５－ＡＬＡ誘導蛍光画像を用いてシステム（すなわち機械学習モデル）をトレーニングし、非蛍光画像から脳腫瘍を検出することである。具体的には、５－ＡＬＡは、脳腫瘍組織に比較的良好な感度および特異度で蛍光を放出させ、したがって脳腫瘍切除の術中ガイダンスに用いられる。換言すれば、蛍光強度閾値を設定するだけで、蛍光画像から腫瘍領域をセグメント化することはかなり容易である。

【0065】

これは、専門家によるレビューによってセキュリティおよび信頼性が追加される可能性があるとしても、人間の介入を必要とせずに、コンピュータによって完全に自動的に行うことができ、それによって（例えば異常組織または正常組織に関する情報を取得するために）、キャプチャされた画像に自動的にアノテーションを付けることができる。白色光反射画像（カラー画像）を同時にキャプチャするシステムの能力により、かかる外科手術の全持続時間中、リアルタイムでデータを収集することができる。これにより、画像をキャプチャしてアノテーションを付ける時間およびコストのかかるプロセスを排除することができる。このＡＩ／機械学習トレーニングの目標は、コストがかかりかつ経済的または規制上の理由により必ずしも利用できるとは限らない５－ＡＬＡを投与することなく、組織を見るだけで脳内の腫瘍の存在を推測することを試みる、ということであろう。

【0066】

実施形態のさらなる詳細および態様について、提案されたコンセプトあるいは前述または後述の１つまたは複数の実施例に関連して言及する。実施形態は、提案されたコンセプトの１つまたは複数の態様、あるいは前述または後述の１つまたは複数の実施例に対応する、１つまたは複数の付加的な任意の特徴を含むことができる。

【0067】

図４ａ～図６ｂには、有機組織のサンプルの少なくとも１つの特性の検出についての概略図が示されている。図４ａおよび図４ｂには、有機組織のサンプルが示されており、この場合、有機組織のサンプルの特徴の形状を視認できるが、第１のイメージング特性（例えば白色光反射イメージング）で撮影された第１の画像（図４ａ）では明確に見分けにくく、ただし（例えば蛍光イメージングを用い、有機組織のサンプルの特徴に蛍光色素が染み込んでいる）第２のイメージング特性で撮影された第２の画像（図４ｂ）では明確に視認できる。かかるケースでは、第２の画像を、有機組織のサンプルの特徴の形状を決定するために用いることができ、これを機械学習モデルのトレーニングに対する所望の出力を生成するために用いることができ、したがって機械学習モデルを、第１の画像のみを用いて特徴の形状を決定するために用いることができる。

【0068】

図５ａ～図５ｃには、同様の状況が示されている。ここでは、２つの異なる特徴（線として示されている血管、およびドットとして示されている所定の特性を有する組織の部分）を、第１のイメージング特性（例えば白色光反射イメージング）で撮影された第１の画像（図５ａ）内で視認できる。第２の画像（図５ｂ）においては、組織の一部の形状を明確に視認できる。例えば第２の画像を、蛍光イメージングを用いて撮影することができる。かくして第２の画像を用いて、有機組織のサンプルの少なくとも１つの特性に関する情報を生成することができ、よって、機械学習モデルを、この機械学習モデルが第１の画像のみから有機組織のサンプルの一部の形状を識別するのに適するように、トレーニングすることができ、さらに形状を第１の画像に重ねて、第３の画像（図５ｃ参照）を生成することができる。

【0069】

図６ａおよび図６ｂに同様の例が示されている。機械学習モデル（すなわち人工知能）を用いることにより、カメラによって撮影された白色光反射イメージングとすることができる第１の画像（図６ａ）に、有機組織のサンプルのある１つの領域の形状６００を示すためのアノテーションを付すことができる（図６ａ）。

【0070】

実施形態のさらなる詳細および態様について、提案されたコンセプトあるいは前述または後述の１つまたは複数の実施例（例えば図１～図３）に関連して言及する。実施形態は、提案されたコンセプトの１つまたは複数の態様、あるいは前述または後述の１つまたは複数の実施例に対応する、１つまたは複数の付加的な任意の特徴を含むことができる。

【0071】

実施形態は、機械学習モデルまたは機械学習アルゴリズムの使用に基づいていてもよい。機械学習は、モデルおよび推論に依存する代わりに、コンピュータシステムが、明示的な命令を使用することなく、特定のタスクを実行するために使用し得るアルゴリズムおよび統計モデルを参照してもよい。例えば、機械学習では、ルールに基づくデータ変換の代わりに、過去のデータおよび／またはトレーニングデータの分析から推論、されるデータ変換が使用されてもよい。例えば、画像コンテンツは、機械学習モデルを用いて、または機械学習アルゴリズムを用いて分析されてもよい。機械学習モデルが画像コンテンツを分析するために、機械学習モデルは、入力としてのトレーニング画像と出力としてのトレーニングコンテンツ情報を用いてトレーニングされてもよい。多数のトレーニング画像および／またはトレーニングシーケンス（例えば単語または文）および関連するトレーニングコンテンツ情報（例えばラベルまたは注釈）によって機械学習モデルをトレーニングすることによって、機械学習モデルは、画像コンテンツを認識することを「学習」するので、トレーニングデータに含まれていない画像コンテンツが機械学習モデルを用いて認識可能になる。同じ原理が、同じように他の種類のセンサデータに対して使用されてもよい：トレーニングセンサデータと所望の出力を用いて機械学習モデルをトレーニングすることによって、機械学習モデルは、センサデータと出力との間の変換を「学習し」、これは、機械学習モデルに提供された非トレーニングセンサデータに基づいて出力を提供するために使用可能である。提供されたデータ（例えばセンサデータ、メタデータおよび／または画像データ）は、機械学習モデルへの入力として使用される特徴ベクトルを得るために前処理されてもよい。

【0072】

機械学習モデルは、トレーニング入力データを用いてトレーニングされてもよい。上記の例は、「教師あり学習」と称されるトレーニング方法を使用する。教師あり学習では、機械学習モデルは、複数のトレーニングサンプルを用いてトレーニングされ、ここで各サンプルは複数の入力データ値と複数の所望の出力値を含んでいてもよく、すなわち各トレーニングサンプルは、所望の出力値と関連付けされている。トレーニングサンプルと所望の出力値の両方を指定することによって、機械学習モデルは、トレーニング中に、提供されたサンプルに類似する入力サンプルに基づいてどの出力値を提供するのかを「学習」する。教師あり学習の他に、半教師あり学習が使用されてもよい。半教師あり学習では、トレーニングサンプルの一部は、対応する所望の出力値を欠いている。教師あり学習は、教師あり学習アルゴリズム（例えば分類アルゴリズム、回帰アルゴリズムまたは類似度学習アルゴリズム）に基づいていてもよい。出力が、値（カテゴリー変数）の限られたセットに制限される場合、すなわち入力が値の限られたセットのうちの１つに分類される場合、分類アルゴリズムが使用されてもよい。出力が（範囲内の）任意の数値を有していてもよい場合、回帰アルゴリズムが使用されてもよい。類似度学習アルゴリズムは、分類アルゴリズムと回帰アルゴリズムの両方に類似していてもよいが、２つのオブジェクトがどの程度類似しているかまたは関係しているかを測定する類似度関数を用いた例からの学習に基づいている。教師あり学習または半教師あり学習の他に、機械学習モデルをトレーニングするために教師なし学習が使用されてもよい。教師なし学習では、入力データ（だけ）が供給される可能性があり、教師なし学習アルゴリズムは、（例えば、入力データをグループ化またはクラスタリングすること、データに共通性を見出すことによって）入力データにおいて構造を見出すために使用されてもよい。クラスタリングは、複数の入力値を含んでいる入力データを複数のサブセット（クラスター）に割り当てることであるので、同じクラスター内の入力値は１つまたは複数の（事前に定められた）類似度判断基準に従って類似しているが、別のクラスターに含まれている入力値と類似していない。

【0073】

強化学習は機械学習アルゴリズムの第３のグループである。換言すれば、強化学習は機械学習モデルをトレーニングするために使用されてもよい。強化学習では、１つまたは複数のソフトウェアアクター（「ソフトウェアエージェント」と称される）が、周囲において行動を取るようにトレーニングされる。取られた行動に基づいて、報酬が計算される。強化学習は、（報酬の増加によって明らかにされるように）累積報酬が増加し、与えられたタスクでより良くなるソフトウェアエージェントが得られるように行動を選択するように、１つまたは複数のソフトウェアエージェントをトレーニングすることに基づいている。

【0074】

さらに、いくつかの技術が、機械学習アルゴリズムの一部に適用されてもよい。例えば、特徴表現学習が使用されてもよい。換言すれば、機械学習モデルは、少なくとも部分的に特徴表現学習を用いてトレーニングされてもよい、かつ／または機械学習アルゴリズムは、特徴表現学習構成要素を含んでいてもよい。表現学習アルゴリズムと称され得る特徴表現学習アルゴリズムは、自身の入力に情報を保存するだけでなく、多くの場合、分類または予測を実行する前の前処理ステップとして、有用にするように情報の変換も行ってもよい。特徴表現学習は、例えば、主成分分析またはクラスター分析に基づいていてもよい。

【0075】

いくつかの例では、異常検知（すなわち、外れ値検知）が使用されてもよく、これは、入力またはトレーニングデータの大部分と著しく異なることによって疑念を引き起こしている入力値の識別を提供することを目的としている。換言すれば、機械学習モデルは、少なくとも部分的に異常検知を用いてトレーニングされてもよく、かつ／または機械学習アルゴリズムは、異常検知構成要素を含んでいてもよい。

【0076】

いくつかの例では、機械学習アルゴリズムは、予測モデルとして決定木を使用してもよい。換言すれば、機械学習モデルは、決定木に基づいていてもよい。決定木において、項目（例えば、入力値のセット）に関する観察は、決定木のブランチによって表されてもよく、この項目に対応する出力値は、決定木のリーフによって表されてもよい。決定木は、出力値として離散値と連続値の両方をサポートしてもよい。離散値が使用される場合、決定木は、分類木として表されてもよく、連続値が使用される場合、決定木は、回帰木として表されてもよい。

【0077】

相関ルールは、機械学習アルゴリズムにおいて使用され得る別の技術である。換言すれば、機械学習モデルは、１つまたは複数の相関ルールに基づいていてもよい。相関ルールは、大量のデータにおける変数間の関係を識別することによって作成される。機械学習アルゴリズムは、データから導出された知識を表す１つまたは複数の相関的なルールを識別してもよい、かつ／または利用してもよい。これらのルールは、例えば、知識を格納する、操作するまたは適用するために使用されてもよい。

【0078】

機械学習アルゴリズムは通常、機械学習モデルに基づいている。換言すれば、用語「機械学習アルゴリズム」は、機械学習モデルを作成する、トレーニングするまたは使用するために使用され得る命令のセットを表していてもよい。用語「機械学習モデル」は、（例えば、機械学習アルゴリズムによって実行されるトレーニングに基づいて）学習した知識を表すデータ構造および／またはルールのセットを表していてもよい。実施形態では、機械学習アルゴリズムの用法は、基礎となる１つの機械学習モデル（または基礎となる複数の機械学習モデル）の用法を意味していてもよい。機械学習モデルの用法は、機械学習モデルおよび／または機械学習モデルであるデータ構造／ルールのセットが機械学習アルゴリズムによってトレーニングされることを意味していてもよい。

【0079】

例えば、機械学習モデルは、人工ニューラルネットワーク（ＡＮＮ）であってもよい。ＡＮＮは、網膜または脳において見出されるような、生物学的ニューラルネットワークによって影響を与えられるシステムである。ＡＮＮは、相互接続された複数のノードと、ノード間の、複数の接合部分、いわゆるエッジと、を含んでいる。通常、３種類のノードが存在しており、すなわち入力値を受け取る入力ノード、他のノードに接続されている（だけの）隠れノードおよび出力値を提供する出力ノードが存在している。各ノードは、人工ニューロンを表していてもよい。各エッジは、１つのノードから別のノードに、情報を伝達してもよい。ノードの出力は、その入力（例えば、その入力の和）の（非線形）関数として定義されてもよい。ノードの入力は、入力を提供するエッジまたはノードの「重み」に基づく関数において使用されてもよい。ノードおよび／またはエッジの重みは、学習過程において調整されてもよい。換言すれば、人工ニューラルネットワークのトレーニングは、与えられた入力に対して所望の出力を得るために、人工ニューラルネットワークのノードおよび／またはエッジの重みを調整することを含んでいてもよい。

【0080】

択一的に、機械学習モデルは、サポートベクターマシン、ランダムフォレストモデルまたは勾配ブースティングモデルであってもよい。サポートベクターマシン（すなわち、サポートベクターネットワーク）は、（例えば、分類または回帰分析において）データを分析するために使用され得る、関連する学習アルゴリズムを伴う、教師あり学習モデルである。サポートベクターマシンは、２つのカテゴリのいずれかに属する複数のトレーニング入力値を伴う入力を提供することによってトレーニングされてもよい。サポートベクターマシンは、２つのカテゴリのいずれかに新しい入力値を割り当てるようにトレーニングされてもよい。択一的に、機械学習モデルは、確率有向非巡回グラフィカルモデルであるベイジアンネットワークであってもよい。ベイジアンネットワークは、有向非巡回グラフを用いて、確率変数とその条件付き依存性のセットを表していてもよい。択一的に、機械学習モデルは、検索アルゴリズムと自然淘汰の過程を模倣した発見的方法である遺伝的アルゴリズムに基づいていてもよい。

【0081】

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。

【0082】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

【符号の説明】

【0083】

１００ システム
１１０ １つまたは複数のストレージモジュール
１２０ １つまたは複数のプロセッサ
１３０ １つまたは複数のインタフェース
２１０ 有機組織のサンプルの複数の画像を取得するステップ
２２０ 機械学習モデルをトレーニングするステップ
２３０ 機械学習モデルを供給するステップ
２４０ 機械学習モデルを取得するステップ
２５０ 機械学習モデルを用いるステップ
３００ 顕微鏡システム
３１０ 顕微鏡
３２０ コンピュータシステム
６００ 有機組織のサンプルの領域

【図1】

【図2a】

【図2b】

【図3】

【図4a】

【図4b】

【図5a】

【図5b】

【図5c】

【図6a】

【図6b】

【国際調査報告】