IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ セラビジョン アクティエボラーグの特許一覧

特表2025-503611人工的に染色された試料を描写するデジタル画像を構築する方法及びシステム
<>
  • 特表-人工的に染色された試料を描写するデジタル画像を構築する方法及びシステム 図1
  • 特表-人工的に染色された試料を描写するデジタル画像を構築する方法及びシステム 図2
  • 特表-人工的に染色された試料を描写するデジタル画像を構築する方法及びシステム 図3
  • 特表-人工的に染色された試料を描写するデジタル画像を構築する方法及びシステム 図4
  • 特表-人工的に染色された試料を描写するデジタル画像を構築する方法及びシステム 図5
  • 特表-人工的に染色された試料を描写するデジタル画像を構築する方法及びシステム 図6A
  • 特表-人工的に染色された試料を描写するデジタル画像を構築する方法及びシステム 図6B
  • 特表-人工的に染色された試料を描写するデジタル画像を構築する方法及びシステム 図6C
  • 特表-人工的に染色された試料を描写するデジタル画像を構築する方法及びシステム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-02-04
(54)【発明の名称】人工的に染色された試料を描写するデジタル画像を構築する方法及びシステム
(51)【国際特許分類】
   G02B 21/00 20060101AFI20250128BHJP
   G01N 21/64 20060101ALI20250128BHJP
   G01N 21/01 20060101ALI20250128BHJP
   G01N 21/27 20060101ALI20250128BHJP
   G06T 7/00 20170101ALI20250128BHJP
   G02B 21/36 20060101ALN20250128BHJP
   G02B 21/06 20060101ALN20250128BHJP
【FI】
G02B21/00
G01N21/64 F
G01N21/01 D
G01N21/27 A
G06T7/00 350B
G02B21/36
G02B21/06
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024540876
(86)(22)【出願日】2023-01-12
(85)【翻訳文提出日】2024-08-23
(86)【国際出願番号】 EP2023050636
(87)【国際公開番号】W WO2023135204
(87)【国際公開日】2023-07-20
(31)【優先権主張番号】22151198.3
(32)【優先日】2022-01-12
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】524254419
【氏名又は名称】セラビジョン アクティエボラーグ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100112357
【弁理士】
【氏名又は名称】廣瀬 繁樹
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(72)【発明者】
【氏名】マルティン アルマース
(72)【発明者】
【氏名】スベン ヘドルンド
(72)【発明者】
【氏名】イェスペル イェンソン
【テーマコード(参考)】
2G043
2G059
2H052
5L096
【Fターム(参考)】
2G043AA03
2G043BA16
2G043CA04
2G043DA02
2G043EA01
2G043FA01
2G043FA02
2G043HA01
2G043KA09
2G043NA01
2G059AA05
2G059BB13
2G059CC16
2G059DD03
2G059EE07
2G059FF01
2G059FF03
2G059GG01
2G059GG02
2G059GG03
2G059JJ11
2G059MM01
2H052AB01
2H052AC07
2H052AC09
2H052AC14
2H052AC33
2H052AC34
2H052AF14
2H052AF25
5L096AA02
5L096AA06
5L096BA06
5L096BA13
5L096CA02
5L096HA11
5L096KA04
(57)【要約】
本発明の概念は、人工的に染色された試料を描写するデジタル画像(602)を構築する機械学習モデルを訓練する方法(30)及び装置(10)に関するものであり、方法(30)は、未染色の試料のデジタル画像の訓練セットを受信する工程(S300)であって、デジタル画像の訓練セットは、未染色の試料を複数の方向から照明し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得される、受信する工程(S300)と;染色された試料のデジタル画像を備えるグラウンドトゥルースを受信する工程(S302)であって、染色された試料は、染色剤を未染色の試料に適用することによって形成される、受信する工程(S302)と;未染色の試料のデジタル画像の受信された訓練セット及び受信されたグラウンドトゥルースを使用して、人工的に染色された試料を描写するデジタル画像(602)を構築するために機械学習モデルを訓練する工程(S304)とを含む。本発明の概念はさらに、顕微鏡システム(20)及び人工的に染色された試料を描写するデジタル画像(602)を構築する方法(40)に関する。
【選択図】図2
【特許請求の範囲】
【請求項1】
人工的に染色された試料を描写するデジタル画像(602)を構築するための機械学習モデルを訓練する方法(30)であって、
未染色の試料のデジタル画像の訓練セットを受信する工程(S300)であって、デジタル画像の前記訓練セットは、前記未染色の試料を複数の方向から照明し、前記複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得される、受信する工程(S300)と;
染色された試料のデジタル画像を備えるグラウンドトゥルース(ground truth)を受信する工程(S302)であって、前記染色された試料は、前記未染色の試料に染色剤を適用することによって形成される、受信する工程(S302)と;
前記未染色の試料のデジタル画像の前記受信した訓練セットと、前記受信したグラウンドトゥルースを使用して、人工的に染色された試料を描写するデジタル画像(602)を構築するための前記機械学習モデルを訓練する工程(S304)と
を含む、方法(30)。
【請求項2】
前記未染色の試料のデジタル画像の前記訓練セットを取得する工程(S306)であって、
前記未染色の試料を複数の方向から照明する工程(S308)と、
前記複数の方向の各方向について、前記未染色の試料のデジタル画像をキャプチャする工程(S310)と
により、取得する工程(S306)
をさらに含む、請求項1に記載の方法(30)。
【請求項3】
デジタル画像の前記訓練セットは、前記複数の方向から白色光で前記未染色の試料を照明し、前記複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得される、請求項1又は2に記載の方法(30)。
【請求項4】
デジタル画像の前記訓練セットは、顕微鏡対物レンズ及びイメージセンサを用いて取得され、前記複数の方向のうちの少なくとも1つの方向は、前記顕微鏡対物レンズの開口数よりも大きい角度に対応する、請求項1~3のいずれか一項に記載の方法(30)。
【請求項5】
前記未染色の試料に染色剤を適用する工程(S312)により、染色された試料を形成する工程と;
前記染色された試料のデジタル画像を備える前記グラウンドトゥルースを形成する工程(S314)であって、
前記染色された試料のデジタル画像を取得する工程(S316)
により、形成する工程(S314)と
をさらに含む、請求項1~4のいずれか一項に記載の方法(30)。
【請求項6】
前記染色された試料のデジタル画像を取得する工程(S316)は、
前記複数の方向のサブセットから前記染色された試料を同時に照明する工程(S318)と;
前記染色された試料が前記複数の方向の前記サブセットから同時に照明されている間に、前記染色された試料のデジタル画像をキャプチャする工程(S319)と
を含む、請求項5に記載の方法(30)。
【請求項7】
前記染色された試料のデジタル画像の再構築セットを受信する工程(S320)であって、
前記再構築セットは、前記染色された試料を複数の方向から照明し、前記複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得される、受信する工程(S320)と;
計算撮像技術と、デジタル画像の前記受信した再構築セットとを使用して、前記染色された試料のデジタル画像を再構築する工程(S322)と
をさらに含む、請求項1~4のいずれか1項に記載の方法(30)。
【請求項8】
前記未染色の試料に前記染色剤を適用する工程(S312)により、前記染色された試料を形成する工程と;
前記染色された試料のデジタル画像の前記再構築セットを取得する工程(S324)であって、
前記染色された試料を複数の方向から照明する工程(S326)と、
前記複数の方向の各方向について、前記染色された試料のデジタル画像をキャプチャする工程(S328)と
により、取得する工程(S324)と
をさらに含む、請求項7に記載の方法。
【請求項9】
デジタル画像の前記再構築セットは、顕微鏡対物レンズ及びイメージセンサを用いて取得され、前記複数の方向のうちの少なくとも1つの方向は、前記顕微鏡対物レンズの開口数よりも大きい角度に対応する、請求項7又は8に記載の方法(30)。
【請求項10】
前記グラウンドトゥルースは、デジタル画像の前記訓練セットにおけるデジタル画像よりも相対的に高い解像度を有するデジタル画像を備える、請求項1~9のいずれか1項に記載の方法(30)。
【請求項11】
人工的に染色された試料を描写するデジタル画像(602)を構築する方法(40)であって、前記方法(40)は、
未染色の試料のデジタル画像の入力セットを受信する工程(S400)であって、デジタル画像の前記入力セットは、前記未染色の試料を複数の方向から照明し、前記複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得される、受信する工程(S400)と;
人工的に染色された試料を描写するデジタル画像を構築する工程(S402)であって、
デジタル画像の前記入力セットを、請求項1~10のいずれか一項に記載の方法により訓練される機械学習モデルに入力する工程(S404)と、
前記機械学習モデルから、人工的に染色された試料を描写するデジタル画像(602)を備える出力を受信する工程(S406)と
により、構築する工程(S402)と
を含む、方法(40)。
【請求項12】
前記未染色の試料のデジタル画像の前記入力セットは、顕微鏡対物レンズ及びイメージセンサを用いて取得され、前記複数の方向のうちの少なくとも1つの方向は、前記顕微鏡対物レンズの開口数よりも大きい角度に対応する、請求項11に記載の方法(40)。
【請求項13】
デジタル画像の前記入力セットは、前記複数の方向から白色光で前記未染色の試料を照明し、前記複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得される、請求項11又は12に記載の方法(40)。
【請求項14】
人工的に染色された試料を描写するデジタル画像を構築するための機械学習モデルを訓練する装置(10)であって、前記装置(10)は、回路(100)であって、
デジタル画像の訓練セットを受信するように構成された第1の受信機能(1100)であって、デジタル画像の前記訓練セットは、複数の方向から未染色の試料を照明し、前記複数の方向のそれぞれについて未染色の試料のデジタル画像をキャプチャすることによって取得される、第1の受信機能(1100)と;
染色された試料のデジタル画像を備えるグラウンドトゥルースを受信するように構成された第2の受信機能(1102)であって、前記染色された試料は、前記未染色の試料に染色剤を適用することによって形成される、第2の受信機能(1102)と;
請求項1~10のいずれか1項に記載の方法により、前記未染色の試料のデジタル画像の前記受信された訓練セットと、前記受信されたグラウンドトゥルースとを使用して、人工的に染色された試料を描写するデジタル画像を構築するための機械学習モデルを訓練するように構成された、訓練機能(1104)と
を実行するように構成された回路(100)
を備える、装置(10)。
【請求項15】
前記訓練セットは、前記複数の方向から白色光で前記未染色の試料を照明し、前記複数の方向のそれぞれについてデジタル画像をキャプチャすることにより取得される、請求項14に記載の装置(10)。
【請求項16】
顕微鏡システム(20)であって、
未染色の試料(292)を複数の方向(262)から照明するように構成された照明システム(260)と;
イメージセンサ(270)と;
前記未染色の試料(292)を前記イメージセンサ(270)上に結像させるように配置された少なくとも1つの顕微鏡対物レンズ(280)と;
回路(200)であって、
取得機能(2100)であって、
前記複数の方向(262)のそれぞれから前記未染色の試料(292)を照明するように前記照明システム(260)を制御し、
前記複数の方向(262)のそれぞれについてデジタル画像をキャプチャするように前記イメージセンサ(270)を制御するように構成されることにより、デジタル画像の入力セットを取得する
ように構成された、取得機能(2100)と、
画像構築機能(2102)であって、
請求項1~9のいずれか1項に記載の方法(30)により訓練される機械学習モデルにデジタル画像の前記入力セットを入力し、
前記機械学習モデルから、人工的に染色された試料を描写するデジタル画像(602)を備える出力を受信する
ように構成された、画像構築機能(2102)と
を実行するように構成された回路(200)と
を備える、顕微鏡システム(20)。
【請求項17】
前記照明システム(260)は、複数の光源を備え、前記複数の光源の各光源は、白色光を発するように構成されている、請求項16に記載の顕微鏡システム(20)。
【請求項18】
前記照明システム(260)は、湾曲面(264)上に配置された複数の光源を備え、前記湾曲面(264)は、前記面に沿った少なくとも1つの方向に沿って凹んでおり、前記複数の光源(261)のそれぞれは、前記複数の方向のうちの1つから前記未染色の試料(292)を照明するように構成される、請求項16又は17に記載の顕微鏡システム(20)。
【請求項19】
前記湾曲面(264)は、ファセット(265)で形成されている、請求項18に記載の顕微鏡システム(20)。
【請求項20】
前記少なくとも1つの顕微鏡対物レンズ(280)の開口数が0.4以下である、請求項16~19のいずれか一項に記載の顕微鏡システム。
【請求項21】
処理能力を有する装置上で実行されると請求項1~10のいずれか一項に記載の方法又は請求項11~13のいずれか一項に記載の方法を行うプログラムコード部分を含む、非一時的なコンピュータ可読記憶媒体(50)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の概念は、人工的に染色された試料を描写するデジタル画像を構築するための機械学習モデルを訓練する方法及び装置に関する。本発明の概念はさらに、人工的に染色された試料を描写するデジタル画像を構築する方法及び顕微鏡システムに関する。
【背景技術】
【0002】
発明の背景
デジタル顕微鏡検査の分野では、一般的なタスクは、試料内の対象物を見つけ、同定することである。例えば、血液学や細胞学の分野では、試料を採取した患者の診断を確立するために、特定の細胞タイプを見つけて同定する場合がある。
【0003】
試料は一般に染色され、試料内のコントラストが高められ、試料内の対象物が検出されるようにする。例えば、白血球は半ば透明であるため、試料を染色せずに顕微鏡で同定することは困難である。しかしながら、染色に使用される化学薬品は有毒である可能性があり、そのため、研究室員は、そのような化学薬品への曝露を避けるための安全手順(例えば、保護具及び/又はヒュームフードの使用)に従う必要がある。また、染色工程は複雑な工程であるため、分析に要する時間が長くなる可能性がある。その複雑さゆえに、染色工程で一貫した結果を確保することが困難な場合も多い。例えば、使用する化学薬品の品質によっては、染色の程度だけでなく、結果として得られる試料の色も異なる場合がある。さらに、必要な化学薬品、安全手順、必要な追加時間のために、分析前の試料の染色は、分析に関連する経済的コストを増加させる可能性がある。
【0004】
また、通常、特定のタイプの細胞について試料を迅速にスクリーニングすることは有益である。このようなスクリーニングでは、スピードと精度の間で妥協が必要である。高精度のスクリーニングを行うには、一般的に試料を大きく拡大し、細胞を画像化して分析する必要がある。したがって、一度に撮像されるのは試料の一部分だけであり、試料全体をスクリーニングするためには、試料の個々の位置を多数撮像しなければならず、時間のかかるスクリーニング工程につながる。したがって、スクリーニングに要する時間を短縮するためには、撮像位置の数を減らすことが考えられる。しかし、試料全体をスクリーニングすることを考えると、倍率を下げる必要があり、その反面、スクリーニングの精度が低下し、細胞の種類を適切に発見及び同定できない可能性のあるスクリーニング工程につながる。
【0005】
それゆえ、当技術分野には改良の必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、上記で特定された当技術分野における欠陥及び欠点の1つまた複数を、単独で又は任意の組み合わせで、少なくとも部分的に、緩和、軽減又は解消し、少なくとも上記問題を解決することを目的とする。
【課題を解決するための手段】
【0007】
第1の態様によれば、人工的に染色された試料を描写するデジタル画像を構築するために機械学習モデルを訓練する方法が提供される。第1の態様の方法は、未染色の試料のデジタル画像の訓練セットを受信する工程であって、デジタル画像の訓練セットは、未染色の試料を複数の方向から照明し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得される、受信する工程と;染色された試料のデジタル画像を含むグラウンドトゥルース(ground truth)を受信する工程であって、染色された試料は、染色剤を未染色の試料に適用することによって形成される、受信する工程と、未染色の試料のデジタル画像の受信された訓練セット及び受信されたグラウンドトゥルースを使用して、人工的に染色された試料を描写するデジタル画像を構築するために機械学習モデルを訓練する工程とを含む。
【0008】
本開示の文脈において、「人工的に染色された試料を描写するデジタル画像」という表現は、未染色の試料のコンピュータ生成デジタル画像として解釈されるべきである。このデジタル画像は、染色された試料のデジタル画像と類似しているか、あるいは同一でさえある場合もある。したがって、描写された人工的に染色された試料は(実際に染色剤によって染色された)描写された染色された試料と同様のコントラストを有し得る。別の言い方をすれば、描写された人工的に染色された試料は、染色剤によって実際に染色された試料を再現することができる。
【0009】
本開示の文脈において、「未染色の試料」という表現は、染色剤を適用していない試料として解釈されるべきである。未染色の試料は、染色された試料と比較して相対的に低いコントラストを有する場合がある。未染色の試料のコントラストは、未染色の試料のデジタル画像において、従来の顕微鏡法を用いて未染色の試料の特徴を識別することが困難であるか、あるいは不可能でさえあるように低い場合がある。
【0010】
本開示の文脈では、「グラウンドトゥルース」(ground truth)という表現は、本物及び/又は真実であることが知られている情報として解釈されるべきである。したがって、この文脈では、機械学習モデルは、人工的に染色された試料を描写するデジタル画像を構築するように訓練されるので、グラウンドトゥルースは、染色された試料を表すことができる。したがって、この文脈では、グラウンドトゥルースは、染色された試料のデジタル画像を備え得る。グラウンドトゥルースは、染色された試料のデジタルカラー画像を備えてもよい。別の言い方をすれば、グラウンドトゥルースのデジタル画像は、染色された試料をカラーで描写してもよい。
【0011】
本開示の文脈において、「染色剤」という文言は、試料のコントラストを高める(例えば、色を変化させる)ために使用され得る1つ又は複数の化学薬剤として解釈されるべきである。染色剤は、試料の種類及び/又は試料内のどのような対象物に関心があるかに応じて選択することができる。例えば、血液学では、試料(例えば、血液塗抹標本)は、通常、メイ・グリュンワルド・ギムザ(MGG)、ライト・ギムザ(WG)、又はライト(Wright)を使用して染色される。さらなる例として、病理学では、試料は通常ヘマトキシリン・エオシン(H&E)を用いて染色される。異なる染色剤は、試料内の異なる対象物及び/又は物質に対してコントラストを高め得る。例えば、タンパク質などのコントラストを高める染色剤もある。したがって、どの染色剤を使用するかは、試料及び/又は試料中の関心対象の種類に応じて選択することができる。
【0012】
したがって、機械学習モデルは、未染色の試料のデジタル画像の訓練セットを、グラウンドトゥルース(例えば、染色された試料のデジタル画像)に相関させるように訓練される。機械学習モデルは、機械学習モデルの出力(すなわち、人工的に染色された試料を描写するデジタル画像)とグラウンドトゥルース(例えば、染色された試料のデジタル画像)との間の差が所定の閾値よりも小さくなるまで、反復的及び/又は再帰的に学習され得る。機械学習モデルの出力とグラウンドトゥルースとの差が小さいほど、機械学習モデルによって提供される人工的に染色された試料を描写する構築されたデジタル画像の精度が高いことを示すことができる。別の言い方をすれば、機械学習モデルの出力とグラウンドトゥルースとの間の差が小さいほど、人工的に染色された試料を描写する構築されたデジタル画像が、染色された試料のデジタル画像をより高い程度で再現する可能性があることを示すことができる。したがって、機械学習モデルの出力とグラウンドトゥルースとの差を最小化し得ることが好ましい。機械学習モデルは、複数の異なる試料タイプの人工的に染色された試料のデジタル画像を構築するように訓練されてもよい。このような場合、機械学習モデルは、各試料タイプについて、その試料タイプの試料のデジタル画像の訓練セットと、それぞれの試料タイプに関連付けられた対応するグラウンドトゥルースとを用いて訓練することができる。
【0013】
複数の異なる方向から試料を照明し、複数の方向のそれぞれについてデジタル画像をキャプチャすることにより、未染色の試料を撮像するために使用される従来の顕微鏡(すなわち、従来の顕微鏡照明を使用する)によって通常解像可能であるものよりも微細な詳細に関する未染色の試料の情報がキャプチャされ得る。これは、未染色の試料に関連するフーリエ空間(すなわち、空間周波数領域)の異なる部分が、異なる照明方向に対して撮像されるものとして理解することができる。この技法は、当技術分野ではフーリエ・タイコグラフィ(Fourier ptychography)として知られている。さらに、複数の異なる方向から未染色の試料を照明し、複数の方向のそれぞれについてデジタル画像をキャプチャすることにより、未染色の試料に関連する屈折率に関する情報をキャプチャすることができる。これは、光の屈折が、未染色の試料を照射する光の入射角及び未染色の試料の屈折率に依存する効果、として理解することができる。未染色の試料の屈折率に関する情報は、ひいては、未染色の試料に関連する位相情報(当技術分野では一般に定量的位相と呼ばれる)を決定することを可能にし得る。複数のデジタル画像は、未染色の試料の微細な詳細、未染色の試料に関連する屈折率、及び未染色の試料に関連する位相情報のうちの1つ又は複数に関連する情報を含むため、この情報は、機械学習モデルの訓練において使用されてもよく、このことは、ひいては、複数のデジタル画像が1つの方向のみからキャプチャされた場合又は従来の顕微鏡法を使用することによって許容される場合よりも、人工的に染色された試料を描写するデジタル画像をより正確に構築するように訓練される機械学習モデルを可能にし得る。従来の顕微鏡法(例えば、未染色の試料を撮像するために使用される顕微鏡対物レンズの開口数(numerical aperture)までの複数の方向の大部分から未染色の試料を照明することによる)を使用すると、未染色の試料に関連する屈折率に関連する情報及び/又は未染色の試料に関連する位相情報をキャプチャすることが困難であるか、又は不可能でさえあり得る。複数の異なる方向から未染色の試料を照明することにより、さらに、未染色の試料を撮像するために使用される顕微鏡対物レンズによって通常許容されるものよりも微細な未染色の試料の細部に関連する情報をキャプチャすることができる場合がある。したがって、比較的低い倍率の顕微鏡対物レンズを使用しても、未染色の試料の微細な細部に関連する情報をキャプチャすることができる。比較的低い倍率の顕微鏡対物レンズを使用することで、各撮像位置で未染色の試料の大部分を撮像することができる。したがって、比較的少ない位置で撮像することにより、未染色の試料全体を走査することができ、ひいては、未染色の試料の走査をより速くすることができる。
【0014】
したがって、本発明の概念によれば、未染色の試料の複数のデジタル画像を使用して、染色された試料を再現するデジタル画像を構築するための機械学習モデルを訓練することができる。したがって、訓練された機械学習モデルを使用することにより、未染色の試料に染色剤を適用することなく、染色された試料(すなわち、人工的に染色された試料)を描写するデジタル画像を構築することができる。
【0015】
第1の態様の方法は、未染色の試料を複数の方向から照明すること及び複数の方向の各方向について未染色の試料のデジタル画像をキャプチャすること、によって未染色の試料のデジタル画像の訓練セットを取得する工程、をさらに含み得る。
【0016】
デジタル画像の訓練セットは、複数の方向から白色光で未染色の試料を照明し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得され得る。
【0017】
本開示の文脈において、「白色光」という表現は、比較的広い波長スペクトルを有する光として解釈されるべきである。白色光は、例えば、太陽光に類似していてもよい。白色光のスペクトルは、狭いスペクトルを有する光(例えば、単色光)とは対照的に、可視光スペクトルの大部分を含み得る。
【0018】
関連する利点として、白色光(すなわち広いスペクトル光)により、狭帯域光源を使用する場合にはカバーされないスペクトルの部分で欠落する可能性がある、試料に関するより多くの情報をデジタル画像の訓練セットにキャプチャできる場合がある。その情報は、人工的に染色された試料を描写するデジタル画像を構築する際に、訓練された機械学習モデルによって使用される。フーリエ・タイコグラフィを利用する撮像用途では、一般的に単色光が必要であり、したがって、先行技術のシステムでは、試料に関するマルチスペクトル情報をキャプチャするために、複数の異なる色の単色光が必要とされる場合がある。したがって、白色光を使用することで、フーリエ・タイコグラフィを利用する先行技術のシステムと比較して、試料に関するマルチスペクトル情報をキャプチャするために必要なデジタル画像の総数を減らすことができる。さらに、異なる色の単色光を使用すると、それらの特定の波長範囲の試料に関する情報のみをキャプチャすることができる場合があり、白色光はより広いスペクトルを有する場合があるため、白色光を使用すると、単色光を使用する場合と比較して、より広い波長範囲の試料に関する情報をキャプチャすることができる場合がある。
【0019】
デジタル画像の訓練セットは、顕微鏡対物レンズとイメージセンサを使用して取得することができ、複数の方向のうちの少なくとも1つの方向は、顕微鏡対物レンズの開口数よりも大きな角度に対応することができる。
【0020】
顕微鏡対物レンズの開口数は、顕微鏡対物レンズが光を受け入れる角度の範囲に関連する無次元数であってもよい。したがって、開口数より大きい方向は、顕微鏡対物レンズが光を受け入れる角度の範囲より大きい角度に対応する方向と理解され得る。
【0021】
顕微鏡対物レンズの開口数よりも大きな角度から試料を照明することで、その照明角度に対してキャプチャされたデジタル画像は、顕微鏡対物レンズが通常許容するよりも高い空間周波数、ひいては未染色の試料のより微細な詳細に関する情報を含む可能性がある。これにより、顕微鏡対物レンズは、未染色の試料に関連する位相情報、及び顕微鏡対物レンズでは通常解像できない細部に関連する情報をキャプチャすることができ、機械学習モデルの訓練に使用することができる。別の言い方をすれば、顕微鏡対物レンズの開口数よりも大きな角度から未染色の試料を照明することにより、人工的に染色された試料を描写するデジタル画像を構築するための機械学習モデルの訓練を改善することができる。
【0022】
第1の態様の方法は、未染色の試料に染色剤を適用する工程により、染色された試料を形成する工程と;染色された試料のデジタル画像を取得する工程によって、染色された試料のデジタル画像を備えるグラウンドトゥルースを形成する工程とをさらに含むことができる。別の言い方をすれば、染色された試料と未染色の試料は、適用染色剤に関して異なるだけで同じ試料であってもよい。
【0023】
関連する利点は、染色された試料中の特徴(例えば、対象物)を未染色の試料中の対応する特徴とペアにすることができることであり、これにより、人工的に染色された試料を描写するデジタル画像を構築するための機械学習モデルの改良された訓練が可能になる。
【0024】
染色された試料のデジタル画像を取得する行為は、染色された試料を複数の方向のサブセットから同時に照明することと、染色された試料が複数の方向のサブセットから同時に照明されている間に染色された試料のデジタル画像をキャプチャすることとを含み得る。
【0025】
本開示の文脈において、「複数の方向のサブセット」という表現は、複数の方向のうちの1つ又は複数の方向として解釈されるべきである。サブセットの方向、及び方向の数は、染色された試料の照明が従来の顕微鏡照明(例えば、明視野照明)と同様であるように選択され得る。したがって、染色された試料のデジタル画像は、従来の顕微鏡システムによってキャプチャされたデジタル画像に類似し得る。方向のサブセットは、例えば、複数の方向の大部分又は全ての方向であってもよい。
【0026】
関連する利点は、同じ顕微鏡システム、特に同じ照明システムを使用して、未染色の試料のデジタル画像と染色された試料のデジタル画像の訓練セットをキャプチャできることである。これにより、訓練に使用するデジタル画像の収集中に、未染色の試料をより効率的に取り扱うことができる。例えば、未染色の試料は、デジタル画像の訓練セットがキャプチャされた後、顕微鏡システム内で静置されたまま染色され得る。したがって、染色された試料の特徴と未染色の試料の対応する特徴との間のペアリングを改善することができる。同じ照明システムを使用することで、機械学習モデルの訓練に必要なデジタル画像の収集に関連する経済的コストをさらに削減することができる。
【0027】
第1の態様の方法は、染色された試料のデジタル画像の再構築セットを受信する工程であって、再構築セットは、染色された試料を複数の方向から照明し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得され得る、受信する工程と;計算撮像技術及び受信したデジタル画像の再構築セットを使用して、染色された試料のデジタル画像を再構築する工程とをさらに含み得る。本開示の文脈では、「計算撮像技術」という文言は、様々な条件(例えば、異なる照明条件)で撮影された複数のデジタル画像の情報を組み合わせることによってデジタル画像を形成することができる計算処理として解釈されるべきである。この文脈で好適であり得る計算撮像技術の例は、フーリエ・タイコグラフィ及び機械学習である。計算撮像技術は、染色された試料のデジタル画像を再構築するように訓練された再構築機械学習モデルであってもよい。染色された試料の再構築されたデジタル画像は、再構築セットのデジタル画像の解像度と同様の解像度を有する場合がある。染色された試料の再構築されたデジタル画像は、再構築セットの1つ又は複数のデジタル画像の解像度よりも相対的に高い解像度を有する場合がある。再構築セットは、複数の方向から染色された試料を照明し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得されるため、再構築セットのデジタル画像の解像度よりも相対的に高い解像度を有するデジタル画像の再構築が許容される場合がある。
【0028】
第1の態様の方法は、未染色の試料に染色剤を適用する工程により、染色された試料を形成する工程と;染色された試料を複数の方向から照明し、複数の方向の各方向について、染色された試料のデジタル画像をキャプチャする工程によって、染色された試料のデジタル画像の再構築セットを取得する工程と、をさらに含み得る。
【0029】
デジタル画像の再構築セットは、顕微鏡対物レンズ及びイメージセンサを用いて取得され、複数の方向のうちの少なくとも1つの方向は、顕微鏡対物レンズの開口数よりも大きい角度に対応し得る。
【0030】
顕微鏡対物レンズの開口数よりも大きな角度から染色された試料を照明することにより、その照明角度に対してキャプチャされたデジタル画像は、顕微鏡対物レンズが通常許容するよりも高い空間周波数、ひいては染色された試料のより微細な詳細に関する情報を含む可能性がある。これにより、顕微鏡対物レンズは、染色された試料に関連する位相情報、及び顕微鏡対物レンズでは通常解像できない細部に関連する情報をキャプチャすることができ、これらの情報は、染色された試料のデジタル画像を再構築する際に、計算撮像技術で使用することができる。別の言い方をすれば、顕微鏡対物レンズの開口数よりも大きな角度から染色された試料を照明することにより、染色された試料のデジタル画像の再構築を改善することができる。特に、再構築セットのデジタル画像よりも比較的高い解像度を有する染色された試料のデジタル画像を再構築することができる。
【0031】
グラウンドトゥルースは、デジタル画像の訓練セットのデジタル画像よりも相対的に高い解像度を有するデジタル画像で構成される場合がある。
【0032】
関連する利点は、機械学習モデルが、訓練セットの1つ又は複数のデジタル画像よりも相対的に高い解像度を有する人工的に染色された試料のデジタル画像を構築するように訓練され得ることである。別の言い方をすれば、訓練された機械学習モデルは、訓練された機械学習モデルに入力されるデジタル画像の1つ又は複数よりも相対的に高い解像度を有する人工的に染色された試料を描写するデジタル画像を構築するために使用され得る。したがって、訓練された機械学習モデルの入力として使用されるデジタル画像(例えば、未染色の試料のデジタル画像)は、低い開口数を有する顕微鏡対物レンズを使用してキャプチャされ得るが、一方で、人工的に染色された試料を描写する構築されたデジタル画像が、相対的に高い開口数を有する顕微鏡対物レンズを使用してキャプチャされたデジタル画像と同様の解像度を有することを可能にする。
【0033】
第2の態様によれば、人工的に染色された試料を描写するデジタル画像を構築する方法が提供される。第2の態様の方法は、未染色の試料のデジタル画像の入力セットを受信する工程であって、デジタル画像の入力セットは、未染色の試料を複数の方向から照明し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得される、受信する工程と、デジタル画像の入力セットを、第1の態様の方法により訓練される機械学習モデルに入力する工程と、機械学習モデルから、人工的に染色された試料を描写するデジタル画像を含む出力を受信する工程と、によって、人工的に染色された試料を描写するデジタル画像を構築する工程とを含む。
【0034】
デジタル画像の入力セットを第1の態様の方法により訓練された機械学習モデルに入力することにより、未染色の試料のデジタル画像を使用して、人工的に染色された試料を描写するデジタル画像が訓練された機械学習モデルから出力されるため、未染色の試料を画像化するプロセスがより効率的になる可能性がある。別の言い方をすれば、訓練された機械学習モデルは、染色された試料のデジタル画像を再現して、人工的に染色された試料を描写するデジタル画像を出力することができる。したがって、撮像前に染色剤を未染色の試料に適用する必要がない。このことは、ひいては、試料のより迅速な及び/又はより費用効果の高い撮像を可能にし得る。さらに、染色中に必要とされる潜在的に有毒な化学物質(例えば、染色剤又は他の関連化学物質)を手作業で取り扱う必要をなくすことができ、これにより、人(例えば、研究室員)にとってより安全な撮像プロセスが可能となり得る。
【0035】
未染色の試料のデジタル画像の入力セットは、顕微鏡対物レンズ及びイメージセンサを用いて取得されてもよく、複数の方向のうちの少なくとも1つの方向は、顕微鏡対物レンズの開口数よりも大きい角度に対応してもよい。
【0036】
デジタル画像の入力セットは、複数の方向から白色光で未染色の試料を照射し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得され得る。
【0037】
第1の態様の上述した特徴は、適用可能な場合、この第2の態様にも適用される。過度の繰り返しを避けるため、上記を参照されたい。
【0038】
第3の態様によれば、人工的に染色された試料を描写するデジタル画像を構築するための機械学習モデルを訓練する装置が提供される。当該装置は、回路であって、デジタル画像の訓練セットを受信するように構成された第1の受信機能であって、デジタル画像の訓練セットは、複数の方向から未染色の試料を照明し、複数の方向のそれぞれについて未染色の試料のデジタル画像をキャプチャすることによって取得される、第1の受信機能と;染色された試料のデジタル画像からなるグラウンドトゥルースを受信するように構成された第2の受信機能であって、染色された試料は、染色剤を未染色の試料に適用することによって形成される、第2の受信機能と;受信された未染色の試料のデジタル画像の訓練セット、及び受信されたグラウンドトゥルースを使用して、第1の態様の方法により人工的に染色された試料を描写するデジタル画像を構築する機械学習モデルを訓練するように構成された、訓練機能とを実行するように構成された回路、を備える、装置である。
【0039】
訓練セットは、未染色の試料を複数の方向から白色光で照射し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得することができる。
【0040】
第1の態様及び/又は第2の態様の上述の特徴は、適用可能な場合、この第3の態様にも適用される。過度の繰り返しを避けるために、上記を参照されたい。
【0041】
第4の態様によれば、顕微鏡システムが提供される。当該顕微鏡システムは、未染色の試料を複数の方向から照明するように構成された照明システムと;イメージセンサと;未染色の試料をイメージセンサ上に結像するように配置された少なくとも1つの顕微鏡対物レンズと;回路であって、複数の方向のそれぞれから未染色の試料を照明するように照明システムを制御し、複数の方向のそれぞれについてデジタル画像を撮像するようにイメージセンサを制御するように構成されることにより、デジタル画像の入力セットを取得するように構成された、取得機能と、第1の態様の方法により訓練される機械学習モデルにデジタル画像の入力セットを入力し、機械学習モデルから、人工的に染色された試料を描写するデジタル画像を含む出力を受信するように構成される画像構築機能と、を実行するように構成された回路とを備える。
【0042】
照明システムは、複数の光源を含んでもよく、複数の光源の各光源は、白色光を発するように構成されてもよい。複数の光源の各光源は、複数の方向のうちの1つの方向から未染色の試料を照射するように構成されてもよい。
【0043】
関連する利点は、狭帯域光源(例えば単色光源)を備える照明システムと比較して、電磁スペクトルのより広い範囲に関連する試料に関する情報をキャプチャできることである。
【0044】
さらに関連する利点は、狭帯域光源(例えば、単色光源)を備える照明システムと比較して、少ない光源で試料に関するマルチスペクトル情報をキャプチャできることである。これは、白色光を発するように構成された光源が、フーリエ・タイコグラフィ用途で通常使用される狭帯域光源(例えば、単色光源)と比較して、より広い波長範囲の光を発し得るためである。したがって、狭帯域光源と比較して、電磁スペクトルの特定の範囲をカバーするために必要な白色光を発するように構成された光源の数が少なくて済む場合がある。
【0045】
照明システムは、湾曲面に配置された複数の光源を備えることができ、当該湾曲面は、当該面に沿った少なくとも1つの方向に沿って凹んでおり、複数の光源のそれぞれは、複数の方向のうちの1つから未染色の試料を照明するように構成され得る。
【0046】
複数の光源を湾曲面上に配置することは、各光源から顕微鏡システムの現在の撮像位置(すなわち、現在撮像されている未染色の試料の位置又は部分)までの距離が同様となる点で有利であり得る。この距離が同様であるため、各光源から発する光の強度は、現在の撮像位置において同様である可能性がある。これは、逆2乗則の効果として理解することができる。したがって、未染色の試料は、複数の方向における各方向について同様の強度を有する光によって照明される可能性があり、ひいては、照明方向に依存しない未染色の試料のより均質な照明を可能にし得る。各光源から現在の撮像位置までの距離が、各光源を点光源として扱うことができるよう十分に大きくなるように、照明システムを構成することが有利な場合がある。これにより、現在の撮像位置で光が準コヒーレント(quasi-coherent)となり得る。したがって、各光源から現在の撮像位置までの距離は、現在の撮像位置における各光源からの光の強度が、デジタル画像の入力セットを生成するのに十分高くなるように選択することができる。
【0047】
湾曲面はファセットで形成されていてもよい。別の言い方をすれば、湾曲面は複数の平坦面によって構築されてもよい。
【0048】
関連する利点は、照明システムの製造が容易になり、関連する経済コストを削減できることである。
【0049】
さらに関連する利点は、照明システムがモジュール式であり得ることである。それにより、1つ又は複数の光源を交換することが容易になる可能性がある(例えば、光源が破損した場合及び/又は光源に欠陥がある場合)。
【0050】
少なくとも1つの顕微鏡対物レンズの開口数は0.4以下であってもよい。別の言い方をすれば、少なくとも1つの顕微鏡対物レンズの倍率は20倍以下であってもよい。
【0051】
関連する利点は、高い開口数を有する顕微鏡対物レンズと比較して、一度に未染色の試料の大部分を撮像できることである。これは、ひいては、未染色の試料の大部分を撮像するために必要とされる個々の撮像位置の数を減少させることを可能にし得る。したがって、未染色の試料の大部分を撮像するのに必要な時間を短縮することができる。このことは、特に、機械学習モデルが、機械学習モデルに入力されるデジタル画像(すなわち、入力セットのデジタル画像)よりも比較的大きな解像度を有するデジタル画像を構築するように訓練される場合に有利であり得る。したがって、未染色の試料はより迅速に撮像され、一方で人工的に染色された試料を描写するデジタル画像は、少なくとも1つの顕微鏡対物レンズが通常許容する解像度よりも比較的高い解像度を有することができる。
【0052】
第1の態様、第2の態様、及び/又は第3の態様の上述の特徴は、適用可能な場合、この第4の態様にも適用される。過度の繰り返しを避けるために、上記を参照されたい。
【0053】
第5の態様によれば、非一時的なコンピュータ可読記憶媒体が提供される。この非一時的なコンピュータ可読記憶媒体は、処理能力を有する装置上で実行されると、第1の態様による方法又は第2の態様による方法を行うプログラムコード部分を含む。
【0054】
第1の態様、第2の態様、第3の態様、及び/又は第4の態様の上述の特徴は、適用可能な場合、この第5の態様にも適用される。過度の繰り返しを避けるために、上記を参照されたい。
【0055】
本開示のさらなる適用範囲は、以下に示す詳細な説明から明らかになるであろう。しかしながら、詳細な説明及び具体例は、本発明概念の好ましい変形例を示すものであるが、本発明概念の範囲内での様々な変更及び修正は、この詳細な説明から当業者には明らかとなるので、例示のためにのみ与えられていることを理解されたい。
【0056】
したがって、この発明概念は、そのような方法及びシステムが変化し得るため、記載された方法の特定のステップ又は記載されたシステムの構成部分に限定されないことを理解されたい。また、本明細書で使用される用語は、特定の実施形態を説明するためだけのものであり、限定することを意図するものではないことを理解されたい。本明細書及び添付の特許請求の範囲において使用される場合、冠詞「a」、「an」、「the」、及び「said」は、文脈が明確に指示しない限り、1つ又は複数の要素が存在することを意味することを意図していることに留意しなければならない。したがって、例えば、「ユニット(a unit)」又は「ユニット(the unit)」への言及は、複数の装置などを含む場合がある。さらに、「備える(comprising)」、「含む(including)」、「含有する(containing)」およびそれらと同様の用語は、他の要素やステップを除外するものではない。
【0057】
図面の簡単な説明次に、本発明概念の変形例を示す添付図面を参照しながら、本発明概念の上記及び他の態様をより詳細に説明する。図は、本発明概念を特定の変形例に限定するものと考えられるべきではなく、本発明概念を説明し理解するために使用される。図に示されるように、層及び領域のサイズは、説明のために誇張されており、したがって、本発明概念の変形例の一般的な構造を説明するために提供される。同様の参照数字は、全体を通して同様の要素を指す。
【図面の簡単な説明】
【0058】
図1図1は、機械学習モデルを訓練する装置を示す図である。
図2図2は、顕微鏡システムを示す図である。
図3図3は、人工的に染色された試料を描写するデジタル画像を構築する機械学習モデルを訓練する方法のブロックスキームを示す図である。
図4図4は、訓練された機械学習モデルを用いて、人工的に染色された試料を描写するデジタル画像を構築する方法のブロックスキームを示す図である。
図5図5は、ファセットによって形成された湾曲面を有する照明システムを示す図である。
図6A図6Aは、未染色の試料のデジタル画像を示す図である。
図6B図6Bは、人工的に染色された試料を示すデジタル画像を示す図である。
図6C図6Cは、染色された試料のデジタル画像を示す図である。
図7図7は、非一時的なコンピュータ可読記憶媒体を示す図である。
【発明を実施するための形態】
【0059】
詳細な説明
以下、添付図面を参照して本発明概念をより完全に説明するが、この図面には本発明概念の現在好ましい変形例が示されている。しかしながら、本発明概念は、多くの異なる形態で実施され得、本明細書に記載された変形例に限定されると解釈されるべきではなく、むしろ、これらの変形例は、徹底性及び完全性のために提供されるものであり、当業者に本発明概念の範囲を完全に伝えるものである。
【0060】
まず、人工的に染色された試料を描写するデジタル画像を構築するための機械学習モデルを訓練する装置10及び方法30について、図1及び図3を参照しながら説明する。
【0061】
図1は、人工的に染色された試料を描写するデジタル画像を構築するための機械学習モデルを訓練する装置10を示す。ここで、「人工的に染色された試料を描写するデジタル画像」は、未染色の試料がコンピュータで着色されたデジタル画像として解釈されるべきである。このデジタル画像は、染色された試料(すなわち、染色剤が適用された未染色の試料)のデジタル画像と類似しているか、あるいは同一ですらある場合もある。したがって、描写された人工的に染色された試料は、描写された染色された試料(染色剤によって実際に染色された)と同様のコントラストを有することがある。装置10は、計算装置であってもよい。好適な計算装置の例は、コンピュータ、サーバ、スマートフォン、タブレット等を含む。装置10はさらに、クラウドサーバ及び/又は分散計算設備の一部として実装されてもよい。装置10は、さらなる構成要素、例えば入力装置(マウス、キーボード、タッチスクリーンなど)及び/又はディスプレイを備えてよいことをさらに理解されたい。装置10は、例えば電力接続、バッテリなどの電源をさらに備えてもよい。装置10は、回路100を備える。図1の例に示されているように、回路100は、メモリ110、処理ユニット120、トランシーバ130、及びデータバス140のうちの1つ又は複数を備えてもよい。メモリ110、処理ユニット120、及びトランシーバ130は、データバス140を介して通信することができる。処理ユニット120は、中央処理装置(CPU)であってもよい。トランシーバ130は、外部装置と通信するように構成されていてもよい。例えば、トランシーバ130は、サーバ、コンピュータ外部周辺装置(例えば、外部記憶装置)等と通信するように構成されてもよい。外部装置は、ローカル装置であってもよいし、リモート装置(例えば、クラウドサーバ)であってもよい。トランシーバ130は、外部ネットワーク(例えば、ローカルエリアネットワーク、インターネットなど)を介して外部装置と通信するように構成されてもよい。トランシーバ130は、無線及び/又は有線通信のために構成されてもよい。無線通信に好適な技術は当業者に知られている。いくつかの非限定的な例として、Wi-Fi(登録商標)及び近距離無線通信(NFC)を含む。有線通信に好適な技術は当業者に知られている。いくつかの非限定的な例として、USB、イーサネット、Firewire(登録商標)を含む。
【0062】
メモリ110は、非一時的なコンピュータ可読記憶媒体であってもよい。メモリ110は、ランダムアクセスメモリであってもよい。メモリ110は、不揮発性メモリであってもよい。図1の例に示されるように、メモリ110は、1つ又は複数の機能に対応するプログラムコード部分を記憶してもよい。プログラムコード部分は、それによって機能を実行する処理ユニットによって実行可能であってもよい。したがって、回路100が特定の機能を実行するように構成されることが言及される場合、処理ユニット120は、メモリ110上に記憶され得る特定の機能に対応するプログラムコード部分を実行することができる。しかしながら、回路100の1つ又は複数の機能は、ハードウェア的に実装されてもよく、及び/又は特定の集積回路に実装されてもよいことを理解されたい。例えば、1つ又は複数の機能は、フィールドプログラマブルゲートアレイ(FPGA)を使用して実装されてもよい。別の言い方をすれば、回路100の1つ又は複数の機能は、ハードウェア又はソフトウェアで実装されてもよいし、2つの組み合わせとして実装されてもよい。
【0063】
回路100は、第1の受信機能1100、第2の受信機能1102、及び訓練機能1104を実行するように構成される。図1に示されるように、回路100は、再構築機能1106及び第3の受信機能1108のうちの1つ又は複数を実行するようにさらに構成されてもよい。
【0064】
第1の受信機能1100は、デジタル画像の訓練セットを受信するように構成される。デジタル画像の訓練セットは、複数の方向から未染色の試料を照明し、複数の方向のそれぞれについて未染色の試料のデジタル画像をキャプチャすることによって取得される。別の言い方をすれば、未染色の試料のデジタル画像の訓練セットは、未染色の試料を複数の方向から照明し、複数の方向の各方向について、未染色の試料のデジタル画像をキャプチャすることによって取得され得る。デジタル画像の訓練セットは、複数の方向から白色光で未染色の試料を照明し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得されてもよい。別の言い方をすれば、未染色の試料のデジタル画像の訓練セットは、複数の方向から白色光で未染色の試料を照明し、複数の方向の各方向について、未染色の試料のデジタル画像をキャプチャすることによって取得され得る。未染色の試料は、染色剤を適用していない試料であってもよい。未染色の試料は、染色された試料と比較して相対的に低いコントラストを有する場合がある。未染色の試料のコントラストは、従来の顕微鏡法を用いて未染色の試料の特徴を画像化することが困難であるか、あるいは不可能でさえあるように低い場合がある。例えば、白血球は通常ほとんど透明であるため、試料を染色せずに画像化することは困難である。第1の受信機能1100は、トランシーバ130を介してデジタル画像の訓練セットを受信するように構成されてもよい。例えば、デジタル画像の訓練セットは、外部の顕微鏡システムを用いてキャプチャされ、その後、装置10のトランシーバ130に送信される。さらなる例として、装置10は顕微鏡システムの一部を形成してもよく、デジタル画像の訓練セットは顕微鏡システムのイメージセンサから受信されてもよい。メモリ110は、デジタル画像の訓練セットを記憶するように構成されてもよく、第1の受信機能1100は、メモリ110からデジタル画像の訓練セットを受信するように構成されてもよい。デジタル画像の訓練セットは、顕微鏡対物レンズ及びイメージセンサを用いて取得することができる。未染色の試料は、複数の方向のうちの少なくとも1つの方向から順次照明されてもよい。デジタル画像の訓練セットの各デジタル画像は、未染色の試料が複数の方向のうちの少なくとも1つの方向から照明されたときにキャプチャされてもよい。したがって、未染色の試料は、複数の方向のうちの単一の方向から照明されてもよいし、複数の方向のうちの複数の方向から同時に照明されてもよい。複数の方向のうちの少なくとも1つの方向は、顕微鏡対物レンズの開口数よりも大きな角度に対応してもよい。顕微鏡対物レンズの開口数は、顕微鏡対物レンズが光を受け入れる角度の範囲に関連する無次元数であってもよい。したがって、開口数より大きい方向は、顕微鏡対物レンズが明視野顕微鏡検査に使用されるときに光を受け入れるように構成される角度の範囲より大きい角度に対応する方向として理解され得る。未染色の試料は、複数の異なる方向から照明され、複数の方向のそれぞれについてデジタル画像がキャプチャされ得るので、未染色の試料を撮像するために使用される顕微鏡対物レンズによって通常解像され得るものよりも微細な詳細に関する未染色の試料の情報がキャプチャされ得る。これは、未染色の試料に関連するフーリエ空間(すなわち、空間周波数領域)の異なる部分が、異なる照明方向に対して撮像されるものとして理解することができる。この技術は、当技術分野ではフーリエ・タイコグラフィとして知られている。一般に、フーリエ・タイコグラフィでは、試料(例えば、未染色の試料)に関連するフーリエ空間の高い空間周波数は、その試料が大きな入射角に対応する方向から照明される場合にサンプリングされる。したがって、未染色の試料が顕微鏡対物レンズの開口数よりも大きな角度に対応する方向から照明される場合には、フーリエ空間のさらに高い空間周波数がサンプリングされる可能性がある。これは、光が未染色の試料によって散乱され、未染色の試料によって散乱された光の一部が顕微鏡対物レンズによって収集される可能性があるため可能である。この照明技術により、未染色の試料に関連する屈折率に関する情報が、少なくとも1つの顕微鏡対物レンズによってキャプチャされることがさらに可能になり得る。これは、光の屈折が、未染色の試料を照射する光の入射角及び未染色の試料の屈折率に依存する効果、として理解することができる。未染色の試料の屈折率に関する情報は、ひいては、未染色の試料に関連する位相情報(当技術分野では一般に定量的位相と呼ばれる)を決定することを可能にし得る。複数のデジタル画像は、未染色の試料の微細な詳細、未染色の試料に関連する屈折率、及び未染色の試料に関連する位相情報のうちの1つ又は複数に関連する情報を含むので、この情報は、機械学習モデルの訓練において使用されてもよく、このことは、ひいては、複数のデジタル画像が1つの方向のみからキャプチャされた場合に許容されるものよりも、人工的に染色された試料を描写するデジタル画像をより正確に構築するように訓練される機械学習モデルを可能にし得る。別の言い方をすれば、複数のデジタル画像が一方向のみからキャプチャされた場合や従来の顕微鏡(例えば、明視野照明を使用)を使用してキャプチャされた場合よりも、人工的に染色された試料を描写するデジタル画像をより正確に構築するように訓練される機械学習モデルを可能にし得る。未染色の試料の微細な詳細、未染色の試料に関連する屈折率、及び未染色の試料に関連する位相情報のうちの1つ又は複数に関連する情報は、一度に複数の異なる方向のうちの1つ又は複数から、例えば複数の方向のサブセットから、未染色の試料を照明することによってキャプチャされ得ることを理解されたい。複数の方向のサブセットは、未染色の試料のフーリエ空間の異なる部分に対応する方向を含んでよい。未染色の試料のフーリエ空間の異なる部分は、部分的に重なっていても、重なっていなくてもよい。したがって、比較的低い倍率を有する顕微鏡対物レンズを使用しながら、未染色の試料の微細な細部に関連する情報をキャプチャすることができる。例えば、0.4の開口数を有する顕微鏡対物レンズは、未染色の試料を複数の方向から照明することにより、従来の顕微鏡法(例えば、明視野照明法)で使用されている1.25の開口数を有する顕微鏡対物レンズと同程度に微細な細部に関連する情報をキャプチャすることができる。別の言い方をすれば、未染色の試料を複数の方向から照明することにより、20倍の倍率を有する顕微鏡対物レンズは、従来の顕微鏡法(例えば、明視野照明を使用)で使用され、100倍の倍率を有する顕微鏡対物レンズと同程度に微細な細部に関する情報をキャプチャすることができる。上述の倍率及び開口数は例示であり、本発明は他の倍率及び/又は開口数でも実施可能であることを理解されたい。顕微鏡対物レンズとイメージセンサを備える好適な顕微鏡システムについては、図2に関連して説明する。
【0065】
第2の受信機能1102は、染色された試料のデジタル画像を備えるグラウンドトゥルースを受信するように構成される。グラウンドトゥルースは、本物及び/又は真実であることが知られている情報であってもよい。この文脈において、機械学習モデルは、人工的に染色された試料を描写するデジタル画像を構築するように訓練されるので、グラウンドトゥルースは、染色された試料を表し得る。例えば、グラウンドトゥルースは、染色された試料のデジタル画像を備え得る。グラウンドトゥルースは、トランシーバ130を介して受信されてもよい。例えば、グラウンドトゥルースは、異なる装置上で形成され、及び/又は異なる装置上に保存され、トランシーバ130を介して装置10に送信されてもよい。染色された試料は、未染色の試料に染色剤を適用することによって形成される。染色された試料は、染色された試料内の特徴(例えば、対象物)の相対位置が、未染色の試料と比較して実質的に乱されないままであるように形成され得る。別の言い方をすれば、未染色の試料の特徴と染色された試料の対応する特徴は、同じ相対位置(すなわち、未染色の試料又は染色された試料に対する相対位置)にあることができる。これにより、染色された試料の特徴を未染色の試料の対応する特徴と相関させる(又はペアにする)ことができる。代替的又は追加的に、機械学習モデルは、CycleGANを使用して訓練することができる。当技術分野において知られているように、CycleGANは、ペアとなる例なしで(すなわち、染色された試料中の特徴と未染色の試料中の特徴の対となる例を持たずに)画像間変換モデルを訓練することができる技術である。これは、染色された試料の特徴が未染色の試料の対応する特徴と相関する(又はペアにする)ことなく機械学習モデルを学習することができるため、未染色の試料をより簡単な方法で染色することができるため、有利な場合がある。
【0066】
染色剤は、未染色の試料に適用されたときに(例えば、未染色の試料の色を変化させることによって)未染色の試料のコントラストを高めるように構成された1つ又は複数の化学薬剤であってもよい。染色剤は、試料の種類及び/又は試料内のどのような対象物に関心があるかに応じて選択することができる。例えば、血液学では、試料(例えば、血液塗抹標本)は、通常、メイ・グリュンワルド・ギムザ(MGG)、ライト・ギムザ(WG)、又はライト(Wright)を使用して染色される。さらなる例として、病理学では、試料は通常ヘマトキシリン・エオシン(H&E)を用いて染色される。異なる染色剤は、試料内の異なる対象物及び/又は物質に対してコントラストを高め得る。例えば、タンパク質などのコントラストを高める染色剤もある。したがって、どの染色剤を使用するかは、試料に応じて、及び/又は試料内の関心対象の種類に応じて選択することができる。染色された試料のデジタル画像を構成するグラウンドトゥルースは、染色された試料のデジタル画像を取得することによって形成することができる。染色された試料のデジタル画像は、複数の方向のサブセットから染色された試料を同時に照明することによって取得されてもよい。複数の方向のサブセットは、複数の方向のうちの1つ又は複数の方向であってもよい。サブセットの方向、及び方向の数は、染色された試料の照明が従来の顕微鏡照明(例えば、明視野照明)と同様になるように選択することができる。方向のサブセットは、例えば、複数の方向の大部分又は全ての方向であってもよい。染色された試料のデジタル画像は、染色された試料が複数の方向のサブセットから同時に照明されている間にキャプチャされ得る。したがって、染色された試料のデジタル画像は、例えば明視野照明を使用する従来の顕微鏡システムによってキャプチャされたデジタル画像と同様であり得る。デジタル画像の訓練セットは、グラウンドトゥルースのデジタル画像の前に取得することができる。これは、訓練セットが未染色の試料のデジタル画像を備え、グラウンドトゥルースが染色剤を適用した同じ試料のデジタル画像を備える場合があるため有利である。
【0067】
染色された試料のデジタル画像は、上記以外の方法で取得してもよい。例えば、染色された試料のデジタル画像は、計算撮像技術を用いて再構築することができる。ここで、「計算撮像技術(computational imaging technique)」とは、様々な条件(例えば、異なる照明条件)でキャプチャされた複数のデジタル画像の情報を組み合わせることによってデジタル画像を形成することができる計算処理として理解されるべきである。この文脈において好適であり得る計算撮像技術の例は、フーリエ・タイコグラフィ及び機械学習である。計算撮像技術は、染色された試料のデジタル画像を再構築するように訓練された再構築機械学習モデルであってもよい。染色された試料の再構築されたデジタル画像は、再構築セットのデジタル画像の解像度と同様の解像度を有する場合がある。染色された試料の再構築されたデジタル画像は、再構築セットの1つ又は複数のデジタル画像の解像度よりも相対的に高い解像度を有する場合がある。再構築セットは、複数の方向から染色された試料を照明し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得されるので、再構築セットのデジタル画像の解像度よりも相対的に高い解像度を有するデジタル画像の再構築が許容され得る。したがって、第3の受信機能1108は、染色された試料のデジタル画像の再構築セットを受信するように構成されてもよい。再構築セットは、トランシーバ130を介して受信されてもよい。例えば、再構築セットは、異なる装置で形成され、及び/又は異なる装置に記憶され、トランシーバ130を介して装置10に送信されてもよい。再構築セットは、複数の方向から染色された試料を照明し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得されてもよい。別の言い方をすれば、染色された試料のデジタル画像の再構築セットは、染色された試料を複数の方向から照明し、複数の方向の各方向について、染色された試料のデジタル画像をキャプチャすることによって取得され得る。デジタル画像の再構築セットは、顕微鏡対物レンズ及びイメージセンサを用いて取得されてもよく、複数の方向のうちの少なくとも1つの方向は、顕微鏡対物レンズの開口数よりも大きな角度に対応してもよい。したがって、染色された試料のデジタル画像の再構築セットは、未染色の試料のデジタル画像の訓練セットと同様の方法で取得することができ、それゆえ、訓練セットに関連する上記の説明は、染色された試料のデジタル画像の再構築セットに準用される。再構築機能1106は、計算撮像技術及び受信した再構築デジタル画像セットを用いて、染色された試料のデジタル画像を再構築するように構成され得る。顕微鏡対物レンズの開口数よりも大きな角度から染色された試料を照明することにより、その照明角度に対してキャプチャされたデジタル画像は、顕微鏡対物レンズが通常可能にするよりも高い空間周波数、ひいては染色された試料のより微細な詳細に関する情報を含むことができる。照明技術は、さらに、顕微鏡対物レンズが、染色された試料に関連する位相情報、及び顕微鏡対物レンズでは通常解像不可能な細部に関連する情報をキャプチャすることを可能にする場合があり、これらの情報は、染色された試料のデジタル画像を再構築する際に、計算撮像技術によって使用される場合がある。別の言い方をすれば、顕微鏡対物レンズの開口数よりも大きな角度から染色された試料を照明することにより、染色された試料のデジタル画像の再構築を改善することができる。特に、再構築セットのデジタル画像よりも比較的高い解像度を有する染色された試料のデジタル画像を再構築することができる。したがって、染色された試料のデジタル画像は、計算撮像技術及び受信した染色された試料のデジタル画像の再構築セットを用いて、染色された試料のデジタル画像の再構築セットから再構築され得る。
【0068】
グラウンドトゥルースは、デジタル画像の訓練セットのデジタル画像よりも相対的に高い解像度を有するデジタル画像を備えてもよい。染色された試料のデジタル画像は、デジタル画像の訓練セットの各デジタル画像よりも相対的に高い解像度を有するデジタル画像であってもよい。上述したように、染色された試料のデジタル画像は、計算撮像技術を用いて再構築される場合があり、再構築されたデジタル画像は、デジタル画像の再構築セットのデジタル画像の解像度よりも相対的に高い解像度を有してもよい。したがって、計算撮像技術は、再構築されたデジタル画像の解像度が、未染色の試料のデジタル画像の訓練セットの1つ又は複数のデジタル画像よりも高くなるように、染色された試料のデジタル画像を再構築するように構成され得る。代替的に、又は追加的に、染色された試料のデジタル画像は、未染色の試料のデジタル画像の訓練セットの1つ又は複数のデジタル画像をキャプチャするために使用される顕微鏡対物レンズよりも相対的に高い倍率を有する顕微鏡対物レンズを使用してキャプチャされ得る。別の言い方をすれば、染色された試料のデジタル画像をキャプチャするために使用される顕微鏡対物レンズは、比較的大きな倍率を有し得るため、そのデジタル画像は、デジタル画像の訓練セットをキャプチャするために使用される顕微鏡対物レンズを使用してキャプチャされた画像と比較して、染色された試料のより小さな領域を描写し得る。この理由のために、染色された試料のデジタル画像は、染色された試料の複数の個別のデジタル画像から形成される場合がある。例えば、複数の個々のデジタル画像を結合する(例えば、スティッチングする)ことによる。これにより、染色された試料のデジタル画像は、デジタル画像の訓練セットを撮像するために使用された顕微鏡対物レンズによって撮像された未染色の試料の領域に相当する染色された試料の領域を描写することができる。代替的に、訓練セットの各デジタル画像は、訓練セットの各クロップされたデジタル画像に描写される未染色の試料の領域が、染色された試料のデジタル画像における染色された試料の領域と、類似及び/又は同等となるように、クロップされてもよい。
【0069】
訓練機能1104は、受信した未染色の試料のデジタル画像の訓練セット及び受信したグラウンドトゥルースを用いて、人工的に染色された試料を描写するデジタル画像を構築するための機械学習モデルを訓練するように構成される。機械学習モデルは、畳み込みニューラルネットワークであってもよい。機械学習モデルは、デジタル画像構築に好適な畳み込みニューラルネットワークであってもよい。訓練機能1104は、染色された試料のデジタル画像を備えるグラウンドトゥルースを受信するように構成される。訓練機能1104は、第2の受信機能1102からグラウンドトゥルースを受信してもよい。訓練機能1104はさらに、未染色の試料のデジタル画像の訓練セットを取得するように構成される。先に説明したように、未染色の試料のデジタル画像の訓練セットは、未染色の試料を複数の方向から(場合によっては白色光で)照明し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得される。訓練機能1104は、さらに、未染色の試料のデジタル画像の訓練セット及び受信したグラウンドトゥルースを用いて、人工的に染色された試料を描写するデジタル画像を構築するように機械学習モデルを学習するように構成される。したがって、本発明の概念では、未染色の試料の複数のデジタル画像を使用して、染色された試料を再現するデジタル画像を構築するように機械学習モデルを訓練することができる。したがって、訓練された機械学習モデルを使用することにより、未染色の試料に染色剤を適用することなく、染色された試料(すなわち、人工的に染色された試料)を描写するデジタル画像を構築することができる。グラウンドトゥルースが、未染色の試料のデジタル画像の訓練セットの1つ又は複数のデジタル画像よりも相対的に高い解像度を有する染色された試料のデジタル画像を備える場合、機械学習モデルは、機械学習モデルに入力されるデジタル画像の1つ又は複数のデジタル画像(例えば、訓練セット)よりも相対的に高い解像度を有する人工的に染色された試料のデジタル画像を構築するように訓練されてもよい。訓練機能1104は、機械学習モデルの出力(すなわち、人工的に染色された試料を描写するデジタル画像)とグラウンドトゥルース(例えば、染色された試料を描写するデジタル画像)との間の差が所定の閾値よりも小さくなるまで、機械学習モデルを反復的及び/又は再帰的に訓練するように構成され得る。したがって、訓練機能1104は、機械学習モデルを訓練して、未染色の試料のデジタル画像の訓練セットを、グラウンドトゥルース(例えば、染色された試料を描写するデジタル画像)に相関させることができる。機械学習モデルの出力とグラウンドトゥルースとの差が小さいほど、機械学習モデルによって提供される人工的に染色された試料を描写するデジタル画像の精度が高いことを示し得る。したがって、好ましくは、機械学習モデルの出力とグラウンドトゥルースとの間の差は最小化され得る。当業者は、最小化する関数(例えば、損失関数)は、許容範囲と関連付けられてもよいことを理解する。例えば、最小化された損失関数が局所的及び/又は大域的な最小値でない値を有する場合であっても、損失関数は最小化されたと見なすことができる。
【0070】
機械学習モデルは、複数の訓練セットと複数の対応するグラウンドトゥルースを用いて訓練されることがある。別の言い方をすれば、機械学習モデルは、複数の異なる試料を用いて訓練され得る。これにより、人工的に染色された試料を描写するデジタル画像を構築するための機械学習モデルの訓練を改善することができる。機械学習モデルは、複数の異なる試料タイプの人工的に染色された試料のデジタル画像を構築するように訓練されてもよい。その場合、機械学習モデルは、各試料タイプについて、その試料タイプの未染色の試料のデジタル画像の訓練セットと、それぞれの試料タイプの染色された試料(例えば、その試料タイプの染色された試料のデジタル画像)に関連する対応するグラウンドトゥルースとを使用して訓練されてもよい。これにより、訓練された機械学習モデルは、異なる試料タイプの人工的に染色された試料を描写するデジタル画像を構築することができる。
【0071】
次に、人工的に染色された試料を描写するデジタル画像を構築するための顕微鏡システム20及び方法40について、図2及び図4を参照して説明する。図2は顕微鏡システム20を示す。図2の顕微鏡システム20は、人工的に染色された試料を描写するデジタル画像を構築するために、上記にしたがって訓練される機械学習モデルによって使用される、未染色の試料のデジタル画像のセットを取得するのに好適である。さらに、図2の顕微鏡システム20は、上記により機械学習モデルを訓練するため使用される、未染色の試料のデジタル画像及び/又は染色された試料のデジタル画像の訓練セットを取得するのに好適である場合がある。顕微鏡システム20は、照明システム260と、イメージセンサ270と、少なくとも1つの顕微鏡対物レンズ280と、回路200とを備える。顕微鏡システム20は、図2の例に示されるように、試料ホルダ290をさらに備えてもよい。回路200は、メモリ210、処理ユニット220、トランシーバ230、及びデータバス240のうちの1つ又は複数を備えてもよい。処理ユニット220は、中央処理装置(CPU)及び/又はグラフィック処理装置(GPU)を備えてもよい。トランシーバ230は、外部装置と通信するように構成されていてもよい。例えば、トランシーバ230は、サーバ、コンピュータ外部周辺機器(例えば、外部記憶装置)等と通信するように構成されてもよい。外部装置は、ローカル装置であってもよいし、リモート装置(例えば、クラウドサーバ)であってもよい。トランシーバ230は、外部ネットワーク(例えば、ローカルエリアネットワーク、インターネットなど)を介して外部装置と通信するように構成されてもよい。トランシーバ230は、無線及び/又は有線通信のために構成されてもよい。無線通信に好適な技術は当業者に知られている。いくつかの非限定的な例として、Wi-Fi(登録商標)及び近距離無線通信(NFC)を含む。有線通信に好適な技術は当業者に知られている。非限定的な例として、USB、イーサネット、Firewire(登録商標)を含む。メモリ210、処理ユニット220、及びトランシーバ230は、データバス240を介して通信することができる。照明システム260及び/又はイメージセンサ270は、図2に示されるように、トランシーバ230を介して回路200と通信するように構成されてもよい。追加的に、又は代替的に、照明システム260及び/又はイメージセンサ270は、データバス240と直接(例えば、有線接続を介して)通信するように構成されてもよい。メモリ210は、非一時的なコンピュータ可読記憶媒体であってもよい。メモリ210は、ランダムアクセスメモリであってもよい。メモリ210は、不揮発性メモリであってもよい。図2の例に示されるように、メモリ210は、1つ又は複数の機能に対応するプログラムコード部分を記憶してもよい。プログラムコード部分は、それによって機能を実行する処理ユニット220によって実行可能であってもよい。したがって、回路200が特定の機能を実行するように構成されていると言及される場合、処理ユニット220は、メモリ210上に記憶され得る特定の機能に対応するプログラムコード部分を実行することができる。しかしながら、回路200の1つ又は複数の機能は、ハードウェア的に実装されてもよく、及び/又は特定の集積回路に実装されてもよいことを理解されたい。例えば、1つ又は複数の機能は、フィールドプログラマブルゲートアレイ(FPGA)を使用して実装されてもよい。別の言い方をすれば、回路200の1つ又は複数の機能は、ハードウェア又はソフトウェアで実装されてもよいし、2つの組み合わせとして実装されてもよい。
【0072】
図2にはイメージセンサ270が単体で図示されているが、イメージセンサ270はカメラに内蔵されていてもよいことを理解されたい。図2の例では、試料ホルダ290は、未染色の試料292が塗布された顕微鏡スライドである。試料292はカバースリップ(図2には図示せず)で覆われていてもよいことを理解されたい。試料ホルダ290は、分析対象の試料292を保持するように構成されてもよい。試料ホルダ290は、(例えば、手動及び/又は電動ステージに結合されることによって)移動可能であってもよく、それによって、試料292の異なる部分が少なくとも1つの顕微鏡対物レンズ280によって撮像され得るように、試料292を移動させることができる。
【0073】
照明システム260は、未染色の試料292を複数の方向から照明するように構成されている。図2に示されるように、照明システムは、複数の光源261から構成されてもよい。光源は発光ダイオード(LED)であってもよい。光源はレーザであってもよい。光源は、インコヒーレント光、準コヒーレント光(quasi-coherent light)、又はコヒーレント光を発することができる。照明システム260の各光源は、複数の方向262のうちの1つから試料292を照射するように配置されてもよい。照明システム260は、複数の光源261のうちの1つ又は複数の光源で試料292を同時に照明するように構成されてもよい。別の言い方をすれば、照明システム260は、複数の方向262のうちの1つ又は複数の方向から試料292を同時に照明するように構成されてもよい。複数の光源261の各光源は、白色光を発するように構成されてもよい。光源は、白色光を発するように構成されたLEDであってもよい。白色光を発するように構成されたLEDは、青色光を発するように構成されたLEDと、発した青色光を白色光に変換するように構成された蛍光層とから構成されてもよい。例えば、白色光を発するように構成されたLEDは、例えば、青色光を照射すると白色光を発する蛍光体層で覆われた青色LEDによって形成することができる。代替的に、又は追加的に、光源は、白色光を発するように構成されたレーザーであってもよい。例えば、レーザーから放射された光は、より広いスペクトル帯域幅を持つ光に変換されることがある。このような変換プロセスの一例は、当技術分野ではスーパーコンティニューム生成(supercontinuum generation)として知られている。図2にさらに示されているように、複数の光源261は、面に沿った少なくとも1つの方向に沿って凹んでいる湾曲面264上に配置されてもよい。複数の光源261の各光源は、複数の方向のうちの1つから未染色の試料292を照射するように構成されてもよい。図2の例に示されるように、湾曲面264は、面264に沿った少なくとも1つの方向に沿って凹んでいてもよい。例えば、湾曲面264は円筒面であってもよい。湾曲面264は、表面に沿った2つの垂直方向に沿って凹んでいてもよい。例えば、湾曲面264は、球体のセグメントに類似した形状を有することができる。球のセグメントは、球状のキャップ又は球状のドームであってもよい。複数の光源261を湾曲面264上に配置することは、各光源から顕微鏡システム20の現在の撮像位置Pまでの距離Rが同様になる点で有利である。この距離が同様であるため、各光源から発する光の強度は、現在の撮像位置Pにおいて同様になり得る。これは逆2乗則の効果として理解することができる。したがって、試料292は、複数の方向262の各方向について同様の強度を有する光によって照明される可能性があり、ひいては、照明方向に依存しない試料292のより均質な照明を可能にし得る。各光源から現在の撮像位置Pまでの距離Rは、4cmから15cmの範囲とすることができる。各光源から現在の撮像位置Pまでの距離Rが、各光源を点光源として扱うことができるよう十分に大きくなるように、照明システム260を構成することが有利な場合がある。これにより、現在の撮像位置Pで光が準コヒーレントとなり得る。したがって、各光源から現在の撮像位置Pまでの距離Rは、現在の撮像位置における各光源からの光の強度が一連のデジタル画像を生成するのに十分高い場合には、15cmよりも大きくてもよい。特に、複数の光源のうちの1つ又は複数がレーザである場合、各光源間の距離Rは、15cmより大きくてもよい。しかしながら、複数の光源261は、平坦な表面上又は不規則な形状を有する表面上に配置されてもよいことを理解されたい。さらに、図2は、顕微鏡システム20、特に照明システム260の断面を示していることを理解されたい。したがって、図2に図示された照明システム260の湾曲面264は、円筒面であってもよいし、球面の一部(又は準球面)であってもよい。照明装置260の湾曲面264は、椀状であってもよい。湾曲面264は、ファセット265で形成されていてもよく、これは図5の例で示されている。別の言い方をすれば、湾曲面264は複数の平坦面で形成されていてもよい。湾曲面264は、複数のファセット又はセグメントからなる準球面の一部であってもよい。したがって、湾曲面264は、多面体の表面の一部であってもよい。このような多面体の一例として、切頂二十面体であってもよい。複数の光源261は、ファセット265上に配置されてもよい。各光源は、光源が関連するファセットの法線に実質的に平行な方向に光を発するように構成されるように配置されてもよい。図2に図示した実施例と同様に、図5は照明装置260の断面を図示していることを理解されたい。したがって、図5に図示された照明システム260の湾曲面264は、準円筒面又は準球面の一部であってもよい。図5の照明システム260の湾曲面264は、椀に類似した形状を有してもよい。したがって、図5のファセット265は線で図示されているが、各ファセット265は少なくとも3つの辺を有する平坦面であってもよいことが理解されよう。例えば、湾曲面264は、5つの辺を有するファセット及び6つの辺を有するファセット(例えば、フットボール又はサッカーボールの内面に類似する)で形成されてもよい。図5の湾曲面264は連続面として図示されているが、各ファセットは分離していてもよいことを理解されたい。したがって、湾曲面は複数の部分によって形成されてもよく、各ファセットは1つ又は複数の部分によって形成されてもよい。さらに、各部分は1つ又は複数のファセットを含んでもよいことを理解されたい。さらに、このような部分は、隣接する部分と接触して配置されてもよいし、隣接する部分から距離を置いて配置されてもよい。単一の部分がすべてのファセットを含んでいてもよい。さらに、図5の照明システム260のファセット265の数は一例であり、照明システム260の湾曲面264を形成するために他の数のファセット265を使用してもよいことを理解されたい。さらに、各ファセット265上の光源の数は例示に過ぎず、その数は変化してもよいことを理解されたい。
【0074】
少なくとも1つの顕微鏡対物レンズ280は、未染色の試料292をイメージセンサ270上に結像するように配置される。少なくとも1つの顕微鏡対物レンズ280は、第1の顕微鏡対物レンズを備え得る。第1の顕微鏡対物レンズの開口数は、0.4以下であってもよい。別の言い方をすれば、第1の顕微鏡対物レンズの倍率は20倍以下であってもよい。したがって、相対的に高い開口数を有する顕微鏡対物レンズと比較して、一度に未染色の試料292の大部分を撮像することができる。これは、ひいては、未染色の試料292の大部分を撮像するのに必要な個々の撮像位置の数を減少させることを可能にし得る。したがって、未染色の試料292の大部分を撮像するのに必要な時間は、それによって短縮され得る。これは、特に、機械学習モデルが、機械学習モデルに入力されるデジタル画像(すなわち、入力セットのデジタル画像)よりも比較的大きな解像度を有するデジタル画像を構築するように訓練される場合に有利であり得る。したがって、未染色の試料292はより迅速に撮像され、一方、人工的に染色された試料を描写するデジタル画像は、少なくとも1つの顕微鏡対物レンズが通常許容する解像度よりも相対的に高い解像度を有する可能性がある。第1の顕微鏡対物レンズは、未染色の試料292のデジタル画像を撮像する際に使用することができる。第1の顕微鏡対物レンズを使用してキャプチャされたデジタル画像は、機械学習モデルを訓練するとき(すなわち、未染色の試料のデジタル画像の訓練セット)、及び/又は、訓練された機械学習モデルを使用して人工的に染色された試料を描写するデジタル画像を構築するときに使用されてもよい。さらに、第1の顕微鏡対物レンズは、グラウンドトゥルースを形成するために使用され得ることを理解されたい。別の言い方をすれば、第1の顕微鏡対物レンズは、機械学習モデルが学習される際に、グラウンドトゥルースとして使用される染色された試料のデジタル画像をキャプチャするために使用されてもよい。
【0075】
少なくとも1つの顕微鏡280は、100倍の倍率及び/又は1.25の開口数を有する第2の顕微鏡対物レンズを含んでもよい。第2の顕微鏡対物レンズは、第1の顕微鏡対物レンズを使用して取得されたデジタル画像よりも比較的高い解像度を有するデジタル画像を取得するために使用されてもよい。したがって、第2の顕微鏡対物レンズは、機械学習モデルを訓練する際に使用するデジタル画像(例えば、染色された試料のデジタル画像)を取得するために使用することができる。別の言い方をすれば、第2の顕微鏡対物レンズを使用して取得されたデジタル画像は、機械学習モデルを訓練する際に使用されるグラウンドトゥルースを形成するために使用される。
【0076】
第1の顕微鏡対物レンズ及び/又は第2の顕微鏡対物レンズの開口数及び倍率は例示であり、例えば、未染色の試料292の種類に応じて選択することができる。例えば、第1の顕微鏡対物レンズの開口数は、10倍の倍率及び/又は0.25の開口数を有することができる。顕微鏡システム20は、未染色の試料292をイメージセンサ270上に結像させるために少なくとも1つの顕微鏡対物レンズ280と共に使用され得る更なる光学レンズを含んでいてもよいことを理解されたい。例えば、顕微鏡システムは、図2の例に示されるように、少なくとも1つの顕微鏡対物レンズ280及び少なくとも1つのリレーレンズ285によって、未染色の試料292がイメージセンサ270上に結像され得るように配置された少なくとも1つのリレーレンズ285を含んでいてもよい。さらに、少なくとも1つのリレーレンズ285は、少なくとも1つの顕微鏡対物レンズ280の倍率及び/又は開口数に応じて選択(例えば、焦点距離、材料、サイズ等)され得ることを理解されたい。したがって、少なくとも1つの顕微鏡対物レンズ280の各顕微鏡対物レンズは、少なくとも1つのリレーレンズの対応するリレーレンズを有することができる。少なくとも1つの顕微鏡対物レンズ280は、手動ステージ及び/又は電動ステージに結合されることによって、長手方向Zに移動可能であってもよい。長手方向Zは、顕微鏡システム20の光軸に平行であってもよい。別の言い方をすれば、少なくとも1つの顕微鏡対物レンズ280は、顕微鏡システム20の集光方向に移動可能であってもよい。代替的に、又は追加的に、試料ホルダ290は、長手方向Zに沿って移動可能であってもよい。少なくとも1つの顕微鏡対物レンズ280及び/又は試料ホルダ290は、(照明システム260が明視野照明用に構成されていると仮定して)焦点合わせされた画像がイメージセンサ270によってキャプチャされ得るように、未染色の試料292が移動され得るような方向に移動可能であってもよい。少なくとも1つの顕微鏡対物レンズ280の長手方向Zは、回路200によって制御されてもよい。例えば、回路200は、長手方向Zに沿って少なくとも1つの顕微鏡対物レンズ280の位置を調整するように構成されたフォーカス機能(図2には図示せず)を実行するように構成され得る。フォーカス機能は、長手方向Zに沿って少なくとも1つの顕微鏡対物レンズ280の位置を自動的に調整するように構成され得る。別の言い方をすれば、フォーカス機能はオートフォーカス機能であってもよい。
【0077】
回路200は、取得機能2100と画像構築機能2102を実行するように構成されている。
【0078】
取得機能2100は、複数の方向のそれぞれから未染色の試料292を照明するように照明システム260を制御するように構成されることによって、デジタル画像の入力セットを取得するように構成される。これにより、未染色の試料292のデジタル画像の入力セットは、少なくとも1つの顕微鏡対物レンズ280及びイメージセンサ270を用いて取得され得る。複数の方向262のうちの少なくとも1つの方向は、顕微鏡対物レンズ280の開口数282よりも大きな角度に対応し得る。取得機能2100は、照明システム260を制御して、複数の方向のそれぞれから白色光で未染色の試料292を照明するように構成されることによって、デジタル画像の入力セットを取得するように構成されてもよい。
【0079】
取得機能2100はさらに、イメージセンサ270を制御して、複数の方向のそれぞれについてデジタル画像をキャプチャするように構成される。別の言い方をすれば、取得機能2100は、未染色の試料292のデジタル画像の入力セットを受け取るように構成されてもよい。デジタル画像の入力セットは、複数の方向262から未染色の試料292を照明し、複数の方向262のそれぞれについてデジタル画像をキャプチャすることによって取得される。デジタル画像の入力セットは、複数の方向262から白色光で未染色の試料292を照明し、複数の方向262のそれぞれについてデジタル画像をキャプチャすることによって取得されてもよい。前述したように、複数の方向のうちの少なくとも1つの方向は、顕微鏡対物レンズ280の開口数282よりも大きな角度に対応してもよい。例えば、図2の方向2620は、少なくとも1つの顕微鏡対物レンズ280の開口数282よりも大きな角度に対応することができる。散乱されることなく方向2620から少なくとも1つの顕微鏡対物レンズ280に入射する光は、顕微鏡対物レンズ280を通って(すなわち、この方向からの光の入射角は、顕微鏡対物レンズ280の開口数282の外側であり得る)イメージセンサ270まで伝搬することができない場合がある。したがって、この方向からの光が顕微鏡対物レンズ280を通過してイメージセンサ270に伝搬するためには、試料292によって散乱される必要がある場合がある。
【0080】
画像構築機能2102は、デジタル画像の入力セットを、図1及び図3に関連して説明したように訓練される機械学習モデルに入力するように構成される。画像構築機能2102はさらに、機械学習モデルから、人工的に染色された試料を描写するデジタル画像を備える出力を受信するように構成される。別の言い方をすれば、画像構築機能2102は、デジタル画像の入力セットを訓練された機械学習モデル(例えば、図1及び図3に関連して説明した方法で訓練された)に入力し、訓練された機械学習モデルから、人工的に染色された試料を描写するデジタル画像を備える出力を受信することによって、人工的に染色された試料を描写するデジタル画像を構築するように構成され得る。それゆえ、未染色の試料292のデジタル画像を使用して、人工的に染色された試料を描写するデジタル画像が訓練された機械学習モデルから出力されるため、未染色の試料292を撮像するプロセスはより効率的であり得る。したがって、撮像前に染色剤を未染色の試料292に適用する必要がない。これは、ひいては、未染色の試料292のより迅速な及び/又はより費用効果の高い撮像を可能にし得る。さらに、染色中に必要とされる潜在的に有毒な化学物質(例えば、染色剤又は他の関連する化学物質)を手作業で取り扱う必要をなくすことができ、これにより、人(例えば、研究室員)にとってより安全な撮像プロセスを可能にすることができる。
【0081】
図6Aは、倍率20倍の顕微鏡対物レンズを用いてキャプチャした未染色の試料のデジタル画像600を示す。この場合、未染色の試料は赤血球610と白血球620を備える。この例では、白血球620の種類は、分葉核好中球(segmented neutrophil)である。図6Aに見られるように、未染色の試料のいくつかの特徴(例えば、赤血球610)が視認可能である。しかしながら、図6Aに示される未染色の試料のデジタル画像の入力セットをキャプチャし、その入力セットを訓練された機械学習モデルに入力すると、図6Bに示されるデジタル画像602が得られる。図6Bにおいて、デジタル画像602に描かれた人工的に染色された試料では、より多くの特徴が視認可能であることが明らかである。特に、中心付近の特徴(この場合、白血球620である)は、人工的に染色された試料を描写する構築されたデジタル画像602では明瞭に視認可能であるが、図6Aに図示された未染色の試料のデジタル画像600では原理的に不可視である。図6Bからさらに明らかなように、未染色の試料のデジタル画像600で視認できるいくつかの特徴(例えば、赤血球610)は、人工的に染色された試料を描写する構築されたデジタル画像602ではコントラストが増加している。図6Aに描かれた未染色の試料に染色剤(この場合、メイ・グリュンワルド・エオシンメチレンブルー及びギムザ・アズール・エオシンメチレンブルーを備える)を適用し、従来の顕微鏡法(この場合、明視野照明)を用いてデジタル画像604を撮影すると、図6Cのようになる。図6B図6Cを比較すると、人工的に染色された試料(すなわち図6B)の画像602は、実際に染色された試料(すなわち図6C)の画像604と非常によく似ており、ほぼ同等であることが明らかである。
【0082】
図3は、人工的に染色された試料を描写するデジタル画像602を構築する機械学習モデルを訓練する方法30のブロックスキームである。方法30は、未染色の試料のデジタル画像の訓練セットを受信する工程S300であって、デジタル画像の訓練セットは、未染色の試料を複数の方向から照明し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得される、受信する工程S300と;染色された試料のデジタル画像を備えるグラウンドトゥルースを受信する工程S302であって、染色された試料は、染色剤を未染色の試料に適用することによって形成される、受信する工程S302と;機械学習モデルを訓練する工程S304であって、未染色の試料のデジタル画像の受信された訓練セット及び受信されたグラウンドトゥルースを使用して、人工的に染色された試料を描写するデジタル画像602を構築する、訓練する工程S304とを含む。方法30はさらに、取得する工程S306であって、未染色の試料を複数の方向から照明する工程S308及び複数の方向の各方向について未染色の試料のデジタル画像をキャプチャする工程S310によって、未染色の試料のデジタル画像の訓練セットを取得する工程S306、を含み得る。デジタル画像の訓練セットは、複数の方向から白色光で未染色の試料を照明し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得されてもよい。デジタル画像の訓練セットは、顕微鏡対物レンズ及びイメージセンサを用いて取得されてもよく、複数の方向のうちの少なくとも1つの方向は、顕微鏡対物レンズの開口数よりも大きな角度に対応してもよい。方法30はさらに、未染色の試料に染色剤を適用する工程S312により、染色された試料を形成する工程S314と;染色された試料のデジタル画像を取得する工程S316によって、染色された試料のデジタル画像を備えるグラウンドトゥルースを形成する工程とをさらに含み得る。染色された試料のデジタル画像を取得する工程S316は、複数の方向のサブセットから染色された試料を同時に照明する工程S318と、染色された試料が複数の方向のサブセットから同時に照明されている間に染色された試料のデジタル画像をキャプチャする工程S319と、を含み得る。方法30はさらに、染色された試料のデジタル画像の再構築セットを受信する工程S320であって、再構築セットは、染色された試料を複数の方向から照明し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得され得る、受信する工程S320と;計算画像技術を使用して、染色された試料のデジタル画像を再構築する工程S322とを含み得る。方法30はさらに、未染色の試料に染色剤を適用する工程S312により、染色された試料を形成する工程と;取得する工程S324であって、染色された試料を複数の方向から照明する工程S326と、複数の方向の各方向について、染色された試料のデジタル画像をキャプチャする工程S328とによって、染色された試料のデジタル画像の再構築セットを取得する工程S324とを含み得る。デジタル画像の再構築セットは、顕微鏡対物レンズ及びイメージセンサを用いて取得されてもよく、複数の方向のうちの少なくとも1つの方向は、顕微鏡対物レンズの開口数よりも大きな角度に対応してもよい。グラウンドトゥルースは、デジタル画像の訓練セットのデジタル画像よりも相対的に高い解像度を有するデジタル画像を備えてもよい。
【0083】
図4は、人工的に染色された試料を描写するデジタル画像602を構築する方法40のブロックスキームである。方法40は、未染色の試料のデジタル画像の入力セットを受信する工程S400であって、デジタル画像の入力セットは、未染色の試料を複数の方向から照明し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得される、受信する工程S400と;構築する工程S402であって、デジタル画像の入力セットを、図3に示される方法30にしたがって学習される機械学習モデルに入力する工程S404と、機械学習モデルから、人工的に染色された試料を描写するデジタル画像602を備える出力を受信する工程S406とによって、人工的に染色された試料を描写するデジタル画像を構築する工程S402とを含む。未染色の試料のデジタル画像の入力セットは、顕微鏡対物レンズ及びイメージセンサを用いて取得されてもよく、複数の方向のうちの少なくとも1つの方向は、顕微鏡対物レンズの開口数よりも大きい角度に対応してもよい。デジタル画像の入力セットは、複数の方向から白色光で未染色の試料を照射し、複数の方向のそれぞれについてデジタル画像をキャプチャすることによって取得されてもよい。
【0084】
図7は、非一時的なコンピュータ可読記憶媒体50を示す。非一時的なコンピュータ可読記憶媒体50は、処理能力を有する装置上で実行されると、図3に図示した方法30又は図4に図示した方法40を実行する、プログラムコード部分を備える。
【0085】
当業者であれば、機械学習について、特に、機械学習モデルがどのように訓練され得るか、及び/又は訓練された機械学習モデルがどのように使用され得るかについて認識しているであろう。しかしながら、簡単に説明すると、機械学習モデルは、教師あり機械学習モデルの一種であってよく、例えば、U-net又はPix2pixなどのネットワークであってよい。機械学習モデルは、SwinIRなどのトランスフォーマー(transformer)ベースのネットワークであってもよい。機械学習モデルは、畳み込みニューラルネットワークであってもよい。機械学習モデルは、例示的な入力訓練データと、グラウンドトゥルース、すなわち「正しい」又は「真の」出力とを使用して、所望の出力を予測するように訓練される。別の言い方をすれば、グラウンドトゥルースは、入力訓練データのラベルとして使用される。入力訓練データは、異なる結果に関連するデータを備える場合があり、各入力訓練データは、それによりその特定の入力訓練データに関連するグラウンドトゥルースと関連付けられる場合がある。したがって、各入力訓練データは、関連するグラウンドトゥルース(すなわち、「正しい」又は「真の」出力)でラベル付けされてもよい。機械学習モデルは、複数のニューロン層から構成される場合があり、各ニューロンは、入力訓練データに適用される数学的演算を表す場合がある。通常、機械学習モデルは、入力層、1つ又は複数の隠れ層、及び出力層から構成される。最初の層は入力層と呼ばれる。機械学習モデルの各層(出力層を除く)の出力は、後続の層に供給され、後続の層が新たな出力を生成する。新しい出力は、さらに後続の層に供給されることがある。機械学習モデルの出力は、出力層の出力であってもよい。このプロセスは、機械学習モデルのすべての層に対して繰り返されてもよい。一般には、各層はさらに活性化関数を含む。活性化関数はさらに、層のニューロンの出力を定義することができる。例えば、活性化関数は、層からの出力が過大又は過小(例えば、正又は負の無限大に向かう傾向)ではないようにすることができる。さらに、活性化関数は、機械学習モデルに非線形性を導入し得る。訓練プロセス中、層のニューロンに関連する重み及び/又はバイアスは、機械学習モデルが入力学習データに対して、グラウンドトゥルースを反映した予測を生成するまで調整され得る。各ニューロンは、ニューロンへの入力に、そのニューロンに関連付けられた重みを乗算するように構成されてもよい。各ニューロンはさらに、そのニューロンに関連するバイアスを入力に加えるように構成されてもよい。別の言い方をすると、ニューロンからの出力は、ニューロンに関連するバイアスと、ニューロンに関連する重みと入力の積の和であってもよい。重みとバイアスは、再帰的なプロセスや反復的なプロセスで調整されてもよい。これは、当技術分野では誤差逆伝播法(backpropagation)として知られている。畳み込みニューラルネットワークは、畳み込み演算を表す1つ又は複数の層からなるニューラルネットワークの一種であってもよい。この文脈において、入力学習データはデジタル画像を備える。デジタル画像は、行列として(又は配列として)表されることがあり、行列(又は配列)の各要素は、デジタル画像の対応する画素を表すことがある。これにより、要素の値は、デジタル画像の対応するピクセルのピクセル値を表すことができる。したがって、機械学習モデルへの入力及び出力は、デジタル画像を表す数値(例えば、行列又は配列)であってもよい。この文脈では、入力はデジタル画像の集合(すなわち、訓練セット又は入力セット)である。したがって、機械学習モデルへの入力は、複数の行列、又は3次元行列であってもよい。機械学習モデルは、訓練中にさらなる入力を受けてもよいことを理解されたい。このような入力の例としては、染色された試料を形成する際に使用される染色剤のタイプが挙げられる。このような入力は、訓練された機械学習モデルを使用して、人工的に染色された試料を描写するデジタル画像を構築する際に使用することができる。さらに、この文脈では、出力はデジタル画像である。したがって、機械学習モデルの出力は、人工的に染色された試料を描写する構築されたデジタル画像を表す行列であってもよい。
【0086】
当業者は、本発明の概念が決して上述の好ましい変形例に限定されるものではないことを理解する。むしろ、添付の特許請求の範囲の範囲内で多くの修正及び変形が可能である。
【0087】
例えば、複数の機械学習モデルを異なる染色剤に対して訓練することができる。したがって、構築されたデジタル画像の人工的な染色の種類は、その種類の染色剤を用いて訓練された機械学習モデルにデジタル画像の入力セットを入力することによって選択することができる。さらに、異なる染色剤に対して複数の機械学習モデルを訓練する代わりに、複数の異なる試料及び染色剤のタイプに対して単一の機械学習モデルを訓練してもよいことを理解されたい。例えば、染色剤の種類は、訓練中に機械学習モデルへのさらなる入力として使用することができる。したがって、学習された機械学習モデルは、デジタル画像の入力セットと、人工的に染色に使用される染色剤の種類とを入力として取り込むことができる。訓練された機械学習モデルは、訓練された機械学習モデルへの入力として使用される染色剤のタイプで染色される試料を再現する、人工的に染色された試料を描写するデジタル画像を出力するために使用され得る。
【0088】
人工的に染色された試料を描写するデジタル画像の構築は、図2の顕微鏡システムに関連して説明されているが、デジタル画像の構築は、計算装置で実施されてもよいことを理解されたい。したがって、計算装置は、デジタル画像の入力セットを受信し、受信したデジタル画像の入力セットを、上記にしたがって訓練された機械学習モデルに入力するように構成されてもよい。デジタル画像の入力セットは、例えば、図2の顕微鏡システムを使用してキャプチャされ、計算装置に送信される(すなわち、計算装置は、顕微鏡システムからデジタル画像の入力セットを受信するように構成されてもよい)。
【0089】
追加的に、開示された変形例に対する変形は、特許請求された発明を実施する当業者によって、図面、開示、及び添付の特許請求の範囲の検討から理解され、効果を奏することができる。
図1
図2
図3
図4
図5
図6A
図6B
図6C
図7
【国際調査報告】