(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-08-08
(54)【発明の名称】LFA試験片のニューラル・ネットワーク分析
(51)【国際特許分類】
G01N 21/17 20060101AFI20230801BHJP
G06V 10/82 20220101ALI20230801BHJP
G01N 21/78 20060101ALI20230801BHJP
G01N 33/543 20060101ALI20230801BHJP
【FI】
G01N21/17 D
G06V10/82
G01N21/78 A
G01N33/543 531
【審査請求】有
【予備審査請求】有
(21)【出願番号】P 2023500999
(86)(22)【出願日】2021-07-07
(85)【翻訳文提出日】2023-02-27
(86)【国際出願番号】 US2021040665
(87)【国際公開番号】W WO2022010997
(87)【国際公開日】2022-01-13
(32)【優先日】2020-07-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522371938
【氏名又は名称】エクサ ヘルス インコーポレイテッド
【氏名又は名称原語表記】EXA HEALTH,INC.
(74)【代理人】
【識別番号】100105957
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】クマール、マヤンク
(72)【発明者】
【氏名】ミラー、ケビン ジェイ.
(72)【発明者】
【氏名】シェルフ、スティーブン
(72)【発明者】
【氏名】サティッシュ、シッダース
【テーマコード(参考)】
2G059
5L096
【Fターム(参考)】
2G059AA01
2G059AA05
2G059BB20
2G059EE02
2G059FF01
2G059KK04
2G059MM01
2G059MM20
5L096AA06
5L096BA03
5L096CA02
5L096DA02
5L096HA09
5L096HA11
5L096JA11
5L096JA18
5L096KA04
5L096KA15
(57)【要約】
例示的な方法およびシステムは、照明バリエーション、試験片反射、双方向反射率分布関数、撮像の角度、スマートフォン・カメラの応答曲線、または、これらの任意の適切な組合せにおける、非線形な相互作用を学習することによって、ラテラル・フロー・アッセイ試験片の画像を分析するように、エンド・ツー・エンドのニューラル・ネットワーク機械を訓練する。そのような例示的な方法およびシステムは、アンビアント光設定下で、検出限界、定量限界、および定量的試験結果の精度における変動係数を改善する。
【特許請求の範囲】
【請求項1】
1つまたは複数のプロセッサが、複数の訓練画像に対してアクセスする工程であって、前記複数の訓練画像の各々は、複数の撮像条件からなる対応する組合せの下での対応する試験デバイスの対応する試験片を示しており、前記複数の訓練画像の各々は、前記対応する試験片によって示される対応する試験結果の対応するインジケータを用いてラベル付けされている、アクセスする工程と、
前記1つまたは複数のプロセッサが、複数の撮像条件からなる対応する組合せの下でのさらなる試験デバイスのさらなる試験片を示しているラベル付けされていない画像に基づいて、予測される試験結果を決定するようにニューラル・ネットワークを訓練する工程であって、前記訓練する工程は、前記複数の訓練画像に基づく、訓練する工程と、
前記1つまたは複数のプロセッサが、前記複数の撮像条件からなる対応する組合せの下での前記さらなる試験デバイスの前記さらなる試験片を示している前記ラベル付けされていない画像に対してアクセスすることと、前記ラベル付けされていない画像を前記訓練されたニューラル・ネットワーク内へ入力することによって前記訓練されたニューラル・ネットワークから前記予測される試験結果を取得することと、を行うように構成されたさらなる機械に対して、前記訓練されたニューラル・ネットワークを提供する工程と
を備える、方法。
【請求項2】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記ラベル付けされていない画像の色温度を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、色温度において様々である、請求項1に記載の方法。
【請求項3】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の影を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の影の存在において様々である、請求項1に記載の方法。
【請求項4】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上のデブリを含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上のデブリの存在において様々である、請求項1に記載の方法。
【請求項5】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の鏡面反射光を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の鏡面反射光の存在において様々である、請求項1に記載の方法。
【請求項6】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の汚れを含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の汚れの存在において様々である、請求項1に記載の方法。
【請求項7】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記ラベル付けされていない画像の露出を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、露出において様々である、請求項1に記載の方法。
【請求項8】
合成された複数の画像の第1のセットを生成することによって、前記複数の訓練画像のうちの第1の部分を生成する工程であって、前記合成された複数の画像の各々は、シミュレーションされた複数の撮像条件からなる対応する組合せの下での対応するシミュレーションされた試験片を示している、工程と、
キャプチャされた複数の画像の第2のセットに対してアクセスすることによって、前記複数の訓練画像のうちの第2の部分に対してアクセスする工程であって、前記キャプチャされた複数の画像の各々は、実際の複数の撮像条件からなる対応する組合せの下での対応する実際の試験片を示している、工程と
をさらに備える、請求項1に記載の方法。
【請求項9】
システムであって、
1つまたは複数のプロセッサと、
命令を記憶するメモリであって、前記命令は、前記1つまたは複数のプロセッサのうちの少なくとも1つのプロセッサによって実行された場合、前記システムに、
複数の訓練画像に対してアクセスする工程であって、前記複数の訓練画像の各々は、複数の撮像条件からなる対応する組合せの下での対応する試験デバイスの対応する試験片を示しており、前記複数の訓練画像の各々は、前記対応する試験片によって示される対応する試験結果の対応するインジケータを用いてラベル付けされている、アクセスする工程と、
複数の撮像条件からなる対応する組合せの下でのさらなる試験デバイスのさらなる試験片を示しているラベル付けされていない画像に基づいて、予測される試験結果を決定するようにニューラル・ネットワークを訓練する工程であって、前記訓練する工程は、前記複数の訓練画像に基づく、訓練する工程と、
前記複数の撮像条件からなる対応する組合せの下での前記さらなる試験デバイスの前記さらなる試験片を示している前記ラベル付けされていない画像に対してアクセスすることと、前記ラベル付けされていない画像を前記訓練されたニューラル・ネットワーク内へ入力することによって前記訓練されたニューラル・ネットワークから前記予測される試験結果を取得することと、を行うように構成されたさらなる機械に対して、前記訓練されたニューラル・ネットワークを提供する工程と
を含む動作を行わせる、メモリと
を備える、システム。
【請求項10】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記ラベル付けされていない画像の色温度を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、色温度において様々である、請求項9に記載のシステム。
【請求項11】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の影を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の影の存在において様々である、請求項9に記載のシステム。
【請求項12】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上のデブリを含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上のデブリの存在において様々である、請求項9に記載のシステム。
【請求項13】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の鏡面反射光を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の鏡面反射光の存在において様々である、請求項9に記載のシステム。
【請求項14】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の汚れを含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の汚れの存在において様々である、請求項9に記載のシステム。
【請求項15】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記ラベル付けされていない画像の露出を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、露出において様々である、請求項9に記載のシステム。
【請求項16】
前記動作は、
合成された複数の画像の第1のセットを生成することによって、前記複数の訓練画像のうちの第1の部分を生成する工程であって、前記合成された複数の画像の各々は、シミュレーションされた複数の撮像条件からなる対応する組合せの下での対応するシミュレーションされた試験片を示している、工程と、
キャプチャされた複数の画像の第2のセットに対してアクセスすることによって、前記複数の訓練画像のうちの第2の部分に対してアクセスする工程であって、前記キャプチャされた複数の画像の各々は、実際の複数の撮像条件からなる対応する組合せの下での対応する実際の試験片を示している、工程と
をさらに含む、請求項9に記載のシステム。
【請求項17】
命令を含む機械可読媒体であって、前記命令は、機械の1つまたは複数のプロセッサによって実行された場合、前記機械に、
複数の訓練画像に対してアクセスする工程であって、前記複数の訓練画像の各々は、複数の撮像条件からなる対応する組合せの下での対応する試験デバイスの対応する試験片を示しており、前記複数の訓練画像の各々は、前記対応する試験片によって示される対応する試験結果の対応するインジケータを用いてラベル付けされている、アクセスする工程と、
複数の撮像条件からなる対応する組合せの下でのさらなる試験デバイスのさらなる試験片を示しているラベル付けされていない画像に基づいて、予測される試験結果を決定するようにニューラル・ネットワークを訓練する工程であって、前記訓練する工程は、前記複数の訓練画像に基づく、訓練する工程と、
前記複数の撮像条件からなる対応する組合せの下での前記さらなる試験デバイスの前記さらなる試験片を示している前記ラベル付けされていない画像に対してアクセスすることと、前記ラベル付けされていない画像を前記訓練されたニューラル・ネットワーク内へ入力することによって前記訓練されたニューラル・ネットワークから前記予測される試験結果を取得することと、を行うように構成されたさらなる機械に対して、前記訓練されたニューラル・ネットワークを提供する工程と
を含む動作を行わせる、機械可読媒体。
【請求項18】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記ラベル付けされていない画像の色温度を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、色温度において様々である、請求項17に記載の機械可読媒体。
【請求項19】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の影を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の影の存在において様々である、請求項17に記載の機械可読媒体。
【請求項20】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上のデブリを含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上のデブリの存在において様々である、請求項17に記載の機械可読媒体。
【請求項21】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の鏡面反射光を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の鏡面反射光の存在において様々である、請求項17に記載の機械可読媒体。
【請求項22】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の汚れを含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の汚れの存在において様々である、請求項17に記載の機械可読媒体。
【請求項23】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記ラベル付けされていない画像の露出を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、露出において様々である、請求項17に記載の機械可読媒体。
【請求項24】
前記動作は、
合成された複数の画像の第1のセットを生成することによって、前記複数の訓練画像のうちの第1の部分を生成する工程であって、前記合成された複数の画像の各々は、シミュレーションされた複数の撮像条件からなる対応する組合せの下での対応するシミュレーションされた試験片を示している、工程と、
キャプチャされた複数の画像の第2のセットに対してアクセスすることによって、前記複数の訓練画像のうちの第2の部分に対してアクセスする工程であって、前記キャプチャされた複数の画像の各々は、実際の複数の撮像条件からなる対応する組合せの下での対応する実際の試験片を示している、工程と
をさらに含む、請求項16に記載の機械可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書において開示される主題は、一般に、試験片の分析を促進する特殊用途機械であって、そのような特殊用途機械のソフトウェアにより構成されたコンピュータ化された変形例およびそのような変形例に対する改善を含む、特殊用途機械の技術分野と、そのような特殊用途機械が、試験片の分析を促進する他の特殊用途機械と比較して改善される技術とに関する。具体的には、本開示は、試験片のニューラル・ネットワーク分析を促進するためのシステムおよび方法に対処する。
【背景技術】
【0002】
ラテラル・フロー・アッセイ(LFA)は、液体サンプル内の分析対象物の濃度を検出するために使用される、紙ベースのプラットフォームの一種である。LFA試験片は、バイオ医薬品、農業、食品科学、および環境科学において普及するようになった、コスト効率の良い、単純で、迅速で、かつ携帯可能な試験(例えば、LFA試験デバイス内に含有される)であり、患者に対して即時の診断結果を直接提供するためのそれらの試験の潜在力について相当な関心を引きつけている試験である。LFAベースの試験は、特異抗原および特異抗体の質的および定量的検出のために、ならびに遺伝子増幅産物のために、病院、医務室、および臨床検査室において広く使用される。LFA試験は、(例えば、妊娠テスト、マラリア試験、COVID-19抗体試験のための試験、COVID-10抗原試験、または薬物検査において)広く普及している成長中の用途であり、ポイント・オブ・ケア(POC)用途に良く適している。
【図面の簡単な説明】
【0003】
【
図1】分析対象物の濃度を直接予測する際における、いくつかの例示的な実施形態による、そのようなエンド・ツー・エンドのニューラル・ネットワーク機械の性能を他のアプローチと比較する、観察された結果を示すグラフのペア。
【
図2】いくつかの例示的な実施形態による、LFA試験片の分析を実行するように構成されたエンド・ツー・エンドのニューラル・ネットワーク機械または他のシステムのアーキテクチャおよび構成コンポーネントを例示するブロック図。
【
図3】LFA試験デバイス(例えば、LFA試験カセット)を描く画像の部分を識別し、または他の方法で決定する(例えば、局所化する)方法を例示するフロー・チャートであって、画像の識別された部分は、いくつかの例示的な実施形態によるLFA試験デバイスのLFA試験片を描く、フロー・チャート。
【
図4】いくつかの例示的な実施形態による、LFA試験片を分析するようにニューラル・ネットワーク分析を訓練する方法を例示するフロー・チャート。
【
図5】いくつかの例示的な実施形態による、LFA試験片を分析するようにニューラル・ネットワーク分析を訓練する方法を例示するフロー・チャート。
【
図6】機械可読媒体から命令を読み取ること、および本明細書において論じられる方法論のうちのいずれか1つまたは複数を行うことができる、いくつかの例示的な実施形態による機械のコンポーネントを例示するブロック図。
【発明を実施するための形態】
【0004】
いくつかの実施形態が、添付図面の図において、限定ではなく例として例示される。
例示的な方法(例えば、アルゴリズム)は、試験片(例えば、LFA試験片)のニューラル・ネットワーク分析を促進し、例示的なシステム(例えば、特殊用途ソフトウェアによって構成された特殊用途機械)は、試験片のニューラル・ネットワーク分析を促進するように構成される。例は、可能なバリエーションを代表するものに過ぎない。特に明記されない限り、構造(例えば、モジュールなどの構造的コンポーネント)は、任意選択であり、組み合わされ、または細分化されてもよく、(例えば、手順、アルゴリズム、または他の機能における)動作は、順序が変わっても、または組み合わされ、もしくは細分化されてもよい。下記の説明では、解説の目的のために、様々な例示的な実施形態の完全な理解を提供するために、多くの具体的な詳細が述べられる。しかしながら、本主題がこれらの具体的な詳細なしに実施され得ることは、当業者には明らかであろう。
【0005】
LFA試験片は、通常、指定されたコントロール・ライン領域とテスト・ライン領域とを有する。典型的には、結果は、LFA試験デバイスの指定されたサンプル・ウェル内にサンプルを置いてから、5~30分以内に解釈されることが可能である。LFA試験デバイスは、LFA試験カセットという例示的な形態をとってもよく、LFA試験デバイスは、典型的には、LFA試験デバイス内部のLFA試験片に適用されるべきサンプルを受け入れるための少なくとも1つのサンプル・ウェルを有する。結果は、質的な手法で、例えば、LFA試験片上に現れる試験結果ラインの存在または不在を視覚的に決定することなどによって、訓練された医療従事者(HCP)によって読み取られることが可能である。
【0006】
しかしながら、人間のHCPによる質的評価は、特に、視覚的に識別することが困難な薄いラインに対して、主観的で誤りを起こしやすいことがある。代わりに、例えば、ライン強度またはライン強度の他のインジケータを測定することなどによる、ラインの存在または不在の定量的評価は、薄い試験結果ラインの正確な読み取りにとって、より望ましいことがある。完全なまたは部分的な定量的アプローチは、試験結果ラインの強度または強さを直接定量化し、または試験結果ラインの定量化された強度または他の定量化された強さに基づいて、サンプル中の分析対象物の濃度を潜在的に決定することができる。LFA試験片の画像を獲得するための専用ハードウェア・デバイス、およびライン強さを決定するために比色分析を行うための画像処理ソフトウェアは、多くの場合、専用照明の制御、外部照明の遮断、および適当に機能するための拡張機器およびソフトウェアに依拠する。より柔軟な、かつ、より安価なアプローチが有益であり得る。
【0007】
本明細書において論じられる方法およびシステムは、スマートフォン・ベースのLFA読み取りおよび分析のための技術を説明する。本技術は、コンピュータ・ビジョンおよび機械学習(例えば、深層学習ニューラル・ネットワーク)を利用して、適切にプログラムされたスマートフォンまたは他のモバイル・コンピューティング・デバイスが、多種多様なアンビアント照明条件下で多種多様なLFA試験片に対して定性的測定、定量的測度、または両方を行うように構成されたハイエンドな実験室グレードのLFA読み取り機として機能することを可能にする。具体的には、本明細書において論じられる方法およびシステムは、LFA試験結果の正確な解釈のために、専用光源の制御または遮光筐体の使用に依拠しない。本明細書において開示される方法およびシステムは、マラリア試験、COVID-19抗体試験、COVID-19抗原試験、癌試験等などの、多様な用途のためにLFA試験結果を解釈するようにニューラル・ネットワークを訓練するために使用されることが可能であり、LFA試験片を収容する、任意の数の異なるメーカ、モデル、または他のタイプのLFA試験デバイス(例えば、様々なLFA試験カセット)と共に作用するように適合されることが可能である。
【0008】
LFA試験片の定量的評価を完全にまたは部分的に行うために、アンビアント光設定下でスマートフォン・カメラを使用する既存の方法およびシステムは、一般に、スマートフォン・カメラによってキャプチャされた画像に対して線形比色光正規化を行うことによって、それを行う。しかしながら、(例えば、試験結果ラインの強度をコントロール・ラインの強度で除算することによる、または試験ラインの強度を試験片の背景色によって除算することによる)そのような線形比色光正規化は、撮像の角度、可変の色温度の複数の光源、影、グレア、鏡面反射、および一般消費者グレードのカメラの非線形応答曲線(例えば、スマートフォン・カメラのべき乗ガンマ応答曲線)によってアンビアント光と試験片との相互作用が複雑化される場合などの、実際的な設定において、不正確な結果を生み出すことがある。
【0009】
対照的に、本明細書において論じられる方法およびシステムは、照明バリエーション、試験片反射(例えば、アルベド)、試験片の双方向反射率分布関数(BRDF:bi-directional reflectance distribution functions)、撮像の角度、スマートフォン・カメラの応答曲線、または、これらの任意の適切な組合せにおける、そのような非線形かつ複雑化された相互作用を学習するように、エンド・ツー・エンドのニューラル・ネットワーク機械を訓練する。したがって、本方法およびシステムは、アンビアント光設定下で、検出限界(LOD)、定量限界(LOQ)、および変動係数(COV)(例えば、定量的試験結果解釈、分析対象物濃度予測、または両方の精度を表す)を改善する。
【0010】
図1は、分析対象物の濃度を直接予測する際における、いくつかの例示的な実施形態による、そのようなエンド・ツー・エンドのニューラル・ネットワーク機械からの観察された結果を、回帰分析を用いたライン強度特徴および線形光正規化を使用する他のアプローチと比較して示すグラフのペアである。具体的には、
図1の上側のグラフは、比色分析および光正規化に基づいたアプローチの性能を描く一方で、
図1の下側のグラフは、色温度および撮像の角度における変化と共に、可変のアンビアント光条件下での、エンド・ツー・エンドのニューラル・ネットワーク機械の例示的な実施形態の性能を描いている。
【0011】
図1に示される上側のグラフにおいて示されるように、比色分析および光正規化に基づいたアプローチは、より高い分散およびより高いCOVという結果をもたらす。
図1に示される下側のグラフにおいて見られるように、訓練されたエンド・ツー・エンドのニューラル・ネットワーク機械は、より低い分散およびより良好なCOVを有して、より良好に性能発揮し、そのため、LFA試験片の定量的評価について、LODおよびLOQにおける改善を達成した。
【0012】
正確な性能のためにニューラル・ネットワーク機械を訓練することは、通常、大量のラベル付けされた訓練例、例えば、試験結果ラインおよびコントロール・ラインについて可変のレベルの強さ(例えば、強度)を有する試験片画像の多数の例などを使用する。例えば、訓練データベースは、試験結果ラインおよびコントロール・ラインの両方について、強いライン、弱いライン、薄いライン、ラインなし等の混合を有するLFA試験片を描く画像の訓練セット、ならびにグラウンドトゥルース質的ラベル(例えば、ラインの存在もしくは不在を示す)、グラウンドトゥルース定量的ラベル(例えば、分析対象物の濃度を示す)、または両方を含有してもよい。さらに、訓練画像は、それらのそれぞれの撮像条件、例えば、照明条件(例えば、色、強度、およびシェージング)、露出、撮像角度、撮像ロケーション、(例えば、サンプル、血液、または両方からの可変量のステインを有する)試験片背景なども変えて、実際的な設定においてLFA試験片の質的および定量的評価を行うためにニューラル・ネットワーク機械を訓練するために使用され得る代表的な訓練データセットを生成し得る。しかしながら、そのような大量の訓練データを収集およびラベル付けすることは、法外に高価であり、時間がかかり、または両方であり得る。
【0013】
本明細書において論じられる方法およびシステムによれば、ニューラル・ネットワーク機械を訓練するためのLFA試験片の現実的な見た目の画像は、大きく変化するパラメータを用いてシミュレーションされ得る。そのようなパラメータの例は、ライン強さ(例えば、0(ラインなし)から1(強いライン)まで及ぶことができるライン強さパラメータを用いる)、ライン色、ライン太さ、ライン・ロケーション、または、これらの任意の適切な組合せを含む。そのようなパラメータの他の例は、試験片背景(例えば、血液ステインの有無)、照明条件、影、または、これらの任意の適切な組合せにおけるバリエーションを示す。これらのシミュレーションされた試験片画像は、適切な機械によって(例えば、ニューラル・ネットワーク機械へプログラムされたモジュールまたは他のフィーチャによって)生成され、次いで、ニューラル・ネットワーク機械を完全にまたは部分的に訓練する(例えば、事前訓練する)ために使用されることが可能である。そのようなシミュレーションされた画像は、ニューラル・ネットワーク機械が、試験結果ラインのうちで最も薄いものを検出し適当に定量化すること、ならびに、これらの機械による推論が、照明条件または他の撮像条件の影響をより受けにくくすること、および、これらのシミュレーションされた画像を生成する際に使用されるライン強さパラメータに対してより敏感にすることを支援するのに、特に効果的である。
【0014】
本明細書において論じられる方法およびシステムのいくつかの例示的な実施形態において、ニューラル・ネットワーク機械は、LFA試験片の生成されたシミュレーションされた画像で事前訓練され、次いで、限定された量のデータを用いて実際のLFA試験片の画像の評価を行うことなどの、特定の用途ドメインのために、(例えば、さらなる訓練を介して)微調整される。そのような評価は、質的評価(例えば、試験結果ラインの存在または不在)、試験結果の直接的な定量的評価、または、これらの任意の適切な組合せを含んでもよい。ニューラル・ネットワーク機械の微調整は、ニューラル・ネットワーク機械が、特定の用途のために試験結果ラインの存在または不在を直接予測すること、何らかの他の用途において分析対象物の濃度を予測すること、または両方を可能にする。いくつかの例示的な実施形態によれば、本明細書において開示される方法およびシステムは、ニューラル・ネットワーク機械が、陽性または陰性のCOVID-19抗体試験片、COVID-19抗原試験片、または両方を示す、ラベル付けされた画像の大きな訓練セットを最初に取得することなしに、COVID-19抗体試験、COVID-19抗原試験、または両方について、陽性の結果または陰性の結果を示す薄い試験結果ラインを検出するように訓練するのを支援することができる。そのため、生成された写真のように現実的なシミュレーションされた画像を用いてニューラル・ネットワーク機械を事前訓練し、特定の下流タスクのためにさらなる訓練と結合することは、実際の試験片の大量のラベル付けされた画像の取得に伴うコスト、労力、またはリソース使用を軽減または回避し得る。
【0015】
本明細書において論じられる方法およびシステムの一定の例示的な実施形態は、薄いライン(例えば、薄い試験結果ライン)を検出する際における、訓練されたニューラル・ネットワーク機械の感度をさらに改善するための、およびLFA試験片画像の正確な定量的評価を行うための、修正されたカメラ(例えば、修正されたスマートフォン・カメラもしくは他の修正されたカメラ・ハードウェア)、修正された画像獲得、または両方の使用を含む。特に、ハードウェア、画像獲得、または両方のそのような修正は、LFA試験結果ラインの画像を評価する(例えば、解釈する)際における、訓練されたニューラル・ネットワーク機械の性能を最適化するために、フラッシュ照明ありおよびなしでの試験デバイス(例えば、試験カセット)の画像を獲得すること、カメラのダイナミック・レンジを高めるために可変の露出下で複数の画像を獲得すること、画像処理由来のアーチファクトを回避するためにRAW撮像フォーマットで画像を獲得すること、1つもしくは複数のカメラ・パラメータ(例えば、画像センサ感度(「ISO」)、露出、利得、ホワイトバランス、もしくは焦点)をプログラムによって調整すること、または、これらの任意の適切な組合せを含み得る。
【0016】
カメラを有するスマートフォンを使用して、自動LFA分析を行うために、LFA試験デバイス(例えば、LFA試験カセット)の画像が獲得される。画像は、薄いライン(例えば、LFA試験デバイスに含まれるLFA試験片上に現れる薄い試験結果ライン)の検出とカメラの応答の線形性とを最適化する特定の画像獲得方法論を使用して獲得され得る。画像が獲得されると、画像分析処理における第1の工程は、試験デバイスを示す画像の領域、試験デバイスの結果ウェルを示す対応するサブ領域、または両方を局所化することである。いくつかの例示的な実施形態において、別個の(例えば、セカンダリ)ニューラル・ネットワーク機械が、画像内に現れる特定のタイプの試験デバイスを検出するように構成および訓練される。別個でも別個でなくても、そのようなニューラル・ネットワーク機械は、いくつかのタイプ(例えば、メーカ、モデル等)の試験デバイスのいずれかを認識するように訓練されることが可能である。他の例示的な実施形態において、そのようなニューラル・ネットワーク機械は、1つの一意のタイプの試験デバイスのみを認識するように構成される。試験デバイスの結果ウェルを描く画像の一部(例えば、サブ領域)が、(例えば、画像内の画像部分のロケーション座標によって)識別されると、試験片(例えば、試験片の可視部、なぜならば、その部分が結果ウェルに現れるため)のロケーション座標の1つまたは複数のさらなる精緻化が行われて、さらなるLFA分析のために、試験片またはその一部のみを示す画像のサブサブ領域のみが正確に識別され、切り取られる。第2の工程は、画像の切り取られた一部(例えば、試験片またはその一部を示す、切り取られたサブサブ領域)の実際の分析を行う。この分析は、画像の一部の質的評価、定量的評価、または両方を行うように訓練されたエンド・ツー・エンドのニューラル・ネットワーク機械によって行われ得る。エンド・ツー・エンドのニューラル・ネットワーク機械は、LFA試験片の生成されたシミュレーションされた画像で事前訓練され、次いで、特定の用途のために微調整されていてもよい。
【0017】
図2は、アーキテクチャ200と、いくつかの例示的な実施形態による、LFA試験片の分析を行うように構成されたエンド・ツー・エンドのニューラル・ネットワーク機械または他のシステムの構成コンポーネントとを例示するブロック図である。
【0018】
画像獲得方法論のいくつかの例示的な実施形態において、試験デバイスの画像(例えば、LFA試験カセットを描く画像)は、スマートフォン上で実行され、スマートフォンのフラッシュをオンにして(例えば、オン状態に設定して)そのような画像をキャプチャするアプリケーションを使用して獲得される。フラッシュ照明を用いて画像をキャプチャすることは、「フラッシュ撮像」と称されることがあり、画像の試験片領域(例えば、試験片またはその一部を描くサブサブ領域)上に直接落ちる影を回避するために、試験片上の1つもしくは複数の試験結果ラインを正確に検出するために光の量を低減するために、または両方のために、実行され得る。
【0019】
画像獲得方法論の一定の例示的な実施形態において、2つの試験デバイス画像、すなわち、一方はフラッシュをオンにした画像、および他方はフラッシュをオフにした(例えば、オフ状態に設定された)画像、が獲得され、その後、これらの2つの画像間の差異を示すデルタ画像が、一方の画像を他方から減算すること(例えば、IFlash-INoFlash)によってソフトウェアを介して生成される。このアプローチは、結果として得られる試験デバイス画像(例えば、デルタ画像)に対するアンビアント照明の影響を最小限にし、または除去する。すなわち、「差異画像」と呼ばれ得る、結果として得られるデルタ画像において、外部光源は、試験デバイスの外観に対して最小限の影響を有し、または全く影響しない。このアプローチは、撮像されるべき試験デバイスに到達するアンビアント光の量を低減するために、任意の完全なまたは部分的な筐体(例えば、ボール紙筐体もしくはファイバーボード筐体、または他の専用の遮光ハードウェア)を使用することを回避するのに役立ち得る。
【0020】
画像獲得方法論の他の例示的な実施形態において、高いダイナミック・レンジ(HDR)撮像のために、各々が、異なるレベルの露出、異なるISO、または、これらの異なる組合せを有する、試験デバイスの複数の(例えば、いくつかの)画像がキャプチャされる。組み合わされたHDR画像は、はるかに高い感度を有しており、単一の画像を使用するだけの場合よりも、より薄いラインを検出するために使用され得る。結果として、HDR撮像は、薄い試験結果ラインについての検出可能性の限界を高める。
【0021】
また、LFA試験デバイスの獲得された画像は、(例えば、ポータブル・ネットワーク・グラフィックス(PNG)画像として)ロスレスに記憶され得、それにより、圧縮アーチファクトは、画像品質に悪影響を及ぼさず、または記憶された画像から、薄いラインを示す小さな信号を除去しない。いくつかの例示的な実施形態において、未処理のまたは最小限に処理された未加工(「RAW」)画像(例えば、カメラの光学センサからの未加工データを含有する)は、試験片分析を行うために使用され得る。そのようなRAW画像は、現代世代のスマートフォンを使用して獲得することが可能であり、カメラの応答曲線が、ガンマ補正された画像または他の処理後の画像におけるよりも、RAW画像において、より線形であることを少なくとも理由として、LFA分析のための使用に有益であり得る。また、RAW画像は、ジョイント・フォトグラフィック・エキスパート・グループ(JPEG)画像と比較して、より多くのビット/画素数を提供し得、それによって、所与のスマートフォン内の同じカメラ・ハードウェアについての検出可能性の限界を高める。
【0022】
図3は、LFA試験デバイス(例えば、LFA試験カセット)を描く画像の部分を識別し、または他の方法で決定する(例えば、局所化する)方法300を例示するフロー・チャートであって、画像の識別された部分は、LFA試験デバイスのLFA試験片を描く、フロー・チャートである。例えば、画像のこの部分は、画像の領域を識別することまたは他の方法で決定することであって、領域は、LFA試験デバイスを描く、識別すること、次いで、領域のサブ領域を識別すること(動作310)または他の方法で決定することであって、サブ領域は、LFA試験デバイスの結果ウェルを描く、識別すること、次いで、さらなる処理のためにサブ領域をアラインすること(動作320)、次いで、サブ領域のサブサブ領域を識別すること(動作330)または他の方法で決定することであって、サブサブ領域は、LFA試験片を描くサブサブ領域を切り取る(動作340)前に、LFA試験デバイスの結果ウェルにおいて目に見える、LFA試験片またはその一部を描く、識別することによって識別され得る。
【0023】
図3に示されるように、方法300のいくつかの例示的な実施形態によれば、方法300の動作(例えば、動作310、320、330、および340)は、ニューラル・ネットワーク機械によって、分析のために試験片サブサブ領域を識別し、または他の方法で決定し(例えば、局所化し)、次いで、切り取るために実行される。試験デバイスを示す領域を識別することは、ニューラル・ネットワーク用の1つまたは複数のオブジェクト検出モデル(例えば、Yolo、SSD、Faster-RCNN、Mask-RCNN、CenterNetと名付けられたオブジェクト検出モデル、または、これらの任意の適切な組合せ)を使用して、画像において描かれているように、結果ウェル全体のまわりのバウンディング・ボックス(例えば、縦向きの直立した矩形のバウンディング・ボックス)を予測し、または他の方法で決定し、画像のその部分を切り取って、試験デバイスの結果ウェルを示すサブ領域を取得することを含み得る。
【0024】
結果ウェルを示すサブ領域の座標のさらなる精緻化のために、方法300は、この切り取られたサブ領域から1つまたは複数のエッジ・マップを抽出し、抽出されたエッジ・マップから、小さな接続されたコンポーネントを除去することを含み得る、なぜならば、それらは、雑音を含み、無関係であり、または両方である傾向があるからである。本方法300は、次いで、そのようなエッジ・マップに対してハフ変換を適用すること、その向きが垂直よりも水平に近いハフ・ラインを破棄すること、重複ラインを統合するためにハフ・ラインをクラスタ化すること、その向きが中央値から遠すぎる(例えば、中央値からの閾値偏差を越える)ハフ・ラインを除去すること、および残りのハフ・ラインの向きを平均化することも含み得る。したがって、結果として得られる平均化された向き(例えば、推定値として使用される)は、試験片またはその一部を示すサブサブ領域が直立するように、または可能な限り直立に近くなるように、結果ウェルを示すサブ領域を回転させる基礎となり得る。一定の例示的な実施形態において、別個の(例えば、第2の)ニューラル・ネットワーク機械(例えば、第2の畳み込みニューラル・ネットワーク機械)は、画像のこの直立したサブ領域において描かれているように、結果ウェルのまわりにおけるタイトなバウンディング・ボックスについて回帰を行うことを決定する(例えば、回帰を介して)。
【0025】
いくつかの例示的な実施形態において、CenterNetオブジェクト検出モデルの変形例は、試験デバイスの画像内で、試験デバイスを示す領域を識別することにおいて使用される。CenterNetオブジェクト検出モデルの変形例は、回転されたバウンディング・ボックスを直接検出することができ、したがって、試験片またはその一部を示すサブサブ領域を局所化するように訓練され得る。このアプローチは、他のオブジェクト検出モデルを使用するよりも少ない工程を有するが、このアプローチは、より多くの手動でのラベル付けの労力に依拠する。なぜならば、各ラベル付けは、2つの点だけの代わりに、少なくとも3つの点(例えば、直立したバウンディング・ボックスの幅および高さ、ならびにその回転角)を伴うからである。
【0026】
一定の例示的な実施形態において、CenterNetオブジェクト検出モデルの別の変形例は、キーポイント検出モデルとして作用し、LFA試験デバイスの画像内に結果ウェルが現れるサブ領域を局所化するために、任意の4つの座標を検出することができる。このアプローチは、カメラ平面の外部である回転を簡単に取り扱う。なぜならば、ホモグラフィ変換が、四辺形の領域を直立した矩形形状に歪めるために使用され得るからである。しかしながら、このアプローチは、手動のラベル付けによる4つの点を伴う。
【0027】
最も典型的なユース・ケースにおいて、LFA試験デバイスの画像に結果ウェルが現れるサブ領域(例えば、サブ領域は「結果ウェル領域」と呼ばれる)、試験片もしくはその一部が現れるサブサブ領域(例えば、サブサブ領域は「試験片領域」と呼ばれる)、または両方は、上記で論じられた方法論が正確に性能発揮するのに十分であるほど視覚的に特徴的である。しかしながら、これが当てはまらないことがあり得る状況において、1つまたは複数のオブジェクト検出モデルは、試験デバイスのハウジング上のテキストまたはマーキング(例えば、円)などの、試験デバイス(例えば、試験カセット)上の1つまたは複数の他のランドマーク特徴を検出し、試験デバイスの知られているジオメトリを使用して、試験片領域の角部のロケーションを推測するように構成され得る。この推測は、ホモグラフィ変換を使用して行われ得る。なぜならば、試験片領域は、一般に、試験デバイスの前面とほぼ同一平面状にあるからである。(例えば、上記で論じられたような)畳み込みニューラル・ネットワークを使用して、(例えば、回帰を介して)タイトなバウンディング・ボックスを決定する技法は、試験片が試験デバイスの前面からわずかに面外であることに起因する誤りを考慮するために、(例えば、当初の予想としての)この推測を精緻化するために使用され得る。
【0028】
様々な例示的な実施形態において、オブジェクト検出モデルは、画像内の試験デバイス全体を前もって検出せずに、結果ウェル領域を直接検出する。そのような例示的な実施形態は、複数のブランドの試験デバイスが、同様の見た目の結果ウェル領域を有する状況、または、分析されるべき画像が、試験デバイス全体を示さずに、(例えば、元の画像キャプチャに起因して、もしくは先立つ切り取りに起因して)結果ウェルのみを示す状況において、有利であり得る。いくつかの実装例において、ニューラル・ネットワーク機械は、1つまたは2つのブランドのみの試験デバイスで訓練されることが可能であり、結果として得られる訓練されたニューラル・ネットワーク機械は、他のブランドの試験デバイスを描く画像の結果ウェル領域を成功裡に検出することができ、ただし、これらの他のブランドの試験デバイスは、画像の訓練セット内に描かれていない。それによって、この能力は、訓練データセットのサイズと獲得のためのその費用とを低減する。同じ原理は、上記で論じられた方法300における1つまたは複数の他の動作(例えば、動作320)を省略するために適用され得る。しかしながら、異なるブランドの試験デバイスが同様の見た目の結果ウェル領域を有しない状況においては、1つまたは複数の付加的なランドマークが、画像の試験片領域を局所化するために使用され得る。具体的には、ニューラル・ネットワーク機械は、訓練ブランドと試験されるべきブランドとの両方に現れるランドマークを発見し、これらのランドマークを検出し、特定のブランドの試験デバイスの知られているジオメトリを使用して、その特定のブランドの試験デバイスについての試験片領域のロケーションを推測するように訓練され得る。そのようなランドマークの例は、試験デバイスの角部、試験デバイスのサンプル・ウェルの角部、試験デバイスに現れるテキスト(例えば、「C」、「G」、「M」、「T」、「IgG」、「IgM」「COVID-19」、「SARS-Cov-2」、「Pv」、「Pf」、もしくは、これらの任意の適切な組合せ)、試験デバイスのハウジングにおける1つもしくは複数の穴、1つもしくは複数のマーキング(例えば、ラインまたはリッジ)、または、これらの任意の適切な組合せを含む。
【0029】
試験片領域が正確に局所化されると、分析における次のタスクは、コントロール・ラインのライン強さを推定することの有無に関わらず、試験結果ラインのライン強さ(例えば、ライン強度)を推定して、試験片の自動評価(例えば、質的、定量的、または両方)を実行することである。上述したように、エンド・ツー・エンドの訓練可能なニューラル・ネットワーク機械は、(例えば、質的評価のために)試験結果ラインの存在もしくは不在を直接予測するように、または(例えば、定量的評価のために)分析対象物濃度予測を行うように、訓練される。ニューラル・ネットワーク機械は、光と光の間の非線形かつ複雑な相互作用、試験片反射(例えば、アルベド)、他の光学効果(例えば、影)、または、これらの任意の適切な組合せを簡単に学習するように構成されてもよい。訓練されたニューラル・ネットワーク機械は、入力として、試験片または切り取られた試験片領域の画像を用いる。また、ニューラル・ネットワーク機械は、入力として、補助照明を示す1つもしくは複数のパラメータ、1つもしくは複数の他の撮像条件、または、これらの任意の適切な組合せも用いてもよい。したがって、訓練されたニューラル・ネットワーク機械の出力は、試験結果ラインの存在もしくは不在の直接決定された確率、試験結果ラインの強さ、または分析対象物のその基盤となる濃度を含み得る。ニューラル・ネットワーク機械は、光の強度、色温度、撮像角度、または、これらの任意の適切な組合せのための範囲などの様々な撮像条件下で、ニューラル・ネットワーク機械が、上述された評価(例えば、質的、定量的、または両方)を行う間の撮像条件におけるそのようなバリエーションを無視しまたは無効にすることを学習するように、試験デバイスの画像でさらに訓練され得る。一般に、訓練フェーズにおいて、より多くのデータが収集され、使用されるほど、訓練されたニューラル・ネットワーク機械における結果として得られる精度は、より良くなる。したがって、訓練データは、生成された訓練画像において描かれた人工的にシミュレーションされたバリエーションを用いて拡張されることが可能であり、そのようなバリエーションは、画像における明るさ、コントラスト、色相、飽和、または、これらの任意の適切な組合せを変化させて、現実的なバリエーションを模倣し、訓練データの量を増加させることを含む。
【0030】
いくつかの例示的な実施形態において、ニューラル・ネットワーク機械は、2つの部分AおよびBを含むオブジェクト検出モデルを実装する。部分Aは、完全な畳み込みニューラル・ネットワークである。その入力は、(例えば、上述したように切り取られた)試験片領域の画像であり、その出力は、アクティベーションの三次元の(3D)アレイである。この出力は、グローバル空間平均値(例えば、グローバル平均プーリング)を使用して、一次元(1D)ベクトルに変換されてもよく、グローバル空間平均値は、均一の平均値、または学習可能な重みを有する重み付けされた平均値とすることができる。あるいは、1Dベクトルは、3Dアレイを平滑化することによって取得されてもよい。次いで、この1Dベクトルは、密な接続を有するニューラル・ネットワークである部分Bへ供給され得る。部分Bは、(例えば、質的評価のための)ライン存在確率、(例えば、半定量的評価もしくは部分的な定量的評価のための)ライン強さアルファ、(例えば、定量的評価のための)分析対象物濃度、または、これらの任意の適切な組合せなどのターゲット変数の予測を出力する。部分Bは、試験片領域の入力画像内の試験結果ラインのロケーション、試験結果ラインの上端および下端のロケーション、または両方などの、ニューラル・ネットワークの訓練を監督するために使用され得る1つまたは複数の他の変数の予測も出力し得る。試験デバイスが、複数の試験結果ライン(例えば、COVID-19試験デバイスにおけるC-G-M試験結果ライン、C-IgG-IgM試験結果ライン、またはC-T試験結果ライン)を有する場合、試験片領域は、単一の試験結果ラインについて本明細書において論じられた方法論と同様の手法で独立して分析されるべき、より小さな領域へ分割され得る。代替的な例示的な実施形態において、ニューラル・ネットワーク機械は、試験片領域全体を(例えば、全体として)分析し、試験結果ラインの各々に1つずつ、複数の出力を生み出すように訓練される。
【0031】
一定の例示的な実施形態において、ニューラル・ネットワーク機械は、信号処理と融合した深層学習を実装する。このアプローチにおいて、オブジェクト検出モデルの部分Aは、依然として完全な畳み込みネットワークであるが、それは、単一の二次元(2D)ヒートマップを出力し、単一の2Dヒートマップは、ID強度プロファイルと同様の1Dプロファイルを与えるために、水平寸法にわたって(例えば、1つまたは複数の試験結果ラインと平行に)平均化される。その結果、部分Bは、その損失関数が1Dプロファイルに対して微分可能なピーク検出アルゴリズムである。一例として、部分Bが、1Dプロファイルの最も高い強度を発見し、最も高い強度を閾値強度(例えば、強度についての所定の閾値)と比較して、試験結果ラインが存在するかどうかを決めると仮定する。その結果、部分Bは、ロジスティック回帰式p=1/(1+exp(-az+b))を使用して、各プロファイル強度zを確率pに変換することができ、ただし、aおよびbは学習可能であり、その結果、確率に対して2値クロス・エントロピー損失を課し、確率が、ラインの中心において1に近くなり、ラインにあまり近くないすべてのロケーションにおいて0であるように促す。別の例として、部分Bが、プロファイルにおける各エントリの地形的プロミネンス(例えば、自律的高さ、相対的高さ、またはショルダードロップ)を測定するが、部分Bが、固定サイズのウィンドウ内で最小値を計算するように修正されると仮定する。その結果、地形的プロミネンスは、強度プロファイルの微分可能な関数になり、ロジスティック層および2値クロス・エントロピー損失が使用され得る。部分Bが微分可能である場合、オブジェクト検出モデル全体が、エンド・ツー・エンドで訓練され得る。再構築損失は、部分Aがその入力と同様の画像を生成するように促すために使用されることが可能である一方で、部分Bからの損失は、部分Bがピーク検出に対してより貢献する画像を生成するように促すべきである。部分Aは、画像に対して部分Aが加えることができる変化のタイプを限定する(例えば、各出力アクティベーションの受容野を限定する)手法で設計され得る。このアプローチは、他のアプローチよりもオーバーフィッティングが起こりにくくなり得る。
【0032】
オブジェクト検出モデルをアンビアント照明バリエーションに対して、よりロバストにするために、オブジェクト検出モデルは、(例えば、追加入力または補助入力として)試験デバイスの「基準」部分の色を与えられてもよく、それにより、オブジェクト検出モデルは、この情報を使用して、訓練フェーズ期間中に、特定の試験片または試験デバイスについての照明および撮像の角度の非線形効果を学習することができる。この「基準」部分は、結果ウェルの外部であって、テキストがない、試験デバイスの部分であり得る。なぜならば、そのような部分は、一定の色を有することになり、試験片と同じ向きおよび入射角を有することになるからである。あるいは、「基準」部分は、(例えば、ラインを全く有しない)試験片自体の空白部分であってもよい。これらのオプションの各々は、利点および欠点を有する。結果ウェルの外部の領域は、試験片とは異なる材料から作られていてもよく、それは、異なるBRDFを有し得るが、その領域は、流体勾配の悪影響を受けないことがあり、これは、サンプル流体が血液である場合にとりわけ顕著であり得る。結果ウェル外部の領域が使用される場合、グレアまたは鏡面光の他の強いインスタンスを回避するのに役立ち得る。これは、最大安定極値領域(MSER:Maximally Stable Extremal Regions)、大津閾値処理、中央閾値処理、または、これらの任意の適切な組合せなどのノイズ除去技法を使用して行われ得る。あるいは、異なる撮像角度の下での同じ試験デバイス(例えば、試験カセット)の2つの画像が、キャプチャされ、次いで、キーポイントマッチングを介してアラインするように歪められ、その後、画素単位の最小値を用いて、鏡面ハイライト(例えば、鏡面)を除去する。
【0033】
「基準」色を使用して、LFA試験片の外観における照明依存のバリエーションを学習するためのいくつかの手法がある。1つの技法は、試験片画像と基準色との両方をニューラル・ネットワーク内へ(例えば、ニューラル・ネットワーク機械へ)供給し、訓練フェーズ期間中に照明バリエーションをどのように正規化および補正するかに関してニューラル・ネットワークを訓練することである。基準色がベクトルであるので、基準色は、ニューラル・ネットワークの密に接続された部分の入力上に連結され得る。基準色は、ニューラル・ネットワークの密に接続された部分の任意の中間層または出力層のための入力上にも連結され得る。さらに、基準色は、3Dアレイへブロードキャストされ、任意の畳み込み層のための入力に連結され得る。基準色は、ブロードキャストまたは連結される前に、密な層のうちの1つまたは複数を通じて供給され得る。
【0034】
本明細書において論じられる方法およびシステムのいくつかの例示的な実施形態によれば、ニューラル・ネットワーク機械の訓練は、LFA試験片の画像を正規化するために基準色をどのように使用するかをニューラル・ネットワークに教示するための監督を含む。例えば、ニューラル・ネットワークは、画像を出力するように構成されてもよく、訓練処理は、この出力画像と、基準技法によって(例えば、基準色によって画像色を分割することによって)正規化された基準画像との間の差異に対してペナルティを課してもよい。このペナルティの重みは、ニューラル・ネットワークがそれ自体の改善された正規化技法を学習するように、訓練処理期間中に経時的に低減され得る。結果として、学習された正規化技法は、照明、撮像角度、カメラ応答曲線等におけるバリエーションに起因するそのような設定において通常見られる非線形の相互作用をモデル化する。一定の例示的な実施形態において、この出力は、ニューラル・ネットワークの最後における別個のヘッドである。他の例示的な実施形態において、ニューラル・ネットワークの畳み込み部分は、2つの部分、例えば、正規化された画像を生成する下部、その正規化された画像内のラインの存在または不在を推測する上部などに分割される。いずれの場合も、追加の監督は、基準色の追加の入力がオーバーフィッティングを引き起こすことを防止し得る。
【0035】
最良の結果のためには、ニューラル・ネットワークを訓練する場合に、大量の訓練データが使用されるべきである。これは、上述したように、照明、撮像条件等におけるバリエーションを考慮するようにニューラル・ネットワークが訓練されている場合に、さらに一層重要である。したがって、本明細書において論じられる方法およびシステムの様々な例示的な実施形態において、LFA試験片のシミュレーションされた写真のように現実的な画像を生成するための1つまたは複数の方法論が、訓練処理またはその準備に含まれる。すなわち、様々な例示的な実施形態において、機械(例えば、ニューラル・ネットワーク機械を訓練するように、またはニューラル・ネットワーク機械になるように構成された機械)は、可変のシミューレーション・パラメータを有する多数のシミュレーションされた試験片画像をプログラムにより生成する。
【0036】
(例えば、LFA試験デバイス内の)LFA試験片の画像を合成するために、画像合成を行う機械は、試験結果ラインの画像(例えば、第1の画像)とブランク試験片背景の画像(例えば、第2の画像)とを取得し、機械は、次いで、2つの画像を組み合わせて、試験片の1つまたは複数の人工画像を生成する。人工画像を生成する際に、機械は、背景画像(例えば、第2の画像)における色および明るさを変えて、照明バリエーションをシミュレーションし、色汚れを人工的に加えて、実際のLFA試験片上に多くの場合現れ得る流体(例えば、血液)のパターンをシミュレーションし、または両方を行う。同様の様式で、機械は、試験結果ラインに対する前景画像(例えば、第1の画像)、例えば、その色、太さ、向き、ロケーション、または、これらの任意の適切な組合せなどを変え得る。また、機械は、(例えば、0(ラインなし)から1(強いライン)の間などのアルファ値の範囲内で)1つまたは複数のアルファ・ブレンディング・パラメータを変えて、LFA試験片またはその一部の実際の画像において多くの場合見られるような、可変の強さの試験結果ラインをシミュレーションし得る。
【0037】
画像合成処理のいくつかの例示的な実施形態において、画像合成を行う機械は、(例えば、上記で論じられるような、LFA試験デバイスのより大きな画像から切り取られた)LFA試験片を描き、かつ、強い試験結果ラインを提示することが知られている画像のセットにアクセスする(例えば、読み出す、要求する、または取り出す)。機械は、大津閾値処理を実装して、強い試験結果ライン各々のまわりに荒いバウンディング・ボックスを作成し得る。荒いバウンディング・ボックスは、手動で精緻化され、(例えば、機械の人間のオペレータによって)強いまたは薄いものとしてラベル付けされ得る。画像合成を行う機械は、次いで、これらのバウンディング・ボックスを使用して、(例えば、GrabCutまたは同様の技法を使用して)試験結果ラインのセグメント化を初期化して、試験結果ラインを構成する画素の精密なセグメント化を取得する。(例えば、入力画像のさらに切り取られた部分として扱われる)結果として得られるセグメント化は、試験結果ラインの現実的な合成された画像を生成するための基礎になる。
【0038】
画像合成処理の一定の例示的な実施形態において、画像合成を行う機械は、色、太さ等についての現実的なパラメータに基づいて、試験結果ラインを直接シミュレーションする。適切な背景画像を取得するために、機械は、未使用のLFA試験片の画像のセットにアクセスし、次いで、試験結果ラインを有しないことが知られている画像の(例えば、試験結果ライン間の、または試験片が陰性の試験結果を示している場合にはコントロール・ラインより下の)サンプル部分にアクセスし得る。あるいは、機械は、1つまたは複数のペインティング動作を行って、目に見えるラインをデジタル的に除去してもよく、これは、ペインティングされるべき領域をマークするための1つまたは複数のライン・セグメント化マスクを最初に使用した後に行われ得る。
【0039】
前景の試験結果ラインを背景と結合するために、画像合成を行う機械は、試験結果ラインの画像を背景画像の一部上へアルファ混合し得、これは、以下の方程式を使用して行われ得る。
【0040】
Isynth(x+a,y+b)=アルファ*Iline(x,y)+(1-アルファ)*Ibackground(x+a,y+b)
この方程式において、アルファは、シミュレーションされるべきライン強さであり、aおよびbは、背景上にラインを描画するべき場所を特定するオフセットである。アルファの値は、0と1との間の範囲に収まり、ただし、1の値は、最強のラインをシミュレーションすることになり、0に近い値は、非常に薄いラインをシミュレーションすることになる。aの値は、典型的には0になり、bの値は、ラインが発見されることが期待される垂直なロケーションの範囲を反映する分布からサンプリングされることになる。Ilineは、LFA試験片の検出からの向きにおける小さな誤り、製造処理に起因する向きにおけるバリエーション、または両方をシミュレーションするためにわずかに回転され得る。IlineとIbackgroundとの両方は、より多くのバリエーションを作成するために垂直および水平にランダムに反転され得る。
【0041】
しかしながら、以前から存在する試験片画像からセグメント化されたライン画像を使用する際に、Ilineの色は、ソース・ラインの強さとソース画像の照明との両方に依存する。これは、より明るいまたはより暗いアンビアント照明環境においてソース画像がキャプチャされていることに起因して、Isynthにおけるラインが、固定されたアルファに対してより強くまたはより薄く見え得ることを意味する。最悪の場合においては、Ilineが非常に明るい環境においてキャプチャされており、Ibackgroundが非常に暗い環境においてキャプチャされていることに起因して、Ilineは、Ibackgroundと同じ色であり得る。この脆弱性に対処するために、画像合成を行う機械のいくつかの例示的な実施形態は、ラインのまわりの領域を使用して、正規化されたアルファ混合を行う。例えば、Ibehindを、ラインが存在しない場合にIlineがどのように見えるかの推定値とする。Ibehindは、Iline画素の真上もしくは真下のソース・ライン画像内の画素を用いることによって、またはIline画素の真上と真下との両方の画素の平均値を用いることによって、またはIline画素上をペインティングすること(例えば、インペインティングすること)によって、作成され得る。その結果、正規化されたアルファ混合式は、以下になる。
【0042】
Isynth(x+a,y+b)=アルファ*Iline(x,y)/Ibehind(x,y)*Ibackground(x+a,y+b)+(1-アルファ)*Ibackground(x+a,y+b)
この正規化されたアルファ混合は、ソース・ラインまたはソース背景画像が影を有する場合にとりわけ有用であり得る。なぜならば、正規化されたアルファ混合は、ソース・ライン画像から影を除去し、ソース背景画像から影を組み込み、それにより、結果として得られる合成画像は、自然に見える影を有することになるからである。
【0043】
正規化されたアルファ混合は、ソース・ラインが常に一貫して強くなると仮定する。しかしながら、たとえソース・ラインがコントロール・ラインだけからサンプリングされる場合であっても、この仮定が常に正しいとは限らないことがある。結果として、同じアルファを有するシミュレーションされたラインは、より薄くまたはより暗く現れることがあり、これは、ニューラル・ネットワーク機械の訓練を妨げ得る。この脆弱性に対処するために、画像合成を行う機械のいくつかの例示的な実施形態は、同様の強度で生成されることが知られているシミュレーションされた試験ライン画像のみを使用する。この脆弱性に対処するための別のアプローチは、前もってラベル付けされた訓練セットからソース・ラインがサンプリングされて、画像合成処理にシード値を与える場合などのように、ソース・ラインにおいて結び付けられる実体の濃度が知られていると仮定することである。濃度が知られている場合、ベール・ランバート法を表現する方程式は、各ソース・ラインについての以前から存在するアルファを計算するためにソース・ライン・データに対して当てはめられ得る。
【0044】
分析対象物の所与の濃度concについてのラインの反射率および所与の照明L(x、y)を説明するベール・ランバート関数f(conc)があると仮定する。言いかえれば、
Iline(x,y,conc)=L(x,y)*f(conc)
この関数fは、短いベール・ランバート関数f(conc)=ベータ*exp(-ガンマ*conc)であってもよく、または、関数fは、理想的なベール・ランバート法からの任意の物理的な偏差を考慮するための1つもしくは複数の付加的な多項式の項を有してもよい。関数fは、L(x、y)が知られているデータセットに対して当てはめられ得る。あるいは、Ibehind(x,y)~=Iline(x,y,0)であると想定されてもよく、したがって、fは、以下の関係に当てはめられ得る。
【0045】
Iline(x,y,conc)/Ibehind(x,y)~=f(conc)/f(0)
次に、concrefは、強く見えるラインを生み出すと知られている分析対象物の濃度であると仮定する。その結果、ライン色は、concrefラインと0濃度(例えば、空白)ラインとのアルファ混合として表現され得る。
【0046】
Iline(x,y,conc)=アルファpre*L(x,y)*f(concref)+(1-アルファpre)*L(x,y)*f(0)
したがって、アルファpreは、concで表現され得る。
【0047】
アルファpre=(f(conc)-f(0))/(f(concref)-f(0))
シミュレーションされた画像が、知られている濃度concを有するソース・ラインから生成される場合、アルファ混合アルファは、アルファpreを考慮するように補われることが可能であり、それにより、たとえ合成画像が試験片の異なる画像から導出され、ただし、異なる画像は異なるソース・ライン強度を提示する場合であっても、合成画像の結果として得られる生成されるセットが、より一貫性のあるものになる。このアプローチは、このアプローチが画像の両方のセットを組み合わせることを可能にするという事実に起因して、ソース・ライン画像の一部が、知られている濃度を有し、残りのソース・ライン画像が、未知の濃度を有するが、一貫したライン強さを有する場合に、特に有用であり得る。また、このアプローチは、分析対象物の知られている濃度を有するソース背景画像に依拠しない。
【0048】
画像合成処理の様々な例示的な実施形態において、画像合成を行う機械は、実際の背景の画像に依拠する代わりに、背景画像をシミュレーションする。このアプローチは、LFA試験デバイスの物理的な複製が供給不足である場合に、有用であり得る。背景バリエーションは、照明、反射率、デブリ、または、これらの任意の適切な組合せにおけるバリエーションをシミュレーションすることによって引き起こされ得る。反射率バリエーションは、試験片中への(例えば、試験片の1つまたは複数の膜の全体にわたる)液体の(例えば、不均一な)拡散によって引き起こされ得る。反射率におけるそのようなバリエーションは、1つまたは複数のモデリング技法を使用してモデル化され得る。例えば、血液ベースのLFA試験片の場合、熱伝導方程式は、試験片中への血液の拡散をモデル化することができ、ベール・ランバート方程式は、血液密度を色に対して関連させることができる。毛管作用の1つまたは複数のモデルは、乾燥した膜内へ流体が拡散しているという事実を考慮するために実装され得る。また、LFA膜材料の物理的なサンプルは、収集され、様々な量の保存血を注入されて、これらのまたは他のタイプのモデルに当てはめるための実験的に導出される基準データを作成することができる。十分な量の膜材料および流体(例えば、血液)が供給されれば、そのような流体の拡散に伴う実際の物理学をモデル化する代わりに、1つまたは複数の発生力のある敵対的生成ネットワーク(GANs:generative adversarial networks)が、ソース背景を生成するように訓練され得る。
【0049】
訓練されたニューラルネット機械を照明バリエーションに対してよりロバストにするために、訓練データにおいて照明バリエーションをシミュレーションすることが役立ち得る。画像合成処理のいくつかの例示的な実施形態において、画像合成を行う機械は、シミュレーションされた画像に対して、1つまたは複数のデジタル色拡張を適用する。そのような拡張の例は、明るさ、色温度、(例えば、色相飽和値(HSV)色空間内の)画素値、または、これらの任意の適切な組合せにおける、小さなシフトを含む。拡張の他の例は、ガンマ補正およびコントラスト調整を含む。ただし、これらを拡張することは、結果として得られる訓練されたニューラル・ネットワークがアルファを正確に予測することを妨害し得る。シミュレーションされた画像が依然として現実的に見えることを確実にするために、訓練データの準備は、ターゲット環境(例えば、家庭、クリニック、または屋外)における試験デバイスと同じ色である任意のオブジェクトの画像を収集すること、および拡張パラメータを最適化するために色統計値を使用することを含み得る。このアプローチは、ソース・ライン画像およびソース背景画像があらゆるターゲット環境において収集されることが不可能である場合に、とりわけ有用であり得る。
【0050】
影は、一般に空間的に均一ではないので、影は、試験片画像における困難なバリエーション源を提供することがある。画像合成処理のいくつかの例示的な実施形態において、画像合成を行う機械は、試験デバイスの(例えば、3D点クラウドまたは他の3Dモデルの形態における)3D構造に対してアクセスし(例えば、回復し、または他の方法で取得し)、その構造を1つまたは複数のシミュレーションされた光源と組み合わせることによって、1つまたは複数の影をシミュレーションする。3D構造は、例えば、2つの異なるアプローチを使用して、アクセスされ得る。第1のアプローチは、異なるカメラ・ロケーションおよびカメラ角度を使用して、試験デバイスの少数の画像を獲得し、次いで、試験デバイスの結果ウェルの上壁および下壁に沿ったキーポイントについての2D点対応を発見することから始まる。これらの対応は、強い角部上(例えば、丸みを帯びた角部の頂点において)キーポイントが存在しないインスタンスにおいて、手動でラベル付けされ得る。この対応は、次いで、キーポイントの3D座標を回復するために使用されることが可能であり、これは、ほとんどの場合において、(例えば、ほとんどの表面が平坦、円筒形、円錐形、または、これらの何らかの適切な組合せである)試験デバイスの3Dモデルを作成するのに十分な情報になる。第2のアプローチは、異なる照明方向の下で試験デバイスを撮像し、次いで、試験デバイスの3D構造にアクセスする(例えば、回復する、または取得する)ために、陰影からの形状復元法(shape-from-shading technique)を使用することによって始まる。3D構造がアクセスされると、紙領域に対して1つまたは複数の影をシミュレーションするために、様々な技法のうちの1つまたは複数が使用され得る。例えば、光が点源の集合から到来すると仮定される場合、試験片画像の各画素は、点源への距離および角度、ならびに点源が試験デバイスの3D構造によって塞がれるかどうかに基づいて、その画素が各点光源からどれだけの光を受け取るかを計算することによって処理され得る。例えば、画像合成を行う機械は、シーンの3Dレンダリング(例えば、レイ・トレーシング)を行って、影および指向性照明をシミュレーションしてもよい。
【0051】
デブリは、試験片画像における別の困難なバリエーション源を提供することがある。特に、人間の毛髪の存在は、誤りの一般的な源である。なぜならば、毛髪はユーザによって見落とされやすいからである。画像合成処理の一定の例示的な実施形態において、画像合成を行う機械は、シミュレーションされた画像上に滑らかなライン、細いライン、暗い色のライン、曲がったラインをランダムに描画することによって、毛髪をシミュレーションする。毛髪は一般に非常に細いので、毛髪は、ニューラル・ネットワーク機械を訓練する目的のために十分な精度でシミュレーションするためのあまり多くの質感データを必要としない。毛髪は、白い背景に対して何本かの実際の毛髪を撮像し、描かれた毛髪をセグメント化し、セグメント化された毛髪を試験片またはその一部のシミュレーションされた画像上に貼り付けることによって、よりデータドリブンな手法でシミュレーションされることも可能である。これらのアプローチのどちらにおいても、実際の毛髪をその上に有する実際の試験デバイスが取得される必要はない。同様のアプローチは、実験室以外の設定において発生し得る、他の小さい均一に色付けられたデブリをシミュレーションするために使用され得る。
【0052】
実際的なシナリオにおいて、自動LFA試験片分析のために、ニューラル・ネットワーク機械を訓練する(例えば、事前訓練する)ためのシミュレーションされた試験片画像を生成するべく、できる限り多くのタイプのバリエーションをシミュレーションすることが役立ち得る。本明細書において論じられる方法およびシステムのいくつかの例示的な実施形態において、シミュレーションされた画像を用いた事前訓練の後には、現実的な訓練画像を用いてニューラル・ネットワークを微調整することが続く。シミュレーションされた画像を用いた事前訓練期間中に、ニューラル・ネットワーク機械は、現実的な画像を用いた後の訓練期間中よりも多くのターゲットを予測するように訓練され得る。この構成は、シミュレーションされた画像を用いれば、シミュレーションされていない実際の訓練画像を用いて通常入手可能である、単なる試験結果ラインのグラウンドトゥルース存在もしくは不在、またはグラウンドトゥルース分析対象物濃度よりも、多くのグラウンドトゥルース情報が知られるという理由で実装され得る。一定の例示的な実施形態において、ニューラル・ネットワーク機械は、アルファ、分析対象物濃度、または両方のみを予測するだけでなく、ライン・ロケーション、ライン境界(例えば、ラインの上部エッジおよび下部エッジのy座標)、ラインの平均色、ラインの向き、または、これらの任意の適切な組合せを予測するようにニューラル・ネットワークを構成することによって訓練される。ニューラル・ネットワークは、例えば、どの画素がライン画素であるかを予測することによって、ラインのセグメント化マスクを予測するようにも構成され得る。同様に、デブリがシミュレーションされるべき場合、ニューラル・ネットワークは、デブリ・マスクを予測するように構成され得る。これらの変数のうちの1つまたは複数のための教師あり訓練は、実装される変数ごとに損失関数を加えることによって行われ得る。ニューラル・ネットワーク機械が、実際の画像とシミュレーションされた画像との混合物で訓練されるべき場合、実際の画像について補助損失は、各訓練バッチ内で省略され得る。いくつかの例示的な実施形態において、追加の監督は、ニューラル・ネットワーク機械が、限定された量のソース・データから、より効率的に学習することを可能にし得る。
【0053】
非常に薄い試験結果ラインを認識するようにニューラル・ネットワーク機械を正確に訓練するために、非常に低いアルファ値を有する試験結果ラインを有するシミュレーションされた画像を生成することが役立つことがあり、この処理は、検出されない試験結果ラインを有するいくつかのシミュレーションされた画像を作成する可能性が高い。検出されないまたは検出不可能な試験結果ラインをどの画像が有するかは、事前には不明である。そのため、損失関数が、これらの境界ケースまたはさもなければ困難なケースをうまく扱って、これらのケースが訓練を支配しないようにすることが有益であり得る。したがって、アルファ損失についての勾配は、ゼロに非常に近いアルファに対して大きくならないように構成され得る。例えば、二乗誤差は、合理的なアルファ損失になり得るが、対数(アルファ)の二乗誤差は、ゼロ付近で無限大になり、合理的なアルファ損失になり得ない。また、検出不可能なラインについての知られていない一定のパラメータに対して教師あり訓練を行うことは、役立たないまたは価値がないことがある。そのようなパラメータの例は、ライン・ロケーション、ライン境界、ライン色、およびライン・マスクを含む。そのようなパラメータについての対応する損失関数は、グラウンドトゥルース・アルファがアルファについての何らかの所定の閾値未満である場合は常に、(例えば、それらに0を乗算することによって)オフにされ得る。
【0054】
上述したように、LFA試験片のシミュレーションされた画像は、ニューラル・ネットワーク機械を事前訓練する(例えば、ニューラル・ネットワーク機械によって実装されるニューラル・ネットワークによって実装されたオブジェクト検出モデルを予訓練する)ために使用され得、事前訓練されたニューラル・ネットワーク機械は、次いで、LFA試験片の実際の画像でのさらなる訓練により微調整され得る。この2つのフェーズの訓練アプローチは、実際の画像のセットが非常に小さい場合、または実際の画像のセットが照明、流体勾配、デブリ、もしくは、これらの任意の組合せにおけるバリエーションを欠く場合に、とりわけ有用であり得る。微調整フェーズは、実際の画像のみを用いて行われ得る(例えば、少数の動作、小さい学習率、または両方を目的とする場合)。あるいは、微調整フェーズは、例えば、異なるタイプの画像に対して異なる損失関数がオンおよびオフにされる状態で、実際の画像と合成画像との混合物を用いて行われてもよい。実際の画像のセットが非常に小さい場合、オーバーフィッティングを防止するために、ニューラル・ネットワークの上部のいくつかの層のみを微調整すれば十分であり得る。極端な場合において、別個のモデル、予測されるアルファを実際の画像における予測(例えば、質的、定量的、または両方)に関連するその唯一の特徴として用いるように訓練され得る。上述したように、アルファと濃度との間の関係は、方程式によって数学的にモデル化され得る。したがって、その方程式の逆、または非線形性を有するニューラル・ネットワーク層が、アルファから濃度を予測するモデルを特定するために使用され得る。そのような特定されたモデルは、単独で、またはネットの上部のいくつかの層を用いてエンド・ツー・エンドの手法で、訓練され得る。
【0055】
ターゲット用途が、LFA試験片を描く画像の質的分析である場合、ラインが存在するか存在しないかを判定するために、予測されたアルファ値に対して閾値を設定することが役立ち得る。この閾値は、実際のLFA試験片またはシミュレーションされたLFA試験片を描く画像の較正セットを収集すること、受信者動作特性(ROC:receiver operating characteristic)曲線をプロットすること、および用途の特定の目標に基づいて、真陽性結果と偽陽性結果との間の最良のトレードオフを選ぶことによって決定され得る。理想的には、画像の較正セットは、臨床的検証のために使用される画像の試験セットとは別個である。なぜならば、アルファに対する閾値は、この特定の較正セットに対して最適化されているからである。
【0056】
ターゲット用途が、LFA試験片を描く画像の定量的分析である場合、分析対象物濃度を直接決定するようにニューラル・ネットワークを訓練することが役立ち得る。しかしながら、濃度が、平均値0および標準偏差1を有するように標準化される場合に、勾配降下法は最も良く作用し得る。濃度が指数関数的に分散される場合、対数濃度は均一に分散されるので、対数濃度を予測するようにニューラル・ネットワークを訓練することが役立ち得る。結果として、訓練は、高濃度の例によって支配されないことになる。全体として、アルファ予測上にいくつかのさらなる非線形性層を積層し、次いで、濃度を予測するようにニューラル・ネットワークをエンド・ツー・エンドで訓練することが有益であり得る。
【0057】
図4および
図5は、いくつかの例示的な実施形態による、LFA試験片を分析するようにニューラル・ネットワーク分析を訓練する方法400を例示するフロー・チャートである。方法400における動作は、機械(例えば、クラウドまたは1つもしくは複数のサーバ・コンピュータからなる他のシステム)によって行われ、適切に訓練されたニューラル・ネットワークをデバイス(例えば、スマートフォン)に対して提供する結果となり得る。したがって、方法400における動作は、コンピュータ・コンポーネント(例えば、ハードウェア・モジュール、ソフトウェア・モジュール、もしくは、これらの任意の組合せ)を使用して、1つもしくは複数のプロセッサ(例えば、マイクロプロセッサもしくは他のハードウェア・プロセッサ)を使用して、または、これらの任意の適切な組合せを使用して、行われ得る。
図4に示されるように、方法400は、動作410、420、および430を含み、
図5に示されるように、方法400は、動作402、404、421、422、423、424、425、および426のうちの1つまたは複数を付加的に含み得る。
【0058】
動作402において、方法400を行う機械は、シミュレーションされた撮像条件下でシミュレーションされた試験片を描く(例えば、示す)(例えば、訓練画像の第1の部分としての)合成された訓練画像を生成する。
【0059】
動作404において、方法400を行う機械は、実際の撮像条件下で実際の試験片を描く(例えば、示す)(例えば、訓練画像の第2の部分としての)キャプチャされた訓練画像に対してアクセスする。これらのキャプチャされた訓練画像の一部または全部にアクセスすることは、1つもしくは複数のカメラを使用して、そのような訓練画像をキャプチャすること、そのような訓練画像のデータベースもしくは他のリポジトリに対してアクセスすること、または、これらの任意の適切な組合せを含み得る。
【0060】
動作410において、方法400を行う機械は、動作430において(例えば、デバイスに対して)提供されることになるニューラル・ネットワークを訓練するための訓練画像にアクセスする。アクセスされた訓練画像は、動作402および404のうちの一方もしくは両方を行うことの出力、または動作402および404のうちの一方もしくは両方を行うことからの他の結果の一部または全部を含み得る。
【0061】
動作420において、方法400を行う機械は、動作430において(例えば、デバイスに対して)提供されることになるニューラル・ネットワークを訓練する。例えば、ニューラル・ネットワークの訓練は、動作410においてアクセスされた訓練画像に基づいて行われ得る。したがって、アクセスされた訓練画像に基づいて、動作420を行うことは、ラベル付けされていない画像に基づいて、予測される試験結果を決定するようにニューラル・ネットワークを訓練する。
【0062】
図5に示されるように、動作421、422、423、424、425、および426のうちの1つまたは複数は、ニューラル・ネットワークが訓練される動作420の一部(例えば、前駆タスク、サブルーチン、または部分)として行われ得る。
【0063】
動作421において、方法400を行う機械は、色温度が異なる画像(例えば、1000K、2000K、2500K、3000K、3500K、4000K、5000K、5200K、6000K、6500K、7000K、8000K、9000K、10,000K、または、これらの任意の適切な組合せ)に基づいて、ニューラル・ネットワークを訓練する。
【0064】
動作422において、方法400を行う機械は、影の描き方が異なる画像(例えば、より多くの影、より少ない影、より暗い影、より明るい影、影のロケーション、影が落ちる方向、または、これらの任意の適切な組合せ)に基づいて、ニューラル・ネットワークを訓練する。
【0065】
動作423において、方法400を行う機械は、デブリの描き方が異なる画像(例えば、より多くのデブリ、より少ないデブリ、より暗いデブリ、より明るいデブリ、デブリのロケーション、デブリの色、または、これらの任意の適切な組合せ)に基づいて、ニューラル・ネットワークを訓練する。
【0066】
動作424において、方法400を行う機械は、鏡面反射光の描き方が異なる画像(例えば、より多くの鏡面ハイライト、より少ない鏡面ハイライト、鏡面ハイライトのサイズ、鏡面ハイライトのロケーション、鏡面ハイライトの色、または、これらの任意の適切な組合せ)に基づいて、ニューラル・ネットワークを訓練する。
【0067】
動作425において、方法400を行う機械は、ステインの描き方が異なる画像(例えば、より多くのステイン、より少ないステイン、より暗いステイン、より明るいステイン、ステインのロケーション、ステインの色、または、これらの任意の適切な組合せ)に基づいて、ニューラル・ネットワークを訓練する。
【0068】
動作426において、方法400を行う機械は、露出が異なる画像(例えば、明るさ、コントラスト、ピーク白レベル、黒レベル、ガンマ曲線、または、これらの任意の適切な組合せによって示されるような、より多くの露出またはより少ない露出)に基づいて、ニューラル・ネットワークを訓練する。
【0069】
動作430において、方法400を行う機械は、LFA試験片を分析するために本明細書において説明されるように使用するための訓練されたニューラル・ネットワークを(例えば、スマートフォンなどのデバイスに対して)提供する。
【0070】
様々な例示的な実施形態によれば、本明細書において説明される方法論のうちの1つまたは複数は、(例えば、ニューラル・ネットワーク機械において実装される)ニューラル・ネットワークによる試験片の自動分析を促進し得る。さらに、本明細書において説明される方法論のうちの1つまたは複数は、シミュレーションされた試験片またはその一部を描く、合成された画像の生成を促進し得る。それ故に、本明細書において説明される方法論のうちの1つまたは複数は、以前から存在するシステムおよび方法の能力と比較して、そのようなニューラル・ネットワークの訓練、および試験片の画像を分析する際におけるそのような訓練されたニューラル・ネットワークの性能の改善を促進し得る。
【0071】
これらの効果が総合的に考えられる場合、本明細書において説明される方法論のうちの1つまたは複数は、その方法論によらなければニューラル・ネットワークによる試験片の自動分析に伴うことになる、一定の労力またはリソースに対する必要性を除去し得る。試験片の自動分析を取得する際にユーザによって費やされる労力は、本明細書において説明される方法論のうちの1つまたは複数を実装する特殊用途機の使用(例えば、依拠)によって逓減され得る。(例えば、ネットワーク環境内の)1つまたは複数のシステムまたは機械によって使用されるコンピューティング・リソースは、(例えば、本明細書において論じられる構造を欠く、またはさもなければ本明細書において論じられる機能を行うことができない、システムまたは機械と比較して)同様に低減され得る。そのようなコンピューティング・リソースの例は、プロセッサ・サイクル、ネットワーク・トラフィック、計算容量、メイン・メモリ使用量、グラフィックス・レンダリング容量、グラフィックス・メモリ使用量、データ記憶容量、電力消費、および冷却容量を含む。
【0072】
図6は、機械可読媒体1122(例えば、非一時的な機械可読媒体、機械可読記憶媒体、コンピュータ可読記憶媒体、または、これらの任意の適切な組合せ)から命令1124を読み出し、本明細書において論じられる方法論のうちのいずれか1つまたは複数を全体的にまたは部分的に行うことができる、いくつかの例示的な実施形態による、機械1100のコンポーネントを例示するブロック図である。具体的には、
図6は、機械1100に、本明細書において論じられる方法論のうちのいずれか1つまたは複数を全体的にまたは部分的に行わせるための命令1124(例えば、ソフトウェア、プログラム、アプリケーション、アプレット、アプリ、または他の実行可能なコード)が実行され得るコンピュータ・システム(例えば、コンピュータ)の例示的な形態において、機械1100を示す。
【0073】
代替的実施形態において、機械1100は、スタンド・アロンのデバイスとして動作し、または他の機械に対して通信可能に結合され(例えば、ネットワーク接続され)てもよい。ネットワーク接続された展開において、機械1100は、サーバ・クライアント・ネットワーク環境内のサーバ機械もしくはクライアント機械の役割において、または分散型(例えば、ピア・ツー・ピア)ネットワーク環境内のピア機械として、動作し得る。機械1100は、サーバ・コンピュータ、クライアント・コンピュータ、パーソナル・コンピュータ(PC)、タブレット・コンピュータ、ラップトップ・コンピュータ、ネットブック、携帯電話、スマートフォン、セットトップ・ボックス(STB)、携帯情報端末(PDA)、ウェブ・アプライアンス、ネットワーク・ルータ、ネットワーク・スイッチ、ネットワーク・ブリッジ、または、その機械によって取られるべきアクションを特定する命令1124を連続的にもしくは他の方法で実行することができる任意の機械であり得る。さらに、単一の機械のみが例示されているが、「機械」という用語は、命令1124を個別にまたは共同で実行して、本明細書において論じられる方法論のうちのいずれか1つまたは複数の全部または一部を行う機械の任意の集合を含むようにも用いられるものとする。
【0074】
機械1100は、プロセッサ1102(例えば、1つもしくは複数の中央処理ユニット(CPU)、1つもしくは複数のグラフィック処理ユニット(GPU)、1つもしくは複数のデジタル信号プロセッサ(DSP)、1つもしくは複数の特定用途向け集積回路(ASIC)、1つもしくは複数の無線周波数集積回路(RFIC)、または、これらの任意の適切な組合せ)、メイン・メモリ1104、およびスタティック・メモリ1106を含み、これらは、バス1108を介して互いに通信するように構成される。プロセッサ1102は、命令1124の一部または全部によって、一時的にまたは恒久的に構成可能なソリッドステート・デジタル・マイクロ回路(例えば、電子、光学、または両方)を含有し、それにより、プロセッサ1102は、本明細書において説明される方法論のうちのいずれか1つまたは複数を全体的にまたは部分的に行うように構成可能である。例えば、プロセッサ1102の1つまたは複数のマイクロ回路のセットは、本明細書において説明される1つまたは複数のモジュール(例えば、ソフトウェア・モジュール)を実行するように構成可能であり得る。いくつかの例示的な実施形態において、プロセッサ1102は、マルチコアCPU(例えば、デュアルコアCPU、クアッドコアCPU、8コアCPU、128コアCPU、または、これらの任意の適切な組合せ)であり、マルチコアCPU内で、複数のコアの各々は、本明細書において論じられる方法論のうちのいずれか1つまたは複数を全体的にまたは部分的に行うことができる別個のプロセッサとして振る舞う。本明細書において説明される有益な効果は、少なくともプロセッサ1102を有する機械1100によって提供され得るが、これらの同じ有益な効果は、プロセッサを含有しない異なる種類の機械(例えば、純粋に機械的なシステム、純粋に油圧的なシステム、またはハイブリッドの機械・油圧システム)が、本明細書において説明される方法論のうちの1つまたは複数を行うように構成される場合、そのようなプロセッサなしの機械によって提供され得る。
【0075】
機械1100は、グラフィックス・ディスプレイ1110(例えば、プラズマ・ディスプレイ・パネル(PDP)、発光ダイオード(LED)・ディスプレイ、液晶ディスプレイ(LCD)、プロジェクター、ブラウン管(CRT)、または、グラフィックスもしくはビデオを表示することができる任意の他のディスプレイ)をさらに含み得る。機械1100は、英数字入力デバイス1112(例えば、キーボードまたはキーパッド)、ポインタ入力デバイス1114(例えば、マウス、タッチパッド、タッチスクリーン、トラックボール、ジョイスティック、スタイラス、動きセンサ、アイ・トラッキング・デバイス、データ・グローブ、または他のポインティング器具)、データ・ストレージ1116、オーディオ生成デバイス1118(例えば、サウンドカード、増幅器、スピーカ、ヘッドホン端子、または、これらの任意の適切な組合せ)、およびネットワーク・インターフェース・デバイス1120も含み得る。
【0076】
データ・ストレージ1116(例えば、データ記憶デバイス)は、機械可読媒体1122(例えば、有形の非一時的な機械可読記憶媒体)を含み、本明細書において説明される方法論または機能のうちのいずれか1つまたは複数を具現化する命令1124は、機械可読媒体1122上に記憶される。命令1124は、機械1100による命令1124の実行の前に、またはその実行期間中に、メイン・メモリ1104内、スタティック・メモリ1106内、プロセッサ1102内(例えば、プロセッサのキャッシュ・メモリ内)、または、これらの任意の適切な組合せ内にも、完全にまたは少なくとも部分的に存在し得る。したがって、メイン・メモリ1104、スタティック・メモリ1106、およびプロセッサ1102は、機械可読媒体(例えば、有形の非一時的な機械可読媒体)と考えられ得る。命令1124は、ネットワーク・インターフェース・デバイス1120を介して、ネットワーク190上で送信され、または受信され得る。例えば、ネットワーク・インターフェース・デバイス1120は、いずれか1つまたは複数の転送プロトコル(例えば、ハイパーテキスト転送プロトコル(HTTP))を使用して、命令1124を通信し得る。
【0077】
いくつかの例示的な実施形態において、機械1100は、携帯可能なコンピューティング・デバイス(例えば、スマートフォン、タブレット・コンピュータ、またはウェアラブル・デバイス)であってもよく、1つまたは複数の付加的な入力コンポーネント1130(例えば、センサまたはゲージ)を有してもよい。そのような入力コンポーネント1130の例は、画像入力コンポーネント(例えば、1つまたは複数のカメラ)、オーディオ入力コンポーネント(例えば、1つまたは複数のマイクロフォン)、方向入力コンポーネント(例えば、コンパス)、ロケーション入力コンポーネント(例えば、全地球測位システム(GPS)受信機)、向きコンポーネント(例えば、ジャイロスコープ)、動き検出コンポーネント(例えば、1つまたは複数の加速度計)、高度検出コンポーネント(例えば、高度計)、温度入力コンポーネント(例えば、温度計)、およびガス検出コンポーネント(例えば、ガス・センサ)を含む。これらの入力コンポーネント1130のうちのいずれか1つまたは複数によって集められた入力データは、(例えば、ユーザ嗜好、適用可能な規則、または、これらの任意の適切な組合せに従って実装される、オプトイン同意またはオプトアウト同意などの、適切なプライバシー通知および保護と共に)本明細書において説明されるモジュールのうちのいずれかによる使用のためにアクセス可能であり、利用可能であり得る。
【0078】
本明細書において使用される場合、「メモリ」という用語は、データを一時的にまたは恒久的に記憶することができる機械可読媒体を指し、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、バッファ・メモリ、フラッシュ・メモリ、およびキャッシュ・メモリを含むが、これらに限定されないものとして理解され得る。機械可読媒体1122は、例示的な一実施形態において単一の媒体として示されているが、「機械可読媒体」という用語は、命令を記憶することができる単一の媒体または複数の媒体(例えば、集中型データベースもしくは分散型データベース、または関連付けられたキャッシュおよびサーバ)を含むものとして理解されるべきである。「機械可読媒体」という用語は、命令1124が、機械1100の1つまたは複数のプロセッサ(例えば、プロセッサ1102)によって実行された場合、機械1100に、本明細書において説明される方法論のうちのいずれか1つまたは複数を全体的にまたは部分的に行わせるように、機械1100による実行のために命令1124を搬送すること(例えば、記憶することまたは通信すること)ができる任意の媒体、または複数の媒体の組合せを含むようにも理解されるべきである。したがって、「機械可読媒体」は、単一の記憶装置またはデバイス、および、複数の記憶装置またはデバイスを含む、クラウドベースの記憶システムまたは記憶ネットワークを指す。したがって、「機械可読媒体」という用語は、ソリッドステート・メモリ・チップ、光ディスク、磁気ディスク、または、これらの任意の適切な組合せの例示的な形態における、1つまたは複数の有形の非一時的なデータ・リポジトリ(例えば、データ量)を含むが、これらに限定されないものとして理解されるべきである。
【0079】
「非一時的な」機械可読媒体は、本明細書において使用される場合、具体的には伝搬信号自体を除外する。様々な例示的な実施形態によれば、機械1100による実行のための命令1124は、担体媒体(例えば、機械可読担体媒体)を介して通信され得る。そのような担体媒体の例は、非一過性の担体媒体(例えば、ある場所から別の場所へ物理的に移動可能なソリッドステート・メモリなどの、非一時的な機械可読記憶媒体)、および一過性の担体媒体(例えば、命令1124を通信する搬送波または他の伝搬信号)を含む。
【0080】
一定の例示的な実施形態は、モジュールを含むものとして本明細書において説明されている。モジュールは、ソフトウェア・モジュール(例えば、機械可読媒体においてもしくは送信媒体において、記憶され、もしくは他の方法で具現化されるコード)、ハードウェア・モジュール、または、これらの任意の適切な組合せを構成し得る。「ハードウェア・モジュール」は、一定の動作を行うことができる有形の(例えば、非一時的な)物理コンポーネント(例えば、1つまたは複数のプロセッサのセット)であり、一定の物理的な手法で構成され、または配置され得る。様々な例示的な実施形態において、1つもしくは複数のコンピュータシステム、または、その1つもしくは複数のハードウェア・モジュールは、ハードウェア・モジュールとしてソフトウェア(例えば、アプリケーションまたはその一部)によって構成されてもよく、ハードウェア・モジュールは、そのモジュールについて本明細書において説明される動作を行うように動作する。
【0081】
いくつかの例示的な実施形態において、ハードウェア・モジュールは、機械的に、電子的に、油圧的に、または、これらの任意の適切な組合せで実装され得る。例えば、ハードウェア・モジュールは、一定の動作を行うように恒久的に構成される専用回路構成またはロジックを含んでもよい。ハードウェア・モジュールは、フィールド・プログラマブル・ゲート・アレイ(FPGA)またはASICなどの、特殊用途プロセッサであってもよく、または特殊用途プロセッサを含んでもよい。ハードウェア・モジュールは、一定の動作を行うようにソフトウェアによって一時的に構成されるプログラマブル・ロジックまたは回路構成も含んでもよい。一例として、ハードウェア・モジュールは、CPUまたは他のプログラマブル・プロセッサ内に包含されたソフトウェアを含み得る。ハードウェア・モジュールを機械的に実装するか、油圧的に実装するか、専用の恒久的に構成される回路構成において実装するか、または一時的に構成される(例えば、ソフトウェアによって構成される)回路構成において実装するかの決定は、コストおよび時間を考慮することによって為され得ることが認識されるであろう。
【0082】
したがって、「ハードウェア・モジュール」という句は、一定の手法で動作するように、または本明細書において説明される一定の動作を行うように、物理的に構築され、恒久的に構成され(例えば、ハードウェアに組み込まれ)、または一時的に構成され(例えば、プログラムされ)得る有形のエンティティを包含するものとして理解されるべきである。さらに、本明細書において使用される場合、「ハードウェア実装モジュール」という句は、ハードウェア・モジュールを指す。ハードウェア・モジュールが一時的に構成される(例えば、プログラムされる)例示的な実施形態を考慮すると、ハードウェア・モジュールの各々は、任意の時点において構成され、またはインスタンス化される必要がない。例えば、ハードウェア・モジュールが、特殊用途プロセッサになるようにソフトウェアによって構成されるCPUを含む場合、CPUは、異なる時において、それぞれ異なる特殊用途プロセッサ(例えば、各々が異なるハードウェア・モジュールに含まれる)として構成され得る。したがって、ソフトウェア(例えば、ソフトウェア・モジュール)は、例えば、ある時点においては特定のハードウェア・モジュールになり、またはさもなければ特定のハードウェア・モジュールを構成し、異なる時点においては異なるハードウェア・モジュールになり、またはさもなければ異なるハードウェア・モジュールを構成するように、1つまたは複数のプロセッサを構成し得る。
【0083】
ハードウェア・モジュールは、他のハードウェア・モジュールに対して情報を提供し、他のハードウェア・モジュールから情報を受信することができる。したがって、説明されているハードウェア・モジュールは、通信可能に結合されるものと見なされ得る。複数のハードウェア・モジュールが同時に存在する場合、通信は、ハードウェア・モジュールのうちの2つ以上の間で信号送信を通じて(例えば、回路およびバス上で)達成され得る。複数のハードウェア・モジュールが、異なる時において構成され、またはインスタンス化される実施形態において、そのようなハードウェア・モジュール間の通信は、例えば、複数のハードウェア・モジュールがアクセスすることができるメモリ構造内の情報の記憶および取り出しを通じて達成され得る。例えば、1つのハードウェア・モジュールは、ある動作を行い、その動作の出力を、そのハードウェア・モジュールが通信可能に結合されているメモリ(例えば、メモリ・デバイス)内に記憶し得る。次いで、さらなるハードウェア・モジュールは、後でメモリにアクセスして、記憶された出力を取り出し、処理し得る。ハードウェア・モジュールは、入力デバイスまたは出力デバイスとの通信も開始してもよく、リソース(例えば、コンピューティング・リソースからの情報の集合)上で動作することができる。
【0084】
本明細書において説明される例示的な方法の様々な動作は、関連する動作を行うように(例えば、ソフトウェアによって)一時的に構成され、または恒久的に構成される1つまたは複数のプロセッサによって、少なくとも部分的に行われ得る。一時的に構成されるか、恒久的に構成されるかに関わらず、そのようなプロセッサは、本明細書において説明される1つまたは複数の動作または機能を行うように動作するプロセッサ実装モジュールを構成し得る。本明細書において使用される場合、「プロセッサ実装モジュール」は、ハードウェアが1つまたは複数のプロセッサを含むハードウェア・モジュールを指す。したがって、本明細書において説明される動作は、少なくとも部分的に、プロセッサ実装され、ハードウェア実装され、または両方であり得る。なぜならば、プロセッサは、ハードウェアの一例であり、本明細書において論じられる方法のいずれか1つまたは複数における少なくともいくつかの動作は、1つまたは複数のプロセッサ実装モジュール、ハードウェア実装モジュール、または、これらの任意の適切な組合せによって行われ得るからである。
【0085】
さらに、そのような1つまたは複数のプロセッサは、「クラウド・コンピューティング」環境において、または(例えば、「サービスとしてのソフトウェア」(SaaS)実装内の)サービスとして、動作を行い得る。例えば、本明細書において論じられる方法のうちのいずれか1つまたは複数における少なくともいくつかの動作は、これらの動作がネットワーク(例えば、インターネット)を介して、および1つまたは複数の適当なインターフェース(例えば、アプリケーション・プログラム・インターフェース(API))を介してアクセス可能である状態で、(例えば、プロセッサを含む機械の例としての)コンピュータのグループによって行われてもよい。一定の動作を行うことは、単一の機械内のみに存在するか、複数の機械にわたって展開されるかに関わらず、1つまたは複数のプロセッサ間で分散され得る。いくつかの例示的な実施形態において、1つまたは複数のプロセッサまたはハードウェア・モジュール(例えば、プロセッサ実装モジュール)は、単一の地理的ロケーションにおいて(例えば、家庭環境、オフィス環境、またはサーバ・ファーム内に)位置し得る。他の例示的な実施形態において、1つまたは複数のプロセッサまたはハードウェア・モジュールは、複数の地理的ロケーションにわたって分散されてもよい。
【0086】
本明細書の全体にわたって、複数例は、単一例として説明される複数のコンポーネント、複数の動作、または複数の構造を実装し得る。1つまたは複数の方法の個別の動作は、別個の動作として例示され、説明されるが、個別の動作のうちの1つまたは複数は、同時に行われてもよく、例示された順序で動作が行われる必要はない。例示的な構成において別個のコンポーネントおよび機能として提示される構造およびそれらの機能性は、組み合わされた機能を有する、組み合わされた構造またはコンポーネントとして実装されてもよい。同様に、単一のコンポーネントとして提示される構造および機能性は、別個の複数のコンポーネントおよび機能として実装されてもよい。これらのおよび他のバリエーション、変形、追加、および改善は、本明細書における主題の範囲内に収まるものである。
【0087】
本明細書において論じられる主題のいくつかの部分は、メモリ(例えば、コンピュータ・メモリまたは他の機械メモリ)内のビットまたは2値デジタル信号として記憶されたデータに対する動作のアルゴリズムまたは記号的表現の観点から提示され得る。そのようなアルゴリズムまたは記号的表現は、データ処理技術における当業者によって、それらの作用の実体を他の当業者へ伝達するために使用される技法の例である。本明細書において使用される場合、「アルゴリズム」は、所望の結果につながる動作の自己無撞着なシーケンスまたは同様の処理である。この文脈において、アルゴリズムおよび動作は、物理量の物理的な操作を伴う。典型的には、そのような量は、機械によって記憶され、アクセスされ、転送され、組み合わされ、比較され、または他の方法で操作される、電気信号、磁気信号、または光信号の形態を取り得るが、必ずしもそうとは限らない。主に一般的な使用上の理由で、そのような信号を「データ」、「コンテンツ」、「ビット」、「値」、「要素」、「記号」、「文字」、「用語」、「数字」、「符号」等などの単語を使用して指すことが時には好都合である。しかしながら、これらの単語は、好都合なラベルに過ぎず、適当な物理量に対して関連付けられるべきものである。
【0088】
特に明記しない限り、「アクセスする」、「処理する」、「検出する」、「計算する」、「算出する」、「決定する」、「生成する」、「提示する」、「表示する」等などの単語を使用する本明細書における論考は、1つまたは複数のメモリ(例えば、揮発性メモリ、不揮発性メモリ、もしくは、これらの任意の適切な組合せ)、レジスタ、または、情報を受信し、記憶し、送信し、もしくは表示する他の機械コンポーネント内で、物理的な(例えば、電子的な、磁気的な、光学的な)量として表されるデータを操作し、または変換する機械(例えば、コンピュータ)によって実行可能であるアクションまたは処理を指す。さらに、特に明記しない限り、「一(a)」または「1つの(an)」という用語は、特許文献において一般的であるように、1つの例または1つよりも多くの例を含むように本明細書において使用される。最後に、本明細書において使用される場合、「または」という接続詞は、特に明記しない限り、非排他的な「または」を指す。
【0089】
上記の開示に鑑みて、方法、機械可読媒体、およびシステム(例えば、機械、デバイス、または他の装置)の様々な例が、下記に述べられる。1つの例の1つまたは複数の特徴は、単独でも、または組合せでも、本出願の開示内で考慮されるべきであることが留意されるべきである。
【0090】
第1の例は、
機械の1つまたは複数のプロセッサによって、撮像条件の対応する組合せの下での対応する試験デバイスの対応する試験片を各々が描く訓練画像に対してアクセスする工程であって、訓練画像は各々、対応する試験片によって示される対応する試験結果の対応するインジケータを用いてラベル付けされている、アクセスする工程と、
機械の1つまたは複数のプロセッサによって、撮像条件の対応する組合せの下でのさらなる試験デバイスのさらなる試験片を描く、ラベル付けされていない画像に基づいて、予測される試験結果を決定するようにニューラル・ネットワークを訓練する工程であって、訓練する工程は、訓練画像に基づく、訓練する工程と、
機械の1つまたは複数のプロセッサによって、撮像条件の対応する組合せの下でのさらなる試験デバイスのさらなる試験片を描く、ラベル付けされていない画像に対してアクセスし、ラベル付けされていない画像を訓練されたニューラル・ネットワーク内へ入力することによって訓練されたニューラル・ネットワークから予測される試験結果を取得するように構成されたさらなる機械に対して、訓練されたニューラル・ネットワークを(例えば、直接的にまたは間接的に)提供する工程と
を備える、方法を提供する。
【0091】
第2の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、ラベル付けされていない画像の色温度を含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、色温度において異なる、第1の例に記載の方法を提供する。
【0092】
第3の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、さらなる試験片上の影を含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、対応する試験片上の影の存在において異なる、第1の例または第2の例に記載の方法を提供する。
【0093】
第4の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、さらなる試験片上のデブリを含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、対応する試験片上のデブリの存在において異なる、第1の例乃至第3の例のいずれかに記載の方法を提供する。
【0094】
第5の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、さらなる試験片上の鏡面反射光を含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、対応する試験片上の鏡面反射光の存在において異なる、第1の例乃至第4の例のいずれかに記載の方法を提供する。
【0095】
第6の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、さらなる試験片上の汚れを含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、対応する試験片上の汚れの存在において異なる、第1の例乃至第5の例のいずれかに記載の方法を提供する。
【0096】
第7の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、ラベル付けされていない画像の露出(例えば、明るさ、コントラスト、ピーク白レベル、黒レベル、ガンマ曲線、または、これらの任意の適切な組合せによって示されるような、より多くの露出またはより少ない露出)を含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、露出において異なる、第1の例乃至第6の例のいずれかに記載の方法を提供する。
【0097】
第8の例は、
機械の1つまたは複数のプロセッサによって、シミュレーションされた撮像条件の対応する組合せの下での対応するシミュレーションされた試験片を各々が描く、合成された画像の第1のセットを生成することによって、訓練画像の第1の部分を生成する工程と、
機械の1つまたは複数のプロセッサによって、実際の撮像条件の対応する組合せの下での対応する実際の試験片を各々が描く、キャプチャされた画像の第2のセットに対してアクセスすることによって、訓練画像の第2の部分に対してアクセスする工程と
をさらに備える、第1の例乃至第7の例のいずれかに記載の方法を提供する。
【0098】
第9の例は、
1つまたは複数のプロセッサと、
命令を記憶するメモリであって、命令は、1つまたは複数のプロセッサによって実行された場合、1つまたは複数のプロセッサを、
撮像条件の対応する組合せの下での対応する試験デバイスの対応する試験片を各々が描く訓練画像に対してアクセスする工程であって、訓練画像は各々、対応する試験片によって示される対応する試験結果の対応するインジケータを用いてラベル付けされている、アクセスする工程と、
撮像条件の対応する組合せの下でのさらなる試験デバイスのさらなる試験片を描く、ラベル付けされていない画像に基づいて、予測される試験結果を決定するようにニューラル・ネットワークを訓練する工程であって、訓練する工程は、訓練画像に基づく、訓練する工程と、
撮像条件の対応する組合せの下でのさらなる試験デバイスのさらなる試験片を描く、ラベル付けされていない画像に対してアクセスし、ラベル付けされていない画像を訓練されたニューラル・ネットワーク内へ入力することによって訓練されたニューラル・ネットワークから予測される試験結果を取得するように構成されたさらなる機械に対して、訓練されたニューラル・ネットワークを提供する工程と
を含む動作を行うように構成する、メモリと
を備える、システム(例えば、コンピュータ・システム)を提供する。
【0099】
第10の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、ラベル付けされていない画像の色温度を含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、色温度において異なる、第9の例に記載のシステムを提供する。
【0100】
第11の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、さらなる試験片上の影を含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、対応する試験片上の影の存在において異なる、第9の例または第10の例に記載のシステムを提供する。
【0101】
第12の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、さらなる試験片上のデブリを含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、対応する試験片上のデブリの存在において異なる、第9の例乃至第11の例のいずれかに記載のシステムを提供する。
【0102】
第13の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、さらなる試験片上の鏡面反射光を含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、対応する試験片上の鏡面反射光の存在において異なる、第9の例乃至第12の例のいずれかに記載のシステムを提供する。
【0103】
第14の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、さらなる試験片上の汚れを含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、対応する試験片上の汚れの存在において異なる、第9の例乃至第13の例のいずれかに記載のシステムを提供する。
【0104】
第15の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、ラベル付けされていない画像の露出(例えば、明るさ、コントラスト、ピーク白レベル、黒レベル、ガンマ曲線、または、これらの任意の適切な組合せによって示されるような、より多くの露出またはより少ない露出)を含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、露出において異なる、第9の例乃至第14の例のいずれかに記載のシステムを提供する。
【0105】
第16の例は、動作が、
機械の1つまたは複数のプロセッサによって、シミュレーションされた撮像条件の対応する組合せの下での対応するシミュレーションされた試験片を各々が描く、合成された画像の第1のセットを生成することによって、訓練画像の第1の部分を生成する工程と、
機械の1つまたは複数のプロセッサによって、実際の撮像条件の対応する組合せの下での対応する実際の試験片を各々が描く、キャプチャされた画像の第2のセットに対してアクセスすることによって、訓練画像の第2の部分に対してアクセスする工程と
をさらに備える、第9の例乃至第15の例のいずれかによるシステムを提供する。
【0106】
第17の例は、命令を備える機械可読媒体(例えば、非一時的な機械可読記憶媒体)であって、命令は、1つまたは複数のプロセッサによって実行された場合、1つまたは複数のプロセッサを、
撮像条件の対応する組合せの下での対応する試験デバイスの対応する試験片を各々が描く訓練画像に対してアクセスする工程であって、訓練画像は各々、対応する試験片によって示される対応する試験結果の対応するインジケータを用いてラベル付けされている、アクセスする工程と、
撮像条件の対応する組合せの下でのさらなる試験デバイスのさらなる試験片を描く、ラベル付けされていない画像に基づいて、予測される試験結果を決定するようにニューラル・ネットワークを訓練する工程であって、訓練する工程は、訓練画像に基づく、訓練する工程と、
撮像条件の対応する組合せの下でのさらなる試験デバイスのさらなる試験片を描く、ラベル付けされていない画像に対してアクセスし、ラベル付けされていない画像を訓練されたニューラル・ネットワーク内へ入力することによって訓練されたニューラル・ネットワークから予測される試験結果を取得するように構成されたさらなる機械に対して、訓練されたニューラル・ネットワークを提供する工程と
を含む動作を行うように構成する、機械可読媒体を提供する。
【0107】
第18の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、ラベル付けされていない画像の色温度を含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、色温度において異なる、第17の例に記載の機械可読媒体を提供する。
【0108】
第19の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、さらなる試験片上の影を含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、対応する試験片上の影の存在において異なる、第17の例または第18の例に記載の機械可読媒体を提供する。
【0109】
第20の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、さらなる試験片上のデブリを含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、対応する試験片上のデブリの存在において異なる、第17の例乃至第19の例のいずれかに記載の機械可読媒体を提供する。
【0110】
第21の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、さらなる試験片上の鏡面反射光を含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、対応する試験片上の鏡面反射光の存在において異なる、第17の例乃至第20の例のいずれかに記載の機械可読媒体を提供する。
【0111】
第22の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、さらなる試験片上の汚れを含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、対応する試験片上の汚れの存在において異なる、第17の例乃至第21の例のいずれかに記載の機械可読媒体を提供する。
【0112】
第23の例は、
さらなる試験デバイスのさらなる試験片についての撮像条件の対応する組合せは、ラベル付けされていない画像の露出(例えば、明るさ、コントラスト、ピーク白レベル、黒レベル、ガンマ曲線、または、これらの任意の適切な組合せによって示されるような、より多くの露出またはより少ない露出)を含み、
ニューラル・ネットワークは、アクセスされた訓練画像のサブセットに基づいて訓練され、サブセットは、露出において異なる、第17の例乃至第22の例のいずれかに記載の機械可読媒体を提供する。
【0113】
第24の例は、動作が、
機械の1つまたは複数のプロセッサによって、シミュレーションされた撮像条件の対応する組合せの下での対応するシミュレーションされた試験片を各々が描く、合成された画像の第1のセットを生成することによって、訓練画像の第1の部分を生成する工程と、
機械の1つまたは複数のプロセッサによって、実際の撮像条件の対応する組合せの下での対応する実際の試験片を各々が描く、キャプチャされた画像の第2のセットに対してアクセスすることによって、訓練画像の第2の部分に対してアクセスする工程と
をさらに備える、第17の例乃至第23の例のいずれかに記載の機械可読媒体を提供する。
【0114】
第25の例は、前述した例のいずれか1つにおいて行われる動作(例えば、方法動作)を実行するように機械を制御するための機械可読命令を搬送する担体媒体を提供する。
【手続補正書】
【提出日】2022-04-06
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
1つまたは複数のプロセッサが、複数の訓練画像に対してアクセスする工程であって、前記複数の訓練画像の各々は、
対応する試験片が複数の撮像条件からなる複数の組合せのうちの複数の撮像条件からなる対応する組合せの下
にある対応する試験デバイスの
前記対応する試験片を示しており、前記複数の訓練画像の各々は、前記対応する試験片によって示される対応する試験結果の対応するインジケータを用いてラベル付けされている、アクセスする工程と、
前記1つまたは複数のプロセッサが、
さらなる試験片が複数の撮像条件からなる対応する組合せの下
にあるさらなる試験デバイスの
前記さらなる試験片を示しているラベル付けされていない画像に基づいて、予測される試験結果を決定するようにニューラル・ネットワークを訓練する工程であって、前記訓練する工程は、前記複数の訓練画像に基づく、訓練する工程と、
前記1つまたは複数のプロセッサが、
前記さらなる試験片が前記複数の撮像条件からなる対応する組合せの下
にある前記さらなる試験デバイスの前記さらなる試験片を示している前記ラベル付けされていない画像に対してアクセスすることと、前記ラベル付けされていない画像を前記訓練されたニューラル・ネットワーク内へ入力することによって前記訓練されたニューラル・ネットワークから前記予測される試験結果を取得することと、を行うように構成されたさらなる機械に対して、前記訓練されたニューラル・ネットワークを提供する工程と
を備える、方法。
【請求項2】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記ラベル付けされていない画像の色温度を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、色温度において様々である、請求項1に記載の方法。
【請求項3】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の影を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の影の存在において様々である、請求項1に記載の方法。
【請求項4】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上のデブリを含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上のデブリの存在において様々である、請求項1に記載の方法。
【請求項5】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の鏡面反射光を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の鏡面反射光の存在において様々である、請求項1に記載の方法。
【請求項6】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の汚れを含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の汚れの存在において様々である、請求項1に記載の方法。
【請求項7】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記ラベル付けされていない画像の露出を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、露出において様々である、請求項1に記載の方法。
【請求項8】
合成された複数の画像の第1のセットを生成することによって、前記複数の訓練画像のうちの第1の部分を生成する工程であって、前記合成された複数の画像の各々は、シミュレーションされた複数の撮像条件からなる対応する組合せの下での対応するシミュレーションされた試験片を示している、工程と、
キャプチャされた複数の画像の第2のセットに対してアクセスすることによって、前記複数の訓練画像のうちの第2の部分に対してアクセスする工程であって、前記キャプチャされた複数の画像の各々は、実際の複数の撮像条件からなる対応する組合せの下での対応する実際の試験片を示している、工程と
をさらに備える、請求項1に記載の方法。
【請求項9】
システムであって、
1つまたは複数のプロセッサと、
命令を記憶するメモリであって、前記命令は、前記1つまたは複数のプロセッサのうちの少なくとも1つのプロセッサによって実行された場合、前記システムに、
複数の訓練画像に対してアクセスする工程であって、前記複数の訓練画像の各々は、
対応する試験片が複数の撮像条件からなる複数の組合せのうちの複数の撮像条件からなる対応する組合せの下
にある対応する試験デバイスの
前記対応する試験片を示しており、前記複数の訓練画像の各々は、前記対応する試験片によって示される対応する試験結果の対応するインジケータを用いてラベル付けされている、アクセスする工程と、
さらなる試験片が複数の撮像条件からなる対応する組合せの下
にあるさらなる試験デバイスの
前記さらなる試験片を示しているラベル付けされていない画像に基づいて、予測される試験結果を決定するようにニューラル・ネットワークを訓練する工程であって、前記訓練する工程は、前記複数の訓練画像に基づく、訓練する工程と、
前記さらなる試験片が前記複数の撮像条件からなる対応する組合せの下
にある前記さらなる試験デバイスの前記さらなる試験片を示している前記ラベル付けされていない画像に対してアクセスすることと、前記ラベル付けされていない画像を前記訓練されたニューラル・ネットワーク内へ入力することによって前記訓練されたニューラル・ネットワークから前記予測される試験結果を取得することと、を行うように構成されたさらなる機械に対して、前記訓練されたニューラル・ネットワークを提供する工程と
を含む動作を行わせる、メモリと
を備える、システム。
【請求項10】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記ラベル付けされていない画像の色温度を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、色温度において様々である、請求項9に記載のシステム。
【請求項11】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の影を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の影の存在において様々である、請求項9に記載のシステム。
【請求項12】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上のデブリを含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上のデブリの存在において様々である、請求項9に記載のシステム。
【請求項13】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の鏡面反射光を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の鏡面反射光の存在において様々である、請求項9に記載のシステム。
【請求項14】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の汚れを含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の汚れの存在において様々である、請求項9に記載のシステム。
【請求項15】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記ラベル付けされていない画像の露出を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、露出において様々である、請求項9に記載のシステム。
【請求項16】
前記動作は、
合成された複数の画像の第1のセットを生成することによって、前記複数の訓練画像のうちの第1の部分を生成する工程であって、前記合成された複数の画像の各々は、シミュレーションされた複数の撮像条件からなる対応する組合せの下での対応するシミュレーションされた試験片を示している、工程と、
キャプチャされた複数の画像の第2のセットに対してアクセスすることによって、前記複数の訓練画像のうちの第2の部分に対してアクセスする工程であって、前記キャプチャされた複数の画像の各々は、実際の複数の撮像条件からなる対応する組合せの下での対応する実際の試験片を示している、工程と
をさらに含む、請求項9に記載のシステム。
【請求項17】
命令を含む機械可読媒体であって、前記命令は、機械の1つまたは複数のプロセッサによって実行された場合、前記機械に、
複数の訓練画像に対してアクセスする工程であって、前記複数の訓練画像の各々は、
対応する試験片が複数の撮像条件からなる複数の組合せのうちの複数の撮像条件からなる対応する組合せの下
にある対応する試験デバイスの
前記対応する試験片を示しており、前記複数の訓練画像の各々は、前記対応する試験片によって示される対応する試験結果の対応するインジケータを用いてラベル付けされている、アクセスする工程と、
さらなる試験片が複数の撮像条件からなる対応する組合せの下
にあるさらなる試験デバイスの
前記さらなる試験片を示しているラベル付けされていない画像に基づいて、予測される試験結果を決定するようにニューラル・ネットワークを訓練する工程であって、前記訓練する工程は、前記複数の訓練画像に基づく、訓練する工程と、
前記さらなる試験片が前記複数の撮像条件からなる対応する組合せの下
にある前記さらなる試験デバイスの前記さらなる試験片を示している前記ラベル付けされていない画像に対してアクセスすることと、前記ラベル付けされていない画像を前記訓練されたニューラル・ネットワーク内へ入力することによって前記訓練されたニューラル・ネットワークから前記予測される試験結果を取得することと、を行うように構成されたさらなる機械に対して、前記訓練されたニューラル・ネットワークを提供する工程と
を含む動作を行わせる、機械可読媒体。
【請求項18】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記ラベル付けされていない画像の色温度を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、色温度において様々である、請求項17に記載の機械可読媒体。
【請求項19】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の影を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の影の存在において様々である、請求項17に記載の機械可読媒体。
【請求項20】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上のデブリを含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上のデブリの存在において様々である、請求項17に記載の機械可読媒体。
【請求項21】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の鏡面反射光を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の鏡面反射光の存在において様々である、請求項17に記載の機械可読媒体。
【請求項22】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記さらなる試験片上の汚れを含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、前記対応する試験片上の汚れの存在において様々である、請求項17に記載の機械可読媒体。
【請求項23】
前記さらなる試験デバイスの前記さらなる試験片についての前記複数の撮像条件からなる対応する組合せは、前記ラベル付けされていない画像の露出を含み、
前記ニューラル・ネットワークは、前記アクセスされた複数の訓練画像のサブセットに基づいて訓練され、前記サブセットは、露出において様々である、請求項17に記載の機械可読媒体。
【請求項24】
前記動作は、
合成された複数の画像の第1のセットを生成することによって、前記複数の訓練画像のうちの第1の部分を生成する工程であって、前記合成された複数の画像の各々は、シミュレーションされた複数の撮像条件からなる対応する組合せの下での対応するシミュレーションされた試験片を示している、工程と、
キャプチャされた複数の画像の第2のセットに対してアクセスすることによって、前記複数の訓練画像のうちの第2の部分に対してアクセスする工程であって、前記キャプチャされた複数の画像の各々は、実際の複数の撮像条件からなる対応する組合せの下での対応する実際の試験片を示している、工程と
をさらに含む、請求項16に記載の機械可読媒体。
【国際調査報告】