知財求人 - 知財ポータルサイト「IP Force」
7187681細胞画像の分析のためのコンピュータ実装方法、コンピュータプログラム製品およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-02
(45)【発行日】2022-12-12
(54)【発明の名称】細胞画像の分析のためのコンピュータ実装方法、コンピュータプログラム製品およびシステム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221205BHJP
G06N 3/04 20060101ALI20221205BHJP
G01N 33/48 20060101ALI20221205BHJP
【ＦＩ】
G06T7/00 350C
G06N3/04
G06T7/00 630
G01N33/48 M
【請求項の数】
13
(21)【出願番号】P 2021512919
(86)(22)【出願日】2019-09-05
(65)【公表番号】
(43)【公表日】2022-01-04
(86)【国際出願番号】 EP2019073695
(87)【国際公開番号】W WO2020049098
(87)【国際公開日】2020-03-12
【審査請求日】2021-07-12
(31)【優先権主張番号】18192649.4
(32)【優先日】2018-09-05
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】19180972.2
(32)【優先日】2019-06-18
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】521091099
【氏名又は名称】ザルトリウス ステディム データ アナリティクス アーベー
(74)【代理人】
【識別番号】110000796
【氏名又は名称】弁理士法人三枝国際特許事務所
(72)【発明者】
【氏名】シェーグレン リカルド
(72)【発明者】
【氏名】トリグ ヨハン
【審査官】真木 健彦
(56)【参考文献】
【文献】特表２０２１－５０８３７３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０１６４２８７（ＵＳ，Ａ１）
【文献】中国特許出願公開第１０７６５５８５０（ＣＮ，Ａ）
【文献】米国特許出願公開第２００８／００８２４６８（ＵＳ，Ａ１）
【文献】Dewa Made Sri Arsa;H. R. Sanabila;M. Febrian Rachmadi;Ahmad Gamal;Wisnu Jatmiko，Improving Principal Component Analysis Performance for Reducing Spectral Dimension in Hyperspectral Image Classification，2018 International Workshop on Big Data and Information Security (IWBIS)，IEEE，2018年05月13日，pp.123-128，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8471705
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １／００
Ｇ０１Ｎ ２１／００
Ｇ０６Ｎ ３／０４
Ｇ０１Ｎ ３３／４８
(57)【特許請求の範囲】
【請求項1】
細胞画像を分析するためのコンピュータ実装方法であって、前記コンピュータ実装方法は、
深層ニューラルネットワーク（１００）および前記深層ニューラルネットワークのトレーニングに使用されるトレーニングデータセットの少なくとも一部を取得することであって、前記深層ニューラルネットワークは、複数の隠れ層を含み、前記トレーニングデータセットを使用してトレーニングされ、前記トレーニングデータセットは、前記深層ニューラルネットワークに入力できる複数の可能性のある細胞画像を含むことと、
前記複数の隠れ層のうちの少なくとも１つから出力される中間出力値の第１のセットを取得することであって、前記中間出力値の第１のセットのそれぞれは、前記トレーニングデータセットの前記少なくとも一部に含まれる前記可能性のある細胞画像の異なる１つを入力することによって取得されることと、
前記中間出力値の第１のセットを使用して潜在変数モデルを構築／適合することであって、前記潜在変数モデルは、前記中間出力の前記セットの次元よりも低い次元を有する部分空間内の射影値の第１のセットへの前記中間出力値の第１のセットのマッピングを提供することと、
前記深層ニューラルネットワークに入力される新しい細胞画像を受信することと、
前記潜在変数モデルおよび前記射影値の第１のセットを記憶媒体に格納することと、
前記受信した新しい細胞画像を前記深層ニューラルネットワークに入力することにより、前記深層ニューラルネットワークの前記複数の隠れ層のうちの前記少なくとも１つから出力される中間出力値の第２のセットを取得することと、
前記潜在変数モデルを使用して、前記中間出力値の第２のセットを射影値の第２のセットにマッピングすることと、
前記受信した新しい細胞画像が、前記潜在変数モデルおよび前記射影値の第２のセットに基づいて、前記トレーニングデータセットに関して外れ値であるかどうかを判断することと、
を含むコンピュータ実装方法。
【請求項2】
コンピュータ実装方法であって、深層ニューラルネットワーク（１００）に入力される新しい細胞画像を受信することであって、前記深層ニューラルネットワークは複数の隠れ層を有し、前記深層ニューラルネットワークに入力することができる可能性のある細胞画像を含むトレーニングデータセットを使用してトレーニングされることと、
前記受信した新しい細胞画像を前記深層ニューラルネットワークに入力することにより、前記深層ニューラルネットワークの前記複数の隠れ層のうちの少なくとも１つから出力される中間出力値の第２のセットを取得することと、
記憶媒体に格納された潜在変数モデルを使用して、前記中間出力値の第２のセットを射影値の第２のセットにマッピングすることと、
前記潜在変数モデルおよび前記射影値の第２のセットに基づいて、前記受信した新しい細胞画像が前記トレーニングデータセットに関して、外れ値であるかどうかを判断することとを含み、
前記記憶媒体に格納された前記潜在変数モデルは、
前記深層ニューラルネットワークの前記複数の隠れ層のうちの前記１つから出力される中間出力値の第１のセットを取得することであって、前記中間出力値の第１のセットのそれぞれは、前記トレーニングデータセットの前記少なくとも一部に含まれる前記可能性のある細胞画像の異なる１つを入力することによって取得されることと、
前記中間出力値の第１のセットを使用して前記潜在変数モデルを構築することであって、前記潜在変数モデルは、前記中間出力の前記セットの次元よりも低い次元を有する前記潜在変数モデルの部分空間内の射影値の第１のセットへ前記中間出力値の第１のセットのマッピングを提供することと、により構築される、
コンピュータ実装方法。
【請求項3】
前記受信した新しい細胞画像が外れ値であるかどうかを判断する前記ステップは、前記射影値の第１のセットの分布に関して、前記射影値の第２のセットの距離を判断することと、
前記計算された距離が、前記判断された距離の閾値よりも大きい場合、前記受信した新しい細胞画像が前記トレーニングデータセットに関して外れ値であると判断することとを含む、請求項１または２に記載の方法。
【請求項4】
前記距離の前記閾値は、距離に基づいて決定され、前記距離のそれぞれは、前記射影値の第１のセットの前記分布に関して、前記射影値の第１のセットの異なる１つに対して計算される、請求項３に記載の方法。
【請求項5】
前記距離は、複合距離、残差平方和、マハラノビス距離、または局所外れ値因子のうちの１つである、請求項３または４に記載の方法。
【請求項6】
前記受信した新しい細胞画像が外れ値であるかどうかを判断する前記ステップは、前記潜在変数モデルおよび前記射影値の第２のセットを使用して、前記中間出力値の第２のセットに対応する中間出力値の近似セットを判断することと、
前記中間出力値の第２のセットおよび前記中間出力値の近似セットの二乗近似残差を計算することと、
前記計算された二乗近似残差が前記二乗近似残差の閾値よりも大きい場合、前記受信した観測値が前記トレーニングデータセットに関して外れ値であると判断することとを含む、
請求項１から５のいずれか一項に記載の方法。
【請求項7】
前記二乗近似残差の前記閾値は、前記二乗近似残差に基づいて判断され、前記二乗近似残差のそれぞれは、前記中間出力値の第１のセットの異なる１つ、および、前記中間出力値の第１のセットの前記１つに対応する中間出力値の近似セットに対して計算される、 請求項６に記載の方法。
【請求項8】
前記中間出力値の第１のセットを取得し、前記潜在変数モデルを構築する前記ステップは、前記複数の隠れ層のうちの２つまたは複数に対して実行されることを含み、前記中間出力値の第２のセットを取得し、前記中間出力値の第２のセットを前記射影値の第２のセットにマッピングする前記ステップは、前記複数の隠れ層のうちの前記２つまたは複数に関して実行され、
前記受信した新しい細胞画像が外れ値であるかどうかを判断する前記ステップは、前記潜在変数モデルおよび前記複数の隠れ層の前記２つまたは複数に関して取得された前記射影値の第２のセットに基づいて実行される、
請求項１から７のいずれか一項に記載の方法。
【請求項9】
前記深層ニューラルネットワークの前記複数の隠れ層のうちの少なくとも１つから出力される前記中間出力値を取得する前記ステップが、前記複数の隠れ層の前記少なくとも１つからの活性化を判断することと、任意選択で、前記判断された活性化にグローバルプーリングを適用することとを含む、請求項１から８のいずれか一項に記載の方法。
【請求項10】
前記潜在変数モデルが、主成分分析に従って、またはオートエンコーダを使用して構築される、請求項１から９のいずれか一項に記載の方法。
【請求項11】
前記深層ニューラルネットワークによって、前記新しい細胞画像の予測を計算することと、前記新しい細胞画像が外れ値であると判断された場合、前記予測を破棄することと、
前記新しい細胞画像が外れ値ではないと判断された場合は、前記予測を受け入れることと、をさらに含む、
請求項１から１０のいずれか一項に記載の方法。
【請求項12】
コンピュータにロードされて実行されると、請求項１から１１のいずれか一項に記載の方法を前記コンピュータに実行させる、コンピュータ可読命令を含むコンピュータプログラム製品。
【請求項13】
データ分析のためのシステムであって、深層ニューラルネットワーク（１００）のトレーニングに使用されるトレーニングデータセットを格納する記憶媒体（１２）であって、前記深層ニューラルネットワークが複数の隠れ層を含み、前記トレーニングデータセットを使用してトレーニングされ、前記トレーニングデータセットは、前記深層ニューラルネットワークへ入力できる可能性のある細胞画像を含む記憶媒体と、
請求項１から１１のいずれか一項に記載の方法を実行するように構成されたプロセッサと、
を含むシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、コンピュータ実装方法、コンピュータプログラム製品、および細胞画像の分析のためのシステムに関し、特に細胞画像などの非構造化データにおける外れ値検出に関する。
【背景技術】
【0002】
生物学的プロセスは、多くの異なるレベルで複雑である。この複雑さを捉えるために、細胞を研究および監視するための様々なイメージング技術が提案されてきた。増加する細胞イメージングデータを分析するには、深層学習を使用できる。深層学習は、深層ニューラルネットワークと呼ばれる一種の統計モデルに依存する機械学習分野である。深層ニューラルネットワークは、入力層、出力層、および入力層と出力層の間に複数の隠れ層を有する人工ニューラルネットワークであり得る。
【0003】
深層ニューラルネットワークを使用した深層学習は、深層ニューラルネットワークによって学習された強力な変換のおかげで、多くの用途で非常に普及している。例えば、深層学習は、過去５０年間でコンピュータビジョンの分野に革命をもたらし、ほとんどの画像処理タスクにおいて、これまでの最先端のアプローチを急速に上回った。深層学習は、生細胞イメージングなどの細胞イメージング、細胞または核の検出、蛍光画像からのタンパク質の局在化の分類、無標識の細胞分類などで、ますます使用されている。
【0004】
細胞画像の分析のための深層学習技術の適用は、例えば、以下の出版物に記載されている。Ｏ．Ｚ．Ｋｒａｕｓらによる「Ａｕｔｏｍａｔｅｄ ａｎａｌｙｓｉｓ ｏｆ ｈｉｇｈ－ｃｏｎｔｅｎｔ ｍｉｃｒｏｓｃｏｐｙ ｄａｔａ ｗｉｔｈ ｄｅｅｐ ｌｅａｒｎｉｎｇ」、分子システム生物学、第１３巻、第４号、第９２４頁、２０１７年、および対応するＵＳ－２０１８／０１３７３３８－Ａ１。引用された出版物は、トレーニング画像のアノテーションへの要求が低い細胞画像を分類するために、優れたモデルをトレーニングする方法を説明している。
【0005】
診断用途などの重要なシステムで深層学習を採用する際には、深層学習システムによって提供される予測を信頼すべきでない場合を理解することが、重要になり得る。
【0006】
言い換えれば、深層学習システムによって提供される予測が正確であるかどうかだけでなく、深層学習システムが、そもそも予測する必要があるかどうかを知る必要ことが重要になり得る。学習された表現の限界を理解することによって、また、深層学習システムによって認識されないデータに遭遇した時を認識することによって、自律的な決定を改善できる。
【0007】
したがって、深層学習を含むすべてのデータ駆動型モデリングにおける共通の課題は、モデルのトレーニング後に、外れ値データをどのように処理するかである。外れ値の観測値とは、モデルのトレーニングに使用されたデータとは大幅に異なる観測値であり得る。外れ値はモデルが以前に遭遇したものとは大幅に異なるため、このような状況ではモデルの動作が定義されておらず、予測が信頼できないことを意味する。細胞イメージングでは、外れ値は、これまでに見られなかった細胞種類からの画像、または以前に観測されなかった現象であり得る。また、画像機器エラーで結果としての画像不良、または、機器またはデータ処理のいずれかのオペレータによる不適切な管理が、外れ値の原因となり得る。これらのいずれの場合でも、モデルの予測は信頼性が低く、適切に処理する必要がある。
【0008】
深層ニューラルネットワークが予測の不確実性を記述できるようにするために、多くの異なる方法が提案されている。これらの方法の多くは、予測中にポイント推論ではなくベイズ推論を実行するように深層ニューラルネットワークをトレーニングすることに基づいている。これは、単一ポイントを予測するのではなく、ネットワークが可能なポイント分布を予測するようにトレーニングされていることを意味する。直感的には、モデルで説明できない観測値は、分布が広いか、不確実性が大きいことになる。ベイズ予測を実行するための一般的な解決策の１つは、いわゆるモンテカルロドロップアウト（ＭＣドロップアウト）であり、Ｙ．ＧａｌおよびＺ．Ｇｈａｒａｍａｎｉによる「Ｄｒｏｐｏｕｔ ａｓ ａ Ｂａｙｅｓｉａｎ ａｐｐｒｏｘｉｍａｔｉｏｎ：Ｒｅｐｒｅｓｅｎｔｉｎｇ ｍｏｄｅｌ ｕｎｃｅｒｔａｉｎｔｙ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ」、機械学習の国際会議、２０１６年、第１０５０～１０５９頁で、開示されている。ＭＣドロップアウトは、「ドロップアウト」を使用してトレーニングされたニューラルネットワークに適用できる。これは、トレーニング・フェーズ中のニューラルネットワーク内の一部のユニット（例、ニューロン、ノード）をドロップアウトする（または、言い換えると、無視する）ことで、ニューラルネットワークの過剰適合を減らすための正則化手法である。ＭＣドロップアウトは、予測のためにいわゆるモンテカルロサンプリングを使用して、予測ごとに複数の推論を行い、予測時間中にネットワークニューロンをランダムに排除またはドロップアウトする。様々な予測は、ドロップアウトによって異なり、予測分布を表す。次に、結果の分布のエントロピーまたは分散を計算することにより、予測の不確実性を定量化できる。
【0009】
ドロップアウトを使用してモンテカルロサンプルを生成する他の方法は、バッチ正規化パラメータに基づくサンプリング（Ｍ．Ｔｅｙｅ、Ｈ．ＡｚｉｚｐｏｕｒおよびＫ．Ｓｍｉｔｈによる「Ｂａｙｅｓｉａｎ Ｕｎｃｅｒｔａｉｎｔｙ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｂａｔｃｈ Ｎｏｒｍａｌｉｚｅｄ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ」、アーカイヴ１８０２０６４５５Ｓｔａｔ、２０１８年２月））、アンサンブル内の様々なモデルからの予測（Ｂ．Ｌａｋｓｈｍｉｎａｒａｙａｎａｎ、Ａ．ＰｒｉｔｚｅｌおよびＣ．Ｂｌｕｎｄｅｌｌによる「Ｓｉｍｐｌｅ ａｎｄ ｓｃａｌａｂｌｅ ｐｒｅｄｉｃｔｉｖｅ ｕｎｃｅｒｔａｉｎｔｙ ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ ｄｅｅｐ ｅｎｓｅｍｂｌｅｓ」、ニューラル情報処理システムの進歩、２０１７年、第６４０５～６４１６頁）、共有ベースネットワーク内の複数の「予測ヘッド」（Ｉ．Ｏｓｂａｎｄ、Ｃ．Ｂｌｕｎｄｅｌｌ、Ａ．ＰｒｉｔｚｅｌおよびＢ．Ｖａｎ Ｒｏｙによる「Ｄｅｅｐ ｅｘｐｌｏｒａｔｉｏｎ ｖｉａ ｂｏｏｔｓｔｒａｐｐｅｄ ＤＱＮ」、ニューラル情報処理システムの進歩、２０１６年、第４０２６～４０３４頁、Ｅ．Ｉｌｇらによる「Ｕｎｃｅｒｔａｉｎｔｙ Ｅｓｔｉｍａｔｅｓ ｆｏｒ Ｏｐｔｉｃａｌ Ｆｌｏｗ ｗｉｔｈ Ｍｕｌｔｉ－Ｈｙｐｏｔｈｅｓｅｓ Ｎｅｔｗｏｒｋｓ」、アーカイヴ１８０２０７０９５Ｃｓ、２０１８年２月）通常の点加重に代わる加重分布の変分推定（Ｃ．Ｂｌｕｎｄｅｌｌ、Ｊ．Ｃｏｒｎｅｂｉｓｅ、Ｋ．ＫａｖｕｋｃｕｏｇｌｕおよびＤ．Ｗｉｅｒｓｔｒａによる「Ｗｅｉｇｈｔ ｕｎｃｅｒｔａｉｎｔｙ ｉｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ」、アーカイヴ・プレプリント、アーカイヴ１５０５０５４２４、２０１５年）、および既存の加重からの分布のラプラス近似（Ｈ．Ｒｉｔｔｅｒ、Ａ．Ｂｏｔｅｖ、およびＤ．Ｂａｒｂｅｒによる「Ａ Ｓｃａｌａｂｌｅ Ｌａｐｌａｃｅ Ａｐｐｒｏｘｉｍａｔｉｏｎ ｆｏｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」、２０１８年２月）を、含む。
【0010】
ただし、これらの方法は、使用されるモデルの種類を前提とし、ネットワークの構築またはトレーニングの方法を制約したり、および／または、予測ごとに複数の推論に依存したりする可能性がある。これにより、複数の推論を行うことが実用的でないリアルタイムシステム、および／または、制約に適合しない既存システムへの一般的な適用性が制限される可能性がある。
【発明の概要】
【0011】
一態様によれば、課題は、深層ニューラルネットワークに入力された細胞画像について、深層ニューラルネットワークによって与えられる予測信頼性を効率的に評価することに関する。
【0012】
本課題は、独立した請求項によって開示された特徴によって解決される。さらなる例示的な実施形態は、従属した請求項によって定義される。
【0013】
一態様によれば、細胞画像を分析するためのコンピュータ実装方法が提供される。細胞画像は、任意の適切な画像技術、例えば、光学顕微鏡法（例えば、明視野顕微鏡法、位相差顕微鏡法、蛍光顕微鏡法、共焦点画像顕微鏡法）、電子ビーム顕微鏡法などによって取得できる。細胞画像は、生細胞画像または非生細胞画像であり得る。
【0014】
本方法は、
深層ニューラルネットワーク、および深層ニューラルネットワークのトレーニングに使用されるトレーニングデータセットの少なくとも一部を取得することであって、深層ニューラルネットワークは、複数の隠れ層を含み、トレーニングデータセットを使用してトレーニングされ、トレーニングデータセットは、深層ニューラルネットワークに入力できる複数の可能性のある細胞画像（つまり観測値）を含むことと、
複数の隠れ層のうちの少なくとも１つから出力される中間出力値の第１のセットを取得することであって、中間出力値の第１のセットのそれぞれは、トレーニングデータセットの前記少なくとも一部に含まれる可能性のある細胞画像の異なる１つを入力することによって取得されることと、
中間出力値の第１のセットを使用して潜在変数モデルを構築（つまり適合）することであって、潜在変数モデルは、中間出力のセットの次元よりも低い次元を有する潜在変数モデルの部分空間内の射影値の第１のセットへ中間出力値の第１のセットのマッピングの提供することと、
潜在変数モデルおよび射影値の第１のセットを記憶媒体に格納することとを含む。
深層ニューラルネットワーク、および深層ニューラルネットワークのトレーニングに使用されるトレーニングデータセットの少なくとも一部を取得することであって、深層ニューラルネットワークは、複数の隠れ層を含み、トレーニングデータセットを使用してトレーニングされ、トレーニングデータセットは、深層ニューラルネットワークに入力できる複数の可能性のある細胞画像（つまり観測値）を含むことと、
複数の隠れ層のうちの少なくとも１つから出力される中間出力値の第１のセットを取得することであって、中間出力値の第１のセットのそれぞれは、トレーニングデータセットの前記少なくとも一部に含まれる可能性のある細胞画像の異なる１つを入力することによって取得されることと、
中間出力値の第１のセットを使用して潜在変数モデルを構築（つまり適合）することであって、潜在変数モデルは、中間出力のセットの次元よりも低い次元を有する潜在変数モデルの部分空間内の射影値の第１のセットへ中間出力値の第１のセットのマッピングの提供することと、
潜在変数モデルおよび射影値の第１のセットを記憶媒体に格納することとを含む。
【0015】
（第１の態様と組み合わせることができる）別の態様によれば、細胞画像を分析するためのコンピュータ実装方法が提供される。本方法は、
深層ニューラルネットワークに入力される新しい細胞画像（つまり、新しい観測値）を受信することであって、深層ニューラルネットワークは複数の隠れ層を有し、深層ニューラルネットワークに入力できる可能性のある細胞画像を含むトレーニングデータセットを使用してトレーニングされることと、
受信した新しい細胞画像を深層ニューラルネットワークに入力することにより、深層ニューラルネットワークの複数の隠れ層のうちの少なくとも１つから出力される中間出力値の第２のセットを取得することと、
記憶媒体に格納された潜在変数モデルを使用して、中間出力値の第２のセットを射影値の第２のセットにマッピングすることと、
潜在変数モデルおよび射影値の第２のセットに基づいて、受信した新しい細胞画像がトレーニングデータセットに関して外れ値であるかどうかを判断することとを含み、
記憶媒体に格納された潜在変数モデルは、
深層ニューラルネットワークの複数の隠れ層のうちの前記１つから出力される中間出力値の第１のセットを取得することであって、中間出力値の第１のセットのそれぞれは、トレーニングデータセットの前記少なくとも一部に含まれている可能性のある細胞画像（すなわち、可能性のある観測値）の異なる１つを入力することによって取得されることと、
中間出力値の第１のセットを使用して潜在変数モデルを構築／適合することであって、潜在変数モデルは、中間出力のセットの次元よりも低い次元を有する潜在変数モデルの部分空間内の射影値の第１のセットに、中間出力値の第１のセットのマッピングを提供することとを含むことにより構築される。
深層ニューラルネットワークに入力される新しい細胞画像（つまり、新しい観測値）を受信することであって、深層ニューラルネットワークは複数の隠れ層を有し、深層ニューラルネットワークに入力できる可能性のある細胞画像を含むトレーニングデータセットを使用してトレーニングされることと、
受信した新しい細胞画像を深層ニューラルネットワークに入力することにより、深層ニューラルネットワークの複数の隠れ層のうちの少なくとも１つから出力される中間出力値の第２のセットを取得することと、
記憶媒体に格納された潜在変数モデルを使用して、中間出力値の第２のセットを射影値の第２のセットにマッピングすることと、
潜在変数モデルおよび射影値の第２のセットに基づいて、受信した新しい細胞画像がトレーニングデータセットに関して外れ値であるかどうかを判断することとを含み、
記憶媒体に格納された潜在変数モデルは、
深層ニューラルネットワークの複数の隠れ層のうちの前記１つから出力される中間出力値の第１のセットを取得することであって、中間出力値の第１のセットのそれぞれは、トレーニングデータセットの前記少なくとも一部に含まれている可能性のある細胞画像（すなわち、可能性のある観測値）の異なる１つを入力することによって取得されることと、
中間出力値の第１のセットを使用して潜在変数モデルを構築／適合することであって、潜在変数モデルは、中間出力のセットの次元よりも低い次元を有する潜在変数モデルの部分空間内の射影値の第１のセットに、中間出力値の第１のセットのマッピングを提供することとを含むことにより構築される。
【0016】
さらに別の態様によれば、細胞画像を分析するためのコンピュータ実装方法が提供される。本方法は、
深層ニューラルネットワークおよび深層ニューラルネットワークのトレーニングに使用されるトレーニングデータセットの少なくとも一部を取得することであって、深層ニューラルネットワークは、複数の隠れ層を含み、トレーニングデータセットを使用してトレーニングされ、トレーニングデータセットは、深層ニューラルネットワークに入力できる複数の可能性のある細胞画像（つまり観測値）を含むことと、
複数の隠れ層のうちの少なくとも１つから出力される中間出力値の第１のセットを取得することであって、中間出力値の第１のセットのそれぞれは、トレーニングデータセットの前記少なくとも一部に含まれる可能性のある細胞画像の異なる１つを入力することによって取得されることと、
中間出力値の第１のセットを使用して潜在変数モデルを構築（つまり適合）することであって、潜在変数モデルは、中間出力のセットの次元よりも低い次元を有する潜在変数モデルの部分空間内の射影値の第１のセットへの中間出力値の第１のセットのマッピングを提供することと、
深層ニューラルネットワークに入力する新しい細胞画像を受信することと、
受信した新しい細胞画像を深層ニューラルネットワークに入力することにより、深層ニューラルネットワークの複数の隠れ層のうちの前記少なくとも１つから出力される中間出力値の第２のセットを取得することと、
潜在変数モデルを使用して、中間出力値の第２のセットを射影値の第２のセットにマッピングすることと、
潜在変数モデルおよび射影値の第２のセットに基づいて、受信した観測値がトレーニングデータセットに関して、外れ値であるかどうかを判断することとを含む。
深層ニューラルネットワークおよび深層ニューラルネットワークのトレーニングに使用されるトレーニングデータセットの少なくとも一部を取得することであって、深層ニューラルネットワークは、複数の隠れ層を含み、トレーニングデータセットを使用してトレーニングされ、トレーニングデータセットは、深層ニューラルネットワークに入力できる複数の可能性のある細胞画像（つまり観測値）を含むことと、
複数の隠れ層のうちの少なくとも１つから出力される中間出力値の第１のセットを取得することであって、中間出力値の第１のセットのそれぞれは、トレーニングデータセットの前記少なくとも一部に含まれる可能性のある細胞画像の異なる１つを入力することによって取得されることと、
中間出力値の第１のセットを使用して潜在変数モデルを構築（つまり適合）することであって、潜在変数モデルは、中間出力のセットの次元よりも低い次元を有する潜在変数モデルの部分空間内の射影値の第１のセットへの中間出力値の第１のセットのマッピングを提供することと、
深層ニューラルネットワークに入力する新しい細胞画像を受信することと、
受信した新しい細胞画像を深層ニューラルネットワークに入力することにより、深層ニューラルネットワークの複数の隠れ層のうちの前記少なくとも１つから出力される中間出力値の第２のセットを取得することと、
潜在変数モデルを使用して、中間出力値の第２のセットを射影値の第２のセットにマッピングすることと、
潜在変数モデルおよび射影値の第２のセットに基づいて、受信した観測値がトレーニングデータセットに関して、外れ値であるかどうかを判断することとを含む。
【0017】
受信した観測値が外れ値であると判断された場合、受信した観測値が非外れ値であると判断された場合よりも、受信した観測値に関する深層ニューラルネットワークによって与えられた予測（例えば、出力）の信頼性が低いと見なすことができる。したがって、上記の態様のいずれかによる方法は、
深層ニューラルネットワークによって、新しい細胞画像の予測を計算することと、
新しい細胞画像が外れ値であると判断された場合、予測を破棄することと、
新しい細胞画像が外れ値ではないと判断された場合は、予測を受け入れることと、
をさらに含み得る。
深層ニューラルネットワークによって、新しい細胞画像の予測を計算することと、
新しい細胞画像が外れ値であると判断された場合、予測を破棄することと、
新しい細胞画像が外れ値ではないと判断された場合は、予測を受け入れることと、
をさらに含み得る。
【0018】
本明細書に記載の様々な実施形態および例では、深層ニューラルネットワークによって処理されるデータは、生細胞画像または非生細胞画像などの細胞画像である。細胞画像は非構造化データの一例である。非構造化データは、事前定義されたデータ・モデルがないか、または、事前定義された方法で編成されていないデータとして理解され得る。非構造化データは、内部構造を有する場合があるが、事前定義されたデータ・モデルまたはスキーマを介して構造化されていない。細胞画像は、生の（未処理の画像）、または正規化、コントラスト強調、輪郭強調、ノイズ除去、色変換、サイズ変更、トリミング、および／または他の既知の画像処理操作などのいくつかの前処理を受けた画像であり得る。
【0019】
本開示では、画像は、ピクセルの２次元配置を含み得る。各ピクセルは、少なくとも１つの値を含み得る。例えば、グレースケール画像のピクセルは、ピクセルの強度を示す１つの値を含み得る。カラー画像のピクセルは、ＲＧＢ色空間などの色空間の座標を示す複数の値、例えば３つの値を含み得る。ピクセルはまた、異なるイメージング・モダリティの組合せ、例えば、位相差イメージングからの強度値、および蛍光イメージングからの１つまたは複数の強度値を含み得る。
【0020】
本開示において、「深層ニューラルネットワーク」という用語は、入力層、出力層、および入力層と出力層との間に提供される複数の隠れ層を有する人工ニューラルネットワークとして理解し得る。ニューラルネットワークの隠れ層は、「中間層」と呼ばれ得る。したがって、隠れ層からの出力は「中間出力」と呼ばれ得る。さらに、隠れ層からの出力は、複数の値を含み得、それらのそれぞれは、隠れ層に含まれるノードに対応し得る。したがって、本明細書で使用される「中間出力値のセット」という用語は、隠れ層のそれぞれのノードから出力される複数の値を含む、隠れ層の出力を示し得る。
【0021】
使用される深層ニューラルネットワークの種類は特に限定されない。いくつかの例では、本開示における「深層ニューラルネットワーク」は、複数の隠れ層を有するフィードフォワードニューラルネットワークであり得る。フィードフォワードニューラルネットワークでは、ノード間の接続は、サイクルを形成しない。フィードフォワード深層ニューラルネットワークの特定の例は、視覚画像の分析に一般的に適用される畳み込みニューラルネットワーク（ＣＮＮ）であり得る。
【0022】
他のいくつかの例では、本開示における「深層ニューラルネットワーク」は、ノード間の接続がシーケンスに沿って有向グラフを形成するリカレントニューラルネットワークであり得る。リカレント深層ニューラルネットワークの特定の例は、シーケンシャルデータを処理できる長・短期記憶（ＬＳＴＭ）であり得る。
【0023】
他の例示的な深層ニューラルネットワークは、トランスフォーマニューラルネットワークである。
【0024】
本開示では、「潜在変数モデル」という用語は、観測可能な変数のセットを潜在変数のセットに関連付けるか、またはマッピングする統計モデルであり得る。本明細書に記載の様々な実施形態および例では、（第１または第２の）「中間出力値のセット」は、潜在変数モデルの観測可能な変数のセットと見なすことができる。さらに、本明細書に記載の様々な実施形態および例では、「射影値のセット」は、潜在変数モデルの潜在変数のセットと見なすことができる。
【0025】
いくつかの例では、上記の態様による方法において、潜在変数モデルは、主成分分析に従って構築または適合され得る。
【0026】
本開示では、ＰＣＡとも呼ばれる「主成分分析」という用語は、直交変換を使用して、相関する可能性のある変数の観測値のセットを、主成分と呼ばれる、線形無相関の変数の値のセットに変換する統計的手順を示すと理解することができる。
【0027】
ＰＣＡの改良型には、スパースＰＣＡ（Ｊｅｎａｔｔｏｎ、Ｒ．、Ｏｂｏｚｉｎｓｋｉ、Ｇ．、およびＢａｃｈ、Ｆ．（２０１０年３月））が含まれるが、これらに限定されない。「Ｓｔｒｕｃｔｕｒｅｄ ｓｐａｒｓｅ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ」人工知能と統計に関する第１３回国際会議の講演論文集（３６６－３７３頁）。ＰＣＡの代替には、ランダムな射影が含まれるが、これらに限定されない（Ｄａｓｇｕｐｔａ、Ｓ。（２０００年６月）。「Ｅｘｐｅｒｉｍｅｎｔｓ ｗｉｔｈ ｒａｎｄｏｍ ｐｒｏｊｅｃｔｉｏｎ」人工知能の不確実性に関する第１６回会議の講演論文集（１４３－１５１頁）。Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ Ｐｕｂｌｉｓｈｅｒｓ Ｉｎｃ．。スパース・ランダム射影（Ａｃｈｌｉｏｐｔａｓ、Ｄ。（２００３年）。「Ｄａｔａｂａｓｅ－ｆｒｉｅｎｄｌｙ ｒａｎｄｏｍ ｐｒｏｊｅｃｔｉｏｎｓ：Ｊｏｈｎｓｏｎ－Ｌｉｎｄｅｎｓｔｒａｕｓｓ ｗｉｔｈ ｂｉｎａｒｙ ｃｏｉｎｓ．」Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｓｙｓｔｅｍ Ｓｃｉｅｎｃｅｓ、６６号（４）６７１－６８７頁。非常にスパースなランダム射影（Ｌｉ、Ｐ．、Ｈａｓｔｉｅ、Ｔ．Ｊ。、およびＣｈｕｒｃｈ、Ｋ．Ｗ。（２００６年８月）。「Ｖｅｒｙ ｓｐａｒｓｅ ｒａｎｄｏｍ ｐｒｏｊｅｃｔｉｏｎｓ．」知識発見とデータマイニングに関する第１２回ＡＣＭＳＩＧＫＤＤ国際会議の講演論文集（２８７－２９６頁）．ＡＣＭ）。そして、自己組織化マップ（Ｋｏｈｏｎｅｎ、Ｔ。（１９９８）。「Ｔｈｅ ｓｅｌｆ－ｏｒｇａｎｉｚｉｎｇ ｍａｐ」。ニューロコンピューティング、２１号（１－３）、１－６頁。
【0028】
他のいくつかの例では、上記の態様による方法では、潜在変数モデルは、オートエンコーダを使用して構築または適合され得る。「オートエンコーダ」は、教師なしの方法で効率的なデータ・コーディングを学習するために使用される一種の人工ニューラルネットワークであり得る。オートエンコーダの１つの形態は、入力層、出力層、およびそれらを接続する１つまたは複数の隠れ層を有し、出力層が入力層と同じ数のノードを有し、独自の入力を再構築する目的を持つ、フィードフォワード、非リカレントニューラルネットワークであり得る。さまざまな種類のオートエンコーダには、変化型オートエンコーダが含まれますが、これらに限定されない（Ｋｉｎｇｍａ、Ｄ．Ｐ。＆Ｗｅｌｌｉｎｇ、Ｍ。（２０１３年）。「Ａｕｔｏ－ｅｎｃｏｄｉｎｇ ｖａｒｉａｔｉｏｎａｌ ｂａｙｅｓ」．ａｒＸｉｖプレプリントａｒＸｉｖ：１３１２．６１１４。および。スパース・オートエンコーダ（Ｍａｋｈｚａｎｉ、Ａ、およびＦｒｅｙ、Ｂ（２０１３年）。Ｋ－ｓｐａｒｓｅ ａｕｔｏｅｎｃｏｄｅｒｓ．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１３１２．５６６３。）
【0029】
潜在変数モデルを使用して、潜在変数モデルまでの新しい細胞画像の距離、言い換えれば、潜在変数近似からの距離を、判断し得る。判断された距離に基づいて、新しい細胞画像が外れ値であるかどうかに関して判断し得る。受信した新しい細胞画像が外れ値であるかどうかに関する判断は、例えば、潜在変数モデルまでの新しい細胞画像の距離が、閾値距離よりも大きいかどうかを判断することを含み得る。新しい細胞画像の計算された距離が閾値距離よりも大きい場合、新しい細胞画像が外れ値であると判断され得る。
【0030】
潜在変数モデルを使用して、トレーニングデータセットの少なくとも一部の各細胞画像から潜在変数モデルまでの距離を計算し、判断された距離に基づいて閾値距離を判断することによって、閾値距離を判断し得る。したがって、上記の態様のいずれかによる方法は、複数の距離に基づいて閾値距離を決定することをさらに含み得、そのそれぞれは、射影値の第１のセットの分布に関して、射影値の第１のセットの異なる１つについて計算される。
【0031】
さらに、上記の態様による方法において、受信された新しい細胞画像が外れ値であるかどうかを判断する前記ステップは、
射影値の第１のセットの分布に関して、射影値の第２のセットの距離を計算することと、
計算された距離が距離の閾値よりも大きい場合、受信した観測値がトレーニングデータセットに関して外れ値であると判断することと、を含み得る。
射影値の第１のセットの分布に関して、射影値の第２のセットの距離を計算することと、
計算された距離が距離の閾値よりも大きい場合、受信した観測値がトレーニングデータセットに関して外れ値であると判断することと、を含み得る。
【0032】
距離の閾値は、距離に基づいて決定することができ、距離のそれぞれは、射影値の第１のセットの分布に関して、射影値の第１のセットの異なる１つについて計算し得る。
【0033】
距離指標は、潜在変数近似（すなわち、射影値の第１のセット）からの距離を定量化するのに適した任意の距離指標であり得る。例えば、距離は、残差平方和（ＲＳＳ）、マハラノビス距離、局所外れ値因子、またはＬＯＦであり得る（例えば、Ｍ．Ｍ．Ｂｒｅｕｎｉｇ、Ｈ．－Ｐ．Ｋｒｉｅｇｅｌ、Ｒ．Ｔ．ＮｇおよびＪ．Ｓａｎｄｅｒの「ＬＯＦ：Ｉｄｅｎｔｉｆｙｉｎｇ Ｄｅｎｓｉｔｙ－ｂａｓｅｄ Ｌｏｃａｌ Ｏｕｔｌｉｅｒｓ」、２０００ＡＣＭ ＳＩＧＭＯＤデータ管理の国際会議の講演論文集、ニューヨーク市、ニューヨーク州、ＵＳＡ、２０００年、第９３～１０４頁）。距離はまた、記述された距離の２つまたは複数を組み合わせることによって形成されるモデル化された埋め込みに対する複合距離指標に基づく複合距離であり得る。
【0034】
決定された距離は、特にマハラノビス距離であり得る。本開示において、「マハラノビス距離」という用語は、点Ｐ（例えば、観測値に対応する）と分布Ｄとの間の距離の既知の尺度を示すと理解され得る。より具体的には、「マハラノビス距離」は、多変量確率分布の原点から、観測値がどの程度の標準偏差で離れているかを測定する。
【0035】
判断された距離は、残差平方和（ＲＳＳ）であり得る。例えば、上記の態様による方法において、受信された新しい細胞画像が外れ値であるかどうかを判断する前記ステップは、
潜在変数モデルおよび射影値の第２のセットを使用して、中間出力値の第２のセットに対応する中間出力値の近似セットを判断することと、
中間出力値の第２のセットと中間出力値の近似セットの二乗近似残差を計算することと、
計算された二乗近似残差が二乗近似残差の閾値よりも大きい場合、受信した新しい細胞画像がトレーニングデータセットに関して外れ値であると判断することと、を含み得る。
潜在変数モデルおよび射影値の第２のセットを使用して、中間出力値の第２のセットに対応する中間出力値の近似セットを判断することと、
中間出力値の第２のセットと中間出力値の近似セットの二乗近似残差を計算することと、
計算された二乗近似残差が二乗近似残差の閾値よりも大きい場合、受信した新しい細胞画像がトレーニングデータセットに関して外れ値であると判断することと、を含み得る。
【0036】
二乗近似残差の閾値は、二乗近似残差に基づいて決定し得、そのそれぞれは、中間出力値の第１のセットの異なる１つ、および中間出力値の第１のセットの前記１つに対応する中間出力値の近似セットについて計算し得る。
【0037】
本開示において、「二乗近似残差」という用語は、残差平方の合計を示すものとして理解され得、ここで、残差は、観測値と潜在変数モデルによって提供される近似値との間の差である。
【0038】
さらに、上記の態様による方法では、中間出力値の第１のセットを取得し、潜在変数モデルを構築するステップは、複数の隠れ層のうちの２つまたは複数に対して実行され得ることであって、
中間出力値の第２のセットを取得し、中間出力値の第２のセットを射影値の第２のセットにマッピングするステップは、複数の隠れ層のうちの前記２つまたは複数に関して実行され得、
受信した新しい細胞画像が外れ値であるかどうかを判断するステップは、潜在変数モデル、および、複数の隠れ層のうちの前記２つまたは複数に関して取得された射影値の第２のセットに基づいて実行し得る。
中間出力値の第２のセットを取得し、中間出力値の第２のセットを射影値の第２のセットにマッピングするステップは、複数の隠れ層のうちの前記２つまたは複数に関して実行され得、
受信した新しい細胞画像が外れ値であるかどうかを判断するステップは、潜在変数モデル、および、複数の隠れ層のうちの前記２つまたは複数に関して取得された射影値の第２のセットに基づいて実行し得る。
【0039】
さらに、上記の態様による方法では、深層ニューラルネットワークの複数の隠れ層のうちの少なくとも１つから出力される中間出力値を取得するステップは、複数の隠れ層の少なくとも１つからの活性化を判断すること、および任意選択で、判断された活性化にグローバルプーリングを適用することを含み得る。活性化は、例えば、活性化ベクタの形態であり得る。
【0040】
与えられた深層ニューラルネットワークのレイヤｉ（ｉ＝１、２、３、．．．）からの特定の細胞画像（観測値）ｘの活性化ベクトルａｉ（または活性化）は、レイヤｉからの中間出力に対応し得、細胞画像が特定のネットワークに入力されたときのレイヤｉそれぞれのノードからの出力に対応する成分を含み得る。深層ニューラルネットワークの様々なレイヤ上の活性化または活性化ベクトルのそれぞれは、入力データ（すなわち、入力細胞画像）の特徴表現を提供し得る。言い換えると、活性化は、深層ニューラルネットワークの様々なレイヤで、入力データの変換された、または前処理された表現を提供し得る。
【0041】
特に、トレーニングデータセットの細胞画像に基づいて、深層ニューラルネットワークの複数の隠れ層のうちの少なくとも１つから出力される第１の中間出力値を取得するステップは、複数の隠れ層のうちの少なくとも１つから前記画像の活性化を判断することと、任意選択で、判断された活性化にグローバルプーリングを適用することを含み得る。同様に、新しい細胞画像に基づいて、深層ニューラルネットワークの複数の隠れ層の少なくとも１つから出力される第２の中間出力値を取得するステップは、複数の隠れ層の少なくとも１つから新しい細胞画像の活性化を判断することと、任意選択で、判断された活性化にグローバルプーリングを適用することを含み得る。グローバルプーリングは、グローバル平均プーリングであり得る。
【0042】
例えば、活性化が特徴マップからのものである場合、グローバルプーリング（例えば、グローバル平均プーリング）が各特徴マップ全体に適用され得る。潜在変数モデルは、その後、（任意選択でプールされた）活性化、つまり（任意選択でプールされた）トレーニングセット活性化、および、深層ニューラルネットワークへの新しい細胞画像入力に対して計算された（任意選択でプールされた）活性化で、構築または適合され得る。
【0043】
グローバル平均プーリング（ＧＡＰ）は、ネットワーク活性化の特徴マップ表現をベクトル表現に変換する手順を指す。（Ｌｉｎ、Ｍｉｎ、Ｑｉａｎｇ Ｃｈｅｎ、ＳｈｕｉｃｈｅｎｇＹａｎなど、「ｅｔｗｏｒｋ ｉｎ ｎｅｔｗｏｒｋ」 ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１３１２．４４００（２０１３年）を参照）。このステップでは、空間情報が破棄され、各要素が特定の特徴マップの平均的な活性化に対応するベクトルをもたらす。畳み込みニューラルネットワークの特定の隠れ層の場合、画像ｘの活性化は、次元ｗ×ｈ×ｃを有し得る特徴マップＡによって記述され、ここで、ｈは特徴マップのピクセル高さ、ｗは特徴マップのピクセル幅、ｃは、現在隠れ層の特徴マップの数である。次に、Ａの特徴マップ
のグローバル平均プーリングは、例えば、
または
よって与えられる。
次に、画像ｘのグローバル平均プール特徴マップＡのベクトルは、次の式で与えられる。
【数1】
【数2】
【0044】
さらに、上記の態様のいずれか１つによる方法は、深層ニューラルネットワークのトレーニング、またはトレーニングデータセットを使用してトレーニングされた深層ニューラルネットワークを微調整することを含み得る。
【0045】
上記の態様による方法が、外れ値と非外れ値をどれだけうまく区別できるかは、例えば、受信者操作特性・曲線下面積（ＲＯＣ－ＡＵＣ）指標を使用して評価することができる。例えば、受信した観測値が外れ値であるかどうかを判断するために、マハラノビス距離および／または二乗近似残差および／または他の距離指標が計算される場合、マハラノビス距離および／または二乗近似残差および／または他の距離指標が、外れ値を非外れ値からどれだけうまく分離するかを比較することにより、ＲＯＣ曲線を計算し得る。本方法の評価に使用できるその他の指標には、（１）適合率、これは、実際には外れ値であるシステムにより外れ値として識別された観測値の一部、（２）再現率、これは、システムによって外れ値として正常に識別されたすべての外れ値の一部、（３）Ｆ１値、これは、適合率と再現率の調和平均、（４）正解率、これは、すべての識別のうち、システムによる正しい識別の一部、が含まれるが、これらに限定されない。
【0046】
さらに別の態様によれば、コンピュータプログラム製品が提供される。コンピュータプログラム製品は、コンピュータにロードされて実行されると、コンピュータに上記の態様のいずれかに従って方法を実行させるコンピュータ可読命令を含む。
【0047】
さらに別の態様によれば、データ分析のためのシステムが提供される。システムは
深層ニューラルネットワークのトレーニングに使用されるトレーニングデータセットを格納する記憶媒体であって、深層ニューラルネットワークは複数の隠れ層を含み、トレーニングデータセットは、深層ニューラルネットワークに入力できる可能性のある細胞画像（すなわち、観測値）を含む記憶媒体と、
上記の態様および例のいずれか１つに従って方法を実行するように構成されたプロセッサとを含む。
深層ニューラルネットワークのトレーニングに使用されるトレーニングデータセットを格納する記憶媒体であって、深層ニューラルネットワークは複数の隠れ層を含み、トレーニングデータセットは、深層ニューラルネットワークに入力できる可能性のある細胞画像（すなわち、観測値）を含む記憶媒体と、
上記の態様および例のいずれか１つに従って方法を実行するように構成されたプロセッサとを含む。
【0048】
例えば、プロセッサは、
トレーニングデータセットを使用してトレーニングされた深層ニューラルネットワークを取得し、
記憶媒体に格納されているトレーニングデータセットの少なくとも一部を取得し、
複数の隠れ層の少なくとも１つから出力される中間出力値の第１のセットを取得し、中間出力値の第１のセットのそれぞれは、トレーニングデータセットの前記少なくとも一部に含まれる可能性のある観測値の異なる１つを入力することによって得られ、
中間出力値の第１のセットを使用して潜在変数モデルを構築／適合し、潜在変数モデルは、中間出力のセットの次元よりも低い次元を持つ部分空間内の射影値の第１のセットへの中間出力値の第１のセットのマッピングを提供し、
深層ニューラルネットワークに入力される新しい細胞画像（つまり、観測値）を受信し、
受信した観測値を深層ニューラルネットワークに入力することにより、複数の隠れ層のうちの前記少なくとも１つから出力される中間出力値の第２のセットを取得し、
潜在変数モデルを使用して、中間出力値の第２のセットを射影値の第２のセットにマップし、
潜在変数モデルおよび射影値の第２のセットに基づいて、受信した観測値がトレーニングデータセットに関して外れ値であるかどうかを判断するように構成され得る。
トレーニングデータセットを使用してトレーニングされた深層ニューラルネットワークを取得し、
記憶媒体に格納されているトレーニングデータセットの少なくとも一部を取得し、
複数の隠れ層の少なくとも１つから出力される中間出力値の第１のセットを取得し、中間出力値の第１のセットのそれぞれは、トレーニングデータセットの前記少なくとも一部に含まれる可能性のある観測値の異なる１つを入力することによって得られ、
中間出力値の第１のセットを使用して潜在変数モデルを構築／適合し、潜在変数モデルは、中間出力のセットの次元よりも低い次元を持つ部分空間内の射影値の第１のセットへの中間出力値の第１のセットのマッピングを提供し、
深層ニューラルネットワークに入力される新しい細胞画像（つまり、観測値）を受信し、
受信した観測値を深層ニューラルネットワークに入力することにより、複数の隠れ層のうちの前記少なくとも１つから出力される中間出力値の第２のセットを取得し、
潜在変数モデルを使用して、中間出力値の第２のセットを射影値の第２のセットにマップし、
潜在変数モデルおよび射影値の第２のセットに基づいて、受信した観測値がトレーニングデータセットに関して外れ値であるかどうかを判断するように構成され得る。
【0049】
上記の態様によるシステムでは、潜在変数モデルは、主成分分析に従って、またはオートエンコーダを使用して、構築され得る。
【0050】
上記の態様によるシステムにおいて、受信された新しい細胞画像が外れ値であるかどうかを判断するために、プロセッサは、
射影値の第１のセットの分布に関して、射影値の第２のセットのマハラノビス距離を計算し、
計算されたマハラノビス距離がマハラノビス距離の閾値よりも大きい場合、受信した新しい細胞画像がトレーニングデータセットに関して外れ値であると判断するように、さらに構成され得る。
射影値の第１のセットの分布に関して、射影値の第２のセットのマハラノビス距離を計算し、
計算されたマハラノビス距離がマハラノビス距離の閾値よりも大きい場合、受信した新しい細胞画像がトレーニングデータセットに関して外れ値であると判断するように、さらに構成され得る。
【0051】
マハラノビス距離の代わりに、またはそれに加えて、他の距離を使用し得る。例えば、距離は、モデル化された埋め込みまでの複合指標距離、残差平方和、局所外れ値因子、またはその他の適切な距離測定であり得る。
【0052】
例えば、上記の態様によるシステムでは、受信された新しい細胞画像が外れ値であるかどうかを判断するために、プロセッサは、
潜在変数モデルおよび射影値の第２のセットを使用して、中間出力値の第２のセットに対応する中間出力値の近似セットを判断し、
中間出力値の第２のセットと中間出力値の近似セットの二乗近似残差を計算し、
計算された二乗近似残差が二乗近似残差の閾値よりも大きい場合、受信した観測値がトレーニングデータセットに関して外れ値であると判断するように、さらに構成され得る。
潜在変数モデルおよび射影値の第２のセットを使用して、中間出力値の第２のセットに対応する中間出力値の近似セットを判断し、
中間出力値の第２のセットと中間出力値の近似セットの二乗近似残差を計算し、
計算された二乗近似残差が二乗近似残差の閾値よりも大きい場合、受信した観測値がトレーニングデータセットに関して外れ値であると判断するように、さらに構成され得る。
【0053】
上記の態様によるシステムでは、プロセッサは、
中間出力値の第１のセットを取得し、複数の隠れ層のうちの２つまたは複数の潜在変数モデルを構築するステップを実行し、
中間出力値の第２のセットを取得し、中間出力値の第２のセットを、複数の隠れ層のうちの前記２つまた複数に関する射影値の第２のセットにマッピングするステップを実行し、
潜在変数モデル、および複数の隠れ層のうちの前記２つまた複数に関して取得された射影値の第２のセットに基づいて、受信した観測値が外れ値であるかどうかを判断するステップを実行するように、さらに構成され得る。
中間出力値の第１のセットを取得し、複数の隠れ層のうちの２つまたは複数の潜在変数モデルを構築するステップを実行し、
中間出力値の第２のセットを取得し、中間出力値の第２のセットを、複数の隠れ層のうちの前記２つまた複数に関する射影値の第２のセットにマッピングするステップを実行し、
潜在変数モデル、および複数の隠れ層のうちの前記２つまた複数に関して取得された射影値の第２のセットに基づいて、受信した観測値が外れ値であるかどうかを判断するステップを実行するように、さらに構成され得る。
【0054】
さらに、上記の態様によるシステムでは、プロセッサは、複数の隠れ層のうちの少なくとも１つからの活性化を判断し、任意選択で、判断された活性化にグローバルプーリングを適用するように、さらに構成され得る。したがって、（任意選択でプールされた）活性化は、第１／第２の中間出力値を構成し得る。
【0055】
上記の態様によるシステムは、深層ニューラルネットワークのパラメータ（例えば、重み、ノード接続、フィルタなど）を格納するための記憶媒体をさらに含み得る。格納される特定のパラメータは、通常、使用する深層ニューラルネットワークの種類によって異なる。さらに、システムは、潜在変数モデル、距離、閾値距離などの潜在変数モデルを使用して得られたデータ、および／または他のデータを格納するための記憶媒体を備え得る。
【0056】
上記の様々な様態および例によれば、深層ニューラルネットワークへのモデルトレーニング後に外れ値を検出することが可能である。深層ニューラルネットワークがどのように構築されているかについての仮定が少なくて済み、サンプリングが不要な場合があるため、トレーニングデータセットに関する入力画像の外れ値を、効率的に検出できる。さらに、上記の様々な態様および例によれば、すでに学習されたデータ表現を外れ値検出に使用することができる。個別の外れ値検出モデルとは対照的に、予測に使用されるのと同じ表現を外れ値の検出に使用できる。
【0057】
上記の様々な態様および例による方法およびシステムのさらなる利点には、以下が含まれ得る。
－アーキテクチャに依存しない。つまり、あらゆる種類のニューラルネットワークモデルで使用できる。
－トレーニングに依存しない。計算には、ニューラルネットワークがトレーニングされた後のトレーニングデータのシングル・パスが含まれる。つまり、通常のトレーニング手順への干渉は最小限に抑えられる。
－タスクに依存しない。つまり、目前のタスクについて想定する必要がない。提案されたアプローチは、分類、セグメンテーション、回帰、強化学習などの様々なタスクに適用できる。
－アーキテクチャに依存しない。つまり、あらゆる種類のニューラルネットワークモデルで使用できる。
－トレーニングに依存しない。計算には、ニューラルネットワークがトレーニングされた後のトレーニングデータのシングル・パスが含まれる。つまり、通常のトレーニング手順への干渉は最小限に抑えられる。
－タスクに依存しない。つまり、目前のタスクについて想定する必要がない。提案されたアプローチは、分類、セグメンテーション、回帰、強化学習などの様々なタスクに適用できる。
【0058】
－外れ値の検出において、最先端の方法よりも優れている。
【0059】
上記の様々な態様および例による方法およびシステムの適用分野には、任意の適切な種類の生物学的イメージングだけでなく任意の種類のモデリングを含む、生細胞イメージングおよび非生細胞イメージングが含まれるが、これらに限定されない。したがって、提案された技術は、あらゆる種類の入力に適用できるという意味で、「汎用」技術である。例えば、提示された技術は、以下の細胞イメージング技術によって得られた細胞画像を処理するために使用され得る。
・細胞イメージング、特に生細胞イメージング。次のような多くの異なる細胞イメージング技術がある。
ｏ明視野顕微鏡法。標本は白色光を使用して下から照らされる。
ｏ位相差顕微鏡イメージング。これは、明視野顕微鏡では捉えにくい透明な標本を詳細に観察できる光学顕微鏡技術である。これは、光の位相シフトを明るさの変化に変換することに基づいている。
ｏ蛍光イメージング。この技術は、細胞の目的部分に結合する蛍光色素で細胞を染色することを含む。例としては、ＤＮＡがあり、蛍光は核の検出に役立つ。染色は、細胞内の目的のタンパク質が局在する場所を局在化するためによく使用される。蛍光とは、特定の波長の光を照射すると、染料が特定の波長の光を発することを意味する。
ｏ共焦点イメージング。これは、焦点深度を非常に制限して光学分解能を高めることができる、集束レーザ・ビームを使用したイメージング技術である。
・細胞イメージング、特に生細胞イメージング。次のような多くの異なる細胞イメージング技術がある。
ｏ明視野顕微鏡法。標本は白色光を使用して下から照らされる。
ｏ位相差顕微鏡イメージング。これは、明視野顕微鏡では捉えにくい透明な標本を詳細に観察できる光学顕微鏡技術である。これは、光の位相シフトを明るさの変化に変換することに基づいている。
ｏ蛍光イメージング。この技術は、細胞の目的部分に結合する蛍光色素で細胞を染色することを含む。例としては、ＤＮＡがあり、蛍光は核の検出に役立つ。染色は、細胞内の目的のタンパク質が局在する場所を局在化するためによく使用される。蛍光とは、特定の波長の光を照射すると、染料が特定の波長の光を発することを意味する。
ｏ共焦点イメージング。これは、焦点深度を非常に制限して光学分解能を高めることができる、集束レーザ・ビームを使用したイメージング技術である。
【0060】
・電子顕微鏡イメージング。細胞内構造が非常に小さいため、光の波長が回折によるイメージングの制限要因になり得る。光イメージングは、約２００ｎｍの解像度に制限される。電子は可視光よりも最大１０万倍短い波長を持つことができるため、より小さな構造をキャプチャするために、電子ビームを照明源として使用できる。細胞イメージングの場合、細胞は固定化され得る（例えば、殺されて固定される）。次のような様々な電子顕微鏡イメージング技術がある。
ｏ透過型電子顕微鏡。この技術では、標本を通過する高電圧電子ビームで標本を照射することにより、標本の画像をキャプチャする。これにより、非常に高解像度（５０ｐｍ未満）の画像が可能になるが、非常に薄いサンプルのスライス（約１００ｎｍ）が必要である。
ｏ走査型電子顕微鏡。この技術では、標本は電子ビームで探査される。標本の３Ｄ形状を正確にキャプチャできるが、透過型電子顕微鏡ほど高解像度ではない。
ｏ透過型電子顕微鏡。この技術では、標本を通過する高電圧電子ビームで標本を照射することにより、標本の画像をキャプチャする。これにより、非常に高解像度（５０ｐｍ未満）の画像が可能になるが、非常に薄いサンプルのスライス（約１００ｎｍ）が必要である。
ｏ走査型電子顕微鏡。この技術では、標本は電子ビームで探査される。標本の３Ｄ形状を正確にキャプチャできるが、透過型電子顕微鏡ほど高解像度ではない。
【0061】
上記は、可能性のある細胞イメージング技術の非限定的なリストである。他の適切な細胞イメージング技術も使用することができる。
【0062】
上記の様々な様態および例による技術は、例えば、破損したまたはぼやけた画像を処理するために使用できる。破損した画像は、画像の書き込み中の書き込みプロセスの中断または機器の誤動作により、その一部が破損した画像であり得る。ぼやけた画像は、例えば、画像キャプチャ中に画像キャプチャデバイスおよび／または画像化されたオブジェクトの物理的シフトにより動きのぼやけが導入された画像、または、画像化されるオブジェクトの光学的な焦点があっていないため、焦点がずれて不鮮明になった画像、であり得る。
【0063】
本出願に記載されている主題は、方法として、またはシステムとして、おそらく１つまたは複数のコンピュータプログラム製品の形で実装することができる。本出願に記載されている主題は、データ信号または機械可読媒体に実装することができ、媒体は、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ、ハードディスクなどの、１つまたは複数の情報キャリアに組み込まれている。そのようなコンピュータプログラム製品は、データ処理装置に、本出願に記載されている１つまたは複数の操作を実行させることができる。
【0064】
さらに、本出願に記載されている主題は、プロセッサ、およびプロセッサに結合されたメモリを含むシステムとして実装することもできる。メモリは、１つまたは複数のプログラムをエンコードして、プロセッサに、本出願で説明されている１つまたは複数の方法を実行させることができる。いくつかの例では、システムは、汎用コンピュータシステムであり得る。他の例では、システムは、組み込みシステムを含む専用コンピュータシステムであり得る。
【図面の簡単な説明】
【0065】
１つまたは複数の実装の詳細は、以下の例示的な図面および説明に示されている。その他の特徴は、説明、図面、および特許請求の範囲から明らかになるであろう。しかしながら、実施形態が別々に説明されているとしても、異なる実施形態の単一の特徴を組み合わせてさらなる実施形態にすることができることを理解されたい。
【0066】
【図1】本開示によるシステムを含むシステムの一例を示す。
【図2】画像を処理するための畳み込みニューラルネットワーク（ＣＮＮ）の構成例を示す。
【図3】本開示によるシステムによって実行される例示的なプロセスのフローチャートを示す。
【図4A】蛍光共焦点細胞画像におけるタンパク質の局在化のための畳み込みニューラルネットワーク（ＣＮＮ）の例示的な構成を示す。
【図7】位相差画像セグメンテーションのための「Ｕ－Ｎｅｔ」種類の深層ニューラルネットワークの例示的な構成を示す。
【図8A】図４Ａに記載されたタンパク質局在化ネットワークおよび図７に示された「Ｕ－Ｎｅｔ」種類のニューラルネットワークによって実行され得る操作の例示的なサブブロック（畳み込みダウンサンプリング）を示す。
【図9】様々な距離指標を使用した外れ値検出性能のＲＯＣ－ＡＵＣ評価を示す。
【図10】本明細書で説明されるシステムの少なくとも一部を実装するために使用され得るコンピュータの例示的なハードウェア構成を示す。
【発明を実施するための形態】
【0067】
以下の文章では、図面を参照して例の詳細な説明を行う。例には、様々な変更を加えることができることを理解されたい。特に、１つの例の１つまたは複数の要素を、組み合わせ、他の例で使用し、新しい例を形成することができる。
【0068】
システム構成
図１は、本開示によるシステムを含むシステムの一例を示す。
図１は、本開示によるシステムを含むシステムの一例を示す。
【0069】
図１に示されるシステムは、コンピューティングシステム１、ユーザクライアント２０、制御システム３０、およびサードパーティシステム４０を含み得る。
【0070】
コンピューティングシステム１は、本開示によると、データ分析のためのシステムを提供し得る。コンピューティングシステム１は、例えば、１つまたは複数の汎用コンピュータを使用して実装し得る。図１に示されるように、コンピューティングシステム１は、アプリケーション１０およびデータ記憶装置１２を備え得る。
【0071】
アプリケーション１０は、後でより詳細に説明するように、コンピューティングシステムの例示的なプロセスをコンピュータに実行させる命令を含む、ソフトウェアアプリケーションによって実装し得る。図１に示されるように、アプリケーション１０は、深層ニューラルネットワーク１００、予測１１０、外れ値指標１１２、およびインターフェース１１４を含み得る。
【0072】
深層ニューラルネットワーク（以下、「ＤＮＮ」とも呼ばれる）１００は、入力層、出力層、および入力層と出力層との間に複数の隠れ層を有する人工ニューラルネットワークであり得る。深層ニューラルネットワーク１００は、深層ニューラルネットワーク１００への可能性のある入力細胞画像を含むトレーニングデータセットを使用して、画像を処理するためにトレーニングされ得る。トレーニングデータセットは、アプリケーション１０によってアクセス可能なデータ記憶装置１２に格納され得る。図１の例では、深層ニューラルネットワーク１００は、レイヤ１０２および外れ値検出モジュール１０４を含み得る。
【0073】
レイヤ１０２は、入力層（図示せず）、出力層（図示せず）、および入力層と出力層との間に提供される複数の隠れ層（図示せず）を含み得る。
【0074】
外れ値検出モジュール１０４は、深層ニューラルネットワーク１００の複数の隠れ層のうちの少なくとも１つに接続され得、観測値（すなわち、細胞画像）が、深層ニューラルネットワーク１００のトレーニングに使用されるトレーニングデータセットに関して外れ値であるかどうかを判断するように構成され得る。外れ値検出モジュール１０４によって実行されるプロセスの詳細は、後で説明される。
【0075】
図２は、深層ニューラルネットワーク１００の特定の例を示す。図２に示す例示的な深層ニューラルネットワークは、画像を分類するための畳み込みニューラルネットワーク（ＣＮＮ）である。例えば、図２に示される例示的なＣＮＮは、細胞画像などの入力画像を、いくつかの異なるカテゴリに分類し得る。別の例では、図２に示される例示的なＣＮＮは、入力画像が特定のカテゴリに属するかどうかを判断し得る。いずれの場合も、図２に示される例示的なＣＮＮは、入力画像として２８×２８ピクセルのグレースケール画像を受信するように構成され得る。入力画像の各ピクセルは、ピクセルの強度を示す値を含み得る。入力画像の各ピクセルの強度値は、例示的なＣＮＮの入力層の入力ノードへの入力値と見なし得る。図２に示される例示的なＣＮＮは、４つの畳み込み層Ｃ１、Ｃ２、Ｃ３、Ｃ４、２つの最大プール層ＭＰ１、ＭＰ２、および出力層に含まれるノードの活性化関数としてのソフトマックス関数を備えた出力層を含む。
【0076】
上記の例では２８ｘ２８ピクセルの画像を使用しているが、理論的な観点からは、画像サイズに上限はない。ただし、画像サイズを大きくすると、計算量も増え得る。一般に、対象のアプリケーション用に選択された画像サイズは、必要な詳細レベルと計算要求との間のトレードオフを反映し得る。一般的な分類アプリケーションでは、画像の範囲は２００ｘ２００ピクセルから３００ｘ３００ピクセルであり得る。ただし、アプリケーションはこの範囲に限定されず、２００ｘ２００ピクセルより小さい、または３００ｘ３００ピクセルより大きい、場合がある。
【0077】
例示的なＣＮＮの畳み込み層Ｃ１に含まれる各ノードは、入力画像の特定の部分に適用されるサイズ３×３（ピクセル）のフィルタに対応し得、フィルタを入力画像の特定の部分に適用することから生じる値を出力し得る。図２の例では、畳み込み層Ｃ１の入力画像に３２個のフィルタが適用されている。３２個のフィルタのそれぞれは、入力画像の幅方向と高さ方向の両方に、Ｓピクセルのストライドでフィルタをスライドさせることにより、入力画像の全領域に適用し得る。入力画像上の３２個のフィルタの位置ごとに、３２個のフィルタに対応する３２個のノードが畳み込み層Ｃ１に存在し得る。図２の例では、ストライドＳは１ピクセルに設定し得る。したがって、畳み込み層Ｃ１の出力は、２８×２８×３２の値を含むことができ、これは、２８×２８ピクセルの３２個の画像と見なし得る。畳み込み層Ｃ１の出力は、畳み込み層Ｃ２に入力され得る。畳み込み層Ｃ２は、サイズ３×３の３２個のフィルタを備えた畳み込み層Ｃ１に類似した構成を持ち得る。したがって、畳み込み層Ｃ２の出力はまた、２８×２８×３２の値を含むことができ、これは、２８×２８ピクセルの３２個の画像と見なし得る。
【0078】
畳み込み層Ｃ２の出力は、２０％のドロップアウトの影響を受け得る（図２のＤ１を参照）。言い換えると、畳み込み層Ｃ２の出力の値（ノードに対応）の２０％が、ランダムに選択され無視され得る。
【0079】
ドロップアウト操作Ｄ１の後、畳み込み層Ｃ２の出力は、第１の最大プール層ＭＰ１での最大プーリング操作によるダウンサンプリングの対象となり得る。最大プーリング操作は、複数の入力値の中から最大値を選択し得る。図２の例では、最大プール層ＭＰ１は、畳み込み層Ｃ２から出力された２８×２８ピクセルの３２個の画像のそれぞれに、２×２のサイズのフィルタを適用し、２ピクセルのストライドで適用され得る。これにより、対応するフィルタ内の対応する画像（畳み込み層Ｃ２からの出力）のピクセルの中で最大強度値をそれぞれが有する、１４×１４ピクセルを含む３２個の出力画像を生成し得る。最大プーリング操作で使用される各フィルタは、最大プール層ＭＰ１のノードと見なし得る。
【0080】
最大プール層ＭＰ１からの出力は、畳み込み層Ｃ１、Ｃ２の構成に類似した構成を有するが６４個のフィルタを適用する、畳み込み層Ｃ３に提供され得る。畳み込み層Ｃ３の出力は、サイズ３×３の６４個のフィルタを備えた畳み込み層Ｃ３と同様の構成を有する畳み込み層Ｃ４に提供され得る。さらに、畳み込み層Ｃ４の出力は、２０％のドロップアウトの影響を受け（図２のＤ２を参照）、上述のように、最大プール層ＭＰ１での最大プール操作に類似した方法で、最大プール層ＭＰ２で最大プーリング操作の対象になり得る。最大プール層ＭＰ２の出力には、７×７×６４の値が含まれ得る。
【0081】
最後に、最大プール層ＭＰ２の出力は、ｓｏｆｔｍａｘ関数を使用して出力層に提供され得る。出力層は、入力画像が分類され得る１つまたは複数のグループ（またはカテゴリ）に対応する１つまたは複数の出力ノードを含み得る。この例は特定のパラメータ（例えば、フィルタの数、ドロップアウト率、畳み込み層の数、ストライドなど）に言及しているが、各パラメータの値の範囲は、本明細書で意図され、方法およびシステムはこれらの実施形態に限定されない。
【0082】
いくつかの例において、図２に示される例示的なＣＮＮに関して、最大プール層ＭＰ１およびＭＰ２からの出力は、図２に示す例示的なＣＮＮのトレーニングに使用されるトレーニングデータセットに関して、入力画像が外れ値であるかどうかを検出するために、外れ値検出モジュール１０４（図１）に提供され得る。例えば、外れ値検出モジュール１０４は、最大プール層ＭＰ１およびＭＰ２のそれぞれについて、トレーニングデータセット内の可能な入力画像のために、それぞれの最大プール層ＭＰ１およびＭＰ２からの出力を使用する潜在変数モデルを、構築または適合し得る。潜在変数モデルは、最大プール層ＭＰ１またはＭＰ２の出力を、最大プール層ＭＰ１またはＭＰ２の出力の次元よりも低い次元を持つ部分空間（潜在変数モデルの部分空間）の射影値のセットにマッピングし得る。構築または適合された潜在変数モデルは、入力画像（例えば、トレーニングデータセットに含まれていない新しく取得された入力細胞画像）がトレーニングデータセットに関して外れ値であるかどうかを判断するために使用し得る。より一般的には、外れ値検出モジュール１０４は、深層ニューラルネットワーク１００の１つ（または複数）の隠れ層から出力を取得し、取得された出力を使用して潜在変数モデルを構築または適合させるように構成され得る。潜在変数モデルの構築または適合の詳細については、以下で説明する。
【0083】
再び図１を参照すると、予測１１０は、深層ニューラルネットワーク１００からの出力であり得る。いくつかの例では、予測１１０は、入力画像が深層ニューラルネットワーク１００によってどのカテゴリに分類されるかを示し得る。
【0084】
外れ値指標１１２は、入力画像が深層ニューラルネットワーク１００をトレーニングするために使用されるトレーニングデータセットに関して、外れ値であるかどうかを決定するための指標を含み得る。外れ値指標１１２の詳細は、以下で説明する。
【0085】
インターフェース１１４は、アプリケーション１０がコンピューティングシステム１の外部に提供され得る様々なデバイスと通信するためのインターフェースであり得る。例えば、インターフェース１１４は、アプリケーション１０によって生成された情報をそれらのデバイスに通信するように構成され得る。さらに、例えば、インターフェース１１４は、それらのデバイスからアプリケーション１０に向けられた情報を受信するように構成され得る。
【0086】
データ記憶装置１２は、アプリケーション１００によって使用されるデータを格納するように構成され得る。図１は、データ記憶装置１２がコンピューティングシステム１の一部であることを示しているが、いくつかの例では、データ記憶装置１２に記憶されたデータがアプリケーション１０によりアクセス可能である限り、データ記憶装置１２は、コンピューティングシステムの外部で提供されてもよい。
【0087】
ユーザクライアント２０は、コンピューティングシステム１に接続されたクライアントデバイスであり得る。ユーザクライアント２０は、コンピューティングシステム１で実行される外れ値検出の予測および結果を使用することができるユーザアプリケーション２２を含み得る。ユーザクライアント２０の特定の例は、例えば、ＳＳＨ（セキュア／シェル）またはＨＴＴＰ（ハイパ／テキスト転送プロトコル）要求を使用して、計算サーバにリモート接続されたワークステーションであり得る。次に、ＤＮＮ（深層ニューラルネットワーク）を、計算サーバ上のユーザが提供する入力に適用することができ、結果として得られる予測および外れ値指標を、ユーザクライアント２０に返すことができる。ユーザクライアント２０は、例えば、ＤＮＮ予測を実行するように構成されたワークステーション上で、アプリケーション１０を実行するコンピューティングシステム１と同じ物理デバイスの一部であり得る。
【0088】
制御および／または分析システム３０は、デバイスを制御し、および／またはコンピューティングシステム１で実行される外れ値検出の予測および結果を使用して、さらなるデータ分析を実行し得る。制御および／または分析システム３０の例は、バイオ医薬品製造プロセス（例えば、モノクローナル抗体の産生の第１段階における単クローン性の保証）のための制御および／または分析システムであり得る。別の例は、診断目的のための制御および／または分析システムであり得る。制御および／または分析システム３０は、入力を受信し、処理デバイスを制御する方法および／またはデータ分析を実行する方法を判断する、制御および／または分析システム３０で実行されるプログラムクライアント３２を含み得る。本技術の特定の例は、バイオ医薬品製造プロセスの制御システムへの入力材料の特徴付けに関する。そのような製造プロセスの所望の出力品質を確保するために、プロセスの制御パラメータは、入力材料の特性に従って調整され得る。データソースの異種の組合せを使用して、細胞画像などの構造化データと非構造化データの両方を含む入力材料を特徴付け得る。データソースの例は、イベントレポート、画像、クロマトグラム、分光データ、化学分析などのテキストを含み得る。深層学習は、構造化データと非構造化データの両方から特定の出力への有用なマッピングを見つけることができるため、このような異種のデータの組合せを分析するのに適している。入力データが深層学習モデルのトレーニングに使用されたデータと一致しない場合の出力品質の低下や致命的な障害を回避するには、モデルのトレーニング後に外れ値を検出することが重要になり得る。入力データが外れ値として識別された場合、出力品質が保証されないため、入力データを製造プロセスへの入力として使用できない場合がある。
【0089】
本技術の別の特定の例は、人間の管理者によってプログラムされるのではなく、深層強化学習を使用してデータから学習された制御システムである。バイオ医薬品の製造プロセスでは、可能な制御パラメータが多数存在する可能性があり、高度に複雑なため、システムに存在するすべての相互作用とフィードバックループを見つけるのが難しい場合がある。代わりに、深層強化学習を使用して、データとシミュレーションから制御ポリシを学習できる。プロセスがモデルトレーニング中に遭遇した状態とは異なる状態に入るタイミングを検出するには、外れ値の検出が重要になり得る。そのような状態が外れ値として識別された場合、深層学習に基づく制御システムは、ユーザに警告し（たとえば、ユーザに通知を送信することによって）、および／または出力品質の低下や致命的な障害を回避するために安全ルーチンを実行する。深層強化学習の使用例は、当技術分野に見出すことができる（例えば、Ｌｉ、Ｙ．、Ｗｅｎ、Ｙ．、Ｇｕａｎ、Ｋ．、およびＴａｏ、Ｄによる、２０１７年 「Ｔｒａｎｓｆｏｒｍｉｎｇ Ｃｏｏｌｉｎｇ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ Ｇｒｅｅｎ Ｄａｔａ Ｃｅｎｔｅｒ ｖｉａ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ」 ａｒＸｉｖ ｐｒｅｐｒｉｎｔａｒＸｉｖ：１７０９．０５０７７。Ｎｇｕｙｅｎ、Ｐ。＆Ｔａｋａｓｈｉ、Ｅによる ２０１８年、「Ａｕｔｏｍａｔｉｎｇ Ｗａｔｅｒ Ｐｕｒｉｆｉｃａｔｉｏｎ Ｐｌａｎｔ Ｏｐｅｒａｔｉｏｎｓ Ｕｓｉｎｇ Ｄｅｅｐ Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ」ワークショップの講演論文集（エンジニアリングシステムにおける安全上重要な深層学習のためのＩＣＭＬワークショップで公開）
【0090】
深層学習モデルにおける外れ値検出のための従来技術の方法とは異なり、本方法は、モデルがどのように設計および／またはトレーニングされるかを制約せず、これらの方法を稼働中のモデルに追加することを可能にする。さらに、本技術はモデルトレーニングの後に使用されるので、本技術は、ライブアプリケーションに実装された、リアルタイムアプリケーションおよび／またはモデルで、使用できる。対照的に、予測ごとに複数のフォワードパス／推論を使用する従来方法（例えば、予測が平均として使用され、標準偏差またはエントロピーが不確実性の尺度として使用される場合）は、待ち時間の増加につながる可能性があり、リアルタイムアプリケーションにとっては、問題となる。さらに、提案された技術は、アーキテクチャに依存せず、トレーニングに依存せず、タスクにも依存しない。
【0091】
サードパーティシステム４０は、コンピュータによって実装され得、サードパーティアプリケーション４２を含み得る。サードパーティシステム４０は、コンピューティングシステム１が属するエンティティとは異なるエンティティに属し得る。サードパーティアプリケーション４２は、コンピューティングシステム１で実行された外れ値検出の予測および結果を使用し得る。サードパーティアプリケーション４２の特定の例は、ＤＮＮ予測およびＤＮＮ予測プロバイダから購入した外れ値検出の結果に依存するソフトウェアであり得る。
【0092】
コンピューティングシステム１は、インターネットなどのネットワークを介して、ユーザクライアント２０、制御システム３０、およびサードパーティシステム４０に接続され得る。いくつかの例では、ユーザクライアント２０、制御システム３０、およびサードパーティシステム４０のうちの１つまたは複数は、イントラネットを介してコンピューティングシステム１に接続され得る。
【0093】
部分最小二乗回帰を使用した予測－時間外れ値の検出
上記のように、図１に示されるコンピューティングシステム１の外れ値検出モジュール１０４は、入力画像が深層ニューラルネットワーク１００をトレーニングするために使用されるトレーニングデータセットに関して外れ値であるかどうかを判断するため、深層ニューラルネットワーク１００（例えば、図２の最大プール層ＭＰ１またはＭＰ２）の複数の隠れ層の少なくとも１つから出力される中間出力値を使用して、潜在変数モデルを構築または適合させるように構成され得る。中間出力値は、例えば、深層ニューラルネットワーク１００の複数の隠れ層のうちの少なくとも１つからのそれぞれの入力画像の活性化であり得る。任意選択で、活性化が特徴マップからのものである場合、グローバルプーリング（例えば、グローバル平均プーリング）を各特徴マップ全体に適用し得る。
上記のように、図１に示されるコンピューティングシステム１の外れ値検出モジュール１０４は、入力画像が深層ニューラルネットワーク１００をトレーニングするために使用されるトレーニングデータセットに関して外れ値であるかどうかを判断するため、深層ニューラルネットワーク１００（例えば、図２の最大プール層ＭＰ１またはＭＰ２）の複数の隠れ層の少なくとも１つから出力される中間出力値を使用して、潜在変数モデルを構築または適合させるように構成され得る。中間出力値は、例えば、深層ニューラルネットワーク１００の複数の隠れ層のうちの少なくとも１つからのそれぞれの入力画像の活性化であり得る。任意選択で、活性化が特徴マップからのものである場合、グローバルプーリング（例えば、グローバル平均プーリング）を各特徴マップ全体に適用し得る。
【0094】
以下は、部分最小二乗回帰を使用する外れ値検出のための例示的な技術を提供し、これは、外れ値検出モジュール１０４がどのように外れ値を検出できるかについての理解を容易にし得る。
【0095】
モデルの不確実性の概念は、予測時間の外れ値の検出の概念に関する。どちらの場合も、主な目的は、モデルがトレーニングされた観測値（例えば、トレーニングデータセットに含まれる細胞画像）に対応しない観測値（例えば、細胞画像）を見つけることであり得る。予測モデルは、製造プロセス監視における予測中に、分布外の観測値を検出するために長い間使用されてきた。この分野では、部分最小二乗（ＰＬＳ）回帰などの線形潜在変数モデルが広く使用されている（例えば、Ｐ．ＧｅｌａｄｉおよびＢ．Ｒ．Ｋｏｗａｌｓｋｉによる「Ｐａｒｔｉａｌ ｌｅａｓｔ－ｓｑｕａｒｅｓ ｒｅｇｒｅｓｓｉｏｎ：ａ ｔｕｔｏｒｉａｌ」、アナリティカ・ケミカ・アクタ、第１８５号、補足Ｃ、第１～１７頁、１９８６年１月）。ＰＬＳモデルは、主成分分析（ＰＣＡ）に類似するトレーニングデータの部分空間近似で見つけることができ（Ｓ．Ｗｏｌｄ、Ｋ．Ｅｓｂｅｎｓｅｎ、およびＰ．Ｇｅｌａｄｉによる、「Ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ」、ケモメトリクスと知的実験システム、第２巻、第１号、第３７～５２頁、１９８７年８月）、これは予測に使用される。次に、ＰＬＳモデルにより見つけられた部分空間に、新しい観測値を射影できる。したがって、部分空間内の距離と部分空間からの距離の両方を使用して、予測時間中に外れ値を見つけることができる。
【0096】
予測時間とは、モデルが適合され、モデルがアプリケーションでの予測に使用された後の時間を指す（モデルが生成されるときのモデルの適合／トレーニングの時間は含まれない）。
【0097】
単純で効果的ではあるが、上記のＰＬＳモデルの原則を、深層学習システムに直接適用できない場合があることに注意すべきである。具体的には、ＰＬＳの予測の基礎は入力データ空間の部分空間であるため、新しい観測値の部分空間近似をトレーニングに使用されたものと簡単に比較できる。一方、深層学習モデルは通常、非線形変換の複数のレイヤに依存し、各変換が最終出力に寄与する。これは、表面上は異なる観測値が、空間のシーケンスを介して変換され、出力にマップされることを意味することがある。入力から出力への有用な変換を見つけるこの機能は、深層学習モデルが非構造化データに対して、うまく機能する理由であり得る。ただし、これらの変換の結果、この変換が、新しい観測値のモデルがトレーニングされたのと同じデータ分布に属しているかどうかを判断することを困難にする場合がある。深層学習モデルの知識の限界を判断するための明確な比較ポイントがない場合や、新しい観測値がそれらの限界内にあるかどうかを判断するための明確な方法がない場合がある。
【0098】
ＰＬＳ回帰は、製造プロセスの監視などで広く使用されている回帰モデルである。観測値のｎ行と特徴のｐ列を含むトレーニングデータ行列（Ｘ＝［ｘ１...ｘｎ］Ｔで表記される）、応答のｑ列を含む対応するターゲット行列（Ｙで表記される）が与えられると、ＰＬＳモデルは両方のデータ行列を要約し得る。ＰＣＡと同様に、ＰＬＳは、ＸおよびＹを近似する「潜在変数空間」と呼ばれる、等しい次元ｋのフルランクの部分空間を見つけ得る。ＰＣＡとは対照的に、ＰＬＳは、単一の部分空間の分散を最大化する代わりに、検出された部分空間間の共分散を最大化し得る。つまり、ＰＬＳは入力データを次のように近似し得る。
Ｘ＝ＴＰＴ＋Ｅ （１）
Ｘ＝ＴＰＴ＋Ｅ （１）
【0099】
ここで、Ｔ＝［ｔ１，... ，ｔｋ］は、Ｘの列・空間のフルランク部分空間にまたがりＹとの共分散を最大化するｎ×ｋの潜在変数行列であり、Ｐは、ＰＬＳ負荷のｐ×ｋ行列であり、Ｅは、近似残差のｎ×ｐ行列であり得る。負荷には、ＴからＸを近似するために使用される線形結合の重みで含み得る。Ｙの応答行列は、同様の方法で近似し得る。ＰＬＳモデルを計算して回帰に使用する方法の詳細については、以下で見つけられる。Ｓ．Ｗｏｌｄ、Ｍ．ＳｊｏｓｔｒｏｍおよびＬ．Ｅｒｉｋｓｓｏｎらによる「ＰＬＳ－ｒｅｇｒｅｓｓｉｏｎ：ａ ｂａｓｉｃ ｔｏｏｌ ｏｆ ｃｈｅｍｏｍｅｔｒｉｃｓ」、Ｃｈｅｍｏｍ．Ｉｎｔｅｌｌ．Ｌａｂ．Ｓｙｓｔ．、第５８巻、第２号、第１０９～１３０頁、２００１年１０月。
【0100】
ＰＬＳによって提供される入力データの近似値を使用して、予測中に遭遇した外れ値を検出できる。モデルの適合後に、次の方法でＰＬＳを使用して検出された部分空間に新しい観測値を射影し得る。
Ｔｎｅｗ＝ＸｎｅｗＰ （２）
これにより、新しい観測値を次のように近似できる場合がある。
Ｔｎｅｗ＝ＸｎｅｗＰ （２）
これにより、新しい観測値を次のように近似できる場合がある。
【数3】
【0101】
部分空間射影Ｔｎｅｗおよび近似の両方を使用して、適切な距離指標に基づいて、外れ値を検出し得る。予測時間中に外れ値を検出するために使用される２つの例示的な尺度は、潜在変数空間のマハラノビス距離と入力列空間の近似残差である。他の尺度は、複合距離、局所アウトライン因子（ＬＯＦ）などである。
【0102】
ＰＬＳを使用する場合、予測時間中に外れ値を検出する１つの方法は、マハラノビス距離を使用することである。マハラノビス距離は、多変量確率分布の原点から観測値までの標準偏差が、どの程度離れているかを測定する既知の統計距離である。直感的には、マハラノビス距離が大きい観測値は、与えられた確率分布の下では、可能性が低いということであり得る。潜在変数の確率分布は、潜在変数の平均がゼロであると仮定して、Ｔにおける潜在変数の共分散行列ＣＴを使用して、パラメータ化し得る。次に、潜在変数空間の射影値ｔｉを備える観測値ｘｉのマハラノビス距離ｄｉは、次のように計算し得る。
【数4】
【0103】
マハラノビス距離は、観測値が特定の分布の下にある可能性がどれほど低いかを測定できるが、マハラノビス距離は、観測値がその分布に属しているかどうかについての情報を提供しない場合がある。対照的に、近似残差は、新しい観測値が分布からどれだけ離れているかを簡単に測定できる。適合されたＰＬＳモデルが与えられると、観測値ｘｉは、
として近似し得る。二乗近似残差は、次の式で簡単に求め得る。
【数5】
【0104】
ここで、ｘｉ，ｊは、観測値ベクトルのｊ番目の要素であり得る。直感的には、トレーニング分布以外の別の分布からの観測値の近似が失敗し、近似残差が大きくなるということであり得る。
【0105】
深層ニューラルネットワークの予測時間外れ値検出
外れ値検出モジュール１０４は、深層ニューラルネットワーク１００が説明できない可能性がある観測値を見つけるために、例えば、上記のように製造プロセス監視における予測時間外れ値の原理に基づいて、アドオン方法を実行し得る。深層ニューラルネットワーク１００は、任意の種類のニューラルネットワーク、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク、リカーシブニューラルネットワーク、トランスフォーマニューラルネットワークなどであり得る。
外れ値検出モジュール１０４は、深層ニューラルネットワーク１００が説明できない可能性がある観測値を見つけるために、例えば、上記のように製造プロセス監視における予測時間外れ値の原理に基づいて、アドオン方法を実行し得る。深層ニューラルネットワーク１００は、任意の種類のニューラルネットワーク、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク、リカーシブニューラルネットワーク、トランスフォーマニューラルネットワークなどであり得る。
【0106】
深層学習システムにおいて予測時間の外れ値を検出するために外れ値検出モジュール１０４によって実行される方法は、ニューラルネットワークが入力データを変換することによって機能し得るという事実に基づき得る。入力データが深層ニューラルネットワークを介して供給される場合、データの複数の中間表現が存在する可能性があり、（例えば、深層ニューラルネットワークが分類問題を解決するように構成されている場合に、入力データが分類されるグループの）予測に、中間表現が使用され得る。これらの中間表現の１つまたは複数は、予測中に外れ値を検出するため、および予測を実行するため、に使用され得る。
【0107】
ＰＬＳと同様の方法で、予測中に外れ値を検出する可能性を提供するために、深層ニューラルネットワーク（例えば、フィードフォワードニューラルネットワーク）を、一連の非線形変換と見なすことができる。言い換えると、特定のネットワークのレイヤｉ（＝１、２、３、４、．．．．）からの観測値ｘ（入力データ）の活性化ベクトルａｉは、ネストされた一連の変換によって次のように与えられる。
【数6】
【0108】
ここで、ｆｋ（ｋ＝１、２、．．．、ｉ）は活性化関数であり得、Ｗｋ（ｋ＝１、２、．．．、ｉ）は重み行列であり得る。観測値ｘの活性化ベクトルａｉは、所与のネットワークのレイヤｉからの中間出力と見なすことができ、観測値ｘが所与のネットワークに入力されるときのレイヤｉのそれぞれのノードからの出力に対応する要素値を含み得る。これらの活性化ａｋのそれぞれは、入力データの特徴表現を提供し得る。重み行列は、通常、バックプロパゲーションによる教師ありトレーニングによって取得し得るが、活性化は、入力データの変換された、または前処理された表現を提供するだけであり得る。
【0109】
変換をより詳細に説明するために、観測値ｘは、ｎ次元の行ベクトルｘ＝［ｘ１ｘ２...ｘｎ］であり得、ここで、ｎは、アプリケーションに依存する。ｘが単一チャネル画像の場合、ｎは、ピクセル単位の画像の長さにピクセル単位の画像の幅を掛けたものであり得、値ｘ１，ｘ２，...，ｘｎは画像のピクセル値である。第１のレイヤでは、ｘは、行列に第１の重み行列Ｗ１を掛けたものであり、ｎ１次元の線形射影
を形成する。Ｗ１の次元は、ｎ×ｎ１である。線形射影の後、活性化関数ｆ１が、
に適用されて、活性化ａ１が形成される。活性化関数ｆ１は非線形関数であり得る。活性化関数の一般的な選択肢には、とりわけ、正規化線形関数ｆ（ｘ）＝ｍａｘ（０，ｘ）、シグモイド関数ｆ（ｘ）＝（１＋ｅ－ｘ）－１、ソフトマックス関数
が含まれる。次に、活性化ａ１は、行列に重み行列Ｗ２を掛けたものであり、結果の線形射影
は、活性化関数を使用して変換される。重み行列を用いた行列乗算と活性化関数を使用した変換手順は、レイヤｉの活性化ａｉが得られるまで、ｉ回繰り返される。
【0110】
これらの中間表現を使用して、任意の深層ニューラルネットワーク（例えば、任意のフィードフォワードニューラルネットワーク）の外れ値を検出するためのプラグ・アンド・プレイ方式を提供し得る。トレーニングされたネットワークが与えられた場合、トレーニングデータは、レイヤｉからの活性化行列Ａｉ＝［ａ１，ｉ... ａｎ，ｉ］Ｔを使用して表すことができ、ここで、ｎは観測値の数である。Ａｉは、フルランクではない場合があるため、近似Ａｉとして使用できるフルランクの部分空間を見つけることが望ましい場合がある。いくつかの例では、ＰＣＡを使用して、データを低次元の部分空間にマッピングするために、線形射影を使用して部分空間を取得し得る。他のいくつかの例では、オートエンコーダ、ランダム射影、スパース主成分分析、および／または自己組織化マップなどの他の方法を使用して、データを低次元の部分空間にマッピングし得る。
【0111】
ＰＣＡの使用例では、以下を取得するために、トレーニングデータの活性化の次元をｍ次の次元に減らすことができる。
ＴＡ，ＰＡ＝ＰＣＡ（Ａｉ） （７）
ＴＡ，ＰＡ＝ＰＣＡ（Ａｉ） （７）
【0112】
ＰＬＳと同様に、ＴＡは、トレーニングセットの活性化の部分空間にまたがる潜在変数行列を示し得、ＰＡは、ＰＣＡ負荷を示し得る。例えば、行列形式のＰＣＡは、次の最小二乗モデルを提供し得る。
【数7】
【0113】
これは、上記の式（１）に類似していると見なし得る。
【0114】
ＰＬＳと同じように、潜在変数と負荷行列の共分散行列を使用して、マハラノビス距離、近似残差、複合指標からモデル化された埋め込みまでの距離、局所アウトライン因子（ＬＯＦ）など、適切な距離指標に基づいて、予測時間の外れ値を検出し得る。
【0115】
トレーニングされたニューラルネットワークを使用して新しい観測値が予測されると、活性化Ａｉ，ｎｅｗも抽出し得る。新しい活性化は、ＰＬＳを使用する場合と同じ方法で、トレーニングデータの活性化から見つかった部分空間に射影し得る。
ＴＡ，ｎｅｗ＝Ａｉ，ｎｅｗＰＡ （９）
ＴＡ，ｎｅｗ＝Ａｉ，ｎｅｗＰＡ （９）
【0116】
そして、新しい観測値の距離、例えばマハラノビス距離は、式（４）に従って計算し得る。
【0117】
新しい活性化は、ＰＣＡ負荷を使用して、次のように近似し得る。
【数8】
【0118】
次の式（１１）（式（５）に類似）に従って計算された近似残差を使用しても、ＰＬＳを使用する場合と同じ方法で、外れ値を検出し得る。
【数9】
【0119】
ここで、ｐは、レイヤｉ内のノードの数を示し得る。
【0120】
決定された距離はまた、記述された距離の２つまたは複数を組み合わせることによって形成される複合距離指標であり得る。１つの例は、ユークリッドノルムを次のように使用して、残差平方和の平方根によって与えられるマハラノビス距離および残差距離を組み合わせる方法である。
【数10】
【0121】
上記は複合距離指標の一例にすぎず、他の多くの組合せも可能である。
【0122】
上記の式、すなわち式（７）から（１２）は、深層ニューラルネットワークからの活性化を適用するために、本明細書で提供されるような新しい方法で適合されている。
【0123】
システム設定のプロセス
図３の左側の部分は、コンピューティングシステム１を設定するための例示的なプロセスのフローチャートを示す。図３に示される例示的なプロセスは、コンピューティングシステム１のアプリケーション１０によって実行され得る。
図３の左側の部分は、コンピューティングシステム１を設定するための例示的なプロセスのフローチャートを示す。図３に示される例示的なプロセスは、コンピューティングシステム１のアプリケーション１０によって実行され得る。
【0124】
ステップＳ１０で、アプリケーション１０は、データ記憶装置１２からデータを入手し得る。データは、深層ニューラルネットワーク１００をトレーニングするためのトレーニングデータセットの少なくとも一部であり得る。トレーニングデータセットは、深層ニューラルネットワーク１００への可能な観測値入力を含み得る。トレーニングデータセットは、可能性のある観測値としての可能性のある細胞画像、例えば、生細胞画像を、特に含み得る。細胞画像は、例えば、顕微鏡的細胞画像であり得る。例えば、深層ニューラルネットワーク１００が図２に示されるようなＣＮＮである場合、トレーニングデータセットは、可能性のある観測値として、ＣＮＮへの可能な入力画像を含み得る。
【0125】
ステップＳ１２で、アプリケーション１０は、深層ニューラルネットワーク１００がすでにトレーニングされているかどうかを判断し得る。ステップＳ１２は、ステップＳ１０の前、後、または並行して実行し得る。
【0126】
深層ニューラルネットワーク１００がまだトレーニングされていないと判断された場合（ステップＳ１２で、いいえ）、プロセスはステップＳ１４に進み得る。深層ニューラルネットワーク１００がすでにトレーニングされていると決定された場合（ステップＳ１２ではい）、プロセスはステップＳ１６に進み得る。あるいは、ステップＳ１６に進む前に、深層ニューラルネットワーク１００を微調整し得る。
【0127】
ステップＳ１４で、アプリケーション１０は、ステップＳ１０で入手されたデータを使用して、深層ニューラルネットワーク１００をトレーニングし得る。
【0128】
ステップＳ１６で、アプリケーション１０は、深層ニューラルネットワーク１００を使用してデータを変換し得る。ステップＳ１７で、アプリケーション１０は、深層ニューラルネットワーク１００の複数の隠れ層のうちの少なくとも１つから出力される中間出力値（中間出力値の第１のセット）を取得し得る。具体的には、例えば、アプリケーション１０は、トレーニングデータセット内の可能な入力画像の、上記の式（６）に従って、深層ニューラルネットワーク１００の少なくとも１つのレイヤから活性化ベクトルを取得し得る。活性化とは、式（６）で説明されているように、観測値による活性化関数を使用した行列乗算と変換のシーケンスの結果を指す。任意選択で、活性化が特徴マップからのものである場合、各特徴マップ全体のグローバルプーリング、例えば平均プーリングを適用し得る。
【0129】
ステップＳ１８で、アプリケーション１０は、例えば（任意選択でプールされた）トレーニングセットの活性化において、中間出力値に潜在変数モデルを適合させ得る。言い換えれば、アプリケーション１０は、潜在変数モデルを構築し得る。例えば、アプリケーション１０は、上記のようにＰＣＡを使用して、潜在変数行列ＴＡおよびＰＣＡ負荷ＰＡを取得し得る（例えば、式（７）および（８）を参照）。あるいは、アプリケーションは、（任意選択でプールされた）活性化ベクトルを入力として使用してオートエンコーダをトレーニングし得る。
【0130】
ステップＳ２０で、アプリケーション１０は、潜在変数モデルを使用して活性化を射影し得る。例えば、アプリケーション１０は、ステップＳ１７で得られた活性化ベクトルから、潜在変数モデルを構築／適合させることによって見出された部分空間における射影値の対応するセット（例えば、Ｔ）を取得し得る。
【0131】
ステップＳ２２で、アプリケーション１０は、潜在変数モデルを使用して、トレーニングセット画像の１つまたは複数の距離のセットを計算し得る。例えば、アプリケーションは、データの活性化の距離を計算し得る。任意の適切な距離指標を使用し得る。例えば、アプリケーション１０は、上記の式（４）に従って、ステップＳ１８で構築された潜在変数モデルに関して、ステップＳ１７で取得された活性化ベクトルのそれぞれについてマハラノビス距離を計算し得る。追加的または代替的に、例えば、アプリケーション１０は、上記の式（１１）に従って、ステップＳ１７で取得された各活性化ベクトルの二乗近似残差を計算し得る。
【0132】
ステップＳ２４で、アプリケーション１０は、距離の閾値を決定し得る。追加的または代替的に、二乗近似残差の閾値を決定し得る。閾値は、後で、新しい観測値（例えば、入力画像）がトレーニングデータセットに関して外れ値であるかどうかを判断するために使用し得る。閾値を取得するために、ステップＳ２２で計算された距離および／または二乗近似残差を使用し得る。例えば、閾値は、ステップＳ２２で計算された距離（または二乗近似残差）のパーセンタイル、例えば９５パーセンタイルで、あり得る。「９５パーセンタイル」は単なる例であり、９５より大きいまたは小さい値を、閾値を決定するためのパーセンタイルとして使用し得ることに注意すべきである。
【0133】
システム設定のプロセスは、ステップＳ２４の後に終了し得る。
【0134】
外れ値検出のプロセス
図３の右側は、外れ値を検出するためにコンピューティングシステム１によって実行される例示的なプロセスを示している。
図３の右側は、外れ値を検出するためにコンピューティングシステム１によって実行される例示的なプロセスを示している。
【0135】
このプロセスは、深層ニューラルネットワークを導入することから始まり得る。例えば、深層ニューラルネットワークは、細胞画像を処理するために使用されるソフトウェアに組み込まれ得る。これは、イメージングデバイス自体の内部にある場合もあれば、分析用の独立型ソフトウェアモジュールとしてある場合もある。
【0136】
ステップＳ３０で、アプリケーション１０は、新しい観測値（新しい細胞画像）を受け取り得る。例えば、深層ニューラルネットワーク１００が図２に示すようにＣＮＮである場合、ＣＮＮに入力される画像を、新たな観測値として受信し得る。
【0137】
ステップＳ３２で、アプリケーション１０は、深層ニューラルネットワークを使用して新しい観測値を変換し得る。変換は、例えば、新しい細胞画像の深層ニューラルネットワーク予測を計算することを含み得る。
【0138】
その後、アプリケーションは、新しい細胞画像が外れ値であるかどうかを判断し得る。これは、次の方法で実行し得る。
ステップＳ３３で、アプリケーション１０は、深層ニューラルネットワーク１００の複数の隠れ層のうちの少なくとも１つから出力される中間出力値（中間出力値の第２のセット）を取得し得る。例えば、アプリケーション１０は、新しい観測値の、上記の式（６）に従って、深層ニューラルネットワーク１００の少なくとも１つのレイヤから活性化ベクトルを取得し得る。
ステップＳ３３で、アプリケーション１０は、深層ニューラルネットワーク１００の複数の隠れ層のうちの少なくとも１つから出力される中間出力値（中間出力値の第２のセット）を取得し得る。例えば、アプリケーション１０は、新しい観測値の、上記の式（６）に従って、深層ニューラルネットワーク１００の少なくとも１つのレイヤから活性化ベクトルを取得し得る。
【0139】
ステップＳ３４で、アプリケーション１０は、上記のようにステップＳ１８で構築／適合された潜在変数モデルを使用して、決定された中間値（中間値の第２のセット）を射影し得る。例えば、アプリケーション１０は、ステップＳ３２で得られた活性化ベクトルから、潜在変数モデルを構築／適合させることによって見出された部分空間における対応する射影値のセット（例えば、ＴＡ，ｎｅｗ）を取得し得る（式（９）を参照）。
【0140】
ステップＳ３６で、アプリケーション１０は、上記のようにステップＳ１８の潜在変数モデルを使用して、新しい観測値の距離を計算し得る。例えば、アプリケーション１０は、上記の式（４）に従って、ステップＳ１８で構築された潜在変数モデルに関して、ステップＳ３２で取得された新しい観測値の活性化ベクトルのマハラノビス距離を計算し得る。追加的または代替的に、例えば、アプリケーション１０は、上記の式（１１）に従って、ステップＳ３２で取得された新しい観測値の活性化ベクトルの二乗近似残差を計算し得る。マハラノビス距離と二乗近似残差の代わりに、他の適切な距離指標を使用し得る。
【0141】
ステップＳ３８において、アプリケーション１０は、ステップＳ３６で計算された距離が、ステップＳ２４で決定された閾値よりも大きいかどうかを判断し得る。
【0142】
ステップＳ３８で「はい」の場合、プロセスはステップＳ４０に進むことができ、アプリケーション１０は、新しい観測値が外れ値であると判断し得る。この場合、新しい観測値が外れ値であると判断されるため、システムはモデル予測を信頼できない予測として報告し得る。プロセスは、ステップＳ４０の後に終了し得る。あるいは、他のアプリケーション固有のアクションを実行し得る。例えば、深層ニューラルネットワークの予測は無視され、外れ値の画像は破棄され得る。
【0143】
ステップＳ３８でいいえの場合、プロセスはステップＳ４２に進むことができ、アプリケーション１０は、新しい観測値のために深層ニューラルネットワーク１００によって行われた予測が信頼できると判断し得る。この場合、新しい観測値は外れ値ではないと判断されるため、システムはモデル予測を信頼できる予測として報告し得る。プロセスは、ステップＳ４２の後に終了し得る。あるいは、新しい細胞画像をさらに処理し得る。
【0144】
実験
このセクションでは、例示的なコンピューティングシステム１によって実行された外れ値検出のための実験の結果が説明される。以下の実験では、深層ニューラルネットワーク１００は、画像分類または画像セグメンテーション・タスクを解決するように指示されている。
このセクションでは、例示的なコンピューティングシステム１によって実行された外れ値検出のための実験の結果が説明される。以下の実験では、深層ニューラルネットワーク１００は、画像分類または画像セグメンテーション・タスクを解決するように指示されている。
【0145】
実施例１：蛍光共焦点イメージングにおけるタンパク質の局在化
外れ値検出のための上記のアプローチの例は、蛍光標識された共焦点顕微鏡画像におけるタンパク質局在化を局在化することに関する。画像は、Ｋｒａｕｓらによる「Ａｕｔｏｍａｔｅｄ ａｎａｌｙｓｉｓ ｏｆ ｈｉｇｈ－ｃｏｎｔｅｎｔ ｍｉｃｒｏｓｃｏｐｙ ｄａｔａ ｗｉｔｈ ｄｅｅｐ ｌｅａｒｎｉｎｇ」、分子システム生物学、第１３巻、第４号、第９２４頁、２０１７年、に記載されているアプローチを使用して分析される。この例では、Ｃｈｏｎｇらによる「Ｙｅａｓｔ ｐｒｏｔｅｏｍｅ ｄｙｎａｍｉｃｓ ｆｒｏｍ ｓｉｎｇｌｅ ｃｅｌｌ ｉｍａｇｉｎｇ ａｎｄ ａｕｔｏｍａｔｅｄ ａｎａｌｙｓｉｓ」、セル、第１６１巻、第６号、第１４１３～１４２４頁、２０１５年、によって提供されたデータが使用されている。データは、１９個の区画に局在化が標識されたＧＦＰ標識タンパク質を含む単一酵母細胞の２チャンネルのスピニングディスク共焦点画像で構成されている。Ｃｈｏｎｇらによって提供されたものと同じトレーニング、検証、およびテストセット分割（それぞれ２１８８２個、４４９１個、および４５１６個の画像）、および、Ｋｒａｕｓらによって提供された前処理が使用される。
外れ値検出のための上記のアプローチの例は、蛍光標識された共焦点顕微鏡画像におけるタンパク質局在化を局在化することに関する。画像は、Ｋｒａｕｓらによる「Ａｕｔｏｍａｔｅｄ ａｎａｌｙｓｉｓ ｏｆ ｈｉｇｈ－ｃｏｎｔｅｎｔ ｍｉｃｒｏｓｃｏｐｙ ｄａｔａ ｗｉｔｈ ｄｅｅｐ ｌｅａｒｎｉｎｇ」、分子システム生物学、第１３巻、第４号、第９２４頁、２０１７年、に記載されているアプローチを使用して分析される。この例では、Ｃｈｏｎｇらによる「Ｙｅａｓｔ ｐｒｏｔｅｏｍｅ ｄｙｎａｍｉｃｓ ｆｒｏｍ ｓｉｎｇｌｅ ｃｅｌｌ ｉｍａｇｉｎｇ ａｎｄ ａｕｔｏｍａｔｅｄ ａｎａｌｙｓｉｓ」、セル、第１６１巻、第６号、第１４１３～１４２４頁、２０１５年、によって提供されたデータが使用されている。データは、１９個の区画に局在化が標識されたＧＦＰ標識タンパク質を含む単一酵母細胞の２チャンネルのスピニングディスク共焦点画像で構成されている。Ｃｈｏｎｇらによって提供されたものと同じトレーニング、検証、およびテストセット分割（それぞれ２１８８２個、４４９１個、および４５１６個の画像）、および、Ｋｒａｕｓらによって提供された前処理が使用される。
【0146】
さらに、元の１９個の区画、液胞および液胞膜区画から、Ｃｈｏｎｇらによって記載された特定の区画の組合せおよび除外が、組み合わされた。死細胞、ゴースト細胞、および紡錘体として標識された細胞は除外された。外れ値検出の例では、除外された区画が外れ値として使用される。
【0147】
Ｋｒａｕｓらが使用したＤｅｅｐＬｏｃモデルとは対照的に、この例では、ＲｅｓＮｅｔアプローチ（Ｋ．Ｈｅ、Ｘ．Ｚｈａｎｇ、Ｓ．ＲｅｎおよびＪ．Ｓｕｎによる「Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ」、コンピュータビジョンとパターン認識に関するＩＥＥＥ会議の講演論文集、２０１６年、第７７０～７７８頁に記載）から着想された完全畳み込み分類器で、スキップ接続と事前活性化およびＬｅａｋｙ ＲｅＬｕ活性化（Ａ．Ｌ．Ｍａａｓ、Ａ．Ｙ．ＨａｎｎｕｎおよびＡ．Ｙ．Ｎｇによる「Ｒｅｃｔｉｆｉｅｒ ｎｏｎｌｉｎｅａｒｉｔｉｅｓ ｉｍｐｒｏｖｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｃｏｕｓｔｉｃ ｍｏｄｅｌｓ」、機械学習の国際会議、講演論文集、２０１３年、第３０巻、第３頁を参照）を有するものが、通常のＲｅＬｕ活性化の代わりに使用された。
【0148】
図４Ａは、使用されている深層ニューラルネットワークの基本アーキテクチャを概略的に示す。深層ニューラルネットワークは、サイズｎ×ｎ×ｆ（例えば、６０×６０×２）の入力を取る。ここで、ｆは特徴の数である。深層ニューラルネットワークには、７×７の畳み込みを含む第１の畳み込み層と、それに続くＬｅａｋｙ Ｒｅｌｕが含まれ、これにより、特徴の数が６４に増加する。入力のサイズが６０×６０×２の場合、第１の畳み込み層の出力の値は「６０×６０×６４」である。第１の畳み込み層の後には、３つの後続のレイヤグループが続き、各グループには２つのレイヤが含まれる。グループ内の２つのレイヤの第１のレイヤ（残差操作層）には、残差ブロック（図４Ｂに表示）とそれに続くＬｅａｋｙ ＲｅＬｕが含まれ、レイヤへの入力と同じサイズの出力を生成する。グループ内の２つのレイヤの第２のレイヤ（ダウンサンプリング層）には、ダウンサンプリングブロックとそれに続くＬｅａｋｙ ＲｅＬｕが含まれ、「ｎ×ｎ×ｆ」サイズの入力を「ｎ／２×ｎ／２×２ｆ」サイズの出力に変換する。ダウンサンプリングでは、いわゆるストライド畳み込みを使用できる。つまり、畳み込み演算子は、特徴マップのすべてのピクセル位置ではなく、２つおきの位置に適用され、入力サイズの半分のサイズの出力特徴マップが生成される。畳み込み演算子のすべてのアプリケーション間のピクセル位置の数は、ストライドで示され、正の整数でなければならない。図８Ａは、図４Ａに示されるネットワークで使用され得るダウンサンプリングブロックを構成するダウンサンプリング操作の例を示す。
【0149】
レイヤグループの最後のダウンサンプリング層の後に、残差ブロックとｌｅａｋｙ ＲｅＬｕを含む別の残差操作層が続く。深層ニューラルネットワークへの「６０×６０×２」サイズの入力の場合、このレイヤは「８×８×５１２」サイズの出力を生成する。生成された特徴マップにグローバル平均プーリングを適用した後、サイズ「１×１５」の出力が生成される。
【0150】
図４Ｂは、残りの操作ブロックを構成する操作を示す。各残差ブロックは、「ｎ×ｎ×ｆ」サイズの入力を受け取り、それを同じサイズの出力に変換する。残りのブロックには、バッチ正規化と、それに続く２つの後続の操作グループが含まれ、各グループには、バッチ正規化、活性化、および３×３畳み込みが含まれる。最後の畳み込みの「ｎ×ｎ×ｆ」出力および「ｎ×ｎ×ｆ」入力が要素ごとに加算され、残りのブロックの「ｎ×ｎ×ｆ」サイズの出力が生成される。
【0151】
データ拡張は、トレーニングを改善するために使用される。データ拡張には、ランダムな水平および垂直の反転、最大９０度のランダム回転、最大５度のランダムなせん断、最大１０％のランダムズーム、幅と高さのシフト、および最大３０％のランダムチャネルシフトが含まれる。深層ニューラルネットワークは、最小化する損失関数として多クロス交差エントロピーを使用し、バッチサイズを１２８として、１００エポックでトレーニングされた。さらに、ウォームリスタート（Ｉ．ＬｏｓｈｃｈｉｌｏｖおよびＦ．Ｈｕｔｔｅｒによる「ＳＧＤＲ：Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ ｗｉｔｈ Ｗａｒｍ Ｒｅｓｔａｒｔｓ」、アーカイヴ１６０８．０３９８３［ｃｓ、ｍａｔｈ］、２０１６年８月）を備えた、アダム・オプティマイザ（Ｄ．Ｐ．ＫｉｎｇｍａおよびＪ．Ｂａによる「Ａｄａｍ：Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｓｔｏｃｈａｓｔｉｃ Ｏｐｔｉｍｉｚａｔｉｏｎ」、アーカイヴ１４１２．６９８０［ｃｓ］、２０１４年１２月）が使用され、初期最大学習率が１０－５、最小学習率が１０－３、サイクル長が５、ならびに、２０％学習速度の減衰および各サイクルで５０％のサイクル長の増加であった。テストセットで９４．３％の分類精度が達成された。
【0152】
予測時間の外れ値検出の関連性を示すために、省略されたタンパク質のクラス（紡錘体、死細胞、ゴースト細胞）は、トレーニングされた深層学習ニューラルネットワークを使用して分類された。図５に分類結果を示す。図５の上部は、予測されたクラスの頻度の棒グラフを示す。図５の下部は、タンパク質の局在化のケーススタディで除外された画像クラスの予測ソフトマックス信頼度（下）のバイオリン図を示す。バイオリン図の横線は、中央値を示す。
【0153】
死細胞とゴースト細胞の両方が高い信頼度で細胞質に予測されるが、信頼度は、ゴースト細胞で中央値がより低くなる。紡錘体画像は主に紡錘体極として分類される。続いて、上記の潜在変数モデルに基づく手法を使用して、予測時間外れ値の検出を実行した。様々なＰＣＡ Ｒ２の性能が、Ｆ１値を使用して評価された。
【0154】
図６は、タンパク質の局在化のケーススタディで除外されたクラスの外れ値検出のＦ１値評価の結果を示す。外れ値の検出に使用されるＰＣＡ Ｒ２がＸ軸に、Ｆ１値がＹ軸にあり、各サブプロットは、異なる距離指標、つまり残差二乗和（ＲＳＳ）、マハラノビス、および局所外れ値因子（Ｍ．Ｍ．Ｂｒｅｕｎｉｇ、Ｈ．－Ｐ．Ｋｒｉｅｇｅｌ、Ｒ．Ｔ．ＮｇおよびＪ．Ｓａｎｄｅｒによる「ＬＯＦ：Ｉｄｅｎｔｉｆｙｉｎｇ Ｄｅｎｓｉｔｙ－ｂａｓｅｄ Ｌｏｃａｌ Ｏｕｔｌｉｅｒｓ」、２０００ＡＣＭ ＳＩＧＭＯＤデータ管理の国際会議、ニューヨーク市、ニューヨーク州、ＵＳＡ、２０００年、第９３～１０４頁）を使用した評価を示す。
【0155】
以前の実験と一致して、ＰＣＡ Ｒ２が高いと、最良の性能を示す。すべての指標は、ゴースト細胞を９０＋％Ｒ２（Ｆ１値～０．８）で外れ値として確実に検出するが、ＬＯＦのみが死細胞（Ｆ１値～０．５）を検出できる。図６からわかるように、すべての指標は紡錘体画像を外れ値として検出できない。これは、紡錘体極と同じ細胞内構造の一部であるためであり、驚くべきことではない。比較のために、上記の例による外れ値検出の方法の結果が、Ｈｅｎｄｒｙｃｋｓら（Ｈｅｎｄｒｙｃｋｓ、ＤａｎおよびＫｅｖｉｎ Ｇｉｍｐｅｌによる「Ａ ｂａｓｅｌｉｎｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｍｉｓｃｌａｓｓｉｆｉｅｄ ａｎｄ ｏｕｔ－ｏｆ－ｄｉｓｔｒｉｂｕｔｉｏｎ ｅｘａｍｐｌｅｓ ｉｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ」、アーカイヴ・プレプリント、アーカイヴ１６１０．０２１３６（２０１６年））によって提案された、ベースライン方法と比較された。ここで、不確実性はソフトマックス分類器の信頼性欠如として表されている。より正確には、不確実性は、１から各画像の最大ソフトマックス出力を引いたもので表される（１は最大不確実性を表す）。このベースライン方法は、実装が容易なため、実際に広く使用されている。トレーニングセットの信頼性欠如の９５パーセンタイルに対応する、０．４１５のカットオフを使用した信頼性欠如に基づく方法を使用すると、外れ値検出は、死細胞で０．２７、ゴースト細胞で０．５２、紡錘体画像で０．２４、のＦ１値を達成した。紡錘体画像を除いて、信頼性欠如は、上記の例による外れ値検出の方法よりも著しく悪い性能を示す。
【0156】
実験データは、上記の態様および例による潜在変数モデルに基づく手法を使用することが、生細胞イメージングの分類研究において、正常値クラスに自信を持って予測される外れ値クラスを検出できることを示す。次に、外れ値の画像をより詳細に調査して、モデルのトレーニング時に考慮されなかったクラスを明らかにすることができる。
【0157】
実施例２：位相差画像のセグメンテーション
実施例２は、画像セグメンテーションの状況での外れ値の検出に関する。深層ニューラルネットワーク１００は、位相差細胞画像をセグメント化するようにトレーニングされた畳み込みニューラルネットワークである。８種類の細胞（ＨＵＶＥＣ、Ｊｕｒｋａｔ、ＨｅＬａ、Ａ５４９、ＨＴ－１０８０、ＰＣ３、ＳＫＯＶ－３、およびＭＤＡ－ＭＢ－２３１）を３～４ウェルで、それぞれ４日間かけて増殖させた。位相差画像は、１５００×１０００ピクセルの解像度で１０倍の倍率で１２時間ごとにキャプチャされ、コンフルエンスと核マスクは、インキュサイトを使用して計算された。テストセットとして、細胞種類ごとにランダムに１つのウェルを選択した。外れ値をシミュレートするために、ＰＣ３、ＳＫＯＶ－３、およびＭＤＡ－ＭＢ－２３１のすべての画像をトレーニングセットから除外した。
実施例２は、画像セグメンテーションの状況での外れ値の検出に関する。深層ニューラルネットワーク１００は、位相差細胞画像をセグメント化するようにトレーニングされた畳み込みニューラルネットワークである。８種類の細胞（ＨＵＶＥＣ、Ｊｕｒｋａｔ、ＨｅＬａ、Ａ５４９、ＨＴ－１０８０、ＰＣ３、ＳＫＯＶ－３、およびＭＤＡ－ＭＢ－２３１）を３～４ウェルで、それぞれ４日間かけて増殖させた。位相差画像は、１５００×１０００ピクセルの解像度で１０倍の倍率で１２時間ごとにキャプチャされ、コンフルエンスと核マスクは、インキュサイトを使用して計算された。テストセットとして、細胞種類ごとにランダムに１つのウェルを選択した。外れ値をシミュレートするために、ＰＣ３、ＳＫＯＶ－３、およびＭＤＡ－ＭＢ－２３１のすべての画像をトレーニングセットから除外した。
【0158】
セグメンテーション応答を提供するために、コンフルエンスと核マスクが組み合われた。さらに、隣接する核の分離を促進するために、Ｒｏｎｎｅｂｅｒｇｅｒら（Ｏ．Ｒｏｎｎｅｂｅｒｇｅｒ、Ｐ．ＦｉｓｃｈｅｒおよびＴ．Ｂｒｏｘによる“Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ”、アーカイヴ１５０５．０４５９７［ｃｓ］、２０１５年５月を参照）に従って、形態学的演算子を使用して、核境界を持つ別のマスク・チャネルを計算した。マスクを組み合わせて、背景、細胞領域、核、および核の輪郭を示す４つのチャネル・マスクを提供した。位相差画像は、平均位相強度を減算し、位相強度標準偏差で除算することによって、前処理された。続いて、スケーリングされた位相強度を、標準偏差で－１０から＋１０の範囲にクリップし、次に１０で割って、－１から＋１の範囲の位相強度を取得した。最後に、すべての高解像度な位相差画像は、一致するセグメンテーション・マスクを使用して、重複することなく２２４×２２４ピクセルに、トリミングされた。
【0159】
セグメンテーションについては、Ｕ－ｎｅｔアーキテクチャに触発された完全畳み込みセグメンテーションネットワーク（Ｏ．Ｒｏｎｎｅｂｅｒｇｅｒ、Ｐ．ＦｉｓｃｈｅｒおよびＴ．Ｂｒｏｘによる「Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」、アーカイヴ１５０５．０４５９７［ｃｓ］、２０１５年５月）が、テスト画像を使用してトレーニングされた。Ｏ．Ｒｏｎｎｅｂｅｒｔｇｅｒらに開示されているＵ－Ｎｅｔネットワークには、収束経路と拡散経路の２つの経路がある。収束経路は畳み込みネットワークのアーキテクチャに従い、２つの３×３畳み込み（パッドなし畳み込み）の繰り返し適用を含み、それぞれに正規化線形ユニット（ＲｅＬＵ）、およびダウンサンプリング用のストライド２を使用した２×２最大プーリング操作が続く。各ダウンサンプリング・ステップまたはそれぞれダウンサンプリング層で、特徴チャネルの数が２倍になる。拡散部分の各ステップまたはレイヤには、特徴マップのアップサンプリングとそれに続く特徴チャネルの数を半分にする２×２畳み込み（「上方畳み込み」）、収束経路から対応してトリミングされた特徴マップとの連結、それぞれにＲｅＬｕ操作が続く２つの３×３畳み込み、を含む。
【0160】
Ｏ．Ｒｏｎｎｅｂｅｒｇｅｒらで説明されている元のＵ－ｎｅｔアーキテクチャとは対照的に、スキップ接続、事前活性化、およびバッチ正規化が採用され、これは、元のＲｅｓＮｅｔ（Ｈｅ、Ｋａｉｍｉｎｇらによる「Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ」、コンピュータビジョンとパターン認識に関するＩＥＥＥ会議の講演論文集、２０１６年）と同様である。さらに、通常のＲｅＬｕ活性化の代わりに、α＝０．３のＬｅａｋｙ ＲｅＬｕ活性化（Ａ．Ｌ．Ｍａａｓ、Ａ．Ｙ．ＨａｎｎｕｎおよびＡ．Ｙ．Ｎｇによる「Ｒｅｃｔｉｆｉｅｒ ｎｏｎｌｉｎｅａｒｉｔｉｅｓ ｉｍｐｒｏｖｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｃｏｕｓｔｉｃ ｍｏｄｅｌｓ」、機械学習の国際会議、講演論文集、２０１３年、第３０巻、第３頁）が採用された。
【0161】
【0162】
上で説明したように、採用された深層ニューラルネットワークはＵ－Ｎｅｔ型であり、収束経路と拡散経路の２つの経路がある。収束経路は、７×７畳み込みを含む第１の畳み込み層と、それに続くＬｅａｋｙ Ｒｅｌｕで構成され、これにより、特徴の数が３２に増加する。入力が２２４×２２４ピクセルの画像である場合、第１層の出力には「２２４×２２４×３２」の値があり、それぞれ２２４×２２４ピクセルの３２枚の画像のセットと見なすことができる。最初のレイヤの後には、他の５つのレイヤ（エンコード層）が続き、それぞれが「ｎ×ｎ×ｆ」サイズの入力を受け取り、「ｎ／２×ｎ／２×２ｆ」サイズの出力を生成する。１つのレイヤの出力は、次のレイヤへの入力に対応する。５つのエンコーディング層のそれぞれには、ダウンサンプリングブロックとそれに続くＬｅａｋｙ ＲｅＬｕ操作が含まる。ダウンサンプリングブロックを図８Ａに示す。ダウンサンプリングブロックは、「ｎ×ｎ×ｆ」サイズの入力を受け取り、いくつかの操作を適用し、「ｎ／２×ｎ／２×２ｆ」サイズの出力を生成する。操作には、バッチ正規化とそれに続く活性化、ダウンサンプリング用のストライド１を使用した１×１畳み込み、および２つの操作ブロックが含まれ、各ブロックは、バッチ正規化、活性化、および３×３畳み込みで構成される。サイズ「ｎ／２×ｎ／２×２ｆ」の最後の３×３畳み込みのダウンサンプリングされた結果は、「ｎ×ｎ×ｆ」入力に適用された操作グループの出力に、要素ごとに加算される。操作グループには、バッチ正規化とそれに続くストライド２を使用した１×１の畳み込みを含み、「ｎ／２×ｎ／２×２ｆ」出力を生成する。要素ごとの加算の結果に活性化が適用される。
【0163】
拡張部分には５つのデコード層が含まれ、それぞれにアップサンプリングブロックとＬｅａｋｙ ＲｅＬｕが含まれる。図７に示すように、各デコード層の後には、収束経路から対応してトリミングされた特徴マップとの連結が続く。最後の連結の後に、７×７の畳み込みとＬｅａｋｙ Ｒｅｌｕを含む追加の畳み込み層が続く。追加のレイヤに続くのは、１×１の畳み込みとソフトマックス操作を含む出力層であり、それによって「２２４×２２４×４」サイズの出力を生成する。
【0164】
各デコード層は「ｎ×ｎ×ｆ」サイズの入力を取り、これはいくつかの操作を受け、「２ｎ×２ｎ×ｆ／２」サイズの出力を生成する。図８Ｂは、各デコーディング層に含まれるアップサンプリングブロックを示す。各アップサンプリングブロックに含まれる操作には、バッチ正規化とそれに続く活性化、アップサンプリング用の１×１転置畳み込み、およびそれぞれがバッチ正規化、活性化、および３×３畳み込みで構成される２つのブロックが含まれる。最後の３×３畳み込みのアップサンプリングされた結果（サイズ「２ｎ×２ｎ×ｆ／２」）は、「ｎ×ｎ×ｆ」サイズの入力に適用された操作グループの出力に、要素ごとに加算される。操作グループには、バッチ正規化および１×１転置畳み込みを含み、「２ｎ×２ｎ×ｆ／２」サイズの出力を生成する。要素ごとの加算の結果に活性化が適用される。
【0165】
過剰適合のリスクを減らすために、ランダムな水平および垂直の反転、最大２０度のランダム回転、最大２０％の垂直および水平シフト、最大１０度のランダムなせん断、および１０％のランダムズームを含む、データ拡張が採用された。深層ニューラルネットワークは、バッチサイズ８で、２５エポックにトレーニングされた。Ｒｏｎｎｅｂｅｒｇｅｒらと同様に、ダイス係数損失が使用されたが、単一チャネル損失ではなく、チャネルごとのダイス係数損失の合計が最適化された。採用されているオプティマイザは、アダム・オプティマイザ（Ｉ．ＬｏｓｈｃｈｉｌｏｖおよびＦ．Ｈｕｔｔｅｒによる「ＳＧＤＲ：Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ ｗｉｔｈ Ｗａｒｍ Ｒｅｓｔａｒｔｓ」、アーカイヴ１６０８．０３９８３［ｃｓ、ｍａｔｈ］、２０１６年８月を参照）であり、ウォームリスタート（Ｏ．Ｒｏｎｎｅｂｅｒｇｅｒ、Ｐ．ＦｉｓｃｈｅｒおよびＴ．Ｂｒｏｘによる「Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」、アーカイヴ１５０５．０４５９７［ｃｓ］、２０１５年５月）を備えており、最大学習率が１０－３、最小学習率が１０－６、５エポックの開始サイクル長、サイクル長を５０％増加し、そして、最大学習率を各サイクルで１０％減少であった。トレーニング後、テストセット画像で９２．２％、除外された細胞種類で８７．３％のピクセルごと精度が達成された。
【0166】
外れ値を検出するために、最深エンコーディング層（１４×１４×５１２ダウンサンプリング出力）と出力ソフトマックス層の前の最終畳み込み層の両方を使用して、潜在変数モデルを適合させた。様々なモデルが、様々なレベルのＰＣＡ Ｒ２（５０～９９．９９％）と距離指標（ＲＳＳ、マハラノビス、ＬＯＦ）を使用して適合された。結果は、外れ値画像からテストセット画像を分離するＲＯＣ－ＡＵＣを使用して評価された。テストの結果は、図９に要約されている。この例では、最深エンコーディングの特徴が最も一貫した結果を提供し、最終レベルの特徴は、ＬＯＦが距離指標として使用されている場合にのみ比較可能である。以前の結果と一致して、最良の結果は、高いＰＣＡ Ｒ２（９９．９または９９．９９％）を使用して達成される。外れ値がテストセットの画像からより強く分離されていないという事実は、外れ値のクラスがトレーニングセットの画像とそれほど変わらないという事実によって説明され得る。これは、除外された細胞種類のセグメンテーション精度が、依然として非常に高いという事実によって、サポートされる（テストセット９２．２％と比較して８７．３％）。
【0167】
この実験データは、潜在変数に基づく手法を使用する上記の態様および例に従って外れ値を検出する方法が、分類タスクだけでなく、複雑な完全畳み込みニューラルネットワークを使用するセグメンテーション・タスクでも、外れ値を確実に検出できることを示している。
【0168】
その他の例
細胞画像を分析するための別の例示的な方法は、以下のステップを含む：
Ｓ１０１：顕微鏡などの細胞イメージングデバイスからの画像が提供される。これらの画像はトレーニングセットを構成する。
細胞画像を分析するための別の例示的な方法は、以下のステップを含む：
Ｓ１０１：顕微鏡などの細胞イメージングデバイスからの画像が提供される。これらの画像はトレーニングセットを構成する。
【0169】
Ｓ１０２：深層ニューラルネットワークをトレーニングするか、事前にトレーニングされたニューラルネットワークを微調整する。深層ニューラルネットワークは、畳み込みニューラルネットワークであり得る。
【0170】
Ｓ１０３：深層ニューラルネットワークの１つまたは複数のレイヤを選択し、その／それらのレイヤからの画像の活性化を計算する。
【0171】
Ｓ１０３ａ：任意選択で、活性化が特徴マップからのものである場合は、グローバル平均プーリングなど、各特徴マップ全体にグローバルプーリングを適用する。
【0172】
Ｓ１０４：（任意選択でプールされた）トレーニングセットの活性化に潜在変数モデルを適合する。
【0173】
Ｓ１０５：潜在変数モデルを使用して、トレーニングセット画像の１つまたは複数の距離セットを計算する。
【0174】
Ｓ１０６：トレーニングセット画像の距離に基づいて、トレーニングセット距離の９５パーセンタイルなど、閾値を選択する。
【0175】
Ｓ１０７：深層ニューラルネットワークを導入する。言い換えれば、細胞画像の処理に使用されるソフトウェアに、深層ニューラルネットワークを組み込む。ソフトウェアは、イメージングデバイス自体に実装することも、分析用の独立型ソフトウェアとして実装することもできる。
【0176】
Ｓ１０８：新しい画像の深層ニューラルネットワーク予測を計算する。
【0177】
Ｓ１０９：次のステップを実行して、特定の新しい画像が、外れ値の画像であるかどうかを判断する。
Ｓ１０９ａ：Ｓ１０５で潜在変数モデルを適合するために使用されるレイヤの活性化を計算する。任意選択で、グローバルプーリングを適用できる。
Ｓ１０９ｂ：Ｓ１０９ａからの活性化およびＳ１０５の潜在変数モデルを使用して、モデルまでの距離を計算する。
Ｓ１０９ｃ：Ｓ１０９ｂからの距離を、Ｓ１０６からの閾値距離と比較する。
（ｉ）Ｓ１０９ｃの距離がＳ１０６の閾値よりも大きい場合、新しい画像は外れ値と見なされる。その後、アプリケーション固有のアクションが実行される。例えば、エンドユーザに、続行する前に外れ値を手動で分析するように警告し得る。Ｓ１０８からの深層ニューラルネットワーク予測は無視され、外れ値の画像は破棄される。
Ｓ１０９ａ：Ｓ１０５で潜在変数モデルを適合するために使用されるレイヤの活性化を計算する。任意選択で、グローバルプーリングを適用できる。
Ｓ１０９ｂ：Ｓ１０９ａからの活性化およびＳ１０５の潜在変数モデルを使用して、モデルまでの距離を計算する。
Ｓ１０９ｃ：Ｓ１０９ｂからの距離を、Ｓ１０６からの閾値距離と比較する。
（ｉ）Ｓ１０９ｃの距離がＳ１０６の閾値よりも大きい場合、新しい画像は外れ値と見なされる。その後、アプリケーション固有のアクションが実行される。例えば、エンドユーザに、続行する前に外れ値を手動で分析するように警告し得る。Ｓ１０８からの深層ニューラルネットワーク予測は無視され、外れ値の画像は破棄される。
【0178】
（ｉｉ）Ｓ１０９ｃの距離がＳ１０６の閾値より大きくない場合、新しい画像は外れ値とは見なされず、Ｓ１０８からの予測が受け入れられる。
【0179】
バリエーション
上記の例のいくつかでは、畳み込みニューラルネットワーク（ＣＮＮ）が使用された。しかしながら、深層ニューラルネットワーク１００は、畳み込みニューラルネットワークに限定されず、任意の種類のニューラルネットワーク、例えば、リカレントニューラルネットワーク、リカーシブニューラルネットワーク、トランスフォーマニューラルネットワークなどであり得る。
上記の例のいくつかでは、畳み込みニューラルネットワーク（ＣＮＮ）が使用された。しかしながら、深層ニューラルネットワーク１００は、畳み込みニューラルネットワークに限定されず、任意の種類のニューラルネットワーク、例えば、リカレントニューラルネットワーク、リカーシブニューラルネットワーク、トランスフォーマニューラルネットワークなどであり得る。
【0180】
上記の例のいくつかでは、単一の隠れ層からの活性化が外れ値の検出を実行するために使用される。
【0181】
他のいくつかの例では、２つまたは複数の隠れ層からの活性化を使用して外れ値の検出を実行し得る。例えば、外れ値の検出に使用するレイヤを選択する際の困難を回避するために、すべての（非表示の）レイヤからの測定値を、外れ値の検出に使用されているガウス・カーネル密度推定を使用して組み合わせることができる（例えば、Ｌ．Ｊ．Ｌａｔｅｃｋｉ、Ａ．ＬａｚａｒｅｖｉｃおよびＤ．Ｐｏｋｒａｊａｃによる、「Ｏｕｔｌｉｅｒ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｋｅｒｎｅｌ Ｄｅｎｓｉｔｙ Ｆｕｎｃｔｉｏｎｓ」、パターン認識における機械学習とデータマイニング、２００７年、第６１～７５頁、Ｅ．Ｓｃｈｕｂｅｒｔ、Ａ．ＺｉｍｅｋおよびＨ．Ｋｒｉｅｇｅｌによる、「Ｇｅｎｅｒａｌｉｚｅｄ Ｏｕｔｌｉｅｒ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｆｌｅｘｉｂｌｅ Ｋｅｒｎｅｌ Ｄｅｎｓｉｔｙ Ｅｓｔｉｍａｔｅｓ」、データマイニングの２０１４ＳＩＡＭ国際会議の講演論文集、第０巻、産業および応用数学のための学会、２０１４年、第５４２～５５０頁）。カーネル密度推定は、トレーニングセットのマハラノビス距離と残差平方和に対して個別に計算できるが、すべてのレイヤを組み合わせる。各画像の確率は、モンテカルロ積分を使用して、結果のカーネル密度関数で近似できる。外れ値の検出性能は、上記の実験と同じ方法で評価できる。
【0182】
さらなる例では、複数の埋め込み（例えば、複数のレイヤからの活性化）を統合する場合、バギング・アプローチ（例えば、Ａ．ＬａｚａｒｅｖｉｃおよびＶ．Ｋｕｍａｒによる「Ｆｅａｔｕｒｅ Ｂａｇｇｉｎｇ ｆｏｒ Ｏｕｔｌｉｅｒ Ｄｅｔｅｃｔｉｏｎ」、データマイニングにおける知識発見の第１１回ＡＣＭ ＳＩＧＫＤＤ国際会議の講演論文集、ニューヨーク市、ニューヨーク州、ＵＳＡ、２００５年、第１５７～１６６頁を参照）が、直接カーネル密度の代わりに、使用され得る。
【0183】
さらに、学習された表現、ＧＭＭワンクラスＳＭＶ、クラスタリングなどで他の方法論を使用できる場合がある。
【0184】
さらに、本明細書に記載の様々な実施形態および例では、マハラノビス距離などの単純な測定値を使用する代わりに、局所外れ値因子またはＬＯＦなどのより局所的な測定値（例えば、Ｍ．Ｍ．Ｂｒｅｕｎｉｇ、Ｈ．－Ｐ．Ｋｒｉｅｇｅｌ、Ｒ．Ｔ．ＮｇおよびＪ．Ｓａｎｄｅｒによる「ＬＯＦ：Ｉｄｅｎｔｉｆｙｉｎｇ Ｄｅｎｓｉｔｙ－ｂａｓｅｄ Ｌｏｃａｌ Ｏｕｔｌｉｅｒｓ」、２０００ＡＣＭ ＳＩＧＭＯＤデータ会議の国際会議の講演論文集、ニューヨーク市、ニューヨーク州、ＵＳＡ、２０００年、第９３～１０４頁）は、ＰＣＡ空間に直接適用され得る。原則として、複合指標のモデル化された埋め込みまでの距離、平方和、局所外れ値因子など、任意の適切な距離指標、または距離指標の組合せ、が使用され得る。
【0185】
上記のように、本明細書に記載の方法およびシステムの様々な用途があり得る。可能な用途の１つは、位相差顕微鏡画像分析である。位相コントラスト画像から核を識別する作業は困難であり、通常、核の位置を強調する追加の画像チャネルを提供するために、核に結合する蛍光マーカに依存する。深層ＣＮＮを適用することにより、細胞からバックグランドをセグメント化し、蛍光ラベルを使用せずに、位相差画像から細胞の核を識別するモデルを、生成およびトレーニングし得る。ＣＮＮが複数の細胞種類からの位相差画像でトレーニングされている場合、ＣＮＮは、以前に見られなかった新しい細胞種類を識別し得る。これまで見たことがない細胞種類が、ＣＮＮトレーニングに使用されるセル種類と大きく異なる場合を判断するために、予測時間外れ値検出が、適用され得る。新しい細胞種類からの位相差顕微鏡画像が外れ値として検出された場合、ユーザは、ＣＮＮによる細胞とバックグランドとの分離、および、核の検出が、信頼できないという警告を受け取り得る。この場合、提供されるＣＮＮシステムは、細胞をバックグラウンドから確実に分離し、新しい細胞種類の位相差画像から核を識別するために、ＣＮＮモデルを再トレーニングする必要があるという信号を送信し得る。
【0186】
ハードウェア構成
図１０は、コンピューティングシステム１の少なくとも一部を実装するために、および／または上記の方法を実行するために使用され得るコンピュータの例示的なハードウェア構成を示す。図１０に示されるコンピュータ７は、中央処理装置（ＣＰＵ）７０、グラフィックス処理装置（ＧＰＵ）８８、システムメモリ７２、ネットワークインターフェース７４、ハードディスクドライブ（ＨＤＤ）インターフェース７６、外部ディスクドライブインターフェース７８、および入力／出力（Ｉ／Ｏ）インターフェース８０を含む。コンピュータのこれらのコンポーネントは、システムバス８２を介して互いに結合されている。ＣＰＵ７０は、システムメモリ７２にアクセスすることによって、算術、論理、および／または制御操作を実行し得る。ＧＰＵ８８は、深層学習に必要なグラフィック画像および／または行列演算に関する処理を実行し得る。ＧＰＵ８８は、並列処理を実行し得る複数のプロセッサ（例えば、コア）を備えることができ、これは、コンピューティングシステム１のより高い性能になり得る。ＣＰＵ７０および／またはＧＰＵ８８は、上記の例示的なデバイスおよび／またはシステムのプロセッサを実装し得る。しかしながら、いくつかの例では、コンピュータ７は必ずしもＧＰＵ８８を備えているとは限らない。システムメモリ７２は、ＣＰＵ７０と組み合わせて使用するための情報および／または命令を格納し得る。システムメモリ７２は、ランダムアクセスメモリ（ＲＡＭ）７２０および読み取り専用メモリ（ＲＯＭ）７２２などの揮発性および不揮発性メモリを含み得る。起動時など、コンピュータ７内の要素間で情報を転送するのに役立つ基本ルーチンを含む基本入出力システム（ＢＩＯＳ）は、ＲＯＭ７２２に格納され得る。システムバス８２は、メモリバスまたはメモリコントローラ、周辺バス、および様々なバス・アーキテクチャのいずれかを使用するローカル・バスを含む、いくつかの種類のバス構造のいずれかであり得る。ＣＰＵ７０は、１つまたは複数の対応するインターフェース（図示せず）およびバス８２を介して、１つまたは複数のセンサ（図示せず）にさらに接続し得る。センサは、温度、ｐＨ、圧力などを含むが、これらに限定されない、物理的状況または状態を測定し得る。さらに、センサは、画像化デバイス、マイクロフォン、スペクトル・センサなどを含むが、これらに限定されない、他の種類の測定または検出デバイスを含み得る。コントローラは、温度、磁束、攪拌などを含むが、これらに限定されない、物理的状況または状態を制御し得る。
図１０は、コンピューティングシステム１の少なくとも一部を実装するために、および／または上記の方法を実行するために使用され得るコンピュータの例示的なハードウェア構成を示す。図１０に示されるコンピュータ７は、中央処理装置（ＣＰＵ）７０、グラフィックス処理装置（ＧＰＵ）８８、システムメモリ７２、ネットワークインターフェース７４、ハードディスクドライブ（ＨＤＤ）インターフェース７６、外部ディスクドライブインターフェース７８、および入力／出力（Ｉ／Ｏ）インターフェース８０を含む。コンピュータのこれらのコンポーネントは、システムバス８２を介して互いに結合されている。ＣＰＵ７０は、システムメモリ７２にアクセスすることによって、算術、論理、および／または制御操作を実行し得る。ＧＰＵ８８は、深層学習に必要なグラフィック画像および／または行列演算に関する処理を実行し得る。ＧＰＵ８８は、並列処理を実行し得る複数のプロセッサ（例えば、コア）を備えることができ、これは、コンピューティングシステム１のより高い性能になり得る。ＣＰＵ７０および／またはＧＰＵ８８は、上記の例示的なデバイスおよび／またはシステムのプロセッサを実装し得る。しかしながら、いくつかの例では、コンピュータ７は必ずしもＧＰＵ８８を備えているとは限らない。システムメモリ７２は、ＣＰＵ７０と組み合わせて使用するための情報および／または命令を格納し得る。システムメモリ７２は、ランダムアクセスメモリ（ＲＡＭ）７２０および読み取り専用メモリ（ＲＯＭ）７２２などの揮発性および不揮発性メモリを含み得る。起動時など、コンピュータ７内の要素間で情報を転送するのに役立つ基本ルーチンを含む基本入出力システム（ＢＩＯＳ）は、ＲＯＭ７２２に格納され得る。システムバス８２は、メモリバスまたはメモリコントローラ、周辺バス、および様々なバス・アーキテクチャのいずれかを使用するローカル・バスを含む、いくつかの種類のバス構造のいずれかであり得る。ＣＰＵ７０は、１つまたは複数の対応するインターフェース（図示せず）およびバス８２を介して、１つまたは複数のセンサ（図示せず）にさらに接続し得る。センサは、温度、ｐＨ、圧力などを含むが、これらに限定されない、物理的状況または状態を測定し得る。さらに、センサは、画像化デバイス、マイクロフォン、スペクトル・センサなどを含むが、これらに限定されない、他の種類の測定または検出デバイスを含み得る。コントローラは、温度、磁束、攪拌などを含むが、これらに限定されない、物理的状況または状態を制御し得る。
【0187】
コンピュータは、ネットワークを介して他のコンピュータおよび／またはデバイスと通信するためのネットワークインターフェース７４を含み得る。
【0188】
さらに、コンピュータは、ハードディスク（図示せず）からの読み取りおよび書き込みのためのハードディスクドライブ（ＨＤＤ）８４（図示せず）、および、リムーバブル・ディスク（図示せず）への読み取りまたは書き込みのための外部ディスクドライブ８６を含み得る。リムーバブル・ディスクは、磁気ディスクドライブ用の磁気ディスク、または光ディスクドライブ用のＣＤ－ＲＯＭなどの光ディスクであり得る。ＨＤＤ８４および外部ディスクドライブ８６は、それぞれ、ＨＤＤインターフェース７６および外部ディスクドライブインターフェース７８によってシステムバス８２に接続されている。ドライブとそれに関連するコンピュータ可読媒体は、汎用コンピュータ用のコンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータの不揮発性記憶を提供する。データ構造は、本明細書に記載されるように、例示的な方法およびその変形の実施に関連するデータを含み得る。関連するデータは、データベース、例えばリレーショナルデータベースまたはオブジェクトデータベースに編成し得る。
【0189】
本明細書に記載の例示的な環境は、ハードディスク（図示せず）および外部ディスク（図示せず）を使用するが、コンピュータによってアクセス可能なデータを格納できる他の種類のコンピュータ可読媒体、磁気カセット、フラッシュ・メモリカード、デジタル・ビデオ・ディスク、ランダムアクセスメモリ、読み取り専用メモリなどのようなものも、例示的な動作環境で使用することができることは、当業者によって理解されるべきである。
【0190】
いくつかのプログラムモジュールが、ハードディスク、外部ディスク、ＲＯＭ７２２またはＲＡＭ７２０に格納され得る。そこには、オペレーティングシステム（図示せず）、１つまたは複数のアプリケーション・プログラム７２０２、他のプログラムモジュール（図示せず）、およびプログラムデータ７２０４を含む。アプリケーション・プログラムは、上記記載のような機能の少なくとも一部を含み得る。
【0191】
コンピュータ７は、対応するＩ／Ｏインターフェース８０ａおよび８０ｂならびにシステムバス８２を介して、マウスおよび／またはキーボードなどの入力装置９２および液晶ディスプレイなどの表示装置９４が、接続され得る。コンピュータ７がタブレット・コンピュータとして実装される場合、例えば、情報を表示し、入力を受信するタッチパネルは、対応するＩ／Ｏインターフェースおよびシステムバス８２を介して、コンピュータ７に接続され得る。さらに、いくつかの例では、図１８には示されていないが、コンピュータ７は、対応するＩ／Ｏインターフェースおよびシステムバス８２を介して、プリンタおよび／またはカメラなどのイメージングデバイスにさらに接続され得る。
【0192】
図１８に示されるようなコンピュータ７を使用する実装に加えて、またはその代替として、本明細書に記載の例示的な実施形態の機能の一部またはすべては、１つまたは複数のハードウェア回路として実装され得る。このようなハードウェア回路の例には、大規模集積回路（ＬＳＩ）、縮小命令セット回路（ＲＩＳＣ）、特定用途向け集積回路（ＡＳＩＣ）、およびフィールドプログラマブルゲートアレイ（ＦＰＧＡ）が含まれるが、これらに限定されない。
【0193】
以下は、上記の様々な態様および例を使用できるいくつかの典型的なシナリオである。
－細胞イメージングプラットフォームを備えたラボ。イメージングプラットフォームに結合されているのは、細胞とバックグランドのセグメンテーション、および核の検出を実行する、深層学習に基づくソフトウェアである。画像は非常に大規模に収集されるため、すべての画像が、手動で制御できるわけではない。例えば、イメージング技術の問題により、細胞イメージングプラットフォームでは、一部の画像で細胞に焦点を合わせることができない場合がある。深層学習に基づくソフトウェアの一部であり得る外れ値検出モジュールは、これらの焦点が合っていない画像に何らかの問題があることを検出し、ユーザ（例えば、オペレータ）に、それぞれ警告を発行する。問題のある画像がユーザに表示され、ユーザはそれぞれのアクションを実行して、例えば、分析からそれらを削除することができる。問題のある画像を、分析から自動的に削除することも可能である。外れ値検出モジュールがないと、画像の問題は検出されないので、誤った分析が行われる可能性がある。
－細胞イメージングプラットフォームを備えたラボ。イメージングプラットフォームに結合されているのは、細胞とバックグランドのセグメンテーション、および核の検出を実行する、深層学習に基づくソフトウェアである。画像は非常に大規模に収集されるため、すべての画像が、手動で制御できるわけではない。例えば、イメージング技術の問題により、細胞イメージングプラットフォームでは、一部の画像で細胞に焦点を合わせることができない場合がある。深層学習に基づくソフトウェアの一部であり得る外れ値検出モジュールは、これらの焦点が合っていない画像に何らかの問題があることを検出し、ユーザ（例えば、オペレータ）に、それぞれ警告を発行する。問題のある画像がユーザに表示され、ユーザはそれぞれのアクションを実行して、例えば、分析からそれらを削除することができる。問題のある画像を、分析から自動的に削除することも可能である。外れ値検出モジュールがないと、画像の問題は検出されないので、誤った分析が行われる可能性がある。
【0194】
－上記のような細胞イメージングと深層学習に基づくソフトウェアを備えたラボ。基礎となる深層学習モデルは、様々な細胞種類のセットでトレーニングされる。ここで、ユーザは、以前は使用されていなかった新しい細胞種類の画像を分析したいと考えている。外れ値検出モジュールを使用すると、新しい細胞種類がトレーニング中に使用される細胞種類と非常に異なっているので安全に使用できない場合に、深層学習モジュールに検出させ、システムにユーザへ警告させることができる。
【符号の説明】
【0195】
ＡＳＩＣ 特定用途向け集積回路
ＢＩＯＳ 基本入出力システム
ＣＤ ＲＯＭ コンパクトディスク読み取り専用メモリ
ＣＮＮ 畳み込みニューラルネットワーク
ＣＰＵ 中央処理装置
ＤＮＮ 深層ニューラルネットワーク
ＧＰＵ グラフィックス処理装置
ＦＰＧＡ フィールドプログラマブルゲートアレイ
ＨＤＤ ハードディスクドライブ
ＨＴＴＰ ハイパーテキスト転送プロトコル
Ｉ／Ｏ入力／出力
ＬＳＩ 大規模集積回路
ＬＯＦ 局所外れ値因子
ＭＣドロップアウト モンテカルロドロップアウト
ＰＣＡ 主成分分析
ＲＡＭ ランダムアクセスメモリ
ＲｅＬｕ／Ｒｅｌｕ 正規化線形ユニット
ＲＩＳＣ 縮小命令セット回路
ＲＯＣ－ＡＵＣ 受信者操作特性、曲線下面積
ＲＯＭ 読み取り専用メモリ
ＲＳＳ 残差平方和
ＳＳＨ セキュアシェル
ＢＩＯＳ 基本入出力システム
ＣＤ ＲＯＭ コンパクトディスク読み取り専用メモリ
ＣＮＮ 畳み込みニューラルネットワーク
ＣＰＵ 中央処理装置
ＤＮＮ 深層ニューラルネットワーク
ＧＰＵ グラフィックス処理装置
ＦＰＧＡ フィールドプログラマブルゲートアレイ
ＨＤＤ ハードディスクドライブ
ＨＴＴＰ ハイパーテキスト転送プロトコル
Ｉ／Ｏ入力／出力
ＬＳＩ 大規模集積回路
ＬＯＦ 局所外れ値因子
ＭＣドロップアウト モンテカルロドロップアウト
ＰＣＡ 主成分分析
ＲＡＭ ランダムアクセスメモリ
ＲｅＬｕ／Ｒｅｌｕ 正規化線形ユニット
ＲＩＳＣ 縮小命令セット回路
ＲＯＣ－ＡＵＣ 受信者操作特性、曲線下面積
ＲＯＭ 読み取り専用メモリ
ＲＳＳ 残差平方和
ＳＳＨ セキュアシェル
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】