知財求人 - 知財ポータルサイト「IP Force」
▶ エフ ホフマン−ラ ロッシュ アクチェン ゲゼルシャフトの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-16
(45)【発行日】2023-11-27
(54)【発明の名称】重なった粒子を含む画像の処理
(51)【国際特許分類】
G06V 10/82 20220101AFI20231117BHJP
G06T 7/00 20170101ALI20231117BHJP
G06V 20/69 20220101ALI20231117BHJP
【ＦＩ】
G06V10/82
G06T7/00 350C
G06T7/00 630
G06V20/69
【請求項の数】
15
【外国語出願】
(21)【出願番号】P 2022115817
(22)【出願日】2022-07-20
(65)【公開番号】P2023016752
(43)【公開日】2023-02-02
【審査請求日】2022-09-15
(31)【優先権主張番号】21187034.0
(32)【優先日】2021-07-21
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】501205108
【氏名又は名称】エフ ホフマン－ラ ロッシュ アクチェン ゲゼルシャフト
(74)【代理人】
【識別番号】110001896
【氏名又は名称】弁理士法人朝日奈特許事務所
(72)【発明者】
【氏名】ニルス ブルエンゲル
(72)【発明者】
【氏名】パトリック コンウェイ
(72)【発明者】
【氏名】パスカル ヴァロットン
【審査官】真木 健彦
(56)【参考文献】
【文献】特表２０２０－５３０９２５（ＪＰ，Ａ）
【文献】特開２０２０－２０１２４３（ＪＰ，Ａ）
【文献】特開２０１６－０１８５３８（ＪＰ，Ａ）
【文献】Zhi Lu et al，An Improved Joint Optimization of Multiple Level Set Functions for the Segmentation of Overlapping Cervical Cells，IEEE Transactions on Image Processing，IEEE，2015年01月09日，Vol.24, No.4, April 2015，P.1261-1272，https://ieeexplore.ieee.org/document/7005499
【文献】Reka Hollandi et al，A deep learning framework for nucleus segmentation using image style transfer，bioRxiv，2019年03月17日，全23ページ，https://www.biorxiv.org/content/10.1101/580605v1
【文献】Trong Huy Phan et al，Resolving Class Imbalance in Object Detection with Weighted Cross Entropy Losses，arXiv，2020年06月02日，全13ページ，https://arxiv.org/ftp/arxiv/papers/2006/2006.01413.pdf，https://arxiv.org/abs/2006.01413
【文献】顧 席銘，教師なしドメイン適応を用いた粒子形状評価，第１３回データ工学と情報マネジメントに関するフォーラム （第１９回日本データベース学会年次大会） ［Ｏｎｌｉｎｅ］ ，日本，2021年03月03日，DEIM Forum 2021 E24-1，全8ページ
【文献】豊田 陽，レーザーデータを用いた地下鉄トンネル内の変状検出に関する検討，映像情報メディア学会技術報告 Ｖｏｌ．４３ Ｎｏ．５，日本，（一社）映像情報メディア学会，2019年02月12日，MMS2019-33 (Feb.2019)，P.295-299
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ １０／８２
Ｇ０６Ｖ ２０／６９
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
重なった粒子を含む画像についてのセグメンテーションマスクを生成するための機械学習モデルを生成するコンピュータ実装方法であって、機械学習アルゴリズムを提供するステップと、
訓練データを生成するコンピュータ実装方法を使用して生成された訓練データを受信するステップと、
受信した前記訓練データを使用して前記機械学習アルゴリズムを訓練して、訓練された前記機械学習モデルを生成するステップと
を含み、
訓練データを生成する前記コンピュータ実装方法が、
重なっていない粒子を含む複数の画像を取得することと、
それぞれが前記複数の画像のそれぞれの画像に対応する、複数のセグメンテーションマスクを取得することと、
前記複数の画像の画像合成によって複数のシミュレートされた合成画像を生成することであって、前記シミュレートされた合成画像は重なった粒子を含む、複数のシミュレートされた合成画像を生成することと、
各シミュレートされた合成画像について、そのシミュレートされた合成画像を生成するために合成された構成画像のそれぞれについて取得された前記セグメンテーションマスクを合成することによって、それぞれのシミュレートされたセグメンテーションマスクを生成することと
を含み、
前記機械学習モデルが、深層学習セグメンテーションアルゴリズムである、
コンピュータ実装方法。
【請求項2】
前記深層学習セグメンテーションアルゴリズムが、重み付き交差エントロピー損失関数を含む、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記重み付き交差エントロピー損失関数の重みが、前記受信した訓練データからｎ個のシミュレートされたセグメンテーションマスクをサンプリングするステップと、
各マスクについて、各画素クラスの画素の合計を計算するステップと、
計算された前記合計を前記マスク内の画素の総数によって除算するステップと、
前記ｎ個のシミュレートされたセグメンテーションマスクにわたって平均をとるステップと、
それらの値の逆数を前記重み付き交差エントロピー損失関数の前記重みとして使用するステップと、を使用して決定される、請求項１に記載のコンピュータ実装方法。
【請求項4】
前記複数の画像は第１の画像および第２の画像を含み、各画像は画素のアレイから構成され、各画素はその画素の特性を示す関連する画素値を有し、
前記複数のセグメンテーションマスクを取得することは、
前記第１の画像に対応する第１のセグメンテーションマスクを取得することと、
前記第２の画像に対応する第２のセグメンテーションマスクを取得することと、を含み、
前記複数のシミュレートされた合成画像を生成することは、前記第１の画像と前記第２の画像とを合成することを含み、
前記複数の前記シミュレートされたセグメンテーションマスクを生成することは、前記第１のセグメンテーションマスクを前記第２のセグメンテーションマスクと合成することを含む、
請求項１に記載のコンピュータ実装方法。
【請求項5】
前記第１の画像と前記第２の画像とを合成することは、前記第１の画像の各画素について、前記画素の前記画素値を第２の画像の対応する画素の前記画素値と合成することで、前記シミュレートされた合成画像の対応する画素の前記画素値を取得することを含む、
請求項４に記載のコンピュータ実装方法。
【請求項6】
前記第１の画像の前記画素の前記画素値を前記第２の画像の前記対応する画素の前記画素値と合成することは、その２つの画素値のうちの最小の画素値を選択することと、その最小の画素値を前記シミュレートされた合成画像の前記対応する画素の前記画素値として使用することと、を含む、請求項５に記載のコンピュータ実装方法。
【請求項7】
前記セグメンテーションマスクが複数の画素を含み、各画素が、その画素が属するクラスを示すマスク画素値を有し、前記クラスは、
その画素内に粒子が存在しないことを示す背景クラスと、
その画素内に存在する粒子があることを示す粒子クラスと、を含む、請求項１に記載のコンピュータ実装方法。
【請求項8】
前記複数の画像は第１の画像および第２の画像を含み、各画像は画素のアレイから構成され、各画素はその画素の特性を示す関連する画素値を有し、
前記複数のセグメンテーションマスクを取得することは、
前記第１の画像に対応する第１のセグメンテーションマスクを取得することと、
前記第２の画像に対応する第２のセグメンテーションマスクを取得することと、を含み、
前記複数のシミュレートされた合成画像を生成することは、前記第１の画像と前記第２の画像とを合成することを含み、
前記複数の前記シミュレートされたセグメンテーションマスクを生成することは、前記第１のセグメンテーションマスクを前記第２のセグメンテーションマスクと合成することを含み、
前記第１のセグメンテーションマスクを前記第２のセグメンテーションマスクと合成することは、前記第１のセグメンテーションマスクの画素の画素値を前記第２のセグメンテーションマスクの対応する画素の画素値と合成して、前記シミュレートされたセグメンテーションマスクの前記対応する画素の画素値を決定することを含み、前記シミュレートされたセグメンテーションマスクの前記画素値が、前記シミュレートされたセグメンテーションマスクの前記画素が属するクラスを示す、請求項７に記載のコンピュータ実装方法。
【請求項9】
前記背景クラスの画素を前記背景クラスの別の画素と合成することで、背景クラス内の画素を生成し、
前記背景クラスの画素と前記粒子クラスの画素とを合成することで、重なっていない粒子クラス内の画素を生成し、
前記粒子クラスの画素を前記粒子クラスの別の画素と合成することが、前記重なった粒子クラスの画素を生成する、請求項８に記載のコンピュータ実装方法。
【請求項10】
前記複数のシミュレートされた合成画像が、第１のスタイルであり、
前記方法が、前記複数のシミュレートされた合成画像のそれぞれを変換して、第２のスタイルの複数のシミュレートされた変換合成画像それぞれを生成することをさらに含み、前記第２のスタイルは、前記機械学習モデルが最終的に分析に使用される画像のスタイルである、請求項１に記載のコンピュータ実装方法。
【請求項11】
生成された前記複数のシミュレートされた合成画像を前記第１のスタイルから前記第２のスタイルに変換することは、前記複数のシミュレートされた合成画像のそれぞれにスタイル変換アルゴリズムを適用することを含む、請求項１０に記載のコンピュータ実装方法。
【請求項12】
前記粒子が、赤血球、白血球、ナノ粒子、オルガネラ、腫瘍細胞、循環腫瘍細胞、骨髄細胞、病原性細胞、病原性細胞と健常な細胞との混合物、幹細胞、細菌、酵母、微粒子、バクテリオファージ、ビーズ、蛍光物体、燐光物体、または半透明物体のうちの１つまたは２つ以上を含む、請求項１に記載のコンピュータ実装方法。
【請求項13】
前記機械学習モデルが、Ｕ－Ｎｅｔモデル、Ｆａｓｔ Ｒ－ＣＮＮモデル、Ｆａｓｔｅｒ Ｒ－ＣＮＮモデル、または、ＹＯＬＯモデルである、請求項１に記載のコンピュータ実装方法。
【請求項14】
重なった粒子を含む画像のセグメンテーションマスクを生成するコンピュータ実装方法であって、重なった粒子を含む画像を受信するステップと、
受信した前記画像に機械学習モデルを適用するステップであって、前記機械学習モデルが、請求項１～１３のいずれか１項に記載のコンピュータ実装方法を使用して生成され、かつ前記受信した画像に基づいてセグメンテーションマスクを生成するように構成され、前記セグメンテーションマスクが、重なった粒子を含む前記画像の領域を示す、機械学習モデルを適用するステップと
を含む、コンピュータ実装方法。
【請求項15】
重なった粒子を含む画像のセグメンテーションマスクを生成するためのシステムであって、請求項１４に記載の方法を実行するように構成される、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、重なった粒子を含む画像のセグメンテーションマスクを生成するための機械学習モデルを訓練するために使用される訓練データを生成するコンピュータ実装方法、ならびに機械学習モデルを生成するコンピュータ実装方法、および重なった粒子を含む画像のセグメンテーションマスクを生成する方法に関する。
【背景技術】
【0002】
多くの医学的状況では、臨床医および科学者が細胞および細胞集団の画像を確実に分析することができることが不可欠である。そのような分析は、細胞の計数、平均細胞体積の定量化、および関連する細胞形状の測定を含むことができる。画像が疎な細胞集団を含む場合、これらの分析技術を簡単に自動化することができる。しかしながら、より高密度の細胞集団では、スライド画像内に重なった細胞が存在することが多く、これらの作業をはるかに問題にする。これは、例えば、重なりおよび／または凝集が特に一般的な問題である赤血球の集団に特に当てはまる。
【0003】
機械学習技術は、重なった細胞を含むそのような画像の分析を大いに支援してきた。しかしながら、そのようなモデルを訓練するためには、グラウンドトゥルース情報、すなわち重なった細胞を含む画像の「正しい」セグメンテーションマスクが必要である。現在、そのようなグラウンドトゥルース情報の生成は、非常に時間がかかり、通常、前記画像を機械学習モデルの訓練に使用することができるようになる前に、訓練された臨床医による画像の手動の骨の折れる注釈を必要とする。
【0004】
本発明は、グラウンドトゥルース情報を準備する際のこの困難さを解消し、それによって訓練データを生成することができる効率、したがって、ロバストな機械学習モデルを生成することができる効率を高めることを目的とする。本発明の主な用途は、重なった細胞を含む画像に関するが、重なった粒子を含む他の画像にも等しく適用可能であることに留意されたい。
【発明の概要】
【0005】
大まかに言えば、本出願は、機械学習モデルの訓練データを生成することができるプロセスを対象とする。高レベルでは、データは、重なっていない粒子の画像用のセグメンテーションマスクを取得することによって生成される。そして、重なっていない粒子の画像が重ね合わせられて、シミュレートされた合成画像を生成する。次いで、これらのシミュレートされた合成画像の適切なセグメンテーションマスクは、重なっていない粒子を含む構成画像のそれぞれのセグメンテーションマスクを重ね合わせることによって生成される。
【0006】
より具体的には、本発明の第１の態様によれば、重なった粒子を含む画像のセグメンテーションマスクを生成するための機械学習モデルを訓練するために使用される訓練データを生成するコンピュータ実装方法であって、方法が、重なっていない粒子を含む複数の画像を取得することと、それぞれが複数の画像のそれぞれの画像に対応する、複数のセグメンテーションマスクを取得することと、複数の画像の画像合成によって複数のシミュレートされた合成画像を生成することであって、シミュレートされた合成画像が重なった粒子を含む、複数のシミュレートされた合成画像を生成することと、各シミュレートされた合成画像について、そのシミュレートされた合成画像を生成するために合成された構成画像のそれぞれについて取得されたセグメンテーションマスクを合成することによって、シミュレートされたセグメンテーションマスクを生成することと、を含む、コンピュータ実装方法が提供される。
【0007】
このようにして生成された訓練データは、重なった粒子の画像から高精度のセグメンテーションマスクをもたらすことが示されている（後述参照）。
【0008】
本出願で使用される文言は明確であり、当業者によってよく理解される。しかしながら、誤解を避けるために、本発明者らは、特許請求の範囲の解釈を助けるためにいくつかの定義を以下に記載する。
【0009】
● 「機械学習モデル」は、入力から意味のある出力を生成するために機械学習の原理に依存する分析モデルである。具体的には、機械学習モデルは、その性能が経験によって改善することができ、「学習」することができ、したがって、それらがますます多くの訓練データに適用されるため、例えば手動の人間の処理と比較して結果の精度を改善することができるモデルである。機械学習モデルは、分類モデル（入力があるカテゴリに分類される）であってもよく、または回帰モデル（入力に基づいてパラメータの連続値が予測される）であってもよい。本発明は、教師あり学習に依存するモデル、すなわち、訓練データが入力およびそれらの入力に関連する「正しい」出力を含むモデルに関する。これは、グラウンドトゥルース情報と呼ばれることがある。場合によっては、機械学習モデルは、上述したように、訓練データが入力データのみ、ならびに入力および「正しい」出力を含むデータの混合を含む「半教師あり」学習に依存することができる。多くの場合、機械学習モデルは、数学的最適化の原理に基づいて動作する。本発明で使用される本発明の第１の態様の訓練データ生成方法から利益を得ることができる機械学習モデルの例は、Ｒｏｎｎｅｂｅｒｇｅｒら（２０１５）1に記載されているＵ－Ｎｅｔアルゴリズム、Ｇｉｒｓｈｉｃｋら（２０１３）2に記載されているＦａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、およびＹＯＬＯアルゴリズムである。
【0010】
● 機械学習モデルの「訓練」は、機械学習モデルの性能を向上させるプロセスである。本発明では、「訓練データ」が使用されてモデルを訓練する。訓練データは、入力が「正しい」出力と関連付けられるデータのセットを含む。これは、「ラベル付き」データと呼ばれることがある。例えば、本発明では、訓練データは、シミュレートされた合成画像のペア（入力）と、シミュレートされたセグメンテーションマスク（出力）とを含む。これらは、好ましくは、訓練効率を確保するために互いに関連付けて記憶される。
【0011】
● 本発明の文脈において、重なっていない粒子の複数の画像を「取得する」ことは、画像を直接取得すること、すなわちカメラなどの何らかの種類の画像取込装置を使用して画像を取り込むことのいずれかを含むことができる。あるいは、複数の画像を「取得する」ことは、前のステップにおいて取り込まれた後に複数の画像を受信することを指すことができる。これらの画像の取得に関するさらなる詳細は、本出願の後半で説明される。「重なっていない粒子を含む画像」は、重なっていない粒子のみを含む画像、または粒子間の重なりを実質的に含まない画像を意味すると解釈されるべきである。
【0012】
● 本発明は、重なっていない粒子の複数の画像のそれぞれについてのセグメンテーションマスクを取得するステップを含む。本明細書では、「セグメンテーションマスク」という用語は、それぞれが好ましくは画像のそれぞれの画素に対応する値の２次元配列を指し、画素に対応する値は、その画素に示されているものを分類する情報を提供する。セグメンテーションマスクの各画素が取り得る値の範囲は、少数の値にのみ制限されることが好ましい。例えば、セグメンテーションマスクは、例えば、０の値は画素内にセルが存在しないことを意味し、１の値は画素内にセルが存在することを意味する、バイナリセグメンテーションマスクの形態であってもよい。後で説明するように、重なった粒子を含む画像が考慮されるとき、セグメンテーションマスクは、３つ以上の値をとることができる。セグメンテーションマスク内の画素の値は、（後述する）画像の「画素値」と同じではない。混乱を避けるために、セグメンテーションマスク内の画素値は、以降マスク画素値と呼ばれる。
【0013】
さらなる定義は、本文全体を通して記載され得る。
【0014】
場合によっては、重なっていない粒子のみを含む画像を取得することは困難であり得る。したがって、そうであることを保証するために、重なっていない粒子を含む複数の画像を取得することは、複数の画像を取得することであって、複数の画像が、重なっていない粒子を含む画像の第１のサブセットと、重なっていない粒子および重なった粒子を含む画像の第２のサブセットとを含む、複数の画像を取得することと、複数の画像から画像の第２のサブセットを除去することと、を含むことができる。画像の第２のサブセットの除去は、手動で（すなわち、経験豊富な臨床医または科学者によって）または自動的に実行されてもよい。例えば、独立したニューラルネットワークの方法を訓練して、重なった粒子を含むそれらの画像を認識し、その後それらを除去することができる。このようにして、重なっていない粒子を含む画像のみが残る。これは、画像の第１のサブセットから取得されるセグメンテーションマスクが、重なっていない画像からのみ取得されるため、より正確であることを意味するため、有利である。
【0015】
複数の画像のセグメンテーションマスクを取得することができる多くの方法がある。例えば、複数の画像の各画像についてのセグメンテーションマスクを取得することは、画像に適応的閾値アルゴリズムを適用することを含むことができる。追加的または代替的に、複数の画像の各画像についてのセグメンテーションマスクを取得することは、例えば、Ｖａｌｌｏｔｔｏｎら（２００９）3において使用されるように、画像にラプラシアンエッジ検出アルゴリズムを適用することを含むことができる。様々な画像セグメンテーション方法は当業者にとって周知であり、オンライン4で見つけることができることに留意されたい。上記で概説したように、セグメンテーションマスクを取得することは、バイナリセグメンテーションマスクを取得することを含み、１のマスク画素値は、画像内の所与の点に細胞が存在するか、または存在しないかを示し、０のマスク画素値は、その逆の場合を示すことが好ましい。好ましくは、１のマスク画素値はセルが存在することを示し、０のマスク画素値はセルが存在しないことを示す。本質的に、セグメンテーションマスクは、細胞が白色で示され、背景が黒色で示される、またはその逆の白黒画像と同等のものを提供する。
【0016】
ここで、セグメンテーションマスク、シミュレートされた合成画像、およびシミュレートされたセグメンテーションマスクがどのように生成されるかをより詳細に説明する。これは、複数の画像のうちの第１の画像および第２の画像を参照して行われるが、これは、複数の画像のうちの２対以上の画像に適用され得ることが理解されよう。例えば、このプロセスは、複数の画像のうちの２つの画像の可能な組み合わせごとに行われてもよい。あるいは、ペアのランダムなセットが決定されてもよく、プロセスは、それらの決定されたペアに対してのみ行われてもよい。
【0017】
複数の画像は、第１の画像および第２の画像を含むことができ、各画像は画素のアレイから構成され、各画素は関連する画素値を有する。ここで、「画素値」という用語は、画素を定義するために使用される１つまたは２つ以上の値を指すために使用される。例えば、グレースケール画像では、画素値は、画素の輝度または強度を定義する単一の値を含むことができる。これは、例えば０から２５５の尺度で測定され得る。あるいは、カラー画像では、画素値は、（０から２５５のスケールであってもよい）画素のＲＧＢ値を表す３つの値を含んでもよい。色相、彩度、［強度、値、明るさ、または輝度］表現、またはＹＣｂＣｒ表現などの他の３値表現が使用されてもよい。画素値は、輝度または色（またはその双方）にかかわらず、画素の特性を表すことが理解されよう。複数のセグメンテーションマスクを取得するステップは、好ましくは、第１の画像に対応する第１のセグメンテーションマスクを取得することと、第２の画像に対応する第２のセグメンテーションマスクを取得することと、を含む。次いで、複数のシミュレートされた合成画像を生成することは、第１の画像と第２の画像とを合成することを含むことができる。また、シミュレートされたセグメンテーションマスクを生成することは、第１のセグメンテーションマスクを第２のセグメンテーションマスクと合成することを含むことができる。
【0018】
シミュレートされた合成画像を生成するために第１の画像と第２の画像とを合成することは、いくつかの方法で達成され得る。具体的には、第１の画像と第２の画像とを合成することは、第１の画像の各画素について、その画素の値を第２の画像内の対応する画素の画素値と合成して、シミュレートされた画像の対応する画素を取得することを含むことができる。この合成は、単純な加法的な合成であってもよいし、２つの画素値の平均を取ってもよい。しかしながら、本発明者らは、加法的な合成または平均的な方法よりも効果的な結果をもたらす画素値を合成する２つの方法を特定した。
【0019】
ｉ． 第一に、場合によっては、第１の画像の画素値を第２の画像の対応する画素の画素値と合成することは、２つの画素値の最小画素値を選択することと、シミュレートされた画像の対応する画素値にその最小画素値を使用することと、を含む。具体的には、ここでの「最小画素値」は、最小輝度または最小強度画素値を指す。したがって、画素値が強度画素値を明示的に含まない場合（例えば、画素値が画素の色のＲＧＢ表現を含む場合）、このステップは、２つの最小値を選択する前に、問題の画素の強度値を導出するサブステップをさらに含むことができる。このステップは、例えば、チャネルがＲＧＢ値を表す場合に［ｍｉｎ（ｒ1，ｒ2）、ｍｉｎ（ｇ1，ｇ2）、ｍｉｎ（ｂ1，ｂ2）］の値を有する最小画素を生じさせるために、３つの画像チャネルのそれぞれに対して別々に実行されてもよい。他のタイプの画像チャネルが使用されてもよいことが理解されよう。画素値を合成するこの方法は、特に効果的であることが示されている。
【0020】
ｉｉ． 代替的な場合には、第１の画像の画素値を第２の画像の対応する画素の画素値と合成することは、第１の画像の画素の吸光度値を第２の画像の対応する画素の吸光度値に加算することと、加算結果の指数を計算することと、計算された指数をシミュレートされた画像の対応する画素の画素値として使用することと、を含む。画素値を合成するこの方法も、特に効果的であることが示されている。同様に、前の段落のように、第１の画像および第２の画像の画素値が吸光度値を含まない場合、このステップは、吸光度値をともに加算する前に、問題の画素の吸光度値を導出するサブステップをさらに含むことができる。
【0021】
ここで、セグメンテーションマスクの性質およびそれらの組み合わせについてより詳細に論じる。セグメンテーションマスクは、複数の画素を含むことができ、各画素は、その画素が属するクラスを示すマスク画素値を有する。クラスは、その画素に粒子が存在しないことを示す背景クラス（例えば、０または１のうちの１つのマスク画素値）、またはその画素に粒子が存在することを示す粒子クラス（例えば、０または１の他方のマスク画素値）を含むことができる。第１のセグメンテーションマスクを第２のセグメンテーションマスクと合成することは、第１のセグメンテーションマスクの画素のマスク画素値を第２のセグメンテーションマスクの対応する画素のマスク画素値と合成して、シミュレートされたセグメンテーションマスクの対応する画素のマスク画素値を決定することを含むことができ、シミュレートされたセグメンテーションマスクのマスク画素値は、シミュレートされたセグメンテーションマスクのその画素が属するクラスを示す。第１のセグメンテーションマスクおよび第２のセグメンテーションマスクは、好ましくはバイナリセグメンテーションマスクであるため、セグメンテーションマスクを合成するプロセスは、例えば、重なった粒子を含む画像内の重なった領域を手動で識別するよりも労働集約的ではない簡単なプロセスであることが理解されよう。
【0022】
第１のセグメンテーションマスクおよび第２のセグメンテーションマスクがバイナリマスクである場合、シミュレートされたセグメンテーションは、３つのクラスを有することが理解されよう。すなわち、背景クラスの画素を背景クラスの別の画素と合成することで、背景クラスの画素を生成することができる。背景クラスの画素を粒子クラスの画素と合成することで、重なっていない画素クラス内の画素を生成する。粒子クラスの画素を粒子クラスの別の画素と合成することで、重なった粒子クラスの粒子を生成する。これらのクラスは、特定のマスク画素値に対応することができる。例えば、第１のセグメンテーションマスクおよび第２のセグメンテーションマスクでは、０のマスク画素値は、背景クラスに対応することができる。１のマスク画素値は粒子クラスに対応することができる。シミュレートされたセグメンテーションマスクでは、０のマスク画素値は背景クラスに対応し得る。１のマスク画素値は、重なっていない粒子クラスに対応することができ、２のマスク画素値は、重なった粒子クラスに対応することができる。これは、処理がここでいかに簡単であるかを示し、効率の大幅な改善につながる。
【0023】
本発明は、多くの用途に使用され得る。具体的には、組織学的画像の分析におけるその使用は有益であるが、他の使用も想定される。粒子は、以下：赤血球、白血球、ナノ粒子、オルガネラ、腫瘍細胞、循環腫瘍細胞、骨髄細胞、病原性細胞または病原性細胞と健常な細胞との混合物、幹細胞、細菌、酵母、微粒子、バクテリオファージ、ビーズ、蛍光物体、燐光物体、または半透明物体のうちの１つまたは２つ以上を含むことができる。
【0024】
場合によっては、これまでに説明した方法で合成することによって実際の重なった粒子の外観を現実的にシミュレートすることは困難であり得る。機械学習モデルが最終的にプロセスに使用されるのと同じ種類の粒子を示す画像を含むことが訓練データにとって重要である。換言すれば、シミュレートされた画像のスタイルは、機械学習モデルが最終的に分析に使用される画像のスタイルとは異なる場合がある。この問題には、スタイル変換アルゴリズムを使用することによって対処することができる。
【0025】
変換は、以下のように行うことができる。
【0026】
● ある場合には、取得された複数の画像は、機械学習モデルが最終的に分析に使用される画像のスタイルとは異なる第１のスタイルとすることができる。次いで、本方法は、取得された複数の画像のそれぞれを、機械学習モデルが最終的に分析に使用される画像のスタイルである第２のスタイルの変換された複数の画像に変換するステップをさらに含むことができる。次いで、本方法の後続のステップは、取得された複数の画像ではなく、変換された複数の画像に対して通常通り実行することができる。
【0027】
● 変換は、シミュレートされた合成画像の生成後に行うことができる。具体的には、第１のスタイルである複数のシミュレートされた合成画像を生成した後、本方法は、シミュレートされた合成画像のそれぞれを変換して、第２のスタイルの、複数のシミュレートされた変換合成画像のそれぞれを生成することを含むことができ、第２のスタイルは、機械学習モデルが最終的に分析に使用される画像のスタイルである。
【0028】
● 場合によっては、上記のプロセスの双方が行われてもよい。例えば、取得された複数の合成画像は、セグメンテーションマスクを生成する目的で第２のスタイルに変換されてもよい。しかしながら、元の（第１のスタイルの）画像を合成してシミュレートされた合成画像を生成することができ、それ自体を（別々に）第２のスタイルに変換することができる。
【0029】
ここで、「スタイル」という用語は、画像内の粒子の一般的な外観を指すことができる。例えば、冬の風景の画像を同等の夏のバージョンに変換したり、人が年を取ったときにどのように見えるかの写真を生成したりすることを可能にするスタイル変換アルゴリズムが開発されている。本発明の文脈において、スタイル変換アルゴリズムは、それらの重なった物体の実際の画像によって示される統計的特性を正確に取り込むことができない重なった物体のシミュレートされた画像を、アルゴリズムの訓練に役立つ現実的な外観の画像に変換するために使用される。
【0030】
好ましくは、問題の画像を第１のスタイルから第２のスタイルに変換することは、スタイル変換アルゴリズムを画像に適用することを含む。具体的には、取得された複数の画像または複数のシミュレートされた画像の組み合わせのいずれかがスタイル変換アルゴリズムに入力されてもよい。スタイル変換アルゴリズムは、好ましくは畳み込みニューラルネットワークまたは敵対的生成ニューラルネットワーク（ＧＡＮ）を含む機械学習アルゴリズムとすることができる。適切なスタイル変換アルゴリズムは、Ｇａｔｙｓら（２０１６）5、Ｌｉら（２０１７）6、Ｐｒａｒａｍａｄｈａｎら（２０２１）7およびＫａｒｒａｓら（２０２０）8である。
【0031】
上記の特徴は、機械学習モデルのための訓練データの生成に関する。本発明の第２の態様は、重なった粒子を含む画像についてのセグメンテーションマスクを生成するための機械学習モデルを生成するコンピュータ実装方法であって、機械学習アルゴリズムを提供するステップと、本発明の第１の態様のコンピュータ実装方法によって生成された訓練データを受信するステップと、受信した訓練データを使用して機械学習アルゴリズムを訓練して、訓練された機械学習モデルを生成するステップと、を含む、コンピュータ実装方法を提供する。場合によっては、提供される機械学習アルゴリズムは、深層学習セグメンテーションアルゴリズムであってもよい。本発明にとって特に有益な深層学習セグメンテーションアルゴリズムの１つのタイプは、Ｒｏｎｎｅｂｅｒｇｅｒら（２０１５）9に記載されているＵ－Ｎｅｔアルゴリズム、または個々の画素の分類を可能にする任意の同様のセグメンテーションアルゴリズムまたはエンコーダ－デコーダアーキテクチャである。あるいは、重なった領域の境界ボックスは、ＹＯＬＯ（「一度だけ見る」）アルゴリズムなどの深層学習アルゴリズムを使用して識別することができ、その場合、境界ボックスは、セグメンテーションマスクの極限点を取ることによってセグメンテーションマスクから単純に導出することができる。
【0032】
場合によっては、機械学習アルゴリズムまたは深層学習アルゴリズムは、重み付き交差エントロピー損失関数を含むことができる。これは、粒子よりも画像内の背景が多く、重なった粒子によって占有される領域よりも粒子によって占有される領域が多い可能性が高いため、データセットの不均衡に対処するのに有用である。具体的には、重み付き交差エントロピー損失関数の重みは、以下：受信した訓練データからｎ個のシミュレートされたセグメンテーションマスクをサンプリングするステップ、各マスクについて、各画素クラス内の画素の合計を計算するステップ、計算された合計をシミュレートされたセグメンテーションマスク内の画素の総数によって除算するステップ、ｎ個のシミュレートされたセグメンテーションマスクにわたって平均を取るステップ、およびそれらの値の逆数を使用するステップを使用して決定することができる。
【0033】
コンピュータ実装方法は、受信した訓練データを拡張することをさらに含むことができる。拡張という用語は、データセットの拡大を指すために当該技術分野において周知であり、これは、より大量の訓練データ、したがって所与の量の入力画像に対してより完全に訓練された機械学習モデルを提供する。あるいは、拡張とは、小さい初期データセットのみを使用してモデルを十分に訓練することができることを意味する。拡張は、２つの異なる段階、すなわち、シミュレートされた合成画像を生成するための画像の合成の前、および最終段階に行われてもよい。これらについて順に説明する。
【0034】
コンピュータ実装方法は、取得された複数の画像から拡張された複数の画像を生成するステップをさらに含むことができる。拡張された複数の画像を生成することは、取得された複数の画像の各画像に１つまたは２つ以上の変換を適用することを含むことができ、各変換は、それぞれの変換画像をもたらす。ここで、変換は、回転、並進、反射、またはスケーリングであってもよい。好ましい例では、２つの変換画像は、垂直フリップおよび（別々に）水平フリップを適用することによって所与の画像から生成することができる。これは、シミュレートされた合成画像を生成することができる画像の数を効果的に３倍にし、したがって、生成することができるシミュレートされた合成画像の数、したがって本発明の第１の態様のコンピュータ実装方法を使用して生成する訓練データの量を大幅に増加させる。コンピュータ実装方法がこの拡張ステップを含む場合、拡張された複数の画像の画像を合成することによってシミュレートされた合成画像が生成され、拡張された複数の取得画像のそれぞれの画像に対して複数のセグメンテーションマスクが取得されることに留意されたい。
【0035】
これに加えて、シミュレートされた合成画像およびシミュレートされたセグメンテーションマスクはまた、これらに同じ種類の変換を適用することによって体積を増加させることができ、それによって最終段階においてさらに拡張することを含む。具体的には、１つまたは２つ以上の変換が各シミュレートされた合成画像に適用されて、１つまたは２つ以上のシミュレートされた変換合成画像それぞれを生成することができる。同じことがシミュレートされたセグメンテーションマスクに対して行われ、それぞれの変換されたセグメンテーションマスクを生成することができる。次いで、各変換されてシミュレートされたセグメンテーションマスクが、対応する変換されてシミュレートされた合成画像に関連付けられ得る。これは、訓練データの量のさらなる増加を提供する。
【0036】
上記では、訓練データが生成されるプロセス、およびその訓練データが機械学習モデルを生成するためにどのように使用されるかについて説明した。したがって、本発明の第３の態様は、重なった粒子を含む画像のセグメンテーションマスクを生成するコンピュータ実装方法であって、重なった粒子を含む画像を受信するステップと、受信した画像に機械学習モデルを適用するステップであって、機械学習モデルが、本発明の第２の態様のコンピュータ実装方法を使用して生成され、かつ受信した画像に基づいてセグメンテーションマスクを生成するように構成され、セグメンテーションマスクが、重なった粒子を含む画像の領域を示す、機械学習モデルを適用するステップと、を含む、コンピュータ実装方法を提供する。コンピュータ実装は、出力、すなわちセグメンテーションマスクを表示するステップをさらに含むことができる。具体的には、セグメンテーションマスクの生成に応答して、コンピュータ実装方法は、コンピュータなどによって受信されたときに、コンピュータにセグメンテーションマスクを表示構成要素に表示させるコンピュータ可読命令を生成するステップをさらに含むことができる。
【0037】
説明したように、本発明の第１の態様にかかる大量の訓練データに基づいて生成された機械学習モデルは、必然的により効果的であり、粒子の重なった領域の形状をより正確に示す、より正確なセグメンテーションマスクを提供することができる。これは、粒子形状を（粒子が重なる場合であっても）識別することができる精度の向上が、粒子の形状、サイズ、および／または体積に基づいて粒子を分類する能力の向上につながるため、有利である。これは、重なった細胞の集団を示す画像に対してセグメンテーションマスクが生成される場合に特に重要である。それらのサイズ、形状、および／または体積、ならびに任意の他の空間的または構造的特性に基づいて細胞を自動的且つ確実に分類する能力は、例えば診断の改善につながることができる。
【0038】
コンピュータ実装発明は、生成されたセグメンテーションマスク内の１つ以上の粒子の特性を決定するステップをさらに含むことができる。本明細書において、特徴は、サイズ、形状、面積、ヘモグロビン含有量および／または体積を含むことができる。好ましくは、粒子の複数または全ての特性を決定することができる。
【0039】
本発明の第４の態様は、重なった粒子を含む画像内の粒子を自動的に分類するコンピュータ実装方法であって、本発明の第３の態様のコンピュータ実装方法に従って画像のセグメンテーションマスクを生成することと、粒子の形状、サイズ、および／または体積のうちの１つ以上に基づいて、セグメンテーションマスク内の粒子のうちの少なくとも１つのクラスを決定することと、を含む、コンピュータ実装方法を提供することができる。好ましくは、粒子の少なくとも１つのクラスを決定するコンピュータ実装方法は、画像内の複数の粒子のクラス、より好ましくは画像内の粒子の全てを決定することを含む。場合によっては、画像内の全粒子のクラスのみが決定されてもよい。クラスを決定することは、粒子の特性を決定することと、続いて、決定された特性に基づいて粒子をグループ化することと、を含むことができる。本発明の第４の態様にかかるコンピュータ実装方法は、好ましくは、粒子が細胞（その種類は本出願において先に列挙されている）である画像に関する。本発明の第４の態様のコンピュータ実装方法の１つの特に有益な用途は、サラセミア、すなわち、患者のヘモグロビンレベルが正常と比較して低下している血液障害の診断である。公知の方法を使用したサラセミアの診断は、重なりの結果として、赤血球の分割が不完全であるために失敗することがある。これは、赤血球の体積の過小評価につながる可能性がある。本発明は、これらの問題に対処する。
【0040】
上記定義された本発明の第１から第４の態様は、コンピュータ実装方法に関する。しかしながら、本発明の他の態様も想定される。本発明のさらなる態様は、プログラムがコンピュータによって実行されると、コンピュータ（または具体的には、そのプロセッサ）に、本発明の第１から第４の態様のいずれかの方法を実行させる命令を含むコンピュータプログラムを提供する。本発明の別の態様は、本発明の前述の態様のコンピュータプログラムを記憶したコンピュータ可読データキャリアを提供する。本発明の別の態様は、本発明の第１から第４の態様のいずれか１つのコンピュータ実装方法を実行するように構成されたプロセッサを備えるシステムを提供する。
【0041】
本発明は、そのような組み合わせが明らかに許容されないかまたは明示的に回避される場合を除き、記載された態様および好ましい特徴の組み合わせを含む。
【0042】
ここで、本発明の実施形態を、添付の図面を参照して説明する。
【図面の簡単な説明】
【0043】
【図1】本発明の第１の態様のコンピュータ実装方法を実行するために使用され得るシステムの例を示している。
【図2】本発明の第１の態様にかかるコンピュータ実装方法の例を示している。
【図4】本発明の第４の態様のコンピュータ実装方法に従って、重なった粒子を含む画像内の粒子を分類することができる一連のステップを示している。
【図5】本発明の第３の態様にかかるコンピュータ実装方法を使用して取得することができる結果の例を示している。
【図6A】本発明の第３の態様にかかるコンピュータ実装方法を使用して取得することができる結果の例を示している。
【図6B】本発明の第３の態様にかかるコンピュータ実装方法を使用して取得することができる結果の例を示している。
【発明を実施するための形態】
【0044】
ここで、本発明の態様および実施形態を、添付の図面を参照して説明する。さらなる態様および実施形態は、当業者には明らかであろう。本明細書で言及される全ての文書は、参照により本明細書に組み込まれる。
【0045】
図１は、本発明の第１、第２、第３、および第４の態様のコンピュータ実装方法を実行するために使用され得るシステム１００の例を示している。これはシステムの例にすぎず、そのようなシステムの構成要素は必要に応じて容易に再編成され得ることが当業者によって理解されよう。システム１００のそのような再編成されたバージョンも、本発明によって包含されると見なされるべきである。システム１００は、ネットワーク１０６を介して接続されたクライアント装置１０２、画像取込装置１０３、および画像処理システム１０４を含む。ネットワーク１０６は、有線ネットワーク、またはＷｉ－Ｆｉネットワークなどの無線ネットワーク、またはセルラーネットワークの形態とすることができる。システム１００は、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）の形態であってもよい。好ましくは、クライアント装置１０２および画像取込装置１０３は、インターネットを介して画像処理システム１０４に接続される。代替の構成（図示せず）では、クライアント装置１０２および画像処理システム１０４の機能は、画像取込装置１０３に直接接続され得る同じコンピュータ上に設けられてもよい。本明細書では、「コンピュータ」という用語は、従来のデスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン、または当業者が知っている任意の他の種類のコンピューティング装置を包含すると理解されるべきである。本出願を通じて、様々な機能「モジュール」を参照する。これらのモジュールは、物理ハードウェアモジュール、またはコードで実装されるソフトウェアモジュールの形態であってもよい。モジュールは、ハードウェアモジュールとソフトウェアモジュールとの組み合わせであってもよい。本発明の文脈において、クライアント装置１０２は、本発明の第３の態様のコンピュータ実装方法を使用してセグメンテーションマスクを取得するために、ユーザが画像（重なった粒子を含む）をアップロードすることができるユーザ装置である。画像取込装置１０３は、カメラを備えることができ、カメラは、例えば、顕微鏡（図示せず）または肉眼では見えない可能性がある粒子の画像を取得するように適合された任意の他の実験装置に接続され得る。場合によっては（ここでも図示せず）、クライアント装置１０２は、画像取込装置１０３を含むことができる。
【0046】
ここで、図２のフローチャートに関してシステム１００の動作を説明する前に、システム１００の構造をより詳細に説明する。画像処理システム１０４は、クライアントインターフェースモジュール１０７と、プロセッサ１０８と、画像取込装置インターフェースモジュール１０９と、メモリ１１０とを含む。プロセッサ１０８は、画像フィルタリングモジュール１１３、セグメンテーションモジュール１１４、データ拡張モジュール１１５、画像合成モジュール１１６、シミュレートされたセグメンテーションマスク生成モジュール１１８、およびスタイル変換モジュール１２０を含む訓練データ生成モジュール１１２を含む機械学習モデル訓練モジュール１１１を含む複数の機能モジュールを含む。機械学習モデル訓練モジュール１１１は、訓練モジュール１１９をさらに含む。プロセッサ１０４は、セグメンテーションマスク生成モジュール１２２と、特徴抽出モジュール１２４と、分類モジュール１２６とをさらに含む。メモリ１１０は、機械学習モデル１２８と、バッファ１３０と、訓練データのデータベース１３２とを含む。前の段落で述べた各モジュールの機能は、当業者にとって明らかであるが、完全を期すために、ここで図２および図３Ａから図３Ｅを参照してシステムの動作を詳細に説明する。
【0047】
図２および図３Ａから図３Ｅは、本発明の第１の態様にかかる例示的なコンピュータ実装方法、すなわち、重なった粒子を含む画像のセグメンテーションマスクを生成するための機械学習モデルを訓練するために使用される訓練データを生成するためのコンピュータ実装方法を表している。図示の例では、図２に示すコンピュータ実装方法は、機械学習モデル訓練モジュール１１１の訓練データ生成モジュール１１２によって実行される。
【0048】
－ 第１ステップＳ１００では、複数の画像が取得される。例えば、複数の画像は、ネットワーク、および画像取込装置インターフェースモジュール１０９またはクライアント装置インターフェースモジュール１０７を介して、画像取込装置１０３またはクライアント装置１０２からそれぞれ受信され得る。あるいは、複数の画像は、データベースまたは他のソースからダウンロードされてもよい。ステップＳ１００において複数の画像が取得される手段は、本発明の中心ではなく、当業者は、それらが取得され得る多くの方法があることを容易に理解するであろう。複数の画像の画像は、好ましくは、図３Ａに示すように、粒子の比較的疎な集団を含む。図３Ａは、それぞれが粒子の疎な集団を含む４つの例示的な画像Ａ、Ｂ、Ｃ、Ｄを示している。図３Ａから図３Ｅは、画像の概略バージョンを示し、実施される場合、画像は、機械学習モデル１２８が最終的に使用される粒子の種類を示すことが好ましいことが理解されよう。
【0049】
－ 機械学習モデル１２８は、重なっていない粒子を含む画像を使用して訓練されることが好ましい。そうであることを保証するために、ステップＳ１０２において、重なっていない粒子のみを含む画像のみが選択される。これは、画像フィルタリングモジュール１１３を使用して自動的に行われてもよい。あるいは、ユーザは、適切な画像を手動で選択することができる（これは、画像フィルタリングモジュール１１２を使用して容易にすることができる）。図３Ｂに示すように、画像ＡおよびＣ（図３Ａを参照）は、重なった粒子の対（「Ｏ」とラベル付けされる）を含むため、画像ＢおよびＤのみが選択される。
【0050】
－ ここで、重なっていない粒子のみを含む画像のみがステップＳ１０２において選択されていることから、セグメンテーションモジュール１１４は、ステップＳ１０４において複数の選択された画像のそれぞれについてのセグメンテーションマスクを生成するために使用される。選択された画像は、重なっていない粒子のみを含むため、セグメンテーションマスクの生成は、比較的簡単である（すなわち、閾値処理、エッジ検出、およびウォーターシェッド法などの従来のセグメンテーションアルゴリズムを使用して行うことができ、これらは全て当業者にとって周知である）ことに留意されたい。図３Ｃは、画像Ｂおよび画像Ｄから生成されたセグメンテーションマスクの例を示している。これらは、粒子が存在する領域を黒で示し、背景領域を白で示すバイナリマスクである。実際には、セグメンテーションマスクは、画素のアレイを含み、各画素は、粒子が存在するか否かに応じて０または１の値を有する。
【0051】
－ ステップＳ１０６（これは、図示されているように、ステップＳ１０４と並行して起こることができる）において、画像合成モジュール１１６を使用して、選択された複数の画像対が合成されて、重なった粒子を含む複数のシミュレートされた合成画像を生成する。画像を合成することができる方法（例えば、最小画素強度値を選択することによって）は、本出願で先に説明されている。図３Ｄは、生成することができるシミュレートされた合成画像の概略例を示している。ここで、スタイル変換モジュール１２０の動作について説明する価値がある。訓練画像が機械学習モデル１２８が最終的に使用される画像により類似するほど、機械学習モデル１２８は、最終的により効果的であることが判明する。これを考慮して、「生の」訓練画像を、機械学習モデル１２８が最終的に使用される画像と同じスタイルを有する画像に変換することが望ましい場合がある。これを達成するために、スタイル変換モジュール１２０が使用されて、例えば、選択された画像またはシミュレートされた合成画像を所望のスタイルの変換画像に変換することができる。これは、例えばステップＳ１０２とＳ１０４との間、またはステップＳ１０６の後、またはその双方で行われてもよい。スタイル変換モジュール１２０によって実行され得るスタイル変換アルゴリズムの例は、本出願の他の場所で参照される。
【0052】
－ ステップＳ１０６と並行して行うことができるステップＳ１０８において、シミュレートされたセグメンテーションマスク生成モジュール１１８によって、個々のセグメンテーションマスクを合成することによってシミュレートされたセグメンテーションマスクが生成される。得られたセグメンテーションマスクは、背景、重なっていない粒子領域、および重なった粒子領域を示す３つの値をとることができる。図３Ｃの２つのマスクが合成された例が図３Ｅに示されている。背景領域は白色で示され、重なっていない粒子領域は灰色で示され、重なった粒子領域は黒色で示される。具体的には、各シミュレートされた合成画像を形成する選択された画像対に対応するセグメンテーションマスク対が合成され、その結果、シミュレートされたセグメンテーションマスクは、各シミュレートされた合成画像に対応して存在する。
【0053】
－ 最後に、ステップＳ１１０において、各シミュレートされた合成画像は、そのそれぞれのシミュレートされたセグメンテーションマスクと組み合わせて訓練データ１３２のデータベースに記憶される。この時点で、訓練データ１３２は、ラベルなし入力データ（すなわち、シミュレートされた合成画像）およびラベル付き出力データ（すなわち、シミュレートされたセグメンテーションマスク）を含む。
【0054】
訓練データ１３２が生成された後、本発明の第２の態様のコンピュータ実装方法によれば、訓練モジュール１１９によって訓練データ１３２を使用して機械学習アルゴリズムを訓練して、訓練された機械学習モデル１２８を生成することができる。
【0055】
本発明の第３および第４の態様は、それぞれ、重なった粒子を含む画像からセグメンテーションマスクを生成し、重なった粒子を含む画像内の粒子を自動的に分類するためのコンピュータ実装方法を提供する。図４は、本発明の第３および第４の態様の双方をカバーするコンピュータ実装方法のフローチャートである。
【0056】
－ ステップＳ２００において、重なった粒子を含む画像が、画像処理システム１０４において、例えば、クライアント装置１０２からクライアント装置インターフェースモジュール１０７を介して、または画像取込装置１０３から画像取込装置インターフェースモジュール１０９を介して受信される。
【0057】
－ ステップＳ２０２において、生成された機械学習モデル１２８が受信画像に適用され、セグメンテーションマスクを生成する。本出願を通して、セグメンテーションマスクは、好ましくは、画像内の複数の粒子の輪郭を含むことに留意されたい。粒子間に重なりがある場合、その訓練により、機械学習モデル１２８は、輪郭の一部が重なった粒子によって隠されている場合であっても、粒子の可能性のある輪郭を予測または推定することができる。本発明のコンピュータ実装方法の有効性は、本出願において後に実証される。
【0058】
－ ステップＳ２０４において、セグメンテーションマスクが生成された後、特徴抽出モジュール１２４が使用されて、粒子形状、粒径、粒子体積などの特徴をセグメンテーションマスクから抽出することができる。他の関連する記述子は、オンライン10で見つけることができる。深層学習モデルが分類に使用される場合、モデルは、画像およびセグメンテーションマスク上で直接訓練することができるため、手動の特徴抽出は不要である。
【0059】
－ 最後に、ステップＳ２０６において、分類モジュール１２６が使用されて、抽出された特徴に基づいて粒子を分類する（すなわち、それらを複数のクラスのうちの１つに入れる）ことができる。場合によっては、ステップＳ２０６は、ステップＳ２０２からそのまま続くことができる（すなわち、分類は、特徴抽出ステップが明示的に行われるのではなく、セグメンテーションマスクに基づいて直接行われてもよい）。
【0060】
図５は、例えば本発明の第２の態様のコンピュータ実装方法を使用して生成された機械学習モデルの有効性を強調している。左列は、グラウンドトゥルース画像、すなわち、重なった細胞を含む細胞集団の画像に対して取得された「正しい」セグメンテーションマスクを示している。重なった領域は、より明るい色で示されている。右列は、同じ画像上で本発明の第２の態様に従って訓練された機械学習モデルの適用の結果を示している。重なった領域の形状は、実質的に同一であり、それによって本発明が高精度のセグメンテーションマスクの生成を容易にすることができることを示していることが理解されよう。図６Ａおよび図６Ｂはまた、細胞の集団ではなくナノ粒子を除き、本方法の有効性を実証している。
【0061】
前述の明細書、または以下の特許請求の範囲、または添付の図面に、具体的な形態で、または開示した機能、もしくは開示した結果を得るための方法もしくはプロセスを適宜実施するための手段の観点から表現した特徴は、個別に、またはそのような特徴の任意の組み合わせで、様々な形態において、本発明を実現するために利用され得る。
【0062】
本発明を上述した例示的な実施形態と併せて説明してきたが、本開示が与えられると、多くの同等の変更および変形が当業者には明らかであろう。したがって、上述した本発明の例示的な実施形態は、例示的なものであり、限定的ではないと見なされる。本発明の趣旨および範囲から逸脱することなく、記載された実施形態に対する様々な変更を行うことができる。
【0063】
誤解を避けるために、本明細書に提供されるあらゆる理論的説明は、読者の理解を向上させる目的で提供されている。本発明者らは、これらの理論的説明のいずれにも拘束されることを望まない。
【0064】
本明細書で使用されるいかなる項目の見出しも、構成上の目的のみのためであり、記載される主題を限定するものと解釈されるべきではない。
【0065】
以下の特許請求の範囲を含む本明細書全体を通して、文脈上他の意味に解すべき場合を除き、用語「備える（ｃｏｍｐｒｉｓｅ）」および「含む（ｉｎｃｌｕｄｅ）」、ならびに「備える（ｃｏｍｐｒｉｓｅｓ）」、「備えている（ｃｏｍｐｒｉｓｉｎｇ）」および「含んでいる（ｉｎｃｌｕｄｉｎｇ）」などの変形は、記載された整数もしくはステップまたは整数もしくはステップのグループの包含を意味するが、いかなる他の整数もしくはステップまたは整数もしくはステップのグループの排除を意味するものではないと理解される。
【0066】
本明細書および添付の特許請求の範囲において使用される場合、単数形「１つの（ａ）」、「１つの（ａｎ）」および「その（ｔｈｅ）」は、文脈による別段の明確な指示がない限り、複数の指示対象を含むことに留意されたい。範囲は、本明細書では、「約」１つの特定の値から、および／または「約」別の特定の値までとして表現されることがある。このような範囲が表現される場合、別の実施形態は、１つの特定の値から、および／または他の特定の値までを含む。同様に、先行詞「約」の使用によって、値が近似値として表現される場合、特定の値が別の実施形態を形成することが理解されるであろう。数値に関する「約」という用語は任意であり、例えば＋／－１０％を意味する。
【0067】
文献
1Ｒｏｎｎｅｂｅｒｇｅｒ、Ｏｌａｆら「Ｕ－Ｎｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」 ａｒＸｉｖ：１５０５．０４５９７（２０１５）。
2Ｇｉｒｓｈｉｃｋ、Ｒｏｓｓら「Ｒｉｃｈ ｆｗｅａｔｕｒｅ ｈｉｅｒａｒｃｈｉｅｓ ｆｏｒ ａｃｃｕｒａｔｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ」 ａｒＸｉｖ：１３１１．２５２４（２０１３）。
3Ｐ． Ｖａｌｌｏｔｔｏｎ、Ｃ． Ｓｕｎ、Ｄ． Ｗａｎｇ、Ｌ． Ｔｕｒｎｂｕｌｌ、Ｃ． ＷｈｉｔｃｈｕｒｃｈおよびＰ． Ｒａｎｇａｎａｔｈａｎ、「Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｉｎｄｉｖｉｄｕａｌ Ｐｓｅｕｄｏｍｏｎａｓ ａｅｒｕｇｉｎｏｓａ ｂａｃｔｅｒｉａ ｉｎ ｄｅｎｓｅ ｐｏｐｕｌａｔｉｏｎｓ ｏｆ ｍｏｔｉｌｅ ｃｅｌｌｓ」、２００９ ２４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ Ｎｅｗ Ｚｅａｌａｎｄ、２００９、ｐｐ． ２２１－２２５、ｄｏｉ：１０．１１０９／ＩＶＣＮＺ．２００９．５３７８４０９。
4セグメント化技術の包括的なリストについては、例えば、ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｉｍａｇｅ＿ｓｅｇｍｅｎｔａｔｉｏｎを参照されたい。
5Ｌｅｏｎ Ａ． Ｇａｔｙｓ、Ａｌｅｘａｎｄｅｒ Ｓ． Ｅｃｋｅｒ、Ｍａｔｔｈｉａｓ Ｂｅｔｈｇｅ；Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）、２０１６、ｐｐ． ２４１４－２４２３。
6Ｌｉ， Ｙｉｊｕｎら「Ｕｎｉｖｅｒｓａｌ ｓｔｙｌｅ ｔｒａｎｓｆｅｒ ｖｉａ ｆｗｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍｓ」ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１７０５．０８０８６（２０１７）。
7Ｐｒａｒａｍａｄｈａｎ、Ａｎｕｇｒａｈ Ａｋｂａｒら「Ｃｙｃｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ Ａｌｇｏｒｉｔｈｍ Ｗｉｔｈ Ｓｔｙｌｅ Ｔｒａｎｓｆｅｒ Ｆｏｒ Ｉｍａｇｅ Ｇｅｎｅｒａｔｉｏｎ」ａｒＸｉｖ：２１０１．０３９２１（２０２１）。
8Ｔｅｒｏ Ｋａｒｒａｓ、Ｓａｍｕｌｉ Ｌａｉｎｅ、Ｍｉｉｋａ Ａｉｔｔａｌａ、Ｊａｎｎｅ Ｈｅｌｌｓｔｅｎ、Ｊａａｋｋｏ Ｌｅｈｔｉｎｅｎ、Ｔｉｍｏ Ａｉｌａ；Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）、２０２０、ｐｐ． ８１１０－８１１９。
9Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒ、Ｐｈｉｌｉｐｐ Ｆｉｓｃｈｅｒ、Ｔｈｏｍａｓ Ｂｒｏｘ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ－Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）、Ｓｐｒｉｎｇｅｒ、ＬＮＣＳ、Ｖｏｌ． ９３５１：２３４－２４１、２０１５。
10記述子のいくつかの追加の例については、ｈｔｔｐｓ：／／ｗｗｗ．ｍａｔｈｗｏｒｋｓ．ｃｏｍ／ｈｅｌｐ／ｉｍａｇｅｓ／ｒｅｆ／ｒｅｇｉｏｎｐｒｏｐｓ．ｈｔｍｌを参照されたい。
1Ｒｏｎｎｅｂｅｒｇｅｒ、Ｏｌａｆら「Ｕ－Ｎｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」 ａｒＸｉｖ：１５０５．０４５９７（２０１５）。
2Ｇｉｒｓｈｉｃｋ、Ｒｏｓｓら「Ｒｉｃｈ ｆｗｅａｔｕｒｅ ｈｉｅｒａｒｃｈｉｅｓ ｆｏｒ ａｃｃｕｒａｔｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ」 ａｒＸｉｖ：１３１１．２５２４（２０１３）。
3Ｐ． Ｖａｌｌｏｔｔｏｎ、Ｃ． Ｓｕｎ、Ｄ． Ｗａｎｇ、Ｌ． Ｔｕｒｎｂｕｌｌ、Ｃ． ＷｈｉｔｃｈｕｒｃｈおよびＰ． Ｒａｎｇａｎａｔｈａｎ、「Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｉｎｄｉｖｉｄｕａｌ Ｐｓｅｕｄｏｍｏｎａｓ ａｅｒｕｇｉｎｏｓａ ｂａｃｔｅｒｉａ ｉｎ ｄｅｎｓｅ ｐｏｐｕｌａｔｉｏｎｓ ｏｆ ｍｏｔｉｌｅ ｃｅｌｌｓ」、２００９ ２４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ Ｎｅｗ Ｚｅａｌａｎｄ、２００９、ｐｐ． ２２１－２２５、ｄｏｉ：１０．１１０９／ＩＶＣＮＺ．２００９．５３７８４０９。
4セグメント化技術の包括的なリストについては、例えば、ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｉｍａｇｅ＿ｓｅｇｍｅｎｔａｔｉｏｎを参照されたい。
5Ｌｅｏｎ Ａ． Ｇａｔｙｓ、Ａｌｅｘａｎｄｅｒ Ｓ． Ｅｃｋｅｒ、Ｍａｔｔｈｉａｓ Ｂｅｔｈｇｅ；Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）、２０１６、ｐｐ． ２４１４－２４２３。
6Ｌｉ， Ｙｉｊｕｎら「Ｕｎｉｖｅｒｓａｌ ｓｔｙｌｅ ｔｒａｎｓｆｅｒ ｖｉａ ｆｗｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍｓ」ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１７０５．０８０８６（２０１７）。
7Ｐｒａｒａｍａｄｈａｎ、Ａｎｕｇｒａｈ Ａｋｂａｒら「Ｃｙｃｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ Ａｌｇｏｒｉｔｈｍ Ｗｉｔｈ Ｓｔｙｌｅ Ｔｒａｎｓｆｅｒ Ｆｏｒ Ｉｍａｇｅ Ｇｅｎｅｒａｔｉｏｎ」ａｒＸｉｖ：２１０１．０３９２１（２０２１）。
8Ｔｅｒｏ Ｋａｒｒａｓ、Ｓａｍｕｌｉ Ｌａｉｎｅ、Ｍｉｉｋａ Ａｉｔｔａｌａ、Ｊａｎｎｅ Ｈｅｌｌｓｔｅｎ、Ｊａａｋｋｏ Ｌｅｈｔｉｎｅｎ、Ｔｉｍｏ Ａｉｌａ；Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）、２０２０、ｐｐ． ８１１０－８１１９。
9Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒ、Ｐｈｉｌｉｐｐ Ｆｉｓｃｈｅｒ、Ｔｈｏｍａｓ Ｂｒｏｘ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ－Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）、Ｓｐｒｉｎｇｅｒ、ＬＮＣＳ、Ｖｏｌ． ９３５１：２３４－２４１、２０１５。
10記述子のいくつかの追加の例については、ｈｔｔｐｓ：／／ｗｗｗ．ｍａｔｈｗｏｒｋｓ．ｃｏｍ／ｈｅｌｐ／ｉｍａｇｅｓ／ｒｅｆ／ｒｅｇｉｏｎｐｒｏｐｓ．ｈｔｍｌを参照されたい。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図4】
【図5】
【図6A】
【図6B】
