特開 2022-75621 畳み込みニューラルネットワークをトレーニングするための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022075621

(43)【公開日】2022-05-18

(54)【発明の名称】畳み込みニューラルネットワークをトレーニングするための方法およびシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220511BHJP

   G06N 3/08 20060101ALI20220511BHJP

【ＦＩ】

G06T7/00 350C

G06N3/08

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021180318

(22)【出願日】2021-11-04

(31)【優先権主張番号】20206050

(32)【優先日】2020-11-05

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】511079735

【氏名又は名称】ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ

【住所又は居所原語表記】Ｅｒｎｓｔ－Ｌｅｉｔｚ－Ｓｔｒａｓｓｅ １７－３７， Ｄ－３５５７８ Ｗｅｔｚｌａｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ホセ ミゲル セラ ジェティ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA03

5L096AA06

5L096BA03

5L096CA18

5L096DA01

5L096EA05

5L096HA11

5L096KA03

5L096KA04

5L096KA13

(57)【要約】      （修正有）

【課題】畳み込みニューラルネットワークをトレーニングするためのコンピュータ実装方法、システム、トレーニングされている畳み込みニューラルネットワーク及びコンピュータプログラムを提供する。
【解決手段】方法２００は、捕捉画像を受信すること２０２と、畳み込みニューラルネットワークを捕捉画像に適用することによりノイズ除去画像を生成すること２０４と、高周波損失関数、捕捉画像及びノイズ除去画像に基づいて畳み込みニューラルネットワークをトレーニングすること２０６と、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

畳み込みニューラルネットワーク（１１６）をトレーニングするためのコンピュータ実装方法（２００）であって、前記方法は、
捕捉画像（１０６）を受信するステップ（２０２）と、
前記畳み込みニューラルネットワークを前記捕捉画像に適用することによりノイズ除去画像（１２０）を生成するステップ（２０４）と、
高周波損失関数、前記捕捉画像および前記ノイズ除去画像に基づいて前記畳み込みニューラルネットワークをトレーニングするステップ（２０６）と、
を含む方法。

【請求項2】

前記畳み込みニューラルネットワークをトレーニングするステップは、前記高周波損失関数の損失と共に前記畳み込みニューラルネットワークの損失を最小化することを含む、
請求項１記載の方法。

【請求項3】

前記高周波損失関数は、前記捕捉画像および前記ノイズ除去画像に適用されるハイパスフィルタ関数を含む、
請求項１または２記載の方法。

【請求項4】

前記畳み込みニューラルネットワークをトレーニングするステップは、前記ノイズ除去画像内に存在せずかつ前記捕捉画像内に存在するパターンが認識されるように前記畳み込みニューラルネットワークをトレーニングすることを含む、
請求項１から３までのいずれか１項記載の方法。

【請求項5】

前記高周波損失関数は、ガウス関数のラプラシアンを含む、
請求項１から４までのいずれか１項記載の方法。

【請求項6】

前記方法は、前記ガウス関数のラプラシアンを適用する前に、ガウシアン平滑化を前記捕捉画像および前記ノイズ除去画像に適用するステップを含む、
請求項５記載の方法。

【請求項7】

前記方法は、トレーニングされた前記畳み込みニューラルネットワークを前記捕捉画像に適用するステップを含む、
請求項１から６までのいずれか１項記載の方法。

【請求項8】

前記畳み込みニューラルネットワークは、エンコーダ‐デコーダ畳み込みニューラルネットワークである、
請求項１から７までのいずれか１項記載の方法。

【請求項9】

前記畳み込みニューラルネットワークをトレーニングするステップは、
前記捕捉画像および前記ノイズ除去画像をランダムパッチに分割することと、
各ランダムパッチ内のピクセル値を近隣のピクセル値とスワップすることと、
スワップされたピクセル値を含む前記捕捉画像のランダムパッチ（１１２）とスワップされたピクセル値を含む前記ノイズ除去画像のランダムパッチ（１２２）とに基づいて、前記畳み込みニューラルネットワークをトレーニングするステップと、
を含む、
請求項１から８までのいずれか１項記載の方法。

【請求項10】

前記畳み込みニューラルネットワークは、
前記捕捉画像をランダムパッチ（１０８）に分割することと、
各ランダムパッチ内のピクセル値を近隣のピクセル値とスワップすることと、
スワップされたピクセル値を含む前記捕捉画像の前記ランダムパッチ（１１２）に基づいて前記畳み込みニューラルネットワークをトレーニングすることと、
によりトレーニングされたものである、
請求項１から９までのいずれか１項記載の方法。

【請求項11】

前記畳み込みニューラルネットワークは、スワップされたピクセル値を含む前記捕捉画像の前記ランダムパッチに基づいて畳み込みニューラルネットワークの平均２乗誤差を最小化することによりトレーニングされたものである、
請求項１０記載の方法。

【請求項12】

１つまたは複数のプロセッサ（６０６）および１つまたは複数のストレージデバイス（６１０）を備えたシステム（６００）であって、請求項１から１１までのいずれか１項記載の方法を実行するように構成されている、
システム（６００）。

【請求項13】

前記システムは、顕微鏡検査画像を取得するための、前記プロセッサに結合されたイメージング装置（６０２）を備えている、
請求項１２記載のシステム。

【請求項14】

トレーニングされた畳み込みニューラルネットワークであって、
捕捉画像を受信することと、
畳み込みニューラルネットワークを前記捕捉画像に適用することによりノイズ除去画像を生成することと、
トレーニングされた畳み込みニューラルネットワークを取得するために、高周波損失関数、前記捕捉画像および前記ノイズ除去画像に基づいて前記畳み込みニューラルネットワークを調整することと、
によりトレーニングされている畳み込みニューラルネットワーク。

【請求項15】

請求項１から１１までのいずれか１項記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、畳み込みニューラルネットワークをトレーニングするための方法に関する。

【背景技術】

【0002】

画像のノイズ除去は、ノイズリダクションおよび画像特徴の保持の双方を達成すべく、付加ノイズによって汚染された画像を処理するために使用されている。発明者は、ノイズ量の増大と引き換えに露光時間もしくはゲインを低減することで達成可能なエネルギ入力の最小化によってユーザが光退色および光毒性を最小化しようとする際に付加ノイズが導入されうることを認識している。典型的なワークフローでは、画像は低い露光時間またはゲインで取得され、これにより低品質の画像が生じるが、当該低品質の画像は、電子的な源からのノイズ（例えばガウシアン雑音、ごま塩雑音、ショット雑音）、またはカメラセンサからの量子化、感度もしくは熱に起因するサンプル依存性の高周波ノイズを含みうる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明によって解決しようとしている問題は、高い信号対雑音比（ＳＮＲ）を有する画像をどのようにして取得するかということである。

【課題を解決するための手段】

【0004】

本発明の一実施形態では、畳み込みニューラルネットワークをトレーニングするためのコンピュータ実装方法であって、捕捉画像を受信することと、畳み込みニューラルネットワークを捕捉画像に適用することによりノイズ除去画像を生成することと、高周波損失関数、捕捉画像およびノイズ除去画像に基づいて畳み込みニューラルネットワークをトレーニングすることと、を含む方法が提供される。したがって、ノイズおよびアーチファクトとは異なる高周波パターンが再注入可能となり、ＳＮＲを増大させることができる。

【0005】

実施形態の可能な一構成では、畳み込みニューラルネットワークをトレーニングすることが、高周波損失関数の損失と共に畳み込みニューラルネットワークの損失を最小化することを含む。よって、より多くの取得画像の高周波パターンを維持しながらより多量のノイズをマスキングできるので、ＳＮＲを増大させることができる。

【0006】

実施形態の可能な一構成では、高周波損失関数は、捕捉画像およびノイズ除去画像に適用されるハイパスフィルタ関数を含む。これにより、このことが行われない場合にノイズとして識別されうる取得画像の高周波パターンが可能となり、続いて再注入のためにマスキングすることができる。

【0007】

実施形態の可能な一構成では、畳み込みニューラルネットワークをトレーニングすることは、ノイズ除去画像内に存在せずかつ捕捉画像内に存在するパターンが認識されるように畳み込みニューラルネットワークをトレーニングすることを含む。これにより、このことが行われない場合に取得画像からマスキングされてしまいかねないパターンの認識、例えば高周波パターンの認識が可能となる。

【0008】

実施形態の可能な一構成では、損失関数は、ガウス関数のラプラシアンを含む。他の可能なハイパスフィルタリング関数には、ガウシアン差分（ＤｏＧ）、ボックス差分（ＤｏＢ）、ウェーブレットフィルタリング、ソーベルフィルタリング、ガボールフィルタリング、または他のグラジエントフィルタもしくは位相一致フィルタも含まれる。

【0009】

実施形態の可能な一構成では、ガウス関数のラプラシアンを適用する前に、ガウシアン平滑化を捕捉画像およびノイズ除去画像に適用することが行われる。ガウシアン平滑化に代えて、平均フィルタリング（例えば平均ピクセルによる重み付け）、バイラテラルフィルタリング、非局所平均（ＮＬＭ）平滑化、ならびにブロックマッチングおよび３Ｄフィルタリング（ＢＭ３Ｄ）も含まれる。

【0010】

実施形態の可能な一構成では、方法は、トレーニングされた畳み込みニューラルネットワークを捕捉画像に適用することを含む。

【0011】

実施形態の可能な一構成では、畳み込みニューラルネットワークは、エンコーダ‐デコーダ畳み込みニューラルネットワークである。

【0012】

実施形態の可能な一構成では、畳み込みニューラルネットワークをトレーニングすることは、捕捉画像およびノイズ除去画像をランダムパッチに分割することと、各ランダムパッチ内のピクセル値を近隣のピクセル値とスワップすることと、スワップされたピクセル値を含む捕捉画像のランダムパッチとスワップされたピクセル値を含むノイズ除去画像のランダムパッチとに基づいて、畳み込みニューラルネットワークをトレーニングすることと、を含む。

【0013】

実施形態の可能な一構成では、畳み込みニューラルネットワークは、捕捉画像をランダムパッチに分割することと、各ランダムパッチ内のピクセル値を近隣のピクセル値とスワップすることと、スワップされたピクセル値を含む捕捉画像のランダムパッチに基づいて畳み込みニューラルネットワークをトレーニングすることと、によりトレーニングされたものである。

【0014】

実施形態の可能な一構成では、畳み込みニューラルネットワークは、スワップされたピクセル値を含む捕捉画像のランダムパッチに基づいて畳み込みニューラルネットワークの平均２乗誤差を最小化することによりトレーニングされたものである。

【0015】

本発明の別の実施形態では、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えたシステムであって、上述した方法を実行するように構成されているシステムが提供される。

【0016】

実施形態の可能な一構成では、システムは、顕微鏡検査画像を取得するための、プロセッサに結合されたイメージング装置を備えている。

【0017】

本発明の別の一実施形態では、トレーニングされた畳み込みニューラルネットワークであって、捕捉画像を受信することと、畳み込みニューラルネットワークを捕捉画像に適用することによりノイズ除去画像を生成することと、トレーニングされた畳み込みニューラルネットワークを取得するために、高周波損失関数、捕捉画像およびノイズ除去画像に基づいて畳み込みニューラルネットワークを調整することと、によりトレーニングされている畳み込みニューラルネットワークが提供される。

【0018】

本発明の別の一実施形態では、上述した方法を実行するためのプログラムコードを含む、コンピュータプログラムが提供される。

【0019】

本開示は、添付の図面に関連して以下に記載する実施形態の説明を参照することで理解されうる。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態による畳み込みニューラルネットワークをトレーニングするための方法を示す図である。

【図2】本発明の別の実施形態による畳み込みニューラルネットワークをトレーニングするための方法を示す図である。

【図3】処理される前の取得画像である。

【図4】本発明の一実施形態によってトレーニングされたトレーニング済畳み込みニューラルネットワークを使用して処理された後の画像である。

【図5】取得画像のグラウンドトゥルースの図である。

【図6】本発明の別の実施形態による畳み込みニューラルネットワークをトレーニングするための方法を実行するシステムを示す図である。

【発明を実施するための形態】

【0021】

発明者は、周知の方法を使用したノイズ除去画像が高周波情報をしばしば喪失し、このためオリジナル画像よりも暈けて見え、しばしば小さなディテールを失った画像が生じることがあることを認識していた。発明者は、ハイパスフィルタを適用することにより、ノイズ除去画像とオリジナルのノイズを有する画像とを比較でき、ニューラルネットワークをトレーニングして、ノイズ除去画像内では失われているがオリジナルのノイズを有する画像内には存在するパターンを識別できることを認識した。こうしたパターンは、イメージングされたオブジェクトからのディテールであり、ノイズまたは他のアーチファクトに由来しない。換言すれば、発明者は、ノイズおよびアーチファクトとは異なる高周波パターンを再注入することにより小さなディテールのエッジを増強できることを認識したのである。本明細書において説明している方法により、周知のノイズ除去方法に適用される場合に、（ピーク信号対雑音比（ＰＳＮＲ）と構造的類似性指数（ＳＳＩＭ）とに基づく）ＳＮＲが高められる。

【0022】

図１には、本発明の一実施形態による畳み込みニューラルネットワークをトレーニングするための方法が示されている。畳み込みニューラルネットワークは、オンザフライトレーニングシステムの一部をなしており、メーカによって事前トレーニング可能であるが、顧客側での適用中にトレーニングされる。メーカによって行われる事前トレーニングは、本発明の実施形態の方法の適用を含みうる。畳み込みニューラルネットワークは、機械学習アルゴリズムまたは機械学習モデルの一形式である。

【0023】

図１には、全体で３つの処理ステップが存在している。これらのステップは、事前トレーニングステップ１００、トレーニングステップ１０２および処理ステップ１０４である。

【0024】

ステップ１００では、畳み込みニューラルネットワークが、例えば複数の顕微鏡検査画像を使用して事前トレーニングされる。ステップ１００は、メーカおよび／または顧客によって実行可能である。捕捉画像１０６が取得され、クロッピングされるかまたはランダムパッチ１０８へと分割される。当該パッチ１０８は、典型的には取得画像１０６の正方形の代表部分であり、各パッチは近隣のパッチとオーバーラップしていてもよい。各パッチのサイズは、画像サイズと使用される画像処理装置の処理能力とに基づいて決定され、例えば２５６×２５６ピクセルまでとなりうる。典型的なパッチは、５１２×５１２ピクセル画像が６４個のパッチに分割されるよう、６４×６４ピクセルであってよい。幾つかのピクセルは、均一乱数分布を使用して各ランダムパッチ１０８から選択され、選択されたピクセルのピクセル値は、近隣のピクセルからの値によってスワップまたは置換されて、スワップされたピクセル値を含む捕捉画像のランダムパッチ１１２が生成される。

【0025】

一般に、ピクセルの１～１０％がパッチ内でスワップまたは置換されうる。画像１１０はランダムパッチ１０８のうち１つの拡大部分を示しており、画像１１４はスワップされたピクセル値を含む捕捉画像のランダムパッチ１１２のうち１つの拡大部分を示している。

【0026】

スワップされたピクセル値を含む捕捉画像のランダムパッチ１１２は、続いて、画像のノイズ除去のためのセグメンテーションマスク１１８を取得すべく、畳み込みニューラルネットワーク（ＣＮＮ）１１６を事前トレーニングするために使用される。当該実施例ではＵネットがトレーニングされるが、他の収縮‐膨張ＣＮＮまたはエンコーダ‐デコーダＣＮＮ、例えばＲｅｓｎｅｔ（例えばｒｅｓｎｅｔ－１８）も使用可能であることが理解されるであろう。特に、マージ層におけるサブピクセル畳み込み（ピクセルシャッフル）を伴うダイナミックＵネット（エンコーダｒｅｓｎｅｔ－１８）が使用可能である。さらに、当該実施例での畳み込みニューラルネットワークは、例えばピクセル確率の推定と、畳み込みニューラルネットワークの平均２乗誤差の最小化と、に基づいている。

【0027】

ステップ１００は、取得された複数の顕微鏡検査画像について反復される。

【0028】

ステップ１０２では、ステップ１００で事前トレーニングされた畳み込みニューラルネットワークが、高周波損失関数、捕捉画像およびノイズ除去画像に基づいてトレーニングされる。ステップ１０２は、メーカおよび／または顧客によって実行可能である。画像１２０は、ＣＮＮ１１６を、ノイズ除去画像１２０とも称されうる取得画像１０６に適用することで取得される。ステップ１００で説明された処理が、捕捉画像１０６およびノイズ除去画像１２０の双方につき、ステップ１０２で反復される。すなわち、捕捉画像１０６およびノイズ除去画像１２０をランダムパッチへ分割すること、および各ランダムパッチのピクセル値を近隣のピクセル値とスワップもしくは置換することにより、スワップされたピクセル値を含む捕捉画像のランダムパッチ１１２と、スワップされたピクセル値を含むノイズ除去画像のランダムパッチ１２２とが取得される。

【0029】

ＣＮＮ１１６は、スワップされたピクセル値を含む捕捉画像のランダムパッチ１１２と、スワップされたピクセル値を含むノイズ除去画像のランダムパッチ１２２と、高周波損失関数と、に基づいてトレーニングされる。本実施例において使用される損失関数は、
ＨＦＥＮ損失：

【数1】

として表現可能である。ここで、αはエポック数につれて１へ向かって増大する０～１の値であり、Ｆ（ｘ）はスワップされたピクセル値を含むノイズ除去画像のランダムパッチ１２２であり、ｘはスワップされたピクセル値を含む捕捉画像のランダムパッチ１１２である。ＨＰはハイパスフィルタである。例えば、ハイパスフィルタはガウス関数のラプラシアンであり、２次導関数である。ガウシアン平滑化も、画像がＣＮＮ１１６のトレーニングに使用される前に、この画像に適用可能である。ガウシアン平滑化に代えて、平均フィルタリング（例えば平均ピクセルによる重み付け）、バイラテラルフィルタリング、非局所平均（ＮＬＭ）平滑化、ならびにブロックマッチングおよび３Ｄフィルタリング（ＢＭ３Ｄ）も含まれる。当該実施例では、ガウス関数のラプラシアンがハイパスフィルタリングに使用されているが、他のハイパスフィルタとして、ガウシアン差分（ＤｏＧ）、ボックス差分（ＤｏＢ）、ウェーブレットフィルタリング、ソーベルフィルタリング、ガボールフィルタリング、または他のグラジエントフィルタもしくは位相一致フィルタも含まれる。

【0030】

畳み込みニューラルネットワーク１１６は、次の表現１２６、すなわち

【数2】

を最小化することによってトレーニングされる。ここで、ｎは現在のバッチでのランダムパッチの数であり、Ｍはマスキングされたピクセル（すなわちスワップされたピクセルまたは置換されたピクセル）の数であり、αはエポック数につれて１へ向かって増大する０～１の値であり、Ｆ（ｘ）はスワップされたピクセル値を含むノイズ除去画像のランダムパッチ１２２であり、ｘはスワップされたピクセル値を含む捕捉画像のランダムパッチ１１２である。ＨＰはハイパスフィルタであり、ｌｏｓｓはノイズ除去画像に基づくセグメンテーションマップである。

【0031】

得られるＣＮＮ１２４は、高周波損失関数の損失と共に畳み込みニューラルネットワークの損失が最小化されるようにトレーニングされる。捕捉画像１０６およびノイズ除去画像１２０の双方を使用することにより、得られるＣＮＮ１２４は、ノイズ除去画像内に存在せずかつ捕捉画像内に存在するパターンを認識することができる。これは、高周波特徴がＣＮＮによってノイズとして識別されることがあるものの、ハイパスフィルタはこうした高周波特徴をノイズとして識別しないものとすることができることを発明者が認識したからである。

【0032】

ステップ１０４では、トレーニングされたＣＮＮ１２４がトレーニングに使用された画像または類似の画像のノイズ除去のために適用され、デフォルトのノイズ除去方法よりも高いＰＳＮＲが達成される。例えば、ＣＮＮ１２４は、オリジナルの取得画像１０６を表現した画像１２８またはこれに類似した画像に適用され、処理画像１３０が取得される。

【0033】

ステップ１０２およびステップ１０４により、さらなる顕微鏡検査画像が処理可能となる。

【0034】

図２には、本発明の別の実施形態による畳み込みニューラルネットワークをトレーニングするための方法２００が示されている。方法は、捕捉画像を受信すること２０２と、畳み込みニューラルネットワークを捕捉画像に適用することによりノイズ除去画像を生成すること２０４と、高周波損失関数、捕捉画像およびノイズ除去画像に基づいて畳み込みニューラルネットワークをトレーニングすること２０６と、を含む。

【0035】

図３は、処理される前の取得画像、例えば顕微鏡検査画像である。

【0036】

図４は、本発明の一実施形態によってトレーニングされたトレーニング済畳み込みニューラルネットワークを使用して処理された後の画像である。図４の画像から、取得画像に対してＳＮＲが向上していることが明らかである。

【0037】

図５は、取得画像のグラウンドトゥルースである。

【0038】

図６は本明細書に記載された方法を実施するように構成されたシステム６００の概略図を示している。システム６００は、顕微鏡６０２とコンピュータシステム６０４とを含んでいる。顕微鏡６０２は、撮像するように構成されており、かつコンピュータシステム６０４に接続されている。コンピュータシステム６０４は、本明細書に記載された方法の少なくとも一部を実施するように構成されている。コンピュータシステム６０４は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム６０４と顕微鏡６０２は別個の存在物であってもよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム６０４は、顕微鏡６０２の中央処理システムの一部であってもよく、かつ／またはコンピュータシステム６０４は、顕微鏡６０２のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡６０２の従属部品の一部であってもよい。

【0039】

コンピュータシステム６０４は、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話）であってもよく、または分散コンピュータシステム（例えば、ローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンター等の様々な場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム６１６）であってもよい。コンピュータシステム６０４は、任意の回路または回路の組み合わせを含んでいてもよい。１つの実施形態では、コンピュータシステム６０４は、任意の種類のものとすることができる、１つまたは複数のプロセッサ６０６を含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品（例えばカメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ６０８、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム６０４に含まれうる他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）等である。コンピュータシステム６０４は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子を含みうる１つまたは複数のストレージデバイス６１０、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム６０４はディスプレイ装置６１２、１つまたは複数のスピーカーおよびキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識装置を含みうるコントローラ６１４、またはシステムのユーザがコンピュータシステム６０４に情報を入力すること、およびコンピュータシステム６０４から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。

【0040】

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。

【0041】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

【0042】

ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

【0043】

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装されうる。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

【0044】

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

【0045】

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

【0046】

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

【0047】

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

【0048】

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

【0049】

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

【0050】

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

【0051】

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

【0052】

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

【0053】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールドプログラマブルゲートアレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

【0054】

実施形態は、機械学習モデルまたは機械学習アルゴリズムの使用に基づいていてもよい。機械学習は、モデルおよび推論に依存する代わりに、コンピュータシステムが、明示的な命令を使用することなく、特定のタスクを実行するために使用しうるアルゴリズムおよび統計モデルを参照してもよい。例えば、機械学習では、ルールに基づくデータ変換の代わりに、過去のデータおよび／またはトレーニングデータの分析から推論されるデータ変換が使用されてもよい。例えば、画像コンテンツは、機械学習モデルを用いて、または機械学習アルゴリズムを用いて分析されてもよい。機械学習モデルが画像コンテンツを分析するために、機械学習モデルは、入力としてのトレーニング画像と出力としてのトレーニングコンテンツ情報を用いてトレーニングされてもよい。多数のトレーニング画像および／またはトレーニングシーケンス（例えば単語または文）および関連するトレーニングコンテンツ情報（例えばラベルまたは注釈）によって機械学習モデルをトレーニングすることによって、機械学習モデルは、画像コンテンツを認識することを「学習」するので、トレーニングデータに含まれていない画像コンテンツが機械学習モデルを用いて認識可能になる。同じ原理が、同じように他の種類のセンサデータに対して使用されてもよい：トレーニングセンサデータと所望の出力を用いて機械学習モデルをトレーニングすることによって、機械学習モデルは、センサデータと出力との間の変換を「学習し」、これは、機械学習モデルに提供された非トレーニングセンサデータに基づいて出力を提供するために使用可能である。提供されたデータ（例えばセンサデータ、メタデータおよび／または画像データ）は、機械学習モデルへの入力として使用される特徴ベクトルを得るために前処理されてもよい。

【0055】

機械学習モデルは、トレーニング入力データを用いてトレーニングされてもよい。上記の例は、「教師あり学習」と称されるトレーニング方法を使用する。教師あり学習では、機械学習モデルは、複数のトレーニングサンプルを用いてトレーニングされ、ここで各サンプルは複数の入力データ値と複数の所望の出力値を含んでいてもよく、すなわち各トレーニングサンプルは、所望の出力値と関連付けされている。トレーニングサンプルと所望の出力値の両方を指定することによって、機械学習モデルは、トレーニング中に、提供されたサンプルに類似する入力サンプルに基づいてどの出力値を提供するのかを「学習」する。教師あり学習の他に、半教師あり学習が使用されてもよい。半教師あり学習では、トレーニングサンプルの一部は、対応する所望の出力値を欠いている。教師あり学習は、教師あり学習アルゴリズム（例えば分類アルゴリズム、回帰アルゴリズムまたは類似度学習アルゴリズム）に基づいていてもよい。出力が、値（カテゴリー変数）の限られたセットに制限される場合、すなわち入力が値の限られたセットのうちの１つに分類される場合、分類アルゴリズムが使用されてもよい。出力が（範囲内の）任意の数値を有していてもよい場合、回帰アルゴリズムが使用されてもよい。類似度学習アルゴリズムは、分類アルゴリズムと回帰アルゴリズムの両方に類似していてもよいが、２つのオブジェクトがどの程度類似しているかまたは関係しているかを測定する類似度関数を用いた例からの学習に基づいている。教師あり学習または半教師あり学習の他に、機械学習モデルをトレーニングするために教師なし学習が使用されてもよい。教師なし学習では、入力データ（だけ）が供給される可能性があり、教師なし学習アルゴリズムは、（例えば、入力データをグループ化またはクラスタリングすること、データに共通性を見出すことによって）入力データにおいて構造を見出すために使用されてもよい。クラスタリングは、複数の入力値を含んでいる入力データを複数のサブセット（クラスター）に割り当てることであるので、同じクラスター内の入力値は１つまたは複数の（事前に定められた）類似度判断基準に従って類似しているが、別のクラスターに含まれている入力値と類似していない。

【0056】

強化学習は機械学習アルゴリズムの第３のグループである。換言すれば、強化学習は機械学習モデルをトレーニングするために使用されてもよい。強化学習では、１つまたは複数のソフトウェアアクター（「ソフトウェアエージェント」と称される）が、周囲において行動を取るようにトレーニングされる。取られた行動に基づいて、報酬が計算される。強化学習は、（報酬の増加によって明らかにされるように）累積報酬が増加し、与えられたタスクでより良くなるソフトウェアエージェントが得られるように行動を選択するように、１つまたは複数のソフトウェアエージェントをトレーニングすることに基づいている。

【0057】

さらに、いくつかの技術が、機械学習アルゴリズムの一部に適用されてもよい。例えば、特徴表現学習が使用されてもよい。換言すれば、機械学習モデルは、少なくとも部分的に特徴表現学習を用いてトレーニングされてもよい、かつ／または機械学習アルゴリズムは、特徴表現学習構成要素を含んでいてもよい。表現学習アルゴリズムと称されうる特徴表現学習アルゴリズムは、自身の入力に情報を保存するだけでなく、多くの場合、分類または予測を実行する前の前処理ステップとして、有用にするように情報の変換も行ってもよい。特徴表現学習は、例えば、主成分分析またはクラスター分析に基づいていてもよい。

【0058】

いくつかの例では、異常検知（すなわち、外れ値検知）が使用されてもよく、これは、入力またはトレーニングデータの大部分と著しく異なることによって疑念を引き起こしている入力値の識別を提供することを目的としている。換言すれば、機械学習モデルは、少なくとも部分的に異常検知を用いてトレーニングされてもよく、かつ／または機械学習アルゴリズムは、異常検知構成要素を含んでいてもよい。

【0059】

いくつかの例では、機械学習アルゴリズムは、予測モデルとして決定木を使用してもよい。換言すれば、機械学習モデルは、決定木に基づいていてもよい。決定木において、項目（例えば、入力値のセット）に関する観察は、決定木のブランチによって表されてもよく、この項目に対応する出力値は、決定木のリーフによって表されてもよい。決定木は、出力値として離散値と連続値の両方をサポートしてもよい。離散値が使用される場合、決定木は、分類木として表されてもよく、連続値が使用される場合、決定木は、回帰木として表されてもよい。

【0060】

相関ルールは、機械学習アルゴリズムにおいて使用されうる別の技術である。換言すれば、機械学習モデルは、１つまたは複数の相関ルールに基づいていてもよい。相関ルールは、大量のデータにおける変数間の関係を識別することによって作成される。機械学習アルゴリズムは、データから導出された知識を表す１つまたは複数の相関的なルールを識別してもよい、かつ／または利用してもよい。これらのルールは、例えば、知識を格納する、操作するまたは適用するために使用されてもよい。

【0061】

機械学習アルゴリズムは通常、機械学習モデルに基づいている。換言すれば、用語「機械学習アルゴリズム」は、機械学習モデルを作成する、トレーニングするまたは使用するために使用されうる命令のセットを表していてもよい。用語「機械学習モデル」は、（例えば、機械学習アルゴリズムによって実行されるトレーニングに基づいて）学習した知識を表すデータ構造および／またはルールのセットを表していてもよい。実施形態では、機械学習アルゴリズムの用法は、基礎となる１つの機械学習モデル（または基礎となる複数の機械学習モデル）の用法を意味していてもよい。機械学習モデルの用法は、機械学習モデルおよび／または機械学習モデルであるデータ構造／ルールのセットが機械学習アルゴリズムによってトレーニングされることを意味していてもよい。

【0062】

例えば、機械学習モデルは、人工ニューラルネットワーク（ＡＮＮ）であってもよい。ＡＮＮは、網膜または脳において見出されるような、生物学的ニューラルネットワークによって影響を与えられるシステムである。ＡＮＮは、相互接続された複数のノードと、ノード間の、複数の接合部分、いわゆるエッジを含んでいる。通常、３種類のノードが存在しており、すなわち入力値を受け取る入力ノード、他のノードに接続されている（だけの）隠れノードおよび出力値を提供する出力ノードが存在している。各ノードは、人工ニューロンを表していてもよい。各エッジは、１つのノードから別のノードに、情報を伝達してもよい。ノードの出力は、その入力（例えば、その入力の和）の（非線形）関数として定義されてもよい。ノードの入力は、入力を提供するエッジまたはノードの「重み」に基づく関数において使用されてもよい。ノードおよび／またはエッジの重みは、学習過程において調整されてもよい。換言すれば、人工ニューラルネットワークのトレーニングは、与えられた入力に対して所望の出力を得るために、人工ニューラルネットワークのノードおよび／またはエッジの重みを調整することを含んでいてもよい。

【0063】

択一的に、機械学習モデルは、サポートベクターマシン、ランダムフォレストモデルまたは勾配ブースティングモデルであってもよい。サポートベクターマシン（すなわち、サポートベクターネットワーク）は、（例えば、分類または回帰分析において）データを分析するために使用されうる、関連する学習アルゴリズムを伴う、教師あり学習モデルである。サポートベクターマシンは、２つのカテゴリのいずれかに属する複数のトレーニング入力値を伴う入力を提供することによってトレーニングされてもよい。サポートベクターマシンは、２つのカテゴリのいずれかに新しい入力値を割り当てるようにトレーニングされてもよい。択一的に、機械学習モデルは、確率有向非巡回グラフィカルモデルであるベイジアンネットワークであってもよい。ベイジアンネットワークは、有向非巡回グラフを用いて、確率変数とその条件付き依存性のセットを表していてもよい。択一的に、機械学習モデルは、検索アルゴリズムと自然淘汰の過程を模倣した発見的方法である遺伝的アルゴリズムに基づいていてもよい。

【符号の説明】

【0064】

１００ 事前トレーニングステップ
１０２ トレーニングステップ
１０４ 処理ステップ
１０６ 取得画像
１０８ ランダムパッチ
１１０ ランダムパッチの拡大部分
１１２ スワップされたピクセル値を含む捕捉画像のランダムパッチ
１１４ スワップされたピクセル値を含むランダムパッチの拡大部分
１１６ 事前トレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）
１１８ セグメンテーションマスク
１２０，１３０ ノイズ除去画像
１２２ スワップされたピクセル値を含むノイズ除去画像のランダムパッチ
１２４ トレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）
１２６ 最小化すべき関数
１２８ 取得画像１０６に類似した取得画像
２００ 畳み込みニューラルネットワークをトレーニングするための方法
２０２ 捕捉画像を受信する
２０４ 畳み込みニューラルネットワークを捕捉画像に適用することにより、ノイズ除去画像を生成する
２０６ 高周波損失関数、捕捉画像およびノイズ除去画像に基づいて、畳み込みニューラルネットワークをトレーニングする
６００ システム
６０２ 顕微鏡
６０４ コンピュータシステム
６０６ １つまたは複数のプロセッサ
６０８ グラフィックプロセッサ
６１０ １つまたは複数のストレージデバイス
６１２ ディスプレイ装置
６１４ キーボードおよび／またはコントローラ
６１６ クラウドコンピューティングシステム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【外国語明細書】