特表2023-546208ノイズ除去のためのニューラルネットワークモデルをトレーニング及びチューニングする方法並びにシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-01
(54)【発明の名称】ノイズ除去のためのニューラルネットワークモデルをトレーニング及びチューニングする方法並びにシステム
(51)【国際特許分類】
A61B 6/03 20060101AFI20231025BHJP
G06T 5/00 20060101ALI20231025BHJP
G06T 1/40 20060101ALI20231025BHJP
G06T 1/00 20060101ALI20231025BHJP
【ＦＩ】
A61B6/03 360B
A61B6/03 360T
A61B6/03 370E
G06T5/00 705
G06T1/40
G06T1/00 290A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023524131
(86)(22)【出願日】2021-10-14
(85)【翻訳文提出日】2023-05-12
(86)【国際出願番号】 EP2021078507
(87)【国際公開番号】W WO2022084157
(87)【国際公開日】2022-04-28
(31)【優先権主張番号】63/104,382
(32)【優先日】2020-10-22
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】バーグナー フランク
(72)【発明者】
【氏名】ウエルケル クリスチャン
(72)【発明者】
【氏名】シュネルバッヒャー ニコラス デイヴィッド
(72)【発明者】
【氏名】ケーラー トーマス
(72)【発明者】
【氏名】ブラウン ケヴィン マーティン
【テーマコード（参考）】
4C093
5B057
【Ｆターム（参考）】
4C093AA22
4C093AA26
4C093CA06
4C093FD08
4C093FF03
4C093FF18
4C093FF34
5B057AA08
5B057AA09
5B057BA03
5B057CA02
5B057CA08
5B057CA12
5B057CA16
5B057CB02
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE02
5B057DC40
(57)【要約】
本開示の一実施形態は、ニューラルネットワークモデルをトレーニング及びチューニングする方法を提供する。この方法は、ノイズの多い画像を生成するために、物体の初期画像にシミュレートされたノイズを追加するステップであって、シミュレートされたノイズは、初期画像内の自然ノイズと同じ形式をとる、追加するステップと、初期画像をグラウンドトゥルースとして使用して、ノイズの多い画像についてニューラルネットワークモデルをトレーニングするステップであって、ニューラルネットワークモデルにおいて、チューニング変数が抽出又は生成され、チューニング変数は、使用中に除去されるノイズ量を決定する、トレーニングするステップと、初期画像のトレーニングコスト関数を最小化するチューニング変数の第１の値を識別するステップと、チューニング変数に、第１の値とは異なる第２の値を割り当てるステップであって、ニューラルネットワークモデルは、第２の値を使用したときに、第１の値を使用したときよりも多くのノイズをノイズの多い画像内に識別する、割り当てるステップとを含む。
【特許請求の範囲】
【請求項1】
ニューラルネットワークモデルをトレーニング及びチューニングする方法であって、前記方法は、物体の初期画像を提供するステップであって、前記初期画像には自然ノイズが含まれている、提供するステップと、
ノイズの多い画像を生成するために、前記物体の前記初期画像にシミュレートされたノイズを追加するステップであって、前記シミュレートされたノイズは、前記初期画像内の前記自然ノイズと同じ形式をとる、追加するステップと、
前記初期画像をグラウンドトゥルースとして使用して、前記ノイズの多い画像についてニューラルネットワークモデルをトレーニングするステップであって、前記ニューラルネットワークモデルにおいて、チューニング変数が抽出又は生成され、前記チューニング変数は、使用中に除去されるノイズ量を決定する、トレーニングするステップと、
前記初期画像のトレーニングコスト関数を最小化する前記チューニング変数の第１の値を識別するステップと、
前記チューニング変数に、前記第１の値とは異なる第２の値を割り当てるステップであって、前記ニューラルネットワークモデルは、前記第２の値を使用したときに、前記第１の値を使用したときよりも多くのノイズを前記ノイズの多い画像内に識別する、割り当てるステップと、
を含む、方法。
【請求項2】
物体の複数の追加の初期画像を提供するステップと、複数の追加のノイズの多い画像を形成するために、前記初期画像の各々に前記シミュレートされたノイズを追加するステップであって、前記シミュレートされたノイズは、前記複数の追加の初期画像の各々における自然ノイズと同じ形式をとる、追加するステップと、
対応する初期画像をグラウンドトゥルースとして使用して、前記追加のノイズの多い画像の各々について前記ニューラルネットワークモデルをトレーニングするステップと、
を更に含む、請求項１に記載の方法。
【請求項3】
前記追加の初期画像のうちの少なくとも１つにおける前記自然ノイズの形式は、前記初期画像における前記自然ノイズの形式とは異なる、請求項２に記載の方法。
【請求項4】
前記チューニング変数に前記第２の値を用いて、トレーニングされた前記ニューラルネットワークモデルをノイズ除去される二次画像に適用するステップを更に含む、請求項１に記載の方法。
【請求項5】
トレーニングされた前記ニューラルネットワークモデルをユーザに提供するステップと、前記チューニング変数の潜在的な第２の値の範囲を提供するステップと、を更に含む、請求項１に記載の方法。
【請求項6】
前記ニューラルネットワークモデルは、前記初期画像内のノイズの画像を生成し、前記ノイズの多い画像から、ノイズの前記画像を差し引いて、クリーンな画像を生成する、請求項１に記載の方法。
【請求項7】
前記チューニング変数は、前記ニューラルネットワークモデルによって識別されるノイズの除去量を決定するスケーリング係数である、請求項１に記載の方法。
【請求項8】
請求項１に記載の方法を実行するステップと、前記チューニング変数に前記第２の値を使用して、前記物体のノイズの多い画像に、トレーニングされた前記ニューラルネットワークモデルを適用して、前記ノイズの多い画像内のノイズを予測するステップと、
前記ノイズの多い画像から、予測されたノイズを除去して、ノイズ除去された画像を生成するステップと、
を含む、ノイズ除去方法。
【請求項9】
ノイズ除去された前記画像をユーザに出力するステップを更に含む、請求項８に記載のノイズ除去方法。
【請求項10】
放射線源と、前記放射線源によって放出された放射線を検出する放射線感受性検出器とを使用して、物体の断層撮影投影データを受信するステップと、前記断層撮影投影データに基づいて、ノイズ除去する前記物体の画像を生成するステップと、
を更に含む、請求項８に記載のノイズ除去方法。
【請求項11】
ニューラルネットワークのトレーニング及びチューニングシステムであって、複数の命令を保存するメモリと、
前記メモリに結合したプロセッサとを含み、前記プロセッサが、前記命令を実行して、
物体の初期画像を提供することであって、前記初期画像には自然ノイズが含まれている、提供することと、
ノイズの多い画像を生成するために、前記物体の前記初期画像にシミュレートされたノイズを追加することであって、前記シミュレートされたノイズは、前記初期画像内の前記自然ノイズと同じ形式をとる、追加することと、
前記初期画像をグラウンドトゥルースとして使用して、前記ノイズの多い画像についてニューラルネットワークモデルをトレーニングすることであって、前記ニューラルネットワークモデルにおいて、チューニング変数が抽出又は生成され、前記チューニング変数は、使用中に除去されるノイズ量を決定する、トレーニングすることと、
前記初期画像のトレーニングコスト関数を最小化する前記チューニング変数の第１の値を識別することと、
前記チューニング変数に、前記第１の値とは異なる第２の値を割り当てることであって、前記ニューラルネットワークモデルは、前記第２の値を使用したときに、前記第１の値を使用したときよりも多くのノイズを前記ノイズの多い画像内に識別する、割り当てることとを実行する、システム。
【請求項12】
前記プロセッサ回路は、物体の複数の追加の初期画像を提供することと、
複数の追加のノイズの多い画像を形成するために、前記初期画像の各々に前記シミュレートされたノイズを追加することであって、前記シミュレートされたノイズは、前記複数の追加の初期画像の各々における自然ノイズと同じ形式をとる、追加することと、
対応する初期画像をグラウンドトゥルースとして使用して、前記追加のノイズの多い画像の各々について前記ニューラルネットワークモデルをトレーニングすることと、
を更に実行する、請求項１１に記載のシステム。
【請求項13】
前記追加の初期画像のうちの少なくとも１つにおける前記自然ノイズの形式は、前記初期画像における前記自然ノイズの形式とは異なる、請求項１２に記載のシステム。
【請求項14】
請求項１２に記載のニューラルネットワークのトレーニング及びチューニングシステムを含むノイズ除去システムであって、前記プロセッサ回路は更に、前記命令を実行して、
前記チューニング変数に第２の値を使用して、前記物体のノイズの多い画像に、トレーニングされた前記ニューラルネットワークモデルを適用して、前記ノイズの多い画像内のノイズを予測し、
前記ノイズの多い画像から、予測されたノイズを除去して、ノイズ除去された画像を生成する、ノイズ除去システム。
【請求項15】
放射線源と、前記放射線源によって放出された放射線を検出する放射線感受性検出器とを使用して、物体の断層撮影投影データを受信し、前記断層撮影投影データに基づいて、前記物体の初期画像を生成するイメージングデバイスを更に含む、請求項１４に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
[0001] 本開示は、概して、画像のノイズ除去のためのニューラルネットワークモデルをトレーニング及びチューニングするシステム及び方法、並びにトレーニングされたニューラルネットワークを使用して画像のノイズ除去するシステム及び方法に関する。
【背景技術】
【0002】
[0002] 従来、ほとんどのイメージングモダリティには、最終画像にノイズといった特定のアーチファクトをもたらす収集物理特性又は再構成の作用がある。ノイズ除去ニューラルネットワークモデルを教師ありでトレーニングするために、ノイズの多い画像サンプルとノイズのない画像サンプルとのペアをニューラルネットワークモデルに提示し、ネットワークは、ノイズの多い画像をノイズ除去して対応するノイズのないグラウンドトゥルース画像を復元することでコスト関数を最小化しようとする。これは、ノイズの多い画像から差し引かれたときに、ノイズのない画像を生成又は近似するノイズ画像を予測することによって行われる。
【0003】
[0003] しかし、ＣＴスキャンのコンテキストでは、グラウンドトゥルースとして使用されるサンプル「ノイズレス」画像は真にノイズレスではなく、臨床的に適用される放射線量が限られているため、すでに準最適である。これにより、トレーニングに使用できる「ノイズレス」画像のノイズのベースラインが作成される。更に、死体スキャンのように高線量放射線を適用できる場合でも、機械用のスキャナなどのイメージングツールの構造によってノイズが発生する可能性がある。
【0004】
[0004] いくつかの既存のアプローチは、高品質の反復再構成でグラウンドトゥルースサンプルを再構成することである。しかし、これらのアプローチでは、シミュレートされたクリーンな画像を開発する際に、他の画像アーチファクトが発生する可能性があり、これは、このような画像をグラウンドトゥルースとして用いてトレーニングされたＡＩネットワークを使用してノイズ除去された画像にも発生する可能性がある。そのため、ＡＩネットワークが、実際の原因となっている解剖学的構造を検出することを学習しない可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
[0005] ネットワークがノイズのない画像を依然として生成できるように、準最適のノイズの多いグラウンドトゥルース画像を用いてＡＩニューラルネットワークモデルをトレーニングする方法が必要である。更に、トレーニングに用いられたグラウンドトゥルース画像よりも画質を向上させることができる、画像をノイズ除去する方法が必要である。
【0006】
[0006] 背景技術セクションに記載されている説明は、背景技術セクションで言及されている又は背景技術セクションに関連付けられているという理由だけで、先行技術であると見なされるべきではない。背景技術セクションには、主題の技術の１つ以上の態様を説明する情報が含まれる場合がある。
【課題を解決するための手段】
【0007】
[0007] ニューラルネットワークモデルをトレーニングする方法が提供される。この方法では、自然ノイズを含む初期画像を使用してネットワークをトレーニングする。このような方法では、シミュレートされたノイズが初期画像に追加される。いくつかの実施形態では、追加されたシミュレートされたノイズは、対応する画像内の自然ノイズと同じ形式をとる。ニューラルネットワークモデルは、スケーリング係数を適用しながら、自然ノイズの形式をとるノイズを除去するようにトレーニングされる。
【0008】
[0008] 次に、ネットワークモデルは、ニューラルネットワークモデルの出力と初期画像との差を最小化することによって、ネットワークのコスト関数を最小化するスケーリング係数の第１の値を識別することによって最適化される。最適化を行った後、グラウンドトゥルースを再構成するのに必要であるよりも多くのノイズが除去されるようにスケーリング係数が修正される。
【0009】
[0009] 本開示の一実施形態は、ニューラルネットワークモデルをトレーニング及びチューニングする方法を提供する。この方法は、物体の初期画像を提供するステップを含み得る。初期画像には自然ノイズが含まれている。この方法は更に、ノイズの多い画像を生成するために、物体の初期画像にシミュレートされたノイズを追加するステップを含み得る。シミュレートされたノイズは、初期画像内の自然ノイズと同じ形式をとる。この方法は更に、初期画像をグラウンドトゥルースとして使用して、ノイズの多い画像についてニューラルネットワークモデルをトレーニングするステップを含み得る。ニューラルネットワークモデルにおいて、チューニング変数が抽出又は生成され、チューニング変数は、使用中に除去されるノイズ量を決定する。この方法は更に、初期画像のトレーニングコスト関数を最小化するチューニング変数の第１の値を識別するステップを含み得る。この方法は更に、チューニング変数に、第１の値とは異なる第２の値を割り当てるステップを含み得る。ニューラルネットワークモデルは、第２の値を使用したときに、第１の値を使用したときよりも多くのノイズをノイズの多い画像内に識別する。
【0010】
[0010] 本開示の別の実施形態は、ニューラルネットワークのトレーニング及びチューニングシステムを提供する。このシステムは、複数の命令を保存するメモリと、メモリに結合するプロセッサ回路とを含み得る。プロセッサ回路は、命令を実行して、物体の初期画像を提供することであって、初期画像には自然ノイズが含まれている、提供することと、ノイズの多い画像を生成するために、物体の初期画像にシミュレートされたノイズを追加することであって、シミュレートされたノイズは、初期画像内の自然ノイズと同じ形式をとる、追加することと、初期画像をグラウンドトゥルースとして使用して、ノイズの多い画像についてニューラルネットワークモデルをトレーニングすることであって、ニューラルネットワークモデルにおいて、チューニング変数が抽出又は生成され、チューニング変数は、使用中に除去されるノイズ量を決定する、トレーニングすることと、初期画像のトレーニングコスト関数を最小化するチューニング変数の第１の値を識別することと、チューニング変数に、第１の値とは異なる第２の値を割り当てることであって、ニューラルネットワークモデルは、第２の値を使用したときに、第１の値を使用したときよりも多くのノイズをノイズの多い画像内に識別する、割り当てることと、を実行する。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
[0017] 本開示の原理による例示的実施形態の説明は、添付図面に関連して読まれることが意図されている。添付図面は、本明細書全体の一部と見なされる。本明細書に開示される本開示の実施形態の説明において、方向や向きへの任意の参照は、単に説明の便宜を図るためのものであり、本開示の範囲を限定することを意図したものではない。「下部」、「上部」、「水平」、「垂直」、「上方」、「下方」、「上」、「下」、「頂部」、及び「底部」、並びにそれらの派生語（例えば、「水平方向」、「下方向」、「上方向」など）などの相対的な用語は、議論下の図面で後に説明される又は示される向きを指すと解釈する必要がある。これらの相対的な用語は、説明の便宜を図るためのものであり、特に明記されていない限り、装置を特定の向きで構成又は操作することを要求するものではない。「取り付けられている」、「固定されている」、「接続されている」、「結合されている」、「相互接続されている」などの用語は、特に明記されていない限り、構造が直接的又は介在する構造を通じて間接的のいずれかで相互に固定される又は取り付けられる関係、並びに可動又は剛体の取り付け又は関係の両方を指している。更に、本開示の特徴及び利益は、例示された実施形態を参照して示されている。したがって、本開示は、単独で又は他の特徴の組み合わせで存在し得る特徴のいくつかの可能な非限定的な組み合わせを示すそのような例示的な実施形態に明示的に限定されるべきではない。本開示の範囲は、添付の特許請求の範囲で定義される。
【0013】
[0018] 本開示は、現在企図される本開示を実践する１つ以上の最良の態様を説明するものである。本説明は、限定的な意味で理解されることを意図しておらず、本開示の利点及び構成について当業者に伝えるために添付の図面を参照して、説明目的のためにのみ提示された本開示の例を提供するものである。図面の様々な図では、同様の参照文字は、同様又は類似の部品を指定する。
【0014】
[0019] 開示されている実施形態は、本明細書における革新的な教示の多くの有利な使用例にすぎないことに留意することが重要である。一般に、本出願の明細書に記載された記述は、必ずしも様々な請求項に係る開示のいずれかを限定するものではない。更に、一部の記述は、一部の発明特徴には当てはまるが、他の特徴には当てはならない場合がある。一般に、特に明記されていない限り、単数形の要素は複数形であってもよく、また、一般性を失うことなく、その逆もまた同様である。
【0015】
[0020] ノイズ除去ニューラルネットワークモデルを教師ありでトレーニングするために、ノイズの多い画像サンプルとノイズのない画像サンプルとのペアをネットワークモデルに提示し、コスト関数を用いて、トレーニング中のノイズの予測外れに対してペナルティを科す。ノイズの多い画像は、ノイズ生成ツールを使用してノイズをシミュレートすることによって、ノイズレス画像サンプルから生成される。一例では、コンピュータ断層撮影（ＣＴ）の場合、臨床的に評価されたノイズ生成ツールによって、システムが、生データセットを形成する既存の臨床グラウンドトゥルースノイズレス画像に対して非常にリアルなノイズを作成することが可能にされる。
【0016】
[0021] しかし、臨床グラウンドトゥルース画像は真にノイズレスであるわけではない。したがって、臨床的に適用される放射線量は、放射線科医によって「ａｓ－ｌｏｗ－ａｓ－ｒｅａｓｏｎａｂｌｙ－ａｃｈｉｅｖａｂｌｅ（ＡＬＡＲＡ）」（合理的に達成可能な限り低く）の原則に従って制限されるため、これらの画像はすでに準最適である場合がある。これにより、グラウンドトゥルース画像内のノイズのベースラインが作成されてしまい、トレーニングに要求される真のノイズレス画像が達成できなくなる。
【0017】
[0022] 本開示は、準最適なノイズの多いグラウンドトゥルース画像を用いてネットワークをトレーニングするが、ネットワーク予測を使用して画像を過剰補正することによって、ノイズのない又はほぼノイズのない画像が得られる方法について教示する。このようにして、本開示は、医用画像のノイズ除去の領域でノイズのないグラウンドトゥルース画像が得られないという問題を解決するのに役立つ。
【0018】
[0023] 本開示は、残差学習アプローチを使用する。つまり、ノイズ除去ネットワークは、入力画像内のノイズを予測するようにトレーニングされ、その後、入力画像はノイズ除去された画像を生成するために差し引かれる。これは、入力からノイズ除去された画像を直接予測するようにネットワークがトレーニングされる直接ノイズ除去とは異なる。ただし、本明細書に説明するシステム及び方法は、どちらのコンテキストでも適用できる。
【0019】
[0024] 図１に示すように、本開示の一実施形態によるシステムは、処理デバイス１００と、イメージングデバイス２００とを含む。
【0020】
[0025] 処理デバイス１００は、画像をノイズ除去するためにニューラルネットワークモデルをトレーニングする。処理デバイス１００は、メモリ１１３と、プロセッサ回路１１１とを含む。メモリ１１３は複数の命令を保存できる。プロセッサ回路１１１は、メモリ１１３に結合し、命令を実行できる。処理デバイス１００は更に、入力部１１５と、出力部１１７とを含む。入力部１１５は、イメージングデバイス２００から初期画像３１１といった情報を受信する。出力部１１７は、ユーザに情報を出力する。出力部にはモニタやディスプレイが含まれていてもよい。
【0021】
[0026] いくつかの実施形態では、処理デバイス１００はイメージングデバイス２００に関連付けられている。いくつかの実施形態では、イメージングデバイス２００は、画像データ処理デバイスと、物体（患者など）をスキャンする際にＣＴ投影データを生成するスペクトルＣＴスキャンユニットとを含む。例えば、図２は、本開示の実施形態による例示的なイメージングデバイス２００を示す。ＣＴイメージングデバイスが示され、以下の説明はＣＴ画像のコンテキストで行われるが、同様の方法を、他のイメージングデバイスのコンテキストでも適用可能であり、これらの方法が適用される画像は様々なやり方で取得できる。
【0022】
[0027] 本開示の実施形態によるイメージングデバイスでは、ＣＴスキャンユニットは、ＣＴ投影データを生成するために、物体の複数の軸方向スキャン及び／又はヘリカルスキャンを実行するのに適している。本開示の実施形態によるイメージングデバイスでは、ＣＴスキャンユニットは、エネルギー分解光子計数画像検出器を含む。ＣＴスキャンユニットは、投影データを取得する際に物体を横断する放射線を放射する放射線源を含む。
【0023】
[0028] 例えば、ＣＴスキャンユニット（コンピュータ断層撮影（ＣＴ）スキャナなど）は、固定ガントリ２０２と回転ガントリ２０４とを含み、回転ガントリ２０４は、固定ガントリ２０２によって回転可能に支持されている。回転ガントリ２０４は、投影データを取得する際に、物体の検査領域２０６の周りを、長手方向軸の周りに回転する。ＣＴスキャンユニットは、検査領域２０６内で患者を支えるカウチといった支持体を含む。
【0024】
[0029] ＣＴスキャンユニットは、Ｘ線管などの放射線源２０８を含む。このＸ線管は、回転ガントリ２０４によって支持され、回転ガントリ２０４とともに回転する。放射線源は、アノードとカソードとを含む。アノード及びカソードの両端に印加された源電圧は、カソードからアノードへの電子を加速する。電子の流れは、検査領域２０６を横断する放射線を生成するように、カソードからアノードへの電流の流れを提供する。
【0025】
[0030] ＣＴスキャンユニットは検出器２１０を含む。この検出器は、放射線源２０８に対して検査領域２０６の反対側の角度アークの範囲を定める。検出器は、直接変換検出器ピクセルなどのピクセルの１次元又は２次元アレイを含む。検出器は検査領域を横断する放射線を検出し、そのエネルギーを示す信号を生成するのに適している。
【0026】
[0031] イメージングデバイス２００は更に、生成器２１１及び２１３を含む。生成器２１１は、検出器２１０からの信号に基づいて断層撮影投影データ２０９を生成する。生成器２１３は断層撮影投影データ２０９を受信し、断層撮影投影データ２０９に基づいて物体の初期画像３１１を生成する。初期画像３１１は、処理デバイス１００の入力部１１５に入力される。
【0027】
[0032] 図３は、本開示の一実施形態によるプロセッサデバイス１００の概略図である。図４Ａ及び図４Ｂは、図３の処理デバイス１００を使用してニューラルネットワークモデル５１０をトレーニングするために使用する画像３１１、３３１へのシミュレートされたノイズ３１７、３３７の追加を示している。
【0028】
[0033] 図３に示すように、処理デバイス１００は、複数の機能ブロック１３１、１３３、１３５、１３７、及び１３９を含む。
【0029】
[0034] 図３を参照すると、物体の初期画像３１１は、例えば入力部１１５を介してブロック１３１に提供される。図４Ａに示すように、初期画像３１１には自然ノイズ３１５が含まれている。図３及び図４Ａを参照して、ブロック１３１は、シミュレートされたノイズ３１７を物体の初期画像３１１に追加して、ノイズの多い画像３１３を生成する。シミュレートされたノイズ３１７は、初期画像３１１内の自然ノイズ３１５と同じ形式であってよい。
【0030】
[0035] いくつかの実施形態では、図３及び図４Ｂを参照して、物体の複数の追加の初期画像３３１がブロック１３１に提供される。追加の初期画像３３１の各々には、自然ノイズ３３５が含まれている。ブロック１３１は更に、シミュレートされたノイズ３３７を追加の初期画像３３１の各々に追加して、複数の追加のノイズの多い画像３３３を形成する。シミュレートされたノイズ３３７は、複数の追加の初期画像３３１の各々における自然ノイズ３３５と同じ形式であってよい。いくつかの実施形態では、追加の初期画像３３１のうちの少なくとも１つにおける自然ノイズ３３５の形式は、初期画像３１１における自然ノイズ３１５の形式と異なっていてもよい。
【0031】
[0036] 自然ノイズと同じ形式をとるシミュレートされたノイズを参照する場合、その形式は、ノイズの統計的又は数学的モデルに関連している。そのため、シミュレートされたノイズは、対応する初期画像で発生する自然ノイズと数学的に区別がつかないように作成される。
【0032】
[0037] いくつかの実施形態では、シミュレートされたノイズ３１７は、対応する初期画像３１１を実際に生成したプロセスとは異なるイメージングプロセスの結果をエミュレートしようとする。そのため、初期画像３１１が標準放射線量（即ち、１００％線量）を使用して標準条件下で撮影された場合、シミュレートされたノイズ３１７は、例えば、標準放射線量の半分（即ち、５０％線量）で撮影した同じ内容の画像をエミュレートするように追加される。したがって、ノイズシミュレーションツールは、ノイズを追加して、いくつかのそのような変数に沿って代替イメージングプロセスをシミュレートできる。
【0033】
[0038] 図３に示すように、ブロック１３３は、初期画像３１１をグラウンドトゥルースとして使用してノイズの多い画像３１３についてニューラルネットワークモデル５１０をトレーニングする。いくつかの実施形態では、ブロック１３３は、追加のノイズの多い画像３３３の各々についてニューラルネットワークモデル５１０を、対応する追加の初期画像３３１をそれらのトレーニング反復のためのグラウンドトゥルースとして使用してトレーニングする。
【0034】
[0039] ニューラルネットワークモデル５１０では、チューニング変数が抽出又は生成される。チューニング変数は、ニューラルネットワークモデル５１０によって識別されたノイズの除去量を決定するスケーリング係数である。ブロック１３５は、トレーニングされたニューラルネットワークモデル５１０を受信する。ブロック１３５は、初期画像３１１のトレーニングコスト関数を最小化するチューニング変数の第１の値５１３を識別又は受信する。
【0035】
[0040] チューニング変数は、モデル内で暗黙的に与えられる。例えば、いくつかの実施形態では、ネットワークの最終層の最終値にいくつかの重みを掛けてから合計する。この場合、チューニング変数は、これらの重みの成分である。このようなチューニング変数の導出については、以下により詳細に説明する。いくつかの実施形態では、チューニング変数は、ネットワーク内の全ての重みに適用されるスカラー係数である。他の実施形態では、チューニング変数はそれ自体が係数のアレイである。これは、例えば、ニューラルネットワークモデル又は複数の結合ニューラルネットワークモデルが、相関のない複数の成分を予測する場合である。
【0036】
[0041] 変数を分離することにより、ニューラルネットワークモデル５１０は、ノイズの多い画像３１３のどの要素がノイズ３１５、３１７であるかを別々に決定することができ、また、チューニング変数に適切な値を選択することによって、これらの要素の形式のノイズの除去量を決定する。しかしながら、初期画像３１１内のノイズ３１５は、ノイズの多い画像３１３内でシミュレートされたノイズ３１７と同じ形式をとるため、ニューラルネットワークモデル５１０はこれらの２つのタイプのノイズを区別できない。
【0037】
[0042] したがって、シミュレートされたノイズ３１７は非常にリアルであるため、ネットワークモデル５１０は、このシミュレートされたノイズをグラウンドトゥルース画像３１１内のノイズ３１５と区別するメカニズムを学習できず、とても単純なやり方を使用して予測付きの見込みのある結果を出して、トレーニングコスト関数を満たすことしかできない。その結果、ネットワーク５１０はチューニング変数を使用してノイズ予測をスケーリングして、理想的な結果を達成する。
【0038】
[0043] コスト関数によって決定されるチューニング変数の「正しい」予測は、最終的なノイズレベルを低下させるが、ノイズを除去しすぎると、グラウンドトゥルース画像３１１に属するノイズ３１５の一部も除去してしまうので、これはコスト関数によって阻止される。したがって、コスト関数を最小化することによって生成されるチューニング変数の第１の値５１３を適用することによって、十分なノイズ３１５、３１７が識別及び／又は除去され、したがって、シミュレートされたノイズの除去とグラウンドトゥルースノイズの除去との平衡が達成される。
【0039】
[0044] したがって、チューニング変数に第１の値５１３を使用すると、ノイズの多い出力画像がもたらされる。ブロック１３７は、チューニング変数に第２の値５１５を割り当てる。第２の値５１５は第１の値５１３とは異なり、ニューラルネットワークモデル５１０は、第２の値５１５を使用した場合、第１の値５１３を使用した場合よりもノイズの多い画像３１３内により多くのノイズを識別する。そのため、ニューラルネットワークモデル５１０が、認識された形式をとる画像内のノイズ３１５、３１７を識別した後、第２の値５１５を使用すると、第１の値５１３を用いた場合よりも多くのノイズが除去され、これにより、結果として得られるノイズ除去された画像３１５は、初期画像３１１よりもクリーンになる。
【0040】
[0045] 一実施形態では、出力部１１７はトレーニングされたニューラルネットワークモデル５１０をユーザに提供し、チューニング変数の潜在的な第２の値の範囲５１４をユーザに提供する。そのため、ユーザはチューニング変数に最適な第２の値５１５を選択できる。
【0041】
[0046] 更に、上で述べたように、はっきりとしたグラウンドトゥルース画像３１１、３３１はノイズ３１５、３３５を有し、互いに異なる形式をとる。そのため、ノイズ３１７、３３７がシミュレートされ、画像に追加されると、シミュレートされたノイズによってとられる形式又はモードは、グラウンドトゥルース画像内のノイズ３１５、３３５と一致する。これにより、ニューラルネットワークモデルは、一度トレーニングされると、異なるノイズモードを検出できる。いくつかの実施形態では、異なるトレーニング画像３１１、３３１から抽出されるノイズの異なるモードに、異なるチューニング変数を適用できる。
【0042】
[0047] ブロック１３９は、第２の値５１５を有するトレーニングされたニューラルネットワークモデル５１０を、ノイズ除去する画像３９１に適用する。ノイズ除去する画像３９１には、初期画像３１１、ノイズの多い画像３１３、及び初期画像３１１やノイズの多い画像３１３以外の二次画像が含まれる。例えば、ノイズ除去する画像３９１は、新しい臨床的に取得された、ノイズ除去する画像である。
【0043】
[0048] ブロック１３９は、画像３９１をノイズ除去するようにニューラルネットワークモデル５１０を構成する。いくつかの実施形態では、ブロック１３９は、ノイズの多い画像３１３内のノイズを予測し、ノイズの多い画像３１３から予測されたノイズを除去してクリーンな又はノイズ除去された画像３１５を生成するようにニューラルネットワークモデル５１０を構成する。通常、ニューラルネットワークモデル５１０が有効である場合、ノイズの多い画像３１３に適用される第２の値５１５を使用すると、初期画像３１１よりもクリーンなノイズ除去された画像３１５がもたらされる。
【0044】
[0049] 別の実施形態では、ニューラルネットワークモデル５１０に加えて、フィルタを使用して予測されたノイズを更に成形できる。これは、トレーニング中にシミュレートされたノイズのパワースペクトルがわずかに異なる場合に役立つ。これにより、ニューラルネットワークモデル５１０がシミュレートされたノイズに向かって予測を変更することを促進する。
【0045】
【0046】
[0051] 図５Ａは、本明細書で説明するニューラルネットワークモデル５１０を実現するために、以下に説明する方法を適用できるノイズの多い画像３９１を示している。ノイズの多い画像３９１は、本明細書で説明する方法を使用してトレーニングされたノイズ除去畳み込みニューラルネットワーク（ＣＮＮ）５１０を適用するシステムに入力される。このようなノイズの多い画像３９１が、前述したように、チューニング変数に第１の値５１３を使用してノイズ除去されると、出力は、ノイズのベースラインを含む、前述の初期画像３１１、３３１にあるノイズのレベルとよく似ている。図５Ｂの画像では、チューニング変数に第１の値５１３を使用して、入力から予測されたノイズが差し引かれ、ＣＮＮベースライン結果が得られる。
【0047】
[0052] 図５Ｃは、チューニング変数に第２の値５１５を使用してノイズ除去された画像の例を示している。図５Ｃの画像では、剰余（ｒｅｓｉｄｕｕｍ）がより多く差し引かれ、ノイズがほとんどない「過剰補正」画像がもたらされる。
【0048】
[0053] チューニング変数の理想値は、特定の損失関数について数学的に予測できる。一例では、ニューラルネットワークモデル５１０のトレーニング中に、この方法は、所与のサンプルに対して次の値を最小化しようとする。このサンプルは画像の３Ｄパッチである：
（ｎｉｊ，ｓｉｍ－ｆ（μｊ，ｒｅａｌ＋ｎｊ，ｒｅａｌ＋ｎｉｊ，ｓｉｍ））２
（ｎｉｊ，ｓｉｍ－ｆ（μｊ，ｒｅａｌ＋ｎｊ，ｒｅａｌ＋ｎｉｊ，ｓｉｍ））２
【0049】
[0054] このコンテキストでは、μｊ，ｒｅａｌは、画像のｊ番目の実際のノイズのないパッチであり、ｎｊ，ｒｅａｌは、ｊ番目のパッチ上にある実際のノイズであり、したがって、これは、グラウンドトゥルースの一部であり、ｎｉｊ，ｓｉｍは、ｊ番目のパッチ上でシミュレートされたｉ番目のノイズであり、これは、そのパッチの想定された真の「剰余」であり、ここで、ｆ（．）と指定される関数は、本明細書で説明するニューラルネットワークである。
【0050】
[0055] ネットワークが良い働きをすると仮定すると、ネットワーク、即ち、ｆ（μｊ，ｒｅａｌ＋ｎｊ，ｒｅａｌ＋ｎｉｊ，ｓｉｍ）は、真の「剰余」を近似し、推定値
を生成する。しかし、シミュレートされたノイズがよくシミュレートされている場合、ニューラルネットワークモデル５１０は、実際のノイズとシミュレートされたノイズとを区別できず、したがって、
となる。
【数1】
【数2】
【0051】
[0056] これを考慮して、サンプルにネットワークを適用した結果は次のようになる：
【数3】
【0052】
[0057] 上述したように、ニューラルネットワークモデル５１０は、学習可能係数βを用いて出力をスケーリングすることを学習できる。このスケーリング係数は、ネットワークの外側に移動できる。更に、実際のノイズとシミュレートされたノイズと推定値とは相関しておらず、平均が０であると仮定できる。
【0053】
[0058] したがって、次のようになる：
【数4】
【0054】
[0059] これはほぼ次のようになる：
【数5】
【0055】
[0060] このモデルに基づいて、また、上述したように、ネットワークは、関数のコスト項を最小化する学習可能係数βに適切な値を学習する。したがって、モデルで使用する学習可能係数βの最良値は、後にノイズの完全除去にはつながらない。これは、トレーニングに使用されるシミュレートされたノイズのみに関連するコスト関数部分を最小化するβの値ではないからである。入力画像に基づいてネットワークによって予測されるノイズは、代わりに係数β＜１．０でスケーリングされる。
【0056】
[0061] これに基づいて、チューニング変数λの第１の値（この特定のコスト関数では１．０）が剰余を不完全に除去し、ノイズ除去の最終出力が、出力＝入力－λ＊剰余である場合、λ＞＝１．０であるようにチューニング変数λに第２の値を割り当てる。
【0057】
[0062] 再構成前に生データに更なるノイズ除去が適用されないと仮定すると、所与のトレーニングシナリオのβの値を推定できる：
【数6】
【0058】
[0063] これを線量率α、即ち、トレーニング中に使用されるＣＴ画像でノイズが多くなるように、元の線量レベルよりも低い線量レベルをシミュレートするために使用される係数に合わせて調整できる。この場合、次のようになる：
【数7】
【0059】
[0064] したがって、最小化されるコスト関数は次のようになる：
【数8】
【0060】
[0065] このようにして、学習可能係数βは、１－αに対して最小化される。ここで、αはトレーニングに使用される線量係数である。予測されるノイズの減算を増加させるために使用される最適なチューニング変数λは、
によって計算され、これは、学習された係数βを乗法的に補償する。したがって、αが０．５の場合、チューニング変数
の最適値は２であり、αが０．２５の場合、
の最適値は１．３３である。
【数9】
【数10】
【数11】
【0061】
[0066] 図６は、本開示の一実施形態による方法のフローチャートである。
【0062】
[0067] 一実施形態による例示的な方法では、図６の６０１では、物体の初期画像３１１が処理デバイス１００に提供される。通常、初期画像の３１１には、少なくともある程度の自然ノイズ３１５がある。次に、図６の６０３では、シミュレートされたノイズ３１７が物体の初期画像３１１に追加されて、ノイズの多い画像３１３が生成される。シミュレートされたノイズ３１７は、通常、初期画像内にすでにある自然ノイズ３１５と同じ形式又は類似の形式をとる。
【0063】
[0068] 次に、シミュレートされたノイズ３１７を追加した後、図６の６０５では、ニューラルネットワークモデル５１０は、初期画像３１１をグラウンドトゥルースとして使用して、ノイズの多い画像３１３についてトレーニングされる。ニューラルネットワークを使用して生成されるニューラルネットワークモデル５１０を最適化するために使用されるコスト関数は、通常、トレーニング中に関数値を最小化するために使用できるチューニング変数を含む。次に、図６の６０７では、ニューラルネットワークモデル５１０のチューニング変数の第１の値５１３が識別又は受信される。第１の値５１３はコスト関数を最小化する値であり、したがって、トレーニングプロセスによって自動的に生成される。
【0064】
[0069] 典型的には、ニューラルネットワークモデル５１０をトレーニングする方法の第１の部分は何度も繰り返される。したがって、ステップ６０１～６０５は異なる初期画像で何度も繰り返される。時間の経過とともに、トレーニング方法がコスト関数を最小化しようとする最中に、第１の値５１３が６０７で識別される。なお、この方法は、追加のトレーニング画像が利用可能になるほどにステップ６０１～６０５を繰り返し続け、これにより、第１の値５１３に選択される値が改善して精緻化される。
【0065】
[0070] チューニング変数の第１の値５１３を識別した後、モデルをチューニングし、ニューラルネットワークモデル５１０の出力を改善するために、第２の値５１５を求めることができる。いくつかの実施形態では、第２の値５１５はトレーニング中にニューラルネットワークモデル５１０によって識別される。図６に示すような他の実施形態では、６０９において、トレーニングされたニューラルネットワークモデル５１０は、ユーザ又はモデルを実装するシステムに提供される可能性のある第２の値の範囲を識別する。
【0066】
[0071] 次に、図６の６１１では、チューニング変数の第２の値５１５が割り当てられる。これは、ネットワークモデル５１０自体によって選択された後、又はユーザによって選択された後に行われる。通常、第２の値５１５、又は第２の値が選ばれる範囲は、ニューラルネットワークモデル５１０が第２の値５１５を適用したときに、第１の値５１３を適用したときよりも多くのノイズを画像内に識別するように選択される。このようにして、画像から除去されるノイズを識別するために第２の値５１５を使用すると、第１の値５１３を使用する場合よりも多くのノイズが除去される。
【0067】
[0072] 一実施形態では、図６の６１３では、トレーニングされたニューラルネットワークモデル５１０が、チューニングされたチューニング変数に第２の値５１５を使用して、物体のノイズの多い画像３１３に適用されて、評価されるノイズの多い画像３１３内のノイズを予測する。これにより、ニューラルネットワークモデル５１０の有効性を、最初に提供されていたグラウンドトゥルース画像３１１と比較して評価できる。別の実施形態において、図６の６１３では、最初に提供された画像におけるニューラルネットワークモデル５１０の有効性を評価するために、トレーニングされたニューラルネットワークモデル５１０が、チューニングされたチューニング変数の第２の値５１５を使用して、物体の初期画像３１１に適用されて、初期画像３１１内のノイズを予測する。
【0068】
[0073] いくつかの実施形態では、第２の値５１５は、上述のように、定式的に、又は定式的に決定された範囲から選択される。このような選択のベースには、例えば、トレーニングデータに追加される追加のノイズをシミュレートするために使用される線量係数が含まれる。
【0069】
[0074] 次に、図６の６１５では、結果として得られた画像、即ち、クリーンな又はノイズ除去された画像３１５に基づいて、トレーニングされたニューラルネットワークモデル５１０が評価される。一例では、画像３１５の生成は、例えば、初期画像３１１内のノイズの画像を生成し、ノイズの多い画像３１３から当該ノイズの画像を差し引くことによって行われる。
【0070】
[0075] 図６の方法は、ステップ６０１～６０５のニューラルネットワークモデル５１０のトレーニングの１回の反復を示している。上述したように、これらの最初のいくつかのステップは何度も繰り返すことができ、その後に方法に示すチューニングプロセスが続けられる。そのため、そのような繰り返しが多く実行され、それぞれに、対のグラウンドトゥルース画像３１１、３３１と、シミュレートされたノイズが追加されている対応するノイズの多い画像３１３、３３３とが含まれていることが理解されるであろう。これらの画像のそれぞれにおいて、ノイズの多い画像でシミュレートされたノイズ３１７、３３７は、対応するグラウンドトゥルース画像内のノイズ３１５、３３５と同じ形式になるようにシミュレートされる。このようにして、ニューラルネットワークモデル５１０は、グラウンドトゥルース画像３１１、３３１内のノイズ３１５、３３５と、対応するノイズの多い画像３１３、３３３内の対応するシミュレートされたノイズ３１７、３３７とを区別できないようなやり方でトレーニングされる。
【0071】
[0076] いくつかの実施形態では、グラウンドトゥルース画像３１１、３３１内のノイズ３１５、３３５の形式は、互いに区別するように意図的に選択される場合があり、これにより、ニューラルネットワークモデル５１０は、医用イメージングによく見られる様々な潜在的なノイズモードを識別するようにトレーニングされる。
【0072】
[0077] 図７は、本開示の別の実施形態による画像をノイズ除去する方法のフローチャートである。
【0073】
[0078] 一実施形態による例示的な方法では、図７の７０１では、放射線源２０８と、放射線源２０８によって放出された放射線を検出する放射線感受性検出器２１０とを使用して、物体の断層撮影投影データ２０９が受信される。７０３において、断層撮影投影データ２０９は、トレーニングされたニューラルネットワークを使用してノイズ除去される画像３９１を形成するために使用される。次に、７０５では、ノイズ除去される画像３９１が処理デバイス１００に提供される。
【0074】
[0079] ７０７では、前述のネットワークモデルといった、物体の画像内のノイズを予測するトレーニングされたニューラルネットワークモデル５１０が受信される。７０９では、ニューラルネットワークモデル５１０のチューニング変数の第１の値５１３が識別又は受信される。チューニング変数の第１の値５１３は、トレーニングコスト関数を最小化するために、ネットワークモデルのトレーニング中に使用されるチューニング変数の値である。第１の値５１３の識別は、ノイズ除去方法を実施しているシステムにそのような値を提供することによって行われる場合もあれば、第１の値５１３が存在し、当該第１の値５１３がトレーニング中に決定され、ニューラルネットワークモデル５１０の使用中に適用される第２の値５１５が前述したようなやり方で第１の値とは異なる、ネットワークモデルを単に提供することによって行われる場合もあることが理解されるであろう。
【0075】
[0080] したがって、７１１では、第１の値５１３とは異なる第２の値５１５がチューニング変数に選択される。この第２の値５１５は、トレーニング中にニューラルネットワークモデル５１０のコスト関数を最小化した第１の値５１３とは異なり、第２の値５１５を使用すると、第１の値５１３を使用して予測されるよりも多くのノイズがノイズの多い画像内に識別又は予測されるように選択される。
【0076】
[0081] 次に、図７の７１３では、トレーニングされたニューラルネットワークモデル５１０が、チューニングされたチューニングに第２の値５１５を使用して、物体の画像３９１に適用されて、画像３９１をノイズ除去する。次に、図７の７１５では、トレーニングされたニューラルネットワークモデル５１０は、ユーザに出力されるクリーンな又はノイズ除去された画像３１５を生成する。クリーンな画像の生成は、ノイズの多い画像３９１内の予測されるノイズのマップを生成し、次に、画像からノイズを差し引くか、又は画像から識別されたノイズを直接除去することによって行われる。
【0077】
[0082] いくつかの実施形態では、チューニング変数の実際の第２の値５１５は、当該第２の値がモデルの理想的な値であるように、ニューラルネットワークモデル５１０とともにユーザに提供される。他の実施形態では、ユーザ又はモデルを実装しているシステムが解析されている特定の画像３９１又はシナリオに対して理想的な第２の値を選択できるように、潜在的な第２の値５１５の範囲が提供される。
【0078】
[0083] 本明細書で説明する方法はＣＴスキャン画像のコンテキストで説明されているが、様々な医用イメージング技術を含む様々なイメージング技術が企図されており、様々なイメージング技術を使用して生成された画像は、本明細書で説明する方法を使用して効果的にノイズ除去できることが理解されるであろう。
【0079】
[0084] 本開示による方法は、コンピュータ実施方法としてコンピュータで実施することも、専用ハードウェアで実施することも、その両方の組み合わせで実施することもできる。本開示による方法の実行可能コードは、コンピュータプログラム製品に保存されていてもよい。コンピュータプログラム製品の例としては、メモリデバイス、光ストレージデバイス、集積回路、サーバ、オンラインソフトウェアなどが挙げられる。好ましくは、このコンピュータプログラム製品は、当該プログラム製品がコンピュータ上で実行されたときに、本開示による方法を実行するために、コンピュータ可読媒体に保存された非一時的なプログラムコードを含む。実施形態では、コンピュータプログラムは、当該コンピュータプログラムがコンピュータ上で実行されるときに、本開示による方法の全てのステップを実行するように適応されたコンピュータプログラムコードを含む。コンピュータプログラムは、コンピュータ可読媒体に具現化されてもよい。
【0080】
[0085] 本開示は、いくつかの実施形態に関してある程度詳細に且つある程度特殊性を持って説明されているが、任意のそのような特殊性、実施形態、又は任意の特定の実施形態に限定されるべきであることを意図されておらず、むしろ、先行技術を考慮して、添付の特許請求の範囲の可能な限り広い解釈を提供し、したがって、本開示の意図された範囲を効果的に包含するように、添付の特許請求の範囲を参照して解釈されるべきである。
【0081】
[0086] 本明細書に記載されている全ての例及び条件付き言語は、本開示の原理と、発明者が技術を促進するために貢献した概念とを読者が理解するのを助ける教育的目的を意図しており、また、そのような具体的に記載された例及び条件に限定されないと解釈されるべきである。更に、本開示の原理、態様、及び実施形態だけでなく、それらの具体例を詳述する、本明細書における全ての記述は、その構造的及び機能的な均等物を包含することを意図している。また、そのような均等物には、現在知られている均等物だけでなく、将来開発される均等物、即ち、構造に関係なく、同じの機能を実行するように開発された要素の両方が含まれることを意図している。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5A-5C】
【図6】
【図7】
【国際調査報告】