特開 2023-112511 医用画像処理装置、学習装置、医用画像処理方法、学習方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023112511

(43)【公開日】2023-08-14

(54)【発明の名称】医用画像処理装置、学習装置、医用画像処理方法、学習方法およびプログラム

(51)【国際特許分類】

   G01T 1/161 20060101AFI20230804BHJP

   G01T 1/164 20060101ALI20230804BHJP

   G06T 7/00 20170101ALI20230804BHJP

【ＦＩ】

G01T1/161 D

G01T1/164 N

G06T7/00 612

G06T7/00 350B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022014346

(22)【出願日】2022-02-01

(71)【出願人】

【識別番号】504132881

【氏名又は名称】国立大学法人東京農工大学

(71)【出願人】

【識別番号】000230250

【氏名又は名称】日本メジフィジックス株式会社

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】清水 昭伸

(72)【発明者】

【氏名】原 守男

(72)【発明者】

【氏名】西川 和宏

【テーマコード（参考）】

4C188

5L096

【Ｆターム（参考）】

4C188EE03

4C188GG17

4C188KK34

4C188LL11

4C188LL30

5L096BA13

5L096EA07

5L096KA04

(57)【要約】      （修正有）

【課題】学習済モデルを用いた分析において、種類の異なる撮像装置で撮像された医用画像を適切に処理する技術を提供する。
【解決手段】異常集積検出装置１は、撮像装置によって撮像された被験者の骨シンチグラムを入力する入力部１０と、撮像装置に固有のノイズ除去処理が行われた装置独自の骨シンチグラムをノイズ除去前の医用画像に変換する逆フィルタリング処理部３０と、ノイズ除去前の骨シンチグラムを異常集積検出用の学習済モデル４１に適用して異常集積を推論する異常集積検出処理部３１と、異常箇所を示すデータを出力する出力部１３とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像装置によって撮像された被験者の医用画像を入力する入力部と、
前記撮像装置に固有の処理が行われた装置独自の医用画像を所定の態様の医用画像に変換する画像変換部と、
前記所定の態様の医用画像を第１の学習済モデルに適用して異常箇所または解剖構造を推論する推論部と、
前記異常箇所または解剖構造を示すデータを出力する出力部と、
を備える医用画像処理装置。

【請求項2】

前記画像変換部は、
前記装置独自の医用画像と当該装置独自の医用画像に対応する前記所定の態様の医用画像とを教師データとして学習された第２の学習済モデルに、前記装置独自の医用画像を適用することにより前記所定の態様の医用画像を生成する請求項１に記載の医用画像処理装置。

【請求項3】

前記第２の学習済モデルは、前記装置独自の医用画像を入力、前記装置独自の医用画像と前記所定の態様の医用画像との差分を出力とするモデルであり、
前記画像変換部は、前記第２の学習済モデルに前記装置独自の医用画像を適用して差分データを求め、前記装置独自の医用画像に前記差分データを加えることで前記所定の態様の医用画像を生成する請求項２に記載の医用画像処理装置。

【請求項4】

前記装置独自の医用画像はノイズ除去処理がなされた医用画像であり、前記所定の態様の医用画像はノイズ除去処理がなされていない医用画像である請求項１から３のいずれか１項に記載の医用画像処理装置。

【請求項5】

前記医用画像は骨シンチグラムであり、前記推論部は、前記異常箇所として異常集積を検出する請求項１から４のいずれか１項に記載の医用画像処理装置。

【請求項6】

装置独自の医用画像から所定の態様の医用画像に変換するためのモデルを学習によって生成する学習装置であって、
前記装置独自の医用画像と当該装置独自の医用画像に対応する前記所定の態様の医用画像を教師データとして入力する入力部と、
前記装置独自の医用画像と前記所定の態様の医用画像との差分データを求める差分計算部と、
学習対象のモデルに前記装置独自の医用画像を入力して推論を行い、得られた推論結果と前記差分データとの誤差に基づいて、前記学習対象のモデルの学習を行う学習部と、
前記学習対象のモデルを記憶する記憶部と、
を備える学習装置。

【請求項7】

医用画像処理装置によって医用画像を処理するための方法であって、
前記医用画像処理装置が、撮像装置によって撮像された被験者の医用画像を入力するステップと、
前記医用画像処理装置が、前記撮像装置に固有の処理が行われた装置独自の医用画像を所定の態様の医用画像に変換するステップと、
と、
前記医用画像処理装置が、前記所定の態様の医用画像を第１の学習済モデルに適用して異常箇所または解剖構造を推論するステップと、
前記医用画像処理装置が、前記異常箇所または解剖構造を示すデータを出力するステップと、
を備える医用画像処理方法。

【請求項8】

装置独自の医用画像から所定の態様の医用画像に変換するためのモデルを学習によって生成する方法であって、
前記装置独自の医用画像と当該装置独自の医用画像に対応する前記所定の態様の医用画像を教師データとして入力するステップと、
前記装置独自の医用画像と前記所定の態様の医用画像との差分データを求めるステップと、
学習対象のモデルに前記装置独自の医用画像を入力して推論を行い、得られた推論結果と前記差分データとの誤差に基づいて、前記学習対象のモデルの学習を行うステップと、
前記学習対象のモデルを記憶部に記憶するステップと、
を備える学習方法。

【請求項9】

医用画像を処理するためのプログラムであって、コンピュータに、
撮像装置によって撮像された被験者の医用画像を入力するステップと、
前記撮像装置に固有の処理が行われた装置独自の医用画像を所定の態様の医用画像に変換するステップと、
前記所定の態様の医用画像を第１の学習済モデルに適用して異常箇所または解剖構造を推論するステップと、
前記異常箇所または解剖構造を示すデータを出力するステップと、
を実行させるプログラム。

【請求項10】

装置独自の医用画像から所定の態様の医用画像に変換するためのモデルを学習によって生成するプログラムであって、コンピュータに、
前記装置独自の医用画像と当該装置独自の医用画像に対応する前記所定の態様の医用画像を教師データとして入力するステップと、
前記装置独自の医用画像と前記所定の態様の医用画像との差分データを求めるステップと、
学習対象のモデルに前記装置独自の医用画像を入力して推論を行い、得られた推論結果と前記差分データとの誤差に基づいて、前記学習対象のモデルの学習を行うステップと、
前記学習対象のモデルを記憶部に記憶するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医用画像に基づいて異常箇所または解剖構造の検出等の画像処理を行う技術に関する。

【背景技術】

【0002】

従来、ＳＰＥＣＴ、ＰＥＴ、ＣＴ、ＭＲＩ、レントゲン等で撮像された医用画像を画像処理する技術が知られている。例えば、骨シンチグラムの異常集積を検出する技術に関連して、骨格を認識する処理や高集積部位を抽出する処理を行う技術がある。最近では、機械学習を利用して、骨格認識処理や高集積部位抽出処理を行う技術も研究されている（非特許文献１）。このように人工知能を用いて医用画像を解析し、診断の補助をする技術は、撮像にかかる機器のモダリティによらず、広く研究されている。

【0003】

医用画像の画像処理を行う際にノイズ除去等を目的としてフィルタリングによる処理を行う場合がある。例えば、骨シンチグラムでは、平面シンチグラフのＳＮ比を改善するために、ノイズを低減する技術がいくつか提案されている（非特許文献２）。また、SwiftScanの平面画像は、従来の全身画像にClarity 2Dの処理をして作成されている（非特許文献３）。ここでClarity 2Dの処理には、バイラテラル・フィルタによるノイズ除去の処理が含まれている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】清水昭伸ほか「Automated measurement of bone scan index from a whole-body bone scintigram」 International Journal of Computer Assisted Radiology and Surgery 15, 389-400, (2019)

【0005】

【非特許文献2】Carl A. Wesolowskiほか「Improved lesion detection from spatially adaptive, minimally complex, Pixon reconstruction of planar scintigraphic images」Computerized Medical Imaging and Graphics，2005 Jan;29(1):65-81

【0006】

【非特許文献3】澁谷孝行ほか「Performance of SwiftScan planar and single photon emission computed tomography technology using low-energy high-resolution and sensitivity collimator」Research Square，2021 Jul 1;42(7):732-737

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、最近では、ノイズ等の除去のためのフィルタリング機能が撮像装置に搭載される例が増えつつある。そして、撮像装置のメーカーによってフィルタリング処理の内容は異なり、撮像装置で撮像された医用画像は装置独自の態様を有する。このため、フィルタリング処理の違いが異常箇所の検出精度に影響を与える惧れがあった。特に、機械学習により画像解析処理を行う場合には、処理内容がブラックボックスであるため、入力画像の違いに応じて処理内容を修正することが困難である。

【0008】

本発明は、上記背景に鑑み、学習済モデルを用いた分析において、種類の異なる撮像装置で撮像された医用画像を適切に処理する技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の医用画像処理装置は、撮像装置によって撮像された被験者の医用画像を入力する入力部と、前記撮像装置に固有の処理が行われた装置独自の医用画像を所定の態様の医用画像に変換する画像変換部と、前記所定の態様の医用画像を第１の学習済モデルに適用して異常箇所または解剖構造を推論する推論部と、前記異常箇所または解剖構造を示すデータを出力する出力部とを備える。

【0010】

このように撮像装置の独自の画像から所定の態様に変換した医用画像を第１の学習済モデルに適用して異常箇所または解剖構造を推論することにより、撮像装置による画像の違いの影響を受けることなく、異常箇所または解剖構造の検出を行える。なお、医用画像が骨シンチグラムの場合、推論部は、異常箇所として異常集積を検出してもよい。

【0011】

本発明の医用画像処理装置において、前記画像変換部は、前記装置独自の医用画像と当該装置独自の医用画像に対応する前記所定の態様の医用画像とを教師データとして学習された第２の学習済モデルに、前記装置独自の医用画像を適用することにより前記所定の態様の医用画像を生成してもよい。

【0012】

このように装置独自の医用画像と所定の態様の医用画像を教師データとして学習を行った第２の学習済モデルを用いることにより、装置独自の医用画像の仕様が開示されていなくても、装置独自の医用画像から所定の態様の医用画像を生成することができる。

【0013】

本発明の医用画像処理装置において、前記第２の学習済モデルは、前記装置独自の医用画像を入力、前記装置独自の医用画像と前記所定の態様の医用画像との差分を出力とするモデルであり、前記画像変換部は、前記第２の学習済モデルに前記装置独自の医用画像を適用して差分データを求め、前記装置独自の医用画像に前記差分データを加えることで前記所定の態様の医用画像を生成してもよい。

【0014】

このように装置独自の医用画像と所定の態様の医用画像との差分を出力とする学習済モデルにより差分を精度良く求めることができ、ひいては、所定の態様の医用画像を適切に求めることができる。

【0015】

本発明の医用画像処理装置において、前記装置独自の医用画像はノイズ除去処理がなされた医用画像であり、前記所定の態様の医用画像はノイズ除去処理がなされていない医用画像であってもよい。

【0016】

ノイズ除去されていない医用画像は収集しやすいので、ノイズ除去されていない医用画像から精度良く異常箇所を検出する学習済モデルを準備することができる。本発明によれば、ノイズ除去されていない医用画像に変換するので、医用画像処理装置は、適切に異常箇所を検出することができる。

【0017】

本発明の学習装置は、装置独自の医用画像から所定の態様の医用画像に変換するためのモデルを学習によって生成する学習装置であって、前記装置独自の医用画像と当該装置独自の医用画像に対応する前記所定の態様の医用画像を教師データとして入力する入力部と、前記装置独自の医用画像と前記所定の態様の医用画像との差分データを求める差分計算部と、学習対象のモデルに前記装置独自の医用画像を入力して推論を行い、得られた推論結果と前記差分データとの誤差に基づいて、前記学習対象のモデルの学習を行う学習部と、前記学習対象のモデルを記憶する記憶部とを備える。

【0018】

このように装置独自の医用画像と所定の態様の医用画像との差分データを出力とするモデルとすることにより、差分データの推論結果と正解データとの誤差に基づいて適切にモデルの学習を行うことができる。

【0019】

本発明の医用画像処理方法は、医用画像処理装置によって医用画像を処理するための方法であって、前記医用画像処理装置が、撮像装置によって撮像された被験者の医用画像を入力するステップと、前記医用画像処理装置が、前記撮像装置に固有の処理が行われた装置独自の医用画像を所定の態様の医用画像に変換するステップと、前記医用画像処理装置が、前記所定の態様の医用画像を第１の学習済モデルに適用して異常箇所または解剖構造を推論するステップと、前記医用画像処理装置が、前記異常箇所または解剖構造を示すデータを出力するステップとを備える。

【0020】

本発明の学習方法は、装置独自の医用画像から所定の態様の医用画像に変換するためのモデルを学習によって生成する方法であって、前記装置独自の医用画像と当該装置独自の医用画像に対応する前記所定の態様の医用画像を教師データとして入力するステップと、前記装置独自の医用画像と前記所定の態様の医用画像との差分データを求めるステップと、学習対象のモデルに前記装置独自の医用画像を入力して推論を行い、得られた推論結果と前記差分データとの誤差に基づいて、前記学習対象のモデルの学習を行うステップと、前記学習対象のモデルを記憶部に記憶するステップとを備える。

【0021】

本発明のプログラムは、医用画像を処理するためのプログラムであって、医用画像を処理するためのプログラムであって、コンピュータに、撮像装置によって撮像された被験者の医用画像を入力するステップと、前記撮像装置に固有の処理が行われた装置独自の医用画像を所定の態様の医用画像に変換するステップと、前記所定の態様の医用画像を第１の学習済モデルに適用して異常箇所または解剖構造を推論するステップと、前記異常箇所または解剖構造を示すデータを出力するステップとを実行させる。

【0022】

本発明の別の態様のプログラムは、装置独自の医用画像から所定の態様の医用画像に変換するためのモデルを学習によって生成するプログラムであって、コンピュータに、前記装置独自の医用画像と当該装置独自の医用画像に対応する前記所定の態様の医用画像を教師データとして入力するステップと、前記装置独自の医用画像と前記所定の態様の医用画像との差分データを求めるステップと、学習対象のモデルに前記装置独自の医用画像を入力して推論を行い、得られた推論結果と前記差分データとの誤差に基づいて、前記学習対象のモデルの学習を行うステップと、前記学習対象のモデルを記憶部に記憶するステップとを実行させる。

【発明の効果】

【0023】

本発明によれば、撮像装置の画像の態様によらず、医用画像から適切に異常箇所の検出を行える。

【図面の簡単な説明】

【0024】

【図1】実施の形態に係る異常集積検出装置の構成を示す図である。

【図2】（ａ）逆フィルタリング処理用の学習済モデルの構成を示す模式図である。（ｂ）逆フィルタリング処理用の学習済モデルの別の例を示す模式図である。

【図3】逆フィルタリング用モデル学習装置の構成を示す図である。

【発明を実施するための形態】

【0025】

以下、本実施の形態の医用画像処理装置について図面を参照して説明する。なお、以下の説明はあくまでも好ましい態様の一例を示したものであり、特許請求の範囲に記載された発明を限定する意図ではない。

【0026】

図１は、実施の形態に係る異常集積検出装置１の構成を示す図である。異常集積検出装置１は、被験者の骨シンチグラムから異常集積を検出する装置である。本実施の形態では、医用画像の一例としてＳＰＥＣＴ撮像装置で撮像した骨シンチグラムを挙げるが、本発明の医用画像処理装置は、ＰＥＴ，ＣＴ，ＭＲＩ等で撮像した医用画像にも適用することが可能である。

【0027】

異常集積検出装置１は、検査対象の被験者の骨シンチグラムを入力する入力部１０と、被験者の骨シンチグラムの画像処理を行って異常集積を検出する演算部１１と、２つの学習済モデル４０，４１を記憶した記憶部１２と、異常集積の検出結果を出力する出力部１３とを有している。

【0028】

入力部１０より入力される被験者のシンチグラムには、ＳＰＥＣＴ撮像装置の独自の処理が行われている。独自の処理の一例は、ノイズの除去を目的としたフィルタリング処理である。このフィルタリングの方法は、ＳＰＥＣＴ撮像装置のメーカー等によって異なる。本実施の形態では、装置独自の医用画像として、フィルタリング処理がなされた骨シンチグラムを例として説明する。

【0029】

記憶部１２には、逆フィルタリング処理用の学習済モデル４０と、異常集積検出用の学習済モデル４１が記憶されている。図２（ａ）は、逆フィルタリング処理用の学習済モデル４０の構成を示す模式図である。逆フィルタリング処理用の学習済モデル４０は、フィルタリング適用後の画像を入力とし、フィルタリング適用前後での画像の差分データを出力とするオートエンコーダである。オートエンコーダは、圧縮された特徴表現を抽出するエンコーダと、特徴表現から元のデータを復元するデコーダとを有している。

【0030】

異常集積検出処理用の学習済モデル４１は、フィルタリング適用前の画像を入力とし、ピクセルごとの異常集積の有無を出力とするモデルである。ここで、異常集積検出用の学習済モデル４１は、ノイズ除去等のフィルタリング処理が行われていない骨シンチグラムを教師データとして学習が行われたモデルである。このようにノイズ除去等のフィルタリング処理が行われていない画像は、撮像装置の種類にかかわらず取得することができるので、教師データに適している。

【0031】

演算部１１は、入力された骨シンチグラムに対して逆フィルタリング処理を行う逆フィルタリング処理部３０と、逆フィルタリング処理により得られたフィルタリング適用前の画像に基づき異常集積を検出する異常集積検出処理部３１とを有している。

【0032】

逆フィルタリング処理部３０は、記憶部１２から逆フィルタリング用の学習済モデル４０を読み出し、読み出した学習済モデル４０に対して被験者の骨シンチグラムを入力し、フィルタリング処理後の画像（入力画像）とフィルタリング処理前の画像との差分データを推論する。逆フィルタリング処理部３０は、フィルタリング処理後の画像に差分データを加えることにより、フィルタリング処理前の画像を生成する。フィルタリング処理前の画像は、ノイズ除去処理が行われる前の画像であり、撮像装置独自のフィルタリング処理が行われていない元の画像である。

【0033】

異常集積検出処理部３１は、記憶部１２から異常集積検出用の学習済モデル４０を読み出し、読み出した学習済モデル４０に対して逆フィルタリング処理を行って得られた骨シンチグラムを入力し、異常集積を推論により検出する。

【0034】

出力部１３は、異常集積検出処理部３１にて検出した異常集積の検出結果のデータを出力する。例えば、出力部１３は、異常集積箇所を特定した画像をモニタに表示する。

【0035】

本実施の形態の異常集積検出装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した異常集積検出装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

【0036】

図３は、逆フィルタリング用の学習済モデル４０を生成する学習装置２の構成を示す図である。学習装置２は、教師データの入力を受け付ける入力部２０と、逆フィルタリング用学習済モデル４０を生成する演算部２１と、生成した学習済モデル４０を記憶する記憶部２２と、記憶部２２に記憶された学習済モデル４０を外部に出力する出力部２３とを有している。

【0037】

入力部２０は、教師データとして、フィルタリング処理が行われた骨シンチグラムのデータと、フィルタリング処理が行われる前の骨シンチグラムのデータの入力を受け付ける。差分データ生成部３２は、フィルタリング処理を行う前と後の骨シンチグラムの差分データを生成する。学習部３３は、学習対象のモデルに対し、フィルタリング処理後の骨シンチグラムのデータを入力して推論を行い、推論により求めた差分データ（推論結果）と教師データから求めた差分データ（正解データ）との誤差を小さくするように、学習対象のモデルの学習を行う。誤差が所定の閾値以下になったときに学習を止め、学習対象のモデルを学習済モデル４０として記憶部２２に記憶する。

【0038】

ここで、本実施の形態において、差分データを出力とする学習済モデル４０を用いている点について説明する。差分データは骨シンチグラム自体のデータよりも小さいので、推論結果と正解データとの誤差が差分データの推論結果に与える影響が大きい。また、差分データは、エッジ付近の信号値や絶対値の小さな信号値についても、信号の絶対値に依存せず、予測対象の大きさが揃う。本実施の形態では、差分データの誤差を小さくするように学習することで、精度良く推論を行える学習済モデル４０を生成できる。

【0039】

本実施の形態の異常集積検出装置１は、逆フィルタリング用の学習済モデル４０を用いて、入力された被験者の骨シンチグラムに逆フィルタリング処理を行うことにより、ＳＰＥＣＴ撮像装置の違いによる画像の違いを吸収し、適切に異常集積を検出することができる。

【0040】

仕様の異なるＳＰＥＣＴ画像を用いて異常集積の検出を行おうとすると、異常集積検出用の学習済モデル４０を生成するために膨大な教師データが必要となる。また、仕様の異なるＳＰＥＣＴ画像ごとに異常集積検出用の学習済モデルを用意することは処理速度やメモリなどの効率の観点から望ましくない。本実施の形態によれば、フィルタリング処理の行われていない画像に変更することにより、フィルタリング処理を行っていない画像を用いて生成された異常集積検出用のモデルを利用して、異常集積を適切に検出できる。

【0041】

以上、本発明の医用画像処理装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
上記した実施の形態では、逆フィルタリング処理用の学習済モデル４０は、フィルタリング適用後の画像を入力とし、フィルタリング適用前後における画像の差分データを出力とするモデルを例として説明したが、本発明の医用画像処理装置は、図２（ｂ）に示すように、フィルタリング適用後の画像を入力とし、フィルタリング適用前の画像を出力とする学習済モデル４０を用いてもよい。この構成により、フィルタリング適用後の画像を学習済モデル４０に入力すると、フィルタリング適用前の画像が出力されるので、フィルタリング処理を行う前の画像を生成する工程を減らすことができる。

【0042】

上記した実施の形態では、ノイズ除去等のフィルタリング処理を行う前の骨シンチグラムの画像を生成する例を挙げたが、本発明の医用画像処理装置は、ノイズ除去前の画像を生成するのではなく、所定のメーカーの撮像画像の態様に変更するようにしてもよい。

【0043】

上記した実施の形態では、逆フィルタリングによって生成した画像に基づいて異常集積を検出する例を挙げたが、本発明の医用画像処理装置は、解剖構造の検出に適用することも可能である。この場合、ノイズ除去処理が行われる前の画像を用いて学習された解剖構造を検出するための学習済モデルを予め生成して準備しておく。学習済モデルを用いて解剖構造を検出する方法としては、非特許文献１に記載した方法を用いることができる。医用画像処理装置は、入力された被験者の骨シンチグラムに対して逆フィルタリング処理を行い、ノイズ除去処理が行われる前の画像を生成し、当該画像に基づいて解剖構造を検出する。

【符号の説明】

【0044】

１ 異常集積検出装置
２ 学習装置
１０ 入力部
１１ 演算部
１２ 記憶部
１３ 出力部
２０ 入力部
２１ 演算部
２２ 記憶部
２３ 出力部
３０ 逆フィルタリング処理部
３１ 異常集積検出処理部
３２ 差分データ生成部
３３ 学習部
４０ 逆フィルタリング用学習済モデル
４１ 異常集積検出用学習済モデル

【図1】

【図2】

【図3】