特開 2024-157161 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024157161

(43)【公開日】2024-11-07

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241030BHJP

   A61B 6/03 20060101ALI20241030BHJP

   G01T 1/161 20060101ALI20241030BHJP

   G06T 1/00 20060101ALI20241030BHJP

【ＦＩ】

G06T7/00 350C

A61B6/03 350U

A61B6/03 360T

G01T1/161 C

G06T1/00 290B

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023071328

(22)【出願日】2023-04-25

(71)【出願人】

【識別番号】000236436

【氏名又は名称】浜松ホトニクス株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100140442

【弁理士】

【氏名又は名称】柴山 健一

(74)【代理人】

【識別番号】100110582

【弁理士】

【氏名又は名称】柴田 昌聰

(72)【発明者】

【氏名】大手 希望

(72)【発明者】

【氏名】橋本 二三生

(72)【発明者】

【氏名】大西 佑弥

【テーマコード（参考）】

4C093

4C188

5B057

5L096

【Ｆターム（参考）】

4C093AA22

4C093AA26

4C093CA32

4C093FD03

4C093FE01

4C188EE02

4C188FF04

4C188FF07

4C188KK33

5B057AA09

5B057DA17

5L096BA06

5L096DA01

5L096HA11

5L096KA04

(57)【要約】

【課題】ＣＮＮの学習に必要なデータの量の増加を抑制しＣＮＮによる断層画像の作成の性能を向上させることができる画像処理装置を提供する。
【解決手段】画像処理装置は、断層撮影装置による測定によって取得された被検体の測定データに基づいて、実空間とは異なる測定空間上の測定画像を作成し、この測定画像をＣＮＮに入力させて、このＣＮＮにより実空間上の断層画像を作成する。ＣＮＮは、エンコーダ部２１、デコーダ部２２およびボトルネック部２３を含むＵ-ｎｅｔ構造を基本とするものであり、更に投影結合部２４を含む。投影結合部２４は、エンコーダ部２１における何れかの特徴マップに対しサイノグラム空間（測定空間）から実空間への投影処理を施して、その投影処理後の特徴マップをデコーダ部２２における同一サイズの特徴マップに結合させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

断層撮影装置による測定によって取得された被検体の測定データに基づいて、前記被検体の実空間上の断層画像を作成する画像処理装置であって、
前記測定データに基づいて、実空間とは異なる測定空間上の測定画像を作成する測定画像作成部と、
畳み込みニューラルネットワークに前記測定画像を入力させて前記畳み込みニューラルネットワークにより前記断層画像を作成するＣＮＮ処理部と、
を備え、
前記畳み込みニューラルネットワークは、
前記測定画像を入力して、複数の畳み込み層それぞれによる畳み込み演算により特徴マップを更新し、特徴マップの空間的なサイズを次第に縮小していくエンコーダ部と、
前記エンコーダ部の後段に設けられ、複数の畳み込み層それぞれによる畳み込み演算により特徴マップを更新し、特徴マップの空間的なサイズを次第に拡大していくデコーダ部と、
前記エンコーダ部における何れかの特徴マップに対し測定空間から実空間への投影処理を施して、その投影処理後の特徴マップを前記デコーダ部における同一サイズの特徴マップに結合させる投影結合部と、
を含む、
画像処理装置。

【請求項2】

複数の被検体それぞれの測定画像および断層画像を用いて前記畳み込みニューラルネットワークを学習させるＣＮＮ学習部を更に備える、
請求項１に記載の画像処理装置。

【請求項3】

前記ＣＮＮ処理部は、前記エンコーダ部に入力される測定画像に対し測定空間から実空間への投影処理を施して、その投影処理後の画像を前記デコーダ部からの出力画像に加算させる、
請求項１に記載の画像処理装置。

【請求項4】

前記投影結合部は、前記エンコーダ部における最大サイズの特徴マップに対し測定空間から実空間への投影処理を施して、その投影処理後の特徴マップを前記デコーダ部における同一サイズの特徴マップに結合させる、
請求項１に記載の画像処理装置。

【請求項5】

前記投影結合部は、前記エンコーダ部における全てのサイズの特徴マップに対し測定空間から実空間への投影処理を施して、その投影処理後の特徴マップを前記デコーダ部における同一サイズの特徴マップに結合させる、
請求項１に記載の画像処理装置。

【請求項6】

被検体の断層画像を作成する為の測定データを取得する断層撮影装置と、
前記測定データに基づいて前記断層画像を作成する請求項１～５の何れか１項に記載の画像処理装置と、
を備える断層撮影システム。

【請求項7】

断層撮影装置による測定によって取得された被検体の測定データに基づいて、前記被検体の実空間上の断層画像を作成する画像処理方法であって、
前記測定データに基づいて、実空間とは異なる測定空間上の測定画像を作成する測定画像作成ステップと、
畳み込みニューラルネットワークに前記測定画像を入力させて前記畳み込みニューラルネットワークにより前記断層画像を作成するＣＮＮ処理ステップと、
を備え、
前記畳み込みニューラルネットワークは、
前記測定画像を入力して、複数の畳み込み層それぞれによる畳み込み演算により特徴マップを更新し、特徴マップの空間的なサイズを次第に縮小していくエンコーダ部と、
前記エンコーダ部の後段に設けられ、複数の畳み込み層それぞれによる畳み込み演算により特徴マップを更新し、特徴マップの空間的なサイズを次第に拡大していくデコーダ部と、
前記エンコーダ部における何れかの特徴マップに対し測定空間から実空間への投影処理を施して、その投影処理後の特徴マップを前記デコーダ部における同一サイズの特徴マップに結合させる投影結合部と、
を含む、
画像処理方法。

【請求項8】

複数の被検体それぞれの測定画像および断層画像を用いて前記畳み込みニューラルネットワークを学習させるＣＮＮ学習ステップを更に備える、
請求項７に記載の画像処理方法。

【請求項9】

前記ＣＮＮ処理ステップは、前記エンコーダ部に入力される測定画像に対し測定空間から実空間への投影処理を施して、その投影処理後の画像を前記デコーダ部からの出力画像に加算させる、
請求項７に記載の画像処理方法。

【請求項10】

前記投影結合部は、前記エンコーダ部における最大サイズの特徴マップに対し測定空間から実空間への投影処理を施して、その投影処理後の特徴マップを前記デコーダ部における同一サイズの特徴マップに結合させる、
請求項７に記載の画像処理方法。

【請求項11】

前記投影結合部は、前記エンコーダ部における全てのサイズの特徴マップに対し測定空間から実空間への投影処理を施して、その投影処理後の特徴マップを前記デコーダ部における同一サイズの特徴マップに結合させる、
請求項７に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、断層撮影装置による測定によって取得された被検体の測定データに基づいて被検体の断層画像を作成する装置および方法に関するものである。

【背景技術】

【0002】

被検体の断層画像を作成する為の測定データを取得する断層撮影装置の例として、ＰＥＴ（Positron Emission Tomography）装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、Ｘ線ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置が挙げられる。これらの断層撮影装置により取得された被検体の測定データは、そのまま直ちに被検体の実空間上の断層画像を表すものではない。断層撮影装置により取得された被検体の測定データに基づいて被検体の実空間上の断層画像を作成するには、先ず、測定データに基づいて実空間とは異なる測定空間上の測定画像を作成し、次に、測定空間上の測定画像に基づいて実空間上の断層画像を作成する。この断層画像に基づいて被検体の健康状態を診断することができる。

【0003】

ＰＥＴ装置、ＳＰＥＣＴ装置およびＸ線ＣＴ装置の場合、測定空間はサイノグラム空間であり、測定画像はサイノグラムである。３次元ＰＥＴ装置の場合、サイノグラムは、４つの変数ｒ，θ，ｚ，δで表されるサイノグラム空間において、同時計数情報を取得した頻度（同時計数事象の発生頻度）を表すヒストグラムとして表現したものである。変数ｒは、同時計数ライン（光子対を同時計数した２個の検出器を互いに結ぶライン）の動径方向位置を表す。変数θは、同時計数ラインの方位角を表す。変数ｚは、同時計数ラインの中点の中心軸方向位置を表す。また、変数δは、同時計数ラインの極角を表す。ＭＲＩ装置の場合、測定空間は、空間周波数を変数として表されるｋ空間であり、測定画像はｋ空間データにより構成される。

【0004】

測定空間上の測定画像に基づいて実空間上の断層画像を作成する際に、画像再構成処理が行われる。サイノグラムから断層画像への画像再構成法として幾つかの手法が知られている。例えば、ＭＬ-ＥＭ（Maximum Likelihood Expectation Maximization）、ＯＳＥＭ（Ordered Subset Expectation Maximization）、ＲＡＭＬＡ（Row Action Maximum Likelihood Algorithm）およびＤＲＡＭＡ（Dynamic RAMLA）等が知られている。これらの画像再構成法は、実空間からサイノグラム空間への順投影と、サイノグラム空間から実空間への逆投影と、を交互に繰り返し行って、逐次近似的に断層画像を再構成していく。

【0005】

また、ニューラルネットワークを用いて測定空間上の測定画像から実空間上の断層画像を作成する技術が提案されている。この技術は、より高性能に断層画像を作成することができると期待されている。非特許文献１に記載された技術は、畳み込みニューラルネットワーク（Convolutional Neural Network、ＣＮＮ）にサイノグラムを入力させてＣＮＮにより断層画像を作成することを意図するものである。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】I. Haggstrom et al. “DeepPET: Adeep encoder-decoder network for directly solving the PET image reconstructioninverse problem,” Med. Image Anal. Vol.54, pp.253-262, 2019.

【発明の概要】

【発明が解決しようとする課題】

【0007】

非特許文献１に記載された技術は、多くの被検体のサイノグラムおよび断層画像のペアを用いて予めＣＮＮを学習させておく必要がある。ＣＮＮへの入力画像はサイノグラム空間上のサイノグラムであるのに対して、ＣＮＮからの出力画像は実空間上の断層画像である。入力画像（サイノグラム）と出力画像（断層画像）とは、異なる空間上の異質な画像であり、見た目に大きく異なる。したがって、ＣＮＮによるサイノグラムに基づく断層画像の作成は難しいタスクである。このことから、非特許文献１に記載された技術では、ＣＮＮの学習の為に大量のデータ（サイノグラムおよび断層画像のペア）が必要となる。

【0008】

学習に用いられたデータの量が少ないと、ＣＮＮは、サイノグラムから断層画像を作成するためのアルゴリズムを学習するには至らず、学習に用いられたサイノグラムおよび断層画像のペアを記憶するに留まる。そして、ＣＮＮは、未知のサイノグラムが入力されたときに、学習に用いられたサイノグラムのうち入力サイノグラムに最も近いサイノグラムに対応する断層画像を出力してしまう。

【0009】

このように、非特許文献１に記載された技術では、ＣＮＮの学習に用いられたデータの量が少ないと、ＣＮＮによる断層画像の作成の性能が低い。ＣＮＮによる断層画像の作成の性能を高めるには、ＣＮＮの学習の為に大量のデータが必要となる。

【0010】

以上のようなＣＮＮを用いて断層画像を作成する際の問題は、ＰＥＴ装置においてサイノグラムから断層画像を作成するときだけでなく、ＳＰＥＣＴ装置、Ｘ線ＣＴ装置およびＭＲＩ装置それぞれにおいて測定空間上の測定画像から実空間上の断層画像を作成するときにも存在する。

【0011】

本発明は、上記問題点を解消する為になされたものであり、ＣＮＮの学習に必要なデータの量の増加を抑制しＣＮＮによる断層画像の作成の性能を向上させることができる画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の画像処理装置は、断層撮影装置による測定によって取得された被検体の測定データに基づいて、被検体の実空間上の断層画像を作成する装置である。

【0013】

本発明の画像処理装置の第１態様は、(1) 測定データに基づいて、実空間とは異なる測定空間上の測定画像を作成する測定画像作成部と、(2) 畳み込みニューラルネットワークに測定画像を入力させて畳み込みニューラルネットワークにより断層画像を作成するＣＮＮ処理部と、を備える。畳み込みニューラルネットワークは、(a) 測定画像を入力して、複数の畳み込み層それぞれによる畳み込み演算により特徴マップを更新し、特徴マップの空間的なサイズを次第に縮小していくエンコーダ部と、(b) エンコーダ部の後段に設けられ、複数の畳み込み層それぞれによる畳み込み演算により特徴マップを更新し、特徴マップの空間的なサイズを次第に拡大していくデコーダ部と、(c) エンコーダ部における何れかの特徴マップに対し測定空間から実空間への投影処理を施して、その投影処理後の特徴マップをデコーダ部における同一サイズの特徴マップに結合させる投影結合部と、を含む。

【0014】

本発明の画像処理装置の第２態様では、第１態様に加えて、複数の被検体それぞれの測定画像および断層画像を用いて畳み込みニューラルネットワークを学習させるＣＮＮ学習部を更に備える。

【0015】

本発明の画像処理装置の第３態様では、第１態様または第２態様に加えて、ＣＮＮ処理部は、エンコーダ部に入力される測定画像に対し測定空間から実空間への投影処理を施して、その投影処理後の画像をデコーダ部からの出力画像に加算させる。

【0016】

本発明の画像処理装置の第４態様では、第１～第３の態様の何れかに加えて、投影結合部は、エンコーダ部における最大サイズの特徴マップに対し測定空間から実空間への投影処理を施して、その投影処理後の特徴マップをデコーダ部における同一サイズの特徴マップに結合させる。

【0017】

本発明の画像処理装置の第５態様では、第１～第３の態様の何れかに加えて、投影結合部は、エンコーダ部における全てのサイズの特徴マップに対し測定空間から実空間への投影処理を施して、その投影処理後の特徴マップをデコーダ部における同一サイズの特徴マップに結合させる。

【0018】

本発明の断層撮影システムは、被検体の断層画像を作成する為の測定データを取得する断層撮影装置と、測定データに基づいて断層画像を作成する上記の本発明の画像処理装置と、を備える。

【0019】

本発明の画像処理方法は、断層撮影装置による測定によって取得された被検体の測定データに基づいて、被検体の実空間上の断層画像を作成する方法である。

【0020】

本発明の画像処理方法の第１態様は、(1) 測定データに基づいて、実空間とは異なる測定空間上の測定画像を作成する測定画像作成ステップと、(2) 畳み込みニューラルネットワークに測定画像を入力させて畳み込みニューラルネットワークにより断層画像を作成するＣＮＮ処理ステップと、を備える。畳み込みニューラルネットワークは、(a) 測定画像を入力して、複数の畳み込み層それぞれによる畳み込み演算により特徴マップを更新し、特徴マップの空間的なサイズを次第に縮小していくエンコーダ部と、(b) エンコーダ部の後段に設けられ、複数の畳み込み層それぞれによる畳み込み演算により特徴マップを更新し、特徴マップの空間的なサイズを次第に拡大していくデコーダ部と、(c) エンコーダ部における何れかの特徴マップに対し測定空間から実空間への投影処理を施して、その投影処理後の特徴マップをデコーダ部における同一サイズの特徴マップに結合させる投影結合部と、を含む。

【0021】

本発明の画像処理方法の第２態様では、第１態様に加えて、複数の被検体それぞれの測定画像および断層画像を用いて畳み込みニューラルネットワークを学習させるＣＮＮ学習ステップを更に備える。

【0022】

本発明の画像処理方法の第３態様では、第１態様または第２態様に加えて、ＣＮＮ処理ステップは、エンコーダ部に入力される測定画像に対し測定空間から実空間への投影処理を施して、その投影処理後の画像をデコーダ部からの出力画像に加算させる。

【0023】

本発明の画像処理方法の第４態様では、第１～第３の態様の何れかに加えて、投影結合部は、エンコーダ部における最大サイズの特徴マップに対し測定空間から実空間への投影処理を施して、その投影処理後の特徴マップをデコーダ部における同一サイズの特徴マップに結合させる。

【0024】

本発明の画像処理方法の第５態様では、第１～第３の態様の何れかに加えて、投影結合部は、エンコーダ部における全てのサイズの特徴マップに対し測定空間から実空間への投影処理を施して、その投影処理後の特徴マップをデコーダ部における同一サイズの特徴マップに結合させる。

【発明の効果】

【0025】

本発明によれば、ＣＮＮの学習に必要なデータの量の増加を抑制し、ＣＮＮによる断層画像の作成の性能を向上させることができる。

【図面の簡単な説明】

【0026】

【図1】図１は、断層撮影システム１の構成を示す図である。

【図2】図２は、ＣＮＮの構成例を示す図である。

【図3】図３は、サイノグラム空間（測定空間）と実空間との間の投影処理について説明する図である。

【図4】図４は、ＣＮＮの他の構成例を示す図である。

【図5】図５は、比較例においてノイズ無しのサンプル１を用いた場合の断層画像を示す図である。

【図6】図６は、比較例においてノイズ無しのサンプル１９を用いた場合の断層画像を示す図である。

【図7】図７は、実施例においてノイズ無しのサンプル１を用いた場合の断層画像を示す図である。

【図8】図８は、実施例においてノイズ無しのサンプル１９を用いた場合の断層画像を示す図である。

【図9】図９は、比較例においてノイズ有りのサンプル１を用いた場合の断層画像を示す図である。

【図10】図１０は、比較例においてノイズ有りのサンプル１９を用いた場合の断層画像を示す図である。

【図11】図１１は、実施例においてノイズ有りのサンプル１を用いた場合の断層画像を示す図である。

【図12】図１２は、実施例においてノイズ有りのサンプル１９を用いた場合の断層画像を示す図である。

【発明を実施するための形態】

【0027】

以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【0028】

図１は、断層撮影システム１の構成を示す図である。断層撮影システム１は、被検体の断層画像を作成するシステムであって、断層撮影装置２および画像処理装置１０を備える。断層撮影装置２は、被検体の断層画像を作成する為の測定データを取得するものであり、例えば、ＰＥＴ装置、ＳＰＥＣＴ装置、Ｘ線ＣＴ装置またはＭＲＩ装置である。画像処理装置１０は、記憶部１１、測定画像作成部１２、補正部１３、ＣＮＮ処理部１４およびＣＮＮ学習部１５を備える。画像処理方法は、記憶ステップ、測定画像作成ステップ、補正ステップ、ＣＮＮ処理ステップおよびＣＮＮ学習ステップを備える。

【0029】

画像処理装置１０は、断層撮影装置２による測定によって取得された被検体の測定データに基づいて、被検体の実空間上の断層画像を作成する。画像処理装置１０は、各種の処理を行うＣＰＵやＧＰＵを含む演算処理部、処理を行う為のプログラムやデータを記憶するハードディスクドライブやＲＡＭ等を含む記憶部、処理条件や処理結果などを表示する液晶ディスプレイ等の表示部、および、処理条件などの入力を受け付けるキーボードやマウス等を含む入力部、を備える。画像処理装置１０は、コンピュータにより構成され得る。

【0030】

画像処理装置１０は、プログラムやデータを記憶する記憶部１１を備える他、各種の処理を行う演算処理部として測定画像作成部１２、補正部１３、ＣＮＮ処理部１４およびＣＮＮ学習部１５を備える。記憶ステップにおいて、記憶部１１は、断層撮影装置２による測定によって取得された被検体の測定データを入力し、その測定データを記憶する。測定画像作成ステップにおいて、測定画像作成部１２は、記憶部１１により記憶された測定データに基づいて、実空間とは異なる測定空間上の測定画像を作成する。補正ステップにおいて、補正部１３は、測定画像作成部１２により作成された測定画像に対し種々の補正（例えば、感度補正、吸収補正、散乱補正）をする。

【0031】

ＣＮＮ処理ステップにおいて、ＣＮＮ処理部１４は、補正部１３により補正された後の測定空間上の測定画像を畳み込みニューラルネットワーク（ＣＮＮ）に入力させて、このＣＮＮにより実空間上の断層画像を作成する。ＣＮＮ学習ステップにおいて、ＣＮＮ学習部１５は、複数の被検体それぞれの測定画像および断層画像を用いてＣＮＮを学習させる。ＣＮＮ学習後の画像処理装置１０は、ＣＮＮ学習部１５を備えていなくてもよい。

【0032】

断層撮影装置２がＰＥＴ装置、ＳＰＥＣＴ装置またはＸ線ＣＴ装置である場合、測定空間はサイノグラム空間であり、測定画像はサイノグラムである。断層撮影装置２がＭＲＩ装置である場合、測定空間はｋ空間であり、測定画像はｋ空間データにより構成される。

【0033】

以下では、断層撮影装置２がＰＥＴ装置であるとして説明をする。ＰＥＴ装置は、被検体（生体）の断層画像を取得することができる放射線断層撮影装置である。ＰＥＴ装置は、被検体が置かれる測定空間の周囲に配列された多数の小型の放射線検出器を有する検出部を備えている。

【0034】

ＰＥＴ装置は、陽電子放出アイソトープ（ＲＩ線源）が投与された被検体内における電子・陽電子の対消滅に伴って発生するエネルギ５１１ｋｅＶのγ線光子対を検出部により同時計数法で検出し、この同時計数情報を収集する。この同時計数情報は、光子対を同時計数した２個の放射線検出器それぞれの位置情報を含み、この位置情報から同時計数ライン（光子対を同時計数した２個の放射線検出器を互いに結ぶライン）を求めることができる。記憶部１１は、ＰＥＴ装置により収集された同時計数情報を記憶する。

【0035】

測定画像作成部１２は、記憶部１１により記憶されている収集された同時計数情報に基づいてサイノグラムを作成する。サイノグラム（測定画像）は、同時計数ラインの位置や方位などを変数とするサイノグラム空間（測定空間）において、同時計数情報を取得した頻度（同時計数事象の発生頻度）を表すヒストグラムとして表現したものである。ＣＮＮ処理部１４は、サイノグラム空間（測定空間）上のサイノグラム（測定画像）をＣＮＮに入力させて、このＣＮＮにより実空間上の断層画像を作成する。

【0036】

図２は、ＣＮＮの構成例を示す図である。この図に示されるＣＮＮは、エンコーダ部２１、デコーダ部２２およびボトルネック部２３を含むＵ-ｎｅｔ構造を基本とするものであり、更に投影結合部２４を含む。この図には、畳み込み層（Conv3x3, stride 1）、正規化層（Batch Normalization）、非線形活性化関数（Leaky ReLU）、ダウンサンプリング（Conv 4x4, stride 2）およびアップサンプリング（Upsampling）それぞれの処理後の特徴マップが、互いに異なるグレースケールで示されている。また、この図には、ＣＮＮに入力されるサイノグラム３１およびＣＮＮから出力される断層画像３２それぞれの画素数を１２８×１２８として、各特徴マップのサイズも示されている。

【0037】

畳み込み層は、これまでに作成された特徴マップ（または入力画像）に対してフィルタを相対的に移動させ、その各位置において特徴マップとフィルタとの畳み込み演算を行い、同一の空間サイズの新たな特徴マップを作成する。正規化層は、特徴マップのミニバッチ毎に特徴を正規化する。非線形活性化関数は、特徴マップの各値の加重和ｚを活性化関数σ(ｚ)＝max{０，ｚ}に入力して、その関数値σ(ｚ)を出力する。ダウンサンプリングは、特徴マップとフィルタとの畳み込み演算を行い、特徴マップの空間的なサイズを１／２×１／２に縮小するとともに、特徴マップのチャネル数を２倍に増やす。アップサンプリングは、線形補間により特徴マップの空間的なサイズを２×２倍に拡大するとともに、特徴マップとフィルタとの畳み込み演算を行い、特徴マップのチャネル数を１／２に減らす。

【0038】

エンコーダ部２１は、畳み込み層、正規化層、非線形活性化関数およびダウンサンプリングを有する。エンコーダ部２１は、サイノグラム空間（測定空間）上のサイノグラム（測定画像）を入力して、畳み込み、層正規化層および非線形活性化関数により特徴マップを更新していく。また、エンコーダ部２１は、畳み込み、層正規化層および非線形活性化関数による処理を数回行った後に、ダウンサンプリングにより、特徴マップの空間的なサイズを１／２×１／２に縮小するとともに、特徴マップのチャネル数を２倍に増やす。この図では、特徴マップの空間的なサイズは、当初には１２８×１２８であるが、６４×６４、３２×３２、１６×１６、へと縮小していく。

【0039】

デコーダ部２２は、畳み込み層、正規化層、非線形活性化関数およびアップサンプリングを有する。デコーダ部２２は、エンコーダ部２１の後段に設けられ、アップサンプリングにより、特徴マップの空間的なサイズを２倍に拡大するとともに、特徴マップのチャネル数を１／２×１／２に減らす。この図では、特徴マップの空間的なサイズは、１６×１６、３２×３２、６４×６４、１２８×１２８、へと拡大していく。また、デコーダ部２２は、アップサンプリングによる処理を行った後に、畳み込み、層正規化層および非線形活性化関数により特徴マップを更新していく。

【0040】

ボトルネック部２３は、エンコーダ部２１とデコーダ部２２との間に設けられる。ボトルネック部２３は、畳み込み層、正規化層および非線形活性化関数を有し、これらにより特徴マップを更新していく。ボトルネック部２３では、特徴マップの空間的なサイズを維持したまま、チャネル数を２倍に増やす。

【0041】

エンコーダ部２１は、サイノグラム空間（測定空間）上のサイノグラム（測定画像）を入力して、その入力したサイノグラムの特徴を特徴マップとして抽出していく。一方、デコーダ部２２は、抽出されたサイノグラムの特徴を示す特徴マップに基づいて、実空間上の断層画像を徐々に再構成していく。

【0042】

投影結合部２４は、エンコーダ部２１における何れかの特徴マップに対しサイノグラム空間（測定空間）から実空間への投影処理を施して、その投影処理後の特徴マップをデコーダ部２２における同一サイズの特徴マップに結合させる。投影結合部２４は、エンコーダ部２１における任意の何れかの特徴マップに対し投影処理を施してもよいが、エンコーダ部２１における最大サイズの特徴マップに対し投影処理を施すのが好適であり、エンコーダ部２１における全てのサイズの特徴マップに対し投影処理を施すのが更に好適である。何れにしても、投影処理によって特徴マップの空間的サイズは変更されず、投影処理後の特徴マップはデコーダ部２２における同一空間的サイズの特徴マップに結合される。デコーダ部における特徴マップへの投影処理後の特徴マップの結合は、チャネル毎に足し合わせるものであってもよいし、チャネルを重ねるものであってもよい。投影結合しない空間的サイズの特徴マップについては、その特徴マップのままデコーダ部２２における同一空間的サイズの特徴マップに結合（スキップ結合）してもよい。

【0043】

図２では、投影結合部２４は、エンコーダ部２１における全てのサイズの特徴マップに対し投影処理を施して、その投影処理後の特徴マップをデコーダ部２２における同一サイズの特徴マップに結合させている。すなわち、エンコーダ部２１における１２８×１２８のサイズの特徴マップ４１を投影処理して、その投影処理後の特徴マップ５１をデコーダ部２２における１２８×１２８のサイズの特徴マップに結合させる。エンコーダ部２１における６４×６４のサイズの特徴マップ４２を投影処理して、その投影処理後の特徴マップ５２をデコーダ部２２における６４×６４のサイズの特徴マップに結合させる。エンコーダ部２１における３２×３２のサイズの特徴マップ４３を投影処理して、その投影処理後の特徴マップ５３をデコーダ部２２における３２×３２のサイズの特徴マップに結合させる。エンコーダ部２１における１６×１６のサイズの特徴マップ４４を投影処理して、その投影処理後の特徴マップ５４をデコーダ部２２における１６×１６のサイズの特徴マップに結合させる。

【0044】

図３は、サイノグラム空間（測定空間）と実空間との間の投影処理について説明する図である。この図は、２次元ＰＥＴ装置におけるサイノグラム３１および断層画像３２の間の関係を示す。逐次近似的画像再構成法において、実空間からサイノグラム空間への投影は順投影（Forward Projection）と呼ばれ、サイノグラム空間から実空間への投影は逆投影（Back Projection）と呼ばれる。逐次近似的画像再構成法は、順投影と逆投影とを交互に繰り返し行って、逐次近似的に断層画像を再構成していく。

【0045】

順投影は、実空間上の断層画像３２をサイノグラム３１に変換する処理であり、下記（１）で表される。ｐはサイノグラムであり、ｆは断層画像である。Ａは、順投影の操作を表すシステム行列である。順投影は、図に示されるように、各位置ｘ_ｒおよび各方位φの同時計数ライン（Line of Response、ＬＯＲ）について、断層画像３２において同時計数ラインが通る各画素の画素値の総和ｐ（ｘ_ｒ，φ）を求める処理である。

【0046】

【数1】

【0047】

順投影は解析的には下記（２）式で表される。ここで、座標（ｘ，ｙ）と座標（ｘ_ｒ，ｙ_ｒ）との間には下記（３）式の関係がある。φは、投影の方向を表す方位角である。ｘ_ｒ，ｘ_ｙは、断層画像を－φだけ回転したときのｘ軸とｙ軸である。順投影は、画像を－φ度回転した後，ｙ_ｒ軸に沿って画素値を積算することでφ度方向への１次元投影ｐ（ｘ_ｒ，φ）を得ることを、０≦φ＜πに対して繰り返すことで、サイノグラム３１を得る。

【0048】

【数2】

【0049】

【数3】

【0050】

逆投影は、行列Ａの転置行列Ａ^Ｔを用いて、サイノグラム３１を実空間上に投影する処理であり、下記（４）式で表される。ｂは、サイノグラムｐの逆投影画像である。逆投影画像ｂは断層画像ｆと等しくない。

【0051】

【数4】

【0052】

投影結合部２４が行う投影処理（エンコーダ部２１における何れかの特徴マップに対するサイノグラム空間から実空間への投影処理）は、上記の逆投影に相当する。このような投影結合部２４が設けられていることにより、エンコーダ部２１においてはサイノグラム上での処理が学習されることが期待され、デコーダ部２２においては断層画像上での処理が学習されることが期待される。そして、学習に用いられたサイノグラムおよび断層画像のペアの記憶に留まることなく、サイノグラムから断層画像を作成するためのアルゴリズムの学習が促されると期待される。

【0053】

図４は、ＣＮＮの他の構成例を示す図である。この図に示されるＣＮＮは、図２に示されたＣＮＮと比較すると、投影部２５および加算部２６を更に含む点で相違する。投影部２５は、エンコーダ部２１に入力されるサイノグラム（測定画像）３１に対し、サイノグラム空間から実空間への投影処理（逆投影）を施して、その投影後の画像である投影画像３３を作成する。加算部２６は、投影画像３３をデコーダ部２２からの出力画像に加算して、断層画像３２を作成する。

【0054】

このような構成とした場合、ＣＮＮ学習部１５は、複数の被検体それぞれのサイノグラム３１および断層画像３２を用いてＣＮＮを学習させる際に、サイノグラム３１を逆投影して得られた投影画像３３と断層画像３２との間の差分をＣＮＮに学習（残差学習）させる。投影画像３３と断層画像３２との間の画素毎の差分は、正の値だけでなく負の値にもなり、値０を中心とする正規分布に近似し得る分布を有する。このことから、最小二乗法を用いたＣＮＮ学習が容易となる。

【0055】

次に、デジタル脳ファントム画像を用いて数値シミュレーションによりシミュレーションデータを作成して行ったシミュレーション結果について説明する。図２に示されたＣＮＮを用いる場合を実施例とした。非特許文献１に記載されたＣＮＮを用いてヒストグラムから断層画像を作成する技術を比較例とした。比較例では、投影結合部２４に相当するものはＣＮＮに設けられていない。

【0056】

BrainWeb（https://brainweb.bic.mni.mcgill.ca/brainweb/）から２０サンプルのＭＲＩ脳セグメンテーション画像をダウンロードし、灰白質、白質および脳脊髄液（cerebrospinal fluid、ＣＳＦ）のコントラスト比を１：０.２５：０.０５とし、薬剤として¹⁸Ｆ-ＦＤＧ（¹⁸F-fluorodeoxyglucose）を模擬したＰＥＴの脳ファントム画像を作成した。各々のファントム画像のマトリックスサイズは１２８（Ｘ）×１２８（Ｙ）×７０（Ｚ）であった。各ファントム画像を順投影してサイノグラムを作成した。各サイノグラムのマトリックスサイズは１２８（Ｘ_ｒ）×１２８（φ）×７０（Ｚ）であった。

【0057】

各サンプルについて、ノイズが無いもの及びノイズが有るものの２種類を用意した。ノイズが有るサイノグラムは、１サンプルあたりの総カウント数を１０Ｍとした場合に相当するポアソンノイズを付与することにより作成した、２０サンプル（各サンプルにつき７０スライス）のサイノグラムおよび断層画像のペアのうち、１８サンプルを学習用データ（計１２６０スライス）として用い、２サンプルをテストデータ（計１４０スライス）として用いた。

【0058】

ノイズ無しのサンプルを用いた場合およびノイズ有りのサンプルを用いた場合それぞれにおいて、学習用データ（サンプル１～１８）を用いてＣＮＮを学習させた後に、テストデータ（サンプル１９，２０）のサイノグラムをＣＮＮに入力させてＣＮＮにより断層画像を作成し、この作成した断層画像を元の断層画像と比較した。ＣＮＮにより作成された断層画像はピーク信号対雑音比の値で評価した。ピーク信号対雑音比（Peak Signal to Noise Ratio、ＰＳＮＲ）は、画像の品質をデシベル（ｄＢ）で表したものであり、値が高いほど良好な画質であることを意味する。

【0059】

図５および図６は、比較例においてノイズ無しのサンプルを用いた場合の断層画像を示す図である。図５（ａ）は、サンプル１の元の断層画像を示す図である。図５（ｂ）は、サンプル１のサイノグラムに基づいてＣＮＮにより作成された断層画像を示す図である。図６（ａ）は、サンプル１９の元の断層画像を示す図である。図６（ｂ）は、サンプル１９のサイノグラムに基づいてＣＮＮにより作成された断層画像を示す図である。学習用データ（サンプル１）のサイノグラムに基づいてＣＮＮにより作成された断層画像（図５（ｂ））のＰＳＮＲは３５.３０ｄＢであった。テストデータ（サンプル１９）のサイノグラムに基づいてＣＮＮにより作成された断層画像（図６（ｂ））のＰＳＮＲは２２.６３ｄＢであった。

【0060】

図７および図８は、実施例においてノイズ無しのサンプルを用いた場合の断層画像を示す図である。図７（ａ）は、サンプル１の元の断層画像を示す図である。図７（ｂ）は、サンプル１のサイノグラムに基づいてＣＮＮにより作成された断層画像を示す図である。図８（ａ）は、サンプル１９の元の断層画像を示す図である。図８（ｂ）は、サンプル１９のサイノグラムに基づいてＣＮＮにより作成された断層画像を示す図である。学習用データ（サンプル１）のサイノグラムに基づいてＣＮＮにより作成された断層画像（図７（ｂ））のＰＳＮＲは３５.０８ｄＢであった。テストデータ（サンプル１９）のサイノグラムに基づいてＣＮＮにより作成された断層画像（図８（ｂ））のＰＳＮＲは３５.０５ｄＢであった。

【0061】

図９および図１０は、比較例においてノイズ有りのサンプルを用いた場合の断層画像を示す図である。図９（ａ）は、サンプル１の元の断層画像を示す図である。図９（ｂ）は、サンプル１のサイノグラムに基づいてＣＮＮにより作成された断層画像を示す図である。図１０（ａ）は、サンプル１９の元の断層画像を示す図である。図１０（ｂ）は、サンプル１９のサイノグラムに基づいてＣＮＮにより作成された断層画像を示す図である。学習用データ（サンプル１）のサイノグラムに基づいてＣＮＮにより作成された断層画像（図９（ｂ））のＰＳＮＲは３４.７０ｄＢであった。テストデータ（サンプル１９）のサイノグラムに基づいてＣＮＮにより作成された断層画像（図１０（ｂ））のＰＳＮＲは２２.５８ｄＢであった。

【0062】

図１１および図１２は、実施例においてノイズ有りのサンプルを用いた場合の断層画像を示す図である。図１１（ａ）は、サンプル１の元の断層画像を示す図である。図１１（ｂ）は、サンプル１のサイノグラムに基づいてＣＮＮにより作成された断層画像を示す図である。図１２（ａ）は、サンプル１９の元の断層画像を示す図である。図１２（ｂ）は、サンプル１９のサイノグラムに基づいてＣＮＮにより作成された断層画像を示す図である。学習用データ（サンプル１）のサイノグラムに基づいてＣＮＮにより作成された断層画像（図１１（ｂ））のＰＳＮＲは３０.３４ｄＢであった。テストデータ（サンプル１９）のサイノグラムに基づいてＣＮＮにより作成された断層画像（図１２（ｂ））のＰＳＮＲは２８.２６ｄＢであった。

【0063】

図５～図１２に示された各断層画像のＰＳＮＲを対比すると、次のようなことが分かる。学習用データのサイノグラムに基づいてＣＮＮにより断層画像を作成する場合、ノイズの有無に拘わらず、比較例で作成された断層画像のＰＳＮＲは、実施例で作成された断層画像のＰＳＮＲと同程度に高い。しかし、テストデータのサイノグラムに基づいてＣＮＮにより断層画像を作成する場合、ノイズの有無に拘わらず、比較例で作成された断層画像のＰＳＮＲは低い。これは次のような理由によると考えられる。比較例で用いたＣＮＮは、学習用データのサイノグラムおよび断層画像のペアを記憶するに留まり、未知のテストデータのサイノグラムが入力されたときに、学習に用いられたサイノグラムのうち入力サイノグラムに最も近いサイノグラムに対応する断層画像を出力してしまったことによると考えられる。それ故、比較例では、未知のテストデータに対して汎化することができず、別人の断層画像を出力してしまったと考えられる。

【0064】

これに対して、実施例では、学習用データのサイノグラムに基づいてＣＮＮにより断層画像を作成する場合だけでなく、テストデータのサイノグラムに基づいてＣＮＮにより断層画像を作成する場合にも、ノイズの有無に拘わらず、ＣＮＮにより作成された断層画像のＰＳＮＲは高い。実施例では、未知のテストデータに対しても非常に良く汎化している。これは次のような理由によると考えられる。実施例では、ＣＮＮに投影結合部２４が設けられていることにより、ＣＮＮは、学習に用いられたサイノグラムおよび断層画像のペアの記憶に留まることなく、サイノグラムから断層画像を作成するためのアルゴリズムを学習することができたことによると考えられる。

【0065】

以上のとおり、本実施形態によれば、ＣＮＮの学習に必要なデータの量の増加を抑制し、ＣＮＮによる断層画像の作成の性能を向上させることができる。

【0066】

これまで説明してきた実施形態および実施例では、断層撮影装置がＰＥＴ装置である場合について主に説明した。しかし、本発明は、他の断層撮影装置でも同様に適用することができる。断層撮影装置がＳＰＥＣＴ装置またはＸ線ＣＴ装置である場合、ＰＥＴ装置の場合と同様に、測定空間はサイノグラム空間であり、測定画像はサイノグラムであり、測定空間から実空間への投影処理は逆投影である。断層撮影装置がＭＲＩ装置である場合、測定空間はｋ空間であり、測定画像はｋ空間データにより構成される像であり、測定空間から実空間への投影処理は逆フーリエ変換である。

【符号の説明】

【0067】

１…断層撮影システム、２…断層撮影装置、１０…画像処理装置、１１…記憶部、１２…測定画像作成部、１３…補正部、１４…ＣＮＮ処理部、１５…ＣＮＮ学習部、２１…エンコーダ部、２２…デコーダ部、２３…ボトルネック部、２４…投影結合部、２５…投影部、２６…加算部、３１…サイノグラム、３２…断層画像、３３…投影画像、４１～４４…特徴マップ、５１～５４…特徴マップ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】