特許 7543195 画像位置合わせ装置、方法およびプログラム、並びに位置特定装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-23

(45)【発行日】2024-09-02

(54)【発明の名称】画像位置合わせ装置、方法およびプログラム、並びに位置特定装置、方法およびプログラム

(51)【国際特許分類】

   A61B 6/46 20240101AFI20240826BHJP

   A61B 6/03 20060101ALI20240826BHJP

   A61B 5/055 20060101ALI20240826BHJP

【ＦＩ】

A61B6/46 536P

A61B6/03 560G

A61B6/03 560B

A61B6/46 536Q

A61B5/055 380

【請求項の数】 10

(21)【出願番号】P 2021050706

(22)【出願日】2021-03-24

(65)【公開番号】P2022148868

(43)【公開日】2022-10-06

【審査請求日】2023-10-05

(73)【特許権者】

【識別番号】512052971

【氏名又は名称】富士フイルム医療ソリューションズ株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】吉田 研一

【審査官】佐野 浩樹

(56)【参考文献】

【文献】特開２０２０－１７１６８７（ＪＰ，Ａ）

【文献】特開２０２０－１９９１６３（ＪＰ，Ａ）

【文献】特開２０１７－１９６３００（ＪＰ，Ａ）

【文献】特開２００８－０４３５２４（ＪＰ，Ａ）

【文献】特開平０８－２８９８８７（ＪＰ，Ａ）

【文献】特開２００９－０００３６９（ＪＰ，Ａ）

【文献】特開２０１１－０７２７２８（ＪＰ，Ａ）

【文献】特開２０１７－１５８７８１（ＪＰ，Ａ）

【文献】特開２００９－２３２９８１（ＪＰ，Ａ）

【文献】特開２０１５－１７１４３７（ＪＰ，Ａ）

【文献】特開２０１４－２０４９０７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０３２７６６２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００ － ５／０１ 、 ５／０５５、

６／００ － ６／５８ 、

Ｇ０６Ｔ ７／００ － ７／９０ 、

Ｇ０６Ｖ１０／００ －２０／９０ 、３０／４１８、４０／１６ 、

４０／２０

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
それぞれが複数のスライス画像からなる複数の３次元画像を取得し、
入力されたスライス画像に含まれる部位の解剖学的位置を表すスコアを導出する、構築のされ方が異なる複数の学習済みニューラルネットワークを前記複数の３次元画像に対してそれぞれ用いることにより、前記複数の３次元画像のそれぞれのうちの少なくとも１つのスライス画像に含まれる部位の解剖学的位置を表す複数のスコアを出力させ、
前記複数のスコアをそれぞれ規格化することにより、前記複数の３次元画像のそれぞれのうちの少なくとも１つのスライス画像に含まれる部位の解剖学的位置を表す複数の規格化スコアを導出し、
導出された前記複数の規格化スコアを用いて、前記複数の３次元画像のうちの一の３次元画像に含まれるスライス画像と、前記複数の３次元画像のうちの他の３次元画像に含まれるスライス画像との位置合わせを行う画像位置合わせ装置。

【請求項2】

前記プロセッサは、前記複数の３次元画像のうちの少なくとも前記他の３次元画像については、前記他の３次元画像と対応づけて保存された規格化スコアを用いる請求項１に記載の画像位置合わせ装置。

【請求項3】

前記プロセッサは、前記複数の３次元画像間において位置合わせされたスライス画像をディスプレイに表示する請求項１または２に記載の画像位置合わせ装置。

【請求項4】

前記プロセッサは、前記複数の３次元画像に含まれる被写体を模したアイコンを表示し、前記規格化スコアに基づいて、前記表示されたスライス画像により表されるスライス面を特定する情報を前記アイコンに表示する請求項３に記載の画像位置合わせ装置。

【請求項5】

前記プロセッサは、前記位置合わせを行った後、前記他の３次元画像に含まれる位置合わせされたスライス画像に隣接する１以上のスライス画像と、前記一の３次元画像に含まれるスライス画像との評価値に基づくさらなる位置合わせを行う請求項１から４のいずれか１項に記載の画像位置合わせ装置。

【請求項6】

前記プロセッサは、前記複数の３次元画像を表示するに際し、前記一の３次元画像に含まれる表示されるスライス画像の規格化スコアが、前記他の３次元画像の規格化スコアの範囲に含まれない場合に、警告を行う請求項１から５のいずれか１項に記載の画像位置合わせ装置。

【請求項7】

前記プロセッサは、位置合わせがなされた前記一の３次元画像と前記他の３次元画像とのフュージョン画像を導出する請求項１から６のいずれか１項に記載の画像位置合わせ装置。

【請求項8】

前記プロセッサは、位置合わせがなされた前記一の３次元画像と前記他の３次元画像との差分画像を導出する請求項１から６のいずれか１項に記載の画像位置合わせ装置。

【請求項9】

それぞれが複数のスライス画像からなる複数の３次元画像を取得し、
入力されたスライス画像に含まれる部位の解剖学的位置を表すスコアを導出する、構築のされ方が異なる複数の学習済みニューラルネットワークを前記複数の３次元画像に対してそれぞれ用いることにより、前記複数の３次元画像のそれぞれのうちの少なくとも１つのスライス画像に含まれる部位の解剖学的位置を表す複数のスコアを出力させ、
前記複数のスコアをそれぞれ規格化することにより、前記複数の３次元画像のそれぞれのうちの少なくとも１つのスライス画像に含まれる部位の解剖学的位置を表す複数の規格化スコアを導出し、
導出された前記複数の規格化スコアを用いて、前記複数の３次元画像のうちの一の３次元画像に含まれるスライス画像と、前記複数の３次元画像のうちの他の３次元画像に含まれるスライス画像との位置合わせを行う画像位置合わせ方法。

【請求項10】

それぞれが複数のスライス画像からなる複数の３次元画像を取得する手順と、
入力されたスライス画像に含まれる部位の解剖学的位置を表すスコアを導出する、構築のされ方が異なる複数の学習済みニューラルネットワークを前記複数の３次元画像に対してそれぞれ用いることにより、前記複数の３次元画像のそれぞれのうちの少なくとも１つのスライス画像に含まれる部位の解剖学的位置を表す複数のスコアを出力させる手順と、
前記複数のスコアをそれぞれ規格化することにより、前記複数の３次元画像のそれぞれのうちの少なくとも１つのスライス画像に含まれる部位の解剖学的位置を表す複数の規格化スコアを導出する手順と、
導出された前記複数の規格化スコアを用いて、前記複数の３次元画像のうちの一の３次元画像に含まれるスライス画像と、前記複数の３次元画像のうちの他の３次元画像に含まれるスライス画像との位置合わせを行う手順とをコンピュータに実行させる画像位置合わせプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像位置合わせ装置、方法およびプログラム、並びに位置特定装置、方法およびプログラムに関する。

【背景技術】

【0002】

近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像およびＭＲＩ画像等の３次元画像を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。

【0003】

また、同一の患者について、撮影時期が異なる複数の３次元画像を同時に表示して経過観察を行う場合がある。このような場合、複数の３次元画像について対応する解剖学的位置のスライス画像を表示することにより、複数の３次元画像の比較読影を容易に行うことができる。このため、複数の３次元画像間においてスライス画像を位置合わせすることが考えられる。位置合わせの手法としては、剛体位置合わせまたは非剛体位置合わせ等の手法が既知である。

【0004】

一方で、近年、ＵＢＲ（Unsupervised Bodypart Regression）なる手法が提案されている（非特許文献１参照）。ＵＢＲは深層学習（ディープラーニング）に基づく手法であり、人体の多数のスライス画像を元に、人体のスライス画像のパターンが現れる順序をニューラルネットワークに学習させる手法である。このようにＵＢＲの手法を用いて学習を行うことにより構築された学習済みニューラルネットワークへ１つのスライス画像を入力すると、そのスライス画像のスコアが出力される。スコアは断層像の走査方向に沿った解剖学的な位置を表す連続で線形なスカラー値である。例えば、頭頂のスコアは－１５．０程度、心臓上部のスコアは－１０．０程度、肝臓のスコアは－５．０程度等である。

【0005】

このようなＵＢＲの手法により構築された学習済みニューラルネットワークに、複数の３次元画像において同一の解剖学的位置のスライス画像を入力すると、同一のスコアが出力されることとなる。したがって、複数の３次元画像間において、スコアが同一となるスライス画像を特定することにより、同一の解剖学的位置となるスライス画像を容易に対応づけることができる。また、ＵＢＲの手法は、複数のスライス画像からなる３次元画像さえ準備すれば、頭、胸部、腹部および脚といった部位のラベルづけを行うことなくニューラルネットワークの学習を行わせることが可能であるという利点がある。このため、人手によって多量の教師データを準備する必要無く、スライス画像が人体のいずれの解剖学的位置に対応するかを特定することが可能となる。

【先行技術文献】

【非特許文献】

【0006】

【文献】Ke Yan, Le Lu, Ronald M. Summers, “Unsupervised body part regression via spatially self-ordering convolutional neural networks”, 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018), [https://arxiv.org/pdf/1707.03891.pdf]

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、ＵＢＲのスコアは人体の解剖学的位置を表す絶対的な値ではなく、ＵＢＲのネットワークの構築のされ方に応じてネットワーク毎に相対的な値となると考えられる。例えば、教師データを取得したモダリティの種類、教師データの種類、学習時における損失関数の形式、および学習の収束度等の条件が異なる結果、構築されたＵＢＲのネットワークが異なると、同じ解剖学的位置となるスライス画像を入力しても、異なるスコアが出力される場合がある。このように構築されたＵＢＲのネットワークに応じてスコアが異なると、スコアに基づいてスライス画像により表される部位の位置を特定したり、異なる３次元画像間におけるスライス画像の位置合わせを行ったりすることができなくなる。

【0008】

本開示は上記事情に鑑みなされたものであり、ＵＢＲのようにスライス画像に含まれる部位の解剖学的位置を表すスコアを導出する学習済みニューラルネットワークを用いることにより、スライス画像に含まれる部位の解剖学的位置を特定する際に、学習済みニューラルネットワークの構築のされ方が異なるものであっても、導出されるスコアにより部位を特定したり、特定された部位に基づく位置合わせを行ったりできるようにすることを目的とする。

【課題を解決するための手段】

【0009】

本開示による画像位置合わせ装置は、少なくとも１つのプロセッサを備え、
プロセッサは、それぞれが複数のスライス画像からなる複数の３次元画像を取得し、
複数の３次元画像のそれぞれのうちの少なくとも１つのスライス画像に含まれる部位の解剖学的位置を表す規格化スコアであって、構築のされ方が異なる複数の学習済みニューラルネットワークを複数の３次元画像に対してそれぞれ用いることにより導出された複数の規格化スコアを用いて、複数の３次元画像のうちの一の３次元画像に含まれるスライス画像と、複数の３次元画像のうちの他の３次元画像に含まれるスライス画像との位置合わせを行う。

【0010】

なお、本開示による画像位置合わせ装置においては、学習済みニューラルネットワークは、入力されたスライス画像に含まれる部位の解剖学的位置を表すスコアを導出し、
プロセッサは、複数の学習済みニューラルネットワークを複数の３次元画像に対してそれぞれ用いることにより、複数の３次元画像のそれぞれのうちの少なくとも１つのスライス画像に含まれる部位の解剖学的位置を表す複数のスコアを出力させ、

【0011】

複数のスコアをそれぞれ規格化することにより複数の規格化スコアを導出するものであってもよい。

【0012】

また、本開示による画像位置合わせ装置においては、プロセッサは、複数の３次元画像のうちの少なくとも他の３次元画像については、他の３次元画像と対応づけて保存された規格化スコアを用いるものであってもよい。

【0013】

また、本開示による画像位置合わせ装置においては、プロセッサは、複数の３次元画像間において位置合わせされたスライス画像をディスプレイに表示するものであってもよい。

【0014】

また、本開示による画像位置合わせ装置においては、プロセッサは、複数の３次元画像に含まれる被写体を模したアイコンを表示し、規格化スコアに基づいて、表示されたスライス画像により表されるスライス面を特定する情報をアイコンに表示するものであってもよい。

【0015】

また、本開示による画像位置合わせ装置においては、プロセッサは、位置合わせを行った後、他の３次元画像に含まれる位置合わせされたスライス画像に隣接する１以上のスライス画像と、一の３次元画像に含まれるスライス画像との評価値に基づくさらなる位置合わせを行うものであってもよい。

【0016】

また、本開示による画像位置合わせ装置においては、プロセッサは複数の３次元画像を表示するに際し、一の３次元画像に含まれる表示されるスライス画像の規格化スコアが、他の３次元画像の規格化スコアの範囲に含まれない場合に、警告を行うものであってもよい。

【0017】

また、本開示による画像位置合わせ装置においては、プロセッサは、位置合わせがなされた一の３次元画像と他の３次元画像とのフュージョン画像を導出するものであってもよい。

【0018】

また、本開示による画像位置合わせ装置においては、プロセッサは、位置合わせがなされた一の３次元画像と他の３次元画像との差分画像を導出するものであってもよい。

【0019】

本開示による位置特定装置は、少なくとも１つのプロセッサを備え、
プロセッサは、複数のスライス画像からなる少なくとも１つの３次元画像を取得し、
入力されたスライス画像に含まれる部位の解剖学的位置を表すスコアを導出する学習済みニューラルネットワークを用いて、３次元画像のうちの少なくとも１つのスライス画像に含まれる部位の解剖学的位置を表す規格化スコアを導出する。

【0020】

本開示による画像位置合わせ方法は、それぞれが複数のスライス画像からなる複数の３次元画像を取得し、
複数の３次元画像のそれぞれのうちの少なくとも１つのスライス画像に含まれる部位の解剖学的位置を表す規格化スコアであって、構築のされ方が異なる複数の学習済みニューラルネットワークを複数の３次元画像に対してそれぞれ用いることにより導出された複数の規格化スコアを用いて、複数の３次元画像のうちの一の３次元画像に含まれるスライス画像と、複数の３次元画像のうちの他の３次元画像に含まれるスライス画像との位置合わせを行う。

【0021】

本開示による位置特定方法は、複数のスライス画像からなる少なくとも１つの３次元画像を取得し、
入力されたスライス画像に含まれる部位の解剖学的位置を表すスコアを導出する学習済みニューラルネットワークを用いて、３次元画像のうちの少なくとも１つのスライス画像に含まれる部位の解剖学的位置を表す規格化スコアを導出する。

【0022】

なお、本開示による画像位置合わせ方法および位置特定方法をコンピュータに実行させるためのプログラムとして提供してもよい。

【発明の効果】

【0023】

本開示によれば、学習済みニューラルネットワークの構築のされ方が異なるものであっても、導出される規格化スコアにより部位を特定したり、特定した部位を用いた位置合わせに使用したりすることができる。

【図面の簡単な説明】

【0024】

【図1】本開示の実施形態による画像位置合わせ装置を適用した医療情報システムの概略構成を示す図

【図2】本実施形態による画像位置合わせ装置の概略構成を示す図

【図3】本実施形態による画像位置合わせ装置の機能構成図

【図4】ＵＢＲの手法によるニューラルネットワークの機械学習を模式的に示す図

【図5】スライス番号とスコアとの関係を示す図

【図6】スライス番号と規格化スコアとの関係を示す図

【図7】スライス番号と規格化スコアとの関係を示す図

【図8】３次元画像の表示画面を示す図

【図9】本実施形態による画像位置合わせ装置において行われる処理を示すフローチャート

【図10】警告の他の例を示す図

【図11】本実施形態による位置特定装置の概略構成を示す図

【図12】本実施形態による位置特定装置の機能構成図

【図13】本実施形態による位置特定装置において行われる処理を示すフローチャート

【発明を実施するための形態】

【0025】

以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による画像位置合わせ装置を適用した医療情報システム１の構成について説明する。図１は、医療情報システム１の概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。

【0026】

図１に示すように、医療情報システム１は、複数の撮影装置２、読影端末である複数の読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像データベース（以下、画像ＤＢ（DataBase）とする）６、レポートサーバ７およびレポートデータベース（以下レポートＤＢとする）８が、有線または無線のネットワーク１０を介して互いに通信可能な状態で接続されて構成されている。なお、医療情報システム１の具体例としては、ＰＡＣＳ（Picture Archiving and Communication Systems）が挙げられる。

【0027】

各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ネットワーク１０に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）およびＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。

【0028】

撮影装置２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。本実施形態においては、撮影装置２において、複数のスライス画像からなる３次元画像を医用画像として取得するものとする。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ６に保存される。

【0029】

読影ＷＳ３は、例えば放射線科の読影医が、医用画像の読影および読影レポートの作成等に利用するコンピュータであり、本実施形態による画像位置合わせ装置を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、および医用画像に関する所見文の入力受け付け等が行われる。また、読影ＷＳ３では、医用画像の読影、読影結果に基づく読影レポートの作成、レポートサーバ７に対する読影レポートの登録要求と閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。

【0030】

診療ＷＳ４は、診療科の医師が、画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療ＷＳ４では、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。

【0031】

画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像ＤＢ６が構成されるストレージを備えている。ストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。

【0032】

画像ＤＢ６には、撮影装置２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。また、本実施形態においては、画像ＤＢ６は、複数の患者についての複数の医用画像を保管して管理している。複数の医用画像は、同一患者についての撮影日時が異なる医用画像、または同一患者についての撮影装置（すなわちモダリティ）が異なる複数の医用画像も含む。例えば、画像ＤＢ６は、同一患者について撮影時期が異なるＣＴ画像、並びに同一患者についてＣＴ装置およびＭＲＩ装置により同時期に取得されたＣＴ画像およびＭＲＩ画像を保管して管理している。

【0033】

また、画像サーバ５は、読影ＷＳ３および診療ＷＳ４からの閲覧要求をネットワーク１０経由で受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３および診療ＷＳ４に送信する。なお、本実施形態においては、画像サーバ５には、後述するニューラルネットワークを学習するための多数の教師データが保存されている。画像サーバ５は、教師データの取得要求をネットワーク１０経由で受信すると、教師データを要求元の読影ＷＳ３に送信する。

【0034】

レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。

【0035】

レポートＤＢ８には、読影医が読影ＷＳ３を用いて作成した読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ＩＤ、読影を行った読影医を識別するための読影医ＩＤ、病変名、および病変の位置情報等を含んでいてもよい。

【0036】

また、レポートサーバ７は、読影ＷＳ３および診療ＷＳ４からの読影レポートの閲覧要求をネットワーク１０経由で受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影ＷＳ３および診療ＷＳ４に送信する。

【0037】

ネットワーク１０は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。

【0038】

次いで、本開示の実施形態による画像位置合わせ装置について説明する。図２は、本実施形態による画像位置合わせ装置のハードウェア構成を説明する。図２に示すように、画像位置合わせ装置２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、画像位置合わせ装置２０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク１０に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。ＣＰＵ１１は、本開示におけるプロセッサの一例である。

【0039】

ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、画像位置合わせプログラム１２が記憶される。ＣＰＵ１１は、ストレージ１３から画像位置合わせプログラム１２を読み出してからメモリ１６に展開し、展開した画像位置合わせプログラム１２を実行する。

【0040】

次いで、本実施形態による画像位置合わせ装置の機能的な構成を説明する。図３は、本実施形態による画像位置合わせ装置の機能的な構成を示す図である。図３に示すように画像位置合わせ装置２０は、画像取得部２１、スコア導出部２２、規格化部２３、位置合わせ部２４および表示制御部２５を備える。そしてＣＰＵ１１が画像位置合わせプログラム１２を実行することにより、ＣＰＵ１１は、画像取得部２１、スコア導出部２２、規格化部２３、位置合わせ部２４および表示制御部２５として機能する。

【0041】

画像取得部２１は、操作者である読影医による入力デバイス１５からの指示により、画像サーバ５から読影レポートを作成するための複数の３次元画像を取得する。本実施形態においては、同一被写体の同一部位を同時期に撮影することにより取得されたＣＴ画像およびＭＲＩ画像を取得するものとする。ＣＴ画像およびＭＲＩ画像は、アキシャル断面の複数のスライス画像を含む３次元画像である。このため、本実施形態においては、ＣＴ画像およびＭＲＩ画像を区別しない場合には、単に３次元画像と称する場合があるものとする。ＣＴ画像およびＭＲＩ画像が、本開示の複数の３次元画像の一例であり、以降の説明においては、ＣＴ画像を第１の３次元画像Ｇ１、ＭＲＩ画像を第２の３次元画像Ｇ２と称する。また、３次元画像の座標系は、被写体の足から頭に向かう方向をｚ方向、スライス面において被写体の左に向かう方向をｘ方向、スライス面において被写体の後に向かう方向をｙ方向とする。

【0042】

スコア導出部２２は、学習済みニューラルネットワークを用いて、３次元画像のうちの少なくとも１つのスライス画像に含まれる部位の解剖学的位置を表すスコアを導出する。学習済みニューラルネットワークは、入力されたスライス画像に含まれる部位の解剖学的位置を表すスコアを導出するように機械学習がなされている。スコア導出部２２は、構築のされ方が異なる２つの学習済みニューラルネットワーク２２Ａ，２２Ｂを用いてスコアを導出する。すなわち、学習済みニューラルネットワーク２２Ａを用いて、第１の３次元画像Ｇ１のスライス画像からスコアを導出し、学習済みニューラルネットワーク２２Ｂを用いて、第２の３次元画像Ｇ２のスライス画像からスコアを導出する。

【0043】

ここで、学習済みニューラルネットワークについて説明する。本実施形態においては、非特許文献１に記載されたＵＢＲ（Unsupervised Bodypart Regression）の手法を用いてニューラルネットワークを機械学習することにより学習済みニューラルネットワークが構築される。本実施形態においては、人体のアキシャル断面の複数のスライス画像を学習用データとして用いてニューラルネットワークを機械学習することにより、学習済みニューラルネットワークを構築する。本実施形態においては、ニューラルネットワークとして、多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（以下ＣＮＮ(Convolutional Neural Network)を用いる。

【0044】

図４はＵＢＲの手法によるニューラルネットワークの機械学習を模式的に示す図である。図４に示すように、学習されるニューラルネットワーク３０は、入力層３１、複数の中間層３２および出力層３３からなる。中間層は畳み込み層およびプーリング層（いずれも不図示）が交互に配置されてなる。ニューラルネットワーク３０には、複数のスライス画像Ｄ１～Ｄｎが入力され、各スライス画像に含まれる部位の解剖学的位置を表すスコアＳ１～Ｓｎが出力される。

【0045】

ニューラルネットワーク３０は、人体の頭部から足に向かって線形に増加するスカラー値であるスコアＳ１～Ｓｎを出力するように、複数のスライス相互間の関連性を学習する。このために、学習の際には、スライス間の順序性を維持するための損失関数Ｌｏｒｄｅｒと、スライス間のスコアの線形性を維持するための損失関数Ｌｄｉｓｔとが導出される。

【0046】

損失関数Ｌｏｒｄｅｒは、隣接するスライス画像Ｄｋ，Ｄｋ＋１について出力されたスコアＳｋ、Ｓｋ＋１の差に対してシグモイド関数等の活性化関数を適用した総和を負値にした負の値を有する。

【0047】

損失関数Ｌｄｉｓｔは、隣接するスライス画像Ｄｋ，Ｄｋ＋１について出力されたスコアＳｋ，Ｓｋ＋１との差Δｊと、隣接スライス画像Ｄｋ＋１、Ｄｋ＋２について出力されたスコアＳｋ＋１，Ｓｋ＋２との差Δｊ＋１との差の総和に対して特定の関数を適用した正の値を有する。これにより、損失関数Ｌｄｉｓｔは、互いに等間隔のスライスのスコアの差が同等になるように調整する効果を有することから、スコアの差がスライス間の距離に比例し、かつスコアが線形になるようにする効果を有する。ニューラルネットワーク３０の機械学習は、２つの損失関数の和Ｌｔｏｔａｌ＝Ｌｏｒｄｅｒ＋Ｌｄｉｓｔが終了条件を満たすまで行われる。

【0048】

具体的には、教師データとなる複数の３次元画像を入力し、ニューラルネットワーク３０を構成する各層の係数を更新することにより機械学習が行われる。終了条件は、Ｌｔｏｔａｌがあらかじめ定められたしきい値以下となることであってもよいし、Ｌｔｏｔａｌの改善量があらかじめ定められたしきい値以下となることであってもよく、また、あらかじめ定められた回数の学習を行うことであってもよい。このような機械学習により構築された学習済みニューラルネットワーク２２Ａ，２２Ｂは、スライス画像が入力されると、スライス画像に含まれる部位の解剖学的位置を表すスコアを出力するようになる。

【0049】

なお、ニューラルネットワークの学習は、読影ＷＳ３において行ってもよく、撮影装置２、画像サーバ５、診療ＷＳ４またはこれらとは別に設けられた学習装置において行ってもよい。とくに画像サーバ５には多数の３次元画像が保管されるため、画像サーバ５においてニューラルネットワークの学習を行うことにより、夜間等の画像サーバ５へのアクセスが少ない時間帯に、新たに保存された３次元画像を学習用データとして用いて定期的に学習済みニューラルネットワークを更新することが可能となる。

【0050】

ここで、本実施形態においては、学習済みニューラルネットワーク２２Ａは、ＣＴ画像を学習用データとして用いて構築される。学習済みニューラルネットワーク２２Ｂは、ＭＲＩ画像を学習用データとして用いて構築される。このため、学習済みニューラルネットワーク２２Ａと学習済みニューラルネットワーク２２Ｂとは、構築のされ方が異なる。したがって、同一の解剖学的位置のスライス画像が入力されても、学習済みニューラルネットワーク２２Ａにより出力されるスコアと、学習済みニューラルネットワーク２２Ｂにより出力されるスコアとでは異なるものとなる。

【0051】

また、損失関数Ｌｏｒｄｅｒを導出するためのシグモイド関数および損失関数Ｌｄｉｓｔを導出するための特定の関数を如何に定義するかによっても、構築された学習済みニューラルネットワークから出力されるスコアが異なるものとなる。また、学習に使用される３次元画像は、撮影する部位に偏りがある場合がある。例えば、人体の全身を含む３次元画像もあれば、頭部のみあるいは胸部のみを含む３次元画像もある。また、学習に使用する複数のスライス画像のスライス間隔が異なると、出力されるスコアが異なるものとなる場合がある。さらに、学習の際の終了条件の決め方によっても、出力されるスコアが異なるものとなる場合がある。

【0052】

図５はスライス番号とスコアとの関係を示す図である。なお、図５は構築のされ方が異なる３種類の学習済みニューラルネットワークについての、スライス番号と出力されるスコアとの関係４０Ａ，４０Ｂ，４０Ｃを示している。図５において縦軸がスコア、横軸がスライス番号を表している。いずれも頭頂部から足の底面までのスコアを示し、頭頂部から足の底面に向かうほどスコアの値が線形に大きくなる。したがって、スコアＳは、Ｓ＝ａ×ｋ＋ｂの関係式により表すことができる。図５に示すように、学習済みニューラルネットワークの構築のされ方により、頭頂部のスコアおよび足の底面のスコアに差異が生じ、その結果、頭頂部と足の底面との間にある他の部位においてもスコアに差異が生じる。

【0053】

このため、本実施形態においては、規格化部２３が、スコア導出部２２の学習済みニューラルネットワーク２２Ａが出力した第１のスコアＳｃ１（ｉ）および学習済みニューラルネットワーク２２Ｂが出力した第２のスコアＳｃ２（ｊ）を規格化する。なお、ｉ，ｊはスライス番号であり、スライス画像における先頭からｉ，ｊ番目のスライス位置を表す。したがって、第１のスコアＳｃ１（ｉ）は第１の３次元画像Ｇ１においてｉ番目のスライスのスライス画像について導出したスコアである。第２のスコアＳｃ２（ｊ）は第２の３次元画像Ｇ２においてｊ番目のスライスのスライス画像について導出したスコアである。スライス番号は３次元画像に付帯する付帯情報（例えばＤＩＣＯＭ情報）を用いて特定することができる。ＤＩＣＯＭ情報であれば、ＤＩＣＯＭの(0020,0013)Instance Numberをスライス番号として用いることができるが、これに限定されるものではない。(0020,1041)Slice Locationまたは(0020,0032)Image Position (Patient)の成分等の情報を用いてもよい。

【0054】

規格化部２３は、具体的には、スコアＳｃ１（ｉ），Ｓｃ２（ｊ）に対して下記の式（１）、（２）に示す線形変換を行うことにより、頭頂部のスコアおよび足の底面のスコアが規格化された値の範囲に収まるようにする。
Ｓ１norm（ｉ）＝Ｓｃ１（ｉ）×ｃ１＋ｄ１ （１）
Ｓ２norm（ｊ）＝Ｓｃ２（ｊ）×ｃ２＋ｄ２ （２）

【0055】

なお、式（１）、（２）における係数ｃ１，ｃ２，ｄ１，ｄ２は、第１の３次元画像Ｇ１に含まれる２つのスライス画像および第２の３次元画像Ｇ２に含まれる２つのスライス画像のみを用いて求めることができる。２つのスライス画像としては、例えばスライス番号が先頭のスライス画像および最後のスライス画像を用いることができる。しかしながら、すべてのスライス画像についてのスコアを導出し、最小自乗法および補間演算等の手法を用いて係数ｃ１，ｃ２，ｄ１，ｄ２を求めるようにしてもよい。

【0056】

また、規格化の範囲は例えば頭頂部＝０、足の底面＝１００となるようにすればよい。なお、規格化の範囲はこれに限定されるものではない。例えば、頭頂部から足の底面に向かうほど減少するように、頭頂部＝１００、足の底面＝０としてもよい。また、負の値を含むように、頭頂部＝－１０、足の底面＝１０としてもよく、頭頂部＝１０、足の底面＝－１０としてもよい。

【0057】

図６は規格化スコアの例を示す図である。図６においては図５に示す３種類の関係４０Ａ，４０Ｂ，４０Ｃを、頭頂部のスコアが０、足の底面のスコアが１００となるように規格化した関係４１Ａ，４１Ｂ，４１Ｃを示している。このように規格化を行うことにより、スライス番号ｉについてのスライス画像の規格化スコアＳ１norm（ｉ）、およびスライス番号ｊについてのスライス画像の規格化スコアＳ２norm（ｊ）は、例えば下記の式（３）、（４）により表すことができる。
Ｓ１norm（ｉ）＝ａ１×ｉ＋ｂ１ （３）
Ｓ２norm（ｊ）＝ａ２×ｊ＋ｂ２ （４）

【0058】

なお、式（３）、（４）における係数ａ１，ａ２，ｂ１，ｂ２は、式（１）、（２）における係数ｃ１，ｃ２，ｄ１，ｄ２を利用して、第１の３次元画像Ｇ１に含まれる２つのスライス画像および第２の３次元画像Ｇ２に含まれる２つのスライス画像のみを用いて求めることができる。しかしながら、すべてのスライス画像についてのスコアを導出し、最小自乗法および補間演算等の手法を用いて係数ａ１，ａ２，ｂ１，ｂ２を求めるようにしてもよい。

【0059】

ここで、第１の３次元画像Ｇ１および第２の３次元画像Ｇ２においては、スライスの開始位置または終了位置に何も写っていない場合がある。このため、式（３）、（４）の係数を求める際に、全スライスの開始位置付近および終了位置付近におけるあらかじめ定められた範囲のスライス画像を除外してしてもよい。例えば、全スライスの開始位置から１０％～９０％の範囲にあるスライス画像のみを用いて、式（３）、（４）の係数を求めるようにしてもよい。

【0060】

なお、スコア導出部２２および規格化部２３による規格化スコアを導出する処理を、第１および第２の３次元画像Ｇ１，Ｇ２を取得した後、表示の指示がなされる前にあらかじめ行うようにしてもよい。また、表示の指示がなされ、第１の３次元画像Ｇ１に含まれるスライス画像が切り替えられて表示される都度、スコア導出部２２および規格化部２３による規格化スコアを導出する処理を行うようにしてもよい。

【0061】

位置合わせ部２４は、第１の３次元画像Ｇ１におけるスライス画像と、第２の３次元画像Ｇ２におけるスライス画像とを、比較読影のために位置合わせする。ここで、第１の３次元画像Ｇ１に含まれる比較元のスライス画像をスライス画像Ｄ１（ｉ）とする。また、ここでは、第１の３次元画像Ｇ１に含まれるスライス画像が切り替えられて表示される都度、スコア導出部２２および規格化部２３における処理を行って、表示されたスライス画像と第２の３次元画像Ｇ２に含まれるスライス画像とのｚ方向の位置合わせを行うものとする。

【0062】

位置合わせ部２４は、表示された比較元スライス画像Ｄ１（ｉ）について、スコア導出部２２によりスコアＳｃ１（ｉ）を導出し、導出されたスコアＳｃ１（ｉ）を規格化部２３において式（１）により規格化して規格化スコアＳ１norm（ｉ）を取得する。

【0063】

スコア導出部２２は、比較先の第２の３次元画像Ｇ２について、いくつかのスライス画像（例えば先頭および最後の２つのスライス画像）についてのスコアを導出する。規格化部２３は式（２）を用いてスコアを規格化して、式（４）を導出する。そして、位置合わせ部２４は、式（４）を用いて、ａ２×ｊ＋ｂ２＝Ｓ１norm（ｉ）を満足するスライス番号ｊを特定する。なお、スライス番号ｊは整数であるため、ｊが整数とならない場合には、小数点以下を四捨五入等することにより、整数となるスライス番号ｊを特定する。例えば、式（３）が図６に示す関係４１Ａにより表され、式（４）が図６に示す関係４１Ｂにより表される場合、位置合わせ部２４は、図７に示すように、関係４１Ｂにおけるスライス番号ｊを求める。

【0064】

そして、位置合わせ部２４は、第２の３次元画像Ｇ２における求めたスライス番号ｊのスライス画像を比較対象スライス画像Ｄ２（ｊ）に特定する。これにより、第１の３次元画像Ｇ１と第２の３次元画像Ｇ２とのｚ方向すなわちアキシャル方向の位置合わせが行われる。

【0065】

なお、式（３）、（４）があらかじめ導出されている場合には、表示される比較元スライス画像が変更される毎に比較元スライス画像Ｄ１（ｉ）についての規格化スコアを導出する必要はない。この場合、第２の３次元画像Ｇ２についてＳ１norm（ｉ）＝Ｓ２norm（ｊ）の関係を満たすスライス番号ｊを特定するのみで、比較対象スライス画像を特定して、第１の３次元画像Ｇ１と第２の３次元画像Ｇ２との位置合わせを行うことが可能となる。

【0066】

一方、位置合わせ部２４においては、第２の３次元画像Ｇ２において、特定された比較対象スライス画像に隣接する複数のスライス画像と、比較元スライス画像Ｄ１（ｉ）とのさらなる位置合わせを行うようにしてもよい。例えば、比較元スライス画像Ｄ１（ｉ）と、比較対象スライス画像の前後に隣接する複数のスライス画像との評価値を導出し、導出した評価値が最良となるスライス番号のスライス画像を最終的な比較対象スライス画像に特定するようにしてもよい。評価値としては、比較元スライス画像Ｄ１（ｉ）と、比較対象スライス画像の前後に隣接する複数のスライス画像との類似度あるいは相互情報量を用いることができる。このようなさらなる位置合わせを行うことにより、位置合わせの精度を向上させることができる。

【0067】

なお、さらなる位置合わせに使用する第２の３次元画像Ｇ２のスライス画像の範囲はあらかじめ定められた範囲とすればよい。また、規格化スコアの式（３）、（４）により表される直線からの乖離を評価し、乖離が大きいほどさらなる位置合わせに使用するスライス画像の範囲を大きくしてもよい。また、腹部における腸は柔らかい組織であるため、撮影の都度形状が変化する。このため、第１および第２の３次元画像Ｇ１，Ｇ２が腹部を含む場合、さらなる位置合わせに使用するスライス画像の範囲を大きくしてもよい。また、胸部も呼吸によって肺の形状が変化するため、撮影の都度形状が変化する。このため、第１および第２の３次元画像Ｇ１，Ｇ２が胸部を含む場合においても、さらなる位置合わせに使用するスライス画像の範囲を大きくしてもよい。

【0068】

ここで、上記では、ｚ方向すなわちアキシャル方向におけるスライス画像の位置合わせについて説明したが、ｘ方向およびｙ方向については、画像の類似度あるいは相互情報量を評価して位置を合わせたり、スライス画像に含まれる被写体の重心位置を一致させたりすることにより位置合わせを行えばよい。

【0069】

表示制御部２５は、第１および第２の３次元画像Ｇ１，Ｇ２をディスプレイ１４に表示する。図８は３次元画像の表示画面を示す図である。図８に示すように３次元画像の表示画面５０は、画像表示領域５１および文章表示領域５２を含む。画像表示領域５１には、第１の３次元画像Ｇ１および第２の３次元画像Ｇ２に含まれるスライス画像が表示される。表示されるスライス画像は、入力デバイス１５を用いて第１の３次元画像Ｇ１および第２の３次元画像Ｇ２のいずれかを選択し、入力デバイス１５のマウスが備えるスクロールホイール等を用いて切り替え表示することができる。

【0070】

画像表示領域５１に表示される第１の３次元画像Ｇ１および第２の３次元画像Ｇ２の左上隅には、それぞれ被写体である人体を模したアイコン５３，５４が表示される。アイコン５３，５４は、第１および第２の３次元画像Ｇ１，Ｇ２に含まれるスライス画像が含まれる部位の開始位置５３Ａ，５４Ａおよび終了位置５３Ｂ，５４Ｂが実線で示されている。図８において開始位置５３Ａ，５４Ａは頭頂部、終了位置５３Ｂ，５４Ｂは足の底面である。

【0071】

これにより、アイコン５３，５４を参照すれば、読影医は第１および第２の３次元画像Ｇ１，Ｇ２のいずれも、頭頂部から足の底面までのスライス画像が含まれていることを認識することができる。また、アイコン５３，５４には、現在表示中のスライス画像の位置が破線５３Ｃ，５４Ｃで示されている。破線５３Ｃ，５４Ｃにより、表示中のスライス画像の解剖学的位置を容易に認識することができる

【0072】

文章表示領域５２には、読影医による第１の３次元画像Ｇ１および第２の３次元画像Ｇ２の読影結果を表す所見文が、入力デバイス１５を用いて入力される。

【0073】

なお、読影の仕方によっては、第１の３次元画像Ｇ１と第２の３次元画像Ｇ２とで表示されるスライス画像の解剖学的位置を一致させたい場合もあれば、一致させたくない場合もある。このため、本実施形態においては、画像表示領域５１の下方に表示された同期ボタン５６により、表示されるスライス画像のｚ方向の位置の同期および非同期を切り替え可能としている。読影医は、同期ボタン５６を選択することにより、表示される第１の３次元画像Ｇ１と第２の３次元画像Ｇ２との解剖学的位置を一致させることができる。

【0074】

第１および第２の３次元画像Ｇ１，Ｇ２における解剖学的位置の一致は、上述したように位置合わせ部２４により行われる。この場合、第１の３次元画像Ｇ１について画像表示領域５１に表示されるスライス画像が比較元スライス画像Ｄ１（ｉ）となる。本実施形態においては表示される比較元スライス画像Ｄ１（ｉ）が切り替えられる毎に、上述したように位置合わせ部２４が位置合わせ処理を行い、比較元スライス画像Ｄ１（ｉ）に対応する比較対象スライス画像を特定して画像表示領域５１に表示する。

【0075】

これにより、画像表示領域５１には、第１の３次元画像Ｇ１および第２の３次元画像Ｇ２における同一の解剖学的位置のスライス画像が表示される。したがって、第１の３次元画像Ｇ１の表示されるスライス画像を切り替えることによって、第２の３次元画像Ｇ２のスライス画像も第１の３次元画像Ｇ１と同一の解剖学的位置を表すものとなるように同期して切り替えることができる。なお、同期ボタン５６が再度選択されると、同期が解除される。これにより、第１の３次元画像Ｇ１と第２の３次元画像Ｇ２とで別々のスライス面のスライス画像を表示することが可能となる。

【0076】

文章表示領域５２の下方には確定ボタン５７が表示されている。読影医は、所見文の入力後、入力デバイス１５を用いて確定ボタン５７を選択することにより、所見文の入力内容を確定することができる。

【0077】

次いで、本実施形態において行われる処理について説明する。図９は本実施形態による画像位置合わせ装置において行われる処理を示すフローチャートである。なお、位置合わせの対象となる第１および第２の３次元画像Ｇ１，Ｇ２は画像サーバ５から取得されてストレージ１３に記憶されているものとする。また、同期ボタン５６はスライス画像を同期させるように選択されているものとする。第１および第２の３次元画像Ｇ１，Ｇ２を表示する指示がなされることにより処理が開始され、表示制御部２５が第１および第２の３次元画像Ｇ１，Ｇ２を表示画面５０の画像表示領域５１に表示する（ステップＳＴ１）。なお、最初に表示されるスライス画像は第１および第２の３次元画像Ｇ１，Ｇ２ともに、例えばスライス番号が先頭のスライス画像とすればよい。

【0078】

次いで、表示されるスライス画像の切り替えの指示がなされたか否かが判定され（ステップＳＴ２）、ステップＳＴ２が肯定されると、位置合わせ部２４が現在表示されている比較元スライス画像Ｄ１（ｉ）を特定する（ステップＳＴ３）。なお、ステップＳＴ２が否定されると後述するステップＳＴ９の処理に進む。

【0079】

次いで、スコア導出部２２が比較元スライス画像Ｄ１（ｉ）についての第１のスコアＳｃ（ｉ）を導出し（ステップＳＴ４）、規格化部２３が第１のスコアＳｃ（ｉ）を規格化する（ステップＳＴ５）。

【0080】

一方、スコア導出部２２および規格化部２３が、比較先の第２の３次元画像Ｇ２についての式（４）を導出する（関係式導出：ステップＳＴ６）。すなわち、スコア導出部２２が第２の３次元画像Ｇ２に含まれる先頭および最後のスライス画像についての第２のスコアを導出し、２つの第２のスコアを規格化する。そして、規格化部２３は、規格化された第２のスコアを用いて式（４）を導出する。なお、ステップＳＴ６の処理は、ステップＳＴ２よりも前に行ってもよく、ステップＳＴ２～ステップＳＴ５の処理と並列に行ってもよい。

【0081】

そして位置合わせ部２４が比較元スライス画像Ｄ１（ｉ）に対応する比較対象スライス画像Ｄ２を特定し（位置合わせ：ステップＳＴ７）、特定された比較対象スライス画像を画像表示領域５１に表示する（ステップＳＴ８）。

【0082】

続いて、確定ボタン５７が選択されたか否かが判定され（ステップＳＴ９）、ステップＳＴ９が否定されるとステップＳＴ２に戻り、ステップＳＴ２以降の処理を繰り返す。これにより、比較対象スライス画像Ｄ１（ｉ）を切り替えると、これに同期して第２の３次元画像Ｇ２のスライス画像も切り替えられる。読影医はこのようにしてスライス画像を切り替えつつ、第１および第２の３次元画像Ｇ１，Ｇ２の比較読影を行い、読影レポートを文字表示領域５２に入力する。ステップＳＴ９が肯定されると、処理を終了する。

【0083】

なお、作成された読影レポートは読影レポートサーバ６に送信されて保存される。また、位置合わせ処理の過程において導出された第１および第２の３次元画像Ｇ１，Ｇ２についての規格化スコアあるいは式（３）、（４）についての係数ａ１，ａ２，ｂ１，ｂ２は画像サーバ５に送信され、第１および第２の３次元画像Ｇ１，Ｇ２と関連付けられて保存される。なお、係数ａ１，ａ２，ｂ１，ｂ２は、第１および第２の３次元画像Ｇ１，Ｇ２の付帯情報（例えばＤＩＣＯＭ情報）に記録するようにしてもよい。

【0084】

このように、本実施形態においては、学習済みニューラルネットワーク２２Ａ，２２Ｂから出力されたスコアを規格化するようにした。このため、同一の解剖学的位置のスライス画像であれば、学習用データが異なるまたはモダリティが異なるあるいはモダリティが同一であっても撮影プロトコルが異なる等により学習済みニューラルネットワークの構築のされ方が異なるものであっても、同一の値となる規格化スコアが導出されることとなる。これにより、導出される規格化スコアを用いてスライス画像の解剖学的位置を特定でき、その結果、規格化スコアを用いて、第１の３次元画像Ｇ１に含まれるスライス画像のスライス面と、第２の３次元画像Ｇ２に含まれるスライス画像のスライス面との位置合わせを行うことができる。

【0085】

また、規格化スコアを用いてスライス画像の位置合わせを行った後、スライス画像間の評価値に基づくさらなる位置合わせを行うことにより、位置合わせの精度を向上させることができる。本実施形態においては、規格化スコアを用いることなくスライス画像の評価値にのみ基づく位置合わせを行う場合と比較して演算量を低減することができるため、位置合わせの処理を高速に行うことができる。

【0086】

また、規格化部２３において導出した規格化スコアあるいは式（３）、（４）における係数ａ１，ａ２，ｂ１，ｂ２を、これらを取得した３次元画像と対応づけて保存しておくことにより、その３次元画像についての位置合わせを行う場合に、スコアの導出および規格化を再度行う必要がなくなるため、処理を高速に行うことができる。

【0087】

例えば、最新の検査において取得した３次元画像と過去の検査において取得した３次元画像とでスライス位置の位置合わせを行う場合、過去の検査において取得した３次元画像については、保存された規格化スコアあるいは係数ａ１，ａ２，ｂ１，ｂ２を用いることにより、スコアの導出および規格化を再度行う必要がなくなる。したがって、位置合わせの処理を高速に行うことができる。

【0088】

また、ＵＢＲの手法ではニューラルネットワークの学習を高速に行うことができる。例えば、非特許文献１によれば、かなりの量のデータであっても十数分でニューラルネットワークの学習を行えるものとなっている。このため、３次元画像を取得する都度、読影前にその３次元画像を用いてニューラルネットワークを学習して学習済みニューラルネットワークを構築することが可能となる。したがって、本実施形態によれば、学習済みニューラルネットワークを用いたスコアの導出の精度を向上させることができる。

【0089】

なお、上記実施形態においては、学習済みニューラルネットワーク２２Ａ，２２Ｂが出力したスコアを規格化することにより規格化スコアを導出しているが、これに限定されるものではない。規格化スコアを導出するように構築された学習済みニューラルネットワークを用いることにより、規格化スコアを導出してもよい。

【0090】

この場合、出力されるスコアの範囲を学習の際に規定し、規定した範囲のスコアが出力されるようにニューラルネットワークを学習させる。すなわち、ＣＴ画像を教師データとして用いる場合、ＣＴ画像が入力された場合に、規定した範囲のスコアが出力されるようにニューラルネットワークを学習させる。一方、ＭＲＩ画像を教師データとして用いる場合、ＭＲＩ画像が入力された場合に、規定した範囲のスコアが出力されるようにニューラルネットワークを学習させる。この際、損失関数Ｌｏｒｄｅｒ、Ｌｄｉｓｔに加えて、新たな損失関数Ｌｓｃａｌｅを使用し、スコアの範囲、スコアの上限およびスコアの下限に応じて損失を調整して、規定された範囲のスコアを出力するように学習を行うことにより、学習済みニューラルネットワークを構築すればよい。

【0091】

なお、規格化スコアを導出するように学習済みニューラルネットワーク２２Ａ，２２Ｂを構築した場合、規格化部２３は不要となる。

【0092】

また、上記実施形態においては、画像サーバ５に保管するすべての３次元画像についてスコアまたは規格化スコアを算出し、３次元画像と対応づけて保存しておくようにしてもよい。算出したスコアまたは規格化スコアは画像サーバ５に保存してもよく、３次元画像の付帯情報（例えばＤＩＣＯＭ情報）に記録するようにしてもよい。

【0093】

また、上記実施形態においては、第１の３次元画像Ｇ１に含まれる部位の範囲と第２の３次元画像Ｇ２に含まれる部位の範囲が一致しているが、第１の３次元画像Ｇ１に含まれる部位の範囲と第２の３次元画像Ｇ２に含まれる部位の範囲が一致しない場合もある。例えば、第１の３次元画像Ｇ１が人体の頭頂部から足の底面までが撮影範囲であるのに対して、第２の３次元画像Ｇ２が人体の胸腹部のみが撮影範囲である場合がある。

【0094】

この場合、第１の３次元画像Ｇ１において頭部のスライス画像を表示しても、第２の３次元画像Ｇ２には位置合わせ先のスライス画像が含まれない。このため、第１の３次元画像Ｇ１について表示中の比較対象スライス画像について導出した規格化スコアと、第２の３次元画像Ｇ２について導出した規格化スコアの範囲とを比較し、第１の３次元画像Ｇ１について表示中の比較元スライス画像についての規格化スコアが第２の３次元画像Ｇ２について導出した規格化スコアの範囲にない場合には、警告を行うようにしてもよい。

【0095】

図１０は警告の例を示す図である。図１０に示すように、第１の３次元画像Ｇ１に表示されたアイコン５３を参照すると、第１の３次元画像Ｇ１は頭部から足の底面までのスライス画像を含み、現在頭部のスライス画像が表示されていることが分かる。一方、第２の３次元画像Ｇ２に表示されたアイコン５４を参照すると、第２の３次元画像Ｇ２は胸腹部のスライス画像のみしか含まないことが分かる。このような場合、第１の３次元画像Ｇ１について頭部のスライス画像を表示しても、第２の３次元画像Ｇ２についてはこれに対応する解剖学的位置のスライス画像を表示することができない。

【0096】

このため、図１０においては、第１の３次元画像Ｇ１の周囲に太い枠５９を表示することにより、第１の３次元画像Ｇ１において表示された比較元スライス画像の規格化スコアが、第２の３次元画像Ｇ２について導出された規格化スコアの範囲にないために、第１および第２の３次元画像Ｇ１，Ｇ２において表示中のスライス画像を対応づけることができないことを警告している。このように警告を行うことにより、読影医はスライス画像の位置合わせができないことを認識できるため、読影を効率よく行うことができる。

【0097】

なお、図１０においては警告として第１の３次元画像Ｇ１の表示領域の周囲に太線の枠５９を付与しているが、これに限定されるものではない。第１の３次元画像Ｇ１を点滅させたり、第２の３次元画像Ｇ２をグレーアウトさせたりすることにより警告を行うようにしてもよい。また、音声により警告を行うようにしてもよい。

【0098】

また、上記実施形態においては、第１の３次元画像Ｇ１としてＣＴ画像を、第２の３次元画像Ｇ２としてＭＲＩ画像を用いているがこれに限定されるものではない。第１の３次元画像Ｇ１としてＣＴ画像を使用し、第２の３次元画像Ｇ２としてＰＥＴ画像を使用してもよい。この場合、同一の解剖学的位置となるようにＣＴ画像のスライス面とＰＥＴ画像のスライス面とを位置合わせできるため、ＣＴ画像とＰＥＴ画像とのフュージョン画像を容易に導出することが可能となる。

【0099】

なお、フュージョン画像を導出する場合においても、規格化スコアを用いて位置合わせを行った後に、スライス画像間の評価値に基づく位置合わせを行うようにしてもよい。これにより、位置合わせの精度を向上させることができるため、より高精度に位置合わせされたフュージョン画像を導出することができる。

【0100】

また、同一被写体についての撮影時期が異なる第１の３次元画像Ｇ１と第２の３次元画像Ｇ２とを用いて差分画像を導出する場合にも、本実施形態の技術を適用できる。すなわち、規格化スコアに基づいて第１の３次元画像Ｇ１に含まれるスライス画像と第２の３次元画像Ｇ２に含まれるスライス画像との位置合わせを行って差分画像を導出することにより、同一スライス面についての疾患の経時変化を容易に確認することができる。この場合、第１の３次元画像Ｇ１と第２の３次元画像Ｇ２とは同一のモダリティであることが好ましい。なお、このような差分画像を導出する際にも、規格化スコアを用いて位置合わせを行った後に、スライス画像間の評価値に基づく位置合わせを行うようにしてもよい。これにより、位置合わせの精度を向上させることができるため、より高精度に位置合わせされた差分画像を導出することができる。

【0101】

なお、上記実施形態においては、第１および第２の放射線画像Ｇ１，Ｇ２を表示する際に、最初に表示されるスライス画像をスライス番号が先頭のスライス画像としているが、これに限定されるものではない。最初に表示されるスライス画像について規格化スコアを導出し、規格化スコアを用いて、第１の３次元画像Ｇ１に含まれるスライス画像のスライス面と、第２の３次元画像Ｇ２に含まれるスライス画像のスライス面との位置合わせを行うようにしてもよい。

【0102】

また、上記実施形態においては、第１および第２の３次元画像Ｇ１，Ｇ２の比較読影のためにスライス画像の位置合わせを行っているが、これに限定されるものではない。異なる被写体について同一部位を撮影することにより取得された第１の３次元画像Ｇ１のスライス画像と第２の３次元画像Ｇ２のスライス画像との位置合わせを行う場合にも本実施形態の技術を適用することが可能である。この場合、異なる被写体についての同一モダリティの３次元画像であっても、異なる被写体についての異なるモダリティの３次元画像であっても、上記と同様にスライス画像の位置合わせを行うことが可能である。

【0103】

また、上記実施形態においては、アキシャル方向にスライス面が並ぶアキシャル断面のスライス画像について規格化スコアを導出しているが、これに限定されるものではない。コロナル断面、サジタル断面またはこれら以外の任意方向の断面についての規格化スコアを導出してもよい。さらにはＭＰＲ（Multi Planar Reconstruction、任意断面再構成）のスライス画像についての規格化スコアを導出するようにしてもよい。これにより、第１および第２の３次元画像Ｇ１，Ｇ２について、所望とされるスライス面のスライス画像の位置合わせを行うことができる。

【0104】

次いで、本開示の位置特定装置について説明する。図１１は本実施形態による位置特定装置の構成を示す概略ブロック図である。図１１に示すように本実施形態による位置特定装置６０は、ワークステーション、サーバコンピュータおよびパーソナルコンピュータ等のコンピュータであり、ＣＰＵ６１、不揮発性のストレージ６３、および一時記憶領域としてのメモリ６６を含む。また、位置特定装置６０は、液晶ディスプレイ等のディスプレイ６４、キーボードおよびマウス等のポインティングデバイス等からなる入力デバイス６５、並びに不図示のネットワークに接続されるネットワークＩ／Ｆ６７を含む。ＣＰＵ６１、ストレージ６３、ディスプレイ６４、入力デバイス６５、メモリ６６およびネットワークＩ／Ｆ６７は、バス６８に接続される。

【0105】

ストレージ６３は、ストレージ１３と同様に、ＨＤＤ、ＳＳＤ、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ６３には、位置特定プログラム６２が記憶される。ＣＰＵ６１は、ストレージ６３から位置特定プログラム６２を読み出してメモリ６６に展開し、展開した位置特定プログラム６２を実行する。

【0106】

次いで、本実施形態による位置特定装置の機能的な構成を説明する。図１２は、本実施形態による位置特定装置の機能的な構成を示す図である。図１２に示すように本実施形態による位置特定装置６０は、画像取得部７１、スコア導出部７２および規格化部７３を備える。そしてＣＰＵ６１が位置特定プログラム６２を実行することにより、ＣＰＵ６１は、画像取得部７１、スコア導出部７２および規格化部７３として機能する。ＣＰＵ６１は、本開示におけるプロセッサの一例である。

【0107】

なお、本実施形態による位置特定装置６０の画像取得部７１、スコア導出部７２および規格化部７３が行う処理は、本実施形態による画像位置合わせ装置２０の画像取得部２１、スコア導出部２２および規格化部２３が行う処理と同一であるため、ここでは詳細な説明は省略する。なお、位置特定装置６０のスコア導出部７２は１つの学習済みニューラルネットワーク７２Ａのみを含む。本実施形態による位置特定装置は、入力された３次元画像Ｇ０のスライス画像に含まれる部位の解剖学的位置を特定するものである。なお、学習済みニューラルネットワークは１つのみに限定されるものではない。複数の学習済みニューラルネットワークを用意し、３次元画像Ｇ０の種類等（ＣＴ画像であるか、ＭＲＩ画像であるか等）に応じて使用する学習済みニューラルネットワークを選択できるようにしてもよい。

【0108】

図１３は本実施形態による位置特定装置において行われる処理を示すフローチャートである。なお、位置特定の対象となる３次元画像Ｇ０は画像サーバ５から取得されてストレージ６３に記憶されているものとする。位置特定の指示がなされることにより処理が開始され、スコア導出部７２が３次元画像Ｇ０に含まれる複数のスライス画像についてのスコアを導出する（ステップＳＴ１１）。そして規格化部２３がスコアを規格化し（ステップＳＴ１２）、処理を終了する。規格化されたスコアは３次元画像Ｇ０と対応づけられてストレージ６３に保存される。

【0109】

なお、位置特定装置の実施の形態においても、規格化スコアを出力するように学習済みニューラルネットワーク７２Ａを構築してもよい。この場合、規格化部７３は不要となる。

【0110】

このようにして導出された規格化スコアは、スライス画像に含まれる部位の解剖学的位置に応じて固有の値を有するものとなる。このため、導出された規格化スコアを様々な処理に用いることができる。

【0111】

例えば、ＣＴ装置を用いた被写体の撮影を行う際には、被写体への被曝線量を管理する必要がある。被曝線量を管理するに際しては、被写体の体格による影響を補正するため、ＳＳＤＥ（Size-Specific Dose Estimates）という概念がある。ＳＳＤＥでは、胸部および／または腹部における人体の断面の縦横比および／または断面の形状を利用する。この際、ＣＴ画像に含まれるスライス画像から胸部および／または腹部に相当する位置のスライス画像を抽出し、抽出したスライス画像について断面の縦横比および／または形状を求めることになる。本実施形態による位置特定装置を用いて、ＣＴ画像についての規格化スコアを導出することにより、規格化スコアを用いて胸部および／または腹部のスライス画像を抽出できるため、ＳＳＤＥに役立てることができる

【0112】

また、整形外科の分野では、診断に際して画像を参照して、特徴的な位置の距離の比率および特徴的な位置を結ぶ線分の角度等を計測することにより、疾患の評価が行われる。整形外科計測の例として、股関節の臼蓋形成不全の診断に用いられるＣＥ角（Center-edge angle）、肘関節の診断に用いられるＢａｕｍａｎｎ角、膝蓋骨の適合度を示す指標である適合角（Congruence angle）、および大腿骨軸と脛骨軸とがなす角度であるＦＴＡ（Femorotibial angle）等がある。このような計測を行うには、３次元画像に含まれる部位のうちの特徴的な部位を含むスライス画像を特定する必要がある。この際に、３次元画像に含まれるスライス画像についての規格化スコアを導出することにより、計測に使用する特徴的な部位を含むスライス画像を容易に特定することが可能となる。したがって、計測を効率よく行うことができる。

【0113】

また、各種モダリティにおいて取得した３次元画像に対しては、意図した部位を含む３次元画像が取得されたか否かを確認する検像が行われる。この際に、取得した３次元画像に含まれるスライス画像についての規格化スコアを導出することにより、規格化スコアの値により、取得したスライス画像に含まれる部位を認識することができる。このため、規格化スコアにより取得した３次元画像に含まれる部位、部位の範囲および部位が並ぶ方向等を確認することができる。したがって、検像を容易に行うことができる。また、規格化スコアと意図した部位についてのスコアとを比較することにより、意図した部位について撮影ができていない場合には警告を行ったり、再撮影を促す等の措置を執ったりすることが容易となる。

【0114】

また、アキシャル断面のスライス画像については、スライス画像に含まれる椎骨のラベルと規格化スコアとを対応づけることができる。すなわち規格化スコアと規格化スコアが表す脊椎の解剖学的位置（頚椎のＣ１～Ｃ７、胸椎のＴ１～Ｔ１２、腰椎のＬ１～Ｌ５）とは互いに対応するものとなる。このため、椎骨のラベリングを行う際に、取得した３次元画像についての規格化スコアを導出することにより、椎骨のラベリングを容易に行うことができる。

【0115】

なお、上記画像位置合わせ装置の実施形態においては、読影ＷＳ３において規格化スコアの導出を行っているが、これに限定されるものではない。撮影装置２、画像サーバ５、診療ＷＳ４またはこれらとは別記に設けられた装置において規格化スコアの導出を行うようにしてもよい。この場合、導出された規格化スコアは３次元画像と対応づけられて画像サーバ５に保管され、画像位置合わせの際に３次元画像と併せて読影ＷＳ３に送信されて、処理に供される。

【0116】

また、上記各実施形態においては、年齢および性別等の被写体の属性に応じた学習用データを用いることにより、患者の属性に応じた学習済みニューラルネットワークを構築するようにしてもよい。これにより、患者の属性に応じた高精度の規格化スコアを導出することができる。

【0117】

また、上記各実施形態において、例えば、画像取得部２１、スコア導出部２２、規格化部２３、位置合わせ部２４、位置合わせ部２４および表示制御部２５、並びに画像取得部７１、スコア導出部７２および規格化部７３といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＧＰＵ(Graphics Processing Unit)、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0118】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0119】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0120】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。

【符号の説明】

【0121】

１ 医療情報システム
２ 撮影装置
３ 読影ＷＳ
４ 診療ＷＳ
５ 画像サーバ
６ 画像ＤＢ
７ レポートサーバ
８ レポートＤＢ
１０ ネットワーク
１１，６１ ＣＰＵ
１２ 画像位置合わせプログラム
１３，６３ ストレージ
１４，６４ ディスプレイ
１５，６５ 入力デバイス
１６，６６ メモリ
１７，６７ ネットワークＩ／Ｆ
１８，６８ バス
２０ 画像位置合わせ装置
２１，７１ 画像取得部
２２，７２ スコア導出部
２２Ａ，２２Ｂ，７２Ａ 学習済みニューラルネットワーク
２３，７３ 規格化部
２４ 位置合わせ部
２５ 表示制御部
３０ ニューラルネットワーク
３１ 入力層
３２ 中間層
３３ 出力層
４０Ａ，４０Ｂ，４０Ｃ 規格化前のスライス番号とスコアとの関係
４１Ａ，４１Ｂ，４１Ｃ 規格化後のスライス番号とスコアとの関係
５０ 表示画面
５１ 画像表示領域
５２ 文章表示領域
５３，５４ 人型アイコン
５３Ａ，５４Ａ 開始位置
５３Ｂ，５４Ｂ 終了位置
５３Ｃ，５４Ｃ 破線
５６ 同期ボタン
５７ 確定ボタン
５９ 枠
Ｄ１～Ｄｎ スライス画像
Ｇ１ 第１の３次元画像
Ｇ２ 第２の３次元画像
Ｓ１～Ｓｎ スコア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】