特開 2023-184215 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023184215

(43)【公開日】2023-12-28

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20231221BHJP

   G06T 7/00 20170101ALI20231221BHJP

   G06V 10/774 20220101ALI20231221BHJP

   A61B 6/00 20060101ALI20231221BHJP

   G06T 7/30 20170101ALI20231221BHJP

【ＦＩ】

A61B6/03 360Q

G06T7/00 612

G06T7/00 350B

G06V10/774

A61B6/00 360B

G06T7/30

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022098247

(22)【出願日】2022-06-17

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度 国立研究開発法人日本医療研究開発機構、医療機器等における先進的研究開発・開発体制強靭化事業 術中の迅速な判断・決定を支援するための診断支援機器・システム開発（研究開発課題名：「術前と術中をつなぐスマート手術ガイドソフトウェアの開発」）、産業技術力強化法第１７条の適用を受けるもの

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】五十嵐 健夫

(72)【発明者】

【氏名】楊 溪

(72)【発明者】

【氏名】夏 鼎

(72)【発明者】

【氏名】金 太一

【テーマコード（参考）】

4C093

5L096

【Ｆターム（参考）】

4C093AA22

4C093AA24

4C093AA26

4C093CA21

4C093FD03

4C093FF11

4C093FF37

4C093FF42

5L096AA06

5L096AA09

5L096BA06

5L096BA13

5L096FA25

5L096FA66

5L096FA67

5L096FA69

5L096GA32

5L096GA34

5L096GA51

5L096HA11

5L096JA03

5L096JA09

5L096KA04

(57)【要約】

【課題】検査対象部位の部分画像と全体画像との良好な位置合わせを行うことが可能な情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】情報処理装置１００は、患者の検査対象部位の撮影により取得された第１画像と、患者の検査対象部位の撮影により取得された第２画像とを取得する画像取得部１２４と、第１画像を、検査対象部位の標準的な形状情報を含むテンプレート空間に配置する第１処理部１２５と、第２画像をテンプレート空間に配置する第２処理部１２６と、テンプレート空間に配置された第１画像と第２画像との位置合わせを行う位置合わせ部１２７とを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

患者の検査対象部位の撮影により取得された第１画像と、前記患者の前記検査対象部位の撮影により取得された第２画像とを取得する画像取得部と、
前記第１画像を、前記検査対象部位の標準的な形状情報を含むテンプレート空間に配置する第１処理部と、
前記第２画像を前記テンプレート空間に配置する第２処理部と、
前記テンプレート空間に配置された前記第１画像と前記第２画像との位置合わせを行う位置合わせ部と
を備える情報処理装置。

【請求項2】

前記第１処理部は、前記第１画像から固定サイズを有するボリュームをサンプリングしたパッチ画像と、前記パッチ画像の前記テンプレート空間中での予測位置とを所定数取得し、前記所定数のパッチ画像と予測位置とに基づいて、前記第１画像を前記テンプレート空間に配置する、請求項１に記載の情報処理装置。

【請求項3】

前記第１処理部は、前記パッチ画像を学習済モデルに入力することで前記予測位置を取得する、請求項２に記載の情報処理装置。

【請求項4】

前記位置合わせ部は、局所探索法を用いて前記第１画像と前記第２画像との位置合わせを行う、請求項１に記載の情報処理装置。

【請求項5】

前記第１画像は第１イメージング装置を用いて取得され、前記第２画像は、第２イメージング装置を用いて取得される、請求項１に記載の情報処理装置。

【請求項6】

前記第１画像は前記検査対象部位の一部のみを含む部分画像であり、前記第２画像は前記検査対象部位の全体を含む全体画像である、請求項１に記載の情報処理装置。

【請求項7】

患者の検査対象部位の撮影により取得された第１画像と、前記患者の前記検査対象部位の撮影により取得された第２画像とを取得することと、
前記第１画像を、前記検査対象部位の標準的な形状情報を含むテンプレート空間に配置することと、
前記第２画像を前記テンプレート空間に配置することと、
前記テンプレート空間に配置された前記第１画像と前記第２画像との位置合わせを行うことと
を含む方法。

【請求項8】

１又は複数のコンピュータに、
患者の検査対象部位の撮影により取得された第１画像と、前記患者の前記検査対象部位の撮影により取得された第２画像とを取得する処理と、
前記第１画像を、前記検査対象部位の標準的な形状情報を含むテンプレート空間に配置する処理と、
前記第２画像を前記テンプレート空間に配置する処理と、
前記テンプレート空間に配置された前記第１画像と前記第２画像との位置合わせを行う処理と
を実行させるプログラム。

【請求項9】

テンプレート空間中の位置情報が正解データとしてラベル付けされたパッチ画像を機械学習モデルに入力して前記機械学習モデルを学習させる学習部であって、前記パッチ画像は、患者の検査対象部位の撮影により取得された第１画像中の固定サイズを有するボリュームであり、前記テンプレート空間は、前記検査対象部位の標準的な形状情報を含む、学習部
を備える情報処理装置。

【請求項10】

テンプレート空間中の位置情報が正解データとしてラベル付けされたパッチ画像を取得することであって、前記パッチ画像は、患者の検査対象部位の撮影により取得された第１画像中の固定サイズを有するボリュームであり、前記テンプレート空間は、前記検査対象部位の標準的な形状情報を含む、ことと、
前記パッチ画像を用いて機械学習モデルを学習させることであって、前記機械学習モデルは、前記テンプレート空間中での前記パッチ画像の位置を推定する機械学習モデルである、ことと
を含む方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

医用画像処理の分野では異なるイメージング装置で得られた複数の画像の位置合わせを行い、それぞれの画像がもつ特徴を十分に利用することを可能とする処理手法の開発が行われてきた。このような処理は画像レジストレーション処理、すなわち画像位置合わせ処理とよばれ、医用画像処理分野における重要な処理手法の一つとなっている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Kin, T., Nakatomi, H., Shojima, M., Tanaka, M., Ino, K., Mori, H., Kunimatsu, A.,Oyama, H., Saito, N.: A new strategic neurosurgical planning tool for brainstem cavernous malformations using interactive computer graphics with multimodal fusion images. Journal of neurosurgery 117(1), 78-88 (2012)

【非特許文献2】Sandk"uhler, R., Jud, C., Andermatt, S., Cattin, P.C.: Airlab: Autograd image registration laboratory. arXiv preprint arXiv:1806.09907 (2018)

【発明の概要】

【発明が解決しようとする課題】

【0004】

異なるイメージング装置で得られた複数の画像の位置合わせ手法において、従来からMean Square Error（ＭＳＥ）やNormalized Mutual Information（ＮＭＩ）が画像間類似度の尺度として利用されている（非特許文献１）。従来の位置合わせ手法は、事前にラフな位置合わせとして初期設定を行った上で局所探索法を適用することで正確な位置合わせが可能である。しかしながら、臓器の一部のみを含む部分画像と臓器全体をカバーする全体画像との良好な初期設定を行う技術は存在しない。

【0005】

例えば、図６に示されるようなＣＴ画像（全体画像の一例）と3D Rotation Angiography（３ＤＲＡ）画像（部分画像の一例）との位置合わせを行う例について検討する。従来技術では２つの画像の中心を揃えることで初期設定を行うため、部分画像の実際の中心位置が全体画像の中心位置から離れている場合には、局所探索法による位置合わせが局所解に陥ってうまく機能しないことがある。そのため、手作業で３ＤＲＡ画像がＣＴ画像のどのあたりに位置するかを設定し、その後、局所探索法を用いることで、３ＤＲＡ画像とＣＴ画像の位置合わせを実現している。

【0006】

そこで、本発明は、検査対象部位の部分画像と全体画像との良好な位置合わせを行うことが可能な情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様に係る情報処理装置は、患者の検査対象部位の撮影により取得された第１画像と、患者の検査対象部位の撮影により取得された第２画像とを取得する画像取得部と、第１画像を、検査対象部位の標準的な形状情報を含むテンプレート空間に配置する第１処理部と、第２画像をテンプレート空間に配置する第２処理部と、テンプレート空間に配置された第１画像と第２画像との位置合わせを行う位置合わせ部とを備える。

【0008】

この態様によれば、情報処理装置は、第１画像と第２画像とをそれぞれテンプレート空間に配置することで、両画像の良好な初期設定を行うことができる。良好な初期設定を行った後に位置合わせ部が処理することで、正確な位置合わせを行うことができる。

【0009】

上記情報処理装置において、第１処理部は、第１画像から固定サイズを有するボリュームをサンプリングしたパッチ画像と、パッチ画像のテンプレート空間中での予測位置とを所定数取得し、所定数のパッチ画像と予測位置とに基づいて、第１画像をテンプレート空間に配置してもよい。この態様によれば、任意のサイズの第１画像について、同様にパッチ画像とパッチ画像のテンプレート空間中での予測位置とを取得し、取得した情報を用いて第１画像をテンプレート空間に配置することができる。

【0010】

上記情報処理装置において、第１処理部は、パッチ画像を学習済モデルに入力することで予測位置を取得してもよい。この態様によれば、所望の精度を有する予測位置を容易に取得することができる。さらに、学習済モデルへの入力データをパッチ画像としたことで、当該学習済モデルを得るために機械学習モデルを学習させる際の学習データとして、１の画像から多くの学習データを取得することができる。

【0011】

上記情報処理装置において、位置合わせ部は、局所探索法を用いて第１画像と第２画像との位置合わせを行ってもよい。この態様によれば、情報処理装置は、第１画像をテンプレート空間に配置した後、精緻な局所探索法を用いて第２画像との最終的な位置合わせを行うので、テンプレート空間への配置精度を必要以上に高めることなく、正確な位置合わせを行うことができる。

【0012】

上記情報処理装置において、第１画像は第１イメージング装置を用いて取得され、第２画像は、第２イメージング装置を用いて取得されてもよい。この態様によれば、異なるイメージング装置で取得された第１画像と第２画像との正確な位置合わせを行うことができる。

【0013】

上記情報処理装置において、第１画像は検査対象部位の一部のみを含む部分画像であり、第２画像は検査対象部位の全体を含む全体画像であってもよい。この態様によれば、検査対象部位の一部のみを含む部分画像と検査対象部位の全体を含む全体画像との正確な位置合わせを行うことができる。

【0014】

本発明の他の態様に係る方法は、患者の検査対象部位の撮影により取得された第１画像と、患者の検査対象部位の撮影により取得された第２画像とを取得することと、第１画像を、検査対象部位の標準的な形状情報を含むテンプレート空間に配置することと、第２画像をテンプレート空間に配置することと、テンプレート空間に配置された第１画像と第２画像との位置合わせを行うこととを含む。

【0015】

本発明の他の態様に係るプログラムは、１又は複数のコンピュータに、患者の検査対象部位の撮影により取得された第１画像と、患者の検査対象部位の撮影により取得された第２画像とを取得する処理と、第１画像を、検査対象部位の標準的な形状情報を含むテンプレート空間に配置する処理と、第２画像をテンプレート空間に配置する処理と、テンプレート空間に配置された第１画像と第２画像との位置合わせを行う処理とを実行させる。

【0016】

本発明の他の態様に係る情報処理装置は、テンプレート空間中の位置情報が正解データとしてラベル付けされたパッチ画像を機械学習モデルに入力して機械学習モデルを学習させる学習部であって、パッチ画像は、患者の検査対象部位の撮影により取得された第１画像中の固定サイズを有するボリュームであり、テンプレート空間は、検査対象部位の標準的な形状情報を含む、学習部を備える。この態様によれば、検査対象部位の画像の、テンプレート空間中での位置の推論に用いることが可能な学習済モデルを得ることができる。

【0017】

本発明の他の態様に係る方法は、テンプレート空間中の位置情報が正解データとしてラベル付けされたパッチ画像を取得することであって、パッチ画像は、患者の検査対象部位の撮影により取得された第１画像中の固定サイズを有するボリュームであり、テンプレート空間は、検査対象部位の標準的な形状情報を含む、ことと、パッチ画像を用いて機械学習モデルを学習させることであって、機械学習モデルは、テンプレート空間中でのパッチ画像の位置を推定する機械学習モデルである、こととを含む。

【発明の効果】

【0018】

本発明によれば、検査対象部位の部分画像と全体画像との良好な位置合わせを行うことが可能な情報処理装置、情報処理方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態に係る情報処理装置の処理を説明する概略図である。

【図2】本発明の一実施形態に係る情報処理装置のブロック図である。

【図3】本発明の一実施形態に係るディープニューラルネットワーク（ＤＮＮ）の概要を示す図である。

【図4】本発明の一実施形態に係る情報処理装置の学習処理を示すフローチャートである。

【図5】本発明の一実施形態に係る情報処理装置の位置合わせ処理を示すフローチャートである。

【図6】従来技術を用いた部分画像と全体画像の位置合わせ処理と、本発明の一実施形態に係る部分画像と全体画像の位置合わせ処理とを概念的に示す図である。

【発明を実施するための形態】

【0020】

添付図面を参照して、本発明の実施形態について説明する。なお、以下の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施形態を採用することが可能であり、係る実施形態も本発明の範囲に含まれる。

【0021】

（概要）
図１を用いて、本発明の概要について説明する。図１は、本発明の一実施形態に係る情報処理装置の処理を説明する概略図である。

【0022】

情報処理装置は、患者の検査対象部位の撮影により取得された第１医用画像と第２医用画像の位置合わせを行う装置である。図１に示されるように、情報処理装置は、第１医用画像（3DRA volume）と第２医用画像（CT volume）をそれぞれテンプレート空間に配置することで、両画像の大域的な初期設定を行う。その後、情報処理装置は、初期設定がなされた医用画像に対して、従来の局所探索法を用いた位置合わせを行い、最終的な位置合わせ結果を得る。

【0023】

本実施形態では、医用画像の一例として、患者の脳の血管系の詳細な情報を立体的に提供可能な３ＤＲＡ画像と、患者の脳周囲の骨と軟組織に関する情報を提供可能なＣＴ画像とを用いる。ＣＴ画像が脳全体をカバーしているのに対して、３ＤＲＡ画像は、脳の一部をカバーするものである。医療現場では、放射線被爆を考慮して病変領域を含む部分のみ撮影することが一般的であるため、検査対象部位の一部を含む医用画像の位置合わせを可能とすることは重要である。

【0024】

テンプレート空間とは、検査対象部位の標準的な形状情報を含むものであり、本実施形態では、標準的な頭蓋骨形状情報を含む立方空間である。ここで、「標準的な」とは、検査対象部位の形状情報として、一般的なもの、平均的なもの、典型的なもの等に限られず、検査対象部位の形状情報の一例や、一例に基づくもの等であってよい。一実施形態では、ランダムに選択したテンプレートＣＴ画像のボリュームを、一辺が１２８ピクセルの立方空間に適合するようにスケーリングし、ＣＴ画像の中心を立方空間の中心に合わせる。そして、立方空間の空の空間をバックグラウンド領域としたものをテンプレート空間として用いる。

【0025】

情報処理装置は、まず、図１の上段に示されるように、３ＤＲＡ画像を、図１中に破線で示されるテンプレート空間に配置する。情報処理装置はまた、図１の下段左側に示されるように、ＣＴ画像をテンプレート空間に配置する。そして、情報処理装置は、テンプレート空間内に配置することで大域的な初期設定がなされた３ＤＲＡ画像とＣＴ画像とに対して、従来の局所探索法を用いた位置合わせを行い、最終的な位置合わせ結果を得る。

【0026】

（機能構成）
図２は、本発明の一実施形態に係る情報処理装置のブロック図である。なお、図２では、単一の情報処理装置１００を想定し、必要な機能構成だけを示しているが、情報処理装置１００を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできる。

【0027】

情報処理装置１００は、入力部１１０と、制御部１２０と、記憶部１３０と、通信部１４０とを備えている。

【0028】

入力部１１０は、情報処理装置１００の管理者からの操作を受け付けるように構成され、キーボードやマウス、タッチパネル等によって実現することができる。

【0029】

制御部１２０は、プロセッサに相当するＣＰＵやＭＰＵ等の演算処理部１２１及びＲＡＭ等のメモリ１２２を備えている。演算処理部１２１（プロセッサ）は、各種入力に基づき、記憶部１３０に記録されたプログラムをメモリ１２２に展開して実行することで、演算処理部１２１における後述する機能及び処理を実現する。このプログラムは、ＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体に記憶され、若しくはネットワークを介して配布され、コンピュータにインストールされるものであってもよい。メモリ１２２は、演算処理部１２１（プロセッサ）によるプログラム実行に必要なワークメモリとして機能する。

【0030】

記憶部１３０は、ハードディスク等の記憶装置によって構成され、制御部１２０における処理の実行に必要な各種プログラムや、各種プログラムの実行に必要なデータ等を記録しておくものである。本実施形態では、記憶部１３０は、テンプレート空間記憶部１３１、学習データ記憶部１３２、学習済モデル１３３及び画像記憶部１３４を有していることが望ましい。

【0031】

テンプレート空間記憶部１３１には、大域的な初期設定に用いる空間情報が保存される。本実施形態では、テンプレート空間記憶部１３１には、一辺が１２８ピクセルの立方空間に中心を位置合わせしたテンプレートＣＴ画像のボリューム情報を含む。なお、立方空間の空の空間は、バックグラウンド領域とする。

【0032】

学習データ記憶部１３２には、後述の機械学習モデルＭの学習に用いる学習データが保存される。本実施形態では、学習データ記憶部１３２には、テンプレート空間中の位置情報が正解データとしてラベル付けされた、３ＤＲＡ画像のパッチ画像を学習データとして記憶している。ここで、パッチ画像とは、任意のサイズの３Ｄ画像から取得した固定の小さなサイズを有するボリュームである。本実施形態では、パッチ画像のサイズとして１６×１６×１６ピクセルを用いるが、他の任意のサイズを用いてもよい。

【0033】

ここで、機械学習モデルとは、所定のモデル構造と、学習処理によって変動する処理パラメータとを有し、学習データから得られる経験に基づいてその処理パラメータが最適化されることで、識別精度が向上するモデルである。すなわち機械学習モデルは、学習処理によって最適な処理パラメータを学習するモデルである。機械学習モデルのアルゴリズムは、例えば、サポートベクターマシン、ロジスティック回帰、ニューラルネットワーク等を用いることができるが、その種類は特に限定されない。

【0034】

学習済モデル１３３には、部分画像のテンプレート空間への配置に用いる学習済モデルが保存される。本実施形態では、学習済モデル１３３には、パッチ画像を入力データとして受け取り、テンプレート空間中での予測位置を出力する学習済モデルが保存される。学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いて学習を行ったモデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加学習を行うこともできる。本実施形態では、学習済モデル１３３には、後述の機械学習モデルＭの学習により得られた学習済モデルが保存される。

【0035】

本実施形態では、学習済モデル１３３の一例として、一辺が１６ピクセルのパッチ画像を入力データとして受け取り、テンプレート空間中での予測位置を出力するディープニューラルネットワーク（ＤＮＮ）を用いた実施例について説明する。しかしながら、ＤＮＮは学習済モデル１３３の一例にすぎず、情報処理装置１００は、学習済モデル１３３として他の構成を用いてもよい。

【0036】

画像記憶部１３４には、位置合わせ対象の画像ペアが保存される。本実施形態では、画像記憶部１３４には、３ＤＲＡ画像とＣＴ画像とが対で保存されている。

【0037】

通信部１４０は、情報処理装置１００をネットワークに接続するように構成される。例えば、通信部１４０は、ＬＡＮカード、アナログモデム、ＩＳＤＮモデム等、及びこれらをシステムバス等の伝送路を介して処理部と接続するためのインタフェースから実現することができる。

【0038】

さらに、図２に示すように、演算処理部１２１は、機能部として、学習部１２３、画像取得部１２４、部分画像処理部１２５、全体画像処理部１２６、位置合わせ部１２７及び出力部１２８を備えている。

【0039】

学習部１２３は、学習データ記憶部１３２に記憶されている学習データを用いて、機械学習モデルＭを学習させる。本実施形態では、学習部１２３は、テンプレート空間中の位置情報が正解データとしてラベル付けされた、３ＤＲＡ画像のパッチ画像を機械学習モデルＭに入力して、機械学習モデルＭを学習させる。

【0040】

機械学習モデルＭは、パッチ画像を入力データとして受け取り、テンプレート空間中での予測位置を出力する機械学習モデルである。本実施形態では、機械学習モデルＭの一例として、パッチ画像を入力データとして受け取り、テンプレート空間中での予測位置を出力するＤＮＮを用いた実施例について説明する。しかしながら、ＤＮＮは機械学習モデルＭの一例にすぎず、情報処理装置１００は、機械学習モデルＭとして他の構成を用いてもよい。図３に、本発明の一実施形態に係るＤＮＮの概要を示す。図３の例では、ＤＮＮは、５層の３次元畳み込み層と２層の全結合層により構成されている。

【0041】

学習部１２３は、機械学習モデルＭが予測した位置と学習データにラベル付けされた正解データとのユークリッド距離を最小化するように、機械学習モデルＭを学習させる。

【0042】

機械学習モデルＭの学習が完了すると、情報処理装置１００は、機械学習モデルＭの学習により得られた学習済モデルを学習済モデル１３３に保存する。なお、学習部１２３は、例えば、所定数の学習データを用いて機械学習モデルＭを学習させた後、学習を完了してもよいし、機械学習モデルＭを用いて予測した位置の精度が所定の条件を満たした場合に学習を完了してもよい。

【0043】

画像取得部１２４は、位置合わせ対象の画像ペアを取得する。本実施形態では、画像取得部１２４は、３ＤＲＡ画像とＣＴ画像のペアを画像記憶部１３４から取得する。また、画像取得部１２４は、３ＤＲＡ画像及びＣＴ画像を、テンプレート空間として定義した一辺が１２８ピクセルの立方空間に適合するようにスケーリングする。一実施形態では、画像取得部１２４は、ＣＴ画像を一辺が１２８ピクセルの立方空間に適合するようにスケーリングし、ＣＴ画像のスケール比を用いて３ＤＲＡ画像をスケーリングする。

【0044】

部分画像処理部１２５は、部分画像をテンプレート空間に配置する。本実施形態では、部分画像処理部１２５はまず、３ＤＲＡ画像から１６×１６×１６ピクセルのパッチ画像をサンプリングし、サンプリングしたパッチ画像を学習済モデル１３３に入力して、テンプレート空間中での予測位置（t_x, t_y, t_z）を取得する。一実施形態では、部分画像処理部１２５は、１６×１６×１６ピクセルのパッチ画像のうち、空の領域が４０％以上のパッチ画像や中心がテンプレート空間外にあるパッチ画像は破棄するものとし、１００個の利用可能なパッチ画像が得られるまで、３ＤＲＡ画像からパッチ画像をサンプリングし、サンプリングしたパッチ画像のテンプレート空間中での予測位置を取得する。

【0045】

所定数のパッチ画像と予測位置のセットを取得すると、部分画像処理部１２５は、パッチ画像を対応する予測位置にできるだけ近く移動させる、３ＤＲＡ画像の剛体変換行列A_movを決定する。本実施形態では、部分画像処理部１２５は、最小二乗フィッティングによって、３ＤＲＡ画像から取得したパッチ画像のセットを予測位置のセットに変換するアフィン変換行列を計算し、アフィン変換行列の極分解によって剛体変換行列を得る。

【0046】

一実施形態では、部分画像処理部１２５は、所定数のパッチ画像と予測位置のセットから６つのセットをランダムに選択し、選択したセットを用いて剛体変換行列を計算するプロセスを２０００回繰り返し、繰り返しのプロセスで得た剛体変換行列について、予測位置と剛体変換行列により得た位置との差が閾値以下となるパッチ画像をカウントする。そして、部分画像処理部１２５は、繰り返しのプロセスで得た剛体変換行列の中から、予測位置と剛体変換行列により得た位置との差が閾値以下となるパッチ画像が最も多い剛体変換行列を３ＤＲＡ画像の剛体変換行列A_movとして決定してもよい。

【0047】

なお、部分画像処理部１２５は、３ＤＲＡ画像の剛体変換行列の決定に先立ち、外れ値をフィルタリングするために、例えばＲＡＮＳＡＣを適用してもよい。なお、外れ値のフィルタリング手法はＲＡＮＳＡＣに限られることなく、他の任意の手法を用いることができる。

【0048】

全体画像処理部１２６は、全体画像をテンプレート空間に配置する。本実施形態では、全体画像処理部１２６は、ＣＴ画像の中心を、一辺が１２８ピクセルの立方空間の中心に合わせる。次に全体画像処理部１２６は、従来の局所探索法を用いてＣＴ画像をテンプレート空間に位置合わせし、ＣＴ画像の剛体変換行列A_fixを取得する。なお、本実施形態では、全体画像処理部１２６は、ＭＳＥ又はＮＭＩを画像間類似度の尺度とする局所探索法を用いるが、画像間類似度の尺度として他の任意の尺度を利用する局所探索法を用いてもよい。

【0049】

位置合わせ部１２７は、テンプレート空間内に配置することで大域的な初期設定がなされた部分画像と全体画像とに対して、最終的な位置合わせを行う。本実施形態では、位置合わせ部１２７はまず、３ＤＲＡ画像をＣＴ画像に位置合わせする相対的な剛体変換行列A^*を以下の式により求める。

【数1】

【0050】

次に、位置合わせ部１２７は、従来の局所探索法を用いて、相対的な剛体変換行列A^*を用いて変換した部分画像と全体画像との位置合わせを行う。なお、本実施形態では、位置合わせ部１２７は、ＭＳＥ又はＮＭＩを画像間類似度の尺度とする局所探索法を用いるが、画像間類似度の尺度として他の任意の尺度を利用する局所探索法を用いてもよい。

【0051】

出力部１２８は、位置合わせ部１２７が位置合わせした結果を出力する。本実施形態では、出力部１２８は、ＣＴ画像に、位置合わせした３ＤＲＡ画像を重畳して出力する。

【0052】

（学習処理）
図４を参照して、本発明の実施形態に係る情報処理装置の学習処理を詳細に説明する。本実施形態では、図４で説明される学習処理を行う前に、情報処理装置１００の管理者の管理の下、テンプレート空間記憶部１３１及び学習データ記憶部１３２に各種データが格納されているものとする。なお、図４に示す処理は、例えば、管理者が入力部１１０を介して学習済モデルを生成する処理を実行するための指示を入力することで実行される。

【0053】

ステップＳ４０１において、情報処理装置１００の学習部１２３は、機械学習モデルＭの学習に用いる学習データを取得する。本実施形態では、学習部１２３は、学習データ記憶部１３２から、テンプレート空間中の位置情報が正解データとしてラベル付けされた、３ＤＲＡ画像のパッチ画像を取得する。

【0054】

本実施形態では、学習データ記憶部１３２には、９３個の３ＤＲＡ画像の各３ＤＲＡ画像から、１５０個のパッチ画像をランダムにサンプリングし、医療専門家によって正解データがラベル付けされた、１３９５０の学習データが保存されている。なお、３ＤＲＡ画像は、対となるＣＴ画像を一辺が１２８ピクセルの立方空間に適合するようにスケーリングする際のスケール比を用いてスケーリングされたものである。

【0055】

次に、ステップＳ４０２において、情報処理装置１００の学習部１２３は、取得した学習データを用いて、機械学習モデルＭを学習させる。機械学習モデルＭは、パッチ画像を入力データとして受け取り、テンプレート空間中での予測位置を出力するＤＮＮである。図３に、本発明の一実施形態に係るＤＮＮの概要を示す。図３の例では、ＤＮＮは、５層の３次元畳み込み層と２層の全結合層により構成されている。学習部１２３は、機械学習モデルＭが予測した位置と学習データにラベル付けされた正解データとのユークリッド距離を最小化するように、機械学習モデルＭを学習させる。

【0056】

本実施形態では、損失関数としてＬ１ノムル損失関数を用いる。外れ値に対する感度が高いＬ２ノムル損失関数ではなく、Ｌ１ノムル損失関数を用いることで、外れ値の影響を少なくすることができる。

【0057】

機械学習モデルＭのモデル構造をより複雑にすることで、より正確な位置を予測することができる。一方で、より複雑なモデル構造の学習にはより多くの時間と学習データが必要となる。本実施形態では、学習済モデルを用いて３ＤＲＡ画像をテンプレート空間に配置した後、精緻な局所探索法を用いてＣＴ画像との最終的な位置合わせを行うので、機械学習モデルＭの精度をより高める優先度は低い。

【0058】

機械学習モデルＭの学習が完了すると、ステップＳ４０３において、情報処理装置１００は、機械学習モデルＭの学習により得られた学習済モデルを学習済モデル１３３に保存する。なお、学習部１２３は、例えば、所定数の学習データを用いて機械学習モデルＭを学習させた後、学習を完了してもよいし、機械学習モデルＭを用いて予測した位置の精度が所定の条件を満たした場合に学習を完了してもよい。

【0059】

（位置合わせ処理）
図５を参照して、本発明の実施形態に係る情報処理装置の位置合わせ処理を詳細に説明する。本実施形態では、図５で説明される位置合わせ処理を行う前に、情報処理装置１００の管理者の管理の下、学習済モデル１３３に学習済モデルが格納されているものとする。また、情報処理装置１００の画像記憶部１３４には、位置合わせ対象の３ＤＲＡ画像とＣＴ画像とが対で格納されているものとする。なお、図５に示す処理は、例えば、管理者が入力部１１０を介して位置合わせ処理を実行するための指示を入力することで実行される。

【0060】

ステップＳ５０１において、情報処理装置１００の画像取得部１２４は、位置合わせ対象の画像ペアを取得する。本実施形態では、画像取得部１２４は、３ＤＲＡ画像とＣＴ画像のペアを画像記憶部１３４から取得する。

【0061】

ステップＳ５０２において、画像取得部１２４は、取得した画像ペアを、テンプレート空間に適合するようにスケーリングする。本実施形態では、画像取得部１２４は、テンプレート空間記憶部１３１に保存されたテンプレート空間の情報に基づいて、３ＤＲＡ画像及びＣＴ画像のスケーリングを行う。ここでは、画像取得部１２４は、ＣＴ画像を一辺が１２８ピクセルの立方空間に適合するようにスケーリングし、ＣＴ画像のスケール比を用いて３ＤＲＡ画像をスケーリングする。

【0062】

ステップＳ５０３において、情報処理装置１００の部分画像処理部１２５は、３ＤＲＡ画像からパッチ画像をサンプリングし、サンプリングしたパッチ画像についてテンプレート空間中で予測される位置を求める。本実施形態では、部分画像処理部１２５は、サンプリングした１６×１６×１６ピクセルのパッチ画像を学習済モデル１３３に入力して、出力として、テンプレート空間中での予測位置（t_x, t_y, t_z）を取得する。

【0063】

本実施形態では、部分画像処理部１２５は、空の領域が４０％以上のパッチ画像や中心がテンプレート空間外にあるパッチ画像は破棄するものとし、１００個の利用可能なパッチ画像が得られるまで、３ＤＲＡ画像からパッチ画像をサンプリングし、サンプリングしたパッチ画像のテンプレート空間中での予測位置を取得する。

【0064】

所定数のパッチ画像と予測位置のセットを取得すると、ステップＳ５０４において、部分画像処理部１２５は、外れ値をフィルタリングする。本実施形態では、部分画像処理部１２５は、ＲＡＮＳＡＣを適用する。

【0065】

次に、ステップＳ５０５において、部分画像処理部１２５は、パッチ画像を対応する予測位置にできるだけ近く移動させる、３ＤＲＡ画像の剛体変換行列A_movを決定する。本実施形態では、部分画像処理部１２５は、最小二乗フィッティングによって、３ＤＲＡ画像から取得したパッチ画像のセットを予測位置のセットに変換するアフィン変換行列を計算し、アフィン変換行列の極分解によって剛体変換行列を得る。

【0066】

ここでは、部分画像処理部１２５は、所定数のパッチ画像と予測位置のセットから６つのセットをランダムに選択し、選択したセットを用いて剛体変換行列を計算するプロセスを２０００回繰り返し、繰り返しのプロセスで得た剛体変換行列について、予測位置と剛体変換行列により得た位置との差が閾値以下となるパッチ画像をカウントする。そして、部分画像処理部１２５は、繰り返しのプロセスで得た剛体変換行列の中から、予測位置と剛体変換行列により得た位置との差が閾値として設定した１０ｍｍ以下となるパッチ画像が最も多い剛体変換行列を３ＤＲＡ画像の剛体変換行列A_movとして決定する。ステップＳ５０３～ステップＳ５０５の処理により、部分画像がテンプレート空間に配置される。

【0067】

続いて、ステップＳ５０６において、情報処理装置１００の全体画像処理部１２６は、全体画像をテンプレート空間に配置する。本実施形態では、全体画像処理部１２６は、ＣＴ画像の中心を、一辺が１２８ピクセルの立方空間の中心に合わせる。次に全体画像処理部１２６は、従来の局所探索法を用いてＣＴ画像をテンプレート空間に位置合わせし、ＣＴ画像の剛体変換行列A_fixを取得する。なお、本実施形態では、全体画像処理部１２６は、ＭＳＥ又はＮＭＩを画像間類似度の尺度とする局所探索法を用いるが、画像間類似度の尺度として他の任意の尺度を利用する局所探索法を用いてもよい。

【0068】

ステップＳ５０７において、情報処理装置１００の位置合わせ部１２７は、３ＤＲＡ画像をＣＴ画像に位置合わせする相対的な剛体変換行列A^*を求める。本実施形態では、位置合わせ部１２７は、以下の式を用いて剛体変換行列A^*を求める。

【数2】

【0069】

次に、ステップＳ５０８において、位置合わせ部１２７は、従来の局所探索法を用いて、相対的な剛体変換行列A^*を用いて変換した部分画像と全体画像との位置合わせを行う。なお、本実施形態では、位置合わせ部１２７は、ＭＳＥ又はＮＭＩを画像間類似度の尺度とし、非特許文献２に記載の技術に基づく局所探索法を用いるが、画像間類似度の尺度として他の任意の尺度を利用する局所探索法を用いてもよい。

【0070】

ステップＳ５０９において、情報処理装置１００の出力部１２８は、位置合わせ部１２７が位置合わせした結果を出力する。本実施形態では、出力部１２８は、ＣＴ画像に、位置合わせした３ＤＲＡ画像を重畳して出力する。

【0071】

以上、本実施形態によれば、情報処理装置１００は、３ＤＲＡ画像とＣＴ画像とをそれぞれテンプレート空間に配置することで、脳の一部を撮影した３ＤＲＡ画像と脳全体を撮影したＣＴ画像との良好な初期設定を行うことができる。良好な初期設定を行った後に従来の局所探索法を用いることで、脳の一部を撮影した３ＤＲＡ画像と脳全体を撮影したＣＴ画像とであっても、正確な位置合わせを行うことができる。

【0072】

また、本実施形態では、３ＤＲＡ画像をテンプレート空間に配置した後、精緻な局所探索法を用いてＣＴ画像との最終的な位置合わせを行うので、３ＤＲＡ画像の配置に用いる学習済モデルの精度を必要以上に高めることなく、正確な位置合わせを行うことができる。

【0073】

さらに本実施形態では、３ＤＲＡ画像からサンプリングしたパッチ画像を入力し、テンプレート空間中での予測位置を出力する学習済モデルを用いて、３ＤＲＡ画像をテンプレート空間に配置した。このような構成とすることで、任意のサイズの３ＤＲＡ画像について対処することができる。さらに、学習済モデルへの入力データをパッチ画像としたことで、機械学習モデルの学習データとして、１の３ＤＲＡ画像から多くの学習データを取得することができる。

【0074】

なお、本実施形態では、検査対象部位の一例として脳を撮影した画像間の位置合わせについて説明してきたが、別の実施形態では、患者の他の検査対象部位の撮影により取得された、心臓の画像等の医用画像の位置合わせを行うことができる。

【符号の説明】

【0075】

１００…情報処理装置、１１０…入力部、１２０…制御部、１２１…演算処理部、１２２…メモリ、１２３…学習部、１２４…画像取得部、１２５…部分画像処理部（第１処理部）、１２６…全体画像処理部（第２処理部）、１２７…位置合わせ部、１２８…出力部、１３０…記憶部、１３１…テンプレート空間記憶部、１３２…学習データ記憶部、１３３…学習済モデル、１３４…画像記憶部、１４０…通信部、Ｍ…機械学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】