特許 7568426 医用情報処理装置、Ｘ線診断装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】医用情報処理装置、Ｘ線診断装置及びプログラム

(51)【国際特許分類】

   A61B 6/46 20240101AFI20241008BHJP

   A61B 6/00 20240101ALI20241008BHJP

   A61B 6/03 20060101ALI20241008BHJP

【ＦＩ】

A61B6/46 506B

A61B6/00 560

A61B6/03 560T

【請求項の数】 9

(21)【出願番号】P 2020090854

(22)【出願日】2020-05-25

(65)【公開番号】P2021185969

(43)【公開日】2021-12-13

【審査請求日】2023-03-25

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】弁理士法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】佐々木 翔

(72)【発明者】

【氏名】長江 亮一

(72)【発明者】

【氏名】阿部 真吾

(72)【発明者】

【氏名】竹元 久人

(72)【発明者】

【氏名】藤戸 智生

【審査官】亀澤 智博

(56)【参考文献】

【文献】特開２０１９－０７６１９２（ＪＰ，Ａ）

【文献】国際公開第２０１４／１９６０６９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１２／０１３４５６２（ＵＳ，Ａ１）

【文献】特開２０１１－１４２９７４（ＪＰ，Ａ）

【文献】特開２０２０－０５８７７９（ＪＰ，Ａ）

【文献】特開２０２０－００５７８５（ＪＰ，Ａ）

【文献】特開２０１７－２０２５８３（ＪＰ，Ａ）

【文献】特開２０１７－２０２３０７（ＪＰ，Ａ）

【文献】特表２０１２－５１５９６４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１１／００５２０３３（ＵＳ，Ａ１）

【文献】特開２０１０－０３５９４０（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／００３７７０２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００ － ６／５８

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

３次元データに基づく画像と２次元Ｘ線画像とを合成した合成画像を表示させる表示制御部と、
前記合成画像を参照したユーザから、前記２次元Ｘ線画像に対する前記３次元データの配置を調整する調整操作を受け付ける受付部と、
前記３次元データと、前記２次元Ｘ線画像と、前記調整操作の結果とを記憶部に保存させる制御部と、
前記３次元データと前記２次元Ｘ線画像と前記調整操作の結果とを学習データとした機械学習を実行することにより、入力３次元データ及び入力２次元Ｘ線画像に基づいて当該入力２次元Ｘ線画像に対する当該入力３次元データの配置を調整するよう機能付けられた学習済みモデルを生成するモデル生成部と
を備える、医用情報処理装置。

【請求項2】

前記制御部は、特定の操作が所定の時間に亘って行われなかった場合に前記調整操作の結果を特定し、前記記憶部に保存させる、請求項１に記載の医用情報処理装置。

【請求項3】

前記制御部は、前記ユーザによって調整された前記３次元データの配置に応じた変換行列を、前記調整操作の結果として前記記憶部に保存させる、請求項１又は２に記載の医用情報処理装置。

【請求項4】

前記制御部は、前記ユーザによって調整された前記３次元データの配置に応じて生成された合成画像を、前記調整操作の結果として前記記憶部に保存させる、請求項１又は２に記載の医用情報処理装置。

【請求項5】

入力３次元データ及び入力２次元Ｘ線画像に基づいて当該入力２次元Ｘ線画像に対する当該入力３次元データの配置を調整するよう機能付けられた学習済みモデルを保存するモデル記憶部と、
前記学習済みモデルに対して３次元データ及び２次元Ｘ線画像を入力し、当該２次元Ｘ線画像に対する当該３次元データの配置の調整結果の出力を受けて、当該３次元データに基づく画像と当該２次元Ｘ線画像とを合成した合成画像を表示させる表示制御部と、
を備える、医用情報処理装置。

【請求項6】

２次元Ｘ線画像を収集する収集部と、
３次元データに基づく画像と前記２次元Ｘ線画像とを合成した合成画像を表示させる表示制御部と、
前記合成画像を参照したユーザから、前記２次元Ｘ線画像に対する前記３次元データの配置を調整する調整操作を受け付ける受付部と、
前記３次元データと、前記２次元Ｘ線画像と、前記調整操作の結果とを記憶部に保存させる制御部と、
前記３次元データと前記２次元Ｘ線画像と前記調整操作の結果とを学習データとした機械学習を実行することにより、入力３次元データ及び入力２次元Ｘ線画像に基づいて当該入力２次元Ｘ線画像に対する当該入力３次元データの配置を調整するよう機能付けられた学習済みモデルを生成するモデル生成部と
を備える、Ｘ線診断装置。

【請求項7】

入力３次元データ及び入力２次元Ｘ線画像に基づいて当該入力２次元Ｘ線画像に対する当該入力３次元データの配置を調整するよう機能付けられた学習済みモデルを保存するモデル記憶部と、
２次元Ｘ線画像を収集する収集部と、
前記学習済みモデルに対して３次元データ及び前記２次元Ｘ線画像を入力し、当該２次元Ｘ線画像に対する当該３次元データの配置の調整結果の出力を受けて、当該３次元データに基づく画像と当該２次元Ｘ線画像とを合成した合成画像を表示させる表示制御部と、
を備える、Ｘ線診断装置。

【請求項8】

３次元データに基づく画像と２次元Ｘ線画像とを合成した合成画像を表示させ、
前記合成画像を参照したユーザから、前記２次元Ｘ線画像に対する前記３次元データの配置を調整する調整操作を受け付け、
前記３次元データと、前記２次元Ｘ線画像と、前記調整操作の結果とを記憶部に保存させ、
前記３次元データと前記２次元Ｘ線画像と前記調整操作の結果とを学習データとした機械学習を実行することにより、入力３次元データ及び入力２次元Ｘ線画像に基づいて当該入力２次元Ｘ線画像に対する当該入力３次元データの配置を調整するよう機能付けられた学習済みモデルを生成する
各処理をコンピュータに実行させる、プログラム。

【請求項9】

入力３次元データ及び入力２次元Ｘ線画像に基づいて当該入力２次元Ｘ線画像に対する当該入力３次元データの配置を調整するよう機能付けられた学習済みモデルをモデル記憶部から読み出し、
前記学習済みモデルに対して３次元データ及び２次元Ｘ線画像を入力し、当該２次元Ｘ線画像に対する当該３次元データの配置の調整結果の出力を受けて、当該３次元データに基づく画像と当該２次元Ｘ線画像とを合成した合成画像を表示させる
各処理をコンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書等に開示の実施形態は、医用情報処理装置、Ｘ線診断装置及びプログラムに関する。

【背景技術】

【0002】

被検体の血管や臓器等について３次元データを収集し、２次元で収集されたＸ線画像に対して３次元データに基づく画像を合成表示する技術が知られている。また、このような合成表示を行なう際には、２次元Ｘ線画像に対する３次元データの位置や向き、大きさ等の調整が行われる。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許出願公開第２０１２／０１３０２４３号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

本明細書等に開示の実施形態が解決しようとする課題の一つは、２次元Ｘ線画像と３次元データとの合成表示の精度を向上させることである。ただし、本明細書等に開示の実施形態により解決される課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を、本明細書等に開示の実施形態が解決する他の課題として位置付けることもできる。

【課題を解決するための手段】

【0005】

実施形態の医用情報処理装置は、表示制御部と、受付部と、制御部とを備える。表示制御部は、３次元データに基づく画像と２次元Ｘ線画像とを合成した合成画像を表示させる。受付部は、前記合成画像を参照したユーザから、前記２次元Ｘ線画像に対する前記３次元データの配置を調整する調整操作を受け付ける。制御部は、前記３次元データと、前記２次元Ｘ線画像と、前記調整操作の結果とを記憶部に保存させる。

【図面の簡単な説明】

【0006】

【図1】図１は、第１の実施形態に係る医用情報処理システムの構成の一例を示すブロック図である。

【図2】図２は、第１の実施形態に係るＸ線診断装置の構成の一例を示すブロック図である。

【図3】図３は、第１の実施形態に係る調整操作の受け付けについて説明するための図である。

【図4】図４は、第１の実施形態に係る医用情報処理装置の処理の一連の流れを説明するためのフローチャートである。

【図5】図５は、第１の実施形態に係る学習済みモデルの生成処理の一例を示す図である。

【図6】図６は、第１の実施形態に係る医用情報処理装置の処理の一連の流れを説明するためのフローチャートである。

【図7】図７は、第２の実施形態に係るＸ線診断装置の構成の一例を示すブロック図である。

【発明を実施するための形態】

【0007】

以下、添付図面を参照して、医用情報処理装置、Ｘ線診断装置及びプログラムの実施形態について詳細に説明する。

【0008】

（第１の実施形態）
第１の実施形態では、図１に示す医用情報処理システム１を例として説明する。例えば、医用情報処理システム１は、Ｘ線診断装置１０と、医用情報処理装置３０とを備える。また、Ｘ線診断装置１０と医用情報処理装置３０とは、ネットワークＮＷを介して相互に接続される。なお、図１は、第１の実施形態に係る医用情報処理システム１の構成の一例を示すブロック図である。

【0009】

Ｘ線診断装置１０は、被検体Ｐ１からＸ線画像を収集する装置である。例えば、Ｘ線診断装置１０は、被検体Ｐ１に対する血管内治療の手技が行なわれている間、被検体Ｐ１から経時的に２次元Ｘ線画像を収集し、収集した２次元Ｘ線画像を医用情報処理装置３０に順次送信する。なお、Ｘ線診断装置１０の構成については後述する。

【0010】

医用情報処理装置３０は、Ｘ線診断装置１０によって収集された２次元Ｘ線画像に基づいて、後述する各種の処理を行なう。例えば、医用情報処理装置３０は、図１に示すように、入力インタフェース３１と、ディスプレイ３２と、メモリ３３と、処理回路３４とを有する。

【0011】

入力インタフェース３１は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路３４に出力する。例えば、入力インタフェース３１は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行なうタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インタフェース３１は、処理回路３４と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インタフェース３１は、モーションキャプチャによりユーザからの入力操作を受け付ける回路であっても構わない。一例を挙げると、入力インタフェース３１は、トラッカーを介して取得した信号やユーザについて収集された画像を処理することにより、ユーザの体動や視線等を入力操作として受け付けることができる。また、入力インタフェース３１は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、医用情報処理装置３０本体とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を医用情報処理装置３０本体へ出力する電気信号の処理回路も入力インタフェース３１の例に含まれる。

【0012】

ディスプレイ３２は、各種の情報を表示する。例えば、ディスプレイ３２は、処理回路３４による制御の下、各種の医用画像を表示する。一例を挙げると、ディスプレイ３２は、３次元データに基づく画像と、２次元Ｘ線画像とを合成した合成画像を表示する。なお、ディスプレイ３２における合成画像の表示については後述する。また、例えば、ディスプレイ３２は、入力インタフェース３１を介してユーザから各種の指示や設定等を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する。例えば、ディスプレイ３２は、液晶ディスプレイやＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイである。ディスプレイ３２は、デスクトップ型でもよいし、医用情報処理装置３０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。

【0013】

なお、図１においては医用情報処理装置３０がディスプレイ３２を備えるものとして説明するが、医用情報処理装置３０は、ディスプレイ３２に代えて又は加えて、プロジェクタを備えてもよい。プロジェクタは、処理回路３４による制御の下、スクリーンや壁、床、被検体Ｐ１の体表面等に対して投影を行なうことができる。一例を挙げると、プロジェクタは、プロジェクションマッピングによって、任意の平面や物体、空間等への投影を行なうこともできる。例えば、処理回路３４は、後述する合成画像をプロジェクタに表示させることとしても構わない。

【0014】

メモリ３３は、処理回路３４による制御の下、各種データの保存を行なう。なお、メモリ３３におけるデータの保存については後述する。また、メモリ３３は、医用情報処理装置３０に含まれる回路がその機能を実現するためのプログラムを記憶することもできる。例えば、メモリ３３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。或いは、メモリ３３は、医用情報処理装置３０とネットワークを介して接続されたサーバ群（クラウド）により実現されることとしてもよい。

【0015】

処理回路３４は、制御機能３４ａ、表示制御機能３４ｂ、受付機能３４ｃ及びモデル生成機能３４ｄを実行することで、医用情報処理装置３０全体の動作を制御する。ここで、制御機能３４ａは、制御部の一例である。また、表示制御機能３４ｂは、表示制御部の一例である。また、受付機能３４ｃは、受付部の一例である。また、モデル生成機能３４ｄは、モデル生成部の一例である。

【0016】

例えば、処理回路３４は、制御機能３４ａに対応するプログラムをメモリ３３から読み出して実行することにより、ネットワークＮＷを介したデータの送受信、及び、メモリ３３におけるデータ管理を制御する。また、処理回路３４は、表示制御機能３４ｂに対応するプログラムをメモリ３３から読み出して実行することにより、ディスプレイ３２における表示を制御する。また、処理回路３４は、受付機能３４ｃに対応するプログラムをメモリ３３から読み出して実行することにより、入力インタフェース３１を介してユーザから入力操作を受け付ける。また、処理回路３４は、モデル生成機能３４ｄに対応するプログラムをメモリ３３から読み出して実行することにより、機械学習を実行して、学習済みモデルの生成処理を行なう。なお、制御機能３４ａ、表示制御機能３４ｂ、受付機能３４ｃ及びモデル生成機能３４ｄによる処理の詳細については後述する。

【0017】

図１に示す医用情報処理装置３０においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ３３へ記憶されている。処理回路３４は、メモリ３３からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、プログラムを読み出した状態の処理回路３４は、読み出したプログラムに対応する機能を有することとなる。

【0018】

なお、図１においては単一の処理回路３４にて、制御機能３４ａ、表示制御機能３４ｂ、受付機能３４ｃ及びモデル生成機能３４ｄが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路３４を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路３４が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。

【0019】

また、処理回路３４は、ネットワークＮＷを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路３４は、メモリ３３から各機能に対応するプログラムを読み出して実行するとともに、医用情報処理装置３０とネットワークＮＷを介して接続されたサーバ群（クラウド）を計算資源として利用することにより、図１に示す各機能を実現する。

【0020】

次に、Ｘ線診断装置１０について、図２を用いて説明する。図２は、第１の実施形態に係るＸ線診断装置１０の構成の一例を示すブロック図である。図２に示すように、Ｘ線診断装置１０は、Ｘ線高電圧装置１０１と、Ｘ線管１０２と、Ｘ線絞り器１０３と、天板１０４と、Ｃアーム１０５と、Ｘ線検出器１０６と、入力インタフェース１０７と、ディスプレイ１０８と、メモリ１０９と、処理回路１１０とを備える。

【0021】

Ｘ線高電圧装置１０１は、処理回路１１０による制御の下、Ｘ線管１０２に高電圧を供給する。例えば、Ｘ線高電圧装置１０１は、変圧器（トランス）及び整流器等の電気回路を有し、Ｘ線管１０２に印加する高電圧を発生する高電圧発生装置と、Ｘ線管１０２が照射するＸ線に応じた出力電圧の制御を行うＸ線制御装置とを有する。なお、高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であってもよい。

【0022】

Ｘ線管１０２は、熱電子を発生する陰極（フィラメント）と、熱電子の衝突を受けてＸ線を発生する陽極（ターゲット）とを有する真空管である。Ｘ線管１０２は、Ｘ線高電圧装置１０１から供給される高電圧を用いて、陰極から陽極に向けて熱電子を照射することにより、Ｘ線を発生する。

【0023】

Ｘ線絞り器１０３は、Ｘ線管１０２により発生されたＸ線の照射範囲を絞り込むコリメータと、Ｘ線管１０２から曝射されたＸ線を調節するフィルタとを有する。

【0024】

Ｘ線絞り器１０３におけるコリメータは、例えば、スライド可能な４枚の絞り羽根を有する。コリメータは、絞り羽根をスライドさせることで、Ｘ線管１０２が発生したＸ線を絞り込んで被検体Ｐ１に照射させる。ここで、絞り羽根は、鉛などで構成された板状部材であり、Ｘ線の照射範囲を調整するためにＸ線管１０２のＸ線照射口付近に設けられる。

【0025】

Ｘ線絞り器１０３におけるフィルタは、被検体Ｐ１に対する被曝線量の低減とＸ線画像の画質向上を目的として、その材質や厚みによって透過するＸ線の線質を変化させ、被検体Ｐ１に吸収されやすい軟線成分を低減したり、Ｘ線画像のコントラスト低下を招く高エネルギー成分を低減したりする。また、フィルタは、その材質や厚み、位置などによってＸ線の線量及び照射範囲を変化させ、Ｘ線管１０２から被検体Ｐ１へ照射されるＸ線が予め定められた分布になるようにＸ線を減衰させる。

【0026】

例えば、Ｘ線絞り器１０３は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることによりＸ線の照射を制御する。例えば、Ｘ線絞り器１０３は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、コリメータの絞り羽根の開度を調整して、被検体Ｐ１に対して照射されるＸ線の照射範囲を制御する。また、例えば、Ｘ線絞り器１０３は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、フィルタの位置を調整することで、被検体Ｐ１に対して照射されるＸ線の線量の分布を制御する。

【0027】

天板１０４は、被検体Ｐ１を載せるベッドであり、図示しない寝台の上に配置される。なお、被検体Ｐ１は、Ｘ線診断装置１０に含まれない。例えば、寝台は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることにより、天板１０４の移動・傾斜を制御する。例えば、寝台は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、天板１０４を移動させたり、傾斜させたりする。

【0028】

Ｃアーム１０５は、Ｘ線管１０２及びＸ線絞り器１０３と、Ｘ線検出器１０６とを、被検体Ｐ１を挟んで対向するように保持する。例えば、Ｃアーム１０５は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることにより、回転したり移動したりする。例えば、Ｃアーム１０５は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、Ｘ線管１０２及びＸ線絞り器１０３と、Ｘ線検出器１０６とを被検体Ｐ１に対して回転・移動させ、Ｘ線の照射位置や照射角度を制御する。なお、図２では、Ｘ線診断装置１０がシングルプレーンの場合を例に挙げて説明しているが、実施形態はこれに限定されるものではなく、バイプレーンの場合であってもよい。

【0029】

Ｘ線検出器１０６は、例えば、マトリクス状に配列された検出素子を有するＸ線平面検出器（Ｆｌａｔ Ｐａｎｅｌ Ｄｅｔｅｃｔｏｒ：ＦＰＤ）である。Ｘ線検出器１０６は、Ｘ線管１０２から照射されて被検体Ｐ１を透過したＸ線を検出して、検出したＸ線量に対応した検出信号を処理回路１１０へと出力する。なお、Ｘ線検出器１０６は、グリッド、シンチレータアレイ及び光センサアレイを有する間接変換型の検出器であってもよいし、入射したＸ線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。

【0030】

入力インタフェース１０７は、上述した入力インタフェース３１と同様にして構成することができる。例えば、入力インタフェース１０７は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１１０に出力する。

【0031】

ディスプレイ１０８は、上述したディスプレイ３２と同様にして構成することができる。例えば、ディスプレイ１０８は、処理回路１１０による制御の下、医用画像やＧＵＩの表示を行なう。また、Ｘ線診断装置１０は、ディスプレイ１０８に代えて又は加えて、プロジェクタを備えることとしてもよい。

【0032】

メモリ１０９は、上述したメモリ３３と同様にして構成することができる。例えば、メモリ１０９は、処理回路１１０による制御の下で各種データの保存を行なったり、Ｘ線診断装置１０に含まれる回路がその機能を実現するためのプログラムを記憶したりする。

【0033】

処理回路１１０は、制御機能１１０ａ、表示制御機能１１０ｂ及び収集機能１１０ｃを実行することで、Ｘ線診断装置１０全体の動作を制御する。なお、制御機能１１０ａは、制御部の一例である。また、表示制御機能１１０ｂは、表示制御部の一例である。また、収集機能１１０ｃは、収集部の一例である。

【0034】

例えば、処理回路１１０は、制御機能１１０ａに対応するプログラムをメモリ１０９から読み出して実行することにより、ネットワークＮＷを介したデータの送受信、及び、メモリ１０９におけるデータ管理を制御する。また、例えば、処理回路１１０は、表示制御機能１１０ｂに対応するプログラムをメモリ１０９から読み出して実行することにより、ディスプレイ１０８における表示を制御する。また、例えば、処理回路１１０は、収集機能１１０ｃに対応するプログラムをメモリ１０９から読み出して実行することにより、被検体Ｐ１からの画像収集を実行する。なお、制御機能１１０ａ、表示制御機能１１０ｂ及び収集機能１１０ｃによる処理の詳細については後述する。

【0035】

図２に示すＸ線診断装置１０においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ１０９へ記憶されている。処理回路１１０は、メモリ１０９からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、プログラムを読み出した状態の処理回路１１０は、読み出したプログラムに対応する機能を有することとなる。

【0036】

なお、図２においては単一の処理回路１１０にて、制御機能１１０ａ、表示制御機能１１０ｂ及び収集機能１１０ｃが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路１１０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路１１０が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。

【0037】

また、処理回路１１０は、ネットワークＮＷを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路１１０は、メモリ１０９から各機能に対応するプログラムを読み出して実行するとともに、Ｘ線診断装置１０とネットワークＮＷを介して接続されたサーバ群を計算資源として利用することにより、図２に示す各機能を実現する。

【0038】

以上、医用情報処理システム１の構成例について説明した。かかる構成の下、医用情報処理システム１における医用情報処理装置３０は、処理回路３４による処理によって、２次元Ｘ線画像と３次元データとの合成表示の精度を向上させる。

【0039】

まず、３次元データについて説明する。３次元データとは、例えば、被検体Ｐ１の血管や臓器等を示す３次元モデルである。例えば、３次元データは、被検体Ｐ１から収集された３次元医用画像に基づいて生成される。ここで、３次元医用画像は、例えば、図示しないＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置やＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置等によって収集される。

【0040】

一例を挙げると、３次元データは、医用情報処理装置３０において生成される。例えば、制御機能３４ａは、まず、ネットワークＮＷを介して３次元医用画像を取得し、メモリ３３に保存させる。例えば、Ｘ線ＣＴ装置やＭＲＩ装置等によって収集された被検体Ｐ１の３次元医用画像は、患者情報等の付帯情報とともに、図示しない画像保管装置において保管される。このような画像保管装置の例としては、例えば、ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）のサーバが挙げられる。この場合、制御機能３４ａは、ネットワークＮＷを介して画像保管装置から３次元医用画像を取得し、メモリ３３に保存させることができる。なお、制御機能３４ａは、他の装置を介することなく、Ｘ線ＣＴ装置やＭＲＩ装置等から直接的に３次元医用画像を取得しても構わない。

【0041】

次に、制御機能３４ａは、取得した３次元医用画像に基づいて、３次元データの生成処理を行なう。例えば、制御機能３４ａは、３次元医用画像におけるボクセル値について閾値処理を行ない、血管に相当するボクセルを抽出することで、血管を示す３次元モデルを生成する。また、制御機能３４ａは、生成した３次元データをメモリ３３に保存させる。

【0042】

なお、３次元データは、Ｘ線診断装置１０によって収集された３次元Ｘ線画像に基づいて生成されても構わない。例えば、収集機能１１０ｃは、Ｃアーム１０５の動作を制御して被検体Ｐ１の周囲でＸ線管１０２を回転させつつ、所定のフレームレートでＸ線パルスを照射させることで、Ｘ線照射方向を変化させた複数の投影データを収集する。即ち、収集機能１１０ｃは、被検体Ｐ１に対する回転撮影を実行する。そして、収集機能１１０ｃは、複数の投影データに基づいて３次元Ｘ線画像を再構成する。この場合、制御機能３４ａは、ネットワークＮＷを介して３次元Ｘ線画像を取得し、３次元データの生成処理を行なうことができる。なお、３次元Ｘ線画像以外の３次元医用画像に基づいて３次元データを生成し、２次元Ｘ線画像に合成して表示する技術については、ＭＭＲ（Ｍｕｌｔｉ Ｍｏｄａｌｉｔｙ Ｒｏａｄｍａｐ）とも呼ばれる。

【0043】

また、３次元データは、医用情報処理装置３０以外の他の装置において生成されてもよい。例えば、Ｘ線ＣＴ装置やＭＲＩ装置、Ｘ線診断装置１０等の医用画像診断装置が、３次元医用画像の収集を行なうとともに、３次元医用画像に基づく３次元データの生成処理を実行しても構わない。この場合、制御機能３４ａは、ネットワークＮＷを介して３次元データを取得し、メモリ３３に保存させることができる。

【0044】

制御機能３４ａが３次元データを取得してメモリ３３に保存させた後、Ｘ線診断装置１０は、被検体Ｐ１からの２次元Ｘ線画像の収集を実行する。例えば、収集機能１１０ｃは、被検体Ｐ１の腹部血管内へのステントグラフト留置術が実行される間において、２次元Ｘ線画像を経時的に収集する。

【0045】

具体的には、収集機能１１０ｃは、Ｘ線高電圧装置１０１を制御し、Ｘ線管１０２に供給する電圧を調整することで、被検体Ｐ１に対して照射されるＸ線量やオン／オフを制御する。また、収集機能１１０ｃは、Ｘ線絞り器１０３の動作を制御し、コリメータが有する絞り羽根の開度を調整することで、被検体Ｐ１に対して照射されるＸ線の照射範囲を制御する。また、収集機能１１０ｃは、Ｘ線絞り器１０３の動作を制御し、フィルタの位置を調整することで、Ｘ線の線量の分布を制御する。また、収集機能１１０ｃは、Ｃアーム１０５の動作を制御することで、Ｃアーム１０５を回転させたり、移動させたりする。また、例えば、収集機能１１０ｃは、寝台の動作を制御することで、天板１０４を移動させたり、傾斜させたりする。また、収集機能１１０ｃは、Ｘ線検出器１０６から受信した検出信号に基づいて２次元Ｘ線画像を生成する。なお、収集機能１１０ｃは、生成した２次元Ｘ線画像に対して各種画像処理を行なってもよい。例えば、収集機能１１０ｃは、２次元Ｘ線画像に対して、画像処理フィルタによるノイズ低減処理や、散乱線補正を実行することができる。

【0046】

次に、制御機能３４ａは、Ｘ線診断装置１０によって収集された２次元Ｘ線画像を、ネットワークＮＷを介して取得する。例えば、まず、制御機能１１０ａは、収集機能１１０ｃによって収集された２次元Ｘ線画像を、ネットワークＮＷを介して画像保管装置に送信する。この場合、制御機能３４ａは、ネットワークＮＷを介して画像保管装置から２次元Ｘ線画像を取得し、メモリ３３に保存させることができる。或いは、制御機能３４ａは、他の装置を介することなく、Ｘ線診断装置１０から直接的に２次元Ｘ線画像を取得しても構わない。

【0047】

次に、表示制御機能３４ｂは、３次元データに基づく画像と２次元Ｘ線画像とを合成した合成画像を表示させる。言い換えると、表示制御機能３４ｂは、３次元データに基づく画像と２次元Ｘ線画像との重畳画像を表示させる。例えば、表示制御機能３４ｂは、まず、２次元Ｘ線画像に対する３次元データの配置を自動調整する。具体的には、表示制御機能３４ｂは、３次元データの配置として、２次元Ｘ線画像に対する３次元データの位置、向き、及び大きさの少なくとも１つを調整する。

【0048】

なお、２次元Ｘ線画像に対する３次元データの位置とは、２次元Ｘ線画像の縦方向、横方向及び奥行き方向の位置である。例えば、表示制御機能３４ｂは、２次元Ｘ線画像における注目部位の３次元空間上での位置を推定し、推定した位置に合わせて３次元データの配置を３次元的に調整する。また、以下では、２次元Ｘ線画像に対する３次元データの配置を調整する処理を、単に位置合わせとも記載する。

【0049】

ここで、表示制御機能３４ｂは、任意の手法により、３次元データと２次元Ｘ線画像とを自動で位置合わせすることができる。例えば、表示制御機能３４ｂは、３次元データ及び２次元Ｘ線画像のそれぞれから解剖学的特徴点を抽出し、特徴点の対応関係に基づいて変換行列を算出する。具体的には、表示制御機能３４ｂは、３次元データを、２次元Ｘ線画像と同じ位置、向き、及び大きさの２次元画像に変換するための変換行列を算出する。そして、表示制御機能３４ｂは、変換行列によって３次元データ上の各点を座標変換した２次元画像を生成し、２次元Ｘ線画像と合成して、ディスプレイ３２に表示させる。

【0050】

また、３次元Ｘ線画像に基づいて３次元データが生成されている場合、表示制御機能３４ｂは、天板１０４等の制御情報に基づいて変換行列を算出することもできる。即ち、３次元データの生成に用いた３次元Ｘ線画像と２次元Ｘ線画像とが同じ装置によって収集されている場合、表示制御機能３４ｂは、天板１０４等の制御情報に基づいて３次元データと２次元Ｘ線画像との位置関係を取得し、変換行列を算出することができる。そして、表示制御機能３４ｂは、変換行列によって３次元データ上の各点を座標変換した２次元画像を生成し、２次元Ｘ線画像と合成して、ディスプレイ３２に表示させる。

【0051】

なお、表示制御機能３４ｂは、変換行列によって、３次元データの表面領域のみを座標変換することとしてもよいし、内部領域を含めて座標変換することとしてもよい。即ち、表示制御機能３４ｂは、３次元データに基づく画像として、サーフェスレンダリング画像を生成してもよいし、ボリュームレンダリング画像を生成してもよい。

【0052】

上述した通り、表示制御機能３４ｂは、３次元データと２次元Ｘ線画像とを自動で位置合わせし、３次元データに基づく画像と２次元Ｘ線画像とを合成した合成画像を表示させることができる。例えば、手技が行なわれている間、収集機能１１０ｃは経時的に２次元Ｘ線画像を収集する。また、表示制御機能３４ｂは、収集された２次元Ｘ線画像に対して、３次元データに基づく画像を順次合成し、生成した合成画像をディスプレイ３２に順次表示させる。即ち、表示制御機能３４ｂは、合成画像をリアルタイム表示させることができる。

【0053】

しかしながら、種々の要因により、３次元データと２次元Ｘ線画像とを適切に位置合わせすることができない場合がある。例えば、３次元医用画像と２次元Ｘ線画像とでは、画像のコントラストや明るさ、生じるノイズの種類等が異なっているため、対応する特徴点を特定できない場合がある。特に、Ｘ線ＣＴ画像やＭＲ画像等に基づいて３次元データが生成されている場合、モダリティ種別が異なるため、対応する特徴点を特定することは容易でない。また、３次元Ｘ線画像に基づいて３次元データが生成され、天板１０４等の制御情報に基づいて位置合わせを行なう場合であっても、被検体Ｐ１の体動等によって位置合わせの精度が低下してしまう場合がある。

【0054】

また、３次元データの作成条件も、位置合わせの精度に影響を及ぼす場合がある。例えば、３次元データを閾値処理により作成する場合において、閾値を変更すれば、生成される３次元データの形状やサイズも変化する。その他、３次元データの作成時においては、技師等が経験的に作成条件を調整する場合もある所、作成者によって３次元データの形状やサイズにばらつきが生じる。そして、３次元データの形状やサイズが変化することにより、２次元Ｘ線画像に対する位置合わせの精度が低下してしまう場合がある。

【0055】

また、２次元Ｘ線画像の縦方向及び横方向について適切に位置合わせできているケースであっても、奥行方向の推定誤差が生じてしまう場合がある。このような場合、例えばＣアーム１０５を回転させて２次元Ｘ線画像の撮影角度を変化させた際に、３次元データが奥行方向にずれて表示されてしまうこととなる。

【0056】

自動での位置合わせが適切に行われていない場合、ユーザは、手動で位置合わせを行なうことができる。例えば、ユーザは、ディスプレイ３２に表示されている合成画像を参照しつつ、３次元データを平行移動させたり回転させたり拡大／縮小させたりして、２次元Ｘ線画像に対する３次元データの配置を調整する。しかしながら、手技の間にこのような手動操作を行なうことはユーザにとって負担となる。また、手動での位置合わせの精度については、ユーザの経験の多寡による差も生じる。特に、奥行方向の位置合わせについては経験によるところが大きく、ユーザごとに精度がばらつきやすい。

【0057】

ここで、２次元Ｘ線画像に対する３次元データの位置合わせを、機械学習の手法によって実行することが考えられる。しかしながら、どのようなデータが学習データとして適切であるかの判断は難しく、また、学習済みモデルの品質を担保するために必要な数の学習データを収集することは容易ではない。

【0058】

そこで、処理回路３４は、以下で説明する処理によって、２次元Ｘ線画像と３次元データとの合成表示の精度を向上させる。具体的には、処理回路３４は、合成画像を参照したユーザから、２次元Ｘ線画像に対する３次元データの配置を調整する調整操作を受け付け、３次元データと２次元Ｘ線画像と調整操作の結果とを保存させる。これにより、処理回路３４は、２次元Ｘ線画像に対する３次元データの配置を調整する学習済みモデルについて適切な学習を行なわせることを可能とし、合成表示の精度を向上させる。

【0059】

以下、処理回路３４が行なう処理について、図３を用いて説明する。図３は、第１の実施形態に係る調整操作の受け付けについて説明するための図である。例えば、表示制御機能３４ｂは、まず、２次元Ｘ線画像Ｉ１１に対して３次元データＤ１１を自動で位置合わせする。例えば、表示制御機能３４ｂは、３次元データＤ１１を、２次元Ｘ線画像Ｉ１１と同じ位置、向き、及び大きさの２次元画像に変換するための変換行列Ａを算出する。また、表示制御機能３４ｂは、変換行列Ａを３次元データＤ１１に適用することで、３次元データＤ１１に基づく画像Ｉ２１を生成し、２次元Ｘ線画像Ｉ１１と画像Ｉ２１とを合成した合成画像Ｉ３１をディスプレイ３２に表示させる。

【0060】

なお、自動位置合わせの手法については特に限定されるものではない。例えば、表示制御機能３４ｂは、３次元データＤ１１及び２次元Ｘ線画像Ｉ１１のそれぞれから解剖学的特徴点を抽出し、対応する特徴点の組み合わせに基づいて、変換行列Ａを算出する。また、例えば、３次元Ｘ線画像に基づいて３次元データＤ１１が生成されている場合、表示制御機能３４ｂは、天板１０４等の制御情報に基づいて変換行列Ａを算出することもできる。

【0061】

ここで、受付機能３４ｃは、合成画像Ｉ３１を参照したユーザから、２次元Ｘ線画像Ｉ１１に対する３次元データＤ１１の配置を調整する調整操作を受け付けることができる。例えば、合成画像Ｉ３１を参照したユーザは、位置合わせが適切になされていないと判断した場合、入力インタフェース３１を介して、２次元Ｘ線画像Ｉ１１に対する３次元データＤ１１の配置を調整する調整操作を入力する。

【0062】

具体的には、ユーザは、２次元Ｘ線画像Ｉ１１に対して３次元データＤ１１の位置がずれていると判断した場合、３次元データＤ１１を平行移動させて、３次元データＤ１１の位置を調整する。ここで、ユーザは、２次元Ｘ線画像Ｉ１１の縦方向、横方向、及び奥行き方向といった任意の方向に、３次元データＤ１１を平行移動させることができる。また、ユーザは、２次元Ｘ線画像Ｉ１１に対する３次元データＤ１１の向きがずれていると判断した場合、３次元データＤ１１を回転させて、３次元データＤ１１の角度を調整する。ここで、ユーザは、２次元Ｘ線画像Ｉ１１の縦方向、横方向、及び奥行き方向といった任意方向の回転軸で、３次元データＤ１１を３次元的に回転させることができる。また、ユーザは、２次元Ｘ線画像Ｉ１１と３次元データＤ１１との間で拡大率が一致していないと判断した場合、３次元データＤ１１を拡大又は縮小させて、３次元データＤ１１のサイズを調整する。

【0063】

受付機能３４ｃがユーザから調整操作を受け付けている間、表示制御機能３４ｂは、調整された３次元データの配置に応じて、変換行列を変化させる。即ち、表示制御機能３４ｂは、２次元Ｘ線画像Ｉ１１に対する３次元データＤ１１の配置がユーザの所望する通りに変化するよう、変換行列を変化させる。また、表示制御機能３４ｂは、変換行列を変化させるごとに変換行列を３次元データＤ１１に適用し、ディスプレイ３２に表示させる合成画像を更新する。

【0064】

図３においては、手動位置合わせの結果が合成画像Ｉ４１であるものとして説明する。例えば、表示制御機能３４ｂは、ユーザから受け付けた調整操作に基づく変換行列Ａ’を３次元データＤ１１に適用して合成画像Ｉ４１を生成し、ディスプレイ３２に表示させる。また、制御機能３４ａは、合成画像Ｉ４１が表示されている間にユーザによる調整操作が完了したと判定した場合、調整操作の結果として変換行列Ａ’を取得し、メモリ３３に保存させる。また、制御機能３４ａは、変換行列Ａ’とともに、２次元Ｘ線画像Ｉ１１及び３次元データＤ１１を、メモリ３３に保存させる。即ち、制御機能３４ａは、学習済みモデルＭ１の生成に使用可能な学習データとして、変換行列Ａ’、２次元Ｘ線画像Ｉ１１及び３次元データＤ１１をデータベースに登録する。なお、学習済みモデルＭ１の生成処理については後述する。

【0065】

ここで、ユーザによる調整操作が完了したか否かを判定する処理の一例を、図４を用いて説明する。図４は、第１の実施形態に係る医用情報処理装置３０の処理の一連の流れを説明するためのフローチャートである。

【0066】

まず、表示制御機能３４ｂは、２次元Ｘ線画像Ｉ１１に対して３次元データＤ１１を自動位置合わせし、３次元データＤ１１に基づく画像と２次元Ｘ線画像Ｉ１１とを合成した合成画像をディスプレイに表示させる（ステップＳ１０１）。次に、表示制御機能３４ｂは、合成画像の表示を継続するか否かを判定し（ステップＳ１０２）、継続する場合には（ステップＳ１０２肯定）、ステップＳ１０３に移行する。

【0067】

ステップＳ１０３において、受付機能３４ｃは、手動で位置合わせしたか否かを判定する。即ち、受付機能３４ｃは、合成画像を参照したユーザから、２次元Ｘ線画像Ｉ１１に対する３次元データＤ１１の配置を調整する調整操作を受け付けたか否かを判定する。なお、手動で位置合わせされない場合（ステップＳ１０３否定）、受付機能３４ｃは、ステップＳ１０２に再度移行する。

【0068】

手動で位置合わせされた場合（ステップＳ１０３肯定）、制御機能３４ａは、一定時間指定の操作がないかを判定する（ステップＳ１０４）。より具体的には、受付機能３４ｃは、合成画像を参照したユーザから、２次元Ｘ線画像Ｉ１１に対する３次元データＤ１１の配置を調整する調整操作を受け付け、表示制御機能３４ｂは、調整操作に応じて変化させた変換行列を３次元データＤ１１に適用してディスプレイ３２に表示させる合成画像を更新し、制御機能３４ａは、更新された合成画像がディスプレイ３２に表示された状態において一定時間指定の操作がないかを判定する。

【0069】

ここで、ステップＳ１０４の判定に用いる一定時間については、プリセットされた長さの時間であってもよいし、ユーザが設定した長さの時間であってもよい。また、一定時間については、過去にユーザが調整操作を再入力した際に要した時間の長さ等に基づいて、制御機能３４ａが自動で調整してもよい。なお、ステップＳ１０４の一定時間は、所定時間の一例である。

【0070】

また、ステップＳ１０４の判定に用いる指定の操作とは、例えば、２次元Ｘ線画像Ｉ１１に対する３次元データＤ１１の配置を調整する調整操作である。即ち、ステップＳ１０４において、制御機能３４ａは、調整操作が再入力されたか否かを判定する。また、ステップＳ１０４の判定に用いる指定の操作とは、例えば、Ｃアーム１０５を回転させる操作や、天板１０４を移動させる操作である。

【0071】

例えば、ユーザは、Ｃアーム１０５を回転させることで、奥行方向の位置合わせが適切になされているか否かを判断することができる。即ち、ユーザは、アーム１０５を回転させて２次元Ｘ線画像Ｉ１１の撮影角度を変化させる。また、表示制御機能３４ｂは、撮影角度の変化に応じて３次元データＤ１１を回転移動させ、ディスプレイ３２に表示させる合成画像を更新する。ここで、奥行方向の位置合わせが適切になされていない場合には３次元データＤ１１が奥行方向にずれて表示されてしまう所、Ｃアーム１０５を回転させてもずれが生じなければ、ユーザは、奥行方向の位置合わせが適切になされていると判断することができる。なお、ステップＳ１０４の指定の操作は、特定操作の一例である。

【0072】

ステップＳ１０４において一定時間指定の操作がなかった場合（ステップＳ１０４肯定）、制御機能３４ａは、３次元データＤ１１、２次元Ｘ線画像Ｉ１１及び変換行列Ａ’をデータベースに登録する（ステップＳ１０５）。即ち、合成画像Ｉ４１が表示されている間に一定時間指定の操作がなかった場合、制御機能３４ａは、ユーザによる調整操作が完了したと判定し、調整操作の結果として変換行列Ａ’を特定して、３次元データＤ１１及び２次元Ｘ線画像Ｉ１１とともにデータベースに登録する。例えば、制御機能３４ａは、３次元データＤ１１及び２次元Ｘ線画像Ｉ１１を特定するための付帯情報を変換行列Ａ’に付して、メモリ３３に保存させる。なお、ステップＳ１０５の後、制御機能３４ａは、ステップＳ１０２に再度移行する。

【0073】

一方で、一定時間内に指定の操作がなされた場合（ステップＳ１０４否定）、制御機能３４ａは、ステップＳ１０４の判定を継続するか否かを判定し（ステップＳ１０６）、継続する場合には（ステップＳ１０６肯定）、ステップＳ１０４に再度移行する。一方で、ステップＳ１０４の判定を継続しない場合（ステップＳ１０６否定）、制御機能３４ａは、ステップＳ１０２に再度移行する。例えば、アーチファクト等によって３次元データＤ１１と２次元Ｘ線画像Ｉ１１との位置合わせが困難であるとユーザが判断した場合、制御機能３４ａは、データベースへの登録を行なうことなく、ステップＳ１０２に再度移行する。また、ステップＳ１０２において表示を継続しないと判定した場合（ステップＳ１０２否定）、処理回路３４は、処理を終了する。

【0074】

上述した通り、制御機能３４ａは、ユーザによる調整操作が完了したか否かを判定し、完了したと判定した場合には、学習済みモデルＭ１の生成に使用可能な学習データとして、変換行列Ａ’、２次元Ｘ線画像Ｉ１１及び３次元データＤ１１をデータベースに登録する。これにより、制御機能３４ａは、学習済みモデルＭ１について適切な学習を行なわせることを可能とし、合成表示の精度を向上させることができる。

【0075】

なお、図４のフローチャートは一例であり、種々の変形が可能である。例えば、制御機能３４ａは、調整操作が完了した旨の入力操作が行われた場合に調整操作が完了したと判定し、データベースへの登録を行なうこととしてもよい。

【0076】

次に、図５を用いて、学習済みモデルＭ１の生成処理について説明する。図５は、第１の実施形態に係る学習済みモデルＭ１の生成処理の一例を示す図である。なお、本実施形態においては、医用情報処理装置３０におけるモデル生成機能３４ｄが学習済みモデルＭ１を生成するものとして説明する。

【0077】

また、図５においては、機械学習手法の一例として、ニューラルネットワークについて説明する。即ち、モデル生成機能３４ｄは、３次元データＤ１１及び２次元Ｘ線画像Ｉ１１を入力側データ（Ｉｎｐｕｔ）とし、変換行列Ａ’を出力側データ（Ｏｕｔｐｕｔ）としてニューラルネットワークを学習させることにより、学習済みモデルＭ１を生成する。なお、図５においては説明の便宜のため、入力側データと出力側データとの組み合わせを１つのみ示すが、モデル生成機能３４ｄは、入力側データと出力側データとの組み合わせを複数用いて、ニューラルネットワークを繰り返し学習させることができる。

【0078】

具体的には、モデル生成機能３４ｄは、３次元データＤ１１及び２次元Ｘ線画像Ｉ１１をニューラルネットワークに入力する。ここで、ニューラルネットワークにおいては、入力層側から出力層側に向かって一方向に隣接層間でのみ結合しながら情報が伝播し、出力層からは、変換行列の推定結果が出力される。例えば、ニューラルネットワークの出力層からは、２次元Ｘ線画像Ｉ１１に対して３次元データＤ１１を適切に配置するために使用される変換行列の推定結果が出力される。なお、入力層側から出力層側に向かって一方向に情報が伝播するニューラルネットワークについては、畳み込みニューラルネットワーク（Ｃｏｎｖｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）とも呼ばれる。

【0079】

モデル生成機能３４ｄは、入力側データを入力した際にニューラルネットワークが好ましい結果を出力することができるよう、ニューラルネットワークのパラメータを調整することで、学習済みモデルＭ１を生成する。例えば、モデル生成機能３４ｄは、入力側データに基づいて推定された変換行列と、出力側データとして入力した変換行列Ａ’との差が閾値を下回るまで、ニューラルネットワークのパラメータを調整しながら処理を繰り返す。これにより、モデル生成機能３４ｄは、２次元Ｘ線画像に対する３次元データの配置を調整するよう機能付けられた学習済みモデルＭ１を生成することができる。例えば、図５に示す場合、学習済みモデルＭ１は、３次元データ及び２次元Ｘ線画像の入力を受けて、入力された２次元Ｘ線画像に対して３次元データを適切に配置するための変換行列を推定するように機能付けられる。

【0080】

なお、学習済みモデルＭ１が畳み込みニューラルネットワーク（ＣＮＮ）により構成されるものとして説明したが、モデル生成機能３４ｄは、全結合ニューラルネットワークや、再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＲＮＮ）等の他種のニューラルネットワークにより学習済みモデルＭ１を構成してもよい。また、モデル生成機能３４ｄは、ニューラルネットワーク以外の機械学習手法により、学習済みモデルＭ１を生成してもよい。例えば、モデル生成機能３４ｄは、ロジスティック（Ｌｏｇｉｓｔｉｃ）回帰分析、非線形判別分析、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ：ＳＶＭ）、ランダムフォレスト（Ｒａｎｄｏｍ Ｆｏｒｅｓｔ）、ナイーブベイズ（Ｎａｉｖｅ Ｂａｙｅｓ）等のアルゴリズムを用いて機械学習を行ない、学習済みモデルＭ１を生成することとしても構わない。

【0081】

また、モデル生成機能３４ｄは、複数種類の学習済みモデルＭ１を生成することとしても構わない。例えば、モデル生成機能３４ｄは、血管や臓器といった部位ごとに、学習済みモデルＭ１を生成してもよい。また、例えば、モデル生成機能３４ｄは、３次元Ｘ線画像に基づく３次元データを学習データとして用いた学習済みモデルＭ１１、Ｘ線ＣＴ画像に基づく３次元データを学習データとして用いた学習済みモデルＭ１２、ＭＲＩ画像に基づく３次元データを学習データとして用いた学習済みモデルＭ１３等をそれぞれ生成してもよい。

【0082】

制御機能３４ａは、生成された学習済みモデルＭ１をメモリ３３に記憶させる。その後、被検体Ｐ１又は他の被検体について２次元Ｘ線画像と３次元データとの合成表示を行なう際、表示制御機能３４ｂは、学習済みモデルＭ１をメモリ３３から読み出して使用することができる。

【0083】

以下、図６を参照して、学習済みモデルＭ１を用いて２次元Ｘ線画像と３次元データとの合成表示を行なう場合の処理について説明する。図６は、第１の実施形態に係る医用情報処理装置３０の処理の一連の流れを説明するためのフローチャートである。なお、図６においては、被検体Ｐ１と異なる被検体Ｐ２について、２次元Ｘ線画像Ｉ１２と３次元データＤ１２との合成表示を行なうものとして説明する。３次元データＤ１２は、例えば、被検体Ｐ２から収集された３次元医用画像に基づいて生成される。また、２次元Ｘ線画像Ｉ１２は、例えば、被検体Ｐ２に対する手技において、Ｘ線診断装置１０によって経時的に収集される。

【0084】

まず、表示制御機能３４ｂは、３次元データＤ１２の状態を取得し（ステップＳ２０１）、学習済みモデルＭ１をメモリ３３から読み出す。例えば、表示制御機能３４ｂは、３次元データＤ１２の状態として、３次元データＤ１２が示す部位や、３次元データＤ１２の生成に使用した３次元医用画像の種別等の情報を取得する。そして、表示制御機能３４ｂは、３次元データＤ１２の状態に応じた学習済みモデルＭ１をメモリ３３から読み出す。

【0085】

次に、表示制御機能３４ｂは、３次元データＤ１２及び２次元Ｘ線画像Ｉ１２を学習済みモデルＭ１に対して入力する（ステップＳ２０２）。ここで、学習済みモデルＭ１は、２次元Ｘ線画像Ｉ１２に対して３次元データＤ１２を適切に配置するための変換行列を推定して出力する。次に、表示制御機能３４ｂは、学習済みモデルＭ１から出力された変換行列を３次元データＤ１２に適用することで、３次元データＤ１２に基づく画像を生成する（ステップＳ２０３）。そして、表示制御機能３４ｂは、３次元データＤ１２に基づく画像と２次元Ｘ線画像Ｉ１２とを合成した合成画像をディスプレイ３２に表示させる（ステップＳ２０４）。即ち、表示制御機能３４ｂは、学習済みモデルＭ１に対して３次元データＤ１２及び２次元Ｘ線画像Ｉ１２を入力し、２次元Ｘ線画像Ｉ１２に対する３次元データＤ１２の配置の調整結果の出力を受けて、３次元データＤ１２に基づく画像と２次元Ｘ線画像Ｉ１２とを合成した合成画像を表示させる。

【0086】

次に、表示制御機能３４ｂは、合成画像の表示を継続するか否かを判定する（ステップＳ２０５）。ここで、表示を継続する場合（ステップＳ２０５肯定）、表示制御機能３４ｂは、再度ステップＳ２０４に移行する。

【0087】

なお、合成画像の表示を継続している間において、天板１０４やＣアーム１０５の移動・回転をユーザが指示する場合がある。例えば、ユーザは、手技における注目部位を別角度で観察するため、アーム１０５を回転させて２次元Ｘ線画像の撮影角度を変化させる場合がある。このような場合、表示制御機能３４ｂは、撮影角度の変化に応じて３次元データＤ１２を回転移動させ、ディスプレイ３２に表示させる合成画像を更新することができる。

【0088】

例えば、Ｘ線診断装置１０は、撮影システムにおける座標系の情報を２次元Ｘ線画像Ｉ１２に付帯させた状態で、医用情報処理装置３０に送信する。ここで、座標系の情報とは、例えば天板１０４やＣアーム１０５等、撮影位置や撮影角度を制御する機械系の制御情報である。表示制御機能３４ｂは、２次元Ｘ線画像Ｉ１２に付帯した座標系の情報に基づいて、合成画像を更新することができる。例えば、アーム１０５を回転する制御が行なわれた場合、表示制御機能３４ｂは、座標系の情報に基づき、アーム１０５の回転量に応じて３次元データＤ１２を回転移動させる。そして、表示制御機能３４ｂは、回転移動後の３次元データＤ１２に基づく画像と２次元Ｘ線画像Ｉ１２とを合成した合成画像を、ディスプレイ３２に表示させる。

【0089】

即ち、手技中に２次元Ｘ線画像Ｉ１２の撮影位置や撮影角度が変化した場合において学習済みモデルＭ１を繰り返し使用する必要はなく、表示制御機能３４ｂは、座標系の情報に基づいて２次元Ｘ線画像Ｉ１２に対する３次元データＤ１２の配置を再調整し、合成画像を迅速に更新することができる。

【0090】

なお、被検体Ｐ２の体動があった場合等、座標系の情報に基づいて配置の再調整を行なうことができないケースも想定される。このような場合においては、表示制御機能３４ｂは、ステップＳ２０２に再度移行し、学習済みモデルＭ１を使用して、２次元Ｘ線画像Ｉ１２に対する３次元データＤ１２の配置を再調整することができる。例えば、医用情報処理装置３０は、再調整用のボタンを有する。また、ユーザは、被検体Ｐ２の体動があったと判断した場合に、再調整用のボタンを押下する。そして、再調整用のボタンが押下された場合、表示制御機能３４ｂは、学習済みモデルＭ１を使用した再調整を実行する。

【0091】

上述したように、第１の実施形態によれば、表示制御機能３４ｂは、３次元データに基づく画像と２次元Ｘ線画像とを合成した合成画像を表示させる。また、受付機能３４ｃは、合成画像を参照したユーザから、２次元Ｘ線画像に対する３次元データの配置を調整する調整操作を受け付ける。また、制御機能３４ａは、３次元データと、２次元Ｘ線画像と、受付機能３４ｃが受け付けた調整操作の結果とをメモリ３３に保存させる。これにより、医用情報処理装置３０は、２次元Ｘ線画像に対する３次元データの配置を調整する学習済みモデルＭ１について適切な学習を行なわせることを可能とし、合成表示の精度を向上させることができる。

【0092】

即ち、解剖学的特徴点を抽出して位置合わせを行なう場合等、一定のルールで、３次元データと２次元Ｘ線画像との位置合わせを精度良く行なうことは難しい。例えば、２次元画像同士の位置合わせでは奥行方向を考慮する必要がなく、縦及び横の２方向のみ調整すればよいため、一定のルールでの位置合わせを行なう場合でも高い精度を担保することが可能である。また、例えば、３次元画像同士の位置合わせでは、各画像が３次元の情報を有しているため、一定のルールでの位置合わせを行なう場合でも高い精度を担保することが可能である。これに対し、３次元データと２次元Ｘ線画像との位置合わせでは、２次元Ｘ線画像に対する３次元データの奥行方向の位置を推定する必要があり、位置合わせの精度を担保することは容易でない。また、医師や技師等のユーザであれば、感覚や経験に基づいて、２次元Ｘ線画像と３次元データとの位置合わせを適当に行なうことが可能である。しかしながら、合成表示を行なうごと手動位置合わせを行なうことは、ユーザにとって負担となる。

【0093】

これに対し、第１の実施形態に係る医用情報処理装置３０によれば、ユーザによる手動位置合わせの結果を、学習データとして収集することができる。ひいては、医用情報処理装置３０は、ユーザの感覚や経験を学習済みモデルＭ１に学習させ、一定ルールの位置合わせ処理では得られない高い精度で、３次元データと２次元Ｘ線画像との位置合わせを実現することができる。

【0094】

また、医用情報処理装置３０は、位置合わせの精度を向上させることで、被ばく量の低減を実現することができる。例えば、３次元データと２次元Ｘ線画像とが適切に位置合わせされていない場合、ユーザは、ディスプレイ３２に表示された２次元Ｘ線画像を参照しつつ、手動で３次元データを位置合わせする。これに対し、位置合わせが十分に高い精度で実現されれば、手動での位置合わせを行なう機会は減少すると言える。そして、手動での位置合わせを行なうための２次元Ｘ線画像を収集する必要がなくなり、２次元Ｘ線画像の収集枚数が減少することで、被ばく量を低減することができる。

【0095】

また、学習済みモデルＭ１を生成した後、３次元データと２次元Ｘ線画像との位置合わせは、学習済みモデルＭ１に対して３次元データ及び２次元Ｘ線画像とを入力することで実現される。即ち、医用情報処理装置３０は、例えば位置ずれ検知や描画処理などの複雑な処理を行なうことなく、高い精度での位置合わせを実現することができる。従って、医用情報処理装置３０は、２次元Ｘ線画像と３次元データとの合成表示を行なう際の計算コストを低減することができる。

【0096】

（第２の実施形態）
さて、これまで第１の実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されてよいものである。

【0097】

例えば、上述した実施形態では、調整操作の結果の一例として変換行列について説明した。例えば、図３において、制御機能３４ａは、受付機能３４ｃが受け付けた調整操作の結果として変換行列Ａ’を取得し、メモリ３３に保存させるものと説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、制御機能３４ａは、受付機能３４ｃが受け付けた調整操作の結果として、図３の合成画像Ｉ４１をメモリ３３に保存させてもよい。即ち、制御機能３４ａは、ユーザによって調整され３次元データの配置に応じて生成された合成画像を、調整操作の結果としてメモリ３３に保存させてもよい。この場合、学習済みモデルＭ１は、例えば、合成画像Ｉ４１を出力側データ（Ｏｕｔｐｕｔ）としてニューラルネットワークを学習させることにより生成される。

【0098】

また、上述した実施形態において、制御機能３４ａは、３次元データと、２次元Ｘ線画像と、受付機能３４ｃが受け付けた調整操作の結果とをメモリ３３に保存させるものとして説明した。即ち、上述した実施形態では、３次元データと２次元Ｘ線画像と調整操作の結果とを保存する記憶部の一例として、メモリ３３について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、制御機能３４ａは、ネットワークＮＷを介して接続された外部装置に、３次元データと２次元Ｘ線画像と調整操作の結果とを保存させることとしても構わない。かかる外部装置は、記憶部の一例である。

【0099】

また、上述した実施形態において、制御機能３４ａは、学習済みモデルＭ１をメモリ３３に保存させるものとして説明した。即ち、上述した実施形態では、学習済みモデルＭ１を保存するモデル記憶部の一例として、メモリ３３について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、制御機能３４ａは、ネットワークＮＷを介して接続された外部装置に、学習済みモデルＭ１を保存させることとしても構わない。かかる外部装置は、モデル記憶部の一例である。

【0100】

また、図１においては単一のメモリ３３を示したが、複数のメモリ３３を分散して配置することとしても構わない。例えば、医用情報処理装置３０は、メモリ３３として、第１のメモリ３３１と、第２のメモリ３３２と、第３のメモリ３３３とを備える。ここで、第１のメモリ３３１は、例えば、医用情報処理装置３０に含まれる回路がその機能を実現するためのプログラムを保存する。また、第２のメモリ３３２は、制御機能３４ａによる制御の下、３次元データと、２次元Ｘ線画像と、受付機能３４ｃが受け付けた調整操作の結果とを保存する。また、第３のメモリ３３３は、制御機能３４ａによる制御の下、学習済みモデルＭ１を保存する。かかる場合において、第２のメモリ３３２は、記憶部の一例である。また、第３のメモリ３３３は、モデル記憶部の一例である。

【0101】

また、上述した実施形態では、学習済みモデルＭ１の生成処理を、医用情報処理装置３０のモデル生成機能３４ｄが実行するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、学習済みモデルＭ１は、図示しない他の装置において生成されても構わない。この場合、制御機能３４ａは、ネットワークＮＷを介して学習済みモデルＭ１を取得し、メモリ３３等のモデル記憶部に保存させることができる。

【0102】

また、上述した実施形態では、医用情報処理装置３０が合成画像の表示を行なうものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、上述した制御機能３４ａ、表示制御機能３４ｂ、受付機能３４ｃ、モデル生成機能３４ｄに相当する機能を、Ｘ線診断装置１０の処理回路１１０が実行しても構わない。以下、この点について図７を用いて説明する。図７は、第２の実施形態に係るＸ線診断装置１０の構成の一例を示すブロック図である。図７に示すように、処理回路１１０は、制御機能１１０ａ、表示制御機能１１０ｂ、収集機能１１０ｃ、受付機能１１０ｄ、及びモデル生成機能１１０ｅを実行する。なお、受付機能１１０ｄは、受付部の一例である。また、モデル生成機能１１０ｅは、モデル生成部の一例である。

【0103】

例えば、表示制御機能１１０ｂは、まず、３次元データＤ１１に基づく画像と２次元Ｘ線画像Ｉ１１とを合成した合成画像をディスプレイ１０８に表示させる。次に、受付機能１１０ｄは、合成画像を参照したユーザから、２次元Ｘ線画像Ｉ１１に対する３次元データＤ１１の配置を調整する調整操作を受け付ける。次に、制御機能１１０ａは、３次元データＤ１１と、２次元Ｘ線画像Ｉ１１と、受付機能１１０ｄが受け付けた調整操作の結果とを、メモリ１０９に保存させる。そして、モデル生成機能１１０ｅは、３次元データＤ１１と２次元Ｘ線画像Ｉ１１と調整操作の結果とを学習データとした機械学習を実行することにより、学習済みモデルＭ１を生成する。

【0104】

また、制御機能１１０ａは、学習済みモデルＭ１を、例えば、メモリ１０９に保存させる。その後、収集機能１１０ｃは、２次元Ｘ線画像Ｉ１２を収集する。例えば、図７に示す被検体Ｐ１に代えて被検体Ｐ２が天板１０４に載置され、収集機能１１０ｃは、被検体Ｐ２から２次元Ｘ線画像Ｉ１２を収集する。また、表示制御機能１１０ｂは、メモリ１０９から学習済みモデルＭ１を読み出し、学習済みモデルＭ１に対して、３次元データＤ１２及び２次元Ｘ線画像Ｉ１２を入力する。ここで、学習済みモデルＭ１は、２次元Ｘ線画像Ｉ１２に対する３次元データＤ１２の配置の調整結果を出力する。また、表示制御機能１１０ｂは、学習済みモデルＭ１からの出力を受けて３次元データＤ１２に基づく画像を生成し、２次元Ｘ線画像Ｉ１２と合成して、合成画像をディスプレイ１０８に表示させる。

【0105】

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等の回路を意味する。プロセッサが例えばＣＰＵである場合、プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。一方、プロセッサが例えばＡＳＩＣである場合、記憶回路にプログラムを保存する代わりに、当該機能がプロセッサの回路内に論理回路として直接組み込まれる。なお、実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、各図における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

【0106】

また、図１においては、単一のメモリ３３が処理回路３４の各処理機能に対応するプログラムを記憶するものとして説明した。また、図２及び図７においては、単一のメモリ１０９が処理回路１１０の各処理機能に対応するプログラムを記憶するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、複数のメモリ３３を分散して配置し、処理回路３４は、個別のメモリ３３から対応するプログラムを読み出す構成としても構わない。同様に、複数のメモリ１０９を分散して配置し、処理回路１１０は、個別のメモリ１０９から対応するプログラムを読み出す構成としても構わない。また、メモリにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

【0107】

上述した実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。即ち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。

【0108】

また、上述した実施形態で説明した医用情報処理方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な非一過性の記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

【0109】

以上説明した少なくとも１つの実施形態によれば、２次元Ｘ線画像と３次元データとの合成表示の精度を向上させることができる。

【0110】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0111】

１ 医用情報処理システム
１０ Ｘ線診断装置
１１０ 処理回路
１１０ａ 制御機能
１１０ｂ 表示制御機能
１１０ｃ 収集機能
１１０ｄ 受付機能
１１０ｅ モデル生成機能
３０ 医用情報処理装置
３４ 処理回路
３４ａ 制御機能
３４ｂ 表示制御機能
３４ｃ 受付機能
３４ｄ モデル生成機能

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】