ホーム > 特許ランキング > 富士フイルム株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-20
(45)【発行日】2023-11-29
(54)【発明の名称】画像位置合わせ装置、方法およびプログラム
(51)【国際特許分類】
A61B 6/03 20060101AFI20231121BHJP
A61B 5/055 20060101ALI20231121BHJP
【ＦＩ】
A61B6/03 360D
A61B5/055 380
A61B5/055 390
A61B6/03 360G
【請求項の数】
12
(21)【出願番号】P 2022514448
(86)(22)【出願日】2021-04-01
(86)【国際出願番号】 JP2021014213
(87)【国際公開番号】W WO2021205991
(87)【国際公開日】2021-10-14
【審査請求日】2022-10-03
(31)【優先権主張番号】P 2020070313
(32)【優先日】2020-04-09
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2020186788
(32)【優先日】2020-11-09
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】淵上 卓也
(72)【発明者】
【氏名】赤堀 貞登
【審査官】井上 香緒梨
(56)【参考文献】
【文献】米国特許出願公開第２０１１／０１１６７０１（ＵＳ，Ａ１）
【文献】特表２００５－５１７２４９（ＪＰ，Ａ）
【文献】特開２０１１－０４１６５６（ＪＰ，Ａ）
【文献】特開２００８－１４２１３７（ＪＰ，Ａ）
【文献】特開２０１６－０８７０４８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ７／００－７／９０
Ａ６１Ｂ６／００－６／１４
Ａ６１Ｂ５／０５５
Ａ６１Ｂ８／００－８／１５
Ｇ０１Ｔ１／１６１－１／１６６
Ｇ０６Ｔ１／００
(57)【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサを備え、前記プロセッサは、
それぞれ複数の断層画像を含み、共通の構造物を含む第１の３次元画像および第２の３次元画像のそれぞれについて、前記複数の断層画像のそれぞれから前記断層画像と交わる方向における前記構造物の端部を規定する仮の第１の３次元座標情報および仮の第２の３次元座標情報を導出し、
前記仮の第１の３次元画像のそれぞれを統合し、かつ前記仮の第２の３次元画像のそれぞれを統合して、前記断層画像と交わる方向における前記構造物の端部を規定する第１の３次元座標情報および第２の３次元座標情報を導出し、
前記第１の３次元座標情報および前記第２の３次元座標情報を用いて、前記第１の３次元画像および前記第２の３次元画像にそれぞれ含まれる共通の前記構造物の、少なくとも前記断層画像と交わる方向における位置合わせを行うことにより、前記第１の３次元画像と前記第２の３次元画像との、少なくとも前記断層画像と交わる方向における位置合わせを行う画像位置合わせ装置。
【請求項2】
前記プロセッサは、前記第１の３次元座標情報により規定される前記構造物を囲む第１のバウンディングボックス、および前記第２の３次元座標情報により規定される前記構造物を囲む第２のバウンディングボックスを前記第１の３次元画像および前記第２の３次元画像にそれぞれ設定し、前記第１のバウンディングボックスの第１の重心位置および前記第２のバウンディングボックスの第２の重心位置の位置合わせを行うことにより、前記第１の３次元画像と前記第２の３次元画像との、少なくとも前記断層画像と交わる方向における位置合わせを行う請求項１に記載の画像位置合わせ装置。
【請求項3】
少なくとも１つのプロセッサを備え、前記プロセッサは、
それぞれ複数の断層画像を含み、共通の構造物を含む第１の３次元画像および第２の３次元画像のそれぞれについて、前記断層画像と交わる方向における前記構造物の端部を規定する第１の３次元座標情報および第２の３次元座標情報を導出し、
前記第１の３次元座標情報により規定される前記構造物を囲む第１のバウンディングボックス、および前記第２の３次元座標情報により規定される前記構造物を囲む第２のバウンディングボックスを前記第１の３次元画像および前記第２の３次元画像にそれぞれ設定し、
前記第１のバウンディングボックスの第１の重心位置および前記第２のバウンディングボックスの第２の重心位置の少なくとも前記断層画像と交わる方向における位置合わせを行うことにより、前記第１の３次元画像と前記第２の３次元画像との、少なくとも前記断層画像と交わる方向における位置合わせを行う画像位置合わせ装置。
【請求項4】
前記第１の３次元画像および前記第２の３次元画像に共通の構造物が複数含まれる場合、前記プロセッサは、すべての前記共通の構造物のそれぞれまたは一部の複数の前記共通の構造物のそれぞれを囲む前記第１のバウンディングボックスおよび前記第２のバウンディングボックスをそれぞれ前記第１の３次元画像および前記第２の３次元画像に設定し、前記第１の３次元画像に設定された複数の前記第１のバウンディングボックスのそれぞれについての第１の重心位置を導出し、該第１の重心位置を統合した第１の統合重心位置を導出し、
前記第２の３次元画像に設定された複数の前記第２のバウンディングボックスのそれぞれについての第２の重心位置を導出し、該第２の重心位置を統合した第２の統合重心位置を導出し、
前記第１の統合重心位置と前記第２の統合重心位置との位置合わせを行うことにより、前記第１の３次元画像と前記第２の３次元画像との、少なくとも前記断層画像と交わる方向における位置合わせを行う請求項２または３に記載の画像位置合わせ装置。
【請求項5】
前記第１の３次元画像および前記第２の３次元画像に共通の構造物が複数含まれる場合、前記プロセッサは、すべての前記共通の構造物のそれぞれまたは一部の複数の前記共通の構造物のそれぞれを囲む前記第１のバウンディングボックスおよび前記第２のバウンディングボックスをそれぞれ前記第１の３次元画像および前記第２の３次元画像に設定し、前記第１の３次元画像に設定された複数の前記第１のバウンディングボックスのそれぞれについての第１の重心位置を導出し、
前記第２の３次元画像に設定された複数の前記第２のバウンディングボックスのそれぞれについての第２の重心位置を導出し、
前記第１の３次元画像および前記第２の３次元画像間において互いに対応する前記第１の重心位置と前記第２の重心位置との相違の和が最小となるように、前記第１の３次元画像と前記第２の３次元画像との、少なくとも前記断層画像と交わる方向における位置合わせを行う請求項２または３に記載の画像位置合わせ装置。
【請求項6】
前記第１の３次元画像および前記第２の３次元画像は、同一被検体についての撮影装置が異なる３次元画像である請求項１から５のいずれか１項に記載の画像位置合わせ装置。
【請求項7】
前記第１の３次元画像および前記第２の３次元画像は、同一被検体についての撮影時期が異なる３次元画像である請求項１から６のいずれか１項に記載の画像位置合わせ装置。
【請求項8】
前記プロセッサは、前記第１および前記第２の３次元画像のそれぞれについて、異なる手法により前記第１および前記第２の３次元座標情報を導出する請求項１から７のいずれか１項に記載の画像位置合わせ装置。
【請求項9】
それぞれ複数の断層画像を含み、共通の構造物を含む第１の３次元画像および第２の３次元画像のそれぞれについて、前記複数の断層画像のそれぞれから前記断層画像と交わる方向における前記構造物の端部を規定する仮の第１の３次元座標情報および仮の第２の３次元座標情報を導出し、前記仮の第１の３次元画像のそれぞれを統合し、かつ前記仮の第２の３次元画像のそれぞれを統合して、前記断層画像と交わる方向における前記構造物の端部を規定する第１の３次元座標情報および第２の３次元座標情報を導出し、
前記第１の３次元座標情報および前記第２の３次元座標情報を用いて、前記第１の３次元画像および前記第２の３次元画像にそれぞれ含まれる共通の前記構造物の、少なくとも前記断層画像と交わる方向における位置合わせを行うことにより、前記第１の３次元画像と前記第２の３次元画像との、少なくとも前記断層画像と交わる方向における位置合わせを行う画像位置合わせ方法。
【請求項10】
それぞれ複数の断層画像を含み、共通の構造物を含む第１の３次元画像および第２の３次元画像のそれぞれについて、前記断層画像と交わる方向における前記構造物の端部を規定する第１の３次元座標情報および第２の３次元座標情報を導出し、前記第１の３次元座標情報により規定される前記構造物を囲む第１のバウンディングボックス、および前記第２の３次元座標情報により規定される前記構造物を囲む第２のバウンディングボックスを前記第１の３次元画像および前記第２の３次元画像にそれぞれ設定し、
前記第１のバウンディングボックスの第１の重心位置および前記第２のバウンディングボックスの第２の重心位置の少なくとも前記断層画像と交わる方向における位置合わせを行うことにより、前記第１の３次元画像と前記第２の３次元画像との、少なくとも前記断層画像と交わる方向における位置合わせを行う画像位置合わせ方法。
【請求項11】
それぞれ複数の断層画像を含み、共通の構造物を含む第１の３次元画像および第２の３次元画像のそれぞれについて、前記複数の断層画像のそれぞれから前記断層画像と交わる方向における前記構造物の端部を規定する仮の第１の３次元座標情報および仮の第２の３次元座標情報を導出する手順と、前記仮の第１の３次元画像のそれぞれを統合し、かつ前記仮の第２の３次元画像のそれぞれを統合して、前記断層画像と交わる方向における前記構造物の端部を規定する第１の３次元座標情報および第２の３次元座標情報を導出する手順と、
前記第１の３次元座標情報および前記第２の３次元座標情報を用いて、前記第１の３次元画像および前記第２の３次元画像にそれぞれ含まれる共通の前記構造物の、少なくとも前記断層画像と交わる方向における位置合わせを行うことにより、前記第１の３次元画像と前記第２の３次元画像との、少なくとも前記断層画像と交わる方向における位置合わせを行う手順とをコンピュータに実行させる画像位置合わせプログラム。
【請求項12】
それぞれ複数の断層画像を含み、共通の構造物を含む第１の３次元画像および第２の３次元画像のそれぞれについて、前記断層画像と交わる方向における前記構造物の端部を規定する第１の３次元座標情報および第２の３次元座標情報を導出する手順と、前記第１の３次元座標情報により規定される前記構造物を囲む第１のバウンディングボックス、および前記第２の３次元座標情報により規定される前記構造物を囲む第２のバウンディングボックスを前記第１の３次元画像および前記第２の３次元画像にそれぞれ設定する手順と、
前記第１のバウンディングボックスの第１の重心位置および前記第２のバウンディングボックスの第２の重心位置の少なくとも前記断層画像と交わる方向における位置合わせを行うことにより、前記第１の３次元画像と前記第２の３次元画像との、少なくとも前記断層画像と交わる方向における位置合わせを行う手順とをコンピュータに実行させる画像位置合わせプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、３次元画像の位置合わせを行う画像位置合わせ装置、方法およびプログラムに関する。
【背景技術】
【0002】
近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像およびＭＲＩ画像等の３次元画像を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
【0003】
また、同一の患者について、撮影時期が異なる複数の３次元画像を同時に表示して経過観察を行う場合がある。このような場合において、現在の対象となる３次元画像のある断層面の断層画像において病変を見つけた場合、同一患者の過去画像において同一の断層面を表示する必要がある。このため、画像を観察する読影医は、過去画像について所望とする断層面の断層画像が表示されるまで、過去画像の断層面をスクロールする必要がある。また、ＣＴ画像およびＭＲＩ画像と同時に取得し、ＣＴ画像およびＭＲＩ画像を同時に表示して読影を行う場合も、ＣＴ画像の断層面とＭＲＩ画像の断層面とを一致させるために、読影医は表示された断層画像のスクロールを繰り返す必要がある。このように、複数の断層画像をスクロールして表示して、所望とする断層面の断層画像を表示させる作業は時間を要し、さらに読影医の負担が大きい。
【0004】
このため、対象画像と過去画像とを位置合わせすることが考えられる。位置合わせの手法としては、剛体位置合わせまたは非剛体位置合わせ等の手法が用いられる。また、画像の位置合わせを行う手法として、例えば特開２００９－１６００４５号公報に記載された手法も提案されている。特開２００９－１６００４５号公報に記載された手法は、２つの３次元画像それぞれにおいて複数個抽出された特徴点の中から、画像間で対応づけられる特徴点の組を複数選択し、選択された複数の特徴点の組毎の位置情報を用いて、２つの３次元画像における対応する断面を特定する手法である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、剛体位置合わせおよび非剛体位置合わせ、さらには上記特開２００９－１６００４５号公報に記載された手法では、３次元画像を対象とする場合は演算量が多くなるため、処理に長時間を要する。また、これらの手法では、ＣＴ装置およびＭＲＩ装置のように、異なる撮影装置により取得された３次元画像間においては、位置合わせの精度が低下する可能性がある。このため、これらの手法では、３次元画像間での位置合わせを精度よく行うことができない可能性がある。
【0006】
本開示は上記事情に鑑みなされたものであり、複数の３次元画像の位置合わせを迅速かつ精度よく行うことができるようにすることを目的とする。
【課題を解決するための手段】
【0007】
本開示による画像位置合わせ装置は、少なくとも１つのプロセッサを備え、
プロセッサは、それぞれ複数の断層画像を含み、共通の構造物を含む第１の３次元画像および第２の３次元画像のそれぞれについて、断層画像と交わる方向における構造物の端部を規定する第１の３次元座標情報および第２の３次元座標情報を導出し、
第１の３次元座標情報および第２の３次元座標情報を用いて、第１の３次元画像および第２の３次元画像にそれぞれ含まれる共通の構造物の、少なくとも断層画像と交わる方向における位置合わせを行うことにより、第１の３次元画像と第２の３次元画像との、少なくとも断層画像と交わる方向における位置合わせを行う。
プロセッサは、それぞれ複数の断層画像を含み、共通の構造物を含む第１の３次元画像および第２の３次元画像のそれぞれについて、断層画像と交わる方向における構造物の端部を規定する第１の３次元座標情報および第２の３次元座標情報を導出し、
第１の３次元座標情報および第２の３次元座標情報を用いて、第１の３次元画像および第２の３次元画像にそれぞれ含まれる共通の構造物の、少なくとも断層画像と交わる方向における位置合わせを行うことにより、第１の３次元画像と第２の３次元画像との、少なくとも断層画像と交わる方向における位置合わせを行う。
【0008】
なお、本開示による画像位置合わせ装置においては、プロセッサは、第１の３次元座標情報により規定される構造物を囲む第１のバウンディングボックス、および第２の３次元座標情報により規定される構造物を囲む第２のバウンディングボックスを第１の３次元画像および第２の３次元画像にそれぞれ設定し、
第１のバウンディングボックスの第１の重心位置および第２のバウンディングボックスの第２の重心位置の位置合わせを行うことにより、第１の３次元画像と第２の３次元画像との、少なくとも断層画像と交わる方向における位置合わせを行うものであってもよい。
第１のバウンディングボックスの第１の重心位置および第２のバウンディングボックスの第２の重心位置の位置合わせを行うことにより、第１の３次元画像と第２の３次元画像との、少なくとも断層画像と交わる方向における位置合わせを行うものであってもよい。
【0009】
また、本開示による画像位置合せ装置においては、第１の３次元画像および第２の３次元画像に共通の構造物が複数含まれる場合、プロセッサは、すべての共通の構造物のそれぞれまたは一部の複数の共通の構造物のそれぞれを囲む第１のバウンディングボックスおよび第２のバウンディングボックスをそれぞれ第１の３次元画像および第２の３次元画像に設定し、
第１の３次元画像に設定された複数の第１のバウンディングボックスのそれぞれについての第１の重心位置を導出し、第１の重心位置を統合した第１の統合重心位置を導出し、
第２の３次元画像に設定された複数の第２のバウンディングボックスのそれぞれについての第２の重心位置を導出し、第２の重心位置を統合した第２の統合重心位置を導出し、
第１の統合重心位置と第２の統合重心位置との位置合わせを行うことにより、第１の３次元画像と第２の３次元画像との、少なくとも断層画像と交わる方向における位置合わせを行うものであってもよい。
第１の３次元画像に設定された複数の第１のバウンディングボックスのそれぞれについての第１の重心位置を導出し、第１の重心位置を統合した第１の統合重心位置を導出し、
第２の３次元画像に設定された複数の第２のバウンディングボックスのそれぞれについての第２の重心位置を導出し、第２の重心位置を統合した第２の統合重心位置を導出し、
第１の統合重心位置と第２の統合重心位置との位置合わせを行うことにより、第１の３次元画像と第２の３次元画像との、少なくとも断層画像と交わる方向における位置合わせを行うものであってもよい。
【0010】
また、本開示による画像位置合せ装置においては、第１の３次元画像および第２の３次元画像に共通の構造物が複数含まれる場合、プロセッサは、すべての共通の構造物のそれぞれまたは一部の複数の共通の構造物のそれぞれを囲む第１のバウンディングボックスおよび第２のバウンディングボックスをそれぞれ第１の３次元画像および第２の３次元画像に設定し、
第１の３次元画像に設定された複数の第１のバウンディングボックスのそれぞれについての第１の重心位置を導出し、
第２の３次元画像に設定された複数の第２のバウンディングボックスのそれぞれについての第２の重心位置を導出し、
第１の３次元画像および第２の３次元画像間において互いに対応する第１の重心位置と第２の重心位置との相違の和が最小となるように、第１の３次元画像と第２の３次元画像との、少なくとも断層画像と交わる方向における位置合わせを行うものであってもよい。
第１の３次元画像に設定された複数の第１のバウンディングボックスのそれぞれについての第１の重心位置を導出し、
第２の３次元画像に設定された複数の第２のバウンディングボックスのそれぞれについての第２の重心位置を導出し、
第１の３次元画像および第２の３次元画像間において互いに対応する第１の重心位置と第２の重心位置との相違の和が最小となるように、第１の３次元画像と第２の３次元画像との、少なくとも断層画像と交わる方向における位置合わせを行うものであってもよい。
【0011】
また、本開示による画像位置合わせ装置においては、第１の３次元画像および第２の３次元画像は、同一被検体についての撮影装置が異なる３次元画像であってもよい。
【0012】
また、本開示による画像位置合わせ装置においては、第１の３次元画像および第２の３次元画像は、同一被検体についての撮影時期が異なる３次元画像であってもよい。
【0013】
また、本開示による画像位置合わせ装置においては、プロセッサは、第１および第２の３次元画像のそれぞれについて、異なる手法により第１および第２の３次元座標情報を導出するものであってもよい。
【0014】
本開示による画像位置合わせ方法は、それぞれ複数の断層画像を含み、共通の構造物を含む第１の３次元画像および第２の３次元画像のそれぞれについて、断層画像と交わる方向における構造物の端部を規定する第１の３次元座標情報および第２の３次元座標情報を導出し、
第１の３次元座標情報および第２の３次元座標情報を用いて、第１の３次元画像および第２の３次元画像にそれぞれ含まれる共通の構造物の、少なくとも断層画像と交わる方向における位置合わせを行うことにより、第１の３次元画像と第２の３次元画像との、少なくとも断層画像と交わる方向における位置合わせを行う。
第１の３次元座標情報および第２の３次元座標情報を用いて、第１の３次元画像および第２の３次元画像にそれぞれ含まれる共通の構造物の、少なくとも断層画像と交わる方向における位置合わせを行うことにより、第１の３次元画像と第２の３次元画像との、少なくとも断層画像と交わる方向における位置合わせを行う。
【0015】
なお、本開示による画像位置合わせ方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【0016】
本開示によれば、複数の３次元画像の位置合わせを迅速かつ精度よく行うことができる。
【図面の簡単な説明】
【0017】
【図1】本開示の実施形態による画像位置合わせ装置を適用した医療情報システムの概略構成を示す図
【図2】本実施形態による画像位置合わせ装置の概略構成を示す図
【図3】本実施形態による画像位置合わせ装置の機能構成図
【図4】人体の胴体部分のコロナル断面を模式的に示す図
【図5】断層画像の選択を説明するための図
【図6】３次元座標情報の導出を説明するための図
【図7】バウンディングボックスを３次元的に示す図
【図8】本実施形態における導出モデルに用いられるネットワークの構成を示すブロック図
【図9】教師データの例を示す図
【図10】バウンディングボックスと３次元座標情報との関係を説明するための図
【図11】肺が見切れている３次元画像を示す図
【図12】肝臓の断層面の位置に応じた教師データの導出を説明するための図
【図13】３次元座標情報の導出の精度を説明するための図
【図14】ある臓器から見た断層画像の相対位置と、損失に対する重みとの関係を示す図
【図15】３次元座標情報の導出を説明するための図
【図16】３次元座標情報の導出を説明するための図
【図17】仮の３次元座標情報の統合を説明するための図
【図18】位置合わせを説明するための図
【図19】位置合わせを説明するための図
【図20】表示画面を示す図
【図21】本実施形態において行われる学習処理を示すフローチャート
【図22】本実施形態において行われる画像位置合わせを示すフローチャート
【図23】断層画像の選択を説明するための図
【発明を実施するための形態】
【0018】
以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による画像位置合わせ装置を適用した医療情報システム１の構成について説明する。図１は、医療情報システム１の概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
【0019】
図１に示すように、医療情報システム１は、複数の撮影装置２、読影端末である複数の読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像データベース（以下、画像ＤＢ（DataBase）とする）６、レポートサーバ７およびレポートデータベース（以下レポートＤＢとする）８が、有線または無線のネットワーク１０を介して互いに通信可能な状態で接続されて構成されている。
【0020】
各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ネットワーク１０に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）およびＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。
【0021】
撮影装置２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。本実施形態においては、撮影装置２において、複数のスライス画像からなる３次元画像を医用画像として取得するものとする。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ６に保存される。
【0022】
読影ＷＳ３は、例えば放射線科の読影医が、医用画像の読影および読影レポートの作成等に利用するコンピュータであり、本実施形態による画像位置合わせ装置を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、および医用画像に関する所見文の入力受け付け等が行われる。また、読影ＷＳ３では、医用画像の読影、読影結果に基づく読影レポートの作成、レポートサーバ７に対する読影レポートの登録要求と閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。
【0023】
診療ＷＳ４は、診療科の医師が、画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療ＷＳ４では、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。
【0024】
画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像ＤＢ６が構成されるストレージを備えている。ストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。
【0025】
画像ＤＢ６には、撮影装置２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。また、本実施形態においては、画像ＤＢ６には、同一患者についての撮影日時が異なる複数の医用画像、または同一患者についての撮影装置が異なる複数の医用画像を保管して管理しているものとする。例えば、画像ＤＢ６は、同一患者について、ＣＴ装置およびＭＲＩ装置により同時期に取得されたＣＴ画像およびＭＲＩ画像を保管して管理している。
【0026】
また、画像サーバ５は、読影ＷＳ３および診療ＷＳ４からの閲覧要求をネットワーク１０経由で受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３および診療ＷＳ４に送信する。なお、本実施形態においては、画像サーバ５には、後述する導出モデル２３Ａを学習するための多数の教師データが保存されている。画像サーバ５は、教師データの取得要求をネットワーク１０経由で受信すると、教師データを要求元の読影ＷＳ３に送信する。
【0027】
レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。
【0028】
レポートＤＢ８には、読影医が読影ＷＳ３を用いて作成した所見文を少なくとも含む読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ＩＤ、読影を行った読影医を識別するための読影医ＩＤ、病変名、病変の位置情報、特定領域を含む医用画像にアクセスするための情報、および性状情報等の情報を含んでいてもよい。
【0029】
また、レポートサーバ７は、読影ＷＳ３および診療ＷＳ４からの読影レポートの閲覧要求をネットワーク１０経由で受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影ＷＳ３および診療ＷＳ４に送信する。
【0030】
なお、本実施形態においては、ＣＴ画像およびＭＲＩ画像等の３次元画像を読影の対象とする。しかしながら、読影の対象は、ＣＴ画像およびＭＲＩ画像に限定されるものではなく、単純Ｘ線撮影装置により取得された単純２次元画像等の任意の医用画像を用いることができる。
【0031】
ネットワーク１０は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
【0032】
次いで、本開示の実施形態による画像位置合わせ装置について説明する。図２は、本実施形態による画像位置合わせ装置のハードウェア構成を説明する。図２に示すように、画像位置合わせ装置（以下、画像位置合わせ装置で代表させる）２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、画像位置合わせ装置２０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク１０に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
【0033】
ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、画像位置合わせプログラム１２Ａおよび学習プログラム１２Ｂが記憶される。ＣＰＵ１１は、ストレージ１３から画像位置合わせプログラム１２Ａおよび学習プログラム１２Ｂを読み出してからメモリ１６に展開し、展開した画像位置合わせプログラム１２Ａおよび学習プログラム１２Ｂを実行する。
【0034】
次いで、本実施形態による画像位置合わせ装置の機能的な構成を説明する。図３は、本実施形態による画像位置合わせ装置の機能的な構成を示す図である。図３に示すように画像位置合わせ装置２０は、ＣＰＵ１１が、画像位置合わせプログラム１２Ａおよび学習プログラム１２Ｂを実行することにより、画像取得部２１、選択部２２、導出部２３、学習部２４、位置合わせ部２５、表示制御部２６、保存制御部２７および通信部２８として機能する。
【0035】
画像取得部２１は、操作者である読影医による入力デバイス１５からの指示により、画像サーバ５から読影レポートを作成するためのＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２を取得する。ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２は同一患者を同時期に撮影することにより取得されたものである。なお、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２は、複数の断層画像を含む３次元画像である。このため、本実施形態においては、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２を区別しない場合には、単に３次元画像と称する場合があるものとする。ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２が、本開示の第１の３次元画像および第２の３次元画像にそれぞれ対応する。
【0036】
選択部２２は、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２から断層画像を選択する。ここで、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２は３次元画像であり、患者の体軸に交わるアキシャル断面を表す複数の断層画像からなる。図４は、人体の胴体部分のコロナル断面を模式的に示す図である。コロナル断面は患者を正面から見た断面である。人体内には、図４に示す肺、心臓、肝臓、胃、小腸、大腸および腎臓（破線で示す）に加えて、脳、骨および血管等の構造物が存在し、アキシャル断面の位置に応じて、断層画像に含まれる構造物が異なる。例えば、断層面Ｄ０１の断層画像は肺および心臓等を含み、断層面Ｄ０２の断層画像は肝臓および胃等を含み、断層面Ｄ０３の断層画像は腎臓、大腸および小腸等を含む。
【0037】
本実施形態においては、選択部２２は、上述したように画像取得部２１が取得したＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２のそれぞれから、予め定められた間隔により複数の断層画像を選択する。図５は断層画像の選択を説明するための図である。図５に示すように、選択部２２は、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２を構成する断層画像を等間隔で間引くことにより、複数の断層面Ｄｋのそれぞれを表す断層画像ＤＧｋ（ここではｋ＝１～８）を選択する。なお、以降の説明においては、図５に示すように人体を正面から見た場合の左右方向をｘ方向、奥行き方向をｙ方向、上下方向すなわち体軸方向をｚ方向とする。断層画像により表される断層面は、３次元画像におけるｘｙ方向の断層面となる。
【0038】
導出部２３は、３次元画像Ｇ１，Ｇ２において、選択部２２が選択した断層画像ＤＧｋと交わる方向における、断層画像ＤＧｋに含まれる構造物の端部を規定する３次元座標情報を導出する。具体的には、３次元画像Ｇ１，Ｇ２において、選択部２２が選択した断層画像ＤＧｋから、断層画像ＤＧｋに含まれる構造物の断層面内の位置を規定し、かつ断層画像ＤＧｋと交わる方向における構造物の端部の断層面外の位置を規定する３次元座標情報を導出する。例えば、図５に示す断層面Ｄ３を表す断層画像ＤＧ３に関して、導出部２３は、３次元画像Ｇ１，Ｇ２において、選択した断層画像ＤＧ３に含まれる左右の肺のそれぞれの断層面内の位置を規定し、かつ断層画像ＤＧ３と交わる方向における左右の肺の断層面外にある上下端部を規定する３次元座標情報を導出する。本実施形態において、断層画像ＤＧ３と交わる方向は体軸方向であるｚ方向である。３次元座標情報は、図６に示すように、３次元画像Ｇ１，Ｇ２において、断層画像ＤＧ３に含まれる左右の肺を囲むバウンディングボックス４０Ｒ，４０Ｌを規定する複数の頂点の座標値である。なお、図６および以降の説明においては、３次元画像Ｇ１，Ｇ２を２次元で、バウンディングボックスを矩形の領域で表す場合があるものとする。
【0039】
図７はバウンディングボックスを３次元的に示す図である。図７に示すように、断層画像ＤＧ３には、左右の肺の断層像４１Ｒ，４１Ｌが含まれている。３次元画像Ｇ１，Ｇ２においては、左右の肺は図７における破線４２Ｒ，４２Ｌに示すように存在する。導出部２３は、断層画像ＤＧ３から、３次元画像において、肺に外接することにより肺を囲むバウンディングボックス４０Ｒ，４０Ｌを規定する複数の頂点の３次元座標を、３次元座標情報として導出する。
【0040】
ここで、バウンディングボックス４０Ｒ，４０Ｌは、ｘ方向、ｙ方向およびｚ方向に平行な辺を有する直方体である。バウンディングボックス４０Ｒ，４０Ｌを規定する８つの頂点のうち、最も離れた位置にある２つの頂点が規定されれば、直方体の形状を規定できる。例えば、図７に示す頂点４３Ｒ，４４Ｒが規定されれば、バウンディングボックス４０Ｒの直方体の形状を規定できる。本実施形態においては、導出部２３は、３次元画像内において構造物である肺を囲むバウンディングボックス４０Ｒ，４０Ｌを規定する８つの頂点のうちの、最も離れた位置にある２つの頂点の３次元座標を、３次元座標情報として導出するものとする。
【0041】
本実施形態においては、３次元座標情報を導出するために、導出部２３は、断層画像が入力されると、入力された断層画像に含まれる構造物の断層面内の位置を規定し、かつ断層画像と交わる方向における構造物の端部の断層面外の位置を規定する３次元座標情報を出力するように、教師データを用いての機械学習を行うことに構築された導出モデル２３Ａを有する。
【0042】
以下、導出モデル２３Ａを構築するための機械学習について説明する。導出モデル２３Ａを構築するための機械学習は、学習部２４が行う。本実施形態においては、学習部２４は、教師用３次元画像に含まれる教師用断層画像、および教師用３次元画像に含まれる構造物の断層面内の位置を規定し、かつ教師用断層画像と交わる方向における構造物の端部の断層面外の位置を規定する教師用３次元座標情報を含む教師データを用いて、ニューラルネットワークを機械学習することにより、導出モデル２３Ａを構築する。
【0043】
ここで、ニューラルネットワークとして、深層学習（ディープラーニング）がなされた多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（以下ＣＮＮ(Convolutional Neural Network)とする）を用いたＦａｓｔｅｒ－ＲＣＮＮ（Regions with CNN features）が知られている（例えば、米国特許第９８５８４９６号明細書および「Ren, Shaoqing, et al. "Faster R-CNN: Towards real-time object detection with region proposal networks." Advances in neural information processing systems. 2015.」参照）。本実施形態においては、導出モデル２３Ａは、Ｆａｓｔｅｒ－ＲＣＮＮをベースにしたネットワークを機械学習することにより構築されるものとする。
【0044】
なお、導出モデル２３Ａを構築するネットワークは、Ｆａｓｔｅｒ－ＲＣＮＮをベースとしたものに限定されない。例えば、「Wei Liu et al., "SSD: Single Shot MultiBox Detector", ECCV, 2016」、「Joseph Redmon et al., "You Only Look Once: Unified, Real-Time Object Detection", arXiv, 2016」、「Mingxing Tan et al., "EfficientDet: Scalable and Efficient Object Detection", arXiv, 2020」、または「Nicolas Carion et al., "End-to-End Object Detection with Transformers", arXiv, 2020」等の他の物体検出モデルをベースにして導出モデル２３Ａを構築してもよい。
【0045】
ここで、Ｆａｓｔｅｒ－ＲＣＮＮは、入力画像から特徴量を抽出して特徴マップを生成する畳み込み層と、入力画像における物体の候補領域を特定するＲＰＮ（Region Proposal Networks）と、特徴マップおよび物体候補領域を入力として、物体のカテゴリの分類および回帰の結果を出力する分類ネットワークとから構成される。図８は、本実施形態における導出モデル２３Ａに用いられるＦａｓｔｅｒ－ＲＣＮＮをベースにしたネットワークの構成を示すブロック図である。図８に示すように、ネットワーク３０は、入力画像である断層画像ＤＧ０から特徴マップＭ０を生成する畳み込み層３１、特徴マップＭ０に含まれる構造物の候補領域を特定するＲＰＮ３２、および特徴マップＭ０と構造物の候補領域とに基づいて候補領域を分類し、分類した構造物の３次元座標情報を出力する分類ネットワーク３３を含む。
【0046】
畳み込み層３１は、入力された断層画像ＤＧ０に対して各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴データからなる特徴マップを出力する。カーネルは、ｎ×ｎ画素サイズ（例えばｎ＝３）を有し、各要素に重みが設定されている。具体的には入力された画像のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層３１は、カーネルの注目画素をずらしながら、入力された画像または前段の処理層から出力された特徴マップの全体にカーネルを適用する。さらに、畳み込み層３１は、畳み込みされた値に対して、シグモイド関数等の活性化関数を適用し、特徴マップＭ０を出力する。
【0047】
ＲＰＮ３２においては、複数種類のアスペクト比およびサイズを有するアンカーと呼ばれる矩形領域が予め定義される。ＲＰＮ３２においては、複数種類のアンカーを断層画像ＤＧ０から生成された特徴マップＭ０の各画素位置に適用し、断層画像ＤＧ０に含まれる物体候補との重なり率が最も大きいアンカーが選択される。そして、ＲＰＮ３２においては、選択されたアンカーを用いて、物体候補を囲む矩形（正解ボックス）と一致するようにアンカーを回帰させる（すなわち変形および移動させる）処理を、特徴マップＭ０の全画素において行い、正解ボックスと一致するように回帰されたアンカーの位置およびサイズが、入力された断層画像ＤＧ０における物体候補領域Ａ０としてＲＰＮ３２から出力される。
【0048】
分類ネットワーク３３は、全結合層からなり、物体候補領域Ａ０および特徴マップＭ０に基づいて、断層画像ＤＧ０における物体候補領域の分類および分類した構造物の３次元座標情報の導出が行われる。具体的には、断層画像ＤＧ０の画素毎に、物体候補領域Ａ０がある特定の領域であることのスコアを導出し、スコアが最大となる構造物にその画素を分類する。なお、スコアは０～１の値をとる。また、分類された画素からなる領域を囲むバウンディングボックスを規定する３次元座標情報を出力する。
【0049】
次いで、導出モデル２３Ａにおけるネットワーク３０を機械学習するための教師データについて説明する。図９は、教師データの例を示す図である。図９に示すように、教師データ５０は、教師用３次元画像に含まれる教師用断層画像５１、教師用断層画像５１に含まれる構造物を表すラベル５２、および教師用３次元画像において、教師用断層画像５１に含まれる構造物の断層面内の位置を規定し、かつ断層画像と交わる方向における構造物の端部の断層面外の位置を規定する教師用３次元座標情報５３を含む。なお、教師データ５０に含まれる教師用断層画像５１は１つに限定されるものではなく、複数であってもよい。
【0050】
図９に示すように、教師用断層画像５１は構造物として左右の肺を含む。ラベル５２の内容は「肺」である。教師用３次元座標情報５３は、教師用３次元画像に含まれる右肺を囲むバウンディングボックスを規定する３次元座標Ｐ１（ｘ１，ｙ１，ｚ１）、Ｐ２（ｘ２，ｙ２，ｚ２）、および左肺を囲む３次元座標Ｐ３（ｘ３，ｙ３，ｚ３）、Ｐ４（ｘ４，ｙ４，ｚ４）を含む。３次元座標Ｐ１，Ｐ２は、図１０に示すように、教師用断層画像５１に含まれる右肺を囲むバウンディングボックスの最も離れた２点の教師用３次元画像内における位置を規定する。３次元座標Ｐ３，Ｐ４は、教師用断層画像５１に含まれる左肺を囲むバウンディングボックスの最も離れた２点の教師用３次元画像内における位置を規定する。ここで、バウンディングボックスを規定する３次元座標Ｐ１～Ｐ４のｚ座標は、教師用３次元画像を基準とした値を有するものであってもよいが、本実施形態においては、教師用断層画像５１を基準とした値を有するものとする。例えば、本実施形態においては、教師用断層画像５１の各画素のｚ座標の値を０としてバウンディングボックスの３次元座標Ｐ１～Ｐ４のｚ座標の値が定められる。
【0051】
なお、本実施形態において、３次元画像はＣＴ画像およびＭＲＩ画像である。ここで、人体に含まれる各種構造物は、同一の構造物であってもＣＴ画像とＭＲＩ画像とで輝度値の分布範囲が異なる。このため、教師データに含まれる教師用断層画像５１は、それがＣＴ画像であってもＭＲＩ画像であっても、輝度値の分布範囲を一致させるための処理が施されている。輝度値の分布範囲を一致させるための処理としては、例えばＭＲＩ画像の輝度値をＣＴ画像の輝度値に一致させるものであってもよく、ＣＴ画像の輝度値をＭＲＩ画像の輝度値に一致させるものであってもよい。なお、輝度値の分布範囲を一致させる処理は、例えば輝度値を変換するための変換テーブルあるいは変換式等を用いて行えばよい。また、ＣＴ画像およびＭＲＩ画像のそれぞれにおいて、画像内の輝度値分布が０から１までの範囲内に収まるように正規化処理を行うことにより、輝度値の分布範囲を一致させるようにしてもよい。正規化は、ＣＴ画像およびＭＲＩ画像のそれぞれについて、画像内の輝度値分布の標準偏差を求め、画像内の各ボクセルの輝度値をその標準偏差または標準偏差の定数倍の値で除算する等により行えばよい。
【0052】
学習部２４は、教師データ５０に含まれる教師用断層画像５１をネットワーク３０に入力し、教師用断層画像５１に含まれる構造物の分類結果を表すスコア、および構造物の端部を規定する３次元座標情報を出力させる。この場合、教師用断層画像５１に含まれうる複数種類の構造物のそれぞれについてスコアが０～１の値の範囲で導出される。学習部２４は、ラベル５２に規定された構造物のスコアが１となるように、導出されたスコアと１との誤差を損失として導出する。そして、導出した損失により、確率的勾配降下法または誤差逆伝播法を用いて、ネットワーク３０を構成する畳み込み層３１、ＲＰＮ３２および分類ネットワーク３３を学習する。
【0053】
また、学習部２４は、導出された３次元座標情報と、教師データ５０に含まれる教師用３次元座標情報５３との誤差を損失として導出する。そして損失が最小となるように、確率的勾配降下法または誤差逆伝播法を用いて、ネットワーク３０を構成する畳み込み層３１、ＲＰＮ３２および分類ネットワーク３３を学習する。具体的には、ネットワーク３０に含まれる畳み込み層３１における層の数、プーリング層の数、カーネルの係数およびカーネルの大きさ等を導出し、ＲＰＮ３２におけるアンカーの位置および大きさ等を導出し、かつ分類ネットワーク３３を構成する全結合層における結合の重み等を導出することにより、ネットワーク３０を学習する。
【0054】
これにより、ネットワーク３０は、断層画像が入力されると、断層画像に含まれる構造物の分類結果、および分類された構造物を３次元画像内において囲むバウンディングボックスの３次元座標情報を出力するものとなる。
【0055】
なお、３次元画像に含まれる構造物が、その３次元画像内で見切れている場合がある。例えば、図１１に示すように肝臓を中心に撮影を行うことにより取得された３次元画像の場合、肺の上側が見切れている。このような３次元画像を教師用３次元画像として用いて、肺についての教師データを導出する場合、肺の下側（足側）については、肺を囲むバウンディングボックスの教師用３次元座標情報を得ることができる。しかしながら、肺の上側（頭側）についてはバウンディングボックスの教師用３次元座標情報を得ることができない。
【0056】
このような肺が見切れている教師用３次元画像から教師データを生成する場合、教師用３次元画像に含まれる範囲内において、肺を囲むバウンディングボックスについての３次元座標情報を、教師用３次元座標情報として用いる。具体的には、図１１に示すように、右肺については、バウンディングボックス４６Ｒについての最も離れた２つの頂点Ｐ１１，Ｐ１２の３次元座標情報を教師用３次元座標情報として用いる。また、左肺については、バウンディングボックス４６Ｌについての最も離れた２つの頂点Ｐ１３，Ｐ１４の３次元座標情報を教師用３次元座標情報として用いる。さらに、教師データには、肺の上側が見切れていることを表すフラグを付与する。
【0057】
そして、このような教師データを用いてネットワーク３０の学習を行う際には、学習部２４は、ネットワーク３０から出力された３次元座標情報に関して、肺の上側の３次元座標については、教師データとの誤差すなわち損失に対する重みを小さくして、ネットワーク３０の学習を行う。これにより、教師データを生成した教師用３次元画像において、構造物がｚ方向において見切れている場合であっても、見切れている構造物の影響を小さくしてネットワーク３０の学習を行うことができる。
【0058】
また、断層画像に含まれる構造物について、構造物のｚ方向における断層面の位置に応じて、ネットワーク３０を用いての３次元座標情報の導出の精度が異なる。例えば、図１２に示すように、肝臓の上部の断層面Ｄ１１、中部の断層面Ｄ１２および下部の断層面Ｄ１３のそれぞれについて教師データを導出する場合を考える。図１３は３次元座標情報の導出の精度を説明するための図である。なお、図１３には肝臓を囲むバウンディングボックス６０を実線で示し、ネットワーク３０が出力した３次元座標情報に基づくバウンディングボックス（以下出力バウンディングボックスとする）６１を破線で示している。図１３に示すように、肝臓の上部の断層面Ｄ１１を表す断層画像ＤＧ１１をネットワーク３０に入力した場合、出力された肝臓の上部側の３次元座標情報の精度は高いが、下部側の３次元座標情報の精度は低くなる。このため、肝臓の上部において、出力バウンディングボックス６１はバウンディングボックス６０と略一致するが、肝臓の下部において、出力バウンディングボックス６１はバウンディングボックス６０との相違が大きくなる。逆に、肝臓の下部の断層面Ｄ１３を表す断層画像ＤＧ１３をネットワーク３０に入力した場合、出力された肝臓の下部側の３次元座標情報の精度は高いが、上部側の３次元座標情報の精度は低くなる。
【0059】
このため、ネットワーク３０の学習を行う際に、ネットワーク３０により出力された３次元座標情報のｚ座標に関して、学習部２４は、教師データに含まれる教師用断層画像に含まれる構造物の、ｚ方向における断層面の位置に応じて、教師データとの損失の重みを変更して、ネットワーク３０の学習を行う。図１４は、ある臓器から見た断層画像の相対位置と、損失に対する重みとの関係を示す図である。図１４において、実線Ｒ１は、断層画像から予測される「構造物の下端の３次元座標」と正解となる教師用３次元座標との誤差（すなわち損失）に対する重み係数を表す。破線Ｒ２は、断層画像から予測される「構造物の上端の３次元座標」と正解となる教師用３次元座標との誤差に対する重み係数を表す。ここで、重み係数は、その値が大きいほど、学習時における損失、すなわち正解との誤差に対するペナルティが大きいものとなる。
【0060】
実線Ｒ１に示すように、断層画像が臓器の上端付近であれば、下端の３次元座標の予測は難しいため重みは小さくなる。逆に断層画像が臓器の下端付近であれば、下端の３次元座標の予測は容易であるため、重みは大きくなる。一方、破線Ｒ２に示すように、断層画像が臓器の上端付近であれば、上端の３次元座標の予測は容易であるため重みは大きくなる。逆に断層画像が臓器の下端付近であれば、上端の３次元座標の予測は難しいため重みは小さくなる。
【0061】
図１４に示すような重みを用いることにより、上述した図１２に示す肝臓の上部の断層面Ｄ１１を表す断層画像ＤＧ１１を教師用断層画像として用いる場合、導出モデル２３Ａにおけるネットワーク３０から出力された３次元座標情報について、上端側の３次元座標情報に対しては損失に対する重みが大きくなり、下端側の３次元座標情報に対しては損失に対する重みが小さくなる。また、上述した図１２に示す肝臓の下部の断層面Ｄ１３を表す断層画像ＤＧ１３を教師用断層画像として用いる場合、ネットワーク３０から出力された３次元座標情報について、下端側の３次元座標情報に対しては損失に対する重みが大きくなり、上端側の３次元座標情報に対しては損失に対する重みが小さくなる。
【0062】
これにより、３次元座標情報を導出する精度がそれほどよくない教師用断層画像を含む教師データを用いる場合であっても、そのような教師データのネットワーク３０の学習に対する影響を小さくすることができる。このため、構造物の上端および下端を規定する３次元座標情報をより精度よく導出できるように、ネットワーク３０の学習を行うことができる。
【0063】
導出モデル２３Ａは、上記のように機械学習により構築される。このため、導出モデル２３Ａは、断層画像が入力されると、入力された断層画像に含まれる構造物を囲むバウンディングボックスを規定する３次元座標情報を出力する。例えば、選択部２２によって図５に示す断層面Ｄ５を表す断層画像ＤＧ５が選択されたとすると、導出部２３は、断層画像ＤＧ５に含まれる左肺、右肺および肝臓についての３次元画像Ｇ１，Ｇ２内の３次元座標情報を導出する。なお、ＣＴ画像Ｇ１について導出した３次元座標情報が、本開示の第１の３次元座標情報に対応し、ＭＲＩ画像Ｇ２について導出した３次元座標情報が、本開示の第２の３次元座標情報に対応する。
【0064】
ここで、導出モデル２３Ａが出力したバウンディングボックスを規定する３次元座標情報に含まれるｚ座標は、導出モデル２３Ａに入力される断層画像を基準としたものとなる。すなわち、導出モデル２３Ａが出力したバウンディングボックスを規定する３次元座標情報に含まれるｚ座標は、断層画像のｚ座標の値を０としたときの値を有するものとなる。このため、バウンディングボックスを規定する３次元座標情報に含まれるｚ座標を３次元画像Ｇ１，Ｇ２の座標系と一致させるために、導出部２３は、導出モデル２３Ａが出力した３次元座標情報に含まれるｚ座標を、導出モデル２３Ａに入力された断層画像の３次元画像Ｇ１，Ｇ２内におけるｚ座標に基づいて修正する。修正は、導出モデル２３Ａが出力したバウンディングボックスを規定する３次元座標情報に含まれるｚ座標に、断層画像の３次元画像Ｇ１，Ｇ２におけるｚ座標の値を加算することにより行えばよい。
【0065】
このようにして導出された３次元座標情報を用いることにより、図１５に示すように、３次元画像Ｇ１，Ｇ２に右肺を囲むバウンディングボックス６２、左肺を囲むバウンディングボックス６３および肝臓を囲むバウンディングボックス６４を設定することができる。
【0066】
ここで、導出部２３は、３次元座標情報を導出する際に、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２との輝度値の分布範囲を一致させるための前処理を行う。前処理は、上述した教師データの教師用断層画像を生成する場合と同様に行えばよい。
【0067】
なお、導出部２３は、図５に示すように選択された複数の断層画像ＤＧ１～ＤＧ８のそれぞれについて、断層画像ＤＧ１～ＤＧ８に含まれる構造物の上端および下端を規定する３次元座標情報を導出する。この場合、導出部２３は、例えば、肺を含む複数の断層画像ＤＧ２～ＤＧ６のそれぞれについて、３次元画像内の肺を囲むバウンディングボックスを規定する３次元座標情報を導出する。しかしながら、導出モデル２３Ａが出力する３次元座標情報は、構造物が同一であってもすべての断層画像において必ずしも一致するものではない。例えば、右肺について、断層画像ＤＧ２から導出した３次元座標情報により規定されるバウンディングボックス（以下、断層画像ＤＧ２に基づくバウンディングボックスとする）、および断層画像ＤＧ５から導出した３次元座標情報により定められるバウンディングボックス（以下、断層画像ＤＧ５に基づくバウンディングボックスとする）を考える。図１６に示すように、断層画像ＤＧ２に基づくバウンディングボックス６５と、断層画像ＤＧ５に基づくバウンディングボックス６６とでは、その位置は完全には一致しない。
【0068】
このため、導出部２３は、導出モデル２３Ａにより、共通の構造物を含む複数の断層画像のそれぞれについての複数の仮の３次元座標情報を出力する。そして、導出部２３は、導出モデル２３Ａが出力した複数の仮の３次元座標情報を統合して、共通の構造物についての３次元座標情報を導出する。具体的には、導出部２３は、複数の断層画像のそれぞれについて導出モデル２３Ａが出力した仮の３次元座標情報の平均値を導出し、導出した平均値を複数の断層画像に含まれる共通の構造物についての３次元座標情報とする。この場合、平均値としては加算平均値でもよい。
【0069】
なお、仮の３次元座標情報に含まれる座標は、仮の３次元座標情報を導出した断層画像のそれぞれが基準となっている。このため、統合に際しては、複数の仮の３次元座標情報の座標系を共通の座標系、例えば３次元画像Ｇ１，Ｇ２の座標系に変換した上で、複数の仮の３次元座標情報の平均値等を算出する必要がある。以下、統合について詳細に説明する。図１７は仮の３次元座標情報の統合を説明するための図である。なお、以下では、図５に示す２つの断層画像ＤＧ６，ＤＧ７を用いることにより、肝臓を囲むバウンディングボックスの３次元座標情報が求められたものとして説明を行う。また、図１７においては説明のために、アキシャル断面の断層画像を用いた統合の処理を示している。
【0070】
図１７に示すように、断層画像ＤＧ６に基づいてバウンディングボックス６７が導出され、断層画像ＤＧ７に基づいてバウンディングボックス６８が導出されたとする。バウンディングボックス６７の座標系を、断層画像ＤＧ６を基準としたｘ６－ｚ６座標系とする。バウンディングボックス６８の座標系を、断層画像ＤＧ７を基準としたｘ７－ｚ７座標系とする。バウンディングボックス６７の仮の３次元座標情報に基づく上側および下側のｚ座標をそれぞれｚｓ１，ｚｅ１とし、左側および右側のｘ座標をそれぞれｘｓ１，ｘｅ１とする。ｘ６－ｚ６座標系においては断層画像ＤＧ６の位置のｚ座標の値が０となる。また、バウンディングボックス６８の仮の３次元座標情報に基づく上側および下側のｚ座標をそれぞれｚｓ２，ｚｅ２とし、左側および右側のｘ座標をそれぞれｘｓ２，ｘｅ２とする。ｘ７－ｚ７座標系においては断層画像ＤＧ７の位置のｚ座標の値が０となる。
【0071】
導出部２３は、統合に際してバウンディングボックス６７，６８の座標系を３次元画像Ｇ１，Ｇ２の座標系に変換する。ここで、３次元画像Ｇ１，Ｇ２の座標系において、断層画像ＤＧ６のｚ座標をｚ＿Ｄ６、断層画像ＤＧ７のｚ座標をｚ＿Ｄ７とすると、導出部２３は、バウンディングボックス６７の上側および下側のｚ座標にｚ＿Ｄ６を加算し、バウンディングボックス６８の上側および下側のｚ座標にｚ＿Ｄ７を加算することにより、座標系を変換する。これにより、バウンディングボックス６７の上側および下側のｚ座標はそれぞれｚｓ１＋ｚ＿Ｄ６，ｚｅ１＋ｚ＿Ｄ６となる。また、バウンディングボックス６８の上側および下側のｚ座標はそれぞれｚｓ２＋ｚ＿Ｄ７，ｚｅ２＋ｚ＿Ｄ７となる。なお、バウンディングボックス６７，６８のｘ座標およびｙ座標については変換されない。
【0072】
そして、導出部２３は、バウンディングボックス６７，６８のそれぞれについての座標変換後の仮の３次元座標情報の平均値を算出することにより、仮の３次元座標情報を統合する。具体的には、座標変換後のバウンディングボックス６７，６８のｚ座標およびｘ座標の加算平均を算出することにより、仮の３次元座標情報を統合する。これにより、統合されたバウンディングボックス６９の上側のｚ座標は｛（ｚｓ１＋ｚ＿Ｄ６）＋（ｚｓ２＋ｚ＿Ｄ７）｝／２となり、下側のｚ座標は｛（ｚｅ１＋ｚ＿Ｄ６）＋（ｚｅ２＋ｚ＿Ｄ７）｝／２となる。なお、バウンディングボックス６９の左側のｘ座標は（ｘｓ１＋ｘｓ２）／２となり、右側のｘ座標は（ｘｅ１＋ｘｅ２）／２となる。なお、バウンディングボックス６９のｙ軸方向の座標値については、ｘ軸方向と同様に算出すればよい。
【0073】
一方、上述したように導出モデル２３Ａを構成するネットワーク３０を学習する場合と同様に、断層画像に含まれる構造物のｚ方向における断層面の位置に応じて、導出モデル２３Ａが出力する３次元座標情報の精度が異なる。例えば、図５に示す断層面Ｄ２を表す断層画像ＤＧ２を用いた場合、肺の上端側の３次元座標情報の精度は高いが、肺の下端側の３次元座標情報の精度は上端ほど高くない。一方、断層面Ｄ５を表す断層画像ＤＧ５を用いた場合、肺の下端側の３次元座標情報の精度は高いが、肺の上端側の３次元座標情報の精度は下端ほど高くない。このため、各断層画像について導出した構造物の仮の３次元座標情報を統合するに際して、各断層画像に含まれる構造物のｚ方向における断層面の位置に応じた重み付け平均値を、最終的な３次元座標情報として導出することが好ましい。
【0074】
例えば、説明のために、４つの断層面Ｄ２～Ｄ５のそれぞれを表す４つの断層画像ＤＧ２～ＤＧ５について、導出モデル２３Ａが出力し、かつ共通の座標系に変換した右肺の上端側の３次元座標情報をＰｕ２２～Ｐｕ２５とした場合、下記の式（１）により、最終的な右肺の上端側の３次元座標情報Ｐｕ０を導出する。また、導出モデル２３Ａが出力し、かつ共通の座標系に変換した右肺の下端側の３次元座標情報をＰｌ２２～Ｐｌ２５とした場合、下記の式（２）により、最終的な右肺の下端の３次元座標情報Ｐｌ０を導出する。
Pu0=w12*Pu22+w13*Pu23+w14*Pu24+w15*Pu25 （１）
Pl0=w22*Pl22+w23*Pl23+w24*Pl24+w25*Pl25 （２）
Pu0=w12*Pu22+w13*Pu23+w14*Pu24+w15*Pu25 （１）
Pl0=w22*Pl22+w23*Pl23+w24*Pl24+w25*Pl25 （２）
【0075】
式（１）においてｗ１２～ｗ１５は重み係数であり、ｗ１２＋ｗ１３＋ｗ１４＋ｗ１５＝１かつｗ１２＞ｗ１３＞ｗ１４＞ｗ１５である。式（２）において、ｗ２２～ｗ２５は重み係数であり、ｗ２２＋ｗ２３＋ｗ２４＋ｗ２５＝１かつｗ２２＜ｗ２３＜ｗ２４＜ｗ２５である。これにより、複数の断層画像に同一の構造物が含まれる場合であっても、構造物のｚ方向における断層面の位置に拘わらず、精度よく３次元座標情報を導出することができる。
【0076】
位置合わせ部２５は、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２との位置合わせを行う。このために、位置合わせ部２５は、導出部２３が導出した、ＣＴ画像Ｇ１に含まれる構造物の３次元座標情報と、ＭＲＩ画像Ｇ２に含まれる構造物の３次元座標情報とを用いて、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２にバウンディングボックスを設定する。そして、位置合わせ部２５は、バウンディングボックスを用いてＣＴ画像Ｇ１とＭＲＩ画像Ｇ２との位置合わせを行う。
【0077】
図１８は、ＣＴ画像とＭＲＩ画像との位置合わせを説明するための図である。なお、ここでは、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２のそれぞれにおいて、右肺、左肺および肝臓に対してのみ、バウンディングボックス７１Ａ～７１Ｃ、７２Ａ～７２Ｃが設定されているものとして説明する。
【0078】
位置合わせ部２５は、ＣＴ画像Ｇ１において、バウンディングボックス７１Ａ～７１Ｃのそれぞれの重心位置ｇ１Ａ～ｇ１Ｃを導出する。また、位置合わせ部２５は、ＭＲＩ画像Ｇ２において、バウンディングボックス７２Ａ～７２Ｃのそれぞれの重心位置ｇ２Ａ～ｇ２Ｃを導出する。重心位置ｇ１Ａ～ｇ１Ｃが第１の重心位置の一例であり、重心位置ｇ２Ａ～ｇ２Ｃが第２の重心位置の一例である。そして、互いに対応する重心位置ｇ１Ａ～ｇ１Ｃおよび重心位置ｇ２Ａ～ｇ２Ｃの、ｘ方向、ｙ方向およびｚ方向の位置が一致するように、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の位置合わせを行う。具体的には、位置合わせ部２５は、重心位置ｇ１Ａと重心位置ｇ２Ａとの相違、重心位置ｇ１Ｂと重心位置ｇ２Ｂとの相違、および重心位置ｇ１Ｃと重心位置ｇ２Ｃとの相違の和が最小となるように、例えば最小自乗法を用いてＣＴ画像Ｇ１に対するＭＲＩ画像Ｇ２の平行移動量、拡大率および回転量の少なくとも１つを含む位置合わせ量を導出する。そして位置合わせ部２５は、導出した位置合わせ量に基づいて、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の一方を他方に対して平行移動、拡大縮小および／または回転させることにより、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２との位置合わせを行う。
【0079】
なお、図１９に示すように、ＣＴ画像Ｇ１について導出した第１の重心位置ｇ１Ａ～ｇ１Ｃを統合した第１の統合重心位置ｇｕ１と、ＭＲＩ画像Ｇ２について導出した第２の重心位置ｇ２Ａ～ｇ２Ｃを統合した第２の統合重心位置ｇｕ２とをそれぞれ導出し、導出した第１の統合重心位置ｇｕ１と第２の統合重心位置ｇｕ２とが一致するように位置合わせを行うようにしてもよい。なお、第１の統合重心位置ｇｕ１は重心位置ｇ１Ａ～ｇ１Ｃの重心位置であり、第２の統合重心位置ｇｕ２は第２の重心位置ｇ２Ａ～ｇ２Ｃの重心位置である。また、注目する構造物を囲むバウンディングボックスの重心のみを用いて位置合わせを行うようにしてもよい。また、重心位置ｇ１Ａ～ｇ１Ｃのそれぞれと、重心位置ｇ２Ａ～ｇ２Ｃのそれぞれとが一致するように、ＣＴ画像Ｇ１に対してＭＲＩ画像Ｇ２を非線形に変形することにより、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２との位置合わせを行うようにしてもよい。
【0080】
表示制御部２６は、３次元画像Ｇ１，Ｇ２をディスプレイ１４に表示する。図２０は３次元画像の表示画面を示す図である。図２０に示すように３次元画像の表示画面８０は、画像表示領域８１および文章表示領域８２を含む。画像表示領域８１は、ＣＴ画像Ｇ１を表示するための第１表示領域８３、およびＭＲＩ画像Ｇ２を表示するための第２表示領域８４を含む。第１表示領域８３および第２表示領域８４には、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２に含まれる断層画像が表示される。表示される断層画像は、入力デバイス１５を用いてＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２のいずれかを選択し、入力デバイス１５のマウスが備えるスクロールホイール等を用いて切り替え表示することができる。なお、第１表示領域８３に表示されるＣＴ画像Ｇ１と第２表示領域８４に表示されるＭＲＩ画像Ｇ２とのｘｙ方向の位置は、位置合わせ部２５により位置合わせがなされている。このため、第１表示領域８３および第２表示領域８４に表示される、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２に含まれる被写体の断層面の画像上の位置は一致しているものとなる。
【0081】
なお、読影医によって、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２とで別々の断層面を読影したい場合もあれば、表示される断層面を同期させたい場合もある。このため、本実施形態においては、表示される断層画像のｚ方向の位置、すなわち断層面の位置に関しては、後述する同期ボタンにより、表示する断層面の同期および非同期を切り替えるようにしている。
【0082】
文章表示領域８２には、読影医によるＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の読影結果を表す所見文が、入力デバイス１５を用いて入力される。
【0083】
画像表示領域８１の下方には、同期ボタン８６が表示されている。同期ボタン８６は、画像表示領域８１に表示されているＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の断層面の位置の同期および非同期を切り替えるためのものである。読影医は、ＣＴ画像Ｇ１またはＭＲＩ画像Ｇ２における所望とする断層面の断層画像を表示し、同期ボタン８６を選択することにより、表示されるＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の断層面の位置を一致させることができる。断層面の位置の一致は、位置合わせ部２５による位置合わせ量のうちのｚ方向の平行移動量についての位置合わせ量を用いる。これにより、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２における表示される断層画像が同一の断層面を表すものとなる。したがって、ＣＴ画像Ｇ１またはＭＲＩ画像Ｇ２のいずれか一方の断層面を切り替えることによって、他方の断層面も同期して切り替えることができる。また、断層面を同期させた後に同期ボタン８６が再度選択されると、同期が解除される。これにより、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２とで別々の断層面の断層画像を表示することが可能となる。
【0084】
文章表示領域８２の下方には確定ボタン８７が表示されている。読影医は、所見文の入力後、入力デバイス１５を用いて確定ボタン８７を選択することにより、所見文の入力内容を確定することができる。
【0085】
保存制御部２７は、読影医による確定ボタン８７の選択により、文章表示領域８２に記述された所見文を読影レポートに転記し、読影レポートおよび読影レポートを生成する際に参照したＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の断層画像を併せて、ストレージ１３に保存する。
【0086】
通信部２８は、文章表示領域８２に記述された所見文が転記された読影レポート、および読影レポートを生成する際に参照したＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の断層画像を併せて、ネットワークＩ／Ｆ１７を介してレポートサーバ７に転送する。レポートサーバ７は、読影レポートおよびスライス画像を併せて保存する。
【0087】
次いで、本実施形態において行われる処理について説明する。図２１は本実施形態において行われる学習処理を示すフローチャートである。なお、複数の教師データが画像サーバ５から取得されて、ストレージ１３に保存されているものとする。まず、学習部２４が、ネットワーク３０に対して教師データに含まれる教師用断層画像を入力し（ステップＳＴ１）、教師データに含まれるラベルおよび教師用３次元座標情報と、ネットワーク３０から出力された構造物についてのスコアおよび３次元座標情報とに基づいて、損失を導出する（ステップＳＴ２）。
【0088】
そして、学習部２４は、損失が予め定められたしきい値以下となるように、ネットワーク３０を学習する（ステップＳＴ３）。その後、ステップＳＴ１にリターンし、次の教師データをストレージ１３から取得して、ステップＳＴ１～ステップＳＴ３の処理を繰り返す。なお、ステップＳＴ１～ステップＳＴ３の処理は、損失が予め定められたしきい値以下となるまで繰り返してもよく、予め定められた回数繰り返してもよい。これにより、学習済みの導出モデル２３Ａが構築される。
【0089】
次いで、本実施形態において行われる画像位置合わせについて説明する。図２２は本実施形態において行われる画像位置合わせを示すフローチャートである。なお、読影の対象となるＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２は、画像取得部２１により画像サーバ５から取得されて、ストレージ１３に保存されているものとする。読影レポートの作成の指示が読影医により行われることにより処理が開始され、選択部２２が、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２から、少なくとも１つの構造物を含む少なくとも１つの断層画像を選択する（ステップＳＴ１１）。次いで、導出部２３が、選択部２２が選択した断層画像ＤＧｋから、断層画像ＤＧｋに含まれる構造物の断層面内の位置を規定し、かつ断層画像ＤＧｋと交わる方向における構造物の端部の断層面外の位置を規定する３次元座標情報を導出する（ステップＳＴ１２）。
【0090】
次いで、位置合わせ部２５が、３次元座標情報に基づくバウンディングボックスをＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２に設定し（ステップＳＴ１３）、設定したバウンディングボックスを用いて、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の位置合わせを行う（ステップＳＴ１４）。次いで、表示制御部２６が、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２を表示画面８０に表示する（ステップＳＴ１５）。続いて、同期ボタン８６が選択されたか否かの監視が開始される（ステップＳＴ１６）。ステップＳＴ１６が肯定されると、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２のｚ方向の位置を同期させて、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２を表示し（同期表示切り替え；ステップＳＴ１７）、ステップＳＴ１６に戻る。この状態において、読影医は、表示されたＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２を読影して、文章表示領域８２に所見文を入力することができる。なお、同期表示中に同期ボタン８６が再度選択されると、同期表示から非同期表示に切り替えられることとなる。
【0091】
ステップＳＴ１６が否定されると、表示制御部２６が、確定ボタン８７が選択されたか否かを判定し（ステップＳＴ１８）、ステップＳＴ１８が否定されると、ステップＳＴ１６に戻る。ステップＳＴ１８が肯定されると、保存制御部２７が、所見文をＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２についての読影レポートに転記し、読影レポート、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２を併せて、ストレージ１３に保存する（読影レポート等保存；ステップＳＴ１９）。そして、通信部２８が、読影レポート、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２を併せて、ネットワークＩ／Ｆ１７を介してレポートサーバ７に転送し（読影レポート等転送；ステップＳＴ２０）、処理を終了する。
【0092】
このように、本実施形態においては、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２における断層画像に含まれる構造物の、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２のそれぞれにおける端部を規定する第１および第２の３次元座標情報を導出する。そして、第１のおよび第２の３次元座標情報を用いて、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２にそれぞれ含まれる同一の構造物の、少なくとも断層画像と交わる方向における位置合わせを行うことにより、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２との、少なくとも断層画像と交わる方向における位置合わせを行うようにした。このため、３次元画像の対応する画素同士を位置合わせしたり、特開２００９－１６００４５号公報に記載された手法のように複数の特徴点を用いたりする場合よりも、位置合わせのための演算量を少なくすることができる。また、本実施形態においては、構造物の位置に基づいて位置合わせを行うようにしたため、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２のように、異なる撮影装置により取得された画像であっても、精度よく位置合わせを行うことができる。したがって、本実施形態によれば、複数の３次元画像の位置合わせを迅速かつ精度よく行うことができる。
【0093】
とくに、第１および第２の３次元座標情報に基づいて、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２にバウンディングボックスを設定し、バウンディングボックスの重心位置を用いることにより、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２との位置合わせを、より少ない演算量にて迅速に行うことができる。
【0094】
また、本実施形態においては、ＣＴ画像Ｇ１またはＭＲＩ画像Ｇ２のような３次元画像から選択された２次元の断層画像から、断層画像に含まれる構造物の３次元画像における端部を規定する３次元座標情報を導出するようにした。とくに、断層画像ＤＧｋに含まれる構造物の断層面内の位置を規定し、かつ断層画像ＤＧｋと交わる方向における構造物の端部の断層面外の位置を規定する３次元座標情報を導出するようにした。このため、３次元画像そのものを用いて３次元画像に含まれる構造物の３次元座標情報を導出する場合と比較して、処理が必要な情報量が少なくなる。これにより、少ない演算量により３次元座標情報を導出することができる。したがって、本実施形態によれば、３次元画像において構造物の範囲を示す３次元座標を効率よく設定することができる。
【0095】
また、本実施形態においては、導出された３次元座標情報を用いることにより、３次元画像に含まれる構造物に対して、効率よくバウンディングボックスを設定することができる。また、設定されたバウンディングボックスを用いることにより、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の位置合わせを効率よく行うことができる。
【0096】
なお、上記実施形態においては、導出部２３において、１つの断層画像の入力により、その断層画像に含まれる構造物の３次元座標情報を導出するようにしているが、これに限定されるものではない。複数の断層画像を１つの組として導出モデル２３Ａに入力することにより、複数の断層画像のそれぞれに含まれる共通の構造物について１つの３次元座標情報を導出するようにしてもよい。例えば、図２３に示すように、断層画像ＤＧ３および断層画像ＤＧ３に隣接する複数の断層画像（図２３においては合計５つ）を１組として導出モデル２３Ａに入力することにより、左肺についての１つの３次元座標情報を導出するようにしてもよい。すなわち、５つの断層画像の入力により、左肺を囲む１つのバウンディングボックスを規定する２点の３次元座標を導出するようにしてもよい。
【0097】
この場合、導出モデル２３Ａは、共通する構造物を含む複数の教師用断層画像、複数の教師用断層画像に共通する構造物についてのラベル、およびその構造物についての教師用３次元座標情報からなる教師データを用いた機械学習により構築される。これにより、複数の断層画像の組が入力されると、複数の断層画像に含まれる共通の構造物の端部を規定する３次元座標情報を出力する導出モデル２３Ａを構築することができる。
【0098】
なお、この場合、導出モデル２３Ａに入力される断層画像の数はいくつであってもよいが、３次元画像を構成するすべての断層画像の数よりも少ないものとする。これにより、３次元画像そのものを用いる場合よりも、少ない演算量により３次元座標情報を導出することができる。
【0099】
また、上記実施形態において、ＣＴ画像Ｇ１からの３次元座標情報の導出と、ＭＲＩ画像Ｇ２からの３次元座標情報の導出とをそれぞれ異なる導出モデルにより行うようにしてもよい。例えば、ＣＴ画像Ｇ１から３次元座標情報を導出する導出モデルとして、１つの断層画像の入力により３次元座標情報を導出するモデルを使用し、ＭＲＩ画像Ｇ２から３次元座標情報を導出する導出モデルとして、複数の断層画像の入力により複数の断層画像に共通する構造物についての１つの３次元座標情報を導出するモデルを使用してもよい。
【0100】
また、上記実施形態においては、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２からそれぞれ同数の断層画像を選択しているが、これに限定されるものではない。ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２のそれぞれから異なる数の断層画像を選択してもよい。例えば、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２のいずれか一方からは、１枚の断層画像のみを選択するようにしてもよい。ここで、ＣＴ画像Ｇ１から１枚の断層画像のみを選択したとすると、選択した１枚の断層画像を用いて、選択した１枚の断層画像に含まれる構造物を囲むバウンディングボックスをＣＴ画像Ｇ１に設定できる。一方、ＭＲＩ画像Ｇ２については、上記実施形態と同様に、複数の断層画像のそれぞれに含まれる構造物を囲むバウンディングボックスをＭＲＩ画像Ｇ２に設定できる。したがって、ＭＲＩ画像Ｇ２については、ＣＴ画像Ｇ１において３次元座標情報を導出した構造物を含むすべての構造物について３次元座標情報を導出してバウンディングボックスを設定できる。このため、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２とで異なる数の断層画像を選択したとしても、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２との位置合わせを行うことができる。したがって、より少ない演算量により、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２との位置合わせを行うことができる。
【0101】
また、上記実施形態においては、選択部２２が、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２から断層画像を選択しているが、これに限定されるものではない。表示制御部２６が、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２をディスプレイ１４に表示し、表示されたＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２から操作者による所望とする断層面の選択を受け付けることにより、選択部２２が断層画像を選択するようにしてもよい。
【0102】
また、上記実施形態においては、導出部２３が、バウンディングボックスにおける８つの頂点のうち、最も離れた位置にある２つの頂点を３次元座標情報として導出しているが、これに限定されるものではない。導出部２３は、最も離れた位置にある２つの頂点以外の、バウンディングボックスを規定することが可能な複数の頂点を３次元座標情報として導出するものとしてもよい。例えば、バウンディングボックスを規定する８つの頂点のすべての３次元座標を３次元座標情報として導出するものとしてもよい。この場合、導出モデル２３Ａは、断層画像が入力されると、構造物を囲むバウンディングボックスおける予め定められた複数の頂点についての３次元座標情報を出力するものとなるように構築すればよい。このような導出モデル２３Ａの学習は、バウンディングボックスにおける予め定められた複数の頂点についての教師用３次元座標情報を含む教師データを用いて行えばよい。
【0103】
また、上記実施形態においては、導出部２３が、構造物の向きの情報を導出するものとしてもよい。この場合、導出モデル２３Ａは構造物の向きの情報を含む教師データを用いて機械学習を行うことにより、断層画像が入力されると、構造物の端部を規定する３次元座標情報に加えて、構造物の向きの情報を出力するものとなるように構築すればよい。
【0104】
このように導出モデル２３Ａを構築した場合、以下のような処理を行うことが可能となる。すなわち、例えば、ＭＲＩ画像を撮影する１回の検査において、アキシャル方向のＭＲＩ画像とサジタル方向のＭＲＩ画像とが混在している場合がある。このような場合、双方の画像を用いて、構造物の３次元座標情報を決定する。すなわち、アキシャル方向のＭＲＩ画像とサジタル方向のＭＲＩ画像のそれぞれの断層画像から、構造物の向きの情報も出力するように構築された導出モデル２３Ａを用いて、構造物の仮の３次元座標情報と向きとを導出する。ここで、両方向のＭＲＩ画像には、画像に付帯する付帯情報（例えばＤＩＣＯＭ情報）にアキシャル画像とサジタル画像との断面間の相対的な位置と向きとの関係を表す情報が含まれる。このため、導出モデル２３Ａが導出した仮の３次元座標情報および向きと、アキシャル画像およびサジタル画像の断面間の相対的な位置および向きの関係を表す情報とに基づいて、仮の３次元座標情報を統合することにより、より精度よく構造物の端部を規定する３次元座標情報を求めることができる。
【0105】
また、上記実施形態においては、異なる撮影装置により取得されたＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２の位置合わせのために、ＣＴ画像Ｇ１およびＭＲＩ画像Ｇ２に含まれる構造物についての３次元座標情報を導出しているが、処理対象の画像はこれらに限定されるものではない。例えば、同一患者についての最新の３次元画像（対象３次元画像とする）と、過去に撮影することにより取得された過去３次元画像との位置合わせを行う場合にも、本開示の技術を適用することができる。
【0106】
この場合、選択部２２は、対象３次元画像および過去３次元画像のそれぞれから少なくとも１つの断層画像を選択し、導出部２３は、対象３次元画像および過去３次元画像のそれぞれにおいて、選択した断層画像と交わる方向における構造物の端部を規定する３次元座標情報を導出するものとすればよい。なお、対象３次元画像および過去３次元画像は、同一の撮影装置により取得されたものであってもよく、異なる撮影装置により取得されたものであってもよい。例えば、対象３次元画像がＣＴ画像であり、過去３次元画像がＭＲＩ画像であってもよい。これにより、同一患者についての経過観察を行う場合にも、対象３次元画像と過去３次元画像との断層面の位置合わせを効率よく行うことができる。
【0107】
また、本実施形態においては、例えば造影剤を用いて撮影を行う場合における、造影前のＣＴ画像および造影後のＣＴ画像を位置合わせの対象とすることもできる。この場合、選択部２２は、造影前のＣＴ画像および造影後のＣＴ画像のそれぞれから少なくとも１つの断層画像を選択し、導出部２３は、造影前のＣＴ画像および造影後のＣＴ画像のそれぞれにおいて、選択した断層画像と交わる方向における構造物の端部を規定する３次元座標情報を導出するものとすればよい。これにより、造影前後の患者の状態の観察を行う場合にも、造影前のＣＴ画像と造影後のＣＴ画像との表示される断層面の位置合わせを効率よく行うことができる。
【0108】
また、上記実施形態においては、ｘ方向、ｙ方向およびｚ方向の位置合わせを行っているが、これに限定されるものではない。ｘ方向およびｙ方向については、ＣＴ画像Ｇ１とＭＲＩ画像Ｇ２とで撮影時に概ね位置合わせがなされている。このため、ｚ方向のみの位置合わせを行うようにしてもよい。
【0109】
また、上記実施形態においては、３次元画像から選択する断層画像として、アキシャル断面の断層画像を選択しているが、これに限定されるものではない。コロナル断面またはサジタル断面の断層画像を選択するようにしてもよい。この場合、導出部２３における導出モデル２３Ａは、コロナル断面またはサジタル断面の断層画像の入力により、３次元画像において、コロナル断面またはサジタル断面に交わる方向における構造物の端部を規定する３次元座標情報を導出するものとなるように構築すればよい。この場合、導出モデル２３Ａの学習には、コロナル断面またはサジタル断面の教師用断層画像を含む教師データが用いられることとなる。
【0110】
また、上記実施形態において、１つの断層画像に構造物の断層面の全体が含まれず、その断層画像内において構造物が見切れている場合がある。このような場合、断層画像と交わる方向に加えて、断層画像により表される断層面内における構造物の端部を規定する３次元座標情報を導出するようにすればよい。
【0111】
また、上記実施形態において、例えば、画像取得部２１、選択部２２、導出部２３、学習部２４、位置合わせ部２５、表示制御部２６、保存制御部２７および通信部２８といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0112】
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
【0113】
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
【0114】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
【符号の説明】
【0115】
１ 医療情報システム
２ 撮影装置
３ 読影ＷＳ
４ 診療ＷＳ
５ 画像サーバ
６ 画像ＤＢ
７ レポートサーバ
８ レポートＤＢ
１０ ネットワーク
１１ ＣＰＵ
１２Ａ 画像位置合わせプログラム
１２Ｂ 学習プログラム
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
１７ ネットワークＩ／Ｆ
１８ バス
２０ 画像位置合わせ装置
２１ 画像取得部
２２ 選択部
２３ 導出部
２３Ａ 導出モデル
２４ 学習部
２５ 位置合わせ部
２６ 表示制御部
２７ 保存制御部
２８ 通信部
３０ ネットワーク
３１ 畳み込み層
３２ ＲＰＮ
３３ 分類ネットワーク
４０Ｒ、４０Ｌ、４６Ｒ、４６Ｌ、６０～６８、７１Ａ～７１Ｃ、７２Ａ～７２Ｃ バウンディングボックス
４１Ｒ、４１Ｌ 断層像
４２Ｒ、４２Ｌ 破線
４３Ｒ、４４Ｒ 頂点
５０ 教師データ
５１ 教師用断層画像
５２ ラベル
５３ 教師用３次元座標情報
８０ 表示画面
８１ 画像表示領域
８２ 文章表示領域
８３ 第１表示領域
８４ 第２表示領域
８６ 同期ボタン
８７ 確定ボタン
Ｄ０１～Ｄ０３、Ｄ１～Ｄ８、Ｄ１１～Ｄ１３ 断層面
ＤＧ１～ＤＧ８、ＤＧ１１～ＤＧ１３ 断層画像
Ｇ１ ＣＴ画像
Ｇ２ ＭＲＩ画像
ｇ１Ａ～ｇ１Ｃ、ｇ２Ａ～ｇ２Ｃ 重心位置
ｇｕ１，ｇｕ２ 統合重心位置
Ｐ１１～Ｐ１４ 頂点
２ 撮影装置
３ 読影ＷＳ
４ 診療ＷＳ
５ 画像サーバ
６ 画像ＤＢ
７ レポートサーバ
８ レポートＤＢ
１０ ネットワーク
１１ ＣＰＵ
１２Ａ 画像位置合わせプログラム
１２Ｂ 学習プログラム
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
１７ ネットワークＩ／Ｆ
１８ バス
２０ 画像位置合わせ装置
２１ 画像取得部
２２ 選択部
２３ 導出部
２３Ａ 導出モデル
２４ 学習部
２５ 位置合わせ部
２６ 表示制御部
２７ 保存制御部
２８ 通信部
３０ ネットワーク
３１ 畳み込み層
３２ ＲＰＮ
３３ 分類ネットワーク
４０Ｒ、４０Ｌ、４６Ｒ、４６Ｌ、６０～６８、７１Ａ～７１Ｃ、７２Ａ～７２Ｃ バウンディングボックス
４１Ｒ、４１Ｌ 断層像
４２Ｒ、４２Ｌ 破線
４３Ｒ、４４Ｒ 頂点
５０ 教師データ
５１ 教師用断層画像
５２ ラベル
５３ 教師用３次元座標情報
８０ 表示画面
８１ 画像表示領域
８２ 文章表示領域
８３ 第１表示領域
８４ 第２表示領域
８６ 同期ボタン
８７ 確定ボタン
Ｄ０１～Ｄ０３、Ｄ１～Ｄ８、Ｄ１１～Ｄ１３ 断層面
ＤＧ１～ＤＧ８、ＤＧ１１～ＤＧ１３ 断層画像
Ｇ１ ＣＴ画像
Ｇ２ ＭＲＩ画像
ｇ１Ａ～ｇ１Ｃ、ｇ２Ａ～ｇ２Ｃ 重心位置
ｇｕ１，ｇｕ２ 統合重心位置
Ｐ１１～Ｐ１４ 頂点
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
