(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-26
(45)【発行日】2022-11-04
(54)【発明の名称】ボリュームデータ処理装置、方法及びプログラム
(51)【国際特許分類】
A61B 8/14 20060101AFI20221027BHJP
A61B 6/00 20060101ALI20221027BHJP
A61B 6/03 20060101ALI20221027BHJP
【ＦＩ】
A61B8/14
A61B8/14 ZDM
A61B6/00 360B
A61B6/03 360Q
【請求項の数】
10
(21)【出願番号】P 2018172072
(22)【出願日】2018-09-14
(65)【公開番号】P2020043881
(43)【公開日】2020-03-26
【審査請求日】2021-02-09
【前置審査】
(73)【特許権者】
【識別番号】320011683
【氏名又は名称】富士フイルムヘルスケア株式会社
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所
(72)【発明者】
【氏名】長野 智章
【審査官】佐野 浩樹
(56)【参考文献】
【文献】特開２００７－０３５０２０（ＪＰ，Ａ）
【文献】特開２００９－０２８３６２（ＪＰ，Ａ）
【文献】特開２０１２－２０５８９９（ＪＰ，Ａ）
【文献】特開２０１８－０５１００１（ＪＰ，Ａ）
【文献】特表２０１０－５３４５００（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０２３８９０４（ＵＳ，Ａ１）
【文献】特開２０１０－１７９０９８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／０５５、 ６／００ － ６／１４ 、
８／００ － ８／１５ 、
Ｇ０６Ｔ １／００ － １／４０ 、 ３／００ － ９／４０
(57)【特許請求の範囲】
【請求項1】
生体内の三次元空間からボリュームデータを取得する取得部と、三次元モデルがＫ（但しＫは２以上の整数）個の代表点を有する場合において、前記三次元空間に含まれる組織の輪郭に対して、ユーザーが１からＫ個の範囲内で任意のｎ個の指定点を指定するための指定部と、
前記ボリュームデータに基づいて、前記三次元モデルを前記組織の輪郭にフィッティングさせる変形部であって、前記三次元モデルが有するＫ個の代表点の中から前記ｎ個の指定点に対応するｎ個の対応代表点を特定し、前記三次元モデルの変形の過程において、前記三次元モデルが有するＫ個の代表点の中の前記ｎ個の対応代表点を前記ｎ個の指定点に一致させ又は近付ける変形部と、
を含み、
前記変形部は、
前記ｎ個の対応代表点と前記ｎ個の指定点の空間的関係に基づいて、前記三次元モデルを初期変形させる第１変形部であって、前記ｎが１の場合に前記三次元モデルを平行移動させる第１変形部と、
前記初期変形後の三次元モデルを前記組織の輪郭にフィッティングさせる第２変形部と、
を含み、
前記第１変形部は、前記Ｋ個よりも少ない個数の指定点が指定された場合でも前記三次元モデルを初期変形させる、
ことを特徴とするボリュームデータ処理装置。
【請求項2】
請求項１記載のボリュームデータ処理装置において、前記第１変形部は前記ｎに応じて前記初期変形の方法を切り換える、
ことを特徴とするボリュームデータ処理装置。
【請求項3】
請求項１記載のボリュームデータ処理装置において、前記第１変形部は、前記ｎが２以上の場合に三次元モデルを平行移動及び回転させると共にその倍率を変更する、
ことを特徴とするボリュームデータ処理装置。
【請求項4】
請求項１記載のボリュームデータ処理装置において、前記第２変形部は、前記ｎ個の対応代表点を含む複数のモデル点を前記組織の輪郭に一致させる、
ことを特徴とするボリュームデータ処理装置。
【請求項5】
請求項１記載のボリュームデータ処理装置において、前記変形部は、前記三次元モデルにおけるいずれかのモデル点の位置が変更された場合に、前記三次元モデルを前記組織の輪郭にフィッティングさせる処理を再実行する、
ことを特徴とするボリュームデータ処理装置。
【請求項6】
請求項１記載のボリュームデータ処理装置において、前記ボリュームデータに基づいて、前記ボリュームデータに対して設定された複数の基準断面を表す複数の断層画像を形成する画像形成部と、
前記複数の断層画像を表示する表示部と、
を含み、
前記表示部に表示された複数の断層画像の全部又は一部に対するマニュアルでの座標の指定により前記ｎ個の指定点が指定される、
ことを特徴とするボリュームデータ処理装置。
【請求項7】
請求項１記載のボリュームデータ処理装置において、前記取得部は超音波を送受波する超音波プローブであり、
前記ボリュームデータは超音波ボリュームデータである、
ことを特徴とするボリュームデータ処理装置。
【請求項8】
三次元モデルがＫ（但しＫは２以上の整数）個の代表点を有する場合において、生体内の三次元空間に含まれる組織の輪郭に対して、ユーザーにより１からＫ個の範囲内で任意のｎ個の指定点が指定される場合に、前記ｎ個の指定点の指定を受け付ける工程と、前記三次元モデルが有するＫ個の代表点の中から前記ｎ個の指定点に対応するｎ個の対応代表点を特定し、前記ｎ個の対応代表点を前記ｎ個の指定点に一致させ又は近付け、これにより前記三次元モデルを初期変形させる工程であって、前記ｎが１の場合に前記三次元モデルを平行移動させ、前記Ｋ個よりも少ない個数の指定点が指定された場合でも三次元モデルを初期変形させる工程と、
前記三次元空間から取得されたボリュームデータに基づいて、前記初期変形後の三次元モデルを前記組織の輪郭にフィッティングさせる工程と、
を含むことを特徴とするボリュームデータ処理方法。
【請求項9】
請求項８記載のボリュームデータ処理方法において、前記三次元モデルを初期変形させる工程では、前記ｎに応じて初期変形方法が切り換えられる、
ことを特徴とするボリュームデータ処理方法。
【請求項10】
ボリュームデータ処理装置において実行されるプログラムであって、三次元モデルがＫ（但しＫは２以上の整数）個の代表点を有する場合において、生体内の三次元空間に含まれる組織の輪郭に対して、ユーザーにより１からＫ個の範囲内で任意のｎ個の指定点が指定される場合に、前記ｎ個の指定点の指定を受け付ける機能と、
前記三次元モデルが有するＫ個の代表点の中から前記ｎ個の指定点に対応するｎ個の対応代表点を特定し、前記ｎ個の対応代表点を前記ｎ個の指定点に一致させ又は近付け、これにより前記三次元モデルを初期変形させる機能であって、前記ｎが１の場合に前記三次元モデルを平行移動させ、前記Ｋ個よりも少ない個数の指定点が指定された場合でも三次元モデルを初期変形させる機能と、
前記三次元空間から取得されたボリュームデータに基づいて、前記初期変形後の三次元モデルを前記組織の輪郭にフィッティングさせる機能と、
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はボリュームデータ処理装置、方法及びプログラムに関し、特に、組織の輪郭に対する三次元モデルのフィッティングに関する。
【背景技術】
【0002】
ボリュームデータ処理装置として、超音波診断装置、Ｘ線ＣＴ装置、ＭＲＩ装置等が知られている。それらは生体内の三次元空間から取得されたボリュームデータを処理する機能を備える。以下においては超音波診断装置について説明する。
【0003】
超音波診断装置においては、生体への超音波の送受波により、生体内の三次元空間からボリュームデータが取得される。取得されたボリュームデータに基づいて、三次元空間内の組織を立体的に表現した超音波画像（三次元超音波画像）が形成される。あるいは、取得されたボリュームデータに基づいて、その組織が計測される。ボリュームデータの処理に際しては、必要に応じて、組織の輪郭が三次元的にトレースされる。そのトレースのための技術として、組織の輪郭に対して三次元モデル（三次元組織輪郭モデル）をフィッティングさせる技術が提案されている。なお、フィッティング対象となる組織は、実際には、ボリュームデータ中の一部分としてのオブジェクトである。
【0004】
特許文献１に記載された超音波診断装置では、二次元モデルを変形させることにより、組織の輪郭に対して二次元モデルがフィッティングされている。特許文献２に記載された超音波診断装置では、三次元モデルを変形させることにより、組織の輪郭に対して三次元モデルがフィッティングされている。
【先行技術文献】
【特許文献】
【0005】
【文献】特許第５７５３７９４号公報
【文献】特開２０１８－５１００１号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
組織の輪郭に対して三次元モデルをフィッティングさせる方式として、マニュアル方式、セミオート方式及びフルオート方式がある。それらの方式の中で、セミオート方式は、一般に、組織の輪郭上にマニュアルで指定された複数の指定点に対して三次元モデルが有する複数の代表点を一致させ又は近接させることを前提として、組織の輪郭に対して三次元モデルをフィッティングさせるものである。例えば、ボリュームデータに基づいて形成された超音波画像上で複数の指定点が指定される。
【0007】
しかし、超音波画像には、アーチファクト、低輝度部分等が含まれ、つまり、組織の輪郭が不鮮明な部分が含まれる。このため、所定数の指定点の内の一部を指定できないこともある。また、負担軽減の観点から指定点の個数の削減を希望するユーザーもいる。このような背景から、任意数の指定点に基づく三次元モデルのフィッティングの実現が要望されている。なお、特許文献１及び特許文献２のいずれにも、そのような要望に応える構成は開示されていない。
【0008】
本発明の目的は、任意数の指定点に基づいて組織の輪郭に対して三次元モデルをフィッティングさせるボリュームデータ処理装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
本発明に係るボリュームデータ処理装置は、生体内の三次元空間からボリュームデータを取得する取得部と、前記三次元空間に含まれる組織の輪郭に対してｎ（但し１≦ｎ≦Ｋ）個の指定点を指定するための指定部と、前記ボリュームデータに基づいて、三次元モデルを前記組織の輪郭にフィッティングさせる変形部であって、前記三次元モデルの変形の過程において、前記三次元モデルが有するＫ個の代表点の中のｎ個の対応代表点を前記ｎ個の指定点に一致させ又は近付ける変形部と、を含むことを特徴とするものである。
【0010】
本発明に係るボリュームデータ処理方法は、生体内の三次元空間に含まれる組織の輪郭に対するｎ（但し１≦ｎ≦Ｋ）個の指定点の指定を受け付ける工程と、前記三次元モデルが有するＫ個の代表点の中のｎ個の対応代表点を前記ｎ個の指定点に一致させ又は近付け、これにより前記三次元モデルを初期変形させる工程と、前記三次元空間から取得されたボリュームデータに基づいて、前記初期変形後の三次元モデルを前記組織の輪郭にフィッティングさせる工程と、を含むことを特徴とするものである。
【0011】
本発明に係るプログラムは、ボリュームデータ処理装置において実行されるプログラムであって、生体内の三次元空間に含まれる組織の輪郭に対するｎ（但し１≦ｎ≦Ｋ）個の指定点の指定を受け付ける機能と、前記三次元モデルが有するＫ個の代表点の中のｎ個の対応代表点を前記ｎ個の指定点に一致させ又は近付け、これにより前記三次元モデルを初期変形させる機能と、前記三次元空間から取得されたボリュームデータに基づいて、前記初期変形後の三次元モデルを前記組織の輪郭にフィッティングさせる機能と、を含むことを特徴とするものである。
【発明の効果】
【0012】
本発明によれば、任意数の指定点に基づいて組織の輪郭に対して三次元モデルをフィッティングさせることが可能となる。
【図面の簡単な説明】
【0013】
【図1】実施形態に係るボリュームデータ処理装置を示すブロック図である。
【図2】モデルテーブルの一例を示す図である。
【図3】指定点テーブルの一例を示す図である。
【図4】指定点を指定するための表示画像を示す図である。
【図5】原モデルを示す図である。
【図6】ｎ＝７の場合における指定点群を示す図である。
【図7】原モデルと指定点群の空間的関係を示す図である。
【図8】代表点ベクトル群及び指定点ベクトル群を示す図である。
【図9】初期変形後のモデルを示す図である。
【図10】組織輪郭へのモデルのフィッティングを示す図である。
【図11】フィッティング後のモデルを示す図である。
【図12】ｎ＝１の場合における原モデルと指定点の空間的関係を示す図である。
【図13】初期変形後のモデルを示す図である。
【図14】ｎ＝２の場合における原モデルと指定点の空間的関係を示す図である。
【図15】初期変形後のモデルを示す図である。
【図16】代表点の移動に伴うモデルの追従変形を示す図である。
【図17】モデル点の移動に伴うモデルの追従変形を示す図である。
【図18】ボリュームデータ処理方法を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、実施形態を図面に基づいて説明する。
【0015】
（１）実施形態の概要
実施形態に係る超音波診断装置は、取得部、指定部及び変形部を有する。取得部は、生体内の三次元空間からボリュームデータを取得するものである。ボリュームデータが超音波ボリュームデータの場合、取得部は超音波プローブである。指定部は、三次元空間に含まれる組織の輪郭に対してｎ（但し１≦ｎ≦Ｋ）個の指定点を指定するためのものである。指定部は、操作パネル等の入力デバイスによって構成される。変形部は、ボリュームデータに基づいて三次元モデルを変形させ、それを組織の輪郭にフィッティングさせるものである。変形部は、三次元モデルの変形の過程において、三次元モデルが有するＫ個の代表点の中のｎ個の対応代表点をｎ個の指定点に一致させ又は近付ける。
実施形態に係る超音波診断装置は、取得部、指定部及び変形部を有する。取得部は、生体内の三次元空間からボリュームデータを取得するものである。ボリュームデータが超音波ボリュームデータの場合、取得部は超音波プローブである。指定部は、三次元空間に含まれる組織の輪郭に対してｎ（但し１≦ｎ≦Ｋ）個の指定点を指定するためのものである。指定部は、操作パネル等の入力デバイスによって構成される。変形部は、ボリュームデータに基づいて三次元モデルを変形させ、それを組織の輪郭にフィッティングさせるものである。変形部は、三次元モデルの変形の過程において、三次元モデルが有するＫ個の代表点の中のｎ個の対応代表点をｎ個の指定点に一致させ又は近付ける。
【0016】
上記構成によれば、１個からＫ個の範囲内における任意数の指定点に基づいて、組織の輪郭に対して三次元モデルをフィッティングさせることが可能となる。例えば、組織を表した画像に不明瞭な部分が含まれる場合において、その不明瞭な部分への指定点の指定を回避することが可能となる。あるいは、ユーザーにおいてフィッティング精度よりも指定負担の軽減を優先させることが可能となる。
【0017】
実施形態において、変形部は、ｎ個の対応代表点とｎ個の指定点の空間的関係に基づいて、三次元モデルを初期変形させる第１変形部と、初期変形後の三次元モデルを前記組織の輪郭にフィッティングさせる第２変形部と、を含む。この構成によれば、初期変形後にフィッティングを実行できるので、フィッティング精度を高められる。
【0018】
実施形態において、第１変形部はｎに応じて初期変形の方法を切り換える。この構成によれば、ｎに応じて初期変形を最適化できる。
【0019】
実施形態において、第１変形部は、ｎが１の場合に三次元モデルを並行移動させ、ｎが２以上の場合に三次元モデルを平行移動及び回転させると共にその倍率を変更する。ｎが２の場合とｎが３以上の場合とで初期変形の方法又は条件が切り換えられてもよい。指定された１又は複数の指定点の属性に応じて、初期変形の方法又は条件が切り換えられてもよい。
【0020】
実施形態において、第２変形部は、ｎ個の対応代表点を含む複数のモデル点を対象組織の輪郭に一致させる。その際には、エッジ検出法、学習結果に基づくエッジ識別等の公知の技術を利用し得る。
【0021】
実施形態において、変形部は、三次元モデル中のいずれかのモデル点の位置が変更された場合に、三次元モデルを組織の輪郭にフィッティングさせる処理を再実行する。これは事後的な修正に相当する処理である。
【0022】
実施形態に係るボリュームデータ処理装置は、ボリュームデータに基づいて、ボリュームデータに対して設定された複数の基準断面を表す複数の断層画像を形成する画像形成部と、複数の断層画像を表示する表示部と、を含み、表示部に表示された複数の断層画像の全部又は一部に対するマニュアルでの座標の指定によりｎ個の指定点が指定される。
【0023】
実施形態に係る方法おいては、生体内の三次元空間に含まれる組織の輪郭に対するｎ（但し１≦ｎ≦Ｋ）個の指定点の指定が受け付けられる。続いて、三次元モデルが有するＫ個の代表点の中のｎ個の対応代表点をｎ個の指定点に一致させ又は近付ける工程が実行される。これにより三次元モデルが初期変形される。更に続いて、三次元空間から取得されたボリュームデータに基づいて、初期変形後の三次元モデルを組織の輪郭にフィッティングさせる工程が実行される。
【0024】
上記方法は、ハードウエアの機能として、又は、ソフトウエアの機能として実現され得る。後者の場合には、上記方法を実行するプログラムが、ネットワークを介して又は記憶媒体を介して、ボリュームデータ処理装置へインストールされる。ボリュームデータ処理装置の概念には、超音波診断装置、Ｘ線ＣＴ装置、ＭＲＩ装置等の医療装置が含まれ、また、パーソナルコンピュータ等の情報処理装置が含まれる。
【0025】
（２）実施形態の詳細
図１には、実施形態に係るボリュームデータ処理装置が示されている。このボリュームデータ処理装置は超音波診断装置である。超音波診断装置は、病院等の医療機関に設置され、生体に対する超音波の送受波により得られた受信データに基づいて超音波画像を形成する装置である。
図１には、実施形態に係るボリュームデータ処理装置が示されている。このボリュームデータ処理装置は超音波診断装置である。超音波診断装置は、病院等の医療機関に設置され、生体に対する超音波の送受波により得られた受信データに基づいて超音波画像を形成する装置である。
【0026】
実施形態に係る超音波診断装置は、生体内の三次元空間からボリュームデータ（超音波ボリュームデータ）を取得する機能、及び、ボリュームデータに基づいて組織の輪郭に三次元モデル（三次元組織輪郭モデル）をフィッティングして組織の輪郭をトレースする機能、を備えている。ここで、対象となる組織は心臓であり、より具体的には、心臓の左室である。心臓の他の部分（例えば、右室、二腔、四腔）がトレース対象とされてもよいし、心臓以外の組織がトレース対象とされてもよい。
【0027】
図１において、超音波プローブ１０は、ボリュームデータ取得部又はボリュームデータ取得手段として機能する。超音波プローブ１０は、ユーザー（医師、検査技師等）によって保持される。心臓の超音波診断に際しては、超音波プローブの１０の送受波面が被検者における胸部の表面に当接され、その状態で、心臓に対して超音波が送受波される。
【0028】
超音波プローブ１０は、二次元配列された複数の振動素子からなる二次元振動素子アレイ１２を備えている。二次元振動素子アレイ１２によって超音波ビーム１４が形成され、超音波ビーム１４の二次元電子走査により、三次元データ取込空間１６が形成される。超音波ビーム１４の電子走査によって形成される走査面を更に電子走査することにより三次元データ取込空間１６が形成されてもよい。三次元データ取込空間１６からボリュームデータが取得される。超音波ビームの電子走査方式として、電子セクタ走査方式、電子リニア走査方式等が知られている。一次元振動素子アレイを機械的に走査することにより、三次元データ取込空間が形成されてもよい。
【0029】
なお、超音波プローブ１０は、より詳しくは、二次元振動素子アレイ１２を備えたプローブヘッド、そこから引き出されたケーブル、その端部に設けられたコネクタを有する。そのコネクタが超音波診断装置本体側のコネクタに接続される。プローブヘッドが可搬型の送受波器を構成し、それがユーザーによって保持される。体腔内挿入型の超音波プローブが用いられてもよい。二次元振動素子アレイ１２としてＣ－ＭＵＴ（Capacitive Micro-machined Ultrasound Transducer）が用いられてもよい。
【0030】
送信部１８は、送信時において、二次元振動素子アレイ１２を構成する複数の振動素子に対して複数の送信信号を並列的に供給する送信ビームフォーマーであり、それは電子回路として構成される。受信部２０は、受信時において、二次元振動素子アレイ１２を構成する複数の振動素子から並列的に出力される複数の受信信号を整相加算（遅延加算）する受信ビームフォーマーであり、それは電子回路として構成される。受信部２０は、複数のＡ／Ｄ変換器、検波回路等を備えている。受信部２０での複数の受信信号の整相加算によりビームデータが生成される。
【0031】
ボリュームデータは、二次元配列された複数のビームデータによって構成される。個々のビームデータは深さ方向に並ぶ複数のエコーデータにより構成される。超音波プローブ１０内にサブビームフォーマーを設け、超音波診断装置本体内にメインビームフォーマーを設けてもよい。受信部２０の後段にはビームデータ処理部が設けられているが、それは図示省略されている。
【0032】
３Ｄメモリ２２は三次元データ記憶空間を有し、そこにはボリュームデータが格納される。ボリュームデータへの書き込み時に送受波座標系から直交座標系への座標変換が実行されてもよいし、３Ｄメモリ２２からの読み出し時にその座標変換が実行されてもよい。
【0033】
断層画像形成部２４は、ボリュームデータに基づいて、三次元空間に対して設定された複数の基準断面に対応する複数の断層画像（ＭＰＲ画像）を形成するものである。各断層画像のデータが表示処理部３０へ送られている。トレース対象又はトレースモードに応じて、複数の断面の組み合わせが変わる。個々の断層画像にはトレース対象の断面（例えば左室の断面）が現れる。
【0034】
三次元画像形成部２６は、ボリュームデータに基づいて三次元画像を形成するものである。その際には、ボリュームレンダリング法、サーフェイスレンダリング法、等が利用される。三次元画像は、組織を立体的に表現した超音波画像である。三次元画像のデータが表示処理部３０へ送られている。
【0035】
参照画像形成部２８は、参照画像としてのワイヤーフレーム像を形成するものである。ワイヤーフレーム像は、複数の断面を複数の図形によって表現した画像である。ワイヤーフレーム像には、複数の代表点、複数の指定点等を示す複数のマーカーも含まれる。ワイヤーフレーム像のデータが表示処理部３０へ送られている。参照画像としてレンダリング画像が利用されてもよい。その場合、レンダリング画像上に複数の代表点、複数の指定点を表す複数のマーカーが表示されてもよい。
【0036】
表示処理部３０は、グラフィック画像生成機能、カラー演算機能、画像合成機能等を有している。表示部３２には、表示処理部３０によって生成された表示画像が表示される。表示部３２はＬＣＤ、有機ＥＬ表示デバイス等によって構成される。
【0037】
なお、断層画像形成部２４、三次元画像形成部２６、参照画像形成部２８及び表示処理部３０は、1又は複数のプロセッサにより構成され得る。それらが以下に説明する制御部３４の機能として実現されてもよい。
【0038】
制御部３４は、制御手段として機能し、図１に示されている各構成の動作を制御するものである。制御部３４は、実施形態において、ＣＰＵ及びプログラムによって構成される。制御部３４に接続された操作パネル４６は、指定部又は指定手段として機能する入力デバイスであり、それは複数のスイッチ、複数のボタン、トラックボール、キーボード等を有する。操作パネル４６を利用して、ユーザーにより、組織の輪郭上に１又は複数の指定点が指定される。
【0039】
制御部３４には半導体メモリ等によって構成される記憶部３８が接続されている。記憶部３８には、複数のモデルテーブル４０が格納されており、また、指定点テーブル４２が格納されている。各モデルテーブル４０は、三次元モデル（以下単にモデルともいう。）を管理するためのテーブルである。個々のモデルが関数として管理されてもよい。個々のモデルはＫ個の代表点を有する。モデルごとにＫの値が異なっていてもよい。通常、Ｋは２以上の値であり、例えば、その値は５，７又は９である。その値が偶数であってもよい。指定点テーブル４２は、ユーザーによって指定された任意数（ｎ個）の指定点を管理するためのテーブルである。ここで、ｎは１以上K以下である。
【0040】
制御部３４は、変形手段又は変形部として機能するモデル処理部３６を有する。モデル処理部３６は、実施形態において、ソフトウエアの機能として実現されている。モデル処理部３６を制御部３４とは別のプロセッサで構成してもよい。
【0041】
モデル処理部３６は、複数の断層画像上におけるｎ個の指定点の入力を受け付ける機能、ｎ個の指定点に基づいてモデルを初期変形させる機能、初期変形後のモデルを組織の輪郭にフィッティングさせる機能、等を有する。初期変形に際しては、モデルが有するＫ個の代表点の内でｎ個の指定点に対応するｎ個の代表点（対応代表点）が特定され、ｎ個の対応代表点がｎ個の指定点に合わせられ又は近付けられる。フィッティングに際しては、組織の輪郭が検出又は認識され、その輪郭に対してモデルが位置合わせされる。その際には、各種のエッジ検出法、機械学習に基づく境界識別法等が利用される。機械学習に基づく境界識別法の適用に際しては、例えば、深層学習が利用される。モデルのフィッティングについては後に詳述する。
【0042】
図２には、モデルテーブル４０の一例が示されている。モデルは例えば数百個のモデル点により構成される。モデルテーブルは、モデル点ごとに、例えば、属性、初期座標及び現在座標を管理するためのテーブルである。各座標は絶対座標又は相対座標であり、それはベクトルとして表現され得る。属性は、実際には、各代表点について付与されており、それは代表点がおかれている部位（第１基準断面上の心尖部、第２基準断面上の弁輪部左側、等）を表すものである。符号４０Ａは、Ｋ個の代表点に相当する部分を示している。符号４０ＢはＫ個の代表点以外の複数のモデル点に相当する部分を示している。図示の例では、２５０個のモデル点によって三次元モデルが構成されている。複数の三次元モデルつまり複数のモデルテーブルが用意されており、それらの中から、トレース対象、トレースモード等によって、実際に使用するモデルつまりモデルテーブルが選択される。
【0043】
図３には、指定点テーブル４２の一例が示されている。選択されたモデルに対応する指定点テーブル４２が作成される。指定点テーブル４２は、ユーザー指定された指定点ごとに属性及び指定座標を管理するためのテーブルである。属性は、例えば、代表点との対応付けにおいて利用される。
【0044】
図示の例では、Ｋ個の指定点中において、個々の指定点ごとに実際にその点が指定されたのか否かを示すフラグも管理されている。なお、各モデルテーブル及び指定点テーブルは上記のモデル処理部によって作成及び管理される。
【0045】
図４には、指定点の指定に際して表示される表示画像の一例が示されている。図示された表示画像５０は、１又は複数の指定点を指定するためのユーザーインターフェイスとして機能するものである。表示画像５０には、心臓についての３つの基準断面に対応する３つの断層画像５２，５４，５６が含まれる。図示の例において、断層画像５２は四腔断層画像（Ａ４Ｃ画像）であり、そこには心臓における４つの腔の断面が現れている。断層画像５４は二腔断層画像（Ａ２Ｃ画像）であり、そこには心臓における左室及び左房の断面が現れている。断層画像５６は３つの腔の断面を表す断層画像（Ａ３Ｃ画像）であり、３つの腔は左室、左房及び大動脈である。３つの断面の空間的関係は、基本的に、患者によらずに一定である。
【0046】
ワイヤーフレーム像６３は参照画像であり、そこにおいて、３つの基準断面（Ａ４Ｃ，Ａ２Ｃ，Ａ３Ｃ）が、互いに交差し合う３つの矩形によって三次元的に表現されている。左室も砲弾型図形によって模式的に表現されている。左室に対しては、その中心軸における３つの位置において中心軸に直交する３つの横断面（Apex, Mid, Base）が定められる。それらの横断面も３つの矩形によって三次元的に表現されている。表示画像５０には、３つの横断面を表す３つの断層画像５８，６０，６２も含まれる。
【0047】
例えば、左室の容積を計測するために、左室の輪郭がトレースされる。上記のように、そのトレースの際にはモデルが利用される。モデルは左室輪郭モデルであり、それを実際の左室にフィッティングさせることによって、左室輪郭の形状を特定することが可能である。そのフィッティングに先立って、フィッティング精度を高め、あるいは、演算時間を削減するために、ユーザーによって左室の輪郭上に１又は複数の点が指定される。各点は輪郭点としての指定点である。
【0048】
図４に示す例では、Ａ４Ｃ画像５２上において、心尖部に対して１点（符号６４を参照）及び弁輪部（僧帽弁の左右の根本）に対して２点（符号７０，７２を参照）を指定することが可能であり、Ａ２Ｃ画像５４上において、弁輪部に対して２点（符号６６，６８を参照）を指定することが可能であり、Ａ３Ｃ画像上において、弁輪部に対して２点（符号７４，７６を参照）を指定することが可能である。すなわち、合計で７箇所に対して７個の指定点を指定することが可能である。典型的には、Ａ４Ｃ画像５２上において心尖部が指定され（符号６４を参照）、且つ、Ａ２Ｃ画像５４上において弁輪部の2箇所が指定される（符号６６，６８を参照）。
【0049】
もっとも、断層画像の不鮮明さその他を理由として指定点の指定を行えない場合、ユーザーがより少ない個数の指定点の指定を望む場合、あるいは、ユーザーがより多くの個数の指定点の指定を望む場合、等もある。最大数をＫとした場合、実施形態においては、ユーザーの判断で、１からＫの範囲内で指定点の個数を増減することが可能である。指定点の個数をｎとした場合、１≦ｎ≦Ｋの条件が満たされるように、指定点がユーザーにより指定される。どの断層画像上においてどの部位を指定したのかは、画像種別及び指定座標に基づいて、装置において自動的に認識される。
【0050】
各断層画像には、ユーザー指定された各指定点がマークとして表示され（符号６４～７６を参照）、参照画像としてのワイヤーフレーム像６３にも、ユーザー指定された各点がマークとして表示される（符号６４ａ～７６ａを参照）。例えば、７個の指定点を指定した場合には図４に示されるように７個のマークが表示される。例えば、断層画像５８～６２上において指定点が指定されてもよい。各断層画像５２～５６上に表示されるマークと、ワイヤーフレーム像６３に表示されるマークの対応関係をユーザーが認識できるように、両者の形状や表示色を一致させてもよい。
【0051】
なお、指定点の指定に際しては、操作パネルが有するトラックボールが操作される。トレース対象、トレース種別その他によって、表示する基準断面セットが自動的に選択される。ボリュームデータに対してユーザーが表示断面を指定するようにしてもよいし、ボリュームデータの解析により表示断面が自動的に認識されてもよい。実施形態においては、心腔内膜がトレース対象である。それに加えて心腔外膜がトレース対象とされてもよい。
【0052】
次に、図５～図１１を用いて、ｎ＝７の場合における三次元トレースについて具体例を説明する。三次元トレースは、上記モデル処理部によって実行されるものであり、大別して、初期変形工程とフィッティング工程とからなる。以下の図５～９は初期変形工程を示しており、以下の図１０及び図１１はフィッティング工程を示している。
【0053】
図５には、変形前のモデル（原モデル）８０が示されている。この原モデル８０は左室輪郭をトレースするためのものである。トレース対象ごとにモデルが用意され、その中から実際に使用するモデルがユーザーにより又は自動的に選択される。原モデル８０は、左室の三次元輪郭形状を模擬した砲弾状の形態を有する。砲弾状の形態は湾曲面８０Ａと底面８０Ｂとからなる。三次元モデルとして機能するのは、それらの内の湾曲面８０Ａである。もちろん、底面８０Ｂをフィッティング対象に加えてもよい。湾曲面８０Ａつまり原モデル８０は例えば２５０点のモデル点により構成される。その内で、図示の例では、７個の点Ｓ１～Ｓ７が代表点である。なお、原モデル８０は、ｘｙｚ直交座標系において観念されるものであり、そのｘｙｚ直交座標系で表される三次元空間は、生体内の三次元空間又はボリュームデータに相当する。
【0054】
図６には、ｘｙｚ直交座標系において指定される指定点群８２が表されている。指定点群８２は、図示の例において、ユーザー指定された７つの指定点Ｔ１～Ｔ７により構成される。各代表点及びその三次元座標は、上記のモデル処理部によって管理される。
【0055】
図７には、代表点群を含む原モデル８０と指定点群８２の空間的関係が示されている。代表点（対応代表点）Ｓ１～Ｓ７と指定点Ｔ１～Ｔ７は不一致である。もっとも、通常、各断層画像上において組織輪郭の位置、大きさ及び向きには一様性が認められるので、各指定点とそれに対応する代表点とが大きく離れることはあまりない。
【0056】
図８には、代表点Ｓ１～Ｓ７に対して定義される位置ベクトルｂ１～ｂ７が示されている。代表点Ｓ１～Ｓ７についての重心がｇ１で示されている。各位置ベクトルｂ１～ｂ７は、図示の例では、重心ｇ１から出る位置ベクトルである。各位置ベクトルｂ１～ｂ７を原点その他の基準点から出る位置ベクトルとしてもよい。
【0057】
また、図８には、指定点Ｔ１～Ｔ７に対して定義される位置ベクトルａ１～ａ７が示されている。指定点Ｔ１～Ｔ７についての重心がｇ２で示されている。各位置ベクトルａ１～ａ７は、図示の例では、重心ｇ２から出る位置ベクトルである。各位置ベクトルａ１～ａ７を原点その他の基準点から出る位置ベクトルとしてもよい。
【0058】
初期変形工程では、ユーザー指定されたｎ個の指定点に基づいて原モデルが初期変形される。図示の例では、初期変形は、指定点Ｔ１～Ｔ７に対して代表点Ｓ１～Ｓ７を一致させ又は近付けることによって行われ、それに先立って、以下の３つの計算が実行される。
【0059】
原モデル８０の平行移動量ｃは以下の（１）式に従って演算される。
【0060】
【数1】
【0061】
平行移動量ｃは、重心ｇ１から重心ｇ２へ向かうベクトルである。ａｋはｋ番目の指定点についての位置ベクトルであり、ｂｋはｋ番目の代表点（対応代表点）についての位置ベクトルである。ｋは１からｎまでの値をとる。図示の例においてはｎ＝７である。例えば、ユーザーにより特定の３つの指定点が指定された場合にはｎ＝３となる。
【0062】
原モデル８０の回転量θは以下の（２）式に従って演算される。
【0063】
【数2】
【0064】
回転量θもベクトルであり、それは（θｘ，θｙ，θｚ）と表現される。θｘはｘ軸回りの回転量であり、θｙはｙ軸回りの回転量であり、θｚはｚ軸回りの回転量である。上記（２）式は内積の計算式の変形により導出されるものである。
【0065】
原モデル８０の倍率ｓは以下の（３）式に従って計算される。
【0066】
【数3】
【0067】
倍率ｓは縮小率又は拡大率である。ｘ方向、ｙ方向及びｚ方向について個別的に倍率が演算されてもよい。
【0068】
初期変形時には、原モデル８０の平行移動、原モデル８０の回転、及び、原モデル８０の倍率変更の３つの処理が順番に又は同時に実行される。３つの処理を順番に実行する場合、いずれの順序で３つの処理を実行してもよい。初期変形によって、モデルを実際の組織輪郭にできるだけ近付けておき、そのようなモデルを出発点としてフィッティングを実行すれば、フィッティング精度つまり輪郭特定精度を高められる。
【0069】
図９には、初期変形後のモデル８４が例示されている。各代表点がそれに対応する指定点に近付けられている。各代表点がそれに対応する指定点に一致するのが理想的であるが、上記の（１）式～（３）式を用いて初期変形を行う場合には、複数の代表点がそれら全体として複数の指定点に近付けられる。よって、一部の代表点がそれに対応する指定点から遠ざかることもあり得る。そのような場合であっても、モデルをそれ全体として実際の組織輪郭に近付けておけば、フィッティング精度の向上を図れる。
【0070】
初期変形工程後のフィッティング工程では、図１０に示されるように、モデルを構成するモデル点ごとにそれを組織境界上へ移動させる処理が実行される。実施形態においては、モデル点の内で、指定点に対応する代表点（対応代表点）については、それを対応する指定点に一致させる処理が実行される。図１０においては、初期変形後の対応代表点Ｓ１’～Ｓ７’が指定点Ｔ１～Ｔ７に位置合わせされている。
【0071】
対応代表点以外の個々のモデル点（対応代表点ではない単なる代表点を含む）については、その近傍に存在する組織輪郭点が探索され、モデル点を組織輪郭点に一致する処理が実行される。例えば、モデル点８８に着目すると、モデル点８８が存在している局所面の法線方向が探索方向９０として定められ、探索方向９０における探索範囲内において組織輪郭が探索される。探索により組織輪郭が検出された場合、その検出地点が組織輪郭点として取り扱われる。なお、探索範囲は、通常、モデル８４の内側及び外側の両方に及ぶ。状況に応じて内側探索範囲と外側探索範囲の比率が可変されてもよい。組織輪郭の探索に際しては、エッジ検出法、機械学習を利用したエッジ識別法、等の各種の手法を利用し得る。いずれにしても、フィッティングの結果、すべてモデル点（ｎ個の対応代表点を含む）が組織の輪郭上に位置決められる。輪郭を探索できなかったモデル点についてはその周囲のモデル点の移動に合わせてそのモデル点を移動させてもよい。
【0072】
図１１には、フィッティング後のモデル９２が示されている。なお、図１１には、フィッティング前、つまり初期変形直後の代表点Ｓ１’～Ｓ７’も示されている。フィッティングにおいて、対応代表点の近傍に存在するモデル点については、上記法線方向以外への運動を許容し、対応代表点の移動に連動させてそれを移動させてもよい。
【0073】
【0074】
図１２には、原モデル８０が示されている。ユーザーにより心尖部に対して指定点Ｔ１が指定されている。それに対応する代表点は代表点Ｓ１である。上記の（１）式に従って、平行移動量ｃが演算される。すなわち、ｃ＝ａ１－ｂ１により、平行移動量ｃが求められる。なお、ｎ＝１の場合、重心ｇ１，ｇ２を定義できないので、例えば、座標系の原点を基準として、指定点Ｔ１の位置ベクトル、及び、代表点Ｓ１の位置ベクトルが定義される。ｎ＝１の場合、通常、回転量及び倍率は演算できない。初期変形として、平行移動量ｃに従って原モデル８０を平行移動させる処理が実行される。図１３には、平行移動後のモデル９６が示されている。矢印９８は平行移動の軌跡を示すものである。初期変形に続いてフィッティングが実行される。
【0075】
【0076】
図１４には、原モデル８０が示されている。ユーザーにより心尖部に対して指定点Ｔ１が指定されており、また、弁輪部における特定の箇所に対して指定点Ｔ２が指定されている。それらに対応する２つの代表点が代表点Ｓ１，Ｓ２である。代表点Ｓ１，Ｓ２の重心がｇ１で示されており、指定点Ｔ１，Ｔ２の重心がｇ２で示されている。代表点Ｓ１，Ｓ２に対して位置ベクトルｂ１，ｂ２が定義され、指定点Ｔ１，Ｔ２に対して位置ベクトルａ１，ａ２が定義されている。それらの移動ベクトルが、座標系の原点等の基準点を基準として定義されてもよい。
【0077】
ｎ＝２の場合、上記（１）式に従って平行移動量ｃが演算される。また、上記（２）式に従って回転量θが演算される。更に、上記（３）式に従って倍率ｓが演算される。それらのパラメータに従って、原モデル８０が初期変形される。図１５には、初期変形後のモデル１００が示されている。初期変形により、重心ｇ１が重心ｇ２に一致している。代表点Ｓ１’がそれに対応する指定点Ｔ１に近付けられており、同じく、代表点Ｓ２’がそれに対応する指定点Ｔ２に近付けられている。初期変形後にフィッティングが実行される。ｎが３以上の場合でも、上記同様に初期変形用のパラメータが演算される。
【0078】
図１６及び図１７に示されるように、実施形態においては、必要に応じて、フィッティング後のモデルを修正し得る。図１６においては、フィッティング後のモデル１０２における代表点がＵ１～Ｕ７で示されている。その内で、任意の代表点（図１６においては代表点Ｕ１）の位置がユーザーにより変更される（符号１０４を参照）。その過程で、代表点の位置が更新される都度、モデルを実際の組織の輪郭にフィッティングさせる処理が実行される。または、初期変形とフィッティングの両方が実行されてもよい。修正後のモデルが符号１０８で示されている。
【0079】
図１７には、フィッティング後のモデル１１０が示されている。モデル１１０を構成するモデル点の中で、代表点Ｕ１～Ｕ７以外の任意のモデル点（図１７においてモデル点Ｕ８）を移動させることにより（符号１１２を参照）、モデル１１０の形状を修正することが可能である。モデル点の移動の過程で、その座標が更新される都度、モデルを実際の組織の輪郭にフィッティングさせる処理が実行される。または、初期変形とフィッティングの両方が実行されてもよい。図１７において、修正後のモデルが符号１１４で示され、移動後のモデル点がＵ８’で示されている。
【0080】
原モデルを構成するモデル点以外の点が新たなモデル点として追加され、それの位置が変更されてもよい。例えば、モデルがポリゴンの集合体として構成されている場合において、特定のポリゴン内の座標が新たなモデル点として指定されてもよい。
【0081】
【0082】
Ｓ１０では、ユーザーにより、トレース対象等（トレース対象、トレース種別、撮像モード、計測種別等）が選択される。Ｓ１２では、ボリュームデータに対して基準断面セットがユーザーにより指定され、あるいは、ボリュームデータにおける基準断面セットが自動的に認識される。基準断面セットは、１又は複数の指定点を指定するための複数の基準断面からなるものである。例えば、ボリュームデータに対する断面探索により、個々の基準断面が自動的に認識されてもよい。その場合において、機械学習型の識別器が利用されてもよい。Ｓ１４では、複数の基準断面に対応する複数の断層画像が表示される。その場合、ワイヤーフレーム像も表示される。ワイヤーフレーム像に代えて、又は、それと共に、三次元画像としてのレンダリング像が表示されてもよい。
【0083】
Ｓ１６では、表示された複数の断層画像の全部又は一部を利用して、ユーザーにより１又は複数の指定点が指定される。指定完了時に指定点数ｎが認識される。Ｓ１８では、手動により又は自動的にモデルが選択される。通常、Ｓ１０で指定された情報に基づいてモデルが自動的に選択される。
【0084】
Ｓ２０は、初期変形工程に相当する。Ｓ２０では、ｎに応じた方法で、モデルが初期変形される。実施形態においては、ｎが１の場合、モデルが平行移動され、ｎが２以上の場合、モデルが平行移動及び回転され、並びに、モデルの倍率が変更される。ｎが２の場合とｎが３以上の場合とで処理方法が切り換えられてもよい。また、ｎが一定数以上の場合、平行移動量及び回転量を決めるための指定点群と、倍率を決めるための指定点群とを区別するようにしてもよい。距離的に近い複数の指定点を平均化して新しい指定点を定義した上で、初期変形用のパラメータを演算するようにしてもよい。いずれにしても、Ｋ個の代表点の全部についての指定点の指定が強いられないので、画像の状態に応じて指定点を指定でき、また、ユーザーの負担や要求するフィッティング精度との関係で、指定点の個数を判断できる。
【0085】
Ｓ２２は、フィッティング工程に相当する。初期変形後のモデルが実際の組織の輪郭に応じて更に変形され、すなわち、初期変形後のモデルが実際の組織の輪郭にフィッティングされる。Ｓ２４では、修正の要否が判定され、モデル点（代表点を含む）の位置がユーザーにより変更された場合、Ｓ２２が再度、実行される。通常、モデル点の移動に伴って、Ｓ２２が繰り返し実行される。または、Ｓ２０とＳ２２が再度実行されてもよい。最終的にモデルの形状が確定した段階で、モデルを利用して組織の計測が実行される。例えば、左室の体積が演算される。拡張末期の左室体積及び収縮末期の左室体積から駆出率等の計測値が演算されてもよい。
【0086】
上記実施形態によれば、１個からＫ個の範囲内における任意数の指定点に基づいて、組織の輪郭に対して三次元モデルをフィッティングさせることが可能である。よって、組織を表した断層画像に不明瞭な部分が含まれる場合において、その不明瞭な部分への指定点の指定を回避することが可能となる。あるいは、ユーザーにおいてフィッティング精度よりも指定負担の軽減を優先させることが可能となる。
【0087】
フィッティング後のモデルの形状が各断層画像に反映されてもよい。すなわち、各断層画像上にモデルの断面を表示させ、フィッティング結果の正しさがユーザーにより目視確認されてもよい。そのような構成によれば、フィッティング後のモデルの修正の要否を判断し易くなる。また、修正それ自体を行い易くなる。
【0088】
上記実施形態においては、（１）式から（３）式に基づいて初期変形用のパラメータが演算されていたが、他の計算式によって初期変形用のパラメータが演算されてもよい。いずれしても、ユーザーにより入力された座標情報を利用してモデルの初期変形を行った上で、モデルのフィッティングを実行すれば、誤ったフィッティングが行われてしまう可能性を低減できる。
【0089】
上記の初期変形工程及びフィッティング工程が、超音波診断装置以外の医療装置、例えば、Ｘ線ＣＴ装置、ＭＲＩ装置等において実行されてもよく、また、汎用の情報処理装置において実行されてもよい。
【符号の説明】
【0090】
１０ 超音波プローブ、２４ 断層画像形成部、２６ 三次元画像形成部、２８ 参照画像形成部、３０ 表示処理部、３４ 制御部、３６ モデル処理部、３８ 記憶部、４０ モデルテーブル、４２ 指定点テーブル。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】