特許 6135901 表示処理プログラム、表示処理方法及び表示処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6135901

(24)【登録日】2017年5月12日

(45)【発行日】2017年5月31日

(54)【発明の名称】表示処理プログラム、表示処理方法及び表示処理装置

(51)【国際特許分類】

   A61B 8/00 20060101AFI20170522BHJP

   G09G 5/00 20060101ALI20170522BHJP

   G09G 5/36 20060101ALI20170522BHJP

   G09G 5/377 20060101ALI20170522BHJP

   G06T 1/00 20060101ALI20170522BHJP

   A61B 6/03 20060101ALI20170522BHJP

   A61B 5/055 20060101ALI20170522BHJP

   A61B 5/00 20060101ALI20170522BHJP

【ＦＩ】

   A61B8/00

   G09G5/00 530H

   G09G5/36 520E

   G09G5/36 510C

   G09G5/36 520M

   G09G5/36 510V

   G06T1/00 290D

   A61B6/03 360Q

   A61B5/05 380

   A61B5/00 G

【請求項の数】4

【全頁数】14

(21)【出願番号】特願2012-234051(P2012-234051)

(22)【出願日】2012年10月23日

(65)【公開番号】特開2014-83204(P2014-83204A)

(43)【公開日】2014年5月12日

【審査請求日】2015年7月3日

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】100103528

【弁理士】

【氏名又は名称】原田 一男

(72)【発明者】

【氏名】渡邉 正宏

(72)【発明者】

【氏名】渕上 聡

(72)【発明者】

【氏名】門岡 良昌

(72)【発明者】

【氏名】久田 俊明

(72)【発明者】

【氏名】杉浦 清了

(72)【発明者】

【氏名】鷲尾 巧

(72)【発明者】

【氏名】岡田 純一

【審査官】 樋熊 政一

(56)【参考文献】

【文献】 特開２００９−０２８３６２（ＪＰ，Ａ）

【文献】 米国特許第０５８１０００７（ＵＳ，Ａ）

【文献】 特開２００３−０７９６２０（ＪＰ，Ａ）

【文献】 特開平０７−２８４０１４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／０２１３８４９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ８／００ − ８／１５

Ａ６１Ｂ ６／００ − ６／１４

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ５／００ − ５／０１

Ｇ０９Ｇ ５／００ − ５／４２

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

コンピュータに、
基準時刻における物体の断面を撮影した入力画像の２つの第１の制御点の各々に対応する、生成された物体のモデルの断面であるモデル断面における第２の制御点の指定を受け付けさせ、
前記基準時刻における前記第１の制御点と対応する前記第２の制御点とが重なるように、前記モデル断面に対して第１の変形処理を実行させ、
前記基準時刻より後の各第２の時刻について生成されたモデル断面に対して、前記第１の変形処理に含まれる拡大又は縮小処理を実行させ、
前記基準時刻における前記入力画像及び前記第１の変形処理後のモデル断面を重ね合わせて表示させ、
前記各第２の時刻について、当該第２の時刻における入力画像の２つの第１の制御点の一方と、前記第１の変形処理に含まれる拡大又は縮小処理後の対応するモデル断面の対応する第２の制御点とが一致するように平行移動させ、且つ、当該第２の時刻における入力画像の２つの第１の制御点を結ぶ直線上に、当該第２の時刻における入力画像の他方の第１の制御点に前記第１の変形処理に含まれる拡大又は縮小処理後の対応するモデル断面の対応する第２の制御点が載るように回転させることで、当該第２の時刻における前記第１の変形処理に含まれる拡大又は縮小処理後のモデル断面に対して第２の変形処理を実行させ、
前記各第２の時刻における前記入力画像及び前記第２の変形処理後のモデル断面を重ね合わせて表示させることを特徴とする画像処理プログラム。

【請求項2】

前記画像処理プログラムはさらに、
前記コンピュータに、
前記入力画像が入力される時間間隔又は前記モデル断面が生成される時間間隔に応じて、入力画像又はモデル断面を抽出させることを特徴とする請求項１記載の画像処理プログラム。

【請求項3】

コンピュータが、
基準時刻における物体の断面を撮影した入力画像の２つの第１の制御点の各々に対応する、生成された物体のモデルの断面であるモデル断面における第２の制御点の指定を受け付け、
前記基準時刻における前記第１の制御点と対応する前記第２の制御点とが重なるように、前記モデル断面に対して第１の変形処理を実行し、
前記基準時刻より後の各第２の時刻について生成されたモデル断面に対して、前記第１の変形処理に含まれる拡大又は縮小処理を実行し、
前記基準時刻における前記入力画像及び前記第１の変形処理後のモデル断面を重ね合わせて表示し、
前記各第２の時刻について、当該第２の時刻における入力画像の２つの第１の制御点の一方と、前記第１の変形処理に含まれる拡大又は縮小処理後の対応するモデル断面の対応する第２の制御点とが一致するように平行移動させ、且つ、当該第２の時刻における入力画像の２つの第１の制御点を結ぶ直線上に、当該第２の時刻における入力画像の他方の第１の制御点に前記第１の変形処理に含まれる拡大又は縮小処理後の対応するモデル断面の対応する第２の制御点が載るように回転させることで、当該第２の時刻における前記第１の変形処理に含まれる拡大又は縮小処理後のモデル断面に対して第２の変形処理を実行し、
前記各第２の時刻における前記入力画像及び前記第２の変形処理後のモデル断面を重ね合わせて表示することを特徴とする画像処理方法。

【請求項4】

基準時刻における物体の断面を撮影した入力画像の２つの第１の制御点の各々に対応する、生成された物体のモデルの断面であるモデル断面における第２の制御点の指定を受け付ける受付部と、
前記基準時刻における前記第１の制御点と対応する前記第２の制御点とが重なるように、前記モデル断面に対して第１の変形処理を実行するとともに、前記基準時刻より後の各第２の時刻について生成されたモデル断面に対して、前記第１の変形処理に含まれる拡大又は縮小処理を実行し、さらに、前記各第２の時刻について、当該第２の時刻における入力画像の２つの第１の制御点の一方と、前記第１の変形処理に含まれる拡大又は縮小処理後の対応するモデル断面の対応する第２の制御点とが一致するように平行移動させ、且つ、当該第２の時刻における入力画像の２つの第１の制御点を結ぶ直線上に、当該第２の時刻における入力画像の他方の第１の制御点に前記第１の変形処理に含まれる拡大又は縮小処理後の対応するモデル断面の対応する第２の制御点が載るように回転させることで、当該第２の時刻における前記第１の変形処理に含まれる拡大又は縮小処理後のモデル断面に対して第２の変形処理を実行する変形処理部と、
前記基準時刻における前記入力画像及び前記第１の変形処理後のモデル断面を重ね合わせて表示するとともに、前記各第２の時刻における前記入力画像及び前記第２の変形処理後のモデル断面を重ね合わせて表示する表示部と
を有することを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、表示処理プログラム、表示処理方法及び表示処理装置に関する。

【背景技術】

【0002】

近年、人間の臓器、特に心臓について様々な分析が行われている。具体的には、電気的な信号により収縮する心臓の心筋により、全身に向けて血液が拍出されるが、この心臓の現象を再現する数値解析が行われている。そして、数値解析の結果により心筋の挙動を、３次元のコンピュータグラフィックス技術を用いて表示する。

【0003】

一方、医療の現場において、医療向け測定機器である超音波エコー装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＣＴスキャン（Computed Tomography scan）装置等を利用して、心臓の心筋の断面等、臓器の情報を直接測定することが行われている。心筋の断面の情報は、一般的には２次元の画像データである。

【0004】

両方とも心筋の挙動を表すものであるから、両方の結果を対比したいという要望があっても、両者のデータ形式は異なっているので、左右に並べることはできても、両者を時間経過に従って適切な位置に配置して重畳して表示することは容易ではない。特に、超音波エコー装置を用いた超音波検査においては、超音波を用いて測定を行うことのみならず、測定を行う医者が超音波を発するプローブを患者の胸部や腹部に当てることにより測定を行うため、測定した画像が歪みやすいという問題や断面が固定されずに揺らぎが起こるという問題がある。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Yoko Eto, et. al., Automated Mitral Annular Tracking: A Novel Method for Evaluating Mitral Annular Motion Using Two-dimensional Echocardiography, Journal of the American Society of Echocardiography, pp.306-312, Volume 18 Number 4, (2005)

【発明の概要】

【発明が解決しようとする課題】

【0006】

従って、本技術の目的は、一側面によれば、測定機器が出力した画像データと、生成した三次元の形状モデルの画像データとを、適切に重畳表示できるようにするための技術を提供することである。

【課題を解決するための手段】

【0007】

本技術に係る表示処理方法は、（Ａ）基準時刻における物体の断面を撮影した入力画像の２つの第１の制御点の各々に対応する、生成された物体のモデルの断面であるモデル断面における第２の制御点の指定を受け付け、（Ｂ）基準時刻における第１の制御点と第２の制御点とが重なるように、モデル断面に対して拡大又は縮小を含む第１の変形処理を実行し、（Ｃ）基準時刻における入力画像及び第１の変形処理後のモデル断面を重ね合わせて表示し、（Ｄ）基準時刻より後の第２の時刻における２つの第１の制御点の一方と、対応する第１の変形処理後のモデル断面の第２の制御点とが一致し、且つ、上記２つの第１の制御点を結ぶ直線上に、第２の時刻における他方の第１の制御点に対応する第１の変形処理後のモデル断面の第２の制御点が載るように、第２の時刻におけるモデル断面に対して第２の変形処理を実行し、（Ｅ）第２の時刻における入力画像と、第２の変形処理後のモデル断面とを重ね合わせて表示する処理を含む。

【発明の効果】

【0008】

測定機器が出力した画像データと、生成した三次元の形状モデルの画像データとを、適切に重畳表示できるようになる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施の形態に係る表示処理装置の機能ブロック図である。

【図2】図２は、心臓の断面の画像の一例を示す図である。

【図3】図３は、実施の形態に係る処理の処理フローを示す図である。

【図4】図４は、タイムステップの調整処理を模式的に示す図である。

【図5】図５は、形状モデルの断面の一例を示す図である。

【図6】図６は、画像に対する制御点の設定例を示す図である。

【図7】図７は、形状モデルの断面に対する制御点の設定例を示す図である。

【図8】図８は、最初の重畳表示の一例を示す図である。

【図9A】図９Ａは、第１の変形処理の結果の一例を示す図である。

【図9B】図９Ｂは、第２の変形処理の初期段階の一例を示す図である。

【図9C】図９Ｃは、第２の変形処理の最終段階の一例を示す図である。

【図10】図１０は、コンピュータの機能ブロック図である。

【発明を実施するための形態】

【0010】

本技術の実施の形態に係る表示処理装置の機能ブロック図を図１に示す。表示処理装置１００は、超音波エコー装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＣＴスキャン（Computed Tomography scan）装置等の測定機器２００に接続されており、入力部１４０及び表示部１５０にも接続されている。また、表示処理装置１００は、測定機器２００から受信した画像データを格納する画像データ格納部１１０と、３次元の形状モデルのデータを格納する形状モデルデータ格納部１２０と、処理途中のデータを格納するデータ格納部１３０と、本実施の形態に係る処理を実行する処理部１６０とを有する。

【0011】

画像データ格納部１１０には、例えば、測定機器２００が出力した、所定時間間隔で並べられた複数フレームの画像データが格納される。一例として、超音波エコー装置が出力した超音波エコーによる１つのフレームの画像データを図２に示す。図２に示された画像データは、心臓の断面を撮影したものであるが、プローブを医師が固定するため、呼吸や医師自身の影響により断面位置が空間に固定されているとは限らない。また、超音波のレンズ効果のため、心筋の位置が正しく元の心筋の位置でとらえられているとは限らない。本実施の形態では、超音波エコー装置等が出力した画像データと生成された形状モデルデータとを重畳する場合を例として説明を行うが、ＭＲＩ装置やＣＴスキャン装置等が出力した画像データと生成された形状モデルデータとを重畳する場合にも適用できることはもちろんである。

【0012】

形状モデルデータ格納部１２０には、例えば心臓の場合には、心臓一拍分の期間における、生成された時系列の形状モデルデータ（例えば四面体要素データ）が格納されている。形状モデルデータには、例えば形状を特定するために必要な四面体要素の各頂点の座標、要素情報、要素上の物理値等を含む。

【0013】

処理部１６０は、タイムステップ調整部１６１と、断面生成部１６２と、制御点設定部１６３と、変形処理部１６４と、重畳処理部１６５とを有する。また、制御点設定部１６３は、制御点生成部１６３１を含む場合がある。

【0014】

タイムステップ調整部１６１は、例えば心臓一拍分の期間における画像のフレーム数と形状モデルのタイムステップ数とは異なっているので、例えば画像フレームに合わせて形状モデルのデータを抽出する。

【0015】

断面生成部１６２は、ユーザからの指示に応じて画像データ格納部１１０に格納されている画像が示している心臓の断面に対応する断面についてのデータを、形状モデルのデータから生成する。

【0016】

制御点設定部１６３は、例えばユーザからの指示に応じて、各フレームの画像上に２点、形状モデルの断面上に対応する２点を制御点として設定する。なお、制御点生成部１６３１は、心臓の場合には画像から弁輪に対応する点を自動的に抽出する。従って、弁輪を制御点に設定する場合には制御点生成部１６３１に制御点を設定させればよい。その他の点を制御点に設定する場合には、ユーザが指示する。

【0017】

変形処理部１６４は、例えば形状モデルの断面のデータに対して、回転、平行移動、拡大縮小のうち少なくともいずれかを必要に応じて実行する。例えば、超音波エコー装置等が出力した画像データと生成された形状モデルデータとを重畳する場合、変形処理部１６４は、形状モデルデータを画像データに重畳できるように変形処理を行う。変形処理部１６４は、基準時刻（例えば最初の時刻）についての変形処理に加えて、基準時刻より後の時刻における回転と平行移動との少なくともいずれかについての変形処理を実行する。

【0018】

重畳処理部１６５は、各フレームについて、変形処理部１６４による変形処理後の形状モデルの断面のデータと、画像データとを重畳した上で、表示部１５０に表示させる。

【0019】

次に、図３乃至図９Ｃを用いて表示処理装置１００の処理内容について説明する。

【0020】

まず、処理部１６０のタイムステップ調整部１６１は、画像データ格納部１１０に格納されている画像のフレーム間隔と、形状モデルデータ格納部１２０に格納されている形状モデルの時間間隔とから、画像及び形状モデルのタイムステップを調整する処理を実行する（図３：ステップＳ１）。一般に、画像のフレーム間隔の方が長いので、例えば画像のフレーム間隔に合うように、形状モデルのデータを抽出する。この処理については、図４に模式的に示す。例えば心臓一拍分の画像データ及び形状モデルのデータを並べると、画像のフレーム数よりも多くのタイムステップの形状モデルが用意されている。そこで、画像の各フレームと同時刻（縦方向の点線）の形状モデルのデータを抽出することで、重畳用形状モデルとして用いる。図４の例では、同時刻の形状モデルのデータが存在する例を示しているが、存在しない場合には例えばその時刻の前後の形状モデルを補間することで、同時刻の形状モデルのデータを生成する。但し、時刻の差が小さい場合には、補間せずにその時刻の形状モデルを抽出するようにしても良い。また、画像フレームの間隔の方が短い場合には、画像フレームを形状モデルの時刻に合わせて抽出するようにしても良い。

【0021】

次に、処理部１６０の断面生成部１６２は、ユーザに対して、画像データが表している物体の断面に対応する断面を、形状モデルに対して指示するように促し、形状モデルの断面についてユーザの指示を受け付けると（ステップＳ３）、当該指示に従って形状モデルに対する断面のデータを生成し、例えばデータ格納部１３０に格納する（ステップＳ５）。

【0022】

超音波エコーの画像は平面内の臓器の移動は含まれるが、画像平面の垂直方向については撮影時の揺らぎが含まれないと考えれば、空間固定のデータとみることができる。そのため、例えば基準時刻（例えば開始時刻）における形状モデルの対応する断面を特定し、特定した形状モデルの対応する断面を固定して以下の処理を実行する。

【0023】

例えば超音波エコーで心臓を測定する場合、一般的に、傍胸骨左縁長軸断層像、傍胸骨左縁短軸断層像（例えば、大動脈レベル、心尖部レベル、乳頭筋レベル、僧帽弁レベルなど）、心尖部四腔像、心尖部二腔像、経食道像などが測定されることが多いので、対応する断面を形状モデルに対して指定する。

【0024】

形状モデルの断面のデータを生成する処理自体は従来から行われている処理（例えばＡＶＳ社のＡＶＳ／Ｅｘｐｒｅｓｓ、Ｋｉｔｗａｒｅ社のＰａｒａｖｉｅｗなどに備えられた機能）であり、ここでは詳細な説明は省略する。

【0025】

例えば、図５に示すような形状モデルの断面のデータが生成される。ここでは、ステップＳ１で抽出された重畳用形状モデルの各々について断面のデータを生成する。断面のデータは、例えば三角形要素等で表される。

【0026】

次に、制御点設定部１６３は、画像及び形状モデルの断面の各々対応する２つの制御点を設定する処理を実行する（ステップＳ７）。上でも述べたように、心臓の場合、弁輪については自動的に画像から抽出することができるので、ユーザが入力部１４０から弁輪を制御点として指定すれば、制御点生成部１６３１は、各フレームの画像から弁輪に対応する制御点を特定する。例えば、Yoko Eto, et. al., Automated Mitral Annular Tracking: A Novel Method for Evaluating Mitral Annular Motion Using Two-dimensional Echocardiography, Journal of the American Society of Echocardiography, pp.306-312, Volume 18 Number 4, (2005)を参照のこと。

【0027】

図２のような画像の場合には、図６に示すような制御点Index11及び12が特定される。但し、ユーザが、弁輪を制御点とする場合及びその他の点を制御点とする場合も個別に指定するようにしても良い。さらに、図７に模式的に示すように、形状モデルの断面においても、ユーザの指定に応じて制御点Index11に対応する制御点Index21を設定し、制御点Index12に対応する制御点Index22を設定する。なお、基準時刻における形状モデルの断面における三角形要素の頂点に制御点を設定すれば、同じ三角形要素の同じ頂点が、基準時刻より後の時刻においても選択されたことになる。但し、重畳用形状モデルの各断面について、ユーザの指定により制御点を設定するようにしても良い。

【0028】

その後、変形処理部１６４は、各時刻における重畳用形状モデルの断面に対して、対応する制御点を一致させるように平行移動、回転、スケーリングのうち少なくとも１つを含む第１の変形処理を実行し、処理結果を例えばデータ格納部１３０に格納する（ステップＳ９）。

【0029】

より具体的には、基準時刻における画像における制御点Index11の座標を（ｘ_{I_Index11}，ｙ_{I_Index11}）とし、制御点Index12の座標を（ｘ_{I_Index12}，ｙ_{I_Index12}）とし、基準時刻における形状モデルにおける制御点Index21の座標を（ｘ_{P_Index21}，ｙ_{P_Index21}）とし、制御点Index22の座標を（ｘ_{P_Index22}，ｙ_{P_Index22}）とする。そうすると、スケールパラメータＳｘ及びＳｙは、以下のように算出される。

【数1】

【0030】

このようなスケールパラメータによって拡大又は縮小した後に、制御点Index21が制御点Index11に一致し、制御点Index22が制御点Index12に一致するように、平行移動及び回転を行わせる。この変形処理を行う演算についてはよく知られているのでここでは説明は省略する。

【0031】

このような第１の変形処理は基本的な重ね合わせのための処理であるから、基準時刻以外の時刻における重畳用形状モデルの断面についても、第１の変形処理を実施する。但し、基準時刻以外の時刻についてはスケーリングのみを実施して、平行移動及び回転についてはこの段階では行わないようにしても良い。さらに、スケーリングをも、制御点を一致させるなどの演算の直前に行うようにしても良い。

【0032】

そして、重畳処理部１６５は、同時刻についての画像及び第１の変形処理後の断面とを重畳させて表示データを生成し、表示部１５０に出力する（ステップＳ１１）。

【0033】

例えば基準時刻においては、図８に示すような重畳表示が行われるようになる。図７の例でも示しているように、画像データが見やすくなるように、重畳用形状モデルの断面については、輪郭のみを表示するようになっている。輪郭内部については、どのような表示にするかは、ユーザにより選択させるようにして、所定の色にて塗りつぶすようにしてもよい。

【0034】

そして、処理部１６０は、処理終了がユーザにより指示されるなど、処理終了となるイベントを検出したか判断する（ステップＳ１３）。処理終了のイベントが検出されれば、処理を終了する。

【0035】

一方、処理終了でなければ、変形処理部１６４は、画像データ格納部１１０において次の時刻の画像データとデータ格納部１３０における重畳用形状モデルの断面のデータとを特定する（ステップＳ１５）。そして、変形処理部１６４は、一方の制御点（例えば制御点Index22）を画像における対応する制御点（例えば制御点Index12）に固定し、他方の制御点（例えば制御点Index21）を、画像における２つの制御点を結ぶ直線上に載るように、重畳用形状モデルの断面に対して平行移動と回転の少なくとも１つを実行する第２の変形処理を実行する（ステップＳ１７）。

【0036】

弁輪の大きさは心臓の動きによって変化するので、例えば弁輪を制御点にしている場合、基準時刻より後の時刻における画像及び重畳用形状モデルの断面の対応する制御点を一致させるためには、その都度スケーリングをも実行することになる。本実施の形態では、処理を簡略化するため、スケーリングは基準時刻におけるスケールパラメータによって第１の変形処理で行い、第２の変形処理では、平行移動と回転との少なくともいずれかで対処する。但し、スケールパラメータによる第１の変形処理を第２の変形処理が含むようにしても良い。

【0037】

例えば、第１の変形処理で図９Ａに示すように重畳用形状モデルの断面Ｘが配置されている場合には、図９Ｂに示すように画像における制御点Index12と同時刻の重畳用形状モデルの断面Ｘにおける対応する制御点Index22とを一致させるように平行移動させる。また、制御点Index11とIndex12とを結ぶ直線上に、重畳用形状モデルの断面Ｘにおける制御点Index21が載るように、制御点Index22を中心に角度θ分だけ回転させる。そうすると、図９Ｃに示すように制御点Index11と制御点Index21とが重なることはないが、おおよそ同じ位置に配置されるようになる。また、２つの制御点Index11及びIndex12を通過する直線と２つの制御点Index21及びIndex22を通過する直線とが同じ方向になる。

【0038】

その後処理はステップＳ１１に移行する。すなわち、重畳処理部１６５は、第２の変形処理後の断面のデータと、画像データとを重畳して表示するデータを生成する。

【0039】

このような処理を繰り返すことによって、測定機器２００から得られた画像と、形状モデルの同じ断面のデータとを分かり易く重畳表示できるようになる。

【0040】

以上本技術の実施の形態を説明したが、本技術はこれに限定されるものではない。例えば、機能ブロック図は一例であって、異なるモジュール構成を採用するようにしても良い。また、処理フローについても同様の処理結果が得られれば、ステップの順番を入れ替えたり、複数のステップを並列実行するようにしても良い。

【0041】

例えば重畳用形状モデルの断面に対して第１の変形処理及び第２の変形処理を実行する例を示したが、画像に対して実行するようにしても良い。この際には、基準は重畳用形状モデルの断面である。

【0042】

また、基準時刻以外の時刻の断面に対して第１の変形処理をステップＳ９では行わずに、ステップＳ１７において第２の変形処理と共に実行するようにしても良い。さらに、この場合には、弁輪など自動的に画像から制御点を抽出する場合には、この処理についても基準時刻以外の時刻におけるフレームの画像については、ステップＳ１５より後に実行するようにしても良い。

【0043】

なお、上で述べた表示処理装置１００は、例えばコンピュータ装置であって、図１０に示すように、メモリ２５０１とＣＰＵ２５０３とハードディスク・ドライブ（ＨＤＤ）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

【0044】

以上述べた本実施の形態をまとめると、以下のようになる。

【0045】

本実施の形態の第１の態様に係る表示処理方法は、（Ａ）基準時刻における物体の断面の画像における２つの第１の制御点の各々に対応する、基準時刻における物体のモデルにおける上記物体の断面に対応する第２の断面における第２の制御点の指定を受け付け、（Ｂ）第１の制御点と対応する第２の制御点とが重なるように、基準時刻における物体のモデルの第２の断面に対して拡大又は縮小を含む第１の変形処理を実行し、（Ｃ）基準時刻における物体の断面の画像及び第１の変形処理後の物体のモデルの第２の断面を重ね合わせて表示し、（Ｄ）基準時刻より後の第２の時刻における物体の断面の画像における一方の第１の制御点と、第２の時刻における上記拡大又は縮小がなされた物体のモデルの第２の断面において対応する第２の制御点とが一致し、且つ、第１の制御点を結ぶ直線上に、他方の第１の制御点に対応する、第２の時刻における上記拡大又は縮小された物体のモデルの第２の断面における第２の制御点が載るように、第２の時刻における物体のモデルの第２の断面に対して第２の変形処理を実行し、（Ｅ）第２の時刻における物体の断面の画像と、第２の時刻における上記第２の変形処理が行われた物体の第２の断面とを重ね合わせて表示する処理を含む。

【0046】

このようにすれば、第２の時刻以降についても簡易な処理で、物体のモデルの断面と物体の断面の画像とを適切に重ね合わせることができるようになる。

【0047】

また、第１の態様に係る表示処理方法は、物体の断面の画像の時間間隔又は物体のモデルのデータの時間間隔に応じて、同時刻の物体の断面の画像又は物体のモデルのデータを抽出する処理をさらに含むようにしても良い。例えば、間隔が長い方に合わせて、間隔が短い方のデータを抽出するようにしても良い。

【0048】

さらに、上で述べた第１の変形処理を実行する処理において、各時刻について物体のモデルにおける第２の断面のデータを生成し、第１の変形処理を各時刻についての物体のモデルの第２の断面に対して実行するようにしても良い。このようにすれば、第２の変形処理を高速に行うことができるようになる。なお、基準時刻以外の時刻の物体のモデルの第２の断面については、上記拡大又は縮小のみを実行するようにしても良い。上記拡大又は縮小についても、第１の変形処理ではなく第２の変形処理の一部として実行する場合もある。

【0049】

本実施の形態の第２の態様に係る表示処理方法は、（Ａ）基準時刻における物体の断面の画像における２つの第１の制御点の各々に対応する、基準時刻における物体のモデルにおける物体の断面に対応する第２の断面における第２の制御点の指定を受け付け、（Ｂ）第１の制御点と対応する第２の制御点とが重なるように、基準時刻における物体の断面の画像に対して拡大又は縮小を含む第１の変形処理を実行し、（Ｃ）基準時刻における物体のモデルの第２の断面及び第１の変形処理後の物体の断面の画像を重ね合わせて表示し、（Ｄ）基準時刻より後の第２の時刻における物体のモデルの第２の断面における一方の第２の制御点と、第２の時刻における上記拡大又は縮小された物体の断面の画像において対応する第１の制御点とが一致し、且つ、上記物体のモデルの第２の断面における第２の制御点を結ぶ直線上に、他方の第２の制御点に対応する、第２の時刻における上記拡大又は縮小された物体の断面の画像における第１の制御点が載るように、第２の時刻における物体の断面の画像に対して第２の変形処理を実行し、（Ｅ）第２の時刻における物体のモデルの断面と、第２の時刻における上記第２の変形処理が行われた物体の断面の画像とを重ね合わせて表示する処理を含む。

【0050】

物体の断面の画像を主要な処理対象とするようにしても良い。

【0051】

なお、上で述べたような処理をコンピュータに実施させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ−ＲＯＭなどの光ディスク、光磁気ディスク、半導体メモリ（例えばＲＯＭ）、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。なお、処理途中のデータについては、ＲＡＭ等の記憶装置に一時保管される。

【0052】

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0053】

（付記１）
コンピュータに、
基準時刻における物体の断面を撮影した入力画像の２つの第１の制御点の各々に対応する、生成された物体のモデルの断面であるモデル断面における第２の制御点の指定を受け付けさせ、
前記基準時刻における前記第１の制御点と対応する前記第２の制御点とが重なるように、前記モデル断面に対して拡大又は縮小を含む第１の変形処理を実行させ、
前記基準時刻における前記入力画像及び前記第１の変形処理後のモデル断面を重ね合わせて表示させ、
前記基準時刻より後の第２の時刻における入力画像の２つの第１の制御点の一方と、対応する前記第１の変形処理後のモデル断面の第２の制御点とが一致し、且つ、前記２つの第１の制御点を結ぶ直線上に、前記第２の時刻における他方の第１の制御点に対応する前記第１の変形処理後のモデル断面の第２の制御点が載るように、前記第２の時刻におけるモデル断面に対して第２の変形処理を実行させ、
前記第２の時刻における前記入力画像と、前記第２の変形処理後のモデル断面とを重ね合わせて表示させることを特徴とする画像処理プログラム。

【0054】

（付記２）
前記画像処理プログラムはさらに、
前記コンピュータに、
前記入力画像が入力される時間間隔又は前記モデル断面が生成される時間間隔に応じて、入力画像又はモデル断面を抽出させることを特徴とする付記１記載の画像処理プログラム。

【0055】

（付記３）
前記第１の変形処理を実行する処理において、
前記コンピュータに、
各時刻におけるモデル断面を生成させるとともに、前記第１の変形処理を各時刻におけるモデル断面に対して実行させることを特徴とする
付記２記載の画像処理プログラム。

【0056】

（付記４）
コンピュータが、
基準時刻における物体の断面を撮影した入力画像の２つの第１の制御点の各々に対応する、生成された物体のモデルの断面であるモデル断面における第２の制御点の指定を受け付け、
前記基準時刻における前記第１の制御点と前記第２の制御点とが重なるように、前記モデル断面に対して拡大又は縮小を含む第１の変形処理を実行し、
前記基準時刻における前記入力画像及び前記第１の変形処理後のモデル断面を重ね合わせて表示し、
前記基準時刻より後の第２の時刻における入力画像の２つの第１の制御点の一方と、対応する前記第１の変形処理後のモデル断面の第２の制御点とが一致し、且つ、前記２つの第１の制御点を結ぶ直線上に、前記第２の時刻における他方の第１の制御点に対応する前記第１の変形処理後のモデル断面の第２の制御点が載るように、前記第２の時刻におけるモデル断面に対して第２の変形処理を実行し、
前記第２の時刻における前記入力画像と、前記第２の変形処理後のモデル断面とを重ね合わせて表示することを特徴とする画像処理方法。

【0057】

（付記５）
基準時刻における物体の断面を撮影した入力画像の２つの第１の制御点の各々に対応する、生成された物体のモデルの断面であるモデル断面における第２の制御点の指定を受け付ける受付部と、
前記基準時刻における前記第１の制御点と前記第２の制御点とが重なるように、前記モデル断面に対して拡大又は縮小を含む第１の変形処理を実行するとともに、前記基準時刻より後の第２の時刻における入力画像の２つの第１の制御点の一方と、対応する前記第１の変形処理後のモデル断面の第２の制御点とが一致し、且つ、前記２つの第１の制御点を結ぶ直線上に、前記第２の時刻における他方の第１の制御点に対応する前記第１の変形処理後のモデル断面の第２の制御点が載るように、前記第２の時刻におけるモデル断面に対して第２の変形処理を実行する変形処理部と、
前記基準時刻における前記入力画像及び前記第１の変形処理後のモデル断面を重ね合わせて表示するとともに、前記第２の時刻における前記入力画像と、前記第２の変形処理後のモデル断面とを重ね合わせて表示する表示部を有することを特徴とする画像処理装置。

【符号の説明】

【0058】

１００ 表示処理装置
１１０ 画像データ格納部
１２０ 形状モデルデータ格納部
１３０ データ格納部
１４０ 入力部
１５０ 表示部
１６０ 処理部
１６１ タイムステップ調整部
１６２ 断面生成部
１６３ 制御点設定部
１６４ 変形処理部
１６５ 重畳処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10】