特開 2022-68497 シミュレーション装置、シミュレーション方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022068497

(43)【公開日】2022-05-10

(54)【発明の名称】シミュレーション装置、シミュレーション方法及びプログラム

(51)【国際特許分類】

   G16H 50/50 20180101AFI20220427BHJP

   G06F 3/01 20060101ALI20220427BHJP

   G06T 13/40 20110101ALI20220427BHJP

   G09B 9/00 20060101ALI20220427BHJP

【ＦＩ】

G16H50/50

G06F3/01 510

G06F3/01 560

G06T13/40

G09B9/00 Z

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2020177224

(22)【出願日】2020-10-22

(11)【特許番号】

(45)【特許公報発行日】2022-04-22

(71)【出願人】

【識別番号】501435901

【氏名又は名称】エヌ・ティ・ティ・ビズリンク株式会社

(71)【出願人】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(71)【出願人】

【識別番号】000125369

【氏名又は名称】学校法人東海大学

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(72)【発明者】

【氏名】矢部 幸保

(72)【発明者】

【氏名】今井 敏明

(72)【発明者】

【氏名】小泉 憲裕

(72)【発明者】

【氏名】重成 佑香

(72)【発明者】

【氏名】小路 直

【テーマコード（参考）】

5B050

5E555

5L099

【Ｆターム（参考）】

5B050BA08

5B050BA09

5B050BA12

5B050CA07

5B050DA05

5B050DA10

5B050EA06

5B050EA07

5B050EA13

5B050EA18

5B050EA19

5B050EA27

5B050EA28

5B050FA02

5B050FA08

5E555AA10

5E555AA23

5E555AA27

5E555BA02

5E555BB02

5E555BC04

5E555BE17

5E555CA24

5E555CB20

5E555CB59

5E555CC03

5E555DA08

5E555DA24

5E555DB53

5E555DC30

5E555DC43

5E555DC84

5E555FA00

5L099AA01

(57)【要約】

【課題】外力の作用によって変形した対象物の形状を画面上で再現する精度を向上させることが可能であるシミュレーション装置、シミュレーション方法及びプログラムを提供する。
【解決手段】シミュレーション装置は、外力の作用によって変形した球の写像変換の結果を表す画像であって互いに交差している複数の写像変換画像を、球に作用した外力ごとに、超楕円関数を用いて導出し、複数の写像変換画像と球に作用した外力とを対応付けて記憶部に記録する導出部と、外力を作用させる手動操作を受け付ける操作部と、対象物に作用した外力と球に作用した外力との対応付けに基づいて、球に作用した外力ごとに記録された複数の写像変換画像のうちから、再生される複数の写像変換画像を選択する選択部と、選択された複数の写像変換画像を再生し、再生された複数の写像変換画像を、変形した対象物の形状として画面上に表示させる画像再生部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

外力の作用によって変形した球の写像変換の結果を表す画像である写像変換画像の集合を、前記球に作用した外力ごとに、超楕円関数を用いて導出し、導出された前記写像変換画像の集合と前記球に作用した外力とを対応付けて記憶部に記録する導出部と、
表示部の画面上に表示された対象物に外力を作用させる手動操作を受け付ける操作部と、
前記対象物に作用した外力と前記球に作用した外力との対応付けに基づいて、前記球に作用した外力ごとに記録された前記写像変換画像の集合のうちから、複数の写像変換画像を選択する選択部と、
選択された前記複数の写像変換画像を、外力の作用によって変形した前記対象物の形状として前記画面上に表示させる画像再生部と
を備えるシミュレーション装置。

【請求項2】

前記導出部は、前記球に作用した外力を入力として、外力の作用を受けた前記球の形状を出力とする伝達関数の複数のパラメータのうちの少なくとも一つを変更して、前記写像変換画像の集合を導出する、請求項１に記載のシミュレーション装置。

【請求項3】

前記複数のパラメータのうちの一つは、外力の作用を受ける前記対象物の硬さを表すパラメータである、請求項２に記載のシミュレーション装置。

【請求項4】

前記操作部は、外力の作用を受けた前記対象物の反力をユーザに作用させる、請求項１から請求項３のいずれか一項に記載のシミュレーション装置。

【請求項5】

前記対象物は臓器である、請求項１から請求項４のいずれか一項に記載のシミュレーション装置。

【請求項6】

シミュレーション装置が実行するシミュレーション方法であって、
外力の作用によって変形した球の写像変換の結果を表す画像である写像変換画像の集合を、前記球に作用した外力ごとに、超楕円関数を用いて導出し、導出された前記写像変換画像の集合と前記球に作用した外力とを対応付けて記憶部に記録する導出ステップと、
表示部の画面上に表示された対象物に外力を作用させる手動操作を受け付ける操作部と、
前記対象物に作用した外力と前記球に作用した外力との対応付けに基づいて、前記球に作用した外力ごとに記録された前記写像変換画像の集合のうちから、複数の写像変換画像を選択ステップと、
選択された前記複数の写像変換画像を、外力の作用によって変形した前記対象物の形状として前記画面上に表示させる画像再生ステップと
を含むシミュレーション方法。

【請求項7】

請求項１から請求項５のいずれか一項に記載のシミュレーション装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、シミュレーション装置、シミュレーション方法及びプログラムに関する。

【背景技術】

【0002】

術前の手術シミュレーションとしてではなく、手術のターゲットとされた臓器を医師や医学生などに触診させ、経験の少ない医師や医学生などに手術プロセスを理解させるための医療教育用のシミュレーション装置（シミュレータ）が求められている。実際の手術では手術用器具が臓器に接触した際に、手術用器具からの外力の作用によって臓器が変形する。シミュレーション装置は、変形した臓器の形状を仮想空間において再現するため、コンピュータグラフィックスで表された臓器を含む仮想空間を画面上に表示する。シミュレーション装置を操作する医師や医学生などの手の動きに応じて、画面上に表示された仮想空間内で手術用器具が移動する。ここで、手術用器具による外力の作用によって変形した臓器の形状を画面上で精度よく再現することが求められている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４１２９５２７号公報

【特許文献2】特許第５７６２３２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、臓器の構造は複雑であり、また臓器は常に動いているので、外力の作用によって臓器は複雑に変形する。このため、変形した臓器の形状を画面上で精度よく再現することが難しいという問題がある。このような問題は、臓器に限られた問題ではなく、複雑な構造を有する対象物に関して、外力の作用によって変形した対象物の形状を画面上で精度よく再現するという用途に共通する問題である。このように従来では、外力の作用によって変形した対象物の形状を画面上で精度よく再現することができなかった。

【0005】

上記事情に鑑み、本発明は、外力の作用によって変形した対象物の形状を画面上で再現する精度を向上させることが可能であるシミュレーション装置、シミュレーション方法及びプログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明の一態様は、外力の作用によって変形した球の写像変換の結果を表す画像である写像変換画像の集合を、前記球に作用した外力ごとに、超楕円関数を用いて導出し、導出された前記写像変換画像の集合と前記球に作用した外力とを対応付けて記憶部に記録する導出部と、表示部の画面上に表示された対象物に外力を作用させる手動操作を受け付ける操作部と、前記対象物に作用した外力と前記球に作用した外力との対応付けに基づいて、前記球に作用した外力ごとに記録された前記写像変換画像の集合のうちから、複数の写像変換画像を選択する選択部と、選択された前記複数の写像変換画像を、外力の作用によって変形した前記対象物の形状として前記画面上に表示させる画像再生部とを備えるシミュレーション装置である。

【0007】

本発明の一態様は、上記のシミュレーション装置であって、前記導出部は、前記球に作用した外力を入力として、外力の作用を受けた前記球の形状を出力とする伝達関数の複数のパラメータのうちの少なくとも一つを変更して、前記写像変換画像の集合を導出する。

【0008】

本発明の一態様は、上記のシミュレーション装置であって、前記複数のパラメータのうちの一つは、外力の作用を受ける前記対象物の硬さを表すパラメータである。

【0009】

本発明の一態様は、上記のシミュレーション装置であって、前記操作部は、外力の作用を受けた前記対象物の反力をユーザに作用させる。

【0010】

本発明の一態様は、上記のシミュレーション装置であって、前記対象物は臓器である。

【0011】

本発明の一態様は、上記のシミュレーション装置が実行するシミュレーション方法であって、外力の作用によって変形した球の写像変換の結果を表す画像である写像変換画像の集合を、前記球に作用した外力ごとに、超楕円関数を用いて導出し、導出された前記写像変換画像の集合と前記球に作用した外力とを対応付けて記憶部に記録する導出ステップと、表示部の画面上に表示された対象物に外力を作用させる手動操作を受け付ける操作部と、前記対象物に作用した外力と前記球に作用した外力との対応付けに基づいて、前記球に作用した外力ごとに記録された前記写像変換画像の集合のうちから、複数の写像変換画像を選択ステップと、選択された前記複数の写像変換画像を、外力の作用によって変形した前記対象物の形状として前記画面上に表示させる画像再生ステップとを含むシミュレーション方法である。

【0012】

本発明の一態様は、上記のシミュレーション装置としてコンピュータを機能させるためのプログラムである。

【発明の効果】

【0013】

本発明により、外力の作用によって変形した対象物の形状を画面上で再現する精度を向上させることが可能である。

【図面の簡単な説明】

【0014】

【図1】実施形態における、シミュレーション装置の構成例を示す図である。

【図2】実施形態における、対象物の輪郭を表す写像変換画像としての楕円の例を示す図である。

【図3】実施形態における、変形後又は移動後の楕円の各例を示す図である。

【図4】実施形態における、第１スライスと第２スライスとの例を示す図である。

【図5】実施形態における、変形前の球と、変形後の球と、写像変換画像との例を示す図である。

【図6】実施形態における、写像変換画像の集合の例を示す図である。

【図7】実施形態における、変形後の前立腺の輪郭の例を臓器変形例として示す図である。

【図8】実施形態における、写像変換画像の選択の例を示す図である。

【図9】実施形態における、変形後の対象物の３次元画像の例を示す図である。

【図10】実施形態における、画像導出装置の構成例を示すフローチャートである。

【図11】実施形態における、画像再生装置の構成例を示すフローチャートである。

【発明を実施するための形態】

【0015】

本発明の実施形態について、図面を参照して詳細に説明する。
図１は、シミュレーション装置１（シミュレータ）の構成例を示す図である。シミュレーション装置１は、変形した対象物の形状を画面上で模擬する装置である。シミュレーション装置１は、外力の作用によって変形した対象物の形状を、画面上で精度よく再現することが可能である。対象物は、例えば、前立腺等の臓器である。変形は、塑性変形に限られる必要はなく、弾性変形でもよい。

【0016】

シミュレーション装置１は、画像導出装置１０と、画像再生装置２０と、通信回線３０とを備える。画像導出装置１０と画像再生装置２０とは、通信回線３０を経由して互いに通信可能である。画像導出装置１０は、導出部１００と、第１記憶部１１０と、第１通信部１２０とを備える。画像再生装置２０は、第２通信部２００と、第２記憶部２１０と、操作部２２０と、選択部２３０と、画像再生部２４０と、表示部２５０とを備える。表示部２５０は、液晶ディスプレイ、スマートグラス又はヘッドマウントディスプレイ等の表示デバイスを画面として備える。

【0017】

シミュレーション装置１の各機能部のうちの少なくとも一部は、サーバ等のコンピュータにおける、ＧＰＧＰＵ／ＧＰＵ(General Purpose Computing on Graphics Processing Unit）、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現される。記憶部は、例えばフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性の記録媒体（非一時的な記録媒体）が好ましい。記憶部は、ＲＡＭ（Random Access Memory）などの揮発性の記録媒体を備えてもよい。シミュレーション装置１の各機能部のうちの少なくとも一部は、例えば、ＬＳＩ（Large Scale Integrated circuit）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア（電子回路）を用いて実現されてもよい。

【0018】

以下、外力の作用によって変形した球の写像変換の結果を表す画像を「写像変換画像」という。以下では、対象物は、一例として前立腺である。前立腺は複雑な構造及び形状を有しているが、シミュレーション装置１は外力の作用によって変形した前立腺の形状を、画面上で精度よく再現することが可能である。

【0019】

次に、画像導出装置１０について説明する。画像導出装置１０において、球と外力とは、記憶部におけるデータとしてそれぞれ扱われる。すなわち、球と外力とは、仮想空間における球と外力としてそれぞれ扱われる。球に作用する外力には、力の大きさと力の方向とに関して複数のパターンが予め定められる。

【0020】

導出部１００は、写像変換画像の集合を、球に作用した外力ごとに形状を近似する手法としてよく使われる超楕円関数を用いて導出する。すなわち、導出部１００は、球に作用した外力ごとに、超楕円関数の近似精度を上げるための多数パラメータを変更して写像変換画像の集合を導出する。導出部１００は、導出された写像変換画像の集合と、球に作用した外力とを対応付けて、写像変換画像の集合と外力とを第１記憶部１１０に記録する。

【0021】

第１記憶部１１０は、導出部１００によって導出された写像変換画像の集合と、球に作用した外力とを対応付けて記憶する。第１通信部１２０は、通信回線３０を経由して第２通信部２００と通信する。第１通信部１２０は、導出部１００によって導出された写像変換画像の集合と、球に作用した外力のデータとを、第２通信部２００からの要求に応じて第２通信部２００に送信する。導出部１００及び第１記憶部１１０は、データを一括して画像再生装置２０に予め転送してもよい。

【0022】

次に、画像再生装置２０について説明する。画像再生装置２０において、対象物と外力とは、記憶部におけるデータとしてそれぞれ扱われる。すなわち、対象物と外力とは、仮想空間における対象物と外力としてそれぞれ扱われる。

【0023】

第２通信部２００は、通信回線３０を経由して第１通信部１２０と通信する。第２通信部２００は、第１記憶部１１０から通信回線３０を経由してダウンロードされた写像変換画像の集合と、球に作用した外力データとを、互いに対応付けて第２記憶部２１０に記録する。第２記憶部２１０は、ダウンロードされた写像変換画像の集合と、球に作用した外力データとを、互いに対応付けて記憶する。なお、第２記憶部２１０は、シミュレーション装置１におけるシミュレーション処理が終了した場合、写像変換画像の集合と球に作用した外力データとを、第２記憶部２１０から消去する。

【0024】

操作部２２０は、表示部２５０の画面上に表示された対象物に外力を作用させる手動操作を受け付ける。操作部２２０は、例えば、力覚デバイス（力触覚デバイス）である。操作部２２０は、仮想空間において外力の作用を受けた対象物の反力を、物理的な反力としてユーザに作用させてもよい。これによって、操作部２２０は、臓器等の患部の触感をユーザに与えることができる。

【0025】

選択部２３０は、表示部２５０の画面上に表示された対象物に作用した外力と、画像導出装置１０において球に作用した外力との対応付けに基づいて、球に作用した外力ごとに記録された写像変換画像の集合のうちから、コンピュータグラフィックスを用いて３次元画像として再生される複数の写像変換画像を選択する。

【0026】

例えば、選択部２３０は、球に作用した外力のパターンのうちから、対象物に作用した外力と等しい外力を選択する。この選択の結果に基づいて、選択部２３０は、第２記憶部２１０に記録されている写像変換画像の集合のうちから、対象物に作用した外力に対応付けられている複数の写像変換画像を選択する。なお、選択部２３０は、導出部１００によって遠隔操作されてもよい。

【0027】

画像再生部２４０は、選択された複数の写像変換画像を、互いに交差している第１スライス（ｓｑ平面）及び第２スライス（ｒ平面）を用いて、コンピュータグラフィックスを用いて３次元画像として再生する。画像再生部２４０は、再生された複数の写像変換画像を、手動操作に応じた外力の作用によって変形した対象物（変形対象物）の形状として、表示部２５０の画面上に表示させる。この画面上では、操作部２２０を操作する医師などの操作者の手の動きに応じて、手術用器具が移動する。表示部２５０は、再生された複数の写像変換画像を、手動操作に応じて移動した手術用器具による外力の作用によって変形した対象物の形状として、表示部２５０の画面上に表示する。操作者による操作によって変形対象物に加えられた外力の反力が、画面上に表示されている変形対象物から操作部２２０を通して操作者に返送される。

【0028】

次に、写像変換画像の導出方法を説明する。
図２は、対象物の輪郭を表す写像変換画像としての楕円３００の例を示す図である。写像変換画像には、第１領域３１０（ｉ＝１）と、第２領域３２０（ｉ＝２）と、第３領域３３０（ｉ＝３）と、第４領域３４０（ｉ＝４）と、第５領域３５０（ｊ＝１）と、第６領域３６０（ｊ＝２）とが定められている。

【0029】

第１領域３１０は、写像変換画像における第１象限の領域である。第２領域３２０は、写像変換画像における第２象限の領域である。第３領域３３０は、写像変換画像における第３象限の領域である。第４領域３４０は、写像変換画像における第４象限の領域である。第５領域３５０は、写像変換画像における第１象限及び第４象限の領域である。第６領域３６０は、写像変換画像における第２象限及び第３象限の領域である。なお、各領域は更に細分化されてもよい。

【0030】

図３は、変形後又は移動後の楕円３００の各例を示す図である。導出部１００は、球に作用した外力ごとに、楕円３００に対してジューコフスキー変換を実行する。すなわち、導出部１００は、球に作用した外力ごとに超楕円関数の各パラメータを変更して、楕円３００を変形又は移動させる。導出部１００は、変形後又は移動後の楕円３００を、写像変換画像として導出する。変形後又は移動後の楕円（超楕円関数を用いた変形等の結果）を表現する関数「Ｖｉ」は、式（１）のように表される。

【0031】

【数1】

【0032】

ここで、「ｌｘ」は、楕円３００をｘ軸方向に移動させるためのパラメータである。「ｌｙ」は、楕円３００をｙ軸方向に移動させるためのパラメータである。「ｒ」は、楕円３００を回転（変形）させるためのパラメータである。「ｓｙ」は、楕円３００をｙ軸方向に変形させるためのパラメータである。「ｘｙ」は、楕円３００をｘ軸方向に変形させるためのパラメータである。

【0033】

超楕円関数のパラメータのうちの「ｓｑ_ｉ」と「ｔ_ｉ」と「ｂ_ｉ」と「ｓｈ_ｉ」とは、領域「ｉ」ごとに用意される。「ｓｑ_ｉ」は、楕円３００を点対称に変形させるためのパラメータである。「ｔ_ｉ」は、楕円３００をｙ軸対称に第１態様で変形させるためのパラメータである。「ｂ_ｉ」は、楕円３００をｙ軸対称に第２態様で変形させるためのパラメータである。「ｓｈ_ｉ」は、楕円３００の変形し難さを変更するためのパラメータであり、例えば０から１までの範囲の値である。楕円３００の変形し難さは、対象物の硬さに相当する。対象物の硬さは、対象物の材質に応じて変わる。

【0034】

図２及び図３に示された例では、式（１）における複数のパラメータの個数（超楕円関数を用いて楕円３００を変形又は移動させるためのパラメータの個数）は、「ｌｘ」と「ｌｙ」と「ｒ」と「ｓｙ」と「ｘｙ」との５個と、「ｓｑ_１」から「ｓｑ_４」までの４個と、「ｔ_１」から「ｔ_４」までの４個と、「ｂ_１」から「ｂ_４」までの４個と、「ｓｈ_１」から「ｓｈ_４」までの４個との合計２１個である。「ｉ」及び「ｊ」の各値は、領域の個数に対応した値であり、領域の細分化に応じて大きくなる。

【0035】

なお、式（１）における複数のパラメータのうちの例えば「ｂ」は、領域「ｊ」ごとに用意されてもよい。すなわち、「ｂ_ｉ」（「ｂ_１」から「ｂ_４」まで）の代わりに、「ｂ_ｊ」（「ｂ_１」から「ｂ_２」まで）が、式（１）における複数のパラメータの一部として用意されていてもよい。この場合、超楕円関数を用いて楕円３００を変形又は移動させるためのパラメータの個数は、合計１９個である。

【0036】

図４は、第１スライス４００（ｓｑ平面）と、第２スライス４１０（ｒ平面）との例を示す図である。第１スライス４００と第２スライス４１０とは、角度「θ」を成すように交差している。例えば、第１スライス４００と第２スライス４１０とは、互いに直交している。

【0037】

第１スライス４００－１から第１スライス４００－Ｐ（Ｐは２以上の整数）までのように、第１スライス４００の枚数は複数でもよい。それぞれの第１スライス４００－ｐ（ｐは、１からＰまでの整数）は、互いに平行である。同様に、第２スライス４１０－１から第２スライス４１０－Ｒ（Ｒは２以上の整数）までのように、第２スライス４１０の枚数は複数でもよい。それぞれの第２スライス４１０－ｒ（ｒは、１からＲまでの整数）は、互いに平行である。

【0038】

図５は、変形前の球５００と、変形後の球５００と、写像変換画像４２０との例を示す図である。球５００は、外力５１０の作用によって変形又は移動する。外力５１０の方向は、球５００に対して様々なパターンで変更される。また、外力５１０のベクトル量は、所定範囲で様々なパターンで変更される。導出部１００は、変形した球５００の輪郭を例えば有限要素法を用いて導出する。

【0039】

導出部１００は、球５００の輪郭が第１スライス４００に写像変換された結果を近似するように、球５００に作用した外力５１０ごとに、式（１）における超楕円関数の各パラメータを変更して写像変換画像４２０を導出する。同様に、導出部１００は、球５００の輪郭が第２スライス４１０に写像変換された結果を近似するように、球５００に作用した外力５１０ごとに、式（１）における超楕円関数の各パラメータを変更して写像変換画像４２０を導出する。

【0040】

図６は、写像変換画像４２０の集合の例を示す図である。導出部１００は、導出された写像変換画像４２０の集合と、球５００に作用した外力５１０とを対応付けて、写像変換画像４２０手術用器具と外力５１０のデータ（大きさ及び方向）とを、第１記憶部１１０に記録する。領域「ｉ」における外力を表現する関数「Ｆｉ」は、式（２）のように表される。

【0041】

【数2】

【0042】

ここで、「ｆ_ｘ」は、外力５１０のｘ軸成分である。「ｆ_ｙ」は、外力５１０のｙ軸成分である。「ｆ_ｚ」は、外力５１０のｚ軸成分である。

【0043】

領域「ｉ」における伝達関数「Ｈｉ」と、領域「ｉ」における外力を表現する関数「Ｆｉ」と、変形後又は移動後の楕円（超楕円関数を用いた変形等の結果）を表現する関数「Ｖｉ」との関係は、式（３）のような行列式で表される。なお、式（３）は、転置行列を用いて、「^ｔＨｉ・^ｔＦｉ＝^ｔＶｉ」と変形表現されてもよい。

【0044】

【数3】

【0045】

図７は、変形後の前立腺６２０の輪郭６３０の例を臓器変形例として示す図である。前立腺６２０の輪郭６３０は、例えば、磁気共鳴画像（Magnetic Resonance Imaging : MRI）装置等によって予め撮影される。図７には、膀胱６００と、尿道６１０と、前立腺６２０とが表されている。外力５１０の作用によって、前立腺６２０の形状は輪郭６３０のように変形している。式（３）に示された伝達関数「Ｈｉ」は、式（４）のように表される。伝達関数「Ｈｉ」は、球に作用した外力を入力とし、外力の作用を受けた球の形状を決定して、決定された形状を出力するための関数である。なお、式（４）は、転置行列を用いて、「^ｔＨｉ＝^ｔＶｉ・Ｆｉ」と変形表現されてもよい。

【0046】

【数4】

【0047】

ここで、「^tＦｉ」は、「Ｆｉ」の転置行列であり、操作部２２０（力覚デバイス）を通して領域「ｉ」に伝達される外力を表す。「^tＦｉ」の物理的な意味と「Ｆｉ」の物理的な意味とは同じであり、転置行列「^tＦｉ」は伝達関数「Ｈｉ」の導出に用いられる変形表現の一例である。行列の形式で表現される伝達関数（ベクトル型の伝達関数）「Ｈｉ」の列の数は、式（１）における複数のパラメータの個数に等しい。すなわち、伝達関数「Ｈｉ」において「ｎ」は、式（１）における複数のパラメータの個数から１を減算した結果の数である。磁気共鳴画像等を用いて近似変形が予め決定されたパラメータと外力とに基づいて伝達関数「Ｈｉ」が予め決定されることで、前立腺６２０に加えられた外力「Ｆｉ」に対する輪郭６３０の変形が決定できる。

【0048】

係数「a_０」から係数「a_ｎ」までは、ｘ軸方向の各変形成分を表す。係数「ｂ_０」から係数「ｂ_ｎ」までは、ｙ軸方向の各変形成分を表す。係数「ｃ_０」から係数「ｃ_ｎ」までは、ｚ軸方向の各変形成分を表す。変形成分は、仮想空間内に臓器が表現される際に、拡大又は縮小のパラメータとなる。

【0049】

仮想空間のｘ軸方向に関して、操作部２２０による外力「Ｆｉ」が前立腺６２０に加えられた場合に、又は、操作部２２０による外力「Ｆｉ」で前立腺６２０が引っ張られた場合に、変形後又は移動後の楕円３００を表現する関数「Ｖｉ」が輪郭６３０を近似するように、「ｈ_０」から「ｈ_ｎ」までの各値は、伝達関数におけるｘ軸方向の各成分に関して予め定められる。仮想空間のｙ軸方向に関して、操作部２２０による外力「Ｆｉ」が前立腺６２０に加えられた場合に、又は、操作部２２０による外力「Ｆｉ」で前立腺６２０が引っ張られた場合に、変形後又は移動後の楕円３００を表現する関数「Ｖｉ」が輪郭６３０を近似するように、「ｈ’_０」から「ｈ’_ｎ」までの各値は、伝達関数におけるｙ軸方向の各成分に関して予め定められる。仮想空間のｚ軸方向に関して、操作部２２０による外力「Ｆｉ」が前立腺６２０に加えられた場合に、又は、操作部２２０による外力「Ｆｉ」で前立腺６２０が引っ張られた場合に、変形後又は移動後の楕円３００を表現する関数「Ｖｉ」が輪郭６３０を近似するように、「ｈ’’_０」から「ｈ’’_０」までの各値は、伝達関数におけるｚ軸方向の各成分に関して予め定められる。

【0050】

次に、写像変換画像４２０の選択方法について説明する。
図８は、写像変換画像４２０の選択の例を示す図である。選択部２３０は、例えば、輪郭６３０と写像変換画像４２０との画素値の差分を導出することによって、変形後の前立腺６２０の輪郭６３０と写像変換画像４２０との近似度を導出する。選択部２３０は、球５００に外力５１０が作用している場合について、変形後の前立腺６２０の輪郭６３０を近似する写像変換画像４２０を、第２記憶部２１０に記憶されている写像変換画像４２０の集合のうちから選択する。

【0051】

図９は、変形後の対象物の３次元画像の例を示す図である。画像再生部２４０は、前立腺６２０の輪郭６３０を近似する写像変換画像として選択された写像変換画像４２０－ｓを、第１スライス４００－ｐに配置する。画像再生部２４０は、前立腺６２０の輪郭６３０を近似する写像変換画像として選択された写像変換画像４２０－ｎを、第２スライス４１０－ｒに配置する。画像再生部２４０は、複数の第１スライス４００と複数の第２スライス４１０とについて、写像変換画像４２０の配置処理を実行する。このようにして、画像再生部２４０は、選択された複数の写像変換画像を、互いに交差している第１スライス４００（ｓｑ平面）及び第２スライス４１０（ｒ平面）を用いて、コンピュータグラフィックスを用いて３次元画像として再生する。

【0052】

次に、シミュレーション装置１の動作を説明する。
図１０は、画像導出装置１０の構成例を示すフローチャートである。導出部１００は、球５００に作用した外力５１０ごとに、式（１）に示された超楕円関数のパラメータを図２の各領域「ｉ」について図３のように変更して、図６に示されたような写像変換画像４２０の集合を導出する（ステップＳ１０１）。導出部１００は、導出された写像変換画像４２０の集合と、球５００に作用した外力５１０とを対応付けて、写像変換画像４２０の集合を第１記憶部１１０に記録する（ステップＳ１０２）。

【0053】

図１１は、画像再生装置２０の構成例を示すフローチャートである。第２通信部２００は、第１記憶部１１０から通信回線３０を経由してダウンロードされた写像変換画像４２０の集合と、球に作用した外力データとを、互いに対応付けて第２記憶部２１０に記録する（ステップＳ２０１）。

【0054】

操作部２２０は、表示部２５０の画面上に表示された対象物（例えば、前立腺）に外力５１０「Ｆｉ」を作用させる手動操作を受け付ける（ステップＳ２０２）。選択部２３０は、表示部２５０の画面上に表示された対象物に作用した外力５１０と、球５００に作用した外力５１０との対応付けに基づいて、球５００に作用した外力５１０ごとに記録された写像変換画像４２０の集合のうちから、再生される写像変換画像４２０－ｎ及び写像変換画像４２０－ｍを選択する（ステップＳ２０３）。

【0055】

画像再生部２４０は、選択された写像変換画像４２０－ｎ及び写像変換画像４２０－ｍを、互いに交差している第１スライス４００及び第２スライス４１０を用いて、図９のように再生する。写像変換画像４２０－ｎ及び写像変換画像４２０－ｍは、第１スライス４００及び第２スライス４１０による前立腺６２０の各断面の輪郭を近似する（ステップＳ２０４）。画像再生部２４０は、前立腺６２０の輪郭を近似するように再生された複数の写像変換画像４２０を、外力５１０の作用によって変形した対象物の形状として、表示部２５０の画面上に表示させる（ステップＳ２０５）。

【0056】

以上のように、導出部１００は、球５００に作用した外力５１０ごとに、式（１）に示された超楕円関数のパラメータを図２の各領域「ｉ」について図３のように変更して、図６に示されたような写像変換画像４２０の集合を導出する。写像変換画像４２０は、外力５１０の作用によって変形した球５００の写像変換の結果を表す画像である。導出部１００は、複数の写像変換画像４２０の集合と、球５００に作用した外力５１０とを対応付けて、写像変換画像４２０の集合を第１記憶部１１０に記録する。

【0057】

第２記憶部２１０は、第１記憶部１１０から通信回線３０を経由してダウンロードされた写像変換画像４２０の集合を記憶する。操作部２２０は、表示部２５０の画面上に表示された対象物に外力５１０を作用させる手動操作を受け付ける。選択部２３０は、対象物に作用した外力５１０と球５００に作用した外力５１０との対応付けに基づいて、球５００に作用した外力５１０ごとに記録された写像変換画像４２０の集合のうちから、コンピュータグラフィックで再生される対象の３次元画像として、例えば図８のように写像変換画像４２０－ｎ及び写像変換画像４２０－ｍを選択する。

【0058】

画像再生部２４０は、選択された写像変換画像４２０－ｎ及び写像変換画像４２０－ｍを、互いに交差している第１スライス４００及び第２スライス４１０を用いて、例えば図９のように再生する。複数の写像変換画像４２０は、対象物の輪郭（例えば、磁気共鳴画像装置等によって予め撮影された前立腺６２０の輪郭６３０）を３次元で近似するように、図９のように互いに交差している。画像再生部２４０は、例えば図９のように再生された複数の写像変換画像４２０を、外力５１０の作用によって変形した対象物の形状として、表示部２５０の画面上に表示させる。写像変換画像４２０－ｎ及び写像変換画像４２０－ｍは、対象物の輪郭を図９のように３次元で近似する。操作部２２０（力覚デバイス）は、外力５１０の作用を受けた対象物の反力を、ユーザに作用させてもよい。

【0059】

このように、導出部１００は、写像変換画像４２０の集合を、球５００に作用した外力ごとに、超楕円関数を用いて導出する。これによって、外力の作用によって変形した対象物（例えば、前立腺等の臓器）の形状を画面上で再現する精度を向上させることが可能である。医療分野において、手術用器具による患部の触診と臓器の変形とを伴う手術のプロセスをユーザに確認させるように、操作部２２０は臓器等の患部の触感をユーザに与えることができる。また、医学部生及び医師等は、例えば腹腔鏡手術におけるプロセスを、医療技術学習又は手術前触診として疑似体験することができる。

【0060】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【0061】

例えば、画像再生部２４０は、選択された複数の写像変換画像４２０を、互いに交差している第１スライス（ｓｑ平面）及び第２スライス（ｒ平面）のいずれかを用いて、コンピュータグラフィックスを用いて２次元画像として再生してもよい。

【0062】

例えば、導出部１００は、写像変換画像４２０の集合を、ディープラーニングによって導出してもよい。

【0063】

例えば、上述の各数式では様々な変形表現が可能であり、各数式の表現は特定の表現（型）に限定されない。

【符号の説明】

【0064】

１…シミュレーション装置、２０…画像再生装置、３０…通信回線、１００…導出部、１１０…第１記憶部、１２０…第１通信部、２００…第２通信部、２１０…第２記憶部、２２０…操作部、２３０…選択部、２４０…画像再生部、２５０…表示部、３００…楕円、３１０…第１領域、３２０…第２領域、３３０…第３領域、３４０…第４領域、３５０…第５領域、３６０…第６領域、４００…第１スライス、４１０…第２スライス、４２０…写像変換画像、５００…球、５１０…外力、６００…膀胱、６１０…尿道、６２０…前立腺、６３０…輪郭

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2022-01-17

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

外力の作用によって変形した球の写像変換の結果を表す画像である写像変換画像の集合を、前記球に作用した外力ごとに、超楕円関数を用いて導出し、導出された前記写像変換画像の集合と前記球に作用した外力とを対応付けて記憶部に記録する導出部と、
表示部の画面上に表示された対象物に外力を作用させる手動操作を受け付ける操作部と、
前記対象物に作用した外力と前記球に作用した外力との対応付けに基づいて、前記球に作用した外力ごとに記録された前記写像変換画像の集合のうちから、複数の写像変換画像を選択する選択部と、
選択された前記複数の写像変換画像を、外力の作用によって変形した前記対象物の形状として前記画面上に表示させる画像再生部と
を備えるシミュレーション装置。

【請求項2】

前記導出部は、前記球に作用した外力を入力として、外力の作用を受けた前記球の形状を出力とする伝達関数の複数のパラメータのうちの少なくとも一つを変更して、前記写像変換画像の集合を導出する、請求項１に記載のシミュレーション装置。

【請求項3】

前記複数のパラメータのうちの一つは、外力の作用を受ける前記対象物の硬さを表すパラメータである、請求項２に記載のシミュレーション装置。

【請求項4】

前記操作部は、外力の作用を受けた前記対象物の反力をユーザに作用させる、請求項１から請求項３のいずれか一項に記載のシミュレーション装置。

【請求項5】

前記対象物は臓器である、請求項１から請求項４のいずれか一項に記載のシミュレーション装置。

【請求項6】

シミュレーション装置が実行するシミュレーション方法であって、
外力の作用によって変形した球の写像変換の結果を表す画像である写像変換画像の集合を、前記球に作用した外力ごとに、超楕円関数を用いて導出し、導出された前記写像変換画像の集合と前記球に作用した外力とを対応付けて記憶部に記録する導出ステップと、
表示部の画面上に表示された対象物に外力を作用させる手動操作を受け付ける操作ステップと、
前記対象物に作用した外力と前記球に作用した外力との対応付けに基づいて、前記球に作用した外力ごとに記録された前記写像変換画像の集合のうちから、複数の写像変換画像を選択する選択ステップと、
選択された前記複数の写像変換画像を、外力の作用によって変形した前記対象物の形状として前記画面上に表示させる画像再生ステップと
を含むシミュレーション方法。

【請求項7】

請求項１から請求項５のいずれか一項に記載のシミュレーション装置としてコンピュータを機能させるためのプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】変更

【補正の内容】

【0011】

本発明の一態様は、上記のシミュレーション装置が実行するシミュレーション方法であって、外力の作用によって変形した球の写像変換の結果を表す画像である写像変換画像の集合を、前記球に作用した外力ごとに、超楕円関数を用いて導出し、導出された前記写像変換画像の集合と前記球に作用した外力とを対応付けて記憶部に記録する導出ステップと、表示部の画面上に表示された対象物に外力を作用させる手動操作を受け付ける操作ステップと、前記対象物に作用した外力と前記球に作用した外力との対応付けに基づいて、前記球に作用した外力ごとに記録された前記写像変換画像の集合のうちから、複数の写像変換画像を選択する選択ステップと、選択された前記複数の写像変換画像を、外力の作用によって変形した前記対象物の形状として前記画面上に表示させる画像再生ステップとを含むシミュレーション方法である。