(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023046998
(43)【公開日】2023-04-05
(54)【発明の名称】プログラム、情報処理装置、方法、造形システム、及び表示制御装置
(51)【国際特許分類】
B29C 64/386 20170101AFI20230329BHJP
G09B 23/30 20060101ALI20230329BHJP
B33Y 50/00 20150101ALI20230329BHJP
B33Y 30/00 20150101ALI20230329BHJP
【FI】
B29C64/386
G09B23/30
B33Y50/00
B33Y30/00
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2021155882
(22)【出願日】2021-09-24
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り (1)日本脳神経外科学会 第79回学術総会(公開日:令和2年10月15日) (2)第33回 日本頭蓋底外科学会(公開日:令和3年7月1日) (3)第33回 日本頭蓋底外科学会 プログラム・抄録集(発行日:令和3年6月)
(71)【出願人】
【識別番号】501083643
【氏名又は名称】学校法人慈恵大学
(74)【代理人】
【識別番号】100188558
【弁理士】
【氏名又は名称】飯田 雅人
(72)【発明者】
【氏名】渡邉 信之
(72)【発明者】
【氏名】村山 雄一
(72)【発明者】
【氏名】渡邉 健太郎
(72)【発明者】
【氏名】藤村 宗一郎
【テーマコード(参考)】
2C032
4F213
【Fターム(参考)】
2C032CA01
2C032CA02
2C032CA03
2C032CA04
2C032CA06
4F213WA25
4F213WB01
4F213WL02
4F213WL85
(57)【要約】
【課題】身体部位の再現度が向上した医用模型を製造することができるプログラム、情報処理装置、方法、造形システム、及び表示制御装置を提供する。
【解決手段】本開示に係るプログラムは、患者の身体部位の医用模型を造形するためのプログラムであって、前記医用模型は、前記身体部位に含まれる複数の身体構成要素に対応する、力学的特性の異なる複数の模型構成要素を含み、コンピュータのプロセッサに、(a)前記患者の前記身体部位の画像データを受け付けるステップと、(b)前記画像データに含まれる前記身体部位の身体構成要素の識別結果を取得するステップと、(c)模型構成要素を造形する造形条件を決定するステップと、(d)前記決定された造形条件に基づいて前記医用模型の造形データを生成するステップと、を実行させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
患者の身体部位の医用模型を造形するためのプログラムであって、前記医用模型は、前記身体部位に含まれる複数の身体構成要素に対応する、力学的特性の異なる複数の模型構成要素を含み、
コンピュータのプロセッサに、
(a)前記患者の前記身体部位の画像データを受け付けるステップと、
(b)前記画像データに含まれる前記身体部位の身体構成要素の識別結果を取得するステップと、
(c)前記身体構成要素と当該身体構成要素に対応する前記模型構成要素の造形条件との関連付け情報に基づいて、前記画像データを用いて識別された各身体構成要素に対して、当該身体構成要素に対応する力学的特性を有する模型構成要素を造形する造形条件を決定するステップと、
(d)隣接する2つの身体構成要素の少なくとも1つの組について、当該隣接する2つの身体構成要素に対応する2つの模型構成要素が別体として造形されるように、前記決定された造形条件に基づいて前記医用模型の造形データを生成するステップと、
を実行させる、プログラム。
【請求項2】
前記模型構成要素の前記力学的特性は、前記模型構成要素の硬度を含む、
請求項1に記載のプログラム。
【請求項3】
前記関連付け情報において、前記複数の身体構成要素と前記複数の模型構成要素の造形条件とは、当該身体構成要素に対応するヒト又は非ヒト動物の身体構成要素のヤング率に基づいて関連付けられる、
請求項1又は2に記載のプログラム。
【請求項4】
前記関連付け情報において前記身体構成要素と関連付けられた前記造形条件は、所定の力学的特定及び色を有する造形材料の情報を含み、
前記ステップ(c)において、前記関連付け情報において前記身体構成要素と関連付けられた前記造形条件を基準として、当該身体構成要素に対応する模型構成要素の造形条件が決定される、
請求項1~3のいずれか一項に記載のプログラム。
【請求項5】
前記ステップ(d)において、前記別体として造形される前記2つの模型構成要素の間に空間又は別の造形材料が配置されるように、前記造形データが生成される、
請求項1~4のいずれか一項に記載のプログラム。
【請求項6】
前記ステップ(d)は、
(d-1)前記画像データ及び前記造形条件に基づいて前記医用模型の一次造形データを生成するステップと、
(d-2)隣接する2つの身体構成要素の少なくとも1つの組について、当該隣接する2つの身体構成要素に対応する2つの模型構成要素が別体として造形されるように、前記一次造形データを修正することにより、前記医用模型の造形データを生成するステップと、
を含む、
請求項1~5のいずれか一項に記載のプログラム。
【請求項7】
前記識別結果は、前記画像データにおいて各身体構成要素が占有するボクセルの集合としての3次元空間領域を示す身体構成要素ごとの位置情報を含み、
前記識別結果において、身体構成要素に対応する3次元空間領域が、頂点を共有して隣接する2つのボクセルを含む場合、当該3次元空間領域は、当該頂点を共有する少なくとも1つの別のボクセルをさらに含む、
請求項1~6のいずれか一項に記載のプログラム。
【請求項8】
前記ステップ(c)は、前記関連付け情報に含まれる造形条件に基づいて、少なくとも1つの模型構成要素の空隙率を決定するステップを含む、
請求項1~7のいずれか一項に記載のプログラム。
【請求項9】
前記ステップ(c)は、前記関連付け情報に含まれる造形条件に基づいて、少なくとも1つの模型構成要素が、当該模型構成要素に対応する身体構成要素が有しない内部空間を有するように、前記造形条件を決定するステップを含む、
請求項1~8のいずれか一項に記載のプログラム。
【請求項10】
前記ステップ(c)は、前記複数の模型構成要素の各々に対して色及び光透過率の少なくとも一方を決定するステップを含む、
請求項1~9のいずれか一項に記載のプログラム。
【請求項11】
前記ステップ(b)は、身体部位の画像データと当該画像データに含まれる前記身体部位の身体構成要素の識別結果との関係を学習した学習済みモデルを使用して、前記画像データから前記識別結果を取得するステップを含む、
請求項1~10のいずれか一項に記載のプログラム。
【請求項12】
前記身体部位は、病変部位を含み、
前記医用模型は、前記病変部位に対応する模型構成要素を含む、
請求項1~11のいずれか一項に記載のプログラム。
【請求項13】
患者の身体部位の医用模型を造形装置により造形するための情報処理装置であって、前記医用模型は、前記身体部位に含まれる複数の身体構成要素に対応する、力学的特性の異なる複数の模型構成要素を含み、
前記患者の前記身体部位の画像データを受け付ける入力部と、
前記画像データに含まれる前記身体部位の身体構成要素の識別結果を取得する識別部と、
前記身体構成要素と当該身体構成要素に対応する前記模型構成要素の造形条件との関連付け情報に基づいて、前記画像データを用いて識別された各身体構成要素に対して、当該身体構成要素に対応する力学的特性を有する模型構成要素を造形する造形条件を決定する造形条件決定部と、
隣接する2つの身体構成要素の少なくとも1つの組について、当該隣接する2つの身体構成要素に対応する2つの模型構成要素が別体として造形されるように、前記決定された造形条件に基づいて前記医用模型の造形データを生成する造形データ生成部と、
を備える、情報処理装置。
【請求項14】
患者の身体部位の医用模型を造形装置により造形する方法であって、前記医用模型は、前記身体部位に含まれる複数の身体構成要素に対応する、力学的特性の異なる複数の模型構成要素を含み、
コンピュータのプロセッサが、
(a)前記患者の前記身体部位の画像データを受け付けるステップと、
(b)前記画像データに含まれる前記身体部位の身体構成要素の識別結果を取得するステップと、
(c)前記身体構成要素と当該身体構成要素に対応する前記模型構成要素の造形条件との関連付け情報に基づいて、前記画像データを用いて識別された各身体構成要素に対して、当該身体構成要素に対応する力学的特性を有する模型構成要素を造形する造形条件を決定するステップと、
(d)隣接する2つの身体構成要素の少なくとも1つの組について、当該隣接する2つの身体構成要素に対応する2つの模型構成要素が別体として造形されるように、前記決定された造形条件に基づいて前記医用模型の造形データを生成するステップと、
(e)前記造形データに基づいて、前記医用模型の造形を行うように前記造形装置に指示するステップと、
を実行する、方法。
【請求項15】
患者の身体部位の医用模型を造形する造形装置と、前記造形装置を制御する情報処理装置と、を備える造形システムであって、前記医用模型は、前記身体部位に含まれる複数の身体構成要素に対応する、力学的特性の異なる複数の模型構成要素を含み、
前記情報処理装置は、
(a)前記患者の前記身体部位の画像データを受け付けるステップと、
(b)前記画像データに含まれる前記身体部位の身体構成要素の識別結果を取得するステップと、
(c)前記身体構成要素と当該身体構成要素に対応する前記模型構成要素の造形条件との関連付け情報に基づいて、前記画像データを用いて識別された各身体構成要素に対して、当該身体構成要素に対応する力学的特性を有する模型構成要素を造形する造形条件を決定するステップと、
(d)隣接する2つの身体構成要素の少なくとも1つの組について、当該隣接する2つの身体構成要素に対応する2つの模型構成要素が別体として造形されるように、前記決定された造形条件に基づいて前記医用模型の造形データを生成するステップと、
(e)前記造形データに基づいて、前記医用模型の造形を行うように前記造形装置に指示するステップと、
を実行するように構成されている、造形システム。
【請求項16】
患者の身体部位の医用模型の造形データを修正するための表示制御装置であって、前記医用模型は、前記身体部位に含まれる複数の身体構成要素に対応する複数の模型構成要素を含み、
ユーザの入力操作を受け付ける入力部と、
前記造形データに基づいて、造形される医用模型における隣接する2つの模型構成要素の組を示す情報を表示部に表示させる表示制御部と、
当該2つの模型構成要素を別体として造形するように指示するユーザの入力操作を前記入力部が受け付けたことに応答して、前記造形データにおける当該2つの模型構成要素の少なくとも一方の位置座標情報を変更することにより、修正された造形データを生成する造形データ生成部と、
を備える、表示制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、プログラム、情報処理装置、方法、造形システム、及び表示制御装置に関する。
【背景技術】
【0002】
外科医が手術のトレーニングを行うために、人体の一部を模した医用模型が使用されている。特許文献1には、複数の造形材料を併用してマルチマテリアル・アディティブ・マニュファクチャリングにより医用模型を造形する方法が記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明者は、従来の造形方法には、医用模型の各構成要素をまとめて造形すると、隣接する構成要素の境界において当該隣接する構成要素が混ざり合ってしまい、実際の身体構成要素に比べて医用模型の構成要素間の結合力が大きくなることにより、医用模型の再現度が低下するという問題があることを見出した。
【0005】
本発明が解決しようとする課題は、身体部位の再現度が向上した医用模型を製造することができるプログラム、情報処理装置、方法、造形システム、及び表示制御装置を提供することである。
【課題を解決するための手段】
【0006】
本発明の一態様において、患者の身体部位の医用模型を造形するためのプログラムであって、医用模型は、身体部位に含まれる複数の身体構成要素に対応する、力学的特性の異なる複数の模型構成要素を含み、コンピュータのプロセッサに、
(a)患者の身体部位の画像データを受け付けるステップと、
(b)画像データに含まれる身体部位の身体構成要素の識別結果を取得するステップと、
(c)身体構成要素と身体構成要素に対応する模型構成要素の造形条件との関連付け情報に基づいて、画像データを用いて識別された各身体構成要素に対して、身体構成要素に対応する力学的特性を有する模型構成要素を造形する造形条件を決定するステップと、
(d)隣接する2つの身体構成要素の少なくとも1つの組について、隣接する2つの身体構成要素に対応する2つの模型構成要素が別体として造形されるように、決定された造形条件に基づいて医用模型の造形データを生成するステップと、
を実行させるプログラムが提供される。
【0007】
本発明の一態様において、患者の身体部位の医用模型の造形するための情報処理装置であって、前記医用模型は、前記身体部位に含まれる複数の身体構成要素に対応する、力学的特性の異なる複数の模型構成要素を含み、前記患者の前記身体部位の画像データを受け付ける入力部と、前記画像データに含まれる前記身体部位の身体構成要素の識別結果を取得する識別部と、前記身体構成要素と当該身体構成要素に対応する前記模型構成要素の造形条件との関連付け情報に基づいて、前記画像データを用いて識別された各身体構成要素に対して、当該身体構成要素に対応する力学的特性を有する模型構成要素を造形する造形条件を決定する造形条件決定部と、隣接する2つの身体構成要素の少なくとも1つの組について、当該隣接する2つの身体構成要素に対応する2つの模型構成要素が別体として造形されるように、前記決定された造形条件に基づいて前記医用模型の造形データを生成する造形データ生成部と、を備える、情報処理装置が提供される。
【0008】
本発明の一態様において、患者の身体部位の医用模型を造形装置により造形する方法であって、医用模型は、身体部位に含まれる複数の身体構成要素に対応する、力学的特性の異なる複数の模型構成要素を含み、コンピュータのプロセッサが、
(a)患者の身体部位の画像データを受け付けるステップと、
(b)画像データに含まれる身体部位の身体構成要素の識別結果を取得するステップと、
(c)身体構成要素と身体構成要素に対応する模型構成要素の造形条件との関連付け情報に基づいて、画像データを用いて識別された各身体構成要素に対して、身体構成要素に対応する力学的特性を有する模型構成要素を造形する造形条件を決定するステップと、
(d)隣接する2つの身体構成要素の少なくとも1つの組について、隣接する2つの身体構成要素に対応する2つの模型構成要素が別体として造形されるように、決定された造形条件に基づいて医用模型の造形データを生成するステップと、
(e)造形データに基づいて、医用模型の造形を行うように前記造形装置に指示するステップと、
を実行する方法が提供される。
【0009】
本発明の一態様において、患者の身体部位の医用模型を造形する造形装置と、造形装置を制御する情報処理装置と、を備える造形システムであって、医用模型は、身体部位に含まれる複数の身体構成要素に対応する、力学的特性の異なる複数の模型構成要素を含み、情報処理装置は、
(a)患者の身体部位の画像データを受け付けるステップと、
(b)画像データに含まれる身体部位の身体構成要素の識別結果を取得するステップと、
(c)身体構成要素と身体構成要素に対応する模型構成要素の造形条件との関連付け情報に基づいて、画像データを用いて識別された各身体構成要素に対して、身体構成要素に対応する力学的特性を有する模型構成要素を造形する造形条件を決定するステップと、
(d)隣接する2つの身体構成要素の少なくとも1つの組について、隣接する2つの身体構成要素に対応する2つの模型構成要素が別体として造形されるように、決定された造形条件に基づいて医用模型の造形データを生成するステップと、
(e)造形データに基づいて、医用模型の造形を行うように造形装置に指示するステップと、
を実行するように構成されている、造形システムが提供される。
【0010】
本発明の一態様において、患者の身体部位の医用模型の造形データを修正するための表示制御装置であって、医用模型は、身体部位に含まれる複数の身体構成要素に対応する複数の模型構成要素を含み、ユーザの入力操作を受け付ける入力部と、造形データに基づいて、造形される医用模型における隣接する2つの模型構成要素の組を示す情報を表示部に表示させる表示制御部と、2つの模型構成要素を別体として造形するように指示するユーザの入力操作を入力部が受け付けたことに応答して、造形データにおける2つの模型構成要素の少なくとも一方の位置座標情報を変更することにより、修正された造形データを生成する造形データ生成部と、を備える表示制御装置が提供される。
【0011】
本発明の一態様において、表示制御部は、身体部位の3次元画像及び身体部位の身体構成要素の識別結果を表示部に表示させるとともに、身体構成要素と当該身体構成要素に対応する模型構成要素の造形条件との関連付け情報に基づいて、識別された各身体構成要素に対して、当該身体構成要素に対応する模型構成要素の力学的特性を表示部に表示させる。本発明の一態様において、表示制御部は、模型構成要素の力学的特性の値を変更するユーザの入力操作及び/又は医用模型の各構成要素に対して色及び光透過率の少なくとも一方を選択する入力操作を受け付ける入力部を表示部に表示させる。
【0012】
本発明の一態様において、表示制御装置は、造形データに基づいて造形される医用模型の第1画像を生成する画像生成部をさらに備え、表示制御部は、第1画像を表示部に表示させ、画像生成部は、造形データ生成部が修正された造形データを生成したことに応答して、修正された造形データに基づいて造形される医用模型の第2画像を生成し、表示制御部は、第2画像が生成されたことに応答して、第2画像を表示部に表示させる。
【0013】
本発明の一態様において、患者の身体部位の医用模型の造形データを生成するための表示制御装置であって、医用模型は、身体部位に含まれる複数の身体構成要素に対応する複数の模型構成要素を含み、ユーザの入力操作を受け付ける入力部と、複数の身体構成要素の位置座標情報を含む身体部位の画像データに基づいて、隣接する2つの身体構成要素を示す情報を表示部に表示させる表示制御部と、2つの身体構成要素に対応する2つの模型構成要素を別体として造形するように指示するユーザの入力操作を入力部が受け付けたことに応答して、2つの模型構成要素の少なくとも一方の位置座標情報を、画像データにおける模型構成要素に対応する身体構成要素の位置座標情報から変更した造形データを生成する造形データ生成部と、を備える表示制御装置が提供される。
【0014】
本発明の一態様において、患者の身体部位の医用模型であって、医用模型は、身体部位に含まれる複数の身体構成要素に対応する、力学的特性の異なる複数の模型構成要素を含み、隣接する2つの身体構成要素の少なくとも1つの組について、当該隣接する2つの身体構成要素に対応する2つの模型構成要素が別体として造形されている、医用模型が提供される。
【0015】
本発明の一態様において、別体として造形された2つの模型構成要素の間に空間又は別の造形材料が配置されている。本発明の一態様において、身体構成要素と当該身体構成要素に対応する模型構成要素の造形条件とは、当該身体構成要素に対応するヒト又は非ヒト動物の身体構成要素のヤング率に基づいて関連付けられる。本発明の一態様において、各模型構成要素の力学的特性の違いは、少なくとも部分的に模型構成要素の空隙率の差によってもたらされている。本発明の一態様において、模型構成要素は、当該模型構成要素に対応する身体構成要素が有しない内部空間を有する。
【発明の効果】
【0016】
本発明によれば、身体部位の再現度が向上した医用模型を製造することができるプログラム、情報処理装置、方法、造形システム、及び表示制御装置を提供することができる。
【図面の簡単な説明】
【0017】
【
図1】一実施形態に係る造形システム1の概略図である。
【
図2】一実施形態に係る造形システム1の機能構成を示すブロック図である。
【
図3】一実施形態に係る身体情報データベース42の一例を示す図である。
【
図4】一実施形態に係る関連付けテーブル44の一例を示す図である。
【
図5】一実施形態に係る造形システム1におけるデータの流れを示すフロー図である。
【
図6】一実施形態に係る処理フローを示すフロー図である。
【
図7】一実施形態に係る表示装置14の画面例を示す図である。
【発明を実施するための形態】
【0018】
以下、一実施形態に係るプログラム、情報処理装置、方法、造形システム、及び表示制御装置を、図面を参照して説明する。以下の説明では、同一の構成要素には同一の符号を付している。それらの名称及び機能も同じであるしたがって、それらについての詳細な説明は繰り返さない。
【0019】
<概要>
以下の実施形態では、患者の身体部位の医用模型を造形するための造形システムについて説明する。一実施形態に係る造形システムによれば、骨、脳実質、硬膜などの複数の身体構成要素からなる身体部位に対応するように、力学的特性の異なる複数の模型構成要素から成る医用模型を簡便に造形することができる。
【0020】
本明細書において、「患者」とは、医療処置の対象となるヒト又は非ヒト動物を意味する。ここで、「医療処置」は病気や怪我の治療だけでなく健康体の検査なども含み、「患者」には、病人や怪我人だけでなく具体的な疾患や怪我を有していない健康体も含まれる。
【0021】
本明細書において、「身体部位」とは、ヒト又は非ヒト動物の身体の一部又は全部を意味する。「身体部位」は身体の任意の領域であってよく、例えば頭部、頚部、胸部、腹部、上肢、下肢などが挙げられるが、これらに限定されず、頭頚部、体幹、体肢といったより上位概念の領域や、頭蓋、顔、肩、腕、手といったより下位概念の領域であってもよい。
【0022】
本明細書において、「身体構成要素」とは、身体部位を構成する1以上の解剖学的要素を意味する。例えば、身体部位として頭部を想定すると、身体構成要素としては骨、脳実質、硬膜、血管、筋肉などが挙げられるが、これらに限定されない。例えば、「骨」に代えて、前頭骨、頭頂骨、側頭骨など、さらに細かい身体構成要素を観念してもよい。なお、本明細書では、病変部位又は病巣も1つの身体構成要素として扱う。病変部位としては、特に限定されないが、例えば腫瘍部位(神経膠腫、リンパ腫など)、炎症部位などが挙げられる。
【0023】
本明細書において、「医用模型」とは、医学的用途に供される模型を意味する。例えば、医用模型として、外科医が手術のトレーニングや手術前の練習に使用する、特定の身体部位を模した実物大の模型などが挙げられるが、これに限定されず、スケールや実物の再現度などは適宜決定されてよい。例えば、医用模型においては、実際の身体部位に含まれる1以上の身体構成要素の一部又は全部が省略されてもよく、本来存在しない構成要素が付加されてもよい。
【0024】
本明細書において、「模型構成要素」とは、医用模型を構成する1以上の要素であって、材質、テクスチャ、力学的特性、光学的特性などの形態及び/又は性質が互いに区別可能なものを意味する。
【0025】
本明細書において、「造形」とは、所定の3次元形状を有する物体を製造することを意味する。
【0026】
本明細書において、「力学的特性」とは、負荷に対して材料が示す応答を意味する。力学的特性としては、例えば、硬度、強度、弾性、靭性などが挙げられるが、これらに限定されない。
【0027】
図1は、一実施形態に係る造形システム1の概略図である。
図2は、一実施形態に係る造形システム1の機能構成を示すブロック図である。
図1に示すように、造形システム1は、撮像装置10、処理装置12、表示装置14、及び造形装置16を備える。各装置のうち任意の2つ以上が互いに有線又は無線で接続されてもよい。各装置のうち任意の2つ以上が一体の装置として構成されてもよい。
図1では、撮像装置10及び造形装置16がそれぞれ処理装置12に有線接続されており、表示装置14は処理装置12と一体の装置として構成されている。
【0028】
造形システム1の全体の動作としては、まず撮像装置10が患者Pの身体部位Bを撮影し、取得した画像データD1を処理装置12に送信する。処理装置12は、画像データD1を処理することにより医用模型Mの造形データD2を生成し、造形データD2を造形装置16に送信する。造形装置16は、造形データD2に基づいて医用模型Mの造形を行う。一般に身体部位Bは複数の身体構成要素BCを含み、これに対応して、身体部位Bを模した医用模型Mも複数の模型構成要素MCを含むように造形される。身体構成要素BCと模型構成要素MCとは互いに対応しており、模型構成要素MCの各々は互いに異なる力学的特性を有する。好ましくは、造形データD2は、造形データD2を受け付けた造形装置16が医用模型Mを構成するすべての身体構成要素BCをまとめて一度に造形できるように、全身体構成要素BCの造形条件を含む。例えば、造形装置16は、3次元造形を行う3Dプリンタである。
【0029】
<構成>
撮像装置10は、患者Pの身体部位Bを撮影し、画像データD1を取得する。例えば、撮像装置10は、寝台に横たわった状態の患者Pに対して放射線や電磁波を照射し、患者Pの身体の透視画像を取得する。撮像装置10は、得られた患者Pの身体部位Bの画像データD1を処理装置12に送信する。
【0030】
撮像装置10としては、特に限定されず、任意の撮像装置が使用可能である。例えばコンピュータ断層撮影(CT)装置、磁気共鳴画像(MRI)装置、超音波画像装置などが挙げられる。これらの装置を使用する場合、得られる画像データD1はそれぞれCT画像データ、MRI画像データ、及び超音波画像データである。CT装置は、放射線(X線)を患者Pに照射することにより、身体部位Bの透視画像(CT画像)を取得する。MRI装置は、磁場中で電磁波を患者Pに照射することにより、核磁気共鳴に基づく身体部位Bの透視画像(MRI画像)を取得する。超音波画像装置は、体内に発信した超音波の反射波を分析することにより、身体部位Bの構造を可視化した画像(超音波画像)を取得する。なお、複数の撮像装置が併用されてもよく、画像データD1が2種類以上の画像データを含んでもよい。例えば、画像データD1として、CT画像とMRI画像とをマージした画像が使用されてもよい。
【0031】
処理装置12は、「情報処理装置」及び「表示制御装置」の一例である。処理装置12は、撮像装置10から受け付けた画像データD1を処理することにより、身体部位Bに対応する医用模型Mの造形データD2を生成する。処理装置12は、生成した造形データD2を造形装置16に送信する。また、処理装置12は、テキストデータや画像データを表示装置14に送信し、これらを表示するように表示装置14を制御することができる。
【0032】
図2に示すように、処理装置12は、入力部20、処理部22、記憶部24、及び出力部26を含む。これらは、処理装置12が備えるプロセッサ、メモリ、ストレージ、入出力インタフェース、通信インタフェース、これらを相互接続するバスなどを含むハードウェア構成の協働により実現される機能部である。
【0033】
入力部20は、入出力インタフェースを含んで構成され、処理装置12への入力を受け付ける。
【0034】
処理部22は、入力部20が受け付けた入力の演算処理を行う。処理部22は、3次元画像生成部30、識別部32、造形条件決定部34、造形データ生成部36、及び表示制御部38を含む。
【0035】
3次元画像生成部30は、複数の2次元画像から3次元画像を生成することができる。例えば、撮像装置10が身体部位Bの複数の断層画像を取得するCT装置である場合、画像データD1は身体部位Bの断面を示す複数の2次元CT画像のセットとして得られる。3次元画像生成部30は、既知の任意の手法により、複数の2次元CT画像データD1から身体部位Bの3次元画像データD1’を生成することができる。なお、例えば、撮像装置10が初めから3次元画像を取得してもよく、処理装置12とは別に2次元画像から3次元画像を生成する処理装置を使用してもよい。このような場合、3次元画像生成部30における処理は省略可能である。また、3次元画像生成部30は、生成された造形データD2に基づいて、造形される医用模型Mの3次元画像を生成することができる。
【0036】
識別部32は、画像データD1に含まれる身体部位Bを構成する身体構成要素BCを識別する。例えば、識別部32は、画像データD1における身体部位Bを特定し、身体部位Bに含まれる身体構成要素BCの情報を(例えば、予め用意された身体情報データベース42から)取得し、当該取得した情報に基づいて画像データD1における身体部位Bを身体構成要素BC単位に分割するとともに各身体構成要素BCを識別する。これにより、識別部32は、画像データD1に含まれる各身体構成要素BCの識別情報(例えば名称、種類など)を、位置座標情報(例えば画像データD1における位置座標など)や形態情報(例えば形状、大きさ、身体構成要素BCとの配置関係など)と関連付けて取得することができる。ここで、ある身体構成要素BCの位置座標情報及び形態情報の一方又は両方は、例えば、3次元の画像データD1において当該身体構成要素BCが占有する空間領域(複数のボクセルの集合として表され得る)を示す3次元空間座標の組によって表現され得る。
【0037】
図3は、一実施形態に係る身体情報データベース42の一例を示す図である。
図3に示すように、身体情報データベース42は、例えば、身体部位ごとに当該身体部位を構成する身体構成要素の名称を列挙した樹形図である。識別部32は、例えば、身体情報データベース42において身体部位Bの名称を検索することにより、所望の身体部位Bを構成する複数の身体構成要素BCの名称を取得することができる。
【0038】
例えば、身体部位Bがヒトの頭部である場合、識別部32は、身体情報データベース42において身体部位Bとして「頭部」を検索することにより、一般に頭部が骨、脳実質、硬膜、血管、筋肉などの身体構成要素BCを含む旨の情報を取得することができる。次いで、識別部32は、画像データD1において3次元画像として示された身体部位B(頭部)のどの部分が骨に相当するか、どの部分が脳実質に相当するか、どの部分が硬膜に相当するか、といった識別を行う。このような識別処理によって、識別部32は、例えば、画像データD1において骨、脳実質、硬膜などの身体構成要素BCに相当する空間領域を示す3次元空間座標の組を、身体構成要素BCごとに取得することができる。
【0039】
識別部32は、例えば、撮像方式の特性、身体構成要素BCの物理的特徴及び/又は解剖学的特徴などに基づいて、身体構成要素BCの識別を行うことができる。また、識別部32は、機械学習により訓練された学習済みモデルを用いて、身体構成要素BCの識別を行ってもよい。学習済みモデルは、例えば、画像データD1と画像データD1に含まれる身体構成要素BCの識別結果との組を教師データとして、画像データD1と身体構成要素BCの識別結果との関係を学習させる機械学習によって生成され得る。
【0040】
識別部32は、少なくとも部分的に、ユーザが入力した識別結果に基づいて、身体構成要素BCの識別を行うこともできる。例えば、ユーザは、画像データD1において身体構成要素BCが占有する空間領域を特定するとともに、当該身体構成要素BCの名称や種類を特定することにより、身体構成要素BCの識別結果を処理装置12に入力することができる。この場合、身体構成要素BCの識別処理は、入力部20がユーザから受け付けた、画像データD1における身体構成要素BCの占有領域を示す3次元空間座標の組を取得することを含んでもよい。
【0041】
好ましくは、識別部32は、身体構成要素BCの位置情報として、複数のボクセルの集合として表される3次元空間領域を特定する際に、当該3次元空間領域を構成するボクセルのうち2つのボクセルが頂点を共有して隣接する場合、当該3次元空間領域を構成するとともに当該頂点を共有する少なくとも1つの別のボクセルが存在するように、当該3次元空間領域を特定する。すなわち、識別部32による識別結果において、身体構成要素BCに対応する3次元空間領域が、頂点を共有して隣接する2つのボクセルを含む場合、当該3次元空間領域は、当該頂点を共有する少なくとも1つの別のボクセルをさらに含む。このように特定することにより、画像データD1において、身体構成要素BCに対応する3次元空間領域は、頂点で接する2つのボクセルの接触点(すなわち、当該2つのボクセルが共有する頂点)の周りに別のボクセルを含むことができる。例えば、1辺の長さが1である単位ボクセル(X,Y,Z)の集合から成るXYZ座標空間において、身体構成要素BCに対応する3次元空間領域が、互いに頂点を共有するボクセルA(0,0,0)及びボクセルB(1,1,1)を含むものとする。この場合、この頂点を共有する別のボクセルとして、ボクセルC(1,0,0)、ボクセルD(0,1,0)、ボクセルE(0,0,1)、ボクセルF(1,1,0)、ボクセルG(0,1,1)、及びボクセルH(1,0,1)の6つが挙げられる。身体構成要素BCに対応する3次元空間領域が、これらの追加ボクセルC~Hのうち1以上を含んでいれば、追加ボクセルは、ボクセルA及びボクセルBの一方とは面で接し、他方とは辺で接することになる。例えば、追加ボクセルがボクセルC(1,0,0)である場合には、ボクセルCはボクセルAと面で接し、ボクセルBと辺で接する。これにより、頂点で接する2つのボクセルA、Bは、頂点で繋がるだけでなく隣接する別のボクセルを介して繋がることにもなる。これに対し、仮に2つのボクセルが隣接する別のボクセルを介さずに頂点の1点のみで繋がる場合には、造形後の医用模型Mにおいて、2つのボクセルが共有する頂点に対応する部分がうまく繋がらずに造形されてしまう可能性がある。この場合、2つのボクセルに対応する部分の間に穴が開いてしまうことになる。この問題は、特に身体構成要素BCの薄い部分を造形する場合などに重要である。そこで、上記のように識別部32が身体構成要素BCに対応する3次元空間領域を特定することにより、造形後の医用模型Mにおいて、2つのボクセルが共有する頂点に対応する部分に穴が開いてしまう可能性を低減することができる。
【0042】
造形条件決定部34は、画像データD1における身体構成要素BCの識別結果、身体構成要素BCと造形される医用模型Mに含まれる模型構成要素MCとの関連付け情報、ユーザからの入力、過去の造形条件などに基づいて、医用模型Mの各模型構成要素MCの造形条件を決定する。造形条件は、例えば、模型構成要素MCの大きさ、形状、配置、力学的特性、造形材料の種類、造形材料の供給条件、造形材料の硬化条件、造形材料の空隙率、造形材料の色、造形材料の光透過率(透明度)などを含む。
【0043】
造形条件決定部34は、例えば、識別結果に基づく各身体構成要素BCの位置座標情報及び/又は形態情報から、造形条件のうち模型構成要素MCの大きさ、形状、配置などの形態情報を取得することができる。造形条件決定部34は、例えば、身体構成要素BCと当該身体構成要素BCに対応する模型構成要素MCに望ましい造形条件(例えば、造形材料やその力学的特性など)との対応関係を含む関連付けテーブル44に基づいて、造形条件のうち模型構成要素MCの力学的特性、造形材料の種類などの造形材料情報や、造形材料の供給条件、造形材料の硬化条件などの造形処理情報、模型構成要素MCの空隙率などの造形物情報を取得することができる。造形条件決定部34は、例えば、ユーザからの入力や過去の造形条件などに基づいて、造形条件のうち造形材料の色や光透過率などの造形材料情報を取得することができる。なお、模型構成要素MCの色や光透過率は、材料の力学的特性とは独立して、ユーザの視覚的利便性のために適宜設定されてよい。所望の色や光透過率を有する模型構成要素MCを造形する方法としては、造形材料の選択や着色料の添加など任意の方法が使用されてよい。
【0044】
模型構成要素MCの各々は、異なる造形条件で造形されることにより、互いに異なる力学的特性を有する。例えば、造形条件決定部34は、所望の力学的特性を実現するために、使用する造形材料の種類、数、配合率、供給量、密度、供給温度、供給速度、硬化手段、硬化温度、硬化用照射光のエネルギー、焼結手段、焼結温度、造形される模型構成要素MCの空隙率、模型構成要素MCの密度、模型構成要素MCの内部構造など、1以上の造形条件を適宜選択することができる。
【0045】
造形条件決定部34は、取得した造形条件に基づいて、画像データD1を用いて識別された各身体構成要素BCに対して、当該身体構成要素BCに対応する力学的特性を有する模型構成要素MCを造形する造形条件を割り当てる。これにより、身体構成要素BCに対応する模型構成要素MCは、当該身体構成要素BCに割り当てられた造形条件に従って、身体構成要素BCに対応する力学的特性を有するように造形される。
【0046】
例えば、造形条件決定部34は、模型構成要素MCに好適な力学的特性に応じて、硬化後の力学的特性が互いに異なる複数の造形材料のうち1つを選択することにより、又は2以上の造形材料及びその配合率を選択することにより、所望の力学的特定を有する模型構成要素MCを造形する造形条件を決定することができる。
【0047】
例えば、造形条件決定部34は、模型構成要素MCに好適な力学的特性に応じて、造形される模型構成要素MCの空隙率を選択してもよい。例えば、硬度の小さい模型構成要素MCを造形する場合において、造形条件決定部34は、当該硬度を実現するように、模型構成要素MCが1以上の内部空間(例えば、一続きの空洞状の内部空間や、互いに離間した複数の内部空間)を有するように造形条件を決定することができる。模型構成要素MCの内部空間は、例えば身体構成要素BCが本来内部空間を有しない部分に形成されてよい。造形条件決定部34は、模型構成要素MCの内部空間の大きさや形状などを適宜選択することにより、所望の硬度が得られる造形条件を決定することができる。内部空間は、模型構成要素MCの外部と連通する開空間であってもよく、外部と連通しない閉空間であってもよい。あるいは、造形条件決定部34は、模型構成要素MCが内部に多数の空隙を有する多孔質体であるように造形条件を決定してもよい。この場合、造形条件決定部34は、空隙の数、大きさ、密度などを適宜選択することにより、所望の硬度が得られる造形条件を決定することができる。内部空間などの空隙は、例えば、サポート材を利用して形成することができる。サポート材は、例えば、孔からの吸い出し、溶剤添加、加熱、光照射などの任意の手段で医用模型Mから除去可能な任意の材料である。例えば、模型構成要素MCの表面にサポート材を除去するための孔を造形時又は造形後に形成し、当該孔を通して内部のサポート材を除去することができる。好ましくは、造形時には、空隙に対応する位置にサポート材が配置され、造形完了後に任意の手段によってサポート材が医用模型Mから除去されることにより、医用模型Mの内部に空隙が形成される。
【0048】
なお、模型構成要素MCの硬度は、実際の身体構成要素BCの硬度と異なってもよく、例えば身体構成要素BCの硬度よりも小さく設定されてもよい。
【0049】
図4は、一実施形態に係る関連付けテーブル44の一例を示す図である。関連付けテーブル44は、例えば「身体構成要素」、「ヤング率」、「模型ショア硬度」、「造形材料」、及び「空隙率」の列を含む。関連付けテーブル44は、各列に示された各要素を互いに関連付けている。「身体構成要素」は、身体構成要素BCの名称である。「ヤング率」は、身体構成要素BCのヤング率の典型的な値であり、ヒト又は非ヒト動物の身体構成要素BCのヤング率の実測値や推定値などであってよい。「模型ショア硬度」は、身体構成要素BCに対応する模型構成要素MCの「力学的特性」の一例であり、模型構成要素MCが有するショア硬度の値である。例えば、模型構成要素MCのショア硬度の値は、当該模型構成要素MCに対応する身体構成要素BCのヤング率に基づいて設定される。例えば、ショア硬度の値は、身体構成要素BCのヤング率の値を一定程度再現するように決定されてよい。ヤング率をどの程度再現するかは、用途などに応じて適宜決定され得る。「造形材料」は、身体構成要素BCに対応する模型構成要素MCを造形するための好適な材料である。なお、「血管」に対応する模型構成要素MCの造形材料としては、樹脂Bと樹脂Cとを配合した材料が配合率とともに記載されている。「空隙率」は、身体構成要素BCに対応する模型構成要素MCの硬度を実現するために好適な模型構成要素MCの空隙率である。なお、関連付けテーブル44に含まれる項目は上記例に限定されず、
図4に示された項目の1以上が省略されてもよく、任意の項目が追加されてもよい。例えば、関連付けテーブル44は、造形材料の供給条件や硬化条件など他の造形条件、ヤング率以外の身体構成要素BCの力学的特性値、ショア硬度以外の模型構成要素MCの力学的特性値などを含んでもよい。
【0050】
好ましくは、関連付けテーブル44は、身体構成要素BCごとに当該身体構成要素BCに対応する模型構成要素MCに好適な硬度の情報を含む。造形条件決定部34は、関連付けテーブル44に基づいて、模型構成要素MCごとに硬度(「力学的特性」の一例)を決定する。硬度としては、ショア硬度、ビッカース硬度、デュロメータ硬度などが挙げられるが、特に限定されず、任意の指標が使用可能である。
【0051】
関連付けテーブル44の「模型ショア硬度」、「造形材料」、「空隙率」などの項目は、実際に造形した医用模型Mを使用したユーザの評価などに基づいて適宜更新されてよい。
【0052】
造形データ生成部36は、画像データD1及び造形条件決定部34により決定された造形条件に基づいて、医用模型Mの造形データD2を生成する。造形データD2は、例えば、3次元空間上の医用模型Mの造形モデルの情報を含む。造形データD2は、例えば、3次元空間内の各ボクセル(X、Y、Z)に対して、当該ボクセルにおける造形材料の有無の情報及び当該ボクセルに造形材料がある場合には造形材料の種類などの造形条件の情報を含む。すなわち、造形データD2では、位置座標情報(例えばボクセル情報)と造形条件情報とが関連付けられている。
【0053】
造形データ生成部36は、画像データD1における隣接する2つの身体構成要素BCの少なくとも1つの組について、当該隣接する身体構成要素BCに対応する2つの模型構成要素MCが別体として造形されるように、造形データD2を生成することができる。本明細書において、「別体」とは、2つの物体が実質的に混ざり合っていない状態を意味し、互いに接する2つの物体間に界面が存在する状態や、2つの物体間に別の層や隙間が存在する状態なども含む。例えば、隣接する2つの模型構成要素MCを同一又は類似の材料(例えば樹脂材料)で造形する場合において、当該2つの模型構成要素MCを連続的に造形すると、隣接する模型構成要素MCがその境界で互いに混ざり合って一体化する場合がある。そこで、隣接する2つの模型構成要素MCを別体として造形するために、例えば、造形データ生成部36は、一旦元の画像データD1の位置座標情報に従って一次造形データを生成した後、一次造形データ中で隣接する模型構成要素MCの組を検出し、隣接する2つの模型構成要素MCの一方又は両方の位置や大きさを修正することができる。例えば、造形データ生成部36は、隣接する2つの模型構成要素MCの間に薄い空間が形成されるように、一次造形データにおける模型構成要素MCの位置情報を修正することができる。造形データ生成部36は、上記修正によって形成された模型構成要素MC間の空間に別の材料が造形されるように、一次造形データにおける造形条件をさらに修正してもよい。模型構成要素MC間に充填される別の材料としては、特に限定されないが、模型構成要素MCの造形材料に対する接着性が低い材料が好ましい。あるいは、造形データ生成部36は、隣接する模型構成要素MCの一方を先に造形して完全に硬化させた後で、隣接する模型構成要素MCの他方を先に造形した模型構成要素MC上に造形するように、一次造形データにおける造形条件を修正してもよい。このようにして、造形データ生成部36は、最終的な造形データD2を生成することができる。ただし、造形データ生成部36が隣接する2つの模型構成要素MCを別体として造形する方法は上記例に限定されず、任意の方法が使用可能である。
【0054】
造形データ生成部36は、必ずしも一次造形データを生成する必要はなく、一次造形データを経由せずに初めから上記修正事項を入れ込んだ造形データD2を生成してもよい。例えば、造形データ生成部36は、画像データD1の識別結果に含まれる模型構成要素MCの位置情報を造形データD2に反映させる際に、隣接する模型構成要素MCの組を検出して、例えば当該模型構成要素MC間に隙間が生じるように、当該模型構成要素MCの位置情報を修正してもよい。また、このような位置情報の修正は、造形データの生成とは別のタイミングで行われてもよい。例えば、識別部32が画像データD1に含まれる身体構成要素BCを識別して身体構成要素BCの位置座標を特定する際に、識別部32は、隣接する身体構成要素BCの組を検出して、例えば当該身体構成要素BC間に隙間が生じるように、当該身体構成要素BCの位置座標(例えば、身体構成要素BCが占有する空間領域を特定する位置座標)を決定してもよい。造形データ生成部36は、そのように修正された識別結果に基づいて造形データD2を生成するので、結果として、当該隣接する身体構成要素BCに対応する模型構成要素MCが別体として造形されるような造形データD2が生成される。
【0055】
なお、造形データ生成部36は、必ずしも隣接する模型構成要素MCのすべての組に対して上記処理を行わなくてもよい。例えば、造形材料の種類や特性の違い、供給条件や硬化条件などにより、隣接する模型構成要素MCが互いに混ざり合うことなく造形可能な場合もある。また、医用模型Mの用途に照らして重要性が低い模型構成要素MCなども、上記処理の対象外とされてよい。例えば、造形データ生成部36は、入力部20が受け付けたユーザの選択に基づいて、上記処理を行う模型構成要素MCを決定することができる。例えば、造形データ生成部36は、まず画像データD1の位置座標情報に従って一次造形データを生成し、一次造形データにおける隣接する模型構成要素MCの組を検出し、出力部26を介して表示装置14に一次造形データ及び検出した模型構成要素MCの組を表示させ、入力部20を介してユーザによる模型構成要素MCの組の選択結果を受け付け、当該選択結果に基づいて、選択された模型構成要素MCの組に含まれる各模型構成要素MCが別体として造形されるように一次造形データを修正し、造形データD2を生成する。
【0056】
表示制御部38は、表示装置14の表示を制御する。表示制御部38は、必要に応じて、各種データを表示装置14で表示可能な形式に変換し、当該データを表示するように表示装置14に指示する。
【0057】
記憶部24は、プログラム40、身体情報データベース42、関連付けテーブル44などを記憶する。プログラム40は、処理装置12のプロセッサに所定の命令を実行させる。なお、プログラム40、身体情報データベース42、及び関連付けテーブル44は、必ずしも処理装置12の記憶部24に記憶されていなくてもよく、外部サーバなど別の装置に記憶されてもよい。
【0058】
出力部26は、入出力インタフェースを含んで構成され、処理部22における演算処理の結果(例えば、身体部位Bの3次元画像、身体構成要素BCの識別結果、模型構成要素MCの好適な硬度、造形データD2など)を出力する。
【0059】
表示装置14は、処理装置12のユーザインタフェースとして機能する。表示装置14は、撮像装置10が取得した画像データD1や処理装置12による画像データD1の処理結果を出力部26から受け付けて、ユーザに対して表示する。
【0060】
表示装置14は、表示部50を含む。表示部50は、表示制御部38によって制御されて、出力部26から受け付けた情報や、ユーザからの入力を受け付けるためのテキストボックスやボタンなどの各種オブジェクトを、ユーザに対して表示する。例えば、表示部50は、3次元画像生成部30が生成した身体部位Bの3次元画像や、造形データ生成部36が生成した造形データD2に基づく医用模型Mの3次元画像をユーザに対して表示することができる。好ましくは、表示部50は、並進及び回転可能に3次元画像を表示することができる。例えば、表示制御部38は、入力部20がユーザの入力操作を受け付けたことに応答して、表示されている3次元画像を並進又は回転させるように表示部50を制御する。
【0061】
造形装置16は、処理装置12から受け付けた造形データD2に基づいて、医用模型Mの造形を行う。造形装置16としては、特に限定されず、任意の造形装置が使用可能である。例えば、光造形装置、付加製造装置、インクジェット造形装置、粉末焼結造形装置、熱溶融積層造形装置などが挙げられる。好ましくは、造形装置16は、医用模型Mの造形材料として光硬化性樹脂を使用した光造形装置である。造形装置16は、造形材料以外に、サポート材や添加剤など任意の材料を適宜使用することができる。
【0062】
なお、処理装置12は、撮像装置10及び造形装置16の一方又は両方を制御する制御装置として機能してもよい。撮像装置10の制御装置としての処理装置12は、撮像装置10に指示して、患者Pの位置移動や撮影などを行わせる。造形装置16の制御装置としての処理装置12は、造形装置16に指示して、出力した造形データに基づいて、医用模型Mの造形を行わせる。具体的には、処理装置12は、造形装置16が造形データのとおりに医用模型Mの造形を行うように、造形装置16の造形材料供給機構、造形材料固化機構(レーザなど)、ステージ移動機構などの動作を制御する。
【0063】
<データフロー>
図5は、一実施形態に係る造形システム1におけるデータの流れを示すフロー図である。
撮像装置10により取得された画像データD1又は3次元画像生成部30によって画像データD1から生成された3次元画像データD1’(以下、まとめて「画像データ500」という。)は、身体部位B及び当該身体部位Bを構成する複数の身体構成要素BCの位置座標情報502及び形態情報504を含む。例えば、位置座標情報502は、画像データ500における位置座標(例えばボクセル)及び各位置座標に対応する値(例えばCT値、CT値から変換された色特性値など)などを含む。例えば、形態情報504は、画像データ500に含まれる身体部位Bの形状や大きさ、画像データ500においてひとまとまりの要素として抽出される身体構成要素BCの形状、大きさ、他の要素との配置関係などを含む。
【0064】
形態情報504は、識別部32及び/又はユーザが画像データ500に含まれる身体構成要素BCを識別するために使用される(510)。識別部32及び/又はユーザは、画像データ500に含まれる各要素の形態情報504、各身体構成要素BCの既知の物理的特徴及び/又は解剖学的特徴などに基づいて、どの要素がどの身体構成要素BCに対応するのかを識別する。
【0065】
身体構成要素BCの識別結果は、造形条件決定部34が各身体構成要素BCに対応する模型構成要素MCのための造形材料を選択するために使用される(520)。例えば、造形条件決定部34は、識別された身体構成要素BCの名称を関連付けテーブル44で検索することにより、当該身体構成要素BCに対応する模型構成要素MCに適した造形材料や力学的特性(例えば硬度)などの造形条件を決定する。
【0066】
決定された造形条件は、造形データ生成部36が画像データ500の位置座標情報502と組み合わせて造形データD2を生成するために使用される(530)。例えば、造形データD2は、位置座標情報502に基づく造形モデルの位置座標情報と、造形条件情報とを関連付けることにより生成される。このとき、位置座標情報502に基づいて、隣接する2つの模型構成要素MCの組が別体として造形されるように、造形データD2の修正処理が行われ得る。その後、生成された造形データD2が処理装置12から造形装置16に送信される。造形装置16は、造形データD2に基づいて医用模型Mの造形を行う(540)。
【0067】
このようにして、身体部位Bの画像データ500に含まれる位置座標情報502及び形態情報504から造形データD2が生成され、生成された造形データD2に基づいて、身体部位Bに対応する医用模型Mの造形が行われる。
【0068】
<処理フロー>
図6は、一実施形態に係る処理フローを示すフロー図である。
ステップS601では、撮像装置10が、患者Pの身体部位Bの画像データD1を取得する。処理装置12の入力部20は、撮像装置10から画像データD1を受け付ける。画像データD1は、例えば、2次元画像の組又は3次元画像である。画像データD1が2次元画像の組である場合、処理装置12の3次元画像生成部30が画像データD1を3次元画像データD1’に変換することができる。
【0069】
ステップS602では、処理装置12の識別部32が、画像データD1、D1’に含まれる身体部位Bの身体構成要素BCの識別結果を取得する。識別結果は、例えば、身体構成要素BCごとの識別情報(名称、種類など)、位置座標情報、形態情報などを含む。
【0070】
ステップS603では、処理装置12の造形条件決定部34が、身体構成要素BCと当該身体構成要素BCに対応する模型構成要素MCの造形条件との関連付け情報に基づいて、画像データD1、D1’を用いて識別された各身体構成要素BCに対して、当該身体構成要素BCに対応する力学的特性を有する模型構成要素MCを造形する造形条件を決定する。造形条件は、模型構成要素MCの形態情報、造形材料の情報、造形処理情報(例えば、材料供給や硬化などの各造形処理における処理条件の情報)などを含む。
【0071】
ステップS604では、処理装置12の造形データ生成部36が、隣接する2つの身体構成要素BCの少なくとも1つの組について、当該隣接する2つの身体構成要素BCに対応する2つの模型構成要素MCが別体として造形されるように、決定された造形条件に基づいて医用模型Mの造形データD2を生成する。造形装置16が造形データD2を読み取って造形した医用模型Mにおいて当該2つの模型構成要素MCが別体として造形される限りにおいて、当該2つの模型構成要素MCを別体として造形する方法は任意に選択可能である。例えば、上述のように、画像データD1における身体構成要素BCを識別する際に、隣接する身体構成要素BCの間に僅かな空間が生じるように身体構成要素BCの位置座標を特定してもよく、造形データD2において模型構成要素MCの間に僅かな空間又は別の材料が形成されるように模型構成要素MCの位置座標や造形条件を設定してもよく、隣接する模型構成要素MC同士が混ざり合わないように造形材料や造形のタイミングなどの造形条件を適宜設定してもよい。
【0072】
ステップS605では、造形装置16が、造形データD2に基づいて、医用模型Mの造形を行う。
【0073】
<画面例>
図7は、一実施形態に係る表示装置14の画面例を示す図である。
表示制御部38は、
図7に示すような造形データを生成するための画面をユーザに対して表示するように、表示装置14の表示部50を制御することができる。
図7に示すように、表示制御部38は、3次元画像表示部700と、造形条件設定部702と、データ修正部704と、出力指示部706と、をユーザに対して表示するように表示部50を制御する。
【0074】
3次元画像表示部700は、3次元画像として表される身体部位Bの画像データD1や医用模型Mの造形データD2を、XYZ座標軸710とともに表示する。3次元画像表示部700は、各身体構成要素BC又は各模型構成要素MCを互いに異なる表示態様で表示することができる。3次元画像表示部700は、例えば、
図7に示すように、各身体構成要素BCに、造形条件設定部702と関連付けられる参照符号1、2、3、……を付して表示してもよい。3次元画像表示部700は、ユーザの入力操作(例えばマウスドラッグやスワイプ)に応答して、例えば、表示している3次元画像の倍率、位置、向きなどを変更することができる。3次元画像表示部700は、ユーザの入力操作(例えばマウスクリックやタッチ)に応答して、例えば、入力操作の対象となった身体構成要素BCや模型構成要素MCを強調表示することにより、当該構成要素が選択されている状態であることを表示することもできる。3次元画像表示部700は、身体部位B(画像データD1)の画像及び医用模型M(造形データD2)の画像の両方を同時に(例えば並べて又は重ねて)表示してもよい。また、表示制御部38は、3次元画像表示部700に表示される画像を身体部位B(画像データD1)と医用模型M(造形データD2)との間で切り替えるための切替えボタンを表示部50に表示させてもよい。
【0075】
画像データD1において身体構成要素BCが未識別である場合には、3次元画像表示部700は、例えば、身体構成要素BCを区別せずに表示する。この場合、3次元画像表示部700は、例えば、表示された画像中の特定領域を囲むように複数の座標点を選択するユーザの入力操作に応答して、当該特定領域を身体構成要素BCとして識別することができる。ユーザは、識別された身体構成要素BCに対して、名称や種類のような識別情報などをさらに付与してもよい。
【0076】
造形条件設定部702は、3次元画像表示部700に表示された身体構成要素BCごとに各種の造形条件を表示する。例えば、造形条件設定部702は、
図7に示すように、身体構成要素BCの参照符号(720)及び名称(722)、並びに当該身体構成要素BCに対応する模型構成要素MCの模型ショア硬度(724)、色(726)、及び光透過率(728)を表示する。造形条件設定部702は、例えば、関連付けテーブル44において身体構成要素BCの名称を検索することにより取得される、当該身体構成要素BCに対応する模型ショア硬度(724)を表示することができる。造形条件設定部702は、模型ショア硬度の値を変更するユーザの入力操作を受け付け、当該入力操作に応答して模型ショア硬度(724)の表示や3次元画像表示部700における身体構成要素BCの表示を変更し、必要に応じて関連付けテーブル44の模型ショア硬度の値や、造形材料、空隙率など模型ショア硬度に関連する項目を変更してもよい。なお、造形条件設定部702は、模型ショア硬度以外の力学的特性の項目を表示してもよい。造形条件設定部702は、身体構成要素BCごとに、色及び光透過率の値を変更するユーザの入力操作を受け付け、当該入力操作に応答して色(726)及び光透過率(728)の表示や3次元画像表示部700における身体構成要素BCの表示を変更し、必要に応じて関連付けテーブル44の造形材料の項目などを変更してもよい。
【0077】
データ修正部704は、現在選択されている模型構成要素MC(730)、現在選択されている模型構成要素MCに隣接する他の模型構成要素MCのリスト(732)、隣接する2つの模型構成要素MCの間隔を開ける操作の実行ボタン(734)、及び隣接する2つの模型構成要素MCの間に別の材料を追加する操作の実行ボタン(736)を含む。例えば、3次元画像表示部700が医用模型Mの一次造形データを表示している場合において、
図7に示すように、模型構成要素MCのうち硬膜が選択されている場合、データ修正部704は、一次造形データにおいて硬膜に隣接している模型構成要素MCとして、骨、脳実質などをリスト化して表示する。
図7は、隣接する模型構成要素MCのリストから骨が選択されている状態を示す。
【0078】
データ修正部704は、ユーザが「間隔を開ける」ボタン734を操作したことに応答して、選択されている隣接する模型構成要素MC(ここでは硬膜及び骨)の間に空間が生じるように、一次造形データにおいて硬膜及び骨のうち少なくとも一方が占有する空間領域を修正して、修正後の成形データによる医用模型Mの画像を3次元画像表示部700に表示させることができる。データ修正部704は、ユーザが模型構成要素MC間の間隔を調整するための入力部などをさらに含んでもよい。また、データ修正部704は、ユーザが「間に材料を追加」ボタン736を操作したことに応答して、選択されている隣接する模型構成要素MC(ここでは硬膜及び骨)の間に別の材料が追加されるように、一次造形データにおいて硬膜及び骨のうち少なくとも一方が占有する空間領域を修正するとともに硬膜と骨との間に別の造形材料を割り当てて、修正後の成形データによる医用模型Mの画像を3次元画像表示部700に表示させることができる。データ修正部704は、ユーザが模型構成要素MC間の間隔を調整したり追加される材料を選択したりするための入力部などをさらに含んでもよい。
【0079】
データ修正部704は、造形データD2だけでなく、画像データD1に基づく身体構成要素BCの識別結果を修正するために使用されてもよい。例えば、3次元画像表示部700が画像データD1及び識別された身体構成要素BCを表示している状態において、データ修正部704は、例えば、現在選択されている身体構成要素BC(730)、現在選択されている身体構成要素BCに隣接する他の身体構成要素BCのリスト(732)、及び隣接する2つの身体構成要素BCの間隔を開ける操作の実行ボタン(734)を含むことができる。例えば、上記の造形データD2の修正と同様に、ユーザが「間隔を開ける」ボタン734を操作したことに応答して、識別部32が、選択されている隣接する身体構成要素BCの間に空間が生じるように、模型構成要素MCの識別結果を修正する。例えば、識別部32は、模型構成要素MCの識別結果のうち、画像データD1において身体構成要素BCが占有する空間領域を特定する位置座標情報を修正することができる。表示制御部38は、位置座標情報が修正されたことに応答して、修正された身体構成要素BCの占有空間領域を画像データD1上に重ねた画像を生成し、3次元画像表示部700に表示させることができる。
【0080】
出力指示部706は、ユーザから造形データD2を出力する旨の指示を受け付ける。造形データ生成部36は、ユーザが出力指示部706を操作したことに応答して、現在選択されている造形条件に基づいて造形データD2を生成する。
【0081】
<効果>
隣接する2つの模型構成要素MCを一度に造形する場合において、隣接する模型構成要素MCはその境界で互いに混ざり合って一体化することがある。このような場合、隣接する模型構成要素MC間の結合力が、実際の隣接する身体構成要素BC間の結合力に比べて大きくなり得るため、医用模型Mにおける身体部位Bの再現度が低下するおそれがある。例えば、本来の手術においては手術具で容易に分離可能な2つの身体構成要素BCに対して、医用模型Mの対応する2つの模型構成要素MCが分離困難であったとすると、外科医が医用模型を使用した手術トレーニングにおいて当該2つの模型構成要素MCを分離する際には、本来の手術に必要な力よりも大きな力を加える必要があるので、実際の手術において身体構成要素BCに必要以上の力を加えてしまうおそれがある。
しかしながら、上記の実施形態によれば、隣接する2つの身体構成要素BCに対応する2つの模型構成要素MCが別体として造形されることにより、隣接する模型構成要素MCの境界における模型構成要素MC間の混ざり合いが抑制され、身体部位Bの再現度が向上した医用模型Mを製造することができる。また、力学的特性の異なる様々な模型構成要素MCをまとめて造形することができる。
【0082】
一実施形態によれば、模型構成要素MCの力学的特性は、模型構成要素MCの硬度を含む。一実施形態によれば、関連付け情報において、複数の身体構成要素BCと複数の模型構成要素MCの造形条件とは、身体構成要素BCに対応するヒト又は非ヒト動物の身体構成要素BCのヤング率に基づいて関連付けられる。実際の身体構成要素BCの力学的特性に基づいて模型構成要素MCの硬度を設定することにより、医用模型Mを用いた手術トレーニングにおいて、実際の手術の感覚の再現度を向上させることができる。
【0083】
一実施形態によれば、関連付け情報において身体構成要素BCと関連付けられた造形条件は、所定の力学的特定及び色を有する造形材料の情報を含み、ステップ(c)において、関連付け情報において身体構成要素BCと関連付けられた造形条件を基準として、当該身体構成要素BCに対応する模型構成要素MCの造形条件が決定される。身体構成要素BCと力学的特性及び色が設定された造形材料との関連付け情報を基準として模型構成要素MCの造形条件を決定することにより、造形条件の決定の簡便性及び効率性を向上させることができる。
【0084】
一実施形態によれば、医用模型Mの造形データD2を生成するステップにおいて、別体として造形される2つの模型構成要素MCの間に空間又は別の造形材料が配置されるように、造形データD2が生成される。これにより、隣接する模型構成要素MCを容易に別体として造形することができる。特に隣接する模型構成要素MCの間に別の造形材料を配置する場合には、当該別の造形材料の量や種類を調節することにより、隣接する模型構成要素MCの結合の程度などを調節することができるので、医用模型Mによる身体部位Bの再現度をさらに向上させることができる。
【0085】
一実施形態によれば、医用模型Mの造形データD2を生成するステップは、(d-1)画像データD1及び造形条件に基づいて医用模型Mの一次造形データを生成するステップと、(d-2)隣接する2つの身体構成要素BCの少なくとも1つの組について、隣接する2つの身体構成要素BCに対応する2つの模型構成要素MCが別体として造形されるように、一次造形データを修正することにより、医用模型Mの造形データD2を生成するステップと、を含む。これにより、一次造形データを表示させた状態で一次造形データに含まれる模型構成要素MCの位置、大きさなどを視覚的に編集することができるので、造形データD2の生成における利便性を向上させることができる。
【0086】
一実施形態によれば、識別結果は、画像データD1において各身体構成要素BCが占有するボクセルの集合としての3次元空間領域を示す身体構成要素BCごとの位置情報を含み、識別結果において、身体構成要素BCに対応する3次元空間領域が、頂点を共有して隣接する2つのボクセルを含む場合、当該3次元空間領域は、当該頂点を共有する少なくとも1つの別のボクセルをさらに含む。これにより、画像データD1において、身体構成要素BCを構成するとともに頂点を共有する2つのボクセルが、当該頂点を共有する別のボクセルを介して結合されるので、造形後の医用模型Mにおいて、2つのボクセルが共有する頂点に対応する部分に穴が開いてしまう可能性を低減することができる。
【0087】
一実施形態によれば、造形条件を決定するステップは、関連付け情報に含まれる造形条件に基づいて、少なくとも1つの模型構成要素MCの空隙率を決定するステップを含む。一実施形態によれば、造形条件を決定するステップは、関連付け情報に含まれる造形条件に基づいて、少なくとも1つの模型構成要素MCが、模型構成要素MCに対応する身体構成要素BCが有しない内部空間を有するように、造形条件を決定するステップを含む。模型構成要素MCの空隙率を調節したり模型構成要素MCに内部空間を形成することにより、各模型構成要素MCの力学的特性の相違を容易に実現することができる。
【0088】
一実施形態によれば、造形条件を決定するステップは、複数の模型構成要素MCの各々に対して色及び光透過率の少なくとも一方を決定するステップを含む。これにより、各模型構成要素MCに対して視覚的な相違を付与することができるので、手術トレーニングにおける医用模型Mの利便性を向上させることができる。
【0089】
一実施形態によれば、造形条件を決定するステップは、身体部位Bの画像データD1と画像データD1に含まれる身体部位Bの身体構成要素BCの識別結果との関係を学習した学習済みモデルを使用して、画像データD1から識別結果を取得するステップを含む。これにより、ユーザが手動で識別処理を行う手間を削減するとともに、画一的なルールベース処理では困難な身体構成要素BCの識別を行うことができる。
【0090】
一実施形態によれば、身体部位Bは、病変部位を含み、医用模型Mは、病変部位に対応する模型構成要素MCを含む。一実施形態によれば、病変部位は、腫瘍部位及び炎症部位からなる群より選択される。一実施形態によれば、画像データD1は、CT画像データ、MRI画像データ、及び超音波画像データからなる群より選択された1以上を含む。一実施形態によれば、医用模型Mは、骨に対応する模型構成要素MC、脳実質に対応する模型構成要素MC、硬膜に対応する模型構成要素MC、神経に対応する模型構成要素MC、血管に対応する模型構成要素MC、及び筋肉に対応する模型構成要素MCからなる群より選択された1以上の模型構成要素MCと、病変部位に対応する模型構成要素MCと、を含む。一実施形態によれば、医用模型Mは、硬膜に対応する模型構成要素MCを含む。実際の手術前に、患者のCT画像やMRI画像などから病変部位に対応する模型構成要素MCを含む医用模型Mを作成し、当該医用模型Mを使用して手術トレーニングを行うことにより、術前に手術をシミュレーションすることができ、実際の手術の精度を向上させることができる。また、脳外科手術において硬膜は非常に重要な組織であるが、硬膜を含めて頭蓋をまとめて3次元造型可能な技術は開発されていない。模型構成要素MCとして硬膜を含むように製造した医用模型Mは、手術トレーニングに非常に有用である。
【0091】
<変形例>
プログラムは、コンピュータで読取り可能な記憶媒体に記憶された状態で提供されてもよい。
上記実施形態では、処理装置12の各構成要素をソフトウェア機能部として説明したが、LSIなどのハードウェア機能部であってもよい。
【0092】
画像データD1における造形条件の選択などにおいて、機械学習アルゴリズムが用いられてもよい。例えば、教師あり学習を想定した場合、処理装置12は、過去の造形データD2や過去に製造した模型構成要素MCの力学的特性などを教師データとして使用して、画像データD1、身体構成要素BCの力学的特性、模型構成要素MCの力学的特性、各種造形条件、造形データD2などを含む学習ネットワークを構成することにより、医用模型Mの造形条件や関連付けテーブル44の各項目値などを最適化するための学習を行うことができる。例えば、処理装置12は、関連付けテーブル44を参照せずに、機械学習により得られた学習済みモデルに内包された身体構成要素BCと模型構成要素MCの造形条件との関連付け情報に基づいて、模型構成要素MCごとの造形条件を決定してもよい。なお、学習アルゴリズムは特に限定されず、教師あり学習、教師なし学習、強化学習などを適宜選択可能である。
【0093】
造形データ生成部36は、例えば、教育のために又は仮想的な様々なケースを想定した手術トレーニングができるように、身体部位Bの任意の位置に病変部位を配置した造形データを生成してもよい。病変部位の配置は、ユーザが決定してもよく、コンピュータがランダムに又は実際の症例などに基づいて決定してもよく、機械学習を用いたアルゴリズムによって決定してもよい。
【0094】
造形した医用模型Mにおいて、血管などの管状の模型構成要素MCには、必要に応じて血液などを模した流体を流してもよい。これにより、手術中に血管を傷つけて出血させることを避けるためのトレーニング装置として、医用模型Mを使用することができる。また、内部空間が形成された模型構成要素MCは、必要に応じて当該内部空間に液体やゲルなどを含んでもよい。
【0095】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【実施例0096】
以下、本発明の実施例を説明するが、本発明を限定するものではない。
本発明者は、様々な硬度の身体構成要素BCが造形可能となるように、下記の表1に示す種々の造形材料を用意するとともに、下記の表2のとおり実際の身体構成要素BCと当該身体構成要素BCに対応する模型構成要素に適した造形条件(造形材料及び内部空間の有無)との関連付けテーブルを作成した。
【0097】
表1は、本発明者が用意した10種類の造形材料の詳細を示す。造形試験は、Stratasys社製の3DプリンタJ750DAP又はJ750を用いて行った。各造形材料は、3次元造形ソフトウェアGrabCAD Print(Stratasys社製)において使用可能な1つの材料又は2以上の材料の組合せによって特定される。なお、S-40A、S-50A、S-60A、S-70A、S-85A、S-95A、及びPP-likeの7材料については、Agilus-ClearとVero-family又はVero Pure Whiteとの組合せにより形成されるので、概ねの配合割合がわかるように破線の境界線を付した。表1は、各造形材料のショアA硬度及びヤング率の実測値、定性的な硬度、並びに色の鮮明さを示す。ヤング率は、ヤング率測定装置SOFTGRAM(登録商標;新光電子株式会社製)を使用して測定した。なお、S-70A、S-85A、S-95A、及びPP-likeの4材料のヤング率は、測定範囲外であったため測定できなかった。
【0098】
【0099】
表2は、身体構成要素ごとに推奨される造形条件(造形材料及び内部空間の有無)及び造形した模型構成要素を用いて実践可能な手術手技の例を示す。ここで、複数の造形材料が推奨されるものについて特に推奨される造形材料を太字で示す。例えば、表2から、大脳を造形する材料としては表1に示すExS-10Aが最も推奨され、模型構成要素に内部空間を形成することが推奨されることがわかる。他の身体構成要素についても同様である。なお、表2では各身体構成要素をグループ1~3に分類しているが、これは単に便宜上の分類である。
【0100】
【0101】
本発明者は、表1及び表2のように身体構成要素と造形条件との関連付けを行い、医用模型の造形における造形条件の選択基準を作成した。これにより、造形条件の選択が簡便になり、医用模型の造形処理の効率性が向上した。
1…造形システム、10…撮像装置、12…処理装置、14…表示装置、16…造形装置、20…入力部、22…処理部、24…記憶部、26…出力部、30…3次元画像生成部、32…識別部、34…造形条件決定部、36…造形データ生成部、38…表示制御部、40…プログラム、42…身体情報データベース、44…関連付けテーブル、50…表示部、700…3次元画像表示部、702…造形条件設定部、704…データ修正部、706…出力指示部、P…患者、B…身体部位、BC…身体構成要素、M…医用模型、MC…模型構成要素、D1…画像データ、D2…造形データ。