特許 6122495 骨切支援システム、情報処理装置、画像処理方法、および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6122495

(24)【登録日】2017年4月7日

(45)【発行日】2017年4月26日

(54)【発明の名称】骨切支援システム、情報処理装置、画像処理方法、および画像処理プログラム

(51)【国際特許分類】

   A61B 34/20 20160101AFI20170417BHJP

   A61B 17/58 20060101ALI20170417BHJP

   G06T 19/00 20110101ALI20170417BHJP

【ＦＩ】

   A61B34/20

   A61B17/58

   G06T19/00 A

【請求項の数】12

【全頁数】34

(21)【出願番号】特願2015-522826(P2015-522826)

(86)(22)【出願日】2014年6月11日

(86)【国際出願番号】JP2014065448

(87)【国際公開番号】WO2014200017

(87)【国際公開日】20141218

【審査請求日】2016年1月26日

(31)【優先権主張番号】特願2013-123210(P2013-123210)

(32)【優先日】2013年6月11日

(33)【優先権主張国】JP

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】513147498

【氏名又は名称】丹治 敦

(74)【代理人】

【識別番号】100134430

【弁理士】

【氏名又は名称】加藤 卓士

(72)【発明者】

【氏名】丹治 敦

【審査官】 石川 薫

(56)【参考文献】

【文献】 特開２００９−１７２１２４（ＪＰ，Ａ）

【文献】 特表２００１−５０７６１４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３４／２０

Ａ６１Ｂ １７／５８

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

手術対象骨の３次元形状データと前記手術対象骨に固定されるマーカの位置データとを関連付けて記憶する記憶手段と、
前記手術対象骨の３次元形状データに基づいて、前記手術対象骨を切断する骨切器具を沿わせる面を示す骨切ガイド面の位置および向きを決定する骨切面決定手段と、
前記手術対象骨に固定された前記マーカを撮像した画像に基づいて、前記決定された骨切ガイド面を表示する骨切面表示手段と、
を備え、
前記記憶手段は、前記決定された骨切ガイド面に沿って切断されて分離された前記手術対象骨の分離骨の３次元形状データをさらに記憶し、
前記骨切面表示手段は、前記記憶手段に記憶された手術対象骨の３次元形状データに基づいて、前記決定された骨切ガイド面に沿って切断される前記手術対象骨を、さらに表示する骨切支援システム。

【請求項2】

前記骨切面表示手段は、さらに、前記マーカと共に撮像した前記手術対象骨を内部に含む患部の画像に基づいて、前記患部の画像と前記マーカとの位置関係に対応して前記患部の画像を前記骨切ガイド面に重ねて表示する、請求項１に記載の骨切支援システム。

【請求項3】

前記記憶手段は、前記骨切ガイド面の３次元形状データを、前記手術対象骨に固定されるマーカの位置データに関連付けて記憶し、
前記骨切面表示手段は、前記手術対象骨に固定された前記マーカを撮像した画像に基づいて、前記マーカの位置、大きさ、向きに応じた、位置、大きさ、向きで、前記決定された骨切ガイド面を表示する請求項１または２に記載の骨切支援システム。

【請求項4】

前記手術対象骨の３次元形状データに基づき、手術対象骨画像を生成して表示する骨画像表示手段と、
表示された前記手術対象骨画像に対して、前記骨切ガイド面の位置および向きの指定をユーザから入力する入力手段と、
をさらに備え、
前記骨切面決定手段は、前記ユーザの入力に基づいて、前記骨切ガイド面の位置および向きを決定することを特徴とする請求項１乃至３のいずれか１項に記載の骨切支援システム。

【請求項5】

前記記憶手段は、前記手術対象骨の治癒後の形状の参照となる参照骨の３次元形状データをさらに記憶し、
前記骨切面決定手段は、前記手術対象骨を前記骨切ガイド面に沿って切断して生成される分離骨の３次元形状データと、前記参照骨の３次元形状データとの重なり度合いに応じて、前記骨切ガイド面の位置および向きを決定する請求項４に記載の骨切支援システム。

【請求項6】

前記骨切面決定手段は、前記手術対象骨を前記骨切ガイド面に沿って切断して生成される分離骨の３次元形状データと、前記参照骨の３次元形状データとを、前記参照骨の端部を基準に重ねた場合に、前記参照骨の３次元形状データからはみ出した部分の前記手術対象骨の体積が最小となる位置および向きの前記骨切ガイド面を決定することを特徴とする請求項５に記載の骨切支援システム。

【請求項7】

前記骨切面決定手段は、前記骨切ガイド面に沿って切断して生成された前記分離骨の３次元形状データを、前記参照骨の端部を基準に重ねた場合に、前記参照骨の３次元形状データと重ねた場合の、前記参照骨において、分離骨同士に挟まれた部分の３次元形状データを、欠損部位の３次元形状データとして生成する欠損部位形状生成手段をさらに備えた請求項５または６に記載の骨切支援システム。

【請求項8】

前記手術対象骨の特徴部分に設置される３次元のマーカを画面上で仮想的に生成するマーカ生成手段と、
前記３次元のマーカを作成する３次元プリンタと、
をさらに備える請求項１に記載の骨切支援システム。

【請求項9】

前記記憶手段は、前記マーカとして、前記手術対象骨の外科手術を行なう部位表面の３次元データを記憶し、
前記手術対象骨の外科手術を行なう部位表面の３次元データは、深度センサにより撮像される、請求項１に記載の骨切支援システム。

【請求項10】

請求項１乃至９のいずれか１項に記載の骨切支援システムに利用する情報処理装置であって、
手術対象骨の３次元形状データと前記手術対象骨に固定されるマーカの位置データとを関連付けて記憶する記憶手段と、
前記手術対象骨の３次元形状データに基づいて、前記手術対象骨を切断する骨切器具を沿わせる面を示す骨切ガイド面の位置および向きを決定する骨切面決定手段と、
を備え、
前記記憶手段は、前記決定された骨切ガイド面に沿って切断されて分離された前記手術対象骨の分離骨の３次元形状データをさらに記憶し、
前記骨切面表示手段に、前記手術対象骨に固定された前記マーカを撮像した画像に基づいて、前記決定された骨切ガイド面を表示させ、前記記憶手段に記憶された手術対象骨の３次元形状データに基づいて、前記決定された骨切ガイド面に沿って切断される前記手術対象骨を、さらに表示させる情報処理装置。

【請求項11】

請求項１乃至９のいずれか１項に記載の骨切支援システムの作動方法であって、
手術対象骨の３次元形状データと前記手術対象骨に固定されるマーカの位置データとを関連付けて記憶手段に記憶する第１記憶ステップと、
前記手術対象骨の３次元形状データに基づいて、前記手術対象骨を切断する骨切器具を沿わせる面を示す骨切ガイド面の位置および向きを決定する骨切面決定ステップと、
前記決定された骨切ガイド面に沿って切断されて分離された前記手術対象骨の分離骨の３次元形状データをさらに前記記憶手段に記憶する第２記憶ステップと、
前記骨切面表示手段に、前記手術対象骨に固定された前記マーカを撮像した画像に基づいて、前記決定された骨切ガイド面を表示させ、前記記憶手段に記憶された手術対象骨の３次元形状データに基づいて、前記決定された骨切ガイド面に沿って切断される前記手術対象骨を、さらに表示させる表示ステップと、
を含む骨切支援システムの作動方法。

【請求項12】

請求項１乃至９のいずれか１項に記載の骨切支援システムの画像処理プログラムであって、
手術対象骨の３次元形状データと前記手術対象骨に固定されるマーカの位置データとを関連付けて記憶手段に記憶する第１記憶ステップと、
前記手術対象骨の３次元形状データに基づいて、前記手術対象骨を切断する骨切器具を沿わせる面を示す骨切ガイド面の位置および向きを決定する骨切面決定ステップと、
前記決定された骨切ガイド面に沿って切断されて分離された前記手術対象骨の分離骨の３次元形状データをさらに前記記憶手段に記憶する第２記憶ステップと、
前記骨切面表示手段に、前記手術対象骨に固定された前記マーカを撮像した画像に基づいて、前記決定された骨切ガイド面を表示させ、前記記憶手段に記憶された手術対象骨の３次元形状データに基づいて、前記決定された骨切ガイド面に沿って切断される前記手術対象骨を、さらに表示させる表示ステップと、
をコンピュータに実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理により外科手術を支援する技術に関する。

【背景技術】

【0002】

上記技術分野において、特許文献１には、健骨の反転画像と目的骨の画像とから骨切位置を決定する技術が開示されている。また、特許文献２には、決定された骨切位置に基づいて、補填用人工骨モデルを生成する技術が開示されている。また、非特許文献１には、ＣＴ（Computed Tomography）／ＭＲＩ（Magnetic Resonance Imaging）などの医療画像の標準化フォーマットであるＤＩＣＯＭ(Digital Imaging and Communication in Medicine)データから３次元骨表面モデル(ＳＴＬ:Stereo Lithography)データを生成するソフトウェアが示され、非特許文献２には、３次元骨表面モデル(ＳＴＬ）データを使って骨関節手術をあらかじめシミュレーションするソフトウェアが示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２００６−５１９６３６号公報

【特許文献2】再表２０１１−００７８０６号公報

【非特許文献】

【0004】

【非特許文献1】骨モデル３次元データ簡易作成ソフト(BoneViewer),Company Report,株式会社オルスリー(http://www.orthree.jp/pdf/case_bv.pdf)

【非特許文献2】骨間接手術シミュレーションソフト(BoneSimulator),Company Report,株式会社オルスリー(http://www.orthree.jp/pdf/case_bs.pdf)

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記文献に記載の技術では、医師が骨切り後の骨の状態を把握するには専門的な知識と操作が必要なため、骨切位置の決定や骨切位置が適切であるかの判定は医師の経験に頼るしかなかった。また、術中における骨切位置は、切開後に体内の実際の骨を観察して医師が判断するしかなかった。

【0006】

本発明の目的は、上述の課題を解決する技術を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明に係る骨切支援システムは、
手術対象骨の３次元形状データと前記手術対象骨に固定されるマーカの位置データとを関連付けて記憶する記憶手段と、
前記手術対象骨の３次元形状データに基づいて、前記手術対象骨を切断する骨切器具を沿わせる面を示す骨切ガイド面の位置および向きを決定する骨切面決定手段と、
前記手術対象骨に固定された前記マーカを撮像した画像に基づいて、前記決定された骨切ガイド面を表示する骨切面表示手段と、
を備え、
前記記憶手段は、前記決定された骨切ガイド面に沿って切断されて分離された前記手術対象骨の分離骨の３次元形状データをさらに記憶し、
前記骨切面表示手段は、前記記憶手段に記憶された手術対象骨の３次元形状データに基づいて、前記決定された骨切ガイド面に沿って切断される前記手術対象骨を、さらに表示する。

【0008】

上記目的を達成するため、本発明に係る情報処理装置は、
上記骨切支援システムに利用する情報処理装置であって、
手術対象骨の３次元形状データと前記手術対象骨に固定されるマーカの位置データとを関連付けて記憶する記憶手段と、
前記手術対象骨の３次元形状データに基づいて、前記手術対象骨を切断する骨切器具を沿わせる面を示す骨切ガイド面の位置および向きを決定する骨切面決定手段と、
を備え、
前記記憶手段は、前記決定された骨切ガイド面に沿って切断されて分離された前記手術対象骨の分離骨の３次元形状データをさらに記憶し、
前記骨切面表示手段に、前記手術対象骨に固定された前記マーカを撮像した画像に基づいて、前記決定された骨切ガイド面を表示させ、前記記憶手段に記憶された手術対象骨の３次元形状データに基づいて、前記決定された骨切ガイド面に沿って切断される前記手術対象骨を、さらに表示させる。

【0009】

上記目的を達成するため、本発明に係る方法は、
上記骨切支援システムの作動方法であって、
手術対象骨の３次元形状データと前記手術対象骨に固定されるマーカの位置データとを関連付けて記憶手段に記憶する第１記憶ステップと、
前記手術対象骨の３次元形状データに基づいて、前記手術対象骨を切断する骨切器具を沿わせる面を示す骨切ガイド面の位置および向きを決定する骨切面決定ステップと、
前記決定された骨切ガイド面に沿って切断されて分離された前記手術対象骨の分離骨の３次元形状データをさらに前記記憶手段に記憶する第２記憶ステップと、
前記骨切面表示手段に、前記手術対象骨に固定された前記マーカを撮像した画像に基づいて、前記決定された骨切ガイド面を表示させ、前記記憶手段に記憶された手術対象骨の３次元形状データに基づいて、前記決定された骨切ガイド面に沿って切断される前記手術対象骨を、さらに表示させる表示ステップと、
を含む骨切支援システムの作動方法。

【0010】

上記目的を達成するため、本発明に係る画像処理プログラムは、
上記骨切支援システムの画像処理プログラムであって、
手術対象骨の３次元形状データと前記手術対象骨に固定されるマーカの位置データとを関連付けて記憶手段に記憶する第１記憶ステップと、
前記手術対象骨の３次元形状データに基づいて、前記手術対象骨を切断する骨切器具を沿わせる面を示す骨切ガイド面の位置および向きを決定する骨切面決定ステップと、
前記決定された骨切ガイド面に沿って切断されて分離された前記手術対象骨の分離骨の３次元形状データをさらに前記記憶手段に記憶する第２記憶ステップと、
前記骨切面表示手段に、前記手術対象骨に固定された前記マーカを撮像した画像に基づいて、前記決定された骨切ガイド面を表示させ、前記記憶手段に記憶された手術対象骨の３次元形状データに基づいて、前記決定された骨切ガイド面に沿って切断される前記手術対象骨を、さらに表示させる表示ステップと、
をコンピュータに実行させる画像処理プログラム。

【発明の効果】

【0011】

本発明によれば、事前決定した、手術対象骨を切断する骨切器具を沿わせる面を示す骨切ガイド面を術中の医師に対して的確に指示することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の第１実施形態に係る外科手術支援システムの構成を示すブロック図である。

【図2】本発明の第２実施形態に係る外科手術全体の概要を説明する図である。

【図3】本発明の第２実施形態に係る術前準備データ生成システムの構成を示す図である。

【図4】本発明の第２実施形態に係る情報処理装置を用いた術前準備データ生成処理の概要を説明する図である。

【図5】本発明の第２実施形態に係る術中画像処理システムの概略構成を示す図である。

【図6A】本発明の第２実施形態に係る術中における手術対象骨の骨切作業および位置決め作業の概要を説明する画面遷移図である。

【図6B】本発明の第２実施形態に係る術中の骨切支援処理の概要を説明する図である。

【図7】本発明の第２実施形態に係る情報処理装置の機能構成を示すブロック図である。

【図8】本発明の第２実施形態に係るＳＴＬデータＤＢの構成を示す図である。

【図9】本発明の第２実施形態に係る術前準備データＤＢの構成を示す図である。

【図10A】本発明の第２実施形態に係る術前準備データ生成システムと術中画像処理システムとを含む外科手術支援システム全体の処理手順を示すフローチャートである。

【図10B】本発明の第２実施形態に係る図１０Ａの骨切面生成処理の手順を示すフローチャートである。

【図11】本発明の第２実施形態に係る術中画像処理システムにおけるタブレット型コンピュータの機能構成を示すブロック図である。

【図12】本発明の第２実施形態に係るマーカＤＢの構成を示す図である。

【図13】本発明の第２実施形態に係るマーカ解析部が用いるマーカ解析テーブルの構成を示す図である。

【図14】本発明の第２実施形態に係るＣＧ画像生成部が用いる術中画像生成用テーブルの構成を示す図である。

【図15】本発明の第２実施形態に係るＣＧ画像生成部が用いる術中画像生成用テーブルの構成を示す図である。

【図16】本発明の第２実施形態に係るタブレット型コンピュータの処理手順を示すフローチャートである。

【図17】本発明の第３実施形態に係る情報処理装置の機能構成を示すブロック図である。

【図18】本発明の第３実施形態に係る骨切面生成処理の手順を示すフローチャートである。

【図19】本発明の第４実施形態に係る情報処理装置の機能構成を示すブロック図である。

【図20】本発明の第４実施形態に係る情報処理装置の処理手順を示すフローチャートである。

【図21A】本発明の第５実施形態に係る情報処理装置を用いた術前準備データ生成処理の概要を説明する図である。

【図21B】本発明の第５実施形態に係る術中の骨切支援処理の概要を説明する図である。

【図22】本発明の第５実施形態に係る術前準備データ生成システムと術中画像処理システムとを含む外科手術支援システム全体の処理手順を示すフローチャートである。

【図23】本発明の第５実施形態に係る術前準備データ生成システムの機能構成を示す図である。

【図24】本発明の第５実施形態に係る術前準備データＤＢの構成を示す図である。

【図25】本発明の第５実施形態に係る骨切面生成処理の手順を示すフローチャートである。

【図26】本発明の第５実施形態に係る術中画像処理システムにおけるタブレット型コンピュータの機能構成を示すブロック図である。

【図27】本発明の第６実施形態に係る術中画像処理システムの機能構成を示すブロック図である。

【図28】本発明の第６実施形態に係る骨表面画像照合部において使用されるデータテーブルを示す図である。

【発明を実施するための形態】

【0013】

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

【0014】

なお、本明細書で使用する「移動」との文言は、３次元における画像の「回転移動」および／または「平行移動」を２次元表示画面で表現するものを意味する。

【0015】

［第１実施形態］
本発明の第１実施形態としての骨切支援システム１００について、図１を用いて説明する。骨切支援システム１００は、画像処理により骨切外科手術を支援するためのシステムである。

【0016】

図１に示すように、骨切支援システム１００は、記憶部１０１と、骨切面決定部１０２と、骨切面表示部１０３とを含む。記憶部１０１は、手術対象骨の３次元形状データ１１１を、手術対象骨に固定されるマーカの位置データ１１２に関連付けて記憶する。一方、骨切面決定部１０２は、手術対象骨の３次元形状データ１１１に基づいて、手術対象骨を切断する平面を示す骨切面１２１の位置および向きを決定する。骨切面表示部１０３は、手術対象骨に固定されたマーカ１３１を撮像した画像に基づいて、決定された骨切面１２１を表示する。

【0017】

本実施形態によれば、事前決定した骨切位置を術中の医師に対して的確に指示することができる。

【0018】

［第２実施形態］
次に、本発明の第２実施形態に係る外科手術支援システムについて説明する。本実施形態に係る外科手術支援システムは、あらかじめ手術対象骨の配置の基準となる手術対象骨の一方の第１対象骨の３次元データと、治癒後の形状の参照となる参照骨の３次元データとを生成して、第１対象骨に固定された第１マーカ（例えば２次元コード）と関連付けて記憶する。また、手術対象骨の他方の第２対象骨の３次元データを生成して、第２対象骨に固定された第２マーカ（例えば２次元コード）と関連付けて記憶する。手術時には、ＡＲ（Augmented reality）技術を利用して、撮像した第１マーカおよび第２マーカから、骨切面、第１対象骨および第２対象骨の３次元位置を判定して、記憶された３次元データに基づいて表示する。そして、第２対象骨と参照骨とが適正に重なったか否かを判定することで、手術対象骨の適切な配置を決定する。このような処理によって、医師による手術対象骨の適切な配置の決定を支援する。

【0019】

以下、図２〜図７を参照して、本実施形態の外科手術支援システムの構成と処理の概要を説明する。外科手術支援システムは、大きく分けて、術前準備データ生成システムと術中画像処理システムとを含む。術前準備データ生成システムは、術前に第１対象骨、第２対象骨および参照骨の３次元データを生成、表示して、術中に使用するデータを生成し記憶するシステムである。術中画像処理システムは、マーカ撮像に基づいて対象骨画像および参照骨画像を生成し表示して、手術対象骨の配置決定を支援するシステムである。しかしながら、術前準備データ生成システムと術中画像処理システムとを、統合された１つのシステムとして構成してもよい。

【0020】

（外科手術の概要）
図２は、本実施形態に係る外科手術全体の概要を説明する図である。図２は、変形治癒した罹患骨（手術対象骨）の骨切矯正手術の例を示している。骨切矯正手術は、準備段階２０１と、手術対象骨の位置決め段階２０２と、手術対象骨の位置固定段階２０３とを含む。本実施形態においては、橈骨遠位部変形治癒手術を例に説明するが、これに限定されない。他の部位や他の骨の変形治癒、あるいは、骨折治療手術にも同様に適用される。

【0021】

準備段階２０１においては、前腕２１３の手術対象骨の推定骨切位置２１４を挟む２つの位置に、２本が対となったピン２１１、２１２を、２つのマーカの支持部材として、所定間隔（例えば、１cmまたは２cmの間隔）で固定する。充分な強度と断面積がある場所であって、手術対象骨の長手方向に２本のピンが固定可能な場所がピンの挿入固定位置として望ましい。また、ピンの長さは、患部や骨により異なるが、前腕であれば外部にマーカを設定でき、かつ容易に撮像可能な長さとして、５cm〜１０cm程度であればよい。ピン２１１、２１２を固定した状態でＣＴ（Computed Tomography）撮影を行なって、ピン付きの手術対象骨の３次元データを生成し、記憶する。さらにピン２１１、２１２に対して後に固定されるマーカの位置および向きを設定し、マーカの位置データと手術対象骨の３次元データと参照骨の３次元データとを関連付ける。

【0022】

例えば、手術対象骨の３次元データに含まれるピンの３次元データを表示し、その２本のピンの根本位置と先端位置とを、ユーザにポインティングデバイスなどで指定させることにより、それらのピンに取り付けられるマーカの位置および向きを定義してもよい。２本のピンが生成する平面とマーカの位置および向きとの関係はあらかじめ設定されていてもよいし、複数の関係（例えば２本のピンが生成する平面に対して平行、垂直、４５度をなすなど）から選択してもよい。また例えば、マーカをピンに固定するために使用される１つまたは複数の治具やピンそのものの３次元形状データを用意しておき、ＣＴ撮影によって取得したピンの３次元データに対して、３次元空間上で、その治具を取り付けてマーカの位置を定義してもよい。これにより、マーカの位置および向きと手術対称骨および参照骨の位置および向きとの関係がデータベース内に記憶される。

【0023】

マーカ位置データは、マーカの位置と手術対象骨の位置との相対位置を示すデータである。手術対象骨の３次元データを含む３次元空間の原点からみたマーカの位置を示すデータであればよい。骨切面データは、手術対象骨の３次元データに対する相対位置を含むため、結果として、同じ３次元空間内のマーカの位置と骨切面の位置との相対関係が定義される。つまり、このデータベースを参照することにより、撮像画像中のマーカの位置、大きさおよび向きから、骨切面を表示する位置、大きさおよび向きを決定することができる。

【0024】

手術中には、患部を切開して、システムが指示する位置で骨切りを実施する。その後、手術対象骨の位置決め段階２０２において、マーカ２２１、２２２を撮影する。撮像画像からマーカ２２１、２２２のそれぞれの位置、大きさおよび向きを認識し、データベースを参照することにより、手術対象骨の位置、大きさおよび向きを導き出す。そして、導き出した位置、大きさおよび向きの手術対象骨２２３、２２４および参照骨２２５を表示する。

【0025】

医師が手２２６で患者の前腕２１３をつかみ、腕を曲げたりねじったりすると、撮像画像中のマーカ２２１の状態が変化する。このマーカ２２１の位置、大きさ、傾きの変化に応じて、表示画像中の手術対象骨２２３の表示位置、大きさ、傾きが変化するように表示する。一方、マーカ２２２の位置、大きさ、傾きとの相対関係と共に参照骨２２５の３次元形状データがあらかじめ記憶されており、マーカ２２２を撮像することにより、所定の位置に参照骨２２５が表示される。医師は、手術対象骨２２３が参照骨２２５と重なる位置を発見すると、手術対象骨の位置固定段階２０３に進む。

【0026】

手術対象骨の位置固定段階２０３においては、確定された患者の前腕２１３内部の手術対象骨２２３、２２４の適切な相対配置を維持するために、手術対象骨２２３が参照骨２２５と重なる位置におけるピン２１１、２１２を固定具２３１で固定する。

【0027】

このような外科手術支援システムによる支援を経ることで、切開部の縮小と、手術の迅速化とが可能になる。

【0028】

（他のマーカ固定方法）
図２では、ピン２１１、２１２を創外に突出させているが、本発明はこれに限定されるものではない。例えば、ピンの先端が創内に収まるような短いピン（１〜２ｃｍ）として、術中（位置決め段階２０２）に、その短いピンに新たに長いピンを接続した上で、マーカ２２１、２２２を取り付けてもよい。あるいは、ピンを挿入せずに骨のみのＣＴを撮って生成された骨のＣＧデータに対して仮想的にピンを挿入し、その後、術中に開創して、ＣＧデータどおりの位置に実際にピンを挿入してもよい。その際、仮想ピン付きの骨のＣＧデータを用いてマーカの位置を決めておき、３Ｄプリンタで、その患部の骨にぴったりと嵌る型（ピン穴付きカタ）を生成し、その型に合わせてピンを挿入することにより、ＣＧデータにおけるピンと同じ位置に実際のピンを挿入してもよい。さらに、そのような型を骨にぴったりと嵌はめた状態で、その型自体にマーカを取り付ける方法でもよい。デジタルカメラで撮像した骨の特徴点を判別して、ピン付きのＣＧデータと重ね合わせることにより、ＣＧデータと同じ位置に同じ方向でピンを挿入してもよい。これらの方法により、ピンを刺してＣＴスキャンを撮ってからの患者の負担、感染症の確立を抑えることができる。

【0029】

（術前準備データ生成システムの構成）
図３は、術前準備データ生成システム３２０の構成を示す図である。

【0030】

術前準備データ生成システム３２０は、ネットワーク３２３により接続された、参照画像を生成するための情報処理装置３２４と、患者３２２の断層画像を取得するＣＴスキャナ３２１と、を有する。さらに、オプションとして、断層画像データから３次元骨表面データ（ＳＴＬデータ）を生成するＳＴＬデータ生成サーバ３２５を有してよい。なお、ネットワークは、広域ネットワークであってもＬＡＮであってもよい。

【0031】

本実施形態においては、ＣＴスキャナ３２１によって患者３２２の患部および患部の参照となる部位の断層画像を取得する。本例では、例えば、４本のピンが手術対象骨に挿入固定された右腕前椀の断層画像と健側の左腕前腕の断層画像とを取得する。断層画像データは、ネットワーク３２３を介して、情報処理装置３２４に送られ、情報処理装置３２４において３次元データに変換される。なお、断層画像データから３次元データへの変換は、ＳＴＬデータ生成サーバ３２５が行なってもよい。

【0032】

なお、本実施形態で使用される生体データは、ＣＴ／ＭＲＩにより取得されたデータに限定されるものではなく、３次元データはＳＴＬデータに限定されるものではない。

【0033】

（術前準備データ生成処理）
図４は、情報処理装置３２４を用いた術前準備データ生成処理の概要を説明する図である。画像４０１〜４０６は、情報処理装置３２４の表示画面に表示されるＣＧ（Computer Graphics）画像であり、それぞれ、術前準備データ生成処理の各ステージに対応している。

【0034】

まず、第１ステージにおいて、画像４０１に示すように、前腕２１３の手術対象骨と左右対称位置（健側）にある非罹患骨をＣＴやＭＲＩなどで内部撮影して生成した非罹患骨３次元データ４１１を反転し鏡像データを生成する。これにより、手術対象骨と同様の（少なくとも一部が重なった）形状を有する参照骨の３次元データ（以降、参照骨と称す）４１２を生成する。なお、参照骨画像４１２は、健側の非罹患骨の鏡像データに限定されるものではない。例えば、患者の他の類似形状骨や、他の患者の橈骨や、ＣＧ製作された橈骨であってもよい。

【0035】

第２ステージにおいて、画像４０２に示すように、前腕２１３の手術対象骨をＣＴスキャンなどで内部撮影して生成した手術対象骨（罹患骨）の３次元データ（以降、手術対象骨と称す）４２１を表示する。手術対象骨４２１は、ピン２１１、２１２が固定された状態で撮影されたＳＴＬデータから生成されているため３次元データ上でもピン２１１、２１２を含んでいる。そして、参照骨画像４１２と手術対象骨４２１とを表示画面上で対比させて、手術対象骨４２１の状態を確認する。

【0036】

第３ステージにおいては、３次元空間での観察点を手術対象骨に近づけた拡大表示画像４０５や、異なる観察点からの複数の画像を同時に表示する分割表示画像４０６（ここでは、３方向からの画像）を参照しながら手術対象骨４２１を画像４０３上で操作する。すなわち、手術対象骨４２１を参照骨画像４１２に対して移動したり回転したりして、参照骨画像４１２の各端部と手術対象骨４２１の各端部とを重ね合わせる。

【0037】

骨切面が上端側にあると推定できる場合には、まず、左側のように、手術対象骨４２１と参照骨画像４１２との下端同士を重ねて、手術対象骨４２１の骨切面を決定する。特に、関節部（図中の下端または上端）の形状（特徴点）を重ねることにより、手術対象骨４２１の歪みや曲り、変形を認識した上で、下端から徐々に上方に向けて参照骨と対比していき、参照骨との離間が始まる分岐位置を骨切面画像４３１とする。ここでは、骨切面画像４３１を所定の形状および大きさを有する矩形の平面としているが、本発明はこれに限定されない。骨切の目的に応じて曲面を含む面でもよい。

【0038】

なお、医師が、参照骨画像４１２と手術対象骨４２１との重畳具合を見ながら骨切面画像４３１を評価、決定してもよいが、計算により最適骨切面を求めてもよい。例えば、下端を重ねた上で、手術対象骨４２１と参照骨画像４１２との軸方向単位長さあたりの非重畳体積を下端から順次算出し、その非重畳体積が所定値を越えない最も上の点を結んだ平面を骨切面画像４３１としてもよい。あるいは、参照骨画像４１２の表面を単位面積に細かく分け、その単位面積ごとに手術対象骨４２１の表面までの鉛直方向の距離が所定値を越えた位置をつなぐことにより骨切面画像４３１を自動的に導いてもよい。あるいは、画像４０４に示すように、骨切によって生成された２つの対象骨画像４４１、４４２を参照骨画像４１２の上下端に重ねた場合に、参照骨画像４１２からはみ出す体積（または表面同士の距離）の合計値が最小になるように、骨切面を決定してもよい。またあるいは、画像４０４に示すように、骨切によって生成された２つの対象骨画像４４１、４４２を参照骨画像４１２の上下端に重ねた場合に、対象骨画像４４１と対象骨画像４４２との分離骨同士に挟まれた間隙（欠損部位）４４３が最小となるように、骨切面を決定してもよい。いずれにせよ、手術対象骨４２１の軸方向に位置を単位距離（例えば１mm）ずつずらしつつ、あらゆる向きの平面を骨切面候補として、繰り返しシミュレートすることにより、最適な骨切面の位置および角度を求めることができる。例えば、橈骨であれば、骨軸に垂直をなす平面に対して６０度〜−６０度の間で５度刻み×３６０度５度刻みに、例えば３００×２４×７２＝約５０万通りの平面が骨切面候補となる。

【0039】

このようにして骨切面画像４３１を決定すると、第４ステージにおいては、手術対象骨４２１を骨切面画像４３１で分離した２つの対象骨画像４４１、４４２の３次元データを生成し、記憶する。すなわち、重ね合わせた対象骨画像４４２と参照骨画像４１２とを１セットにして、ピン２１２に取り付けられるマーカ２２２と関連付けて記憶する。そして、画像４０４に示すように、対象骨画像４４２または参照骨画像４１２に対する対象骨画像４４１の目標位置を、ピン２１１に取り付けられるマーカ２２１の位置データと関連付けて、記憶する。これにより、実空間においてマーカ２２１の位置や傾きが認識できれば、目標とする対象骨画像４４１の位置や傾きが推定できる。

【0040】

さらに骨切面画像４３１の位置、形状、傾きのデータを、マーカ２２１またはマーカ２２２の位置データと関連付けて記憶する。ピン２１１に対するマーカの２２１の位置および向き、および、ピン２１２に対するマーカの位置および向きは、あらかじめ一つに定められていてもよいが、本実施形態では、複数（例えば４通り）から選べるものとする。第１のマーカ取り付けタイプは、２本のピンが形成するピン平面に対して、平行にマーカを取り付けるタイプである。第２のマーカ取り付けタイプは、ピンの軸方向に平行で、ピン平面に垂直をなす平面にマーカを取り付けるタイプである。第３のマーカ取り付けタイプは、ピンの軸方向に平行で、ピン平面に４５度をなす平面にマーカを取り付けるタイプである。第４のマーカ取り付けタイプは、ピンの軸方向に平行で、ピン平面に１３５度をなす平面にマーカを取り付けるタイプである。その他、ピンの軸方向に垂直な平面にマーカを取り付けてもよい。実際のピンにどのようにマーカを取り付けるかに応じて、そのマーカと表示すべき手術対象骨や参照骨との相対位置関係を変更すればよい。

【0041】

このように準備されたデータを使用することにより、手術時に撮像されるマーカの位置、大きさおよび向きに基づいた、対象骨画像４４１および参照骨画像４１２の表示、対象骨画像４４２の表示、および骨切面画像４３１の表示が可能となる。なおここで、対象骨画像４４１と対象骨画像４４２との間の間隙４４３は、手術時に必要な接合骨の形状を表わしている。したがって、この時点で、手術時に必要な接合骨の３次元形状も取得することができる。

【0042】

なお手術時に、健側から生成した参照骨画像４１２を用いずに、画像４０４において目標配置として決定された対象骨画像４４１、４４２の組合せを一体として用いて表示してもよい。その場合、対象骨画像４４１、４４２の両方を参照骨画像４１２と重ね合わせた状態での、第１、第２マーカ２２１、２２３の支持部材としてピン２１１、２１２の位置を、目標相対位置データとして記憶部に記憶すればよい。そして、記憶された目標相対位置データに基づいて第２マーカ２２２のピン２１２の目標位置を表示すればよい。

【0043】

また、本実施形態では、変形治癒した罹患骨（手術対象骨）の骨切矯正手術を例としているので骨切面の両側の対象骨を考慮したが、本発明はこれに限定されるものではない。例えば、人工関節の移植手術の場合には、人工関節を取り付けるべき面を生成するための骨切面（例えば３つの面）を上述のようなＡＲ技術を利用して表示することにより、正確な骨切を実現することができる。例えば、Ｓ、Ｍ、Ｌの３つのサイズの人工関節の３次元ＣＧモデルを用意し、変形性の関節症を治癒する際、罹患骨をＣＴスキャンして、３次元仮想空間上で、手術対象骨の３Ｄデータに対して人工関節モデルを重ね合わせればよい。人工関節モデルの接着面と、マーカとの相対位置関係を記憶し、術中に接着面に合わせてブレードモデルをＡＲ表示すればよい。人工関節の３Ｄモデルに骨切の面を指し示すブレードを貼り付けておいてもよい。この場合、マーカは１つでよい。なお、実際のブレードにマーカを付けてその位置を認識し、ブレードの目標位置への移動を指示してもよい。

【0044】

（術中画像処理システムの構成）
図５は、本実施形態に係る術中画像処理システム５００の概略構成を示す図である。術中画像処理システム５００は、情報処理装置としてのタブレット型コンピュータ５０１と、表示装置５０２と、を有する。タブレット型コンピュータ５０１は、ディスプレイ５１１とカメラ５１２（デジタルカメラ）とを備えている。

【0045】

タブレット型コンピュータ５０１は、ディスプレイ５１１が医師５０３の方を向き、かつ、カメラ５１２がマーカ２２１、２２２を向く位置に固定される。タブレット型コンピュータ５０１は、あらかじめ手術対象骨の３次元データを記憶しており、マーカ２２１、２２２の画像から手術対象骨の位置および方向を認識する。タブレット型コンピュータ５０１は、ディスプレイ５１１において、認識した位置に、理想の骨切面の画像を表示する。これにより、医師５０３は、一目で骨切面を把握することができる。

【0046】

さらに、医師５０３が、患者３２２の前腕２１３を掴み、ねじったりのばしたりすると、それに伴いマーカ２２１、２２２の位置も変化するため、ディスプレイ５１１中の手術対象骨４２１も移動したり、回転したりする。そのように前腕２１３を動かして、ディスプレイ５１１中の対象骨画像４４２を参照骨画像４１２に重ね合わせることによって、手術対象骨の目標位置を確定する。確定した位置で、固定具２３１を用いてピン２１１、２１２を固定する。

【0047】

（術中対象骨位置決め処理）
図６Ａは、術中における手術対象骨の骨切作業および位置決め作業の概要を説明する画面遷移図である。手術前に、ピン２１１、２１２にマーカ２２１、２２２を固定する。

【0048】

骨切ステージにおいては、画像６２１のように、ディスプレイ５１１に骨切面画像４３１を３次元表示させて、適正な位置で手術対象骨を切断する。画像６２１中、太線で示された部分は、カメラ５１２による撮像画像であり、細線で示され部分は、３次元データから生成されたＣＧ画像である。

【0049】

医師は、骨切面画像４３１に合わせて骨切ブレードを患部に挿入し、変形治癒した罹患骨を分離する。次に、座標空間の画像６２２や、分割表示の画像６２３〜６２６を参照しつつ、患者の前腕を動かして、対象骨画像４４１を、対象骨画像４４２に対して操作する。画像６２１〜６２６では、撮影により得られたマーカ２２１、２２２の位置、大きさおよび方向に応じた位置、大きさおよび方向の対象骨画像４４１、４４２が表示される。

【0050】

画像６２２は、３次元空間のＸ軸／Ｙ軸／Ｚ軸と観察点の角度を表示しており、参照骨画像４１２と対象骨画像４４１、４４２との３次元空間での相対位置を抽出して表示するものであり、観察点を移動させて、対象骨画像４４１、４４２の画像を画面上で回すことができる。画像６２３〜６２６は、１画面に表示される分割表示画像であり、画像６２３は、画像６２１と同じ、撮像画像とＣＧ画像との重ね合わせ画像である。画像６２４は、画像６２３からＣＧ画像のみを抽出したものであり、ここではピンの付いた参照骨と対象骨とが表示されている。画像６２５は、カメラ５１２とは９０度をなす、骨の軸方向から見た場合の参照骨画像４１２および対象骨画像４４１、４４２の画像である。画像６２６は、カメラ５１２とは９０度をなすピン挿入方向から見た場合の参照骨画像４１２および対象骨画像４４１、４４２の画像である。つまり、画像６２４〜６２６は、３次元空間の３軸方向をそれぞれ観察点とする３つの表示画像である。医師はこれらの表示画面を観察しながら、対象骨画像４４１、４４２の適切な配置を決める。

【0051】

画像６２７は、対象骨画像４４１を参照骨画像４１２上に重ね合わせた状態を示している。この状態で、対象骨画像４４１、４４２に付けられたピン２１１、２１２を固定具で固定する。

【0052】

（術中骨切支援処理の概要）
図６Ｂは、本実施形態に係る術中の骨切支援処理の概要を説明する図である。

【0053】

表示画面６０１は、カメラ５１２により撮像された、手術対象骨である前腕橈骨を体内に有する患部(左手前腕部分）２１３と、分かれた手術対象骨にそれぞれ固定されたマーカ２２１および２２２と、を表示する。さらに、骨切のための切開部６１１と、骨切処理のため切開部６１１を開いた状態で保持する保持器具６１２と、を表示する。表示画面６０１は、撮像画像に重ね合わせて、マーカ２２１、２２２の位置、大きさおよび向きに基づいて、あらかじめ生成して記憶部に保存されていた、対象骨画像４４１、４４２が表示される。さらに、骨切支援のために、手術対象骨画像に重ね合わせて、あらかじめ選定されて記憶部に保存されていた骨切面画像４３１が、骨切位置に骨切角度で表示される。

【0054】

表示画面６０２は、患者の前腕あるいはカメラ位置を移動することにより、骨切面画像４３１を表示画面６０２の奥行方向に一致させた場合の画面である。表示画面６０２に表示された骨切面画像４３１に沿うように骨切器具６２８を骨に当てて、骨切りを行なえば、非常に正確な骨切を実現できる。

【0055】

（術前準備データ生成システムにおける情報処理装置の機能構成）
図７は、情報処理装置３２４の機能構成を示すブロック図である。なお、図７においては、断層画像データとしてＣＴデータを示し、３次元骨表面モデルデータとしてＳＴＬデータを示すが、これらに限定されない。情報処理装置３２４の各機能部は、ＣＰＵによりメモリを使用しながらプログラムを実行することにより画像データを処理することで実現される。

【0056】

ＣＴデータ取得部７１１は、患者３２２の画像として、ＣＴスキャナ３２１からのＣＴデータ（ＤＩＣＯＭ）を取得する。ＣＴデータベース７１２は、ＣＴデータ取得部７１１が取得したＣＴデータを検索可能に蓄積する。

【0057】

骨形状データ生成部７１３は、ＣＴデータから３次元骨表面モデルデータとしてＳＴＬデータを生成する。ＳＴＬデータＤＢ７１４は、骨形状データ生成部７１３が生成したＳＴＬデータを検索可能に蓄積する。

【0058】

表示部／操作部７１５は、ディスプレイやタッチパネルなどで構成され、骨形状データ生成部７１３が生成したＳＴＬデータに基づいて、骨画像を３次元表示する骨画像表示部として機能すると共に、医師の指示に従い骨画像の３次元移動（回転および移動）を行なう。本例においては、患者３２２の手術対象骨の画像と、健側骨の画像とが、同時に重ね合わせ可能に表示される。また、表示部／操作部７１５においては、手術対象骨の骨切位置情報を入力可能である。そして、手術対象骨を骨切位置で切断分離した複数の部分骨（第１対象骨／第２対象骨）がそれぞれ独立して３次元移動（回転および移動）表示可能である。参照骨データ生成部７１６は、健側骨の３次元データを左右反転することにより、参照骨データを生成する。

【0059】

３次元データ生成部７１７は、骨切位置情報に基づいて分離された第１対象骨と参照骨との３次元形状データを仮想３次元空間で重ね合わせ、３次元基準骨データを生成する。そして、生成した３次元基準骨データを、術前準備データＤＢ７１９に格納する。また、３次元データ生成部７１８は、第２対象骨の３次元形状データを生成する。そして、生成した３次元形状データを、術前準備データＤＢ７１９に格納する。なお、対象骨と参照骨との重ね合わせは、医師の操作に基づいて行なってもよいし、３次元データ生成部７１７、７１８が骨形状（特に、関節部の形状）に基づいて自動的に行なってもよい。術前準備データＤＢ７１９は、３次元データ生成部７１７、７１８が生成した３次元データをＳＴＬデータによって検索可能に蓄積する。かかる術前準備データＤＢ７１９に蓄積したＳＴＬデータは、術中画像処理システム５００において使用される。

【0060】

（ＳＴＬデータＤＢ）
図８は、本実施形態に係るＳＴＬデータＤＢ７１４の構成を示す図である。ＳＴＬデータＤＢ７１４には、本実施形態における３次元骨表面モデルを表わすＳＴＬデータが検索可能に蓄積されている。

【0061】

ＳＴＬデータＤＢ７１４は、画像ＩＤ８０１に対応付けて、ＣＴデータ取得日時８０２、患者名８０３、患部８０４、症状８０５、ＣＴデータ８０６を格納する。また、ＳＴＬデータＤＢ７１４は、ＣＴデータ８０６から生成されたＳＴＬデータ８０７と、外部でＳＴＬデータが生成された場合はＳＴＬデータ生成元８０８とを格納する。

【0062】

（３次元術前準備画像ＤＢ）
図９は、本実施形態に係る術前準備データＤＢ７１９の構成を示す図である。術前準備データＤＢ７１９には、本実施形態における３次元骨画像を表わすＳＴＬデータが検索可能に蓄積されている。

【0063】

術前準備データＤＢ７１９は、患者名９０１に対応付けて、患部９０２、症状９０３、第１マーカに関連付けられた３次元データ９０４、第２マーカに関連付けられた３次元データ９０５、を格納する。３次元データ９０４は、第１対象骨の３次元データと第１マーカ支持器具の３次元位置データと参照骨の３次元データとを含む。３次元データ９０５は、第２対象骨の３次元データと第２マーカ支持器具の３次元位置データとを含む。なお、３次元データ９０４および９０５は、表示骨画像が３次元空間で移動および回転が可能な形式で格納される。

【0064】

（外科手術支援システムの処理手順）
図１０Ａは、術前準備データ生成システム３２０と術中画像処理システム５００とを含む外科手術支援システム全体の処理手順を示すフローチャートである。

【0065】

まず、術前準備データ生成システム３２０は、ステップＳ１００１において、ピンを固定した手術対象骨の断層画像（例えば、ＣＴ画像）および健側骨の断層画像を取得して、それぞれの３次元データを生成する。

【0066】

次に、ステップＳ１００３において、生成した３次元形状データを表示しつつ、骨切面画像４３１および骨切後の骨の適正配置を決定し、それらの位置データを記憶する。次に、術中画像処理システム５００は、ステップＳ１００５において、手術対象骨に固定したマーカを撮像する。

【0067】

そして、術中画像処理システム５００は、ステップＳ１００７において、患部撮像画像に重ねて、マーカの移動に従って変化する骨切面画像を生成して表示する。医師は、表示画面を見ながら骨切面画像に合わせてブレードを骨に当て、骨を切断する。さらに、第１対象骨および参照骨の骨画像と、第２対象骨の骨画像とを生成して、表示する。医師は、表示画面を見ながら前腕を動かす。

【0068】

術中画像処理システム５００は、ステップＳ１００９において、第２対象骨の骨画像が参照骨の骨画像に合致するように、前腕の２つの対象骨が配置されたことを確認する。合致していなければ、術中画像処理システム５００は、ステップＳ６０５に戻って、合致する位置に対象骨が配置されるまで処理を継続する。

【0069】

（対象骨画像分離生成処理）
図１０Ｂは、図１０Ａの骨切面生成処理（Ｓ１００３）の手順を示すフローチャートである。

【0070】

情報処理装置３２４は、ステップＳ１０２１において、術前準備データＤＢ７１９から、手術対象骨および参照骨の３次元形状データを読み出し、画像表示処理を行なう。次に、ステップＳ１０２３において、骨切面を一時的に決定し、その骨切面によって分離した第１、第２対象骨の３次元形状データを生成する。ここでの骨切面の一時的な決定は、医師による位置の指示によって行なってもよいし、あるいは、システムが決定した、適当な位置（例えば端部から３ｃｍの位置）でもよい。ここでさらに、医師によるポインティングデバイスなどを用いた骨切面の移動指示入力を待ってもよい。移動指示入力があれば、情報処理装置３２４は、移動操作に対応して骨切面の３次元データを３次元空間で移動させ、２次元変換して骨切面画像を表示する。

【0071】

つぎに、情報処理装置３２４は、ステップＳ１０２３において、骨切面の３次元データによって、対象骨を分離して、分離骨（第１、第２対象骨）の形状データを生成する。そして、各分離骨データと骨切面データとの一組のデータを記憶する。次に、ステップＳ１０２５において、２つに分かれた第１対象骨の骨切面とは逆の端部および第２対象骨の骨切面とは逆の端部を参照骨の両端部に重ね合わせる。このとき、位置のみではなく、角度、向きも参照骨に合わせる。ステップＳ１０２７では、その状態で、骨切面を評価する。骨切面の評価方法としては様々な方法があり、例えば以下のいずれか、あるいは複数の組合せを選ぶことができる。
（１）医師の視認による評価（２）両端の特徴点を重ねた上で、参照骨と対象骨の非重畳体積による評価（小さいほどよい）
（３）両端の特徴点を重ねた上で、表面間の鉛直方向距離の平均による評価（小さいほどよい）
（４）両端の特徴点を重ねた上で、参照骨からはみ出す対象骨の体積による評価（小さいほどよい）
（５）両端の特徴点を重ねた上で、対象骨と対象骨との間の間隙（欠損部位）と参照骨との重複体積による評価（小さいほどよい）
ステップＳ１０２７において、所定の閾値を満たす評価が得られた場合には、ステップＳ１０２９に進む。そのような評価が得られない場合にはステップＳ１０２１に戻り、骨切面の位置および傾きを設定し直す。そうして骨切面を順次変化させながら、評価値が所定の閾値を満たすまで繰り返し、適正な骨切面を見つける。例えば、上述したように、手術対象骨４２１の最下点から、軸方向に骨切位置を単位距離（例えば１mm）ずつ上方にずらしつつ、あらゆる向きの面を骨切面候補として、繰り返しシミュレートすれば、少なくとも最適な骨切面の位置および角度を求めることができる。例えば、橈骨であれば、骨軸に垂直をなす平面に対して６０度〜−６０度の間で５度刻み×３６０度５度刻みの面（例えば３００×２４×７２＝約５０万通りの平面）を骨切面候補として、繰り返しシミュレートする。もちろん手術対象骨４２１の最上点から下方へと骨切面を変化させてもよい。あるいは、医師によって設定された範囲内で最適骨切面を見つけてもよい。

【0072】

ステップＳ１０２９では、決定した骨切面とマーカの取り付け情報（マーカが取り付けられるとあらかじめ定められた位置、角度、大きさ、マーカ種類）とを対応付けて、術前準備データＤＢ７１９に登録する。

【0073】

《術中画像処理システムにおける情報処理装置の機能構成》
図１１は、本実施形態に係る術中画像処理システム５００におけるタブレット型コンピュータ５０１の機能構成を示すブロック図である。タブレット型コンピュータ５０１の各機能部は、不図示のＣＰＵによりメモリを使用しながらプログラムを実行することにより実現される。なお、本実施形態ではタブレット型コンピュータ５０１を用いているが本発明はこれに限定されるものではなく、ディスプレイとカメラを備えた可搬性の情報処理端末であればよい。また、カメラや表示部／操作部が、情報処理装置と分離して、互いにデータ通信するものであってもよい。

【0074】

カメラ５１２は、手術室における患者３２２の患部を撮像する。カメラ５１２の撮像範囲には、患者３２２の前腕２１３の手術対象骨の２箇所に固定された、マーカ２２１、２２２が含まれる。マーカ解析部１１１１は、マーカＤＢ１１１２を参照して、カメラ５１２が撮像したマーカの画像から、表示すべき画像の種類、およびその画像を表示すべき位置および向きを解析する。

【0075】

術前準備データ１１１９は、図７に示した術前準備データＤＢ７１９に格納されたデータと同じものである。例えば、図７に示す情報処理装置３２４から通信によりタブレット型コンピュータ５０１に複製されてもよいし、記憶媒体を介してコピーしてもよい。さらには、タブレット型コンピュータ５０１から直接通信で情報処理装置３２４内の術前準備データＤＢ７１９にアクセスすることにより取得してもよい。

【0076】

ＣＧ画像生成部１１１４は、マーカ解析部１１１１から取得したマーカの３次元位置および方向と、術前準備データ１１１９に含まれる対象骨および参照骨の３次元データなどに基づいて、表示するＣＧ画像を生成する。ＣＧ画像生成部１１１４は、撮像された第１マーカの位置、大きさおよび向きに基づいて、第１対象骨の３次元データおよび参照骨の３次元データから、第１対象骨の骨画像および参照骨の骨画像を生成する第１骨画像生成手段として機能する。さらに、ＣＧ画像生成部１１１４は、撮像された第２マーカの位置、大きさおよび向きに基づいて、第２対象骨の３次元データから、第２対象骨の骨画像を生成する第２骨画像生成手段としても機能する。

【0077】

表示画像生成部１１１５は、カメラ５１２が撮像した患者３２２の前腕２１３の患部画像上に、ＣＧ画像生成部１１１４が生成した手術対象骨画像および参照骨画像を重ね合わせて、ディスプレイの表示画像データを生成する。この画像データを用いて、ディスプレイ５１１において、患部画像上に、対象骨画像および参照骨画像を同時に重ね合わせて表示する。また、観察点を移動した画像表示や複数の観察点からの画像同時表示が可能である。すなわち、表示画像生成部１１１５は、第２対象骨が参照骨に重なるような第１マーカおよび第２マーカの位置を探すため、第１対象骨の骨画像および参照骨の骨画像と、第２対象骨の骨画像とを表示する。表示画像生成部１１１５は、その表示において、第１マーカと第２マーカとの相対位置の変化に応じて第１対象骨の骨画像と第２対象骨の骨画像との相対位置が変化するように表示する。

【0078】

（マーカＤＢ）
図１２は、本実施形態に係るマーカＤＢ１１１２の構成を示す図である。マーカＤＢ１１１２は、マーカ解析部１１１１が、カメラ５１２が撮像した画像データからマーカの３次元の位置および向き（すなわち、２本で対のピンの位置および向き）を解析するために使用される。

【0079】

マーカＤＢ１１１２は、マーカＩＤ１２０１に対応付けて、２次元コードのマトリクスデータ１２０２を記憶する。ここで、マトリクスデータ１２０２とは、例えば、白黒あるいは色を示す２値または多値ビットデータを２次元座標で配置したものであり、この座標値の変化により３次元位置および方向が認識可能である。なお、２次元コードはこれに限定されない。また、マーカＤＢ１１１２は、マーカの形状１２０３と、マーカの大きさ１２０４とを記憶する。

【0080】

（マーカ解析テーブル）
図１３は、マーカ解析部１１１１が用いるマーカ解析テーブル１３０１の構成を示す図である。マーカ解析テーブル１３０１は、カメラ５１２が撮像したマーカの画像から、マーカ上の２次元データや、マーカの位置、大きさおよび向き、あるいはマーカ支持器具の３次元データを求めて、対象骨画像や参照骨画像の３次元表示データ生成に使用するテーブルである。

【0081】

マーカ解析テーブル１３０１は、撮像画像から抽出したマーカの２次元コード枠１３１１と、マーカの２次元コードのマトリクスデータ１３１２と、マトリクスデータ１３１２から判別したマーカＩＤ１３１３とを記憶する。さらに、マーカの位置、大きさおよび向き１３１４と、マーカの位置、大きさおよび向き１３１４から算出したマーカの３次元位置および向き１３１５を記憶する。マーカの３次元位置および向き１３１５に応じて、ディスプレイに表示すべき対象骨の３次元データを表示する位置、大きさおよび向きを決定できる。

【0082】

（３次元データ生成テーブル）
図１４、図１５は、ＣＧ画像生成部１１１４が用いる術中画像生成用テーブル１４０１、１５０１の構成を示す図である。術中画像生成用テーブル１４０１は、第１対象骨および参照骨ＩＤ１４１１に対応付けて、解析された第１マーカの３次元位置データ１４１２と、術前準備データＤＢ７１９に記憶されている第１マーカの３次元位置データ１４１３とを記憶する。そして、第１マーカの３次元位置データ１４１３を、３次元位置データ１４１２に変換する変換ベクトルを用いて、術前準備データＤＢ７１９に記憶されている第１対象骨の３次元データを座標変換する。その座標変換によって生成された、表示用の第１対象骨の３次元データ１４１４を記憶する。また、同じ変換ベクトルを用いて術前準備データＤＢ７１９に記憶されている参照骨の３次元データを座標変換して、表示用の参照骨の３次元データ１４１５を生成し、記憶する。また、術中画像生成用テーブル１４０１は、第１対象骨および参照骨ＩＤ１４１１に対応付けて、骨切面の位置、形状、傾きなどを示す３次元データ１４１６を記憶する。

【0083】

術中画像生成用テーブル１５０１は、第２対象骨ＩＤ１５１１に対応付けて、解析された第２マーカの３次元位置データ１５１２と、術前準備データＤＢ７１９に記憶されている第２マーカの３次元位置データ１５１３とを記憶する。そして、第２マーカの３次元位置データ１５１３を３次元位置データ１５１２に変換する変換ベクトルを用いて、術前準備データＤＢ７１９に記憶されている第２対象骨の３次元データを座標変換する。そして、その座標変換によって生成された、表示用の第２対象骨の３次元データ１５１４を記憶する。

【0084】

《術中画像処理システムにおける情報処理装置の処理手順》
図１６は、本実施形態に係るタブレット型コンピュータ５０１の処理手順を示すフローチャートである。このフローチャートは、タブレット型コンピュータ５０１のＣＰＵがＲＡＭを使用しながら術中画像生成プログラムとして実行し、図１１の機能構成部を実現する。

【0085】

タブレット型コンピュータ５０１は、ステップＳ１６０１において、患部領域（本例では、前腕部）を撮像して２つのマーカおよび患部画像の画像データを取得する。次に、タブレット型コンピュータ５０１は、ステップＳ１６０３において、患部領域の画像データから２次元コードを含む枠を抽出する。なお、本例では、２次元コードを含む枠は矩形であるが、円や他の形状であっても構わない。そして、タブレット型コンピュータ５０１は、ステップＳ１６０５において、枠内の２次元コードのマトリクスを取得する。

【0086】

タブレット型コンピュータ５０１は、ステップＳ１６０７において、取得した２次元コードのマトリクスと、マーカＤＢ１１１２に格納された正面からの２次元コードとを対比してマーカを特定する。そして、タブレット型コンピュータ５０１は、マーカの位置、大きさおよび向きも考慮してマーカ座標系（３次元空間での位置および向き）を解析する。タブレット型コンピュータ５０１は、ステップＳ１６０９において、解析された各マーカの位置および向きに基づいて、第１対象骨に固定された第１マーカの３次元データおよび第２対象骨に固定された第２マーカの３次元データを算出する。タブレット型コンピュータ５０１は、ステップＳ１６１１において、術前準備データ１１１９として格納された３次元データに基づいて、骨切面の３次元データを算出する。そして、タブレット型コンピュータ５０１は、ステップＳ１６１５において、患部撮像画像と、生成した骨切面の画像とを重ねて表示する。

【0087】

本実施形態によれば、骨切面の適切な配置を決定し、提示できるので、精度の高い手術ができる。手術時において、正確な手術対象骨の配置、正確な骨切位置の設定、必要な接合骨の作成、および確実な接骨処理を支援することが可能となる。

【0088】

［第３実施形態］
次に、本発明の第３実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、欠損部位の形状を生成して、そのデータを蓄積する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。本実施形態によれば、欠損部位の３次元データに基づいて正確なインプラントを生成することが可能となる。

【0089】

図１７は、本実施形態に係る情報処理装置１７００の機能構成を示すブロック図である。図１７に示すように、欠損部位形状生成部１７２１が骨切面決定部７２０と同様に設けられ、３次元データ生成部７１８とデータのやりとりを行なう。欠損部位形状生成部１７２１は、骨切面決定部７２０が決定した骨切面で２つに分離した手術対象骨（第１、第２対象骨）のそれぞれを、参照骨の両端に重畳させた場合の間隙の形状（図４の画像４０４における間隙４４３）を３次元形状データ化する。そして、その間隙の３次元形状データを欠損部位形状データとして、術前準備データＤＢ７１９に格納する。

【0090】

図１８は、本実施形態にかかる骨切面生成処理（Ｓ１００３）の手順を示すフローチャートである。ステップＳ１８０１では、決定した骨切面のデータを用いて、上述したように欠損部位の形状データを生成し、術前準備データＤＢ７１９に保存する。

【0091】

以上、本実施形態によれば、欠損部位の形状データを用いて、正確なインプラントを生成することが可能となる。

【0092】

［第４実施形態］
次に、本発明の第４実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、骨切位置の候補を選定して報知する点で異なる。その他の構成および動作は、第２実施形態または第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

【0093】

《情報処理装置の機能構成》
図１９は、本実施形態に係る情報処理装置１９００の機能構成を示すブロック図である。なお、図１９において、図７と同様の機能構成部には同じ参照番号を付して、説明を省略する。

【0094】

図１９においては、骨切位置候補選定部１９２１が追加されている。骨切位置候補選定部１９２１は、適切な骨切面を少なくとも１つ表示して医師に骨切位置候補として提示する。

【0095】

なお、適切な骨切面の判定、評価は、上述したとおり骨切面決定部７２０で分離される対象骨と参照骨画像とを重畳した場合の、重畳の度合いや、欠損部位のサイズや形状などから判定される。重畳の度合いは、誤差の累積値や誤差の最大値の小さいもの、あるいは所定閾値以上の誤差の数が少ないもの、を一致の度合いが高いとする。さらに、骨の重要な部位、例えば、関節部の誤差に重みを持たせてもよい。

【0096】

また、上記例に加えて、手術対象骨の症状から骨切位置の範囲は限られていることを考慮して、あらかじめ医師が範囲を手動入力してもよい。また、骨切位置候補選定部１９２１が手術対象骨や症状の情報から自動的に範囲を限定してから、骨切位置候補の選定を開始してもよい。

【0097】

また、骨切位置候補選定部１９２１が選定した骨切位置候補を、医師が再度確認して、位置調整をしてもよい。あるいは、複数の骨切位置候補が選定された場合に、その骨切位置候補間を自動的に移動させて重ね合わせの状態を表示し、医師の観察に基づいて骨切位置を決定してもよい。

【0098】

《情報処理装置の処理手順》
図２０は、本実施形態に係る情報処理装置１９００の処理手順を示すフローチャートである。なお、図２０において、図８と同様のステップには同じステップ番号を付して、説明は省略する。

【0099】

情報処理装置１９００は、ステップＳ２００１において、手術対象骨やその症状に対応する骨切範囲内の骨切シミュレーションを行うことにより、最適条件（例えば欠損部位サイズの最小）を満たす骨切面候補を生成する。骨切面候補は１つのみではなく複数生成してもよい。次に、ステップＳ２００３において、医師は、選定された骨切面候補から１つの骨切面を選択する。

【0100】

本実施形態によれば、より容易かつ正確に骨切面を決定することができる。

【0101】

［第５実施形態］
次に、本発明の第５実施形態に係る骨切支援システムについて説明する。本実施形態に係る骨切支援システムは、上記第２実施形態乃至第４実施形態と比べると、術前準備データ生成時に対象骨に実際のマーカを配置することなく、仮想的な３次元マーカを画面上で生成して、３次元プリンタにより作成する点で異なる。その他の構成および動作は、上記実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

【0102】

《骨切支援システムの概要》
図２１Ａおよび図２１Ｂを参照して、本実施形態の骨切支援システムの処理の概要を説明する。

【0103】

（術前準備データ生成処理）
図２１Ａは、本実施形態に係る情報処理装置を用いた術前準備データ生成処理の概要を説明する図である。なお、図２１Ａにおいて、図４と同様の表示画像あるいは表示要素には同じ参照番号を付す。なお、各画像は、表示画面に表示されるＣＧ画像であり、それぞれ、術前準備データ生成処理の各ステージに対応している。

【0104】

第２ステージにおいて、画像２１０２に示すように、前腕２１３の手術対象骨をＣＴスキャンなどで内部撮影して生成した手術対象骨（罹患骨）の３次元データ（以降、手術対象骨と称す）４２１を表示する。手術対象骨４２１は、撮影されたＳＴＬデータから生成されており、３次元データ上でプラニングされ描画された３次元マーカ２１１１、２１１２が仮想的に表示されている（図２１Ａでは破線で表示されている）。そして、参照骨画像４１２と手術対象骨４２１とを表示画面上で対比させて、手術対象骨４２１の状態を確認する。

【0105】

第３ステージにおいては、３次元空間での観察点を手術対象骨に近づけた拡大表示画像２１０５や、異なる観察点からの複数の画像を同時に表示する分割表示画像４０６（ここでは、３方向からの画像）を参照しながら手術対象骨４２１を画像４０３上で操作する。すなわち、手術対象骨４２１を参照骨画像４１２に対して移動したり回転したりして、参照骨画像４１２の各端部と手術対象骨４２１の各端部とを重ね合わせる。

【0106】

骨切面が上端側にあると推定できる場合には、まず、左側のように、手術対象骨４２１と参照骨画像４１２との下端同士を重ねて、手術対象骨４２１の骨切面を決定する。特に、関節部（図中の下端または上端）の形状（特徴点）を重ねることにより、手術対象骨４２１の歪みや曲り、変形を認識した上で、下端から徐々に上方に向けて参照骨と対比していき、参照骨との離間が始まる分岐位置を骨切面画像４３１とする。ここでは、骨切面画像４３１を所定の形状および大きさを有する矩形の平面としているが、本発明はこれに限定されない。骨切の目的に応じて曲面を含む面でもよい。

【0107】

なお、医師が、参照骨画像４１２と手術対象骨４２１との重畳具合を見ながら骨切面画像４３１を評価、決定してもよいが、計算により最適骨切面を求めてもよい。例えば、下端を重ねた上で、手術対象骨４２１と参照骨画像４１２との軸方向単位長さあたりの非重畳体積を下端から順次算出し、その非重畳体積が所定値を越えない最も上の点を結んだ平面を骨切面画像４３１としてもよい。あるいは、参照骨画像４１２の表面を単位面積に細かく分け、その単位面積ごとに手術対象骨４２１の表面までの鉛直方向の距離が所定値を越えた位置をつなぐことにより骨切面画像４３１を自動的に導いてもよい。あるいは、画像２１０４に示すように、骨切によって生成された２つの対象骨画像４４１、４４２を参照骨画像４１２の上下端に重ねた場合に、参照骨画像４１２からはみ出す体積（または表面同士の距離）の合計値が最小になるように、骨切面を決定してもよい。またあるいは、画像２１０４に示すように、骨切によって生成された２つの対象骨画像４４１、４４２を参照骨画像４１２の上下端に重ねた場合に、対象骨画像４４１と対象骨画像４４２との分離骨同士に挟まれた間隙（欠損部位）４４３が最小となるように、骨切面を決定してもよい。いずれにせよ、手術対象骨４２１の軸方向に位置を単位距離（例えば１mm）ずつずらしつつ、あらゆる向きの平面を骨切面候補として、繰り返しシミュレートすることにより、最適な骨切面の位置および角度を求めることができる。例えば、橈骨であれば、骨軸に垂直をなす平面に対して６０度〜−６０度の間で５度刻み×３６０度５度刻みに、例えば３００×２４×７２＝約５０万通りの平面が骨切面候補となる。

【0108】

このようにして骨切面画像４３１を決定すると、第４ステージにおいては、手術対象骨４２１を骨切面画像４３１で分離した２つの対象骨画像４４１、４４２の３次元データを生成し、記憶する。すなわち、重ね合わせた対象骨画像４４２と参照骨画像４１２とを１セットにして、仮想的に描画した３次元マーカ２１１２と関連付けて記憶する。そして、画像２１０４に示すように、対象骨画像４４２または参照骨画像４１２に対する対象骨画像４４１の目標位置を、仮想的に描画した３次元マーカ２１１１の位置データと関連付けて、記憶する。なお、仮想的に描画した３次元マーカ２１１１および２１１２のベースブロックは、表面が対象骨の特徴部位とマッチングするように設計される。したがって、３Ｄプリンタで制作した３次元マーカにおいて、仮想的に描画した３次元マーカ２１１１および２１１２のベースブロックの形状が再現できれば、３Ｄプリンタで制作した３次元マーカは対象骨の位置と向きとを正確に示すことができる。すなわち、実空間において３Ｄプリンタで制作された３次元マーカの位置や傾きが認識できれば、目標とする対象骨画像４４１の位置や傾きが推定できる。

【0109】

さらに骨切面画像４３１の位置、形状、傾きのデータを、描画した３次元マーカ２１１１または３次元マーカ２１１２の位置データと関連付けて記憶する。３次元マーカ２１１１に貼り付ける２次元マーカの位置および向き、および、３次元マーカ２１１２に貼り付ける２次元マーカの位置および向きは、あらかじめ定める。

【0110】

このように準備されたデータを使用することにより、手術時に対象骨に設置され撮像される３次元マーカの位置、大きさおよび向きに基づいた、対象骨画像４４１および参照骨画像４１２の表示、対象骨画像４４２の表示、および骨切面画像４３１の表示が可能となる。なおここで、対象骨画像４４１と対象骨画像４４２との間の間隙４４３は、手術時に必要な接合骨の形状を表わしている。したがって、この時点で、手術時に必要な接合骨の３次元形状も取得することができる。

【0111】

なお手術時に、健側から生成した参照骨画像４１２を用いずに、画像２１０４において目標配置として決定された対象骨画像４４１、４４２の組合せを一体として用いて表示してもよい。その場合、対象骨画像４４１、４４２の両方を参照骨画像４１２と重ね合わせた状態での、３次元マーカ２１１１、２１１２の位置を、目標相対位置データとして記憶部に記憶すればよい。

【0112】

また、本実施形態では、変形治癒した罹患骨（手術対象骨）の骨切矯正手術を例としているので骨切面の両側の対象骨を考慮したが、本発明はこれに限定されるものではない。例えば、人工関節の移植手術の場合には、人工関節を取り付けるべき面を生成するための骨切面（例えば３つの面）を上述のようなＡＲ技術を利用して表示することにより、正確な骨切を実現することができる。例えば、Ｓ、Ｍ、Ｌの３つのサイズの人工関節の３次元ＣＧモデルを用意し、変形性の関節症を治癒する際、罹患骨をＣＴスキャンして、３次元仮想空間上で、手術対象骨の３Ｄデータに対して人工関節モデルを重ね合わせればよい。人工関節モデルの接着面と、３次元マーカとの相対位置関係を記憶し、術中に接着面に合わせてブレードモデルをＡＲ表示すればよい。人工関節の３Ｄモデルに骨切の面を指し示すブレードを貼り付けておいてもよい。この場合、３次元マーカは１つでよい。なお、実際のブレードに３次元マーカを付けてその位置を認識し、ブレードの目標位置への移動を指示してもよい。

【0113】

（術中の骨切支援処理）
図２１Ｂは、本発実施形態に係る術中の骨切支援処理の概要を説明する図である。なお、図２１Ｂにおいて、図６Ｂと同様の要素には同じ参照番号を付す。

【0114】

表示画面２１０７は、カメラにより撮像された、手術対象骨である前腕橈骨を体内に有する患部(左手前腕部分）２１３と、術中に手術対象骨にそれぞれベースブロックを固定した３次元マーカ２１２１および２１２２と、を表示する。さらに、骨切のための切開部６１１と、骨切処理のため切開部６１１を開いた状態で保持する保持器具６１２と、を表示する。表示画面２１０７は、目視する患部に重ね合わせて、３次元マーカ２１２１、２１２２の位置、大きさおよび向きに基づいて、あらかじめ生成して記憶部に保存されていた、対象骨画像４４１、４４２が表示される。さらに、骨切支援のために、手術対象骨画像に重ね合わせて、あらかじめ選定されて記憶部に保存されていた骨切面画像４３１が、骨切位置に骨切する角度で表示される。

【0115】

表示画面２１０８は、患者の前腕あるいはカメラ位置を移動することにより、骨切面画像４３１を表示画面２１０７の奥行方向に一致させた場合の画面である。表示画面２１０８に表示された骨切面画像４３１に沿うように骨切器具６２８を骨に当てて、骨切りを行なえば、非常に正確な骨切を実現できる。

【0116】

《骨切支援システムの処理手順》
図２２は、本実施形態に係る術前準備データ生成システムと術中画像処理システムとを含む骨切支援システム全体の処理手順を示すフローチャートである。

【0117】

骨切支援システムは、ステップＳ２２０１において、患者の患部のＣＴ撮影を行なう。骨切支援システムは、ステップＳ２２０３において、例えばＳＴＬデータなどのより３次元モデル化を行なう。骨切支援システムは、ステップＳ２２０５において、３次元データを表示しながら、術前のプラニングを行なう。例えば、３次元マーカを画面上で生成して、３次元マーカを制作するデータを生成する。また、３次元マーカと手術対象骨、また、術中に必要な処置に必要な骨切り面、骨孔、インプラント、などとの３次元座標における関連付けを行なう。骨切支援システムは、ステップＳ２２０７において、３次元マーカのデータに基づいて、対象骨とマッチングするベースブロックを有する３次元マーカを３Ｄプリンタで制作する。

【0118】

骨切支援システムは、ステップＳ２２０９において、術中アプリケーションの処理プログラム、および、上記３次元マーカと関連付けられた各データを入力する。そして、骨切支援システムは、ステップＳ２２１１において、術中アプリケーションの処理プログラム、および、上記３次元マーカと関連付けられた各データに基づいて、骨切支援を実行する。

【0119】

《術前準備データ生成システムの機能構成》
図２３は、本実施形態に係る術前準備データ生成システム２３００の機能構成を示す図である。なお、図２３において、図７と同様な機能構成部には同じ参照番号を付して、説明を省略する。

【0120】

図２３のように、ＣＴ３２１における患部撮影時には、患者３２２にはマーカが設置されていない。骨画像データ生成部２３１１は、図７の参照骨データ生成部７１６および３次元データ生成部７１７、７１８を含む機能構成部である。３次元マーカデータ生成部２３１２は、表示部／操作部２３１５に入力された３次元マーカ情報に基づいて生成した３次元マーカの３次元データを生成する。骨切り面データ生成部２３１３は、表示部／操作部２３１５に入力された骨切位置情報に基づいて生成した骨切り面の３次元データを生成する。なお、あらかじめ用意された骨切り面を使用する場合には、あらかじめＳＴＬデータＤＢ７１４に格納されていてもよい。術前準備データＤＢ２３１９は、図７の術前準備データＤＢ７１９のデータに加えて、３次元マーカの３次元データを格納し、３次元マーカの３次元データに関連付けて、手術対象骨や骨切り面、などの３次元データを格納する。

【0121】

３Ｄプリンタ２３２０は、３次元マーカの３次元データから生成された３Ｄプリンタ用データに基づいて、３次元マーカを制作する。

【0122】

（術前準備データＤＢ）
図２４は、本実施形態に係る術前準備データＤＢ２３１９の構成を示す図である。図２４は、本実施形態に特有の術式でプラニングされる準備データの構成を示している。なお、図２４には、図９に図示した構成も含まれる。

【0123】

術前準備データＤＢ２３１９は、患者名２４０１に対応付けて、患部２４０２と、術式２４０３とを記憶する。本例では、患部は右腕、術式は橈骨遠位部変形治癒である。そして、患部２４０２と術式２４０３とに必要なプラニング項目２４０４と、それに必要な３次元データを３次元マーカと関連付けて記憶する。本例では、３Ｄプリンタ２４２０で制作される３次元マーカの３次元データと、それに対応する骨切り面の３次元データを記憶する。

【0124】

《骨切面生成処理の手順》
図２５は、本実施形態に係る骨切面生成処理の手順を示すフローチャートである。このフローチャートは、情報処理装置２３１０のＣＰＵがＲＡＭを使用しながら実行して、図２３の機能構成部を実現する。

【0125】

情報処理装置２３１０は、ステップＳ２５０１において、患者の対象骨と必要であれば健側骨のＣＴ画像を取得する。情報処理装置２３１０は、ステップＳ２５０３において、ＣＴ画像データからＳＴＬデータを生成する。外部にＳＴＬデータの生成を依頼する場合は、ＳＴＬデータを取得する。

【0126】

情報処理装置２３１０は、ステップＳ２５０７において、骨切り面の位置情報、３次元マーカ形状および設置位置情報、を取得する。情報処理装置２３１０は、ステップＳ２５０９において、骨切り面の３次元データ、３次元マーカデータ、などをＳＴＬ骨の３次元データに対応付けて生成する。そして、情報処理装置２３１０は、ステップＳ２５１１において、生成した各３次元データを関連付けて術前準備データＤＢ２３１９に格納する。また、情報処理装置２３１０は、ステップＳ２５１３において、３Ｄプリンタ用の３次元マーカデータを出力する。

【0127】

《術中画像処理システムの機能構成》
図２６は、本実施形態に係る術中画像処理システム２６００におけるタブレット型コンピュータ２６１０の機能構成を示すブロック図である。図２６において、図３、図５または図１１と同様の機能構成部には同じ参照番号を付して、説明を省略する。

【0128】

術前準備データＤＢ２３１９は、図２３に術前準備データ生成システム２３００で生成された同じ準備データを格納する。ＣＧ画像生成部２６１４は、術前準備データＤＢ２３１９から手術対象骨や骨切り面、などの３次元データを、マーカ解析部１１１１からの３次元マーカの位置と向きに対応して３次元座標変換して、目視の手術部位に重ね合わせるＣＧ画像を生成する。表示画像生成部２６１５は、ＣＧ画像生成部２６１４が生成した画像を、ディスプレイ５１１や外部モニタ２６２０、あるいは、ＨＭＤ２６３０に表示する表示画像に変換する。なお、本実施形態では、オプティカルシースルーのＨＭＤを使用することが望ましい。

【0129】

なお、術中画像処理システム２６００におけるタブレット型コンピュータ２６１０の処理手順は、マーカが、３Ｄプロンタ２３２０で作成され、術中の各対象骨に設置された３次元マーカに変わるのみで、図１６の処理手順と類似であるので、図示および説明は省略する。

【0130】

本実施形態によれば、術中は、３Ｄプリンタで制作した３次元マーカを骨の形状にマッチングするよう設置することで、術前および術中においても、患者の手術対象骨に孔を開けてマーカを設置することなしに、骨切りを支援ことができる。

【0131】

［第６実施形態］
次に、本発明の第６実施形態に係る骨切支援システムについて説明する。本実施形態に係る骨切支援システムは、上記第２実施形態乃至第５実施形態と比べると、マーカとして対象骨の外科手術を行なう部位表面の３次元データを使用して、術中画像処理においては深度センサにより対象骨の３次元データを取得して骨切りを支援する点で異なる。その他の構成および動作は、上記実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

【0132】

なお、本実施形態における術前準備データは、手術対象骨の３次元表面画像をマーカとして使用するため別途のマーカ情報を含まない以外は、上記実施形態と類似であるので、説明を省略する。また、以下の実施形態においては、ＨＭＤと深度センサとが一体の場合を説明するが、ＨＭＤと深度センサとが離れている場合には、位置センサ（ＧＰＳなど）や深度センサにマーカを付して位置判定する必要がある。

【0133】

《術中画像処理システムの機能構成》
図２７は、本実施形態に係る術中画像処理システム２７００の機能構成を示すブロック図である。術中画像処理システム２７００は、深度センサ＆ＨＭＤ２７２０と情報処理装置２７１０とを備える。

【0134】

深度センサ＆ＨＭＤ２７２０は、深度センサとオプティカルシースルーのＨＭＤとを備える。なお、深度センサとＨＭＤとは別であってもよいが、一体であるのが望ましい。深度センサは赤外線プロジェクタ２７２１と赤外線カメラ２７２２とで構成され、術中に手術部位の深度画像（距離画像）を取得する。距離画像は、表面の３次元画像と等価である。両眼式ＨＭＤの表示部２７２３（右目部２７２３ａ／左目部２７２３ｂ）には、目視する患者３２２の患部に３次元位置を重ね合わせて、３次元の骨切り面４３１が表示される。

【0135】

情報処理装置２７１０の通信部２７１１は、深度センサ＆ＨＭＤ２７２０の深度センサおよびＨＭＤとのデータの送受信を制御する。深度センザ画像受信部２７１２は、深度画像（距離画像）を受信する。骨表面画像照合部２９１３は、深度画像（距離画像）をマーカとして、術前準備データ７１９の対象骨画像の特徴的な表面画像と照合する。そして、ＣＧ画像生成部１７１４は、骨表面画像照合部２７１３から得た骨表面の照合に必要な位置および向きの変化に対応して、術前準備データ７１９の３次元データを３次元座標変換して、ＣＧ画像を生成する。なお、本実施形態の術前準備データ７１９は、別途のマーカを必要としないので、図７において、マーカ位置データを有しないか、手術対象骨の手術部位の特徴的な表面形状の詳細な３次元データをマーカ位置データとして格納する。

【0136】

目座標系推定部２７１５は、深度センサ画像データからＨＭＤを装着した医師の視線や視野に基づく目座標系を推定する。右眼用ＨＭＤ表示データ生成部２７１６は、目座標系推定部２７１５からの目座標系情報を参照して、３次元カメラ座標系の表示画像データを２次元ＨＭＤスクリーン座標系の右眼用表示データに変換する。また、左眼用ＨＭＤ表示データ生成部２７１７は、目座標系推定部２７１５からの目座標系情報を参照して、３次元カメラ座標系の表示画像データを２次元ＨＭＤスクリーン座標系の左眼用表示データに変換する。変換した２次元ＨＭＤスクリーン座標系の表示データは、３次元対象骨画像および参照骨画像がＨＭＤの表示部２７２３を透過する患部の前腕２１３と重なるように、表示位置が調整されている。また、観察点を移動した画像表示や複数の観察点からの画像同時表示が可能である。なお、観察点の移動による画像表示の変換は座標系の変換により可能であり、詳細な説明は省略する。画像送信部２７１８は、２次元ＨＭＤスクリーン座標系の表示画像データを、通信部１２７１を介してのＨＭＤの表示部２７２３に送信する。

【0137】

深度センサ＆ＨＭＤ２９２０の表示部２９２３は、右目用ＨＭＤ表示データ生成部２０１６からの表示画像を右目画面２９２３ａに表示し、左目用ＨＭＤ表示データ生成部２０１７からの表示画像を右目画面２９２３ｂに表示する。

【0138】

このように、本実施形態においては、手術対象骨の表面の３次元画像をマーカとして使用することにより、上記実施形態のように別途にマーカを作成することなしに、手術を支援することができる。

【0139】

（骨表面画像照合部のデータテーブル）
図２８は、本実施形態に係る骨表面画像照合部２７１３において使用されるデータテーブル２８００を示す図である。データテーブル２８００は、深度センサが患者の患部の手術対象骨の表面から取得した深度画像（距離画像）と、術前準備データ７１９として格納された手術対象骨とを照合して、現在の手術対象骨の位置と向きとを決定する。
データテーブル２８００は、深度センサが取得した深度センサ画像２８０１に対応付けて、照合した３次元骨データ２８０２と、照合結果から決定された対象骨の実空間位置と向き２８０３と、を記憶する。そして、データテーブル２８００は、対象骨の実空間位置と向き２８０３に対応して、３次元座標変換した、３次元骨データ２８０４と、骨切り面や、各器具の位置と向き、などの３次元データ２８０５と、を記憶する。

【0140】

本実施形態によれば、手術対象骨の表面の３次元画像をマーカとして使用することにより、上記実施形態のように別途にマーカを作成することなしに、骨切りを支援することができる。

【0141】

［他の実施形態］
なお、本実施形態においては、術中の骨切りの支援を中心に説明したが、例えば、他の骨孔開けの支援、骨を所定表面形状とするために削る処理の支援、インプラントへの置換が必要な術式のインプラント配置支援、などの特に器具の操作が必要な処理の支援に適用され、同様な効果を奏する。

【0142】

また、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

【0143】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する画像処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させる制御プログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

【0144】

この出願は、２０１３年６月１１日に出願された日本国特許出願 特願２０１３−１２３２１０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21A】

【図21B】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】