特許 7469961 画像処理装置及び画像処理用コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-09

(45)【発行日】2024-04-17

(54)【発明の名称】画像処理装置及び画像処理用コンピュータプログラム

(51)【国際特許分類】

   G06T 3/14 20240101AFI20240410BHJP

   G06T 19/00 20110101ALI20240410BHJP

   G06T 7/00 20170101ALI20240410BHJP

   G06T 1/00 20060101ALI20240410BHJP

【ＦＩ】

G06T3/14

G06T19/00 A

G06T7/00 614

G06T1/00 290A

【請求項の数】 6

(21)【出願番号】P 2020094580

(22)【出願日】2020-05-29

(65)【公開番号】P2021189762

(43)【公開日】2021-12-13

【審査請求日】2023-03-30

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和元年度、国立研究開発法人日本医療研究開発機構、「産学連携医療イノベーション創出プログラム」「脱気変形肺に対応した微小結節の術中同定法」委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000176730

【氏名又は名称】三菱プレシジョン株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100135976

【弁理士】

【氏名又は名称】宮本 哲夫

(72)【発明者】

【氏名】乾谷 徹

(72)【発明者】

【氏名】長坂 学

(72)【発明者】

【氏名】石井 隆司

【審査官】渡部 幸和

(56)【参考文献】

【文献】特開２０１６－００７２７７（ＪＰ，Ａ）

【文献】特開２０００－１７２８８４（ＪＰ，Ａ）

【文献】中国特許出願公開第１１０４９４８８９（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１７／０１６５００８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

入力部と、
前記入力部を介して、２次元画像上に第１線分を生成するための第１始点及び第１終点の位置を取得し、且つ、前記入力部を介して、視点から投影面を透して透視される３次元モデルが前記投影面に投影された像を含む３次元画像上に第２線分を生成するための第２始点及び第２終点の位置を取得する情報取得部と、
前記第１始点及び前記第１終点の位置に基づいて前記２次元画像上に前記第１線分を生成し、且つ、前記第２始点及び前記第２終点の位置に基づいて前記３次元画像上に前記第２線分を生成する線分生成部と、
前記第１線分上の２点と、当該２点と対応する前記第２線分上の２点とが一致するように視点変換された前記３次元モデルの前記３次元画像を生成する視点変換部と、
前記第１線分と前記第２線分とを一致させて、前記３次元画像と前記２次元画像とを重ねた重畳画像を生成する重畳画像生成部と、
を有し、
前記情報取得部は、前記２次元画像上の第１物体に対する第１線分の位置関係と、前記３次元画像上の第２物体に対する第２線分の位置関係とが近くなるような前記第２始点及び前記第２終点の位置を、前記入力部を介したユーザからの入力により取得する、画像処理装置。

【請求項2】

前記情報取得部は、前記入力部を介して、前記第２線分の前記第２始点と対応する前記３次元モデル上の第３始点と前記第２線分の第２終点と対応する前記３次元モデル上の第３終点とを結んだ第３線分を軸とした前記視点の回転角を取得し、
前記視点変換部は、前記第３線分を軸として前記視点を前記回転角だけ回転するように視点変換された前記３次元モデルの前記３次元画像を生成し、
前記重畳画像生成部は、前記第１線分と前記第２線分とを一致させて、前記３次元画像と前記２次元画像とを重ねた重畳画像を生成する請求項１に記載の画像処理装置。

【請求項3】

前記情報取得部は、前記入力部を介して、前記視点と、前記第２線分の前記第２始点と対応する前記３次元モデル上の第４始点と前記第２線分の前記第２終点と対応する前記３次元モデル上の第４終点とを結んだ第４線分とを含む面内で、前記３次元画像上の前記第２線分の位置を維持した状態で、前記視点を現在の位置から他の位置へ移動させる移動方向及び移動量を取得し、
前記視点変換部は、移動後の前記視点の位置に対応するように視点変換された前記３次元モデルの前記３次元画像を生成し、
前記重畳画像生成部は、前記第１線分と前記第２線分とを一致させて、前記３次元画像と前記２次元画像とを重ねた重畳画像を生成する請求項１又は２に記載の画像処理装置。

【請求項4】

前記情報取得部は、前記入力部を介して、前記２次元画像上の前記第１物体の輪郭と前記３次元画像上の前記第２物体の輪郭とが一致するように、前記３次元画像内で、前記第２線分を平行移動、回転移動、拡大、又は、縮小させる移動変形情報を取得し、
前記線分生成部は、前記移動変形情報に基づいて、前記３次元画像内で前記第２線分を移動又は変形し、
前記視点変換部は、前記第１線分上の２点と、当該２点と対応する前記第２線分上の２点とが一致するように視点変換された前記３次元モデルの前記３次元画像を生成し、
前記重畳画像生成部は、前記第１線分と前記第２線分とを一致させて、前記３次元画像と前記２次元画像とを重ねた重畳画像を生成する請求項１～３の何れか一項に記載の画像処理装置。

【請求項5】

前記第１線分上の２点は、前記第１線分の前記第１始点及び前記第１終点であり、前記第１線分上の２点と対応する前記第２線分上の２点は、前記第２線分の前記第２始点及び前記第２終点である請求項１～４の何れか一項に記載の画像処理装置。

【請求項6】

入力部を介して、２次元画像上に第１線分を生成するための第１始点及び第１終点の位置を取得し、且つ、前記入力部を介して、視点から投影面を透して透視される３次元モデルが前記投影面に投影された像を含む３次元画像上に第２線分を生成するための第２始点及び第２終点の位置を取得することであって、前記２次元画像上の第１物体に対する第１線分の位置関係と、前記３次元画像上の第２物体に対する第２線分の位置関係とが近くなるような前記第２始点及び前記第２終点の位置を、前記入力部を介したユーザからの入力により取得し、
前記第１始点及び前記第１終点の位置に基づいて前記２次元画像上に前記第１線分を生成し、且つ、前記第２始点及び前記第２終点の位置に基づいて前記３次元画像上に前記第２線分を生成し、
前記第１線分上の２点と、当該２点と対応する前記第２線分上の２点とが一致するように視点変換された前記３次元モデルの前記３次元画像を生成し、
前記第１線分と前記第２線分とを一致させて、前記３次元画像と前記２次元画像とを重ねた重畳画像を生成すること、
をプロセッサに実行させる画像処理用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理用コンピュータプログラムに関する。

【背景技術】

【0002】

医療技術及び医療機器の進歩により、内視鏡下手術が行われるようになってきている。術者は、内視鏡により撮影された２次元画像を見ながら、３次元の臓器又は血管等の組織に対する処置を行う。

【0003】

このように、内視鏡下手術は限られた視野の中で処置が行われるので、手術前に個々の手術予定者の臓器等のＣＴ又はＭＲＩ等の医療用画像データが測定され、この医療用画像データを用いて、手術予定者の臓器等の３次元モデルが作成される。そして、この３次元モデルに基づいて生成された３次元画像を用いて、術者によって処置対象の臓器等の状態が確認される。内視鏡下手術の際には、内視鏡により撮影された２次元画像と、臓器等の３次元モデルに基づいて生成された３次元画像とを対比しながら、術者により処置が行われる。

【0004】

例えば、特許文献１は、被検体（例えば、気管支）を撮影して得られた３次元画像（例えば、ＣＴ又はＭＲＩ等の医療用画像データを用いて生成された３次元画像）と、この３次元画像とは異なる他の画像（例えば、内視鏡により撮影された２次元画像）を取得する画像取得部と、３次元画像に含まれる管状構造物のグラフ構造を生成するグラフ構造生成部と、グラフ構造上の各点における管状構造物の輪郭情報を取得する輪郭情報取得部と、輪郭情報に基づいて３次元画像と他の画像との位置合わせを行う位置合わせ部とを備えた画像位置合わせ装置を提案している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－１０３８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１が提案する装置では、３次元画像に含まれる被検体としての気管支の輪郭情報に基づいて、３次元画像と、内視鏡により撮影された２次元画像との位置合わせが行われる。

【0007】

しかし、臓器は、必ずしも環状の構造を有しているとは限らない。また、臓器は、不定形を有しており特徴となる部位を有さない場合もある。そこで、不定形又は特徴となる部位を有していない臓器が示された３次元画像と、２次元画像との位置合わせを行える技術が望まれている。

【0008】

また、内視鏡下手術の最中に、３次元画像に示された臓器と、内視鏡により撮影された２次元画像に示された臓器との位置合わせを行うので、位置合わせの作業は容易であることが好ましい。

【0009】

そこで、本明細書では、不定形又は特徴となる部位を有さない物体が示された３次元画像と２次元画像との位置合わせを容易に行うことができる画像処理装置を提案することを課題とする。

【課題を解決するための手段】

【0010】

本明細書に開示する画像処理装置によれば、入力部と、前記入力部を介して、２次元画像上に第１線分を生成するための第１始点及び第１終点の位置を取得し、且つ、前記入力部を介して、視点から投影面を透して透視される３次元モデルが前記投影面に投影された像を含む３次元画像上に第２線分を生成するための第２始点及び第２終点の位置を取得する情報取得部と、前記第１始点及び前記第１終点の位置に基づいて前記２次元画像上に前記第１線分を生成し、且つ、前記第２始点及び前記第２終点の位置に基づいて前記３次元画像上に前記第２線分を生成する線分生成部と、前記第１線分上の２点と、当該２点と対応する前記第２線分上の２点とが一致するように視点変換された前記３次元モデルの前記３次元画像を生成する視点変換部と、前記第１線分と前記第２線分とを一致させて、前記３次元画像と前記２次元画像とを重ねた重畳画像を生成する重畳画像生成部と、を有する。

【0011】

更に、本明細書に開示する画像処理用コンピュータプログラムによれば、入力部を介して、２次元画像上に第１線分を生成するための第１始点及び第１終点の位置を取得し、且つ、前記入力部を介して、視点から投影面を透して透視される３次元モデルが前記投影面に投影された像を含む３次元画像上に第２線分を生成するための第２始点及び第２終点の位置を取得し、前記第１始点及び前記第１終点の位置に基づいて前記２次元画像上に前記第１線分を生成し、且つ、前記第２始点及び前記第２終点の位置に基づいて前記３次元画像上に前記第２線分を生成し、前記第１線分上の２点と、当該２点と対応する前記第２線分上の２点とが一致するように視点変換された前記３次元モデルの前記３次元画像を生成し、前記第１線分と前記第２線分とを一致させて、前記３次元画像と前記２次元画像とを重ねた重畳画像を生成すること、をプロセッサに実行させる。

【発明の効果】

【0012】

上述した本明細書に開示する画像処理装置によれば、不定形又は特徴となる部位を有さない物体が示された３次元画像と２次元画像との位置合わせを容易に行うことができる。

【図面の簡単な説明】

【0013】

【図1】本明細書に開示する画像処理装置の一実施形態の構成を示す図である。

【図2】（Ａ）は、２次元画像を示す図であり、（Ｂ）は、３次元画像を示す図であり、（Ｃ）は、重畳画像を示す図であり、（Ｄ）は、他の重畳画像を示す図である。

【図3】３次元画像を生成する処理を説明する図である。

【図4】画像処理装置の動作を示すフローチャートである。

【図5】線分を生成する処理を説明する図である。

【図6】第１位置合わせ処理のフローチャートである。

【図7】第１位置合わせ処理を説明する図（その１）である。

【図8】第１位置合わせ処理を説明する図（その２）である。

【図9】第２位置合わせ処理のフローチャートである。

【図10】第２位置合わせ処理を説明する図（その１）である。

【図11】第２位置合わせ処理を説明する図（その２）である。

【図12】第３位置合わせ処理のフローチャートである。

【図13】第３位置合わせ処理を説明する図（その１）である。

【図14】第３位置合わせ処理を説明する図（その２）である。

【図15】第４位置合わせ処理のフローチャートである。

【図16】第４位置合わせ処理を説明する図（その１）である。

【図17】第４位置合わせ処理を説明する図（その２）である。

【図18】第４位置合わせ処理を説明する図（その３）である。

【発明を実施するための形態】

【0014】

以下、本明細書で開示する画像処理装置の好ましい一実施形態を、図を参照して説明する。但し、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

【0015】

図１は、本明細書に開示する画像処理装置の一実施形態の構成を示す図である。画像処理装置１０は、通信インターフェース１１と、表示部１２と、ユーザインターフェース１３と、ストレージ装置１４と、メモリ１５と、プロセッサ１６とを有する。画像処理装置１０は、内視鏡１００と接続されており、内視鏡１００により撮影された２次元画像を、表示部１２に表示可能である。

【0016】

まず、本実施形態の画像処理装置１０により行われる処理の概要を、図２を参照しながら、以下に説明する。画像処理装置１０のプロセッサ１６は、図２（Ａ）に示すように、内視鏡１００から入力された２次元画像３０を、表示部１２に表示する。図２（Ａ）は、内視鏡手術を受ける者の臓器等の一例である肺を示す２次元画像３０を示す。

【0017】

プロセッサ１６は、術者等のユーザによるユーザインターフェース１３の操作に基づいて、２次元画像３０上に第１ガイダンス線分３１を生成して、表示部１２に表示する。

【0018】

プロセッサ１６は、図２（Ｂ）に示すように、内視鏡手術を受ける者の肺の３次元モデルを示す３次元画像４０を、表示部１２に表示する。３次元画像４０は、手術を受ける者の肺のＣＴ又はＭＲＩ等の医療用画像データを用いて生成された３次元モデルが、所定の視点から透視された投影面に投影されて像を含む。３次元画像４０には、肺の腫瘍４６が示されている。

【0019】

プロセッサ１６は、ユーザによるユーザインターフェース１３の操作に基づいて、３次元画像４０上に第２ガイダンス線分４１を生成して、表示部１２に表示する。

【0020】

プロセッサ１６は、第１ガイダンス線分３１上の２点（例えば、始点及び終点）と、これらの２点と対応する第２ガイダンス線分４１上の２点（例えば、始点及び終点）とが一致するように視点変換された肺の３次元モデルの３次元画像４０を生成する。

【0021】

プロセッサ１６は、第１ガイダンス線分３１と第２ガイダンス線分４１とを一致させて、３次元画像４０と２次元画像３０とを重ねた重畳画像５０を生成して、表示部１２に表示する。図２（Ｃ）は、重畳画像５０を示す図である。線分５１は、第１ガイダンス線分３１と第２ガイダンス線分４１とが重ね合わされた重畳ガイダンス線分である。図２（Ｃ）に示すように、重畳画像５０において、３次元画像に示される肺の輪郭４５は、２次元画像３０に示される肺の輪郭とは一致していない。

【0022】

ユーザは、ユーザインターフェース１３を用いて、３次元画像の肺の輪郭と２次元画像の肺の輪郭とが一致するように、重畳ガイダンス線分５１を基準にして３次元画像を操作する。プロセッサ１６は、ユーザによるユーザインターフェース１３の操作に基づいて、３次元画像の視点の位置を移動させて、移動後の視点の位置に対応するように視点変換された３次元モデルの３次元画像４０を生成する。

【0023】

プロセッサ１６は、再度、第１ガイダンス線分３１と第２ガイダンス線分４１とを一致させて、３次元画像４０と２次元画像３０とを重ねた重畳画像５０を生成して、表示部１２に表示する。図２（Ｄ）は、新たな重畳画像５０を示す図である。新たな重畳画像５０では、肺の輪郭４５は、２次元画像３０に示される肺の輪郭と一致している。このように、画像処理装置１０が、３次元画像と２次元画像との位置合わせを行うことにより、術者は、３次元モデルの肺の腫瘍４６の位置が、内視鏡１００により撮影された２次元画像３０に示される肺のどの部分に対応するのか確認することができる。

【0024】

以下、画像処理装置１０について、更に、詳述する。通信インターフェース１１は、画像処理装置１０を、内視鏡１００等の画像処理装置１０の外部の装置又はネットワーク（図示せず）と通信可能に接続するためのインターフェース回路を有する。例えば、通信インターフェース１１は、内視鏡１００から入力された二次元画像を、プロセッサ１６へ出力する。また、通信インターフェース１１は、ＣＴ又はＭＲＩ等の医療用画像データを用いて生成された３次元モデルを入力して、ストレージ装置１４へ出力する。

【0025】

表示部１２は、プロセッサ１６に制御されて、２次元画像３０又は３次元画像４０等の情報を表示する。表示部１２として、例えば、液晶ディスプレイを用いることができる。

【0026】

ユーザインターフェース１３は、入力部の一例であり、プロセッサ１６に制御されて、ユーザからの操作に応じた操作信号を生成して、プロセッサ１６へ出力する。ユーザインターフェース１３として、例えば、マウス又はキーボードを用いることができる。

【0027】

ストレージ装置１４は、記憶部の一例であり、例えば、非一時的な記憶媒体であるハードディスク装置又は光記録媒体、及びそのアクセス装置を有する。ストレージ装置１４は、手術を受ける者の臓器等のＣＴ又はＭＲＩ等の医療用画像データを用いて生成された３次元モデルを記憶する。ストレージ装置１４は、プロセッサ１６上で実行される、画像処理を実行するためのコンピュータプログラムを記憶してもよい。

【0028】

メモリ１５は、記憶部の他の一例であり、例えば、不揮発性の半導体メモリ及び揮発性の半導体メモリを有する。そしてメモリ１５は、画像処理の実行中に生成される各種データ、並びに、内視鏡１００から入力された２次元画像等の各種データ等を一時的に記憶する。

【0029】

プロセッサ１６は、１個又は複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ１６は、論理演算ユニットあるいは数値演算ユニットといった他の演算回路を更に有していてもよい。そしてプロセッサ１６は、画像処理に関連する処理を実行する。プロセッサ１６は、情報取得部２１と、線分生成部２２と、視点変換部２３と、重畳画像生成部２４とを有する。プロセッサ１６が有するこれらの各部は、例えば、プロセッサ１６上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ１６が有するこれらの各部は、プロセッサ１６に設けられる、専用の演算回路であってもよい。

【0030】

情報取得部２１は、ユーザインターフェース１３を介して、画像処理に関連する入力情報を取得する。例えば、情報取得部２１は、ユーザインターフェース１３を介して、２次元画像３０上に第１ガイダンス線分３１を生成するための第１始点及び第１終点の位置を取得する。また、情報取得部２１は、ユーザインターフェース１３を介して、３次元画像４０上に第２ガイダンス線分４１を生成するための第２始点及び第２終点の位置を取得する。

【0031】

線分生成部２２は、ユーザインターフェース１３を介して入力された第１始点及び第１終点の位置に基づいて２次元画像３０上に第１ガイダンス線分３１を生成する。また、線分生成部２２は、ユーザインターフェース１３を介して入力された第２始点及び第２終点の位置に基づいて３次元画像４０上に第２ガイダンス線分４１を生成する。

【0032】

視点変換部２３は、ストレージ装置１４に記憶された３次元モデルに基づいて、所定の視点から投影面を透して透視される３次元モデルが投影面に投影された像を含む３次元画像４０を生成する。また、視点変換部２３は、第１ガイダンス線分３１上の２点と、当該２点と対応する第２ガイダンス線分４１の２点とが一致するように視点変換された３次元モデルの３次元画像４０を生成する。

【0033】

以下、視点変換部２３が、所定の視点から投影面を透して透視される３次元モデルが投影面に投影された像を含む３次元画像を生成する処理について、図３を参照しながら、以下に説明する。

【0034】

まず、視点変換部２３は、ストレージ装置１４から３次元モデル６０の情報を読み出す。３次元モデル６０は、ワールド座標系で３次元モデル６０を形成する各部位の位置情報を有する。

【0035】

次に、視点変換部２３は、ワールド座標系で表された３次元モデル６０の位置に対して、モデルビュー変換を行って、３次元モデル６０を所定の視点８０を原点とするカメラ座標系で表す。視点８０から投影面７０を透して透視される３次元モデル６０が投影面７０に投影された像が３次元画像となる。

【0036】

次に、視点変換部２３は、カメラ座標系で表された３次元モデル６０に対して、射影変換を行って、３次元モデル６０を正規化デバイス座標系で表す。正規化デバイス座標系では、投影面は、Ｘ座標は－１．０～１．０の範囲に制限され、Ｙ座標は－１．０～１．０の範囲に制限され、Ｚ座標は、１．０に制限される。

【0037】

次に、視点変換部２３は、正規化デバイス座標系で表された３次元画像に対して、ビューポート変換を行って、３次元画像をウィンドウ座標系で表す。ウィンドウ座標系では、左上隅に原点が配置されて、原点の右側にＸ座標の正方向が伸び、原点の下側にＹ座標の正方向が伸びる。表示部１２には、ウィンドウ座標系で表された３次元画像が表示される。

【0038】

ここで、モデルビュー変換を行列Ｍで表し、射影変換を行列Ｐで表し、ビューポート変換を行列∪で表すと、３次元モデル６０上の位置Ｒ_worldと、ウィンドウ座標系の位置Ｒ_windowとの関係は、下記式（１）で表される。

【0039】

【数1】

【0040】

ここで、３次元モデル６０上の位置Ｒ_world及びウィンドウ座標系の位置Ｒ_windowのそれぞれは、下記式（２）及び（３）で表される。

【0041】

【数2】

【0042】

【数3】

【0043】

表示部１２に表示される３次元画像４０は、ウィンドウ座標の所定の範囲を示しており、３次元モデル６０が投影面に投影された像を含む。本明細書では、３次元画像４０は、表示部１２に表示されるウィンドウ座標の所定の範囲の画像を意味する。以上が、３次元モデルから３次元画像を生成する処理の説明である。

【0044】

重畳画像生成部２４は、第１ガイダンス線分３１と第２ガイダンス線分４１とを一致させ、３次元画像４０と２次元画像３０とを重ねた重畳画像５０を生成する。また、重畳画像生成部２４は、重畳画像５０を表示部１２に表示する。

【0045】

次に、画像処理装置１０の動作を、図４に示すフローチャートを参照しながら、以下に説明する。

【0046】

プロセッサ１６の情報取得部２１は、内視鏡１００から入力された２次元画像３０を表示部１２に表示する。ユーザは、ユーザインターフェース１３を操作して、例えば２次元画像３０に示される物体（例えば、肺等の臓器）３４と重なるように、２次元画像３０上に第１ガイダンス線分３１を生成するための第１始点３２及び第１終点３３の位置を画像処理装置１０に入力する。情報取得部２１は、ユーザインターフェース１３を介して、２次元画像３０上の第１始点３２及び第１終点３３の位置を取得する。プロセッサ１６の線分生成部２２は、図５（Ａ）に示すように、第１始点３２及び第１終点３３の位置に基づいて２次元画像３０上に第１ガイダンス線分３１を生成して、表示部１２に表示する（ステップＳ１０１）。

【0047】

プロセッサ１６の視点変換部２３は、ストレージ装置１４から３次元モデルを読み出し、３次元画像４０を生成して表示部１２に表示する。ユーザは、ユーザインターフェース１３を操作して、例えば２次元画像３０上の物体３４に対する第１ガイダンス線分３１の位置関係と、３次元画像４０上の物体４４に対する第２ガイダンス線分４１の位置関係とが近くなるように、３次元画像４０上に第２ガイダンス線分４１を生成するための第２始点４２及び第２終点４３の位置を画像処理装置１０に入力する。プロセッサ１６の情報取得部２１は、ユーザインターフェース１３を介して、第２始点４２及び第２終点４３の位置を取得する。プロセッサ１６の線分生成部２２は、図５（Ｂ）に示すように、第２始点４２及び第２終点４３の位置に基づいて３次元画像３０上に第２ガイダンス線分４１を生成して、表示する（ステップＳ１０２）。第２ガイダンス線分４１と物体４４との位置関係は、第１ガイダンス線分３１と物体３４との位置関係と近いことが、その後の処理において、２次元画像３０と３次元画像４０との位置合わせを迅速に行う観点から好ましい。また、物体４４に対する第2ガイダンス線分４１の長さ及び方向は、物体３４に対する第１ガイダンス線分３１の相対的な長さ及び方向と近いことが、同様の観点から好ましい。

【0048】

プロセッサ１６は、２次元画像３０と３次元画像４０との第１位置合わせ処理を実行する（ステップＳ１０３）。第１位置合わせ処理の詳細を、図６に示すフローチャートを参照しながら、以下に説明する。

【0049】

プロセッサ１６の視点変換部２３は、第１ガイダンス線分３１上の２点と、これらの２点と対応する第２ガイダンス線分４１上の２点とが一致するように視点変換された３次元モデル６０の３次元画像４０を生成する（ステップＳ２０１）。本実施形態では、視点変換部２３は、第１ガイダンス線分３１上の２点として、第１ガイダンス線分３１の第１始点３２及び第１終点３３を用いる。従って、第１ガイダンス線分３１上の２点と対応する第２ガイダンス線分４１上の２点は、第２ガイダンス線分４１の第２始点４２及び第２終点４３となる。なお、視点変換部２３は、第１ガイダンス線分３１上の２点として、他の２点を用いてもよい。例えば、第１ガイダンス線分３１上の２点のうちの一点として、第１ガイダンス線分３１の中点を用いてもよい。

【0050】

視点変換部２３は、第１ガイダンス線分３１上の第１始点３２及び第１終点３３と、第２ガイダンス線分４１上の第２始点４２及び第２終点４３とが一致するように視点変換を行う変換行列Ｍ_fitを算出する（図７参照）。ここで、視点変換後の３次元画像４０の投影面７０ｂの視点８０ｂの位置は、一意には定まらない。そこで、視点８０ｂの位置と、第１ガイダンス線分３１の第１始点３２との距離が、３次元画像４０の投影面７０ａの視点８０ａの位置と第２ガイダンス線分４１の第２始点４２との距離と同じであると仮定する。なお、視点変換部２３は、上述した仮定のもとで変換行列Ｍ_fitを、幾何学的に算出することができる。

【0051】

ワールド座標系から視点変換前の３次元画像４０のカメラ座標系へ３次元モデルの位置を変換するモデルビュー変換行列をＭ_3dと表すと、ワールド座標系から視点変換後の３次元画像４０のカメラ座標系へ３次元モデルの位置を変換するモデルビュー変換行列をＭ_2dは、下記式（４）で表される。

【0052】

【数4】

【0053】

従って、第１位置合わせ処理において視点変換された３次元モデル６０の３次元画像４０のウィンドウ座標系の位置Ｒ_windowは、下記式（５）で表される。

【0054】

【数5】

【0055】

図８に示すように、視点変換部２３は、式（５）を用いて、３次元モデル６０に基づいて、２次元画像３０と同じ視点の投影面７０ｂにおいてウィンドウ座標系で表された３次元画像４０を生成する。この３次元画像４０における第２ガイダンス線分４１の長さ及び向きは、２次元画像３０の第１ガイダンス線分３１の長さ及び向きと一致する。

【0056】

プロセッサ１６の重畳画像生成部２４は、第１ガイダンス線分３１と第２ガイダンス線分４１とを一致させ、３次元画像４０と２次元画像３０とを重ねた重畳画像５０を生成して、表示部１２に表示する（ステップＳ２０２）。図８に示すように、重畳画像５０では、第１ガイダンス線分３１と第２ガイダンス線分４１とが重畳された重畳ガイダンス線分５１が示されている。図８に示す例では、重畳画像５０において、２次元画像の物体３４の輪郭と、３次元画像の物体４４と輪郭とは、まだ一致していない。ユーザは、重畳画像５０において、２次元画像の物体３４の輪郭と、３次元画像の物体４４の輪郭とが一致していない場合には、更に、第２位置合わせ処理へ進む。一方、重畳画像５０において、２次元画像の物体３４の輪郭と、３次元画像の物体４４の輪郭とが一致している場合には、３次元画像と２次元画像との位置合わせ処理を終了してもよい。以上が、第１位置合わせ処理の説明である。

【0057】

プロセッサ１６は、ユーザによるユーザインターフェース１３の操作に基づいて、２次元画像３０と３次元画像４０との第２位置合わせ処理を実行する（ステップＳ１０４）。第２位置合わせ処理の詳細を、図９に示すフローチャートを参照しながら、以下に説明する。

【0058】

プロセッサ１６の重畳画像生成部２４は、上述した第１位置合わせ処理において生成された重畳画像５０を、表示部１２に表示する。ユーザは、３次元画像の物体４４の輪郭と２次元画像の物体３４の輪郭とが一致するように、第２ガイダンス線分と重なっている重畳ガイダンス線分５１を軸として、３次元画像の物体４４を回転させるようにユーザインターフェース１３を操作する。これにより、情報取得部２１は、ユーザインターフェース１３を介して、図１０に示すように、第２ガイダンス線分４１の第２始点４２と対応する３次元モデル６０上の第３始点６２と第２ガイダンス線分４１の第２終点４３と対応する３次元モデル６０上の第３終点６３とを結んだ第３ガイダンス線分６１を軸とした視点８０ｃの回転角θを取得する（ステップＳ３０１）。ここで、重畳画像生成部２４は、３次元モデル６０上の第３始点６２及び第３終点６３の位置を、第２ガイダンス線分４１の第２始点４２及び第２終点４３のウィンドウ座標系で表された位置と、∪ＰＭ_3dの逆行列と、射影変換Ｐにおける深度情報とに基づいて算出する。

【0059】

プロセッサ１６の視点変換部２３は、第３ガイダンス線分６１を軸として視点８０ｃの位置を回転角θだけ回転するように視点変換された３次元モデル６０の３次元画像４０を生成する（ステップＳ３０２）。回転前の視点８０ｃの位置から３次元モデル６０を透視するように投影面７０ｃに投影された３次元画像は、回転後の視点８０ｄの位置から３次元モデル６０を透視するように投影面７０ｄへ投影された３次元画像に変換される。視点の位置の回転の前後において、３次元画像４０上の第２ガイダンス線分４１の位置は不変である。

【0060】

ワールド座標系から視点の回転前のカメラ座標系へ３次元モデルの位置を変換するモデルビュー変換行列をＭ_3dと表すと、ワールド座標系から視点の回転後のカメラ座標系へ３次元モデルの位置を変換するモデルビュー変換行列をＭ_{3d_hrot}は、変換行列Ｍ_hrotを用いて下記式（６）で表される。視点変換部２３は、変換行列Ｍ_hrotを、視点８０ｃの位置を回転角θ等の情報に基づいて、幾何学的に算出することができる。

【0061】

【数6】

【0062】

従って、第２位置合わせ処理において視点変換された３次元モデル６０の３次元画像４０のウィンドウ座標系の位置Ｒ_windowは、下記式（７）で表される。

【0063】

【数7】

【0064】

図１１に示すように、視点変換部２３は、式（７）を用いて、３次元モデル６０に基づいて、第３ガイダンス線分６１を軸として視点８０ｃの位置を回転角θだけ回転するように視点変換された３次元モデル６０の３次元画像４０を生成する。回転角θは、第３ガイダンス線分６１を軸として、時計回りの回転、又は、反時計回りの回転を示すものでよい。

【0065】

プロセッサ１６の重畳画像生成部２４は、第１ガイダンス線分３１と第２ガイダンス線分４１とを一致させ、３次元画像４０と２次元画像３０とを重ねた重畳画像５０を生成して、表示部１２に表示する（ステップＳ３０３）。ユーザは、重畳画像５０において、２次元画像の物体３４の輪郭と、３次元画像の物体４４の輪郭とが一致していない場合には、更に、第３位置合わせ処理へ進める。一方、重畳画像５０において、２次元画像の物体３４の輪郭と、３次元画像の物体４４の輪郭とが一致している場合には、３次元画像と２次元画像との位置合わせ処理を終了してもよい。

【0066】

プロセッサ１６は、ユーザによるユーザインターフェース１３の操作に基づいて、２次元画像３０と３次元画像４０との第３位置合わせ処理を実行する（ステップＳ１０５）。第３位置合わせ処理の詳細を、図１２に示すフローチャートを参照しながら、以下に説明する。

【0067】

プロセッサ１６の重畳画像生成部２４は、上述した第２位置合わせ処理において生成された重畳画像５０を、表示部１２に表示する。ユーザは、３次元画像の物体４４の輪郭と２次元画像の物体３４の輪郭とが一致するように、第２ガイダンス線分と重なっている重畳ガイダンス線分５１が伸びる方向において、３次元画像の物体４４を回転させるようにユーザインターフェース１３を操作する。これにより、プロセッサ１６の情報取得部２１は、ユーザインターフェース１３を介して、図１３に示すように、視点８０ｅの位置と、第２ガイダンス線分４１の第２始点４２と対応する３次元モデル６０上の第３始点６２と第２ガイダンス線分４１の第２終点４３と対応する３次元モデル６０上の第３終点６３とを結んだ第３ガイダンス線分６１とを含む面９０内で、３次元画像４０上の第２ガイダンス線分４１の位置を維持した状態で、視点を現在の位置８０ｅから他の位置８０ｆへ移動させる移動方向及び移動量（以下、移動情報ともいう）を取得する（ステップＳ４０１）。図１３に示す例では、視点は、面９０内において、位置８０ｅから他の位置８０ｆへ移動する。情報取得部２１は、面９０内において、位置８０ｅから他の位置８０ｆへ移動した移動方向及び移動量を、移動情報として取得する。

【0068】

プロセッサ１６の視点変換部２３は、移動後の視点８０ｆの位置に対応するように視点変換された３次元モデル６０の３次元画像４０を生成する（ステップＳ４０２）。移動前の視点８０ｅの位置から３次元モデル６０を透視するように投影面７０ｅに投影された３次元画像は、移動後の視点８０ｆの位置８０ｆから３次元モデル６０を透視するように投影面７０ｆへ投影された３次元画像に変換される。視点の位置の移動の前後において、３次元画像４０上の第２ガイダンス線分４１の位置は不変である。

【0069】

ワールド座標系から視点の移動前のカメラ座標系へ３次元モデルの位置を変換するモデルビュー変換行列をＭ_3dと表すと、ワールド座標系から視点の移動後のカメラ座標系へ３次元モデルの位置を変換するモデルビュー変換行列をＭ_{3d_vrot}は、変換行列Ｍ_vrotを用いて下記式（８）で表される。視点変換部２３は、変換行列Ｍ_vrotを、移動前の視点の位置、視点の移動方向及び移動量等に基づいて、幾何学的に算出することができる。

【0070】

【数8】

【0071】

従って、第３位置合わせ処理において視点変換された３次元モデル６０の３次元画像４０のウィンドウ座標系の位置Ｒ_windowは、下記式（９）で表される。

【0072】

【数9】

【0073】

図１４に示すように、視点変換部２３は、式（９）を用いて、３次元モデル６０に基づいて、移動後の視点８０ｆの位置に対応するように視点変換された３次元モデル６０の３次元画像４０を生成する。視点の移動方向は、面９０内において、上方向でも、又は、下方向であってもよい。

【0074】

プロセッサ１６の重畳画像生成部２４は、第１ガイダンス線分３１と第２ガイダンス線分４１とを一致させ、３次元画像４０と２次元画像３０とを重ねた重畳画像５０を生成して、表示部１２に表示する（ステップＳ４０３）。ユーザは、重畳画像５０において、２次元画像の物体３４の輪郭と、３次元画像の物体４４の輪郭とが一致していない場合には、更に、第４位置合わせ処理へ進む。一方、重畳画像５０において、２次元画像の物体３４の輪郭と、３次元画像の物体４４の輪郭とが一致している場合には、３次元画像と２次元画像との位置合わせ処理を終了してもよい。なお、ユーザは、第３位置合わせ処理を、第２位置合わせ処理の前に行ってもよい。

【0075】

プロセッサ１６は、ユーザによるユーザインターフェース１３の操作に基づいて、２次元画像３０と３次元画像４０との第４位置合わせ処理を実行する（ステップＳ１０６）。第４位置合わせ処理の詳細を、図１５に示すフローチャートを参照しながら、以下に説明する。

【0076】

プロセッサ１６の重畳画像生成部２４は、上述した第３位置合わせ処理において生成された重畳画像５０を、表示部１２に表示する。ユーザは、３次元画像の物体４４の輪郭と２次元画像の物体３４の輪郭とが一致するように、第２ガイダンス線分と重なっている重畳ガイダンス線分５１を平行移動、回転移動、拡大、又は、縮小させるように、ユーザインターフェース１３を操作する。これにより、プロセッサ１６の情報取得部２１は、ユーザインターフェース１３を介して、第２ガイダンス線分４１を平行移動、回転移動、拡大、又は、縮小させる移動変形情報を取得する（ステップＳ５０１）。

【0077】

図１６は、ユーザが第２ガイダンス線分４１を平行移動させた場合を示す。情報取得部２１は、移動変形情報として、第２ガイダンス線分４１の平行移動における移動量及び移動方向を取得する。

【0078】

図１７は、ユーザが第２ガイダンス線分４１を回転移動させた場合を示す。情報取得部２１は、移動変形情報として、第２始点４２を中心とした第２ガイダンス線分４１の回転角を取得する。

【0079】

図１８は、ユーザが第２ガイダンス線分４１を拡大、又は、縮小させた場合を示す。情報取得部２１は、移動変形情報として、第２ガイダンス線分４１の長さの拡大率又は縮小率を表す変形率を取得する。

【0080】

プロセッサ１６の線分生成部２２は、移動変形情報に基づいて、３次元画像４０内の第２ガイダンス線分４１を移動又は変形する（ステップＳ５０２）。

【0081】

図１６に示す例では、線分生成部２２は、移動変形情報が表す平行移動における移動量及び移動方向に基づいて、３次元画像４０内の第２ガイダンス線分４１を平行移動する。

【0082】

図１７に示す例では、線分生成部２２は、移動変形情報が表す回転角に基づいて、３次元画像４０内の第２ガイダンス線分４１を回転移動する。

【0083】

図１８に示す例では、線分生成部２２は、移動変形情報が表す変形率に基づいて、３次元画像４０内の第２ガイダンス線分４１を拡大又は縮小するように変形する。

【0084】

プロセッサ１６の視点変換部２３は、第１ガイダンス線分３１上の２点と、これらの２点と対応する第２ガイダンス線分４１上の２点とが一致するように視点変換された３次元モデル６０の３次元画像４０を生成する（ステップＳ５０３）。視点変換部２３は、第１ガイダンス線分３１上の２点として、第１ガイダンス線分３１の第１始点３２及び第１終点３３を用いる。従って、第１ガイダンス線分３１上の２点と対応する第２ガイダンス線分４１上の２点は、第２ガイダンス線分４１の第２始点４２及び第２終点４３となる。視点変換部２３が行う処理については、上述したステップＳ２０１の説明が適宜適用される。

【0085】

プロセッサ１６の重畳画像生成部２４は、第１ガイダンス線分３１と第２ガイダンス線分４１とを一致させ、３次元画像４０と２次元画像３０とを重ねた重畳画像５０を生成して、表示部１２に表示する（ステップＳ５０４）。ユーザは、重畳画像５０において、２次元画像の物体３４の輪郭と、３次元画像の物体４４と輪郭とが一致していない場合には、第４位置合わせ処理を繰り返して行ってもよい。第４位置合わせ処理を繰り返して行うことにより、通常、重畳画像５０において、２次元画像の物体３４の輪郭と、３次元画像の物体４４と輪郭とをほぼ一致させて、２次元画像３０と３次元画像４０との位置合わせを行うことができる。また、ユーザは、第４位置合わせ処理を、第２位置合わせ処理又は第３位置合わせ処理の前に行ってもよい。

【0086】

重畳画像生成部２４は、図１（Ｄ）に示すように、第１ガイダンス線分３１と第２ガイダンス線分４１とを一致させ、物体の輪郭を示した３次元画像４０と２次元画像３０とを重ねた重畳画像５０を生成してもよい。これにより、ユーザは、３次元画像４０に示された、不定形又は特徴となる部位を有さない物体の一例である肺の腫瘍４６の位置が、内視鏡に撮影された２次元画像３０のどこに対応するのかを認識できる。

【0087】

上述した本実施形態の画像処理装置によれば、２次元画像上に第１線分を生成し、且つ、３次元画像上に第２線分を生成して、第１ガイダンス線分と第２ガイダンス線分とを一致させて、３次元画像と２次元画像とを重ね合わせることにより、２次元画像と３次元画像との位置合わせを行う。これにより、画像処理装置は、３次元モデルが不定形又は特徴となる部位を有していない物体であっても、３次元画像と２次元画像との位置合わせを容易に行うことができる。

【0088】

本実施形態の画像処理装置では、２次元画像上の第１ガイダンス線分上の２点と、この２点と対応する３次元画像上の２点とを一致させることに基づいて、２次元画像と３次元画像との位置合わせを行っている。仮に、２次元画像上の１点と、この１点と対応する３次元画像上の１点とを一致させることに基づいて、２次元画像と３次元画像との位置合わせを行った場合には、その後の位置合わせの自由度が高すぎるので、ユーザは、２次元画像と３次元画像との位置合わせが困難になるおそれがある。また、２次元画像上の３点と、この３点と対応する３次元画像上の３点とを一致させることに基づいて、２次元画像と３次元画像との位置合わせを行った場合には、この位置合わせによる拘束が大きいので、ユーザは、２次元画像と３次元画像との位置合わせをうまくできないおそれがある。

【0089】

本発明では、上述した実施形態の画像処理装置及び画像処理用コンピュータプログラム、は、本発明の趣旨を逸脱しない限り適宜変更が可能である。

【0090】

例えば、上述した実施形態では、３次元モデルは不定形又は特徴となる部位を有していない物体であったが、３次元モデルは、立法体等の定まった形状を有していてもよい。また、３次元モデルは、特徴となる部位を有していてもよい。

【0091】

また、上述した実施形態では、３次元モデルは、手術を受ける者の臓器であったが、３次元モデルは、臓器に限定されない。例えば、３次元モデルは、建築物等であってもよい。

【0092】

また、上述した実施形態では、２次元画像は、３次元画像に示される３次元モデルに対応する物体が撮影された画像であったが、２次元画像に示される物体は、３次元画像に示される物体に対応していなくてもよい。

【符号の説明】

【0093】

１０ 画像処理装置
１１ 通信インターフェース
１２ 表示部
１３ ユーザインターフェース
１４ ストレージ装置
１５ メモリ
１６ プロセッサ
２１ 情報取得部
２２ 線分生成部
２３ 視点変換部
２４ 重畳画像生成部
３０ ２次元画像
３１ 第１ガイダンス線分（第１線分）
３２ 第１始点
３３ 第１終点
３４ 物体
４０ ３次元画像
４１ 第２ガイダンス線分（第２線分）
４２ 第２始点
４３ 第２終点
４４ 物体
４５ 物体の輪郭
４６ 腫瘍
５０ 重畳画像
５１ 重畳ガイダンス線分
６０ ３次元モデル
６１ 第３線分
６２ 第３始点
６３ 第３終点
７０、７０ａ～７０ｆ 投影面
８０、８０ａ～８０ｆ 視点
９０ 面
１００ 内視鏡

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】