特許 6292682 画像処理システム、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6292682

(24)【登録日】2018年2月23日

(45)【発行日】2018年3月14日

(54)【発明の名称】画像処理システム、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20180305BHJP

   G06T 7/60 20170101ALI20180305BHJP

   A61B 34/20 20160101ALI20180305BHJP

【ＦＩ】

   H04N5/232 290

   G06T7/60 150

   A61B34/20

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2016-197815(P2016-197815)

(22)【出願日】2016年10月6日

【審査請求日】2016年11月1日

(73)【特許権者】

【識別番号】591173198

【氏名又は名称】学校法人東京女子医科大学

(73)【特許権者】

【識別番号】592131906

【氏名又は名称】みずほ情報総研株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】正宗 賢

(72)【発明者】

【氏名】檜作 彰良

(72)【発明者】

【氏名】永田 毅

(72)【発明者】

【氏名】前川 秀正

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特開２０１３−００５２２３（ＪＰ，Ａ）

【文献】 特開２０１６−０９５７７９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ａ６１Ｂ ３４／２０

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

撮影画像の撮影条件を予測する制御部を備えた画像処理システムであって、
被写体を複数の撮影条件で撮影した２次元画像の画像情報と前記撮影条件とに基づいて行ベクトルを生成し、前記撮影条件毎の行ベクトルを列状に並べた第１行列を生成し、
前記第１行列において、正規化した行列の行ベクトルからデータ空間を表現する基底を生成し、寄与率の高い順番に前記基底を列状に並べた第２行列を生成し、
前記第２行列において、前記第１行列における画像情報の配置に対応する前半部分を直交化した第３行列と、前記直交化に用いた直交化係数により、前記第２行列の後半部分を表現した第４行列を生成する学習処理部と、
前記被写体を撮影した撮影画像を取得し、前記取得した撮影画像の画像情報と前記第３行列とを用いて予測係数を算出し、前記予測係数と前記第４行列とを用いて撮影条件を予測する予測処理部とを備えることを特徴とする画像処理システム。

【請求項2】

前記学習処理部は、被写体の３次元モデルを用いて、仮想空間において複数の撮影条件で撮影した２次元画像を生成することを特徴とする請求項１に記載の画像処理システム。

【請求項3】

前記仮想空間における撮影条件には、球面において、頂点の密度が所定範囲で均一になるように生成されたメッシュを用いて特定したカメラ位置を含むことを特徴とする請求項２に記載の画像処理システム。

【請求項4】

正多面体の各面を構成する各辺を等分割した分割点を生成し、前記分割点を前記球面に投影することにより、前記メッシュを生成することを特徴とする請求項３に記載の画像処理システム。

【請求項5】

前記撮影条件には、更に、カメラの上方向、焦点を含むことを特徴とする請求項３又は４に記載の画像処理システム。

【請求項6】

前記学習処理部は、予め定められた基準範囲に含まれる複数の撮影条件をまとめたクラスタを生成し、前記クラスタ毎に、前記第３行列、第４行列を生成し、
前記予測処理部は、前記撮影画像の取得時にクラスタを特定することを特徴とする請求項１〜５の何れか一項に記載の画像処理システム。

【請求項7】

被写体に関連する第２の３次元モデルを記憶し、
前記第２の３次元モデルに対して、前記予測処理部が予測した撮影条件に基づいて仮想画像を生成し、
前記撮影画像に前記仮想画像を重畳させて出力する表示処理部を更に備えたことを特徴とする請求項１〜６の何れか一項に記載の画像処理システム。

【請求項8】

撮影画像の撮影条件を予測する制御部を備えた画像処理システムを用いた画像処理方法であって、
前記制御部が、
被写体を複数の撮影条件で撮影した２次元画像の画像情報と前記撮影条件とに基づいて行ベクトルを生成し、前記撮影条件毎の行ベクトルを列状に並べた第１行列を生成し、
前記第１行列において、正規化した行列の行ベクトルからデータ空間を表現する基底を生成し、寄与率の高い順番に前記基底を列状に並べた第２行列を生成し、
前記第２行列において、前記第１行列における画像情報の配置に対応する前半部分を直交化した第３行列と、前記直交化に用いた直交化係数により、前記第２行列の後半部分を表現した第４行列を生成する学習処理と、
前記被写体を撮影した撮影画像を取得し、前記取得した撮影画像の画像情報と前記第３行列とを用いて予測係数を算出し、前記予測係数と前記第４行列とを用いて撮影条件を予測する予測処理とを実行することを特徴とする画像処理方法。

【請求項9】

撮影画像の撮影条件を予測する制御部を備えた画像処理システムを用いて、画像処理を実行するためのプログラムであって、
前記制御部を、
被写体を複数の撮影条件で撮影した２次元画像の画像情報と前記撮影条件とに基づいて行ベクトルを生成し、前記撮影条件毎の行ベクトルを列状に並べた第１行列を生成し、
前記第１行列において、正規化した行列の行ベクトルからデータ空間を表現する基底を生成し、寄与率の高い順番に前記基底を列状に並べた第２行列を生成し、
前記第２行列において、前記第１行列における画像情報の配置に対応する前半部分を直交化した第３行列と、前記直交化に用いた直交化係数により、前記第２行列の後半部分を表現した第４行列を生成する学習処理と、
前記被写体を撮影した撮影画像を取得し、前記取得した撮影画像の画像情報と前記第３行列とを用いて予測係数を算出し、前記予測係数と前記第４行列とを用いて撮影条件を予測する予測処理とを実行する手段として機能させることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影画像に基づいて撮影条件を予測するための画像処理システム、画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

現実世界の物事に対してコンピュータによる情報を付加する拡張現実（ＡＲ、Augmented Reality）技術が検討されている。例えば、拡張現実技術により、撮影画像に対して、他の画像を重畳させることができる（例えば、特許文献１を参照。）。この文献に記載の技術においては、頭部装着型表示装置は、利用者に虚像を視認させる画像表示部を備える。そして、利用者に対して、三次元空間上の任意の標準座標上に目印を視認させるための虚像を画像表示部に形成させ、利用者が目印を注視した際の注視点を表す三次元空間上の注視点座標を求め、標準座標と、注視点座標との間のずれを検出する。そして、現実世界に実在する実オブジェクトに対して表示させるための仮想オブジェクトであって、検出されたずれを用いて配置された仮想オブジェクトを含んだ虚像を画像表示部に形成させる。

【0003】

また、手術においては、外科手術用ナビゲーションシステムが注目されている（例えば、特許文献２を参照。）。この文献に記載の技術においては、ハンドピースの先端部の座標情報を検出し、座標情報に基づいてターゲット座標までの位置情報を演算し、かつ位置情報に基づいてターゲット座標に先端部を誘導する誘導情報を演算し、誘導情報に基づく拡張現実画像を術者の眼前に表示する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６−９５７７９号公報

【特許文献2】特開２０１５−１００４３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、拡張現実技術においては、現実に存在する被写体を撮影した画像と、付加情報である画像との位置合わせが困難である。特に、タブレット端末に備えられたカメラを用いる場合には、ヘッドマウントディスプレイ等の頭部装着型表示装置を用いる場合と異なり、カメラ位置等の撮影条件の特定が難しい。

【0006】

本発明は、上述の課題に鑑みてなされたものであり、この目的は、撮影画像に基づいて、効率的かつ的確に撮影条件を予測するための画像処理システム、画像処理方法及び画像処理プログラムを提供することにある。

【課題を解決するための手段】

【0007】

・上記課題を解決するための画像処理システムにおいては、撮影画像の撮影条件を予測する制御部を備える。そして、被写体を複数の撮影条件で撮影した２次元画像の画像情報と前記撮影条件とに基づいて行ベクトルを生成し、前記撮影条件毎の行ベクトルを列状に並べた第１行列を生成し、前記第１行列において、正規化した行列の行ベクトルからデータ空間を表現する基底を生成し、寄与率の高い順番に前記基底を列状に並べた第２行列を生成し、前記第２行列において、前記第１行列における画像情報の配置に対応する前半部分を直交化した第３行列と、前記直交化に用いた直交化係数により、前記第２行列の後半部分を表現した第４行列を生成する学習処理部と、前記被写体を撮影した撮影画像を取得し、前記取得した撮影画像の画像情報と前記第３行列とを用いて予測係数を算出し、前記予測係数と前記第４行列とを用いて撮影条件を予測する予測処理部とを備える。これにより、撮影画像を用いて撮影条件（カメラパラメータ）を予測することができる。

【0008】

・上記画像処理システムにおいて、前記学習処理部は、被写体の３次元モデルを用いて、仮想空間において複数の撮影条件で撮影した２次元画像を生成することが好ましい。任意の撮影条件での画像を予め準備する場合には負担が大きいが、３次元モデルを用いることにより、効率的に学習に必要な画像を取得することができる。

【0009】

・上記画像処理システムにおいて、前記仮想空間における撮影条件には、球面において、頂点の密度が所定範囲で均一になるように生成されたメッシュを用いて特定したカメラ位置を含むことが好ましい。これにより、全方位において、均等なカメラパラメータを算出することができる。

【0010】

・上記画像処理システムにおいて、正多面体の各面を構成する各辺を等分割した分割点を生成し、前記分割点を前記球面に投影することにより、前記メッシュを生成することが好ましい。これにより、正多面体を用いて、より多くの面を有する多面体を生成することができる。

【0011】

・上記画像処理システムにおいて、前記撮影条件には、更に、カメラの上方向、焦点を含むことが好ましい。これにより、撮影時の撮影条件として、カメラの上方向、焦点を予測することができる。

【0012】

・上記画像処理システムにおいて、前記学習処理部は、予め定められた基準範囲に含まれる複数の撮影条件をまとめたクラスタを生成し、前記クラスタ毎に、前記第３行列、第４行列を生成し、前記予測処理部は、前記撮影画像の取得時にクラスタを特定することが好ましい。これにより、クラスタに含まれる撮影条件を特定することができる。

【0013】

・上記画像処理システムにおいて、被写体に関連する第２の３次元モデルを記憶し、前記第２の３次元モデルに対して、前記予測処理部が予測した撮影条件に基づいて仮想画像を生成し、前記撮影画像に前記仮想画像を重畳させて出力する表示処理部を更に備えることが好ましい。これにより、カメラ条件に基づいて、撮影画像に対して他の画像を重畳させた拡張現実を実現することができる。

【発明の効果】

【0014】

本発明によれば、撮影画像に基づいて、効率的かつ的確に撮影条件を予測することができる。

【図面の簡単な説明】

【0015】

【図1】本実施形態のシステム概略図。

【図2】本実施形態の学習処理フローの説明図。

【図3】本実施形態のメッシュ分割処理フローの説明図。

【図4】本実施形態のメッシュ分割の説明図であって、（ａ）は正２０面体、（ｂ）は１回分割、（ｃ）は２回分割、（ｄ）は３回分割の説明図。

【図5】本実施形態の処理手順の説明図であって、（ａ）はカップリング学習処理フロー、（ｂ）は２次元画像とカメラパラメータからなる行列、（ｃ）は正規化・主成分分析された行列、（ｄ）は前半部分の直交化及び後半部分の線形結合を行なった行列の説明図。

【図6】本実施形態の処理手順の説明図であって、（ａ）は予測処理フロー、（ｂ）は予測係数の算出、（ｃ）は予測ベクトルの再構築の説明図。

【図7】本実施形態のクラスタ予測処理の説明図であって、（ａ）は処理フロー、（ｂ）は粗クラスタリング、（ｃ）は精密クラスタリングの説明図。

【発明を実施するための形態】

【0016】

以下、本発明を具体化した一実施形態を、図１〜図７に従って説明する。本実施形態では、患者に対して行なわれる手術を支援する手術ナビゲーションを行なう場合を想定する。この場合、患者の患部を撮影した診断画像を、患者の姿勢に応じて表示する。

【0017】

図１に示すように、手術を支援するために、画像処理システムとして、３次元撮影装置１０、診断装置１５、画像処理装置２０を用いる。
３次元撮影装置１０は、深度センサ等を備え、被写体の位置を認識する。そして、３次元撮影装置１０は、被写体を撮影し、撮影画像を出力する。この撮影画像には、視野に含まれる各被写体について、深度センサによって計測した距離情報（深度情報）が含まれる。これにより、複数の撮影画像の撮影位置を考慮して、患者の体表面の３次元モデルを生成することができる。

【0018】

診断装置１５は、放射線等を利用して物体を走査しコンピュータを用いて処理した物体の内部画像（ＣＴ画像データ）を生成するコンピュータ断層撮影（ＣＴ：Computed Tomography）処理を行なう。このコンピュータ断層撮影においては、患者の身体を、所定の画像間隔で撮影した複数のＣＴ画像が生成される。これにより、複数の撮影画像の撮影位置を考慮して、患者の患部の３次元モデルを生成することができる。

【0019】

画像処理装置２０は、手術を支援するための手術ナビゲーションを行なうコンピュータ端末である。本実施形態では、画像処理装置２０にはタブレット端末を用いる。この画像処理装置２０は、制御部２１、カメラ２２、タッチパネルディスプレイ２３、パラメータ記憶部２４、被写体モデル記憶部２５、学習情報記憶部２６、診断情報記憶部２７を備える。

【0020】

パラメータ記憶部２４には、球体の中心に対して、球体に接する多面体の各面（球体メッシュ）から撮影する場合のカメラパラメータ（撮影条件情報）が記録されている。本実施形態では、１２８０面の三角形からなる多面体を用いる。このカメラパラメータは、後述するメッシュ分割処理を実行した場合に記録される。本実施形態では、カメラパラメータとして、カメラ位置（座標）、カメラの上方向（ViewUp）、焦点（Focal）、画角（ViewAngle）を用いる。そして、多面体表面の所定範囲に含まれる面（三角形）はまとめられてクラスタを構成し、クラスタのラベルが付与される。

【0021】

被写体モデル記憶部２５には、患者の体表面の３次元撮影に基づいて生成された３次元モデル（第１の３次元モデル）が記録される。
学習情報記憶部２６には、学習に用いる学習用データ及び学習結果データ、クラスタ予測用データが記録される。学習用データとして、患者の体表面の３次元モデルを、各カメラパラメータを用いて撮影した場合の２次元画像が、カメラパラメータに関連付けられて記録される。学習結果データとして、２次元画像を用いて学習した結果が記録される。この学習結果データには、クラスタのラベル毎に予測ベクトルが記録される。

【0022】

クラスタのラベルは、所定数のカメラパラメータをまとめたクラスタを特定するための識別子である。このクラスタは、多面体表面の所定範囲に含まれる面（三角形）をまとめたグループである。
予測ベクトルは、このクラスタにおいて、２次元画像に基づいて、カメラパラメータを予測するための情報である。ここでは、後述する８０面体の４２個の頂点を重心としたクラスタに分割する。
また、クラスタ予測用データは、クラスタのラベル毎に、各面に含まれるカメラ位置から撮影した２次元画像の特徴情報（例えば、特徴量や代表画像等）が記録される。ここでは、後述する正２０面体の各面に含まれるカメラ位置を用いてクラスタに分割する。

【0023】

診断情報記憶部２７には、患者の患部を撮影した画像に基づいて生成された３次元モデル（第２の３次元モデル）が記録される。本実施形態では、患者のＣＴ撮影により生成された患部の３次元モデルが記録される。なお、この患部の３次元モデルは、学習時に生成される患者の体表面の３次元モデルと位置合わせされて記録される。従って、体表面の撮影時のカメラパラメータに応じて、患部の３次元モデルの向きや配置が変更される。

【0024】

制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成された制御手段として機能し、後述する処理（メッシュ分割段階、３次元計測段階、学習段階、予測段階、２次元画像生成段階、重畳段階等を含む処理）を行なう。このための画像処理プログラムを実行することにより、制御部２１は、メッシュ分割部２１１、３次元計測部２１２、学習処理部２１３、予測処理部２１４、２次元画像生成部２１５、重畳処理部２１６等として機能する。

【0025】

メッシュ分割部２１１は、カメラ位置を特定するためのメッシュを生成する処理を実行する。このカメラ位置は、３次元モデルの被写体を疑似的に撮影した２次元画像を生成するために用いる。
３次元計測部２１２は、３次元撮影装置から撮影画像を取得する処理を実行する。更に、３次元計測部２１２は、取得した撮影画像を再構成して、患者の身体の３次元モデル（メッシュモデル）を生成する処理を実行する。

【0026】

学習処理部２１３は、２次元画像に基づいて、カメラパラメータを予測するための予測ベクトルを算出する処理を実行する。
予測処理部２１４は、２次元画像に基づいて、カメラパラメータを予測する処理を実行する。

【0027】

２次元画像生成部２１５は、予測したカメラパラメータに基づいて、３次元モデルから２次元画像を生成する処理を実行する。
重畳処理部２１６は、カメラ２２によって撮影された撮影画像（第１の画像）に対して、拡張現実技術により、第２の画像を重畳させる処理を実行する。

【0028】

カメラ２２は、被写体を撮影する処理を実行する。
タッチパネルディスプレイ２３は、画像を出力したり、タッチ操作により入力された情報を取得したりする。本実施形態では、カメラ２２によって撮影された第１の画像に対して、第２の画像を付加した重畳画像を表示することにより、拡張現実を実現する。

【0029】

次に、図２を用いて、上記のように構成された画像処理装置２０を含む画像処理システムを用いた画像処理方法について説明する。
まず、画像処理装置２０の制御部２１は、メッシュ分割によりカメラパラメータの生成処理を実行する（ステップＳ１−１）。具体的には、制御部２１のメッシュ分割部２１１は、正２０面体において、メッシュ密度がほぼ均等になるメッシュ分割を行なう。そして、分割したメッシュにより生成したカメラパラメータを、パラメータ記憶部２４に記録する。この処理については、図３，４を用いて後述する。

【0030】

（学習処理）
次に、学習処理を説明する。
ここでは、画像処理装置２０の制御部２１は、患者の３次元撮影処理を実行する（ステップＳ１−２）。具体的には、制御部２１の３次元計測部２１２は、３次元撮影装置１０を用いて、患者の３次元撮影を行なう。この場合、３次元撮影装置１０を用いて、患者の姿勢（手術時の姿勢）を撮影する。そして、制御部２１の３次元計測部２１２は、３次元撮影装置１０から３次元撮影画像を取得する。この３次元撮影画像には、各ピクセルに対して深度情報が設定されている。

【0031】

次に、画像処理装置２０の制御部２１は、３次元モデルの生成処理を実行する（ステップＳ１−３）。具体的には、制御部２１の３次元計測部２１２は、３次元撮影画像を、仮想空間内で、深度情報を用いて再構成することにより、３次元モデルを生成する。そして、３次元計測部２１２は、生成した３次元モデルを、被写体モデル記憶部２５に記録する。

【0032】

次に、画像処理装置２０の制御部２１は、パラメータ記憶部２４に記録されたカメラパラメータにおいて、順次、処理対象を特定し、以下の処理を繰り返す。
ここでは、画像処理装置２０の制御部２１は、２次元画像の生成処理を実行する（ステップＳ１−４）。具体的には、制御部２１の学習処理部２１３は、処理対象のカメラパラメータを用いて、被写体モデル記憶部２５に記録された３次元モデルを撮影した場合の２次元画像を生成する。そして、学習処理部２１３は、生成した２次元画像を、処理対象のカメラパラメータに関連付けて学習情報記憶部２６に記録する。
そして、画像処理装置２０の制御部２１は、パラメータ記憶部２４に記録されたすべてのカメラパラメータについての処理を終了するまで、上記処理を繰り返す。

【0033】

次に、画像処理装置２０の制御部２１は、２次元画像のクラスタリング処理を実行する（ステップＳ１−５）。具体的には、制御部２１の学習処理部２１３は、学習情報記憶部２６に記録された２次元画像について、パラメータ記憶部２４に記録されたカメラパラメータに基づいて、クラスタを生成する。ここでは、予め定められた所定の基準範囲に含まれるカメラパラメータをまとめてクラスタとする。そして、正２０面体の各面に含まれるカメラ位置のクラスタ毎に、各クラスタに属する２次元画像の特徴量を算出したクラスタ予測用データを生成し、学習情報記憶部２６に記録する。

【0034】

次に、画像処理装置２０の制御部２１は、クラスタ毎に、カップリング学習処理を実行する（ステップＳ１−６）。具体的には、制御部２１の学習処理部２１３は、クラスタに属する２次元画像の画素とカメラパラメータに基づいて行列を生成し、この生成した行列を用いて、予測ベクトルを計算する。このカップリング学習処理については、図５，６を用いて後述する。
そして、画像処理装置２０の制御部２１は、すべてのクラスタについての処理を終了するまで繰り返す。

【0035】

次に、画像処理装置２０の制御部２１は、学習結果の記録処理を実行する（ステップＳ１−７）。具体的には、制御部２１の学習処理部２１３は、カップリング学習により算出した予測ベクトルを、クラスタのラベルに関連付けて、学習情報記憶部２６に記録する。

【0036】

（メッシュ分割処理）
次に、図３を用いて、メッシュ分割処理を説明する。ここでは、正三角形で生成される正２０面体を分割し、更に多くの面で構成される多面体を生成する。

【0037】

本実施形態では、目標回数（３回）まで繰り返す。ここでは、まず、球面に接する正２０面体を生成する。
図３に示すように、画像処理装置２０の制御部２１は、多面体の各面の中点で新たなメッシュ点の生成処理を実行する（ステップＳ２−１）。具体的には、制御部２１のメッシュ分割部２１１は、正２０面体を構成するすべての三角形について、各辺の中点に新たなメッシュ点を生成する。

【0038】

次に、画像処理装置２０の制御部２１は、新たなメッシュ点で三角形の生成処理を実行する（ステップＳ２−２）。具体的には、制御部２１のメッシュ分割部２１１は、三角形内で、生成した新たなメッシュ点（分割点）を連結し、既存の三角形内に新たに４個の三角形を生成する。

【0039】

次に、画像処理装置２０の制御部２１は、新たなメッシュ点を中心から球面に投影する処理を実行する（ステップＳ２−３）。具体的には、制御部２１のメッシュ分割部２１１は、球体の中心から、新たに生成したメッシュ点を球面に投影することにより球面上にメッシュ点を再配置する。

【0040】

次に、画像処理装置２０の制御部２１は、メッシュ点の再配置処理を実行する（ステップＳ２−４）。具体的には、制御部２１のメッシュ分割部２１１は、最急降下法により、各点を以下の条件を満たすように再調整する。この最急降下法では、球体の中心を原点とする空間（ポテンシャル面）の傾き（一階微分）から、ポテンシャルエネルギの最小値を探索する。

【0041】

（条件１）球面上に近い程、ポテンシャルエネルギが低くなる。
（条件２）隣合う点同士の距離が平均距離に近い程、ポテンシャルエネルギが低くなる。

【0042】

そして、上記の条件に基づいて、ポテンシャルエネルギが最も低くなるメッシュ点の位置を決定する。この場合、メッシュ分割部２１１は、パラメータ記憶部２４に記録されたカメラパラメータを更新する。
画像処理装置２０の制御部２１は、目標回数に達するまで、上記処理を繰り返す。

【0043】

図４（ａ）は、正２０面体を示している。この正２０面体においては、各面は正三角形になっており、１２個の頂点、２０個の三角形を有している。

【0044】

図４（ｂ）は、１回分割の多面体を示している。この１回分割の多面体においては、４２個の頂点、８０面の三角形を有している。
図４（ｃ）は、２回分割の多面体を示している。この２回分割の多面体においては、１６２個の頂点、３２０個の三角形を有している。

【0045】

図４（ｄ）は、３回分割の多面体を示している。この３回分割の多面体においては、６４２個の頂点、１２８０個の三角形を有している。
本実施形態では、３回分割の多面体の頂点を視点とするカメラパラメータを用いて、学習処理及び予測処理を実行する。

【0046】

（カップリング学習処理）
次に、図５，６を用いて、カップリング学習処理を説明する。本実施形態では、データを８０面体の４２個の頂点を重心としたクラスタに分割して学習する。

【0047】

図５（ａ）を用いて、処理フローを説明する。
まず、画像処理装置２０の制御部２１は、画像データとカメラパラメータとで行列の生成処理を実行する（ステップＳ３−１）。具体的には、制御部２１の学習処理部２１３は、クラスタに含まれる２次元画像の画素情報を一行に並べる。更に、学習処理部２１３は、カメラパラメータを同じ行に繋げて並べた撮影データを生成する。

【0048】

図５（ｂ）に示すように、本実施形態では、１回分割の８０面体を利用するため、３回分割の１６面（＝１２８０／８０）について、カメラの上方向、焦点を候補数分だけ変えた撮影データを並べる。これにより、２次元画像及びカメラパラメータからなる行列（第１行列）が生成される。

【0049】

次に、画像処理装置２０の制御部２１は、正規化処理・主成分分析処理を実行する（ステップＳ３−２）。具体的には、制御部２１の学習処理部２１３は、生成した行列の正規化を行なう。更に、学習処理部２１３は、正規化した行列の行ベクトルを用いて主成分分析を行なう。
これにより、図５（ｃ）に示すように、データ空間を表現する直交基底により、寄与率の高い順番に並べた行列（第２行列）を生成する。

【0050】

次に、画像処理装置２０の制御部２１は、直交基底前半の直交化処理を実行する（ステップＳ３−３）。具体的には、制御部２１の学習処理部２１３は、グラムシュミットの手法を用いて、直交基底の前半部分を直交化する。これにより、前半部分の直交化に用いた直交化係数が算出される。

【0051】

次に、画像処理装置２０の制御部２１は、直交化係数で線形結合処理を実行する（ステップＳ３−４）。具体的には、制御部２１の学習処理部２１３は、直交基底の後半部分についても、前半部分の直交化係数を用いた線形結合により表現する。
この場合、図５（ｄ）に示すように、ｉ行ｊ列からなる前半部分（第３行列）と、ｉ行ｋ列からなる後半部分（第４行列）とが生成される。

【0052】

（予測処理）
次に、図６を用いて予測処理を説明する。具体的には、手術を行なう場合、画像処理装置２０を用いて、患者を撮影する。

【0053】

図６（ａ）に示すように、画像処理装置２０の制御部２１は、画像の取得処理を実行する（ステップＳ４−１）。具体的には、制御部２１の予測処理部２１４は、カメラ２２を用いて、患者を撮影した入力画像を取得する。

【0054】

次に、画像処理装置２０の制御部２１は、クラスタ予測処理を実行する（ステップＳ４−２）。具体的には、制御部２１の予測処理部２１４は、撮影が行なわれたカメラパラメータが含まれるクラスタを予測する。この処理については、図７を用いて後述する。

【0055】

次に、画像処理装置２０の制御部２１は、正規化処理を実行する（ステップＳ４−３）。具体的には、制御部２１の予測処理部２１４は、取得した入力画像の画素を一行に並べた入力ベクトルを生成する。そして、予測処理部２１４は、入力ベクトルの正規化を行なう。

【0056】

次に、画像処理装置２０の制御部２１は、予測係数の算出処理を実行する（ステップＳ４−４）。具体的には、制御部２１の予測処理部２１４は、図６（ｂ）に示すように、正規化した入力ベクトルと第３行列との内積を計算することにより、予測係数を算出する。

【0057】

次に、画像処理装置２０の制御部２１は、予測ベクトルの再構築処理を実行する（ステップＳ４−５）。具体的には、制御部２１の予測処理部２１４は、算出した予測係数と第４行列との内積を計算することにより、予測ベクトルを算出する。図６（ｃ）に示すように、この予測ベクトルにより、カメラパラメータが特定される。

【0058】

次に、画像処理装置２０の制御部２１は、２次元画像の生成処理を実行する（ステップＳ４−６）。具体的には、制御部２１の２次元画像生成部２１５は、診断情報記憶部２７に記録された患部の３次元モデルを被写体として、カメラパラメータを用いて撮影した２次元画像を生成する。

【0059】

次に、画像処理装置２０の制御部２１は、拡張現実出力処理を実行する（ステップＳ４−７）。具体的には、制御部２１の重畳処理部２１６は、カメラ２２によって撮影した撮影画像に対して、２次元画像生成部２１５が生成した２次元画像を重畳させて、タッチパネルディスプレイ２３に出力する。

【0060】

（クラスタ予測処理）
次に、図７を用いて、クラスタ予測処理を説明する。
図７（ａ）に示すように、まず、画像処理装置２０の制御部２１は、特徴量抽出処理を実行する（ステップＳ５−１）。具体的には、制御部２１の予測処理部２１４は、ステップＳ４−１において取得した入力画像の特徴量を算出する。

【0061】

次に、画像処理装置２０の制御部２１は、粗クラスタリング処理を実行する（ステップＳ５−２）。具体的には、予測処理部２１４は、入力画像の特徴量を算出する。更に、図７（ｂ）に示すように、予測処理部２１４は、学習情報記憶部２６に記録されたクラスタ予測用データを用いたパターン識別器により、入力画像の特徴量が属する正２０面体の面（ａ）を特定する。ここで、事前に与えられたデータ（出力すべきもの）をガイドとして学習を行なう「教師あり学習」の識別器としては、例えば、ＳＶＭ（サポートベクターマシン）を用いる。このような「教師あり学習」を用いることにより、予測の正確性を向上させることができる。

【0062】

次に、画像処理装置２０の制御部２１は、クラスタのラベルの出力処理を実行する（ステップＳ５−３）。具体的には、制御部２１の予測処理部２１４は、粗クラスタリングにより特定した面のラベルを出力する。

【0063】

次に、画像処理装置２０の制御部２１は、精密クラスタリング処理を実行する（ステップＳ５−４）。具体的には、制御部２１の予測処理部２１４は、図７（ｃ）に示すように、粗クラスタリングにより特定したクラスタ（正２０面体の面）を用いて、入力画像の特徴量が属するクラスタ（８０面体のａ１〜ａ４の何れか）を特定する。ここでは、出力すべきものを予め決めないで学習する「教師なし学習」として、例えば、k-means法を用いる。このような「教師なし学習」を用いることにより、学習の負荷を軽減させることができる。

【0064】

次に、画像処理装置２０の制御部２１は、クラスタのラベルの出力処理を実行する（ステップＳ５−５）。具体的には、制御部２１の予測処理部２１４は、精密クラスタリングにより特定したクラスタのラベルを出力する。

【0065】

本実施形態の画像処理システムによれば、以下のような効果を得ることができる。
（１）本実施形態では、画像処理装置２０の制御部２１は、メッシュ分割によりカメラパラメータの生成処理を実行する（ステップＳ１−１）。これにより、球体の中心にある被写体を撮影するカメラ位置について、空間的な配置密度が均一になるようなメッシュを生成することができる。特に、正三角形で構成される最大の正多面体は正２０面体であるが、更に面数が多い多角形を生成し、多様なカメラ位置を設定することができる。

【0066】

（２）本実施形態では、画像処理装置２０の制御部２１は、患者の３次元撮影処理（ステップＳ１−２）、３次元モデルの生成処理（ステップＳ１−３）、２次元画像の生成処理（ステップＳ１−４）を実行する。任意の撮影条件での画像を予め準備する場合には負担が大きいが、３次元モデルを用いることにより、多様なカメラパラメータを用いて撮影した２次元画像を効率的に取得することができる。

【0067】

（３）本実施形態では、画像処理装置２０の制御部２１は、２次元画像のクラスタリング処理（ステップＳ１−５）、クラスタ毎に、カップリング学習処理（ステップＳ１−６）を実行する。これにより、クラスタ毎に、撮影された２次元画像を用いてカメラパラメータを推定するための情報を生成することができる。カップリング学習を用いることにより、２次元画像とカメラパラメータとを学習するため、主成分係数全体の精度が一致し、全体的な精度の向上を図ることができ、寄与率の高い直交基底を算出することができる。

【0068】

（４）本実施形態では、画像処理装置２０の制御部２１は、直交基底前半の直交化処理を実行する（ステップＳ３−３）。これにより、予測時に、予測ベクトルを用いて高速に処理することができる。

【0069】

（５）本実施形態では、画像処理装置２０の制御部２１は、クラスタ予測処理を実行する（ステップＳ４−２）。これにより、入力画像に基づいて、カメラパラメータを決めるためのクラスタを特定することができる。

【0070】

（６）本実施形態では、画像処理装置２０の制御部２１は、正規化処理（ステップＳ４−３）、予測係数の算出処理（ステップＳ４−４）、予測ベクトルの再構築処理（ステップＳ４−５）を実行する。これにより、撮影画像に基づいて、カメラパラメータを特定することができる。

【0071】

（７）本実施形態では、画像処理装置２０の制御部２１は、２次元画像の生成処理（ステップＳ４−６）、拡張現実出力処理（ステップＳ４−７）を実行する。これにより、実際に被写体を撮影した画像において、仮想画像を確認することができる。例えば、手術において患者を撮影した場合、画面において患部を確認し、手術を支援することができる。

【0072】

また、上記実施形態は、以下のように変更してもよい。
・上記実施形態では、メッシュ分割処理において、３回分割により１２８０面体を生成する。メッシュ分割の回数は３回に限定されるものではない。
・上記実施形態では、画像処理装置２０の制御部２１は、画像データとカメラパラメータとで行列の生成処理を実行する（ステップＳ３−１）。この場合、２次元画像の画素情報やカメラパラメータを用いて行ベクトルを生成する。ここで、行ベクトルの生成は、画素データやカメラパラメータそのものを用いる場合に限定されるものではない。画素やカメラパラメータを表現する情報であれば、それぞれから抽出した特徴量を用いることも可能である。

【0073】

・上記実施形態では、学習処理において、画像処理装置２０の制御部２１は、２次元画像のクラスタリング処理を実行する（ステップＳ１−５）。ここでは、予め所定範囲のメッシュ点のカメラパラメータをまとめてクラスタとする。ここで、一つのクラスタに含まれる分割メッシュの範囲は、球面の場所によって変更することも可能である。例えば、学習に用いる２次元画像の変化が大きい部分を境界としてクラスタを生成するようにしてもよい。また、画像処理装置２０によって撮影する可能性が低い範囲については、クラスタを生成する範囲を広くするようにしてもよい。特に、予測時の撮影方向を想定し、連続的に撮影する可能性がある方向については、途中で２次元画像の向き（カメラの上方向）が変わらないようにクラスタを設定する。

【0074】

・上記実施形態では、画像処理装置２０の制御部２１は、２次元画像の生成処理を実行する（ステップＳ１−４）。ここでは、患者の３次元モデルに基づいて、疑似的に患者を撮影した２次元画像を生成する。２次元画像の生成方法はこれに限定されるものではない。例えば、実際に患者を撮影した２次元画像を用いることも可能である。この場合には、カメラ位置を自動的に変更するロボットアームを用いて、カメラを移動させ、各カメラパラメータに基づいて撮影を行なう。そして、撮影画像とカメラパラメータとを用いて学習処理を行なう。

【0075】

・上記実施形態では、画像処理装置２０の制御部２１は、クラスタ予測処理を実行する（ステップＳ４−２）。予測時のクラスタの特定方法は、これに限定されるものではない。例えば、利用者がクラスタを指定して入力するようにしてもよい。また、画像処理装置２０に備えられた傾斜センサ等を用いてクラスタを特定するようにしてもよい。この場合には、加速度センサを用いて、画像処理装置２０の動きに追従させてクラスタを変更する。

【0076】

・上記実施形態では、画像処理装置２０を用いて、学習処理及び予測処理を行なう。ハードウェア構成は、これに限定されるものではない。例えば、学習処理を他のコンピュータシステムにより実行し、学習結果を用いて予測処理を実行するコンピュータ端末に提供するようにしてもよい。

【0077】

・上記実施形態では、画像処理装置２０の制御部２１は、クラスタ毎に、カップリング学習処理を実行する（ステップＳ１−６）。ここでは、クラスタに属する２次元画像の画素とカメラパラメータに基づいて生成した行列を用いる。このカメラパラメータとして、カメラ位置（座標）、カメラの上方向（ViewUp）、焦点（Focal）、画角（ViewAngle）を用いる。カメラパラメータにおいて、カメラ位置、カメラの上方向、焦点は必須であるが、その他の要素は限定されるものではない。

【0078】

・上記実施形態では、８０面体の４２個の頂点を重心としたクラスタに分割して学習する。クラスタを生成するメッシュ分割の階数が異なる場合には、クラスタ予測処理において、この回数に応じたクラスタリングを繰り返す。

【符号の説明】

【0079】

１０…３次元撮影装置、１５…診断装置、２０…画像処理装置、２１…制御部、２１１…メッシュ分割部、２１２…３次元計測部、２１３…学習処理部、２１４…予測処理部、２１５…２次元画像生成部、２１６…重畳処理部、２２…カメラ、２３…タッチパネルディスプレイ、２４…パラメータ記憶部、２５…被写体モデル記憶部、２６…学習情報記憶部、２７…診断情報記憶部。

【要約】

【課題】撮影画像に基づいて、効率的かつ的確に撮影条件を予測するための画像処理システム、画像処理方法及び画像処理プログラムを提供する。
【解決手段】画像処理装置２０は、被写体を複数の撮影条件で撮影した２次元画像の画像情報と撮影条件とに基づいて行ベクトルを生成し、撮影条件毎の行ベクトルを列状に並べた第１行列を生成し、第１行列において、寄与率の高い順番に直交基底を列状に並べた第２行列を生成し、第２行列の画像に関する前半部分を直交化した第３行列と、直交化に用いた直交化係数により、前記第２行列の後半部分を表現した第４行列を生成する学習処理部２１３と、被写体を撮影した撮影画像を取得し、２次元画像の画像情報と第３行列とを用いて予測係数を算出し、予測係数と第４行列とを用いて撮影条件を予測する予測処理部２１４とを備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】