特許 6765130 画像生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6765130

(24)【登録日】2020年9月17日

(45)【発行日】2020年10月7日

(54)【発明の名称】画像生成装置

(51)【国際特許分類】

   G06T 11/80 20060101AFI20200928BHJP

   A61B 5/107 20060101ALI20200928BHJP

【ＦＩ】

   G06T11/80 A

   A61B5/107 200

   A61B5/107 100

【請求項の数】10

【全頁数】17

(21)【出願番号】特願2018-229514(P2018-229514)

(22)【出願日】2018年12月7日

(65)【公開番号】特開2020-91761(P2020-91761A)

(43)【公開日】2020年6月11日

【審査請求日】2019年6月11日

(73)【特許権者】

【識別番号】505045676

【氏名又は名称】株式会社スペースビジョン

(74)【代理人】

【識別番号】110001210

【氏名又は名称】特許業務法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】西尾 裕志

(72)【発明者】

【氏名】佐藤 幸男

【審査官】 片岡 利延

(56)【参考文献】

【文献】 特開２０１４−０１４６２９（ＪＰ，Ａ）

【文献】 特開２０１８−０６８３６２（ＪＰ，Ａ）

【文献】 特開２００４−０４１７３９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １１／８０

Ａ６１Ｂ ５／１０７

(57)【特許請求の範囲】

【請求項1】

評価対象者の背面を撮影して得られた前記背面のテクスチャ画像及び３次元形状データを取得する手段と、
前記３次元形状データから、前記背面の等高線を表す等高線画像を生成する生成手段と、
前記生成手段が生成した前記等高線画像と前記テクスチャ画像とを合成して合成画像を生成する合成手段と、
前記合成手段が生成した合成画像を出力する出力手段と、
を含み、
前記生成手段は、前記３次元形状データから、異なる複数の観測方向のそれぞれについて、当該観測方向についての前記背面の等高線画像を生成し、
前記合成手段は、前記複数の観測方向のそれぞれについて、当該観測方向についての前記等高線画像と前記テクスチャ画像とを合成した合成画像を生成する、
画像生成装置。

【請求項2】

前記複数の観測方向のそれぞれについて、前記テクスチャ画像から、当該観測方向から仮想的に見たときの前記背面を表すテクスチャ画像を生成する仮想テクスチャ生成手段、を更に含み、
前記合成手段は、前記複数の観測方向のそれぞれについて、当該観測方向についての前記等高線画像と前記テクスチャ画像とを合成した合成画像を生成する、
請求項１に記載の画像生成装置。

【請求項3】

前記出力手段は、
前記合成手段が生成した前記複数の観測方向のそれぞれについての前記合成画像を画面に表示する手段と、
それら各観測方向についての前記合成画像のうちユーザから選択を受け付ける手段と、
前記ユーザから選択された前記合成画像を前記評価対象者の識別情報と対応付けて、所定のデータベースに登録する手段と、
を含む請求項１又は２に記載の画像生成装置。

【請求項4】

評価対象者の背面を撮影して得られた前記背面のテクスチャ画像及び３次元形状データを取得する手段と、
前記３次元形状データから、前記背面の等高線を表す等高線画像を生成する生成手段と、
前記生成手段が生成した前記等高線画像と前記テクスチャ画像とを合成して合成画像を生成する合成手段と、
前記合成手段が生成した合成画像を出力する出力手段と、
を含み、
前記生成手段は、前記３次元形状データから、前記評価対象者の前記背面を撮影したときの撮影方向とは異なる第２の方向を観測方向としたときの等高線画像を生成し、
前記合成手段は、前記第２の方向を前記観測方向としたときの前記等高線画像と前記テクスチャ画像とを合成する、
画像生成装置。

【請求項5】

前記テクスチャ画像から、前記背面を前記観測方向である前記第２の方向から仮想的に見たときのテクスチャ画像を生成する仮想テクスチャ生成手段、を更に含み、
前記合成手段は、前記第２の方向についての前記等高線画像と前記テクスチャ画像とを合成した合成画像を生成する、
請求項４に記載の画像生成装置。

【請求項6】

前記３次元形状データに基づき、前記テクスチャ画像のうち前記背面の背景となっている背景部分を特定し、前記テクスチャ画像のうち前記背景部分の画像を前記背面と区別可能となるよう加工する加工手段、を更に含み、
前記合成手段は、前記加工手段により加工された前記テクスチャ画像と前記等高線画像とを合成して前記合成画像を生成する、
請求項１〜５のいずれか１項に記載の画像生成装置。

【請求項7】

評価対象者の背面を撮影して得られた前記背面のテクスチャ画像及び３次元形状データを取得するステップと、
前記３次元形状データから、前記背面の等高線を表す等高線画像を生成するステップと、
生成した前記等高線画像と前記テクスチャ画像とを合成して合成画像を生成するステップと、
生成した合成画像を出力するステップと、
を含み、
前記等高線画像を生成するステップでは、前記３次元形状データから、異なる複数の観測方向のそれぞれについて、当該観測方向についての前記背面の等高線画像を生成し、
前記合成画像を生成するステップでは、前記複数の観測方向のそれぞれについて、当該観測方向についての前記等高線画像と前記テクスチャ画像とを合成した合成画像を生成する、画像生成方法。

【請求項8】

評価対象者の背面を撮影して得られた前記背面のテクスチャ画像及び３次元形状データを取得するステップと、
前記３次元形状データから、前記背面の等高線を表す等高線画像を生成するステップと、
生成した前記等高線画像と前記テクスチャ画像とを合成して合成画像を生成するステップと、
生成した合成画像を出力するステップと、
を含み、
前記等高線画像を生成するステップでは、前記３次元形状データから、前記評価対象者の前記背面を撮影したときの撮影方向とは異なる第２の方向を観測方向としたときの等高線画像を生成し、
前記合成画像を生成するステップでは、前記第２の方向を前記観測方向としたときの前記等高線画像と前記テクスチャ画像とを合成する、画像生成方法。

【請求項9】

コンピュータに、
評価対象者の背面を撮影して得られた前記背面のテクスチャ画像及び３次元形状データを取得するステップと、
前記３次元形状データから、前記背面の等高線を表す等高線画像を生成するステップと、
生成した前記等高線画像と前記テクスチャ画像とを合成して合成画像を生成するステップと、
生成した合成画像を出力するステップと、
を実行させるためのプログラムであって、
前記等高線画像を生成するステップでは、前記３次元形状データから、異なる複数の観測方向のそれぞれについて、当該観測方向についての前記背面の等高線画像を生成し、
前記合成画像を生成するステップでは、前記複数の観測方向のそれぞれについて、当該観測方向についての前記等高線画像と前記テクスチャ画像とを合成した合成画像を生成する、ことを特徴とするプログラム。

【請求項10】

コンピュータに、
評価対象者の背面を撮影して得られた前記背面のテクスチャ画像及び３次元形状データを取得するステップと、
前記３次元形状データから、前記背面の等高線を表す等高線画像を生成するステップと、
生成した前記等高線画像と前記テクスチャ画像とを合成して合成画像を生成するステップと、
生成した合成画像を出力するステップと、
を実行させるためのプログラムであって、
前記等高線画像を生成するステップでは、前記３次元形状データから、前記評価対象者の前記背面を撮影したときの撮影方向とは異なる第２の方向を観測方向としたときの等高線画像を生成し、
前記合成画像を生成するステップでは、前記第２の方向を前記観測方向としたときの前記等高線画像と前記テクスチャ画像とを合成する、ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、診断等に用いられる画像を生成するための装置に関する。

【背景技術】

【0002】

現在、側弯症の診断には、触診、視診のほか、モアレカメラによる２Ｄ（２次元）等高線画像を用いた診断（読影）が行われている。

【0003】

また近年、対象物の立体形状をそのままデジタル化する３Ｄ（３次元）スキャナに注目が集まっている。特に３Ｄボディスキャナは人体全身の３次元形状が取得できる。３Ｄスキャナは、ＣＴ検査の様に人体内部の状態まで測定できないが、被曝を伴うことなく外形を正確に測定できる特徴がある。３Ｄスキャナが計測した人体の表面形状から、側弯症等の症状の診断に資する情報を生成して診断者に提示するシステムとして、特許文献１に開示されるものがある。

【0004】

特許文献１に開示された脊柱側弯症の評価システムは、被験者の背部を撮影してその３次元データを取得する３次元データ取得部と、前記３次元データ取得部で取得された前記３次元データに基づいて前記被験者の背部の垂直方向の中心線を検出する中心線検出部と、被験者の背部について湾曲の程度を測定すべき特徴部位を指定する特徴部位指定部と、前記特徴部位指定部で指定された特徴部位について、前記３次元データに基づいて水平方向の体表面の凹凸状態を検出する凹凸状態検出部と、前記特徴部位指定部で指定された特徴部位について、前記中心線を境にした左右の凹凸のピーク位置の高低差を算出する左右差算出部と、前記凹凸状態検出部による検出結果と前記左右差算出部による算出結果を併せて表示する表示部と、を備える。

【0005】

また、特許文献２に開示された側弯症スクリーニングを行うための等高線画像生成方法は、被験者の背面画像を撮影し、デジタル画像を出力する工程と、前記撮影されたデジタル画像から画素毎に輝度信号を抽出する工程と、前記抽出された輝度信号を所定の閾値基準で量子化した量子化画像を生成する工程と、前記量子化された画像における量子化レベル毎に、同じ量子化レベルの画素を繋いだ画像に変換する工程と、前記同じ量子化レベルの画素を繋いだ画像をディスプレイに表示して、前記被験者の背面における高度の偏位を観察可能にする工程を有する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第６１３２３５４号公報

【特許文献2】特許第５６５２８８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

従来のモアレカメラは同カメラの観測方向を基準とした２Ｄ等高線画像を生成するため、撮影時に評価対象者（すなわち被写体）の姿勢をカメラに対して正対させる必要がある。しかし、モアレカメラにより生成される等高線は、わずかな評価対象者の動きや姿勢に大きく影響されてしまう。また、一旦撮影し終えた画像に対して異なる視点からの等高線を再生成することができないため、適切な等高線画像が得られない場合には、撮影をやり直す必要がある。

【0008】

特許文献１のシステムが表示する凹凸状態と高低差の情報は、モアレカメラが生成する等高線画像と見た目が大きく異なるため、診断者がそれら情報を理解するのに手間が掛かる。

【0009】

特許文献２の方法により生成される等高線画像は、モアレカメラが生成する等高線画像と似た見た目とすることは可能であるが、輝度信号の同じ量子化レベルの画素を繋ぐという方式では高さの精度が高くないと考えられる。

【0010】

本発明は、背面の等高線画像を表示した画像を生成可能で、モアレカメラよりも利便性が高く、輝度信号の量子化レベルに基づいて等高線画像を生成する方法よりも精度が高い等高線画像を提供可能な装置を提供する。

【課題を解決するための手段】

【0011】

本発明は、一つの側面では、評価対象者の背面を撮影して得られた前記背面のテクスチャ画像及び３次元形状データを取得する手段と、前記３次元形状データから、前記背面の等高線を表す等高線画像を生成する生成手段と、前記生成手段が生成した前記等高線画像と前記テクスチャ画像とを合成して合成画像を生成する合成手段と、前記合成手段が生成した合成画像を出力する出力手段と、を含む画像生成装置を提供する。

【0012】

一つの態様では、前記生成手段は、前記３次元形状データから、異なる複数の観測方向のそれぞれについて、当該観測方向についての前記背面の等高線画像を生成し、前記合成手段は、前記複数の観測方向のそれぞれについて、当該観測方向についての前記等高線画像と前記テクスチャ画像とを合成した合成画像を生成する。

【0013】

別の態様は、前記複数の観測方向のそれぞれについて、前記テクスチャ画像から、当該観測方向から仮想的に見たときの前記背面を表すテクスチャ画像を生成する仮想テクスチャ生成手段、を更に含み、前記合成手段は、前記複数の観測方向のそれぞれについて、当該観測方向についての前記等高線画像と前記テクスチャ画像とを合成した合成画像を生成する。

【0014】

更に別の態様では、前記出力手段は、前記合成手段が生成した前記複数の観測方向のそれぞれについての前記合成画像を画面に表示する手段と、それら各観測方向についての前記合成画像のうちユーザから選択を受け付ける手段と、前記ユーザから選択された前記合成画像を前記評価対象者の識別情報と対応付けて、所定のデータベースに登録する手段と、を含む。

【0015】

更に別の態様では、前記生成手段は、前記３次元形状データから、前記評価対象者の前記背面を撮影したときの撮影方向とは異なる第２の方向を観測方向としたときの等高線画像を生成し、前記合成手段は、前記第２の方向を前記観測方向としたときの前記等高線画像と前記テクスチャ画像とを合成する。

【0016】

更に別の態様では、前記テクスチャ画像から、前記背面を前記観測方向である前記第２の方向から仮想的に見たときのテクスチャ画像を生成する仮想テクスチャ生成手段、を更に含み、前記合成手段は、前記第２の方向についての前記等高線画像と前記テクスチャ画像とを合成した合成画像を生成する。

【0017】

更に別の態様は、前記３次元形状データに基づき、前記テクスチャ画像のうち前記背面の背景となっている背景部分を特定し、前記テクスチャ画像のうち前記背景部分の画像を前記背面と区別可能となるよう加工する加工手段、を更に含み、前記合成手段は、前記加工手段により加工された前記テクスチャ画像と前記等高線画像とを合成して前記合成画像を生成する。

【発明の効果】

【0018】

本発明によれば、背面の等高線画像を表示した画像を生成可能な、モアレカメラよりも利便性の高い装置を提供することができる。

【図面の簡単な説明】

【0019】

【図1】実施形態１のシステムの機能構成を例示する図である。

【図2】実施形態のシステムが生成する画像を説明するための図である。

【図3】等高線画像の形態の一例を説明するための図である。

【図4】等高線画像の形態の別の例を説明するための図である。

【図5】等高線画像の形態の別の例を説明するための図である。

【図6】等高線画像の形態の別の例を説明するための図である。

【図7】実施形態２のシステムの機能構成を例示する図である。

【図8】実スキャナ（３Ｄ計測装置）の正面方向についての等高線画像を説明するための図である。

【図9】実スキャナ（３Ｄ計測装置）の正面方向とは異なる観測方向についての等高線画像を説明するための図である。

【図10】実施形態２のシステムが提供する、合成画像の一覧画面の例を示す図である。

【図11】実施形態３のシステムの機能構成を例示する図である。

【図12】実施形態３における変形後のテクスチャ画像と等高線画像との合成を説明するための図である。

【図13】実施形態４のシステムの機能構成を例示する図である。

【発明を実施するための形態】

【0020】

＜実施形態１＞
図１に、本発明に係る背面診断画像生成システムの一実施形態の機能構成を例示する。図示したように、このシステムは、３Ｄ計測装置１０、データ分離部１２、等高線画像生成部１４、画像合成部１６及び出力部１８を備える。

【0021】

３Ｄ計測装置１０は、評価対象者（例えば診断対象の患者）の背面の３Ｄ形状を計測する装置である。３Ｄ計測の手法には、三角測量の原理に基づくもの（例えばステレオ法、光切断法、位相シフト法）、ＴＯＦ（Time of Flight：光飛行時間）に基づくものなど、いくつかの方式があるが、３Ｄ計測装置１０はそのいずれの方式を用いるものでもよい。

【0022】

好適には、３Ｄ計測装置１０として、被写体の３Ｄ形状データとテクスチャ画像とを、実質上同じ光軸及び画角で撮影可能なものを用いる。例えば、ステレオ法、光切断法、位相シフト法等の方式を用いる３Ｄ計測装置は、この条件を満たす場合が多い。なお、テクスチャ画像とは、被写体からの自然光や照明光の反射を撮影した画像であり、例えば一般的なカメラで撮影されるカラーまたはモノクロの画像がその代表例である。３Ｄ計測装置１０は、撮影により得た３Ｄ形状データとテクスチャ画像を出力する。３Ｄ形状データは、例えば、画像内の各画素の奥行き（距離）ｚの値を持つ距離画像の形式で表現される。

【0023】

なお、評価対象者のテクスチャ画像を撮影するためのカメラを３Ｄ計測装置１０とは別体のものとして用意してもよい。ただし、この場合、そのカメラと３Ｄ計測装置１０の３次元的な位置、光軸方向、画角などの要件は既知であるとする。これらの要件が既知であれば、カメラが撮影したテクスチャ画像と３Ｄ計測装置１０が生成した３Ｄ形状データとを、同一光軸及び同一画角の状態に変換し、合成することが可能になる。

【0024】

データ分離部１２は、３Ｄ計測装置１０から入力される３Ｄ形状データとテクスチャ画像とを分離し、３Ｄ形状データを等高線画像生成部１４に、テクスチャ画像を画像合成部１６に、それぞれ入力する。なお、データ分離部１２は、３Ｄ計測装置１０が、３次元形状データとテクスチャ画像とが一体となったデータ形式の出力データ（例えば、画素のＲＧＢ値及びＺ座標からなる４次元座標から構成される画像データ）を出力する場合に必要である。３Ｄ計測装置１０が、３Ｄ形状データとテクスチャ画像とを別々に出力可能であれば、データ分離部１２はなくてよい。

【0025】

等高線画像生成部１４は、３Ｄ形状データから等高線画像を生成する。等高線画像は、３Ｄ形状データが表す３Ｄ形状において同一高さの点（画素）を結んだ等高線を、一定のピッチ（高さの間隔）ごとに示した画像である。なお、ここで高さとは、３Ｄ形状に対して任意の観測位置と観測方向を設定し、観測位置を通り観測方向を法線に持つ平面を想定した場合に、その平面と３Ｄ形状の各３Ｄ座標点との垂直距離である。簡単な例としては３Ｄ形状データが距離画像の形式で表現されている場合の各画素の奥行き距離ｚである。従来のモアレカメラが生成するモアレ模様も、等高線を示す画像表現の一例である。

【0026】

画像合成部１６は、等高線画像生成部１４が生成した等高線画像と、３Ｄ計測装置１０が撮影したテクスチャ画像とを合成し、合成画像を生成する。生成された合成画像は、評価対象者の背面の状態を評価するための評価用の画像として用いられる。例えば、合成画像を用いて、評価対象者が側弯症に該当するか否かの評価、又は診断が行われる。

【0027】

出力部１８は、画像合成部１６が生成した合成画像を出力する。この出力は、例えば、付属の表示装置の画面に表示する形態、プリンタから印刷出力する形態、診断情報データベースに評価対象者のＩＤ（患者番号等）に対応付けて登録する形態、等のうちの一以上の形態で行う。

【0028】

図２に示す具体例を参照して、画像合成部１６による画像の合成について説明する。図２において、テクスチャ画像１００は評価対象者の背面を写した画像であり、等高線画像１０２は、評価対象者の背面の３Ｄ形状の等ピッチの等高線を示した画像である。例示した等高線画像１０２は、等高線上の画素の値が「１」（すなわち黒の最高濃度）、等高線以外の位置の画素の値が「０」（すなわち無色透明）である画像である。図において、黒い線が等高線１０４を示している。

【0029】

画像合成部１６は、テクスチャ画像１００に対して等高線画像１０２を画素単位で重畳することで、合成画像１１０を生成する。この例では、等高線画像１０２が示す等高線１０４がテクスチャ画像１００上に書き込まれ、等高線以外の画素についてはテクスチャ画像１００の画素値がそのまま有効となる。

【0030】

図２に例示した等高線画像１０２はあくまで一例に過ぎない。以下、図３〜図７を参照して、等高線画像の様々な形態について説明する。これらの図において、等高線の観測方向（すなわち高さ方向）の座標軸をＺとし、等高線のピッチをｐとする。また、ｎは任意の整数とする。

【0031】

図３に示す例では、等高線の幅を２ｗとした場合、ｎｐ−ｗ＜Ｚ＜ｎｐ＋ｗを満たすＺ座標値を持つ画素の値を、等高線１０４を示す値（輝度値）とする。等高線に該当する画素の等高線合成後の輝度は、同画素のテクスチャ画像における輝度よりも明確に低い値（例えば、テクスチャ画像の輝度よりも所定値だけ低い輝度、又は濃度１００％の黒を示す輝度）となる。この例は、図２に示した形態の等高線画像と同じものである。

【0032】

図４に示す例では、等高線画像は等高線ピッチｐごとに明暗が切り替わる形態の画像である。この例の合成画像１１０Ｂは、２ｎｐ＜Ｚ≦（２ｎ＋１）ｐを満たすＺ座標値を持つ画素については、その画素の輝度値はテクスチャ画像の輝度値よりも低い値となり、（２ｎ＋１）ｐ＜Ｚ≦（２ｎ＋２）ｐを満たすＺ座標値を持つ画素については、その画素の輝度値はテクスチャ画像の輝度値よりも高い値となる。ここで、合成画像１１０Ｂとテクスチャ画像との輝度差は、固定値としてもよいし、テクスチャ画像の輝度値に応じて可変（例えばテクスチャ画像の輝度値が高くなるほど、輝度差を大きくするなど）としてもよい。

【0033】

図５に示す例では、等高線画像は、等高線ピッチｐの幅内で、Ｚ座標に応じて輝度（濃度）が徐々に変化する。図示例の合成画像１１０Ｃでは、２ｎｐ＜Ｚ≦（２ｎ＋１）ｐを満たすＺ座標値を持つ画素の輝度値は、テクスチャ画像の当該画素の輝度値をＺ座標値に応じて線形に増加させた値となり、（２ｎ＋１）ｐ＜Ｚ≦（２ｎ＋２）ｐを満たすＺ座標値を持つ画素の輝度値は、テクスチャ画像の当該画素の輝度値をＺ座標値に応じて線形に減少させた値となる。なお、Ｚ座標値に応じた増加または減少の量は、Ｚ＝２ｎｐ＋ｐ／２のときに０となるように定める。

【0034】

図６に示す例では、等高線画像は、等高線ピッチｐごとに周期的に異なる色を持つ。この例では、高さＺを等高線ピッチｐごとに区切って複数の範囲に分ける。すなわち、個々の範囲はｎｐ＜Ｚ≦（ｎ＋１）ｐを満たす。そして、ｎの値ごとにあらかじめ特定の色を割り当てておき、テクスチャ画像の画素の色を、その画素のＺ座標値に対応する特定の色で補正する。等高線画像のｎの値ごとの色は、例えば固定のＲＧＢ値で指定する。あるいは別の例として、等高線画像のｎの値ごとの色として色相のみを指定しておき、輝度はテクスチャ画像の輝度に応じて変化させてもよい。ｎの値ごとの色として同一色を複数回使用してもよい。また、隣り合うピッチ同士には、なるべく色相が遠い色を割り当てることが、視認性の点で好ましい。

【0035】

以上に説明したいずれの例でも、３Ｄ形状データをＺ方向に任意に平行移動することで、等高線の描画位置を任意に調整することが可能である。また、ピッチの値をユーザが指定できるようにしてもよい。上記で説明した方法はいずれも等高線画像の輝度値をＺ座標値の周期関数として変調する例を示したものである。変調に用いる周期関数は、上に例示したものに限られるものではなく、それ以外に例えば正弦波、台形波、階段波等を用いてもよい。

【0036】

＜実施形態２＞
次に、本発明の別の実施形態について説明する。

【0037】

前述のようにモアレカメラで撮影した画像の等高線画像（すなわちモアレ模様）は評価対象者の微妙な姿勢の違いで大きく異なってくる場合があり、適切な姿勢で撮影できなかった場合は、撮影のし直しが必要になる。

【0038】

この問題に対処するために、この実施形態では、３Ｄ形状データから異なるいくつかの観測方向についての等高線画像を生成することで、１回の撮影で、仮想的に複数の観測方向から見た複数の診断画像（すなわち合成画像）を生成する。

【0039】

図７に、この実施形態の背面診断画像生成システムの機能構成を例示する。図７において、図１に示した要素と同様の要素には、同一符号を付し、説明を省略する。

【0040】

この例では、等高線画像生成部１４Ａは、入力された背面の３Ｄ形状データについて、異なる複数の観測方向から見たときの等高線画像を生成する。例えば、等高線画像生成部１４Ａは、予め定められた異なる複数の観測方向のそれぞれについて、その観測方向がＺ軸方向となるよう３Ｄ形状データを座標変換し、座標変換後の３Ｄ形状データから等高線画像を生成する。

【0041】

図１に例示した実施形態１のシステムでは、図８に示すように、実スキャナ（すなわち３Ｄ計測装置１０）の視点位置から正面の方向をＺ方向として等高線画像を生成した。図８において、曲線２００は評価対象者の背面を示し、矢印が観測方向（Ｚ方向）を示す。また、背面を示す曲線２００と交わる等間隔の直線は、等高線ピッチｐごとの高さを示す。

【0042】

本実施形態の等高線画像生成部１４Ａは、実スキャナ位置から正面方向に見たときの等高線画像の他に、図９に示すように別の観測方向から３Ｄ形状データを見たときの等高線画像も生成する。例えば、実スキャナの正面方向に対して正負の両方向にそれぞれ例えば１度刻みに角度が異なる複数の観測方向を予め設定しておき、それら各観測方向についての等高線画像を生成する。なお、観測方向のバリエーションは、水平面内での角度違いの方向に限らず、垂直や斜めなど、３次元的に異なる方向を含んでいてもよい。

【0043】

画像合成部１６Ａは、等高線画像生成部１４Ａが生成した、異なる複数の観測方向についての等高線画像を、データ分離部１２から入力された評価対象者の背面のテクスチャ画像とそれぞれ合成する。これにより、等高線の観測方向が異なる複数の合成画像が生成される。

【0044】

出力部１８Ａは、生成された観測方向違いの複数の合成画像を出力する。例えば画面表示出力の場合は、それら複数の合成画像を一覧で、又は個別に表示する。一覧表示の場合は、実スキャナの正面方向についての等高線画像を合成した合成画像を画面中央に配置し、その周囲に、その正面方向に近い観測方向に対応する合成画像ほど画面中央に近い位置に配置する等、各合成画像がどの方向から見た等高線を示しているのか直感的に分かりやすい配置を採用する。

【0045】

図１０に、出力部１８Ａが生成する合成画像の表示画面を例示する。例示した画面３００は、現在の評価対象の人についての５つの合成画像３０２〜３１０が表示される。これら５つの合成画像３０２〜３１０は、実スキャナの正面方向（すなわち３Ｄ計測装置１０の撮影方向であり、例えばその撮影に用いるカメラの光軸方向）を含む水平面内に設定された異なる５つの観測方向についての合成画像である。５つのうちの中央は、現在注目している合成画像３０２であり、他の４つよりも大きいサイズで表示される。画面３００上に表示された５つの合成画像３０２〜３１０のうち、中央に最も大きいサイズで表示されている画像を注目画像と呼ぶ。注目画像（すなわちこの時点では合成画像３０２）の両隣には、水平面内に設定された複数の観測方向のうち、注目画像の観測方向の両隣の観測方向（すなわち注目画像の観測方向との角度差が最も小さい左右２つの観測方向）についての合成画像３０４及び３０８が、注目画像よりも小さいサイズで表示される。それら２つの合成画像３０４及び３０８の外側には、左右に更に１つ隣の観測方向についての合成画像３０６及び３１０が更に小さいサイズで表示される。注目画像を例えばクリック操作等で選択することで、その注目画像を更に大きいサイズで表示してもよい。

【0046】

ユーザが左側のスクロールボタン３１２をタッチ操作やクリック操作等で「押下」すると、出力部１８Ａは、注目画像を１つ左の画像へ変更する。すなわち、画面３００に表示する画像を１つずつ右に移動させる。これにより、それまで中央の合成画像の３０２の一つ左にあった合成画像３０４が中央に移動して注目画像となり、他の画像も１つずつ右の位置に移動し、それぞれの位置に対応するサイズで表示される。この移動の前に右端にあった合成画像３１０は、表示対象の５つから外れて表示されなくなり、その代わりに左端にあった合成画像３０６の左隣の観測方向についての合成画像が存在すれば、この合成画像が左端の位置に新たに表示される。この逆に、右側のスクロールボタン３１４をユーザが押下すると、出力部１８Ａは、注目画像を１つ右の画像へ変更し、これに応じて他の画像も１つずつ左に移動させる。

【0047】

ユーザは、スクロールボタン３１２及び３１４を操作して、中央に表示する注目画像を切り替えながらそれぞれの合成画像を確認し、その中から評価対象者（患者等）の背面（脊柱等）の特徴が最もよく現れている合成画像を最終的な注目画像として選ぶ。例えば、側弯症の診断では、等高線の縞模様の左右の非対称性を評価するが、観測方向が適切な方向からずれるほど等高線の縞模様の左右の非対称性が大きくなる。したがって、ユーザは画面３００に表示する画像を左右にスクロールしながら、複数の合成画像のうち左右の非対称性がなるべく少ない合成画像を最終的な注目画像として選択する。そして、ユーザが「保存して次へ」ボタン３１６をタッチ操作等で押下すると、出力部１８Ａは、そのときの注目画像（すなわち中央に表示されている最も大きい画像）を、現在の評価対象の人の診断画像として、診断情報データベースに保存する。その人について今回生成したすべての合成画像を見ても、適切な画像が見つからなかった場合、ユーザは、「撮り直し」ボタン３１８を押下する。これにより、３Ｄ計測装置１０が撮影準備状態となり、別途ユーザの操作で再度の撮影が行われる。また、ユーザが「初期画面に戻す」ボタン３２０を押下すると、画面３００は、３Ｄ計測装置１０の正面方向についての合成画像を注目画像として中央に表示した初期状態へと戻る。

【0048】

図１０には示していないが、中央の合成画像３０２の近傍に、その合成画像３０２の観測方向を示す情報を表示してもよい。この観測方向を示す情報は、例えば「０（正面）」（実スキャナの正面方向）、「＋１」（正面方向から１つ右の観測方向）、「＋２」（正面方向から２つ右の観測方向）、「−１」（正面方向から１つ左の観測方向）、「−２」等といったものでよい。中央の合成画像３０２だけでなく、画面３００内に表示される全ての合成画像３０２〜３１０に対して、それぞれその画像の観測方向を示す情報を表示してもよい。

【0049】

また、画面３００には、その画面に表示している評価対象者の氏名やＩＤ等を更に表示してもよい。

【0050】

なお、評価対象者の背面の３Ｄ計測データから等高線画像を生成するにはある程度の時間を要するので、５つの観測方向についての合成画像が完成するのを待って画面３００上に５つの合成画像を表示したのでは、待ち時間が長いとユーザに感じさせてしまう可能性がある。そこで、実スキャナの正面方向についての合成画像が完成したらまずそれを画面３００の中央に表示し、その後正面方向に近い観測方向から順に合成画像を生成し、生成でき次第画面３００に表示するようにしてもよい。また、スクロールボタン３１４をユーザが押下したときに新たに表示されるべき合成画像を装置がバックグラウンドで生成しておき、実際にスクロールボタンの押下操作が行われたときに、対応する合成画像を素早く表示できるようにしてもよい。

【0051】

＜実施形態３＞
この実施形態は、上述した実施形態２の改良版である。

【0052】

上記実施形態２では、画像合成部１６Ａは、等高線画像生成部１４Ａが生成した各観測方向についての等高線画像を、データ分離部１２から出力された同じテクスチャ画像と合成した。この方式では、テクスチャ画像の観測方向（すなわち実スキャナの正面方向）とは異なる観測方向についての等高線画像と合成した場合に、少し違和感のある合成画像となる場合がある。

【0053】

そこでこの実施形態３では、テクスチャ画像を等高線画像と同じ観測方向から見た状態を示すものに変換し、この変換の後のテクスチャ画像をその等高線画像と合成する。

【0054】

図１１に、この実施形態３の背面診断画像生成システムの機能構成を例示する。図１１において、図１又は図７に示した要素と同様の要素には、同一符号を付し、説明を省略する。

【0055】

図１１に示すシステムは、図７に示したシステムに多方向化処理部２２を追加したものである。多方向化処理部２２は、データ分離部１２から入力されたテクスチャ画像から、等高線画像生成部１４Ａが生成する各等高線画像の観測方向と同じ観測方向から見た状態のテクスチャ画像（すなわち後述の仮想テクスチャ画像）を生成する。個々の観測方向から見た状態のテクスチャ画像は、例えば、元のテクスチャ画像（実スキャナの正面方向から見た状態のもの）に対して幾何学的な変換を加えることで生成する。幾何学的な変換としては、例えばアフィン変換などを用いればよい。

【0056】

多方向化処理部２２が実行する各観測方向に対応するテクスチャ画像の生成処理の具体例を、図１２を参照して説明する。

【0057】

この処理では、テクスチャ画像を生成する観測方向上に仮想スキャナ位置を定める。例えば、実スキャナの正面方向の線上に原点を定めておき、その原点からその観測方向に、実スキャナ・原点間の距離と同じ距離の位置を、仮想スキャナ位置とする。その仮想スキャナ位置に、仮想的な３Ｄ計測装置１０（仮想スキャナと呼ぶ）が配置されているものとする。その観測方向が、その仮想スキャナの正面方向である。

【0058】

このように仮想スキャナの位置と向きを決めると、３Ｄ形状データ上のｉ番目（ｉは正の整数）の３Ｄ座標点Ｖ_iと、これに対応する仮想スキャナの画像平面上の２Ｄ座標点Ｐ^’_iとの関係が決まる。また、その３Ｄ座標点Ｖ_iと、実スキャナの位置から見た実テクスチャ画像上の対応点である２Ｄ座標点Ｐ_iとの関係は、テクスチャマッピングの関係であり、既知である。つまり実テクスチャ画像上の２Ｄ座標点Ｐ_iと仮想スキャナの画像平面上の２Ｄ座標点Ｐ^’_iは同一の点を表しており、Ｐ_i=（ｘ_i, ｙ_i）からＰ^’_i=（ｘ^’_i, ｙ^’_i）への変形をアフィン変換で表現すると

【数1】

と表現できる。式（１）を、対応する３Ｄ座標点が存在する全ての２Ｄ座標点Ｐについての連立方程式として最小二乗法で解くと、アフィン変換パラメータａ₁₁〜ａ₃₃が求められる。このアフィン変換パラメータにより実テクスチャ画像全体を変形することで、仮想スキャナからその観測方向に評価対象者の背面を見た状態を表す仮想テクスチャ画像が得られる。実テクスチャ画像上の全ての点Ｐにアフィン変換を適用する代わりに、３Ｄ座標点Ｖ_iに対応する仮想テクスチャ上の点Ｐ^’_iについては対応する実テクスチャ画像上の点Ｐ_iの輝度値を採用し、３Ｄ座標点Ｖ_iが存在しない仮想テクスチャ上の点Ｐ^’についてのみこのアフィン変換パラメータを用いて変形した実テクスチャ画像の輝度値を採用してもよい。

【0059】

このような変形処理により、実テクスチャ画像から、実スキャナの正面方向とは異なる観測方向から見たときの仮想テクスチャ画像が生成される。図１２の右側に示す台形に変形された状態の画像が仮想テクスチャ画像１００Ａである。これに、同じ観測方向についての等高線画像１０２Ａを合成することで、テクスチャ画像についてもその観測方向から見た状態となっている合成画像１１０Ａが得られる。

【0060】

多方向化処理部２２は、生成した観測方向ごとの仮想テクスチャ画像を、例えば観測方向の識別情報である方向ＩＤと対応付けて、画像合成部１６Ａに入力する。同様に等高線画像生成部１４Ａは、生成した観測方向ごとの等高線画像を例えば方向ＩＤと対応付けて画像合成部１６Ａに入力する。

【0061】

画像合成部１６Ａは、観測方向ごとに、その観測方向についてのテクスチャ画像と等高線画像とを合成することで、その観測方向から見た状態の合成画像を生成する。このとき合成するテクスチャ画像と等高線画像との対応付けは、例えば、上述した方向ＩＤを用いて行えばよい。

【0062】

実施形態２及び３では、３Ｄ計測装置１０の１回の撮影で複数の観測方向についての合成画像を生成する例を説明したが、実施形態２及び３の手法は、「複数」の観測方向についての合成画像を生成する場合に限らず、その撮影の方向とは異なる１つの方向についての合成画像を生成する場合にも当然適用可能である。

【0063】

＜実施形態４＞
図１３を参照して、更に別の実施形態を説明する。図１３に示すこの実施形態のシステムは、図１に示したシステムに対して、背景加工部２４を追加したものである。

【0064】

この例では、データ分離部１２は、背景加工部２４に対して、３Ｄ計測装置１０から得た３Ｄ形状データとテクスチャ画像の両方を入力する。

【0065】

背景加工部２４は、３Ｄ形状データが示す各３Ｄ座標点を、評価対象者の背面に属するものと、背景に属するものとに分類する。この分類は、例えば、３Ｄ形状データのＺ座標（すなわち３Ｄ計測装置１０の正面方向に沿った距離情報）に閾値を定めておき、各３Ｄ座標点のＺ座標がその閾値より大きいか小さいかで、その座標点が評価対象者の背面のものか、背景かを判別する。閾値としては、評価対象者と背景（例えば壁の面）とを区別できる距離を設定すればよい。

【0066】

そして背景加工部２４は、背景に分類した３Ｄ座標点群に対応するテクスチャ画像上の２Ｄ点群を特定し、それら特定した２Ｄ点群の画素値（例えばＲＧＢ等の色値）を、背景を示す特定の値に変更する。これにより評価対象者の背景が単色となる。背景を示す特定の値は、例えば評価対象者の背中の色と明確に区別できる色を示す値とする。

【0067】

画像合成部１６は、背景加工部２４により背景が単色となったテクスチャ画像と、等高線画像生成部１４からの等高線画像とを合成して、合成画像を生成する。

【0068】

この実施形態によれば、背景の模様が除去されるので、合成画像中で評価対象者の体形が際立つことになる。これにより、等高線を含んだ合成画像の読影が、背景の模様に影響を受けることなく行われることとなる。特に、評価対象者の背中の輪郭が、背景の模様に邪魔されにくくなるので、輪郭の左右非対称性が分かりやすくなり、読影の精度向上が見込まれる。

【0069】

なお、等高線画像生成部１４も、背景加工部２４と同様に、背景と判定した領域については等高線を生成しないようにしてもよい。

【0070】

この実施形態４における背景の去処理は、実施形態２及び３の方式とも組合せ可能である。

【0071】

以上、本発明のいくつかの実施形態を説明した。以上に説明した各実施形態のシステムは、例えば、コンピュータに上述したシステムの各要素の機能を記述したプログラムを実行させることにより実現される。ここで、コンピュータは、例えば、ハードウエアとして、ＣＰＵ等のマイクロプロセッサ、ランダムアクセスメモリ（ＲＡＭ）およびリードオンリメモリ（ＲＯＭ）等のメモリ（一次記憶）、フラッシュメモリやＳＳＤ（ソリッドステートドライブ）、ＨＤＤ（ハードディスクドライブ）等の固定記憶装置を制御するコントローラ、各種Ｉ／Ｏ（入出力）インタフェース、ローカルエリアネットワークなどのネットワークとの接続のための制御を行うネットワークインタフェース等が、たとえばバス等を介して接続された回路構成を有する。それら各機能の処理内容が記述されたプログラムがネットワーク等の経由でフラッシュメモリ等の固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがＲＡＭに読み出されＣＰＵ等のマイクロプロセッサにより実行されることにより、上に例示した機能モジュール群が実現される。

【0072】

また、図１、図７、図１１、図１３等に示した各システムの各要素は、ネットワークを介して接続された複数のコンピュータに分散して配置されていてもよい。例えば、ユーザ（例えば医師）側のサイトには、評価対象者の背面を３次元計測する３Ｄ計測装置と、出力部１８、１８Ａの出力（例えば画面表示）の機能を果たすコンピュータとが配置され、クラウドシステム等として構成されるサーバ側に、データ分離部１２、等高線画像生成部１４、１４Ａ、画像合成部１６、１６Ａの機能を果たす１以上のコンピュータが設けられる構成等が考えられる。

【符号の説明】

【0073】

１０ ３Ｄ計測装置、１２ データ分離部、１４、１４Ａ 等高線画像生成部、１６、１６Ａ 画像合成部、１８、１８Ａ 出力部、２２ 多方向化処理部、２４ 背景加工部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】