特許 7242041 間隙変化検出装置、間隙変化検出方法及び間隙変化検出用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-10

(45)【発行日】2023-03-20

(54)【発明の名称】間隙変化検出装置、間隙変化検出方法及び間隙変化検出用プログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20230313BHJP

   G06T 7/00 20170101ALI20230313BHJP

   A61B 6/00 20060101ALI20230313BHJP

【ＦＩ】

G06T7/60 180B

G06T7/00 350B

A61B6/00 350C

【請求項の数】 7

(21)【出願番号】P 2019072574

(22)【出願日】2019-04-05

(65)【公開番号】P2020170429

(43)【公開日】2020-10-15

【審査請求日】2022-03-03

(73)【特許権者】

【識別番号】504173471

【氏名又は名称】国立大学法人北海道大学

(74)【代理人】

【識別番号】110000958

【氏名又は名称】弁理士法人インテクト国際特許事務所

(74)【代理人】

【識別番号】100120189

【弁理士】

【氏名又は名称】奥 和幸

(74)【代理人】

【識別番号】100173510

【弁理士】

【氏名又は名称】美川 公司

(72)【発明者】

【氏名】池辺 将之

(72)【発明者】

【氏名】神島 保

(72)【発明者】

【氏名】欧 亜非

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２０１８－１６１３９７（ＪＰ，Ａ）

【文献】特開２０１０－２５３２４３（ＪＰ，Ａ）

【文献】特開２０１６－１４４５３５（ＪＰ，Ａ）

【文献】特開２０１６－１６２０９６（ＪＰ，Ａ）

【文献】特開２００９－１９９２７０（ＪＰ，Ａ）

【文献】特開２０１７－１３４６３４（ＪＰ，Ａ）

【文献】国際公開第２０１７／１３４６３４（ＷＯ，Ａ１）

【文献】佐々木 慶文、外４名，“位相限定相関法に基づく高精度レジストレーション”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2002年04月11日，Vol.102, No.15，pp.49-54

【文献】G. Langs et al.，"Automatic Quantification of Joint Space Narrowing and Erosions in Rheumatoid Arthritis"，IEEE Transactions on Medical Imaging，米国，IEEE，2008年08月15日，Vol.28, No.1，pp.151-164

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

Ａ６１Ｂ ６／００

(57)【特許請求の範囲】

【請求項1】

複数の物体間の間隙の長さの変化を検出する間隙変化検出装置において、
前記複数の物体及び前記間隙が映っている画像に相当する画像情報を取得する取得手段と、
前記取得した画像情報に基づいて、当該画像情報に相当する前記画像における各前記物体の前記間隙側の端部を、当該画像において分離する分離手段と、
前記分離された端部それぞれの位置の、同じ時系列に沿った変化である時系列位置変化を、位相限定相関法を用いて検出する位置変化検出手段と、
各前記端部についてそれぞれ検出された前記時系列位置変化に基づいて、前記時系列に沿った前記間隙の長さの変化を検出する変化検出手段と、
を備えることを特徴とする間隙変化検出装置。

【請求項2】

請求項１に記載の間隙変化検出装置において、
前記物体は関節を構成する骨であり、前記間隙は当該関節における前記骨間の間隙であり、
前記分離手段は、前記取得した画像情報に対してモルフォロジー変換処理を施す変換手段を備え、
当該分離手段は、前記変換手段による前記画像情報の変換結果に基づいて、前記関節が含まれる身体の部位を前記画像において検出し、当該検出された部位に基づいて前記端部を検出して分離することを特徴とする間隙変化検出装置。

【請求項3】

請求項２に記載の間隙変化検出装置において、
前期分離手段は、機械学習法を用いた二値識別手段が線形に接続されてなる複合識別手段が複数直列に接続されてなる識別手段を更に備え、
当該分離手段は、前記検出された部位について前記識別手段による二値識別処理を施して前記画像における前記関節を検出し、当該検出された関節に基づいて前記端部を検出して分離することを特徴とする間隙変化検出装置。

【請求項4】

請求項１から請求項３のいずれか一項に記載の間隙変化検出装置において、
前記位置変化検出手段は、前記時系列に対応した前記画像情報間における前記物体の位置ずれを、前記画像情報に相当する前記画像全体に対する位置限定相関法を用いて検出する位置ずれ検出手段を備え、
当該位置変化検出手段は、当該検出された位置ずれを除去しつつ前記時系列位置変化を検出することを特徴とする間隙変化検出装置。

【請求項5】

請求項１から請求項４のいずれか一項に記載の間隙変化検出装置において、
前記分離手段は、前記取得した画像情報に対してモルフォロジー変換処理を施す変換手段を備え、
当該分離手段は、前記変換手段による前記画像情報の変換結果に基づいて前記端部を前記画像においてそれぞれ分離することを特徴とする間隙変化検出装置。

【請求項6】

複数の物体間の間隙の長さの変化を検出する間隙変化検出装置であって、取得手段と、分離手段と、位置変化検出手段と、変化検出手段と、を備える間隙変化検出装置において実行される間隙検出方法であって、
前記複数の物体及び前記間隙が映っている画像に相当する画像情報を前記取得手段により取得する取得工程と、
前記分離手段により、前記取得した画像情報に基づいて、当該画像情報に相当する前記画像における各前記物体の前記間隙側の端部を、当該画像において分離する分離工程と、
前記分離された端部それぞれの位置の、同じ時系列に沿った変化である時系列位置変化を、前記位置変化検出手段により位相限定相関法を用いて検出する位置変化検出工程と、
各前記端部についてそれぞれ検出された前記時系列位置変化に基づいて、前記変化検出手段により前記時系列に沿った前記間隙の長さの変化を検出する変化検出工程と、
を含むことを特徴とする間隙変化検出方法。

【請求項7】

複数の物体間の間隙の長さの変化を検出する間隙変化検出装置に含まれるコンピュータを、
前記複数の物体及び前記間隙が映っている画像に相当する画像情報を取得する取得手段、
前記取得した画像情報に基づいて、当該画像情報に相当する前記画像における各前記物体の前記間隙側の端部を、当該画像において分離する分離手段、
前記分離された端部それぞれの位置の、同じ時系列に沿った変化である時系列位置変化を、位相限定相関法を用いて検出する位置変化検出手段、及び、
各前記端部についてそれぞれ検出された前記時系列位置変化に基づいて、前記時系列に沿った前記間隙の長さの変化を検出する変化検出手段、
として機能させることを特徴とする間隙変化検出用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、間隙変化検出装置、間隙変化検出方法及び間隙変化検出用プログラムの技術分野に属する。より詳細には、例えば人の関節を構成する複数の骨の端部間の間隙の長さの変化を検出する間隙変化検出装置及び間隙変化検出方法並びに当該間隙変化検出装置用のプログラムの技術分野に属する。

【背景技術】

【0002】

近年、関節リュウマチ治療のための薬の研究が進み、従来に比して有効な薬が開発・提供されている。これらの薬は、その薬価が高価であることも相まって、関節リュウマチの進行度に応じて適切に使い分けることが求められる。従って、関節リュウマチの進行度を的確に認識することは、極めて重要である。このとき、当該進行度の尺度の一つとしては、診断の対象となる関節における上記間隙の長さがある。例えば一般には、この長さが短くなるほど関節リュウマチの進行度が高いと診断されることがある。

【0003】

一方、上記間隙の長さの診断は、診断対象となる関節のＸ線画像を用いて行われる場合が多い。即ち、当該Ｘ線画像を観た医師により、最終的に当該間隙の長さが診断されることが多い。従って、当該Ｘ線画像は鮮明であることが求められる。そして、このような要求に対応した先行技術文献としては、例えば下記特許文献１が挙げられる。特許文献１に記載された技術では、少なくとも二種類以上の構成部材からなるシンチレータ部材をＸ線の入射側に備え、上記構成部材がＸ線の入反射方向に周期的に配置されてなり、構成部材の少なくとも１つ以上がＸ線を可視光に変換する蛍光体を含み、Ｘ線の入射側から順に、シンチレータ部材、光学部材、及び光検出器の順に配置される構成とされている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１７９７９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら一方で、例えば特許文献１記載の技術を用いてＸ線画像が鮮明に撮れたとしても、それを医師が目で観察して上記間隙の長さを診断する場合、当該間隙の長さの、その進行度による変化が判り難い関節リュウマチについては、（ｉ）主観的になり易い、（ii）間隙の長さの微小な変化を見落とし易い、（iii）正確な診断のためには特別な訓練が必要となる、及び（iv）再現性が乏しい、といった問題点があることが従来から指摘されていた。

【0006】

そこで本発明は、上記の各問題点に鑑みて為されたもので、その課題の一例は、上記間隙の長さの変化を、診断対象となる関節を撮像した画像から、例えば医師の主観等を介在させることなく、的確且つ定量的に検出することが可能な間隙変化検出装置及び間隙変化検出方法並びに当該間隙変化検出装置用のプログラムを提供することにある。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、請求項１に記載の発明は、複数の物体間の間隙の長さの変化を検出する間隙変化検出装置において、前記複数の物体及び前記間隙が映っている画像に相当する画像情報を取得する指位置検出部等の取得手段と、前記取得した画像情報に基づいて、当該画像情報に相当する前記画像における各前記物体の前記間隙側の端部を、当該画像において分離する分離部等の分離手段と、前記分離された端部それぞれの位置の、同じ時系列に沿った変化である時系列位置変化を、位相限定相関法を用いて検出する変化検出部等の位置変化検出手段と、各前記端部についてそれぞれ検出された前記時系列位置変化に基づいて、前記時系列に沿った前記間隙の長さの変化を検出する変化検出部等の変化検出手段と、を備える。

【0008】

上記の課題を解決するために、請求項６に記載の発明は、複数の物体間の間隙の長さの変化を検出する間隙変化検出装置であって、指位置検出部等の取得手段と、分離部等の分離手段と、変化検出部等の位置変化検出手段と、変化検出部等の変化検出手段と、を備える間隙変化検出装置において実行される間隙検出方法であって、前記複数の物体及び前記間隙が映っている画像に相当する画像情報を前記取得手段により取得する取得工程と、前記分離手段により、前記取得した画像情報に基づいて、当該画像情報に相当する前記画像における各前記物体の前記間隙側の端部を、当該画像において分離する分離工程と、前記分離された端部それぞれの位置の、同じ時系列に沿った変化である時系列位置変化を、前記位置変化検出手段により位相限定相関法を用いて検出する位置変化検出工程と、各前記端部についてそれぞれ検出された前記時系列位置変化に基づいて、前記変化検出手段により前記時系列に沿った前記間隙の長さの変化を検出する変化検出工程と、を含む。

【0009】

上記の課題を解決するために、請求項７に記載の発明は、複数の物体間の間隙の長さの変化を検出する間隙変化検出装置に含まれるコンピュータを、前記複数の物体及び前記間隙が映っている画像に相当する画像情報を取得する取得手段、前記取得した画像情報に基づいて、当該画像情報に相当する前記画像における各前記物体の前記間隙側の端部を、当該画像において分離する分離手段、前記分離された端部それぞれの位置の、同じ時系列に沿った変化である時系列位置変化を、位相限定相関法を用いて検出する位置変化検出手段、及び、各前記端部についてそれぞれ検出された前記時系列位置変化に基づいて、前記時系列に沿った前記間隙の長さの変化を検出する変化検出手段、として機能させる。

【0010】

請求項１、請求項６又は請求項７のいずれか一項に記載の発明によれば、複数の物体及び間隙が映っている画像に相当する画像情報に基づいて各物体の間隙側の端部を分離し、当該端部それぞれについての時系列位置変化を位相限定相関法を用いて検出し、その検出結果に基づいて間隙の長さの変化を検出するので、上記間隙の長さの変化を、上記画像情報から、例えば医師の主観等を介在させることなく、的確且つ定量的に検出することができる。

【0011】

上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の間隙変化検出装置において、前記物体は関節を構成する骨であり、前記間隙は当該関節における前記骨間の間隙であり、前記分離手段は、前記取得した画像情報に対してモルフォロジー変換処理を施す分離部等の変換手段を備え、当該分離手段は、前記変換手段による前記画像情報の変換結果に基づいて、前記関節が含まれる身体の部位を前記画像において検出し、当該検出された部位に基づいて前記端部を検出して分離するように構成される。

【0012】

請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、各物体が関節を構成する骨であり、間隙が当該関節における骨間の間隙であり、画像情報に対するモルフォロジー変換処理による変換結果に基づいて関節が含まれる身体の部位を検出し、当該検出された部位に基づいて骨の端部を検出して分離するので、より正確に当該端部を検出して分離することができる。

【0013】

上記の課題を解決するために、請求項３に記載の発明は、請求項２に記載の間隙変化検出装置において、前期分離手段は、機械学習法を用いた二値識別器等の二値識別手段が線形に接続されてなる複合識別器等の複合識別手段が複数直列に接続されてなる指関節検出部等の識別手段を更に備え、当該分離手段は、前記検出された部位について前記識別手段による二値識別処理を施して前記画像における前記関節を検出し、当該検出された関節に基づいて前記端部を検出して分離するように構成される。

【0014】

請求項３に記載の発明によれば、請求項２に記載の発明の作用に加えて、検出された身体の部位について二値識別処理を施して関節を検出し、検出された関節に基づいて骨の端部を検出して分離するので、更に正確に当該端部を検出して分離することができる。

【0015】

上記の課題を解決するために、請求項４に記載の発明は、請求項１から請求項３のいずれか一項に記載の間隙変化検出装置において、前記位置変化検出手段は、前記時系列に対応した前記画像情報間における前記物体の位置ずれを、前記画像情報に相当する前記画像全体に対する位置限定相関法を用いて検出する変化検出部等の位置ずれ検出手段を備え、当該位置変化検出手段は、当該検出された位置ずれを除去しつつ前記時系列位置変化を検出するように構成される。

【0016】

請求項４に記載の発明によれば、請求項１から請求項３のいずれか一項に記載の発明の作用に加えて、時系列に対応した画像情報間における物体の位置ずれを、画像全体に対する位置限定相関法を用いて検出し、その検出された位置ずれを除去しつつ時系列位置変化を検出するので、より正確に時系列位置変化を検出することができる。

【0017】

上記の課題を解決するために、請求項５に記載の発明は、請求項１から請求項４のいずれか一項に記載の間隙変化検出装置において、前記分離手段は、前記取得した画像情報に対してモルフォロジー変換処理を施す分離部等の変換手段を備え、当該分離手段は、前記変換手段による前記画像情報の変換結果に基づいて前記端部を前記画像においてそれぞれ分離するように構成される。

【0018】

請求項５に記載の発明によれば、請求項１から請求項４のいずれか一項に記載の発明の作用に加えて、取得した画像情報に対するモルフォロジー変換処理による変換結果に基づいて物体の端部を画像においてそれぞれ分離するので、より正確に当該端部を分離することができる。

【発明の効果】

【0019】

本発明によれば、複数の物体及び間隙が映っている画像に相当する画像情報に基づいて各物体の間隙側の端部を分離し、当該端部それぞれについての時系列位置変化を位相限定相関法を用いて検出し、その検出結果に基づいて間隙の長さの変化を検出する。

【0020】

従って、複数の物体間の間隙の長さの変化を、当該複数の物体及び間隙が映っている画像に相当する画像情報から、例えば医師の主観等を介在させることなく、的確且つ定量的に検出することができる。

【図面の簡単な説明】

【0021】

【図1】実施形態の間隙変化検出装置を含む間隙検査システムの概要構成を示すブロック図である。

【図2】実施形態の間隙変化検出装置の概要構成を示すブロック図である。

【図3】実施形態の指位置検出処理を示す図であり、（ａ）は当該指位置検出処理の対象となる画像を例示する図であり、（ｂ）は当該指位置検出処理の第１処理を示す図であり、（ｃ）は当該指位置検出処理の第２処理を示す図であり、（ｄ）は当該指位置検出処理の第３処理を示す図であり、（ｅ）は当該指位置検出処理の第４処理を示す図であり、（ｆ）は当該指位置検出処理の第５処理を示す図であり、（ｇ）は当該指位置検出処理の第６処理を示す図であり、（ｈ）は当該指位置検出処理の第７処理を示す図である。

【図4】実施形態の指関節検出処理等を示す図であり、（ａ）は実施形態の指関節検出部の細部構成を示すブロック図であり、（ｂ）は当該指関節検出処理の第１処理を示す図であり、（ｃ）は当該指関節検出処理の第２処理を示す図であり、（ｄ）は当該指関節検出処理による検出結果を示す図である。

【図5】実施形態の位置修正処理を示す図であり、（ａ）は当該位置修正処理の第１処理を示す図であり、（ｂ）は当該位置修正処理の対象となる位置ずれを例示する図であり、（ｃ）は当該位置修正処理の第２処理を示す図である。

【図6】実施形態の位相限定相関法を説明する図である。

【図7】実施形態の関節分離処理における溝検出処理を示す図（Ｉ）である。

【図8】実施形態の関節分離処理における溝検出処理を示す図（II）であり、（ａ）は当該溝検出処理の第１例を示す図であり、（ｂ）は当該溝検出処理の第２例を示す図であり、（ｃ）は当該溝検出処理の第３例を示す図であり、（ｄ）は当該溝検出処理の第４例を示す図であり、（ｅ）は当該溝検出処理の結果を例示する図である。

【図9】実施形態の関節分離処理における分離処理を示す図（Ｉ）であり、（ａ）は当該関節分離処理における画素の配置を例示する図であり、（ｂ）は各画素における画素値を例示する図である。

【図10】実施形態の分離処理におけるモルフォロジー変換処理を例示する図（Ｉ）であり、（ａ）は当該モルフォロジー変換処理の第１処理を例示する図であり、（ｂ）は当該モルフォロジー変換処理の第２処理を例示する図である。

【図11】実施形態の分離処理におけるモルフォロジー変換処理を例示する図（II）であり、（ａ）は当該モルフォロジー変換処理の第３処理を例示する図であり、（ｂ）は当該モルフォロジー変換処理の第４処理を例示する図である。

【図12】実施形態の分離処理におけるモルフォロジー変換処理を例示する図（III）であり、（ａ）は当該モルフォロジー変換処理の第５処理を例示する図であり、（ｂ）は当該モルフォロジー変換処理の結果としての関節分離線を例示する図である。

【図13】実施形態の関節分離処理における分離処理を示す図（II）であり、（ａ）は関節分離線が重畳されたＸ線画像を例示する図であり、（ｂ）は当該関節分離線を用いた関節の分離を例示する図であり、（ｃ）は当該関節分離処理の結果を例示する図である。

【図14】実施形態の間隙変化検出処理を例示する図である。

【図15】実施形態の間隙変化検出処理の結果を例示する図であり、（ａ）は実施形態の関節分離処理の結果を例示する図であり、（ｂ）は間隙変化の結果を模式的に示す図である。

【図16】実施形態の間隙変化検出処理の結果の表示例を示す図である。

【図17】実施例の結果を示す図であり、（ａ）は当該結果の第１例を示す図であり、（ｂ）は当該結果の第２例を示す図である。

【発明を実施するための形態】

【0022】

次に、本発明を実施するための形態について、図１乃至図１６に基づいて説明する。なお以下に説明する実施形態は、例えばレントゲン装置又はＣＴ（Computed Tomography）装置等により撮像された人の手の画像から当該手の関節を構成する二つ以上の骨の端部間の間隙の長さの変化を検出する間隙変化検出装置に対して、本発明を適用した場合の実施の形態である。当該間隙変化検出装置は、時間的に離れて同じ関節を撮像して得られた複数の上記画像を比較／解析することにより、上記間隙の長さの変化を自動的且つ数値化された状態で検出する。なお以下の説明においては、上記レントゲン装置又はＣＴ装置等により撮像された画像を、単に「画像」と称する。

【0023】

また、図１は実施形態の間隙変化検出装置を含む間隙検査システムの概要構成を示すブロック図であり、図２は当該間隙変化検出装置の概要構成を示すブロック図であり、図３は実施形態の指位置検出処理を示す図であり、図４は実施形態の指関節検出処理等を示す図である。更に、図５は実施形態の位相限定相関法を説明する図であり、図６は実施形態の位置修正処理を示す図であり、図７及び図８は実施形態の関節分離処理における溝検出処理をそれぞれ示す図であり、図９は実施形態の関節分離処理における分離処理を示す図（Ｉ）である。更にまた、図１０乃至図１２は当該関節分離処理におけるモルフォロジー変換処理をそれぞれ例示する図であり、図１３は実施形態の関節分離処理における分離処理を示す図（II）である。また、図１４は実施形態の間隙変化検出処理を例示する図であり、図１５は当該間隙変化検出処理の結果を例示する図であり、図１６は当該結果の表示例を示す図である。

【0024】

（１）間隙検出システムの全体構成及び動作
初めに、実施形態の間隙検出システムの全体構成及び動作について、図１を用いて説明する。図１に示すように、実施形態の間隙変化検出装置Ｓを含む間隙検出システムＳＳは、当該間隙変化検出装置Ｓに加えて撮像装置ＳＸを備えて構成されている。

【0025】

この構成において、撮像装置ＳＸは、例えばレントゲン装置又はＣＴ装置からなり、間隙変化検出装置Ｓによる検出対象となった間隙を有する関節、又は当該関節を含む人の手を撮像し、当該関節又は手に相当する画像データＤxを生成して間隙変化検出装置Ｓに出力する。これにより間隙変化検出装置Ｓは、当該画像データＤxに基づいて上記間隙の長さの変化を自動的且つ数値化して検出し、検出結果データＤoutとして出力する。ここで、間隙変化検出装置Ｓにおける上記間隙の長さの変化の検出に当たっては、いわゆる位相限定相関（ＰＯＣ（Phase-Only Correlation））法が用いられる。この位相限定相関法については、後ほど詳述する。そして上記検出結果データＤoutに相当する検出結果は、例えば後述するように図示しないディスプレイ上に表示される。なお以下の説明において、上記位相限定相関法を単に「ＰＯＣ法」と称し、上記位相限定相関法を用いた処理を単に「ＰＯＣ処理」と称する。

【0026】

次に、上記間隙変化検出装置Ｓの構成について、具体的に図２を用いて説明する。図２に示すように、実施形態の間隙変化検出装置Ｓは、指位置検出部１と、指関節検出部２と、位置修正部３と、分離部４と、変化検出部５と、により構成されている。このとき、指位置検出部１、指関節検出部２、位置修正部３、分離部４及び変化検出部５については、間隙変化検出装置Ｓを構成する例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等からなるハードウェアロジック回路により実現されていてもよいし、又は、後述する各処理に相当するプログラムを上記ＣＰＵ等が読み出して実行することにより、ソフトウェア的に実現されるものであってもよい。また、上記指位置検出部１が本発明の「取得手段」の一例に相当し、指関節検出部２が本発明の「識別手段」の一例に相当し、分離部４が本発明の「分離手段」の一例及び「変換手段」の一例にそれぞれ相当し、変化検出部５が本発明の「位置変化検出手段」の一例、「変化検出手段」の一例及び「位置ずれ検出手段」の一例にそれぞれ相当する。

【0027】

以上の構成において、指位置検出部１は初めに、撮像装置ＳＸから出力された上記画像データＤxを取得すると、当該画像データＤxに相当する画像における指（即ち、上記間隙の変化の検出対象となっている関節を含む指）の位置を検出する実施形態の指位置検出処理を実行し、その結果を指位置データＤfngとして指関節検出部２に出力する。このとき指位置検出部１は、上記時間的に離れて同じ関節を撮像して得られた複数の画像に相当する複数の画像データＤxのそれぞれについて、指位置データＤfngを出力する。なお、上記指位置検出処理については、後ほど図３を用いて詳説する。

【0028】

これにより指関節検出部２は、指位置検出部１からの上記各指位置データＤfngに基づき、当該各指位置データＤfngによりその位置が示されている指に含まれている関節をそれぞれ検出する実施形態の指関節検出処理を実行し、その結果を関節データＤjntとして位置修正部３にそれぞれ出力する。なお、上記指関節検出処理については、後ほど図４を用いて詳説する。

【0029】

次に位置修正部３は、指関節検出部２からの上記各関節データＤjntに基づき、当該各関節データＤjntに相当する関節のそれぞれについて、例えば時間的に離れること（即ち時系列に沿って取得されたこと）に起因する位置ずれがあった場合、上記ＰＯＣ法を用いて当該位置ずれを相互に修正する実施形態の位置修正処理を実行し、その結果を修正関節データＤmとして分離部４にそれぞれ出力する。なお、上記位置修正処理については、後ほど図５及び図６を用いて詳説する。

【0030】

そして分離部４は、位置修正部３からの上記各修正関節データＤmに基づき、当該各修正関節データＤmに相当する画像から、当該画像に映っている関節を構成する例えば二つの骨の端部にそれぞれ相当する画像を分離する実施形態の関節分離処理を実行し、その結果を関節分離データＤsepとして変化検出部５に出力する。この分離部４の機能により、当該関節が映った一の画像から、当該関節を構成する各端部のみをそれぞれ含む二つの画像が分離されることとなる。なお、上記関節分離処理については、後ほど図７乃至図１３を用いて詳説する。

【0031】

最後に変化検出部５は、分離部４からの上記各関節分離データＤsepに基づき、当該各関節分離データＤsepに相当する画像に映っている上記各端部間の距離の変化（即ち、上記間隙の長さの変化）を、上記ＰＯＣ法を用いて検出する実施形態の間隙変化検出処理を実行し、その結果を上記検出結果データＤoutとして例えば上記図示しないディスプレイに出力する。なお、上記間隙変化検出処理については、後ほど図１４乃至図１６を用いて詳説する。

【0032】

（２）上記指位置検出処理について
次に、指位置検出部１により実行される上記指位置検出処理について、図２及び図３を用いて説明する。

【0033】

図３に例示するように、例えば右手をレントゲン装置で撮像して得られた画像Ｇ（図３（ａ）参照）に相当する画像データＤxが取得されると、初めに指位置検出部１は、上記指位置検出処理の第１処理として、例えばいわゆる大津の二値化処理を当該画像データＤxに対して施し、図３（ｂ）に例示される二値化画像を生成する。次に指位置検出部１は、上記指位置検出処理の第２処理として、当該二値化画像に対してモルフォロジー変換における膨張処理及び収縮処理を施し、雑音を除去した二値化画像を生成する（図３（ｃ）参照）。その後、指位置検出部１は、上記指位置検出処理の第３処理として、雑音が除去された二値化画像に対して従来と同様のエッジ検出処理及び輪郭近似処理を施し、各指及び手首等を形取った輪郭Ｒを検出する（図３（ｄ）参照）。次に指位置検出部１は、上記指位置検出処理の第４処理として、当該輪郭近似処理等が施された二値化画像に対して、従来と同様の端部検出処理（即ち、部分的な最大値及び最小値を検出する処理）を施し、各指の先端（図３（ｅ）において白○で示す）と指の間の部分（図３（ｅ）において白□で示す）とをそれぞれ検出する。次に指位置検出部１は、上記指位置検出処理の第５処理として、図３（ｅ）に例示する各先端及び各指の間の位置に基づき、各指の画像をそれぞれ切り出し、当該切り出した各指の中心線を設定する（図３（ｆ）参照）。そして指位置検出部１は、上記指位置検出処理の第６処理として、設定された中心線に基づいて指の開く角度を検出する処理を各指について施し（図３（ｇ）参照）、更に上記指位置検出処理の第７処理として、最終的に指の部分の画像のみを各指について図３（ｈ）に例示するように切り出す。その後、指位置検出部１は、各切り出された指の画像（図３（ｈ）参照）を、上記指位置データＤfngとして指関節検出部２に出力する。なお、本発明の発明者等による実験では、２５０画素×３００画素の画像Ｇを用いた上記指位置検出処理に要する時間は、約０．０５秒であった。

【0034】

（３）上記指関節検出処理について
次に、指関節検出部２により実行される上記指関節検出処理について、図２及び図４を用いて説明する。実施形態の指関節検出処理は、上記指位置データＤfngにより示されている指の位置を含む画像に対して、従来のHaar-like特徴量を用いた特徴量検出処理を施すことで、当該指の中から関節を検出する指関節検出処理である。このとき、上記Haar-like特徴量を用いた特徴量検出処理とは、画像の一部を切り出して得られた当該画像の部分における局所的な明暗差を当該部分の特徴量とし、その特徴量を部分ごとに組み合わせることで当該画像全体としての特徴を捉える特徴量検出処理である。

【0035】

即ち、実施形態の指関節検出部２は、図４（ａ）に示すように、ｎ個（ｎは予め設定された接続数）の複合識別器ＭＩ１乃至複合識別器ＭＩｎが直列に接続されて構成されている。そして、複合識別器ＭＩ１乃至複合識別器ＭＩｎの各々は、上記Haar-like特徴量を用いた二値の特徴量検出処理をそれぞれに行う二値識別器がＴ個（Ｔは予め設定された最適結合数）線形に接続されて構成されている。この構成において、上記二値識別器が本発明の「二値識別手段」の一例に相当し、複合識別器ＭＩ１乃至複合識別器ＭＩｎの各々が本発明の「複合識別手段」の一例にそれぞれ相当する。

【0036】

このとき、当該二値識別器のそれぞれは、例えば骨の端部同士で形成される関節の画像に対応して、「白」（関節を構成する一方の骨の端部に相当）－「黒」（上記間隙に相当）－「白」（関節を構成する他方の骨の端部に相当）なるフィルタを用いた下記式（１）に示されるHaar-like特徴量ｈの検出を行う。そしてこの結果、複合識別器ＭＩ１乃至複合識別器ＭＩｎの各々は、下記式（２）に示されるHaar-like特徴量Ｈの検出を行うことになる。

【数1】

【数2】

【0037】

より具体的には、図４（ａ）に示すように、上記指位置データＤfngが入力された指関節検出部２の復号識別器ＭＩ１は、上記二値の特徴量検出処理により当該指位置データＤfngに相当する画像（図４（ｂ）参照）から関節と認識される部分をそれぞれ検出し、その結果を次段の複合識別器ＭＩ２に出力する。これ以降、複合識別器ＭＩ２乃至複合識別器ＭＩｎは、順次複合識別器ＭＩ１と同様の二値の特徴量検出処理をそれぞれ施す。この結果、図４（ｃ）及び図４（ｄ）に白□で例示するように、上記フィルタに対応した各関節が元の画像Ｇから検出される。上記各関節の検出結果は、上記関節データＤjntとして位置修正部３に出力される。なお、本発明の発明者等による実験では、２，２８０画素×２，８６０画素の画像Ｇ（図４（ｄ）参照）を用いた上記指関節検出処理に要する時間は、約０．４秒であった。

【0038】

（４）上記位置修正処理について
次に、位置修正部３により実行される上記位置修正処理について、図２並びに図５及び図６を用いて説明する。実施形態の位置修正処理は、指関節検出部２からの上記各関節データＤjntに基づき、当該各関節データＤjntに相当する関節のそれぞれにおける上記位置ずれを、上記ＰＯＣ法を用いて相互に修正する位置修正処理である。より具体的に、実施形態の位置修正処理には、局所中央値を用いるいわゆるメディアンフィルタ（Median Filter）を用いて、上記関節データＤjntに相当する画像Ｇにおける高周波成分を除去する第１処理と、上記ＰＯＣ法を用いて位置ずれを修正する第２処理と、がある。このとき、上記高周波成分は、関節データＤjntに相当する関節を構成する骨の骨脈に対応した高周波成分であり、実施形態の間隙の長さの変化の検出には不要なものである。

【0039】

より具体的に、実施形態の位置修正処理の第１処理として、位置修正部３は、関節データＤjntに相当する画像Ｇ（図５（ａ）左に一例を示す）に対して上記Median Filterを適用する処理を施し、図５（ｂ）右に例示するように上記骨脈に相当する高周波成分を除去する。

【0040】

次に位置修正部３は、実施形態の位置修正処理の第２処理として、時系列に沿って取得されたことに起因する位置ずれが、例えば図５（ｂ）に例示するように関節データＤjntに相当する画像Ｇに含まれている場合、上記高周波成分が除去された画像の全体について、上記ＰＯＣ法を用いて当該位置ずれを相互に修正する。

【0041】

ここで、実施形態のＰＯＣ法は、上記位置修正処理だけでなく、後述する変化検出部５による実施形態の間隙変化検出処理でも用いられる。よって次に、当該ＰＯＣ法について図６を用いて一般的に説明する。

【0042】

即ち、例えば直近に撮像された画像Ｇに相当する画像データＤxを画像データｆ（ｘ，ｙ）と表し、それより過去に撮像された画像Ｇに相当する画像データＤxを画像データｇ（ｘ，ｙ）と表すとすると、上記ＰＯＣ処理では、図５に示すように、これらに対していわゆる離散フーリエ変換（Discrete Fourier Transform（以下、「ＤＦＴ」と称する））処理を初めにそれぞれ施して、波数（ｋ）空間の信号に変換する。このとき当該変換の結果は、下記式（３）のように表される。

【数3】

【0043】

上記ＰＯＣ処理では次に、図５に示すように、式（３）における関数Ｆ（ｋ_ｘ，ｋ_ｙ）及び関数Ｇ（ｋ_ｘ，ｋ_ｙ）をその振幅で除することによりそれぞれ正規化し、更にその一方を共役とすることで、いわゆる要素積（Hadamard Product又はElement-Wise Product）を求める。この要素積は、下記式（４）のように表される。

【数4】

【0044】

この式（４）において、「θ_Ｆ（ｋ_ｘ，ｋ_ｙ）」は複素関数Ｆ（ｋ_ｘ，ｋ_ｙ）の位相角であり、「θ_Ｇ（ｋ_ｘ，ｋ_ｙ）」は複素関数Ｇ（ｋ_ｘ，ｋ_ｙ）の位相角である。そして上記ＰＯＣ処理では最後に、上記式（４）により求められた要素積に対して、図５に示すように、いわゆる逆離散フーリエ変換（Inverse Discrete Fourier Transform（以下、「ＩＤＦＴ」と称する）処理を施し、当該ＰＯＣ処理の結果として出力する。この結果は、下記式（５）に示すものとなる。

【数5】

【0045】

ここで、上記画像データｆ（ｘ，ｙ）に相当する画像と、上記画像データｇ（ｘ，ｙ）に相当する画像と、の関係を、その位置ずれ量ｄ（水平方向の位置ずれであるか、垂直方向の位置ずれであるか、或いは斜め方向の位置ずれであるか、を問わない）を用いて表すとすると、以下の式（６）のようになる。

【数6】

【0046】

そして、式（６）の両辺に対してＤＦＴ処理（図５参照）を施した結果は、以下の式（７）となる。

【数7】

【0047】

従って、式（７）に対して上記式（４）と同様の正規化処理を施し、更にその要素積を求めると（それぞれ図５参照）、その結果は、上記式（４）に対応して、以下の式（８）に示すものとなる。

【数8】

【0048】

そして、上記式（８）の両辺に対してＩＤＦＴ処理（図５参照）を施した結果は、以下の式（９）となる。

【数9】

【0049】

この式（９）から判るように、上記画像データｆ（ｘ，ｙ）に相当する画像と、上記画像データｇ（ｘ，ｙ）に相当する画像と、の間に位置ずれｄがある場合（図５（ｂ）参照）、その位置ずれｄに対応して、式（９）で示されるデルタ（δ）関数としてのピークが現れることになる。

【0050】

そして位置修正部３は、位置修正処理の第２処理として、図５（ｃ）に例示するように上記デルタ関数のピークの位置に対応する位置ずれｄを相互に修正する。その後位置修正部３は、当該修正の結果を修正関節データＤmとして分離部４にそれぞれ出力する。

【0051】

（５）上記関節分離処理について
次に、分離部４により実行される上記関節分離処理について、図２並びに図７乃至図１３を用いて説明する。実施形態の関節分離処理には、位置修正部３からの上記各修正関節データＤm（即ち、時系列に沿って取得された各画像Ｇに相当する各修正関節データＤm）に基づき、当該各修正関節データＤmに相当する関節のそれぞれにおける上記間隙を溝（Gully）として検出する溝検出処理と、当該検出された間隙の画像に対してモルフォロジー変換処理を施すことにより上記間隙を挟んで相対している各骨端を分離する分離処理と、がある。

【0052】

初めに、上記関節分離処理における溝検出処理について、図７及び図８を用いて説明する。当該溝検出処理として分離部４は、先ず、図７左に例示する画像Ｇに映っている関節部分に対して図７中縦方向に直線を一本設定し、図７に例示するフィルタＡ１及びフィルタＢ１をその直線に沿って移動させつつ、当該フィルタＡ１及びフィルタＢ１を画像Ｇの各画素値（例えば、画像Ｇを構成する各画素の輝度値）に適用する処理を、当該直線の位置を図７中横方向に移動させつつ繰り返して行う。

【0053】

このときフィルタＡ１は、縦二画素×横三画素に相当する大きさを有し、各画素に対応するフィルタ係数は、図７に例示するように、左上から右下にかけて「１」、「２」、「１」、「－１」、「－２」及び「－１」となっている。一方フィルタＢ１は、縦二画素×横三画素に相当する大きさを有し、各画素に対応するフィルタ係数は、図７に例示するように、左上から右下にかけて「－１」、「－２」、「－１」、「１」、「２」及び「１」となっている。そして、フィルタＡ１の位置とフィルタＢ１の位置とは、図７に例示するように画素横一行分だけ移動方向にずらされている。従って、フィルタＡ１及びフィルタＢ１を、相互の位置関係を図７に例示する状態に維持しながら図７中縦方向に移動させつつ、画像Ｇの各画素値に適用する（即ち、当該画素値とフィルタ係数とを乗算する）と、その結果は、図７右において符号Ａ１及び符号Ｂ１で示す波形図（横軸は移動の位置を示し、縦軸は適用の結果の値を示す。以下、同様。）のように変化する。その後分離部４は、符号Ａ１で示す波形図の変化と、符号Ｂ１で示す波形の変化と、を比較し、同じ位置においてより小さい方を選択する関数Ｆ_１（ｍ，ｎ）（ｍ及びｎは画素の位置を示す。以下、同様。）を算出する。この結果、当該関数Ｆ_１（ｍ，ｎ）に対応する溝画像Ｐ１が得られる。これにより分離部４は、上記溝画像Ｐ１に相当する画像データを、図示しないＲＯＭ等に記録する。

【0054】

次に、上記溝検出処理として分離部４は、図７に例示するフィルタＡ２及びフィルタＢ２を上記直線に沿って移動させつつ、当該フィルタＡ２及びフィルタＢ２を画像Ｇの各画素値に適用する処理を、当該直線の位置を図７中横方向に移動させつつ繰り返して行う。

【0055】

このときフィルタＡ２は、縦四画素×横三画素に相当する大きさを有し、各画素に対応するフィルタ係数は、図７に例示するように、左上から右下にかけて「１」、「２」、「１」、「１」、「２」、「１」、「－１」、「－２」、「－１」、「－１」、「－２」及び「－１」となっている。一方フィルタＢ２は、縦四画素×横三画素に相当する大きさを有し、各画素に対応するフィルタ係数は、図７に例示するように、左上から右下にかけて「－１」、「－２」、「－１」、「－１」、「－２」、「－１」、「１」、「２」、「１」、「１」、「２」及び「１」となっている。そして、フィルタＡ２の位置とフィルタＢ２の位置とは、図７に例示するように画素横二行分だけ移動方向にずらされている。従って、フィルタＡ２及びフィルタＢ２を、相互の位置関係を図７に例示する状態に維持しながら図７中縦方向に移動させつつ、画像Ｇの各画素値に適用すると、その結果は、図７右において符号Ａ２及び符号Ｂ２で示す波形図のように変化する。その後分離部４は、符号Ａ２で示す波形図の変化と、符号Ｂ２で示す波形の変化と、を比較し、同じ位置においてより小さい方を選択する関数Ｆ_２（ｍ，ｎ）を算出する。この結果、当該関数Ｆ_２（ｍ，ｎ）に対応する溝画像Ｐ２が得られる。これにより分離部４は、上記溝画像Ｐ２に相当する画像データを、図示しないＲＯＭ等に記録する。このとき、溝画像Ｐ２は、上記溝画像Ｐ１をよりぼかした状態の溝画像（即ち不要な雑音が除去された溝画像。以下、同様。）となり、上記間隙に相当する溝が画像上鮮明となりつつある。

【0056】

更に、上記溝検出処理として分離部４は、図７に例示するフィルタＡ３及びフィルタＢ３を上記直線に沿って移動させつつ、当該フィルタＡ３及びフィルタＢ３を画像Ｇの各画素値に適用する処理を、当該直線の位置を図７中横方向に移動させつつ繰り返して行う。

【0057】

このときフィルタＡ３は、縦六画素×横三画素に相当する大きさを有し、各画素に対応するフィルタ係数は、図７に例示するように、左上から右下にかけて「１」、「２」、「１」、「１」、「２」、「１」、「１」、「２」、「１」、「－１」、「－２」、「－１」、「－１」、「－２」、「－１」、「－１」、「－２」及び「－１」となっている。一方フィルタＢ３は、縦六画素×横三画素に相当する大きさを有し、各画素に対応するフィルタ係数は、図７に例示するように、左上から右下にかけて「－１」、「－２」、「－１」、「－１」、「－２」、「－１」、「－１」、「－２」、「－１」、「１」、「２」、「１」、「１」、「２」、「１」、「１」、「２」及び「１」となっている。そして、フィルタＡ３の位置とフィルタＢ３の位置とは、図７に例示するように画素横三行分だけ移動方向にずらされている。従って、フィルタＡ３及びフィルタＢ３を、相互の位置関係を図７に例示する状態に維持しながら図７中縦方向に移動させつつ、画像Ｇの各画素値に適用すると、その結果として、上記フィルタＡ１及び上記フィルタＢ１又は上記フィルタＡ２及び上記フィルタＢ２の場合と同様に、対応する関数Ｆ_３（ｍ，ｎ）に対応する溝画像Ｐ３が得られる。これにより分離部４は、上記溝画像Ｐ３に相当する画像データを、図示しないＲＯＭ等に記録する。このとき、溝画像Ｐ３は、上記溝画像Ｐ２を更にぼかした状態の溝画像となり、上記間隙に相当する溝が画像上より鮮明となりつつある。

【0058】

これ以降分離部４は、上記フィルタＡ１及び上記フィルタＢ１等を用いた場合と同様の溝検出処理を、例えば図７に例示する縦十画素×横三画素に相当する大きさ及びフィルタ係数のフィルタＡ５及びフィルタＢ５を用いた処理まで繰返し、最終的に得られた溝画像Ｐ１乃至溝画像Ｐ５を重ね合わせることで、間隙に相当する溝部分が鮮明に表れた溝画像Ｐallを生成する。そして図８に例示するように、上記各溝検出処理により、フィルタＡ１及びフィルタＢ１等を変えつつそれぞれ得られた溝画像Ｐ１（図８（ａ）及び図７参照）、溝画像Ｐ５（図８（ｂ）及び図７参照）、溝画像Ｐ７（図８（ｃ）参照。各フィルタは縦十四画素×横三画素に相当する大きさ。）及び溝画像Ｐ９（図８（ｄ）参照。各フィルタは縦十八画素×横三画素に相当する大きさ。）を重ね合わせると、当該溝が鮮明に表された溝画像Ｐall（図８（ｅ）参照）が得られる。図８（ｅ）に例示する溝画像Ｐallでは、関節を構成する骨端ＥＧと、それに対応して形成されている間隙（溝）ＧＰと、が鮮明に表されている。

【0059】

次に、上記関節分離処理における分離処理について、図９乃至図１３を用いて説明する。当該分離処理として分離部４は、先ず、上記溝検出処理により検出された溝（間隙）を示す溝画像Ｐallに対して、例えば図９（ａ）に例示するような横十行×縦十列の画像ＰＸを設定する。ここで、設定された各画素ＰＸにおける画素値が、例えば図９（ｂ）に例示する各値であったとする。これにより分離部４は、モルフォロジー変換処理を用いた分離処理の第１処理として、先ず、左から一列目の最上部二画素分を含み且つ縦三画素分の大きさを有する枠Ｗ（図１０（ａ）において破線で示す）を当該左から一列目に設定し、その枠Ｗ内に含まれることとなる画素ＰＸの画素値の最大値（図１０（ａ）に例示する場合は「２」）が当該枠Ｗの中央の画素値となるように変換する、上記モルフォロジー変換処理における膨張処理を実行する（図１０（ａ）において破線矢印で示す）。次に分離部４は、枠Ｗを一画素分だけ図１０中下方にずらし（図１０（ａ）において一点鎖線で示す）、ずらした枠Ｗ内に含まれることとなる画素ＰＸの画素値の最大値（図１０（ａ）に例示する場合は「６」）が当該枠Ｗの中央の画素値となるように変換する膨張処理を実行する（図１０（ａ）において一点鎖線矢印で示す）。更に分離部４は、枠Ｗを更に一画素分だけ図１０中下方にずらし（図１０（ａ）において点線で示す）、ずらした枠Ｗ内に含まれることとなる画素ＰＸの画素値の最大値（図１０（ａ）に例示する場合は「６」）が当該枠Ｗの中央の画素値となるように変換する膨張処理を実行する（図１０（ａ）において点線矢印で示す）。以降分離部４は、上記と同様の膨張処理を、上記左から一列目の全ての画素ＰＸについて、枠Ｗを一画素分ずつ順に下方にずらしながら行う。この結果、当該左から一列目の各画素ＰＸの画素値は、図１０（ａ）右に斜体字で例示するものとなる。

【0060】

次に分離部４は、モルフォロジー変換処理を用いた分離処理の第２処理として、図１０（ｂ）左に示すように、膨張処理後の左から一列目の画素ＰＸの画素値を、左から二列目の対応する画素ＰＸの画素値に加算する。この結果、左から二列目の画素ＰＸの画素値は、図１０（ｂ）に例示する画素値となる。これにより、膨張処理後の左から一列目の画素値を左から二列目の画素値に反映（拡散）させることになる。

【0061】

次に分離部４は、モルフォロジー変換処理を用いた分離処理の第３処理として、現在の左から二列目の最上部二画素分を含み且つ縦三画素分の大きさを有する上記枠Ｗ（図１１（ａ）において破線で示す）を当該左から二列目に改めて設定し、その枠Ｗ内に含まれることとなる画素ＰＸの画素値の最大値（図１１（ａ）に例示する場合は「７」）が当該枠Ｗの中央の画素値となるように変換する上記膨張処理を実行する（図１１（ａ）において破線矢印で示す）。次に分離部４は、枠Ｗを一画素分だけ図１１中下方にずらし（図１１（ａ）において一点鎖線で示す）、ずらした枠Ｗ内に含まれることとなる画素ＰＸの画素値の最大値（図１１（ａ）に例示する場合は「１２」）が当該枠Ｗの中央の画素値となるように変換する膨張処理を実行する（図１１（ａ）において一点鎖線矢印で示す）。更に分離部４は、枠Ｗを更に一画素分だけ図１１中下方にずらし（図１１（ａ）において点線で示す）、ずらした枠Ｗ内に含まれることとなる画素ＰＸの画素値の最大値（図１１（ａ）に例示する場合は「１２」）が当該枠Ｗの中央の画素値となるように変換する膨張処理を実行する（図１１（ａ）において点線矢印で示す）。以降分離部４は、上記と同様の膨張処理を、上記左から二列目の全ての画素ＰＸについて、枠Ｗを一画素分ずつ順に下方にずらしながら行う、この結果、当該左から二列目の各画素ＰＸの画素値は、図１１（ａ）右に斜体字で例示するものとなる。なお、図１１（ａ）に例示する場合において、先に膨張処理が施された左から一列目の画素ＰＸの画素値は、当該膨張処理が施される前の画素値（図９（ｂ）又は図１０（ａ）左参照）に戻されていることに注意を要する。

【0062】

次に分離部４は、モルフォロジー変換処理を用いた分離処理の第４処理として、図１１（ｂ）左に示すように、膨張処理後の左から二列目の画素ＰＸの画素値を、左から三列目の対応する画素ＰＸの画素値に加算する。この結果、左から三列目の画素ＰＸの画素値は、図１１（ｂ）右に例示する画素値となる。これにより、膨張処理後の左から二列目の画素値を左から三列目の画素値に反映（拡散）させることになる。なお、図１１（ｂ）に例示する状態となった後、左から二列目の画素ＰＸの画素値は、モルフォロジー変換処理を用いた分離処理の第５処理として、図１２（ａ）に例示するように、当該膨張処理が施される直線の画素値（図１０（ｂ）右又は図１１（ａ）左参照）に戻されていることに注意を要する。

【0063】

これ以降、分離部４は、列ごとに上記膨張処理と右隣の対応する画素値への加算処理とを繰り返す。この結果、各画素ＰＸの画素値は、最終的には図１２（ｂ）に例示する画素値となる。その後分離部４は、右から一列目の画素ＰＸのうち最も画素値が高い画素ＰＸｅを起点として、右から左に向けて、左隣に隣接する列の縦三画素のうち最大の画素値を有する画素ＰＸ（図１２（ｂ）ハッチング参照）を辿ることで（図１２（ｂ）黒矢印参照）、分離処理の結果としての関節分離線ＳＥＰを設定する。

【0064】

以上の溝検出処理及び分離処理を含む実施形態の関節分離処理により、図１３（ａ）に例示する画像Ｇに対して関節分離線ＳＥＰが設定されると、次に分離部４は、図１３（ｂ）に例示するように、関節分離線ＳＥＰを境に画像Ｇを分割し、分割した画像Ｇに対して図１３（ｂ）に例示する空白部の調整（黒塗り）処理を施し、最終的に、一方の骨端のみを含む画像ＧＵと、他の骨端のみを含む画像ＧＬと、を生成する（図１３（ｃ）参照）。その後、分離部４は、上記生成された画像ＧＵ及び画像ＧＬに相当する関節分離データＤsepを、実施形態の関節分離処理の結果として変化検出部５に出力する。

【0065】

（６）上記間隙変化検出処理について
最後に、変化検出部５により実行される上記間隙変化検出処理について、図１４乃至図１６を用いて説明する。実施形態の間隙変化検出処理は、分離部４からの上記各関節分離データＤsep（即ち、時系列に沿って取得された各画像Ｇに相当する各関節分離データＤsep）に基づき、当該各関節分離データＤsepに相当する画像に映っている上記各端部間の距離の変化（即ち、上記間隙の長さの変化）を、上記ＰＯＣ法を用いて検出する間隙変化検出処理である。

【0066】

即ち図１４に例示するように、直近に撮像された関節の画像Ｇnから関節について分離（分割）された画像ＧＵn及び画像ＧＬnが関節分離データＤsepとして取得されており、一方で過去に撮像された関節の画像Ｇoから関節について分離（分割）された画像ＧＵo及び画像ＧＬoが関節分離データＤsepとして取得されている場合（図１４実線参照）、先ず変化検出部５は、画像ＧＵn及び画像ＧＵoを対象としたＰＯＣ処理により、画像ＧＵnに映っている骨端の位置と画像ＧＵoに映っている骨端の位置とのずれを示す位相差画像ＰＩＵ（デルタ関数の画像（上記式（９）参照。以下、同様。））を生成する（図１４破線参照）。これと並行して変化検出部５は、画像ＧＬn及び画像ＧＬoを対象としたＰＯＣ処理により、画像ＧＬnに映っている骨端の位置と画像ＧＬoに映っている骨端の位置とのずれを示す位相差画像ＰＩＬ（デルタ関数の画像）を生成する（図１４破線参照）。

【0067】

そして変化検出部５は、位相差画像ＰＩＵにおけるピーク位置に基づいて、画像ＧＵnに映っている骨端の位置と画像ＧＵoに映っている骨端の位置との上記ずれを、例えば「画像中右方向に１．７９３画素分、下方向に１．２４３画素分」のように算出する。また同様に、変化検出部５は、位相差画像ＰＩＬにおけるピーク位置に基づいて、画像ＧＬnに映っている骨端の位置と画像ＧＬoに映っている骨端の位置との上記ずれを、例えば「画像中右方向に０．６３４画素分、上方向に０．０２０画素分」のように算出する。これにより変化検出部５は、図１４に例示する状態に対応して図１５（ａ）に例示する画像ＧＵn及び画像ＧＵo並びに画像ＧＬn及び画像ＧＬoに基づいて検出された一方の骨端ＢＵoから骨端ＢＵnへのずれ（図１５（ｂ）中右下向き矢印で示す）と、他方の骨端ＢＬoから骨端ＢＬnへのずれ（図１５（ｂ）中右上向き矢印で示す）と、に基づき、最終的な上記間隙の長さの変化として、例えば「１．２６画素分の減少」といったように上記検出結果データＤoutを生成する。そしてこの検出結果データＤoutに相当する検出結果は、例えば図１６に例示するように、図示しないディスプレイＤに表示される。この場合、例えば、「The Result of Detected」として上記指関節検出処理により検出された関節の位置が示された画像Ｇが表示され、「Line Chart」として上記間隙変化検出処理により検出された間隙の長さが撮像日別に示され、更に「Knuckles」として各関節の画像Ｇが撮像日別に示されるのが好ましい。

【実施例】

【0068】

次に、実施形態に対応する実施例について、図１７を用い説明する。なお図１７は、当該実施例の結果をそれぞれ示す図である。

【0069】

即ち実施例として、本発明の発明者は、実施形態の間隙変化検出装置Ｓにより検出された上記間隙の長さについて、その直線性を実験により確認した。即ち、異なるスケールについて図１７（ａ）及び図１７（ｂ）に示すように、直線近似されたデータと、実施形態の間隙変化検出装置Ｓにより検出された上記間隙の長さのデータについて比較したところ、当該間隙変化検出装置Ｓにより検出された上記間隙の長さのデータについて良好な線形性があることが判った。このことから、実施形態の間隙変化検出装置Ｓにより検出された上記間隙の長さについては、その精度が高いことが理解できる。

【0070】

以上それぞれ説明したように、実施形態に係る間隙変化検出装置Ｓの動作によれば、複数の骨端及びそれらの間隙が映っている画像Ｇに相当する画像データＤxに基づいて各骨端を分離し（図７乃至図１３参照）、当該骨端それぞれについての時系列の位置変化をＰＯＣ法を用いて検出し、その検出結果に基づいて間隙の長さの変化を検出するので、当該間隙の長さの変化を、画像データＤxから、例えば医師の主観等を介在させることなく、的確且つ定量的に検出することができる。

【0071】

また、画像データＤxに対するモルフォロジー変換処理による変換結果に基づいて指を検出し（図３参照）、当該検出された指の位置に基づいて骨端を検出して分離するので、より正確に当該骨端を検出して分離することができる。

【0072】

更に、検出された指について二値識別処理を施して関節を検出し（図４参照）、検出された関節に基づいて骨端を検出して分離するので、更に正確に当該骨端を検出して分離することができる。

【0073】

更にまた、時系列に対応した画像データＤx間における位置ずれを、画像Ｇの全体に対するＰＯＣ法を用いて検出し、その検出された位置ずれを除去しつつ時系列の位置変化を検出するので（図５参照）、より正確に当該位置変化を検出することができる。

【0074】

また、取得した画像データＤxに対するモルフォロジー変換処理による変換結果に基づいて骨端を画像Ｇにおいてそれぞれ分離するので（図９乃至図１２参照）、より正確に当該骨端を分離することができる。

【0075】

なお上述した実施形態及び実施例では、関節における骨端の間隙の長さの変化を検出対象としたが、これ以外に、画像Ｇとして撮像し得る物体の間にある間隙の長さの変化の検出に対して、本発明を広く適用することができる。

【0076】

また、上記指位置検出処理、上記指関節検出処理、上記位置修正処理、上記関節分離処理及び上記間隙変化検出処理のそれぞれに相当するプログラムを、光ディスク又はハードディスク等の記録媒体に記録しておき、或いはインターネット等のネットワークを介して取得しておき、これを汎用のマイクロコンピュータ等に読み出して実行することにより、当該マイクロコンピュータ等を実施形態に係る間隙変化検出装置Ｓとして機能させることも可能である。

【産業上の利用可能性】

【0077】

以上それぞれ説明したように、本発明は間隙変化検出装置の分野に利用することが可能であり、特に関節リュウマチに関する診断を行う場合における関節内の骨端の間隙の長さの変化を検出する間隙変化検出装置の分野に適用すれば、特に顕著な効果が得られる。

【符号の説明】

【0078】

１ 指位置検出部
２ 指関節検出部
３ 位置修正部
４ 分離部
５ 変化検出部
Ｓ 間隙変化検出装置
ＳＳ 間隙検出システム
ＳＸ 撮像装置
ＥＧ 骨端
ＧＰ 間隙（溝）
ＳＥＰ 関節分離線
Ｄx 画像データ
Ｄout 検出結果データ
Ｄfng 指位置データ
Ｄjnt 関節データ
Ｄm 修正関節データ
Ｄsep 関節分離データ
Ｇ、Ｇn、ＧＵn、ＧＬn、Ｇo、ＧＵo、ＧＬo 画像
ＰＩＵ、ＰＩＬ 位相差画像
ＢＵo、ＢＵn、ＢＬo、ＢＬn 骨端

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】