7465469 学習装置、推定装置、学習プログラム、及び推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-03

(45)【発行日】2024-04-11

(54)【発明の名称】学習装置、推定装置、学習プログラム、及び推定プログラム

(51)【国際特許分類】

   A61B 6/00 20240101AFI20240404BHJP

   A61B 5/055 20060101ALI20240404BHJP

   G06T 7/00 20170101ALI20240404BHJP

   G06T 7/70 20170101ALI20240404BHJP

【ＦＩ】

A61B6/00 560

A61B5/055 380

G06T7/00 350B

G06T7/00 612

G06T7/00 660Z

G06T7/70 A

【請求項の数】 7

(21)【出願番号】P 2020086303

(22)【出願日】2020-05-15

(65)【公開番号】P2021178151

(43)【公開日】2021-11-18

【審査請求日】2023-02-21

(73)【特許権者】

【識別番号】513099603

【氏名又は名称】兵庫県公立大学法人

(73)【特許権者】

【識別番号】504132917

【氏名又は名称】株式会社アストロステージ

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】小橋 昌司

(72)【発明者】

【氏名】平本 淳一

(72)【発明者】

【氏名】盛田 健人

【審査官】亀澤 智博

(56)【参考文献】

【文献】国際公開第２０１７／２１７０５０（ＷＯ，Ａ１）

【文献】特開２０１８－００５７２７（ＪＰ，Ａ）

【文献】特開２０１３－０２０５７８（ＪＰ，Ａ）

【文献】国際公開第２００７／０１０８９３（ＷＯ，Ａ１）

【文献】特開２０１８－１６１３９７（ＪＰ，Ａ）

【文献】特表２０１０－５１５５５７（ＪＰ，Ａ）

【文献】特開２０１７－１９１５７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００ － ６／５８

Ａ６１Ｂ ５／０５５

Ｇ０６Ｔ １／００ ， ７／００

Ｇ１６Ｈ ３０／００ －３０／４０

(57)【特許請求の範囲】

【請求項1】

生体内の骨組織が撮影された第１及び第２撮影画像を取得する取得部と、
前記第１撮影画像を複数の領域に分割し、分割した領域の画像特徴量を求める演算部と、
前記画像特徴量を機械学習することにより、任意の領域が関節領域である第１クラスを含む少なくとも一つのクラスのうちのどのクラスに属するかを識別するための識別器を生成する生成部と、
前記第２撮影画像から複数の関節間の相対位置をモデル位置情報として抽出する抽出部と、
を備え、
前記モデル位置情報は所定数のパラメータを有し、
前記所定数は、前記複数の関節の個数と前記複数の関節それぞれの位置を示す各座標の次元数との乗算値よりも小さいことを特徴とする学習装置。

【請求項2】

前記第２撮影画像は複数枚あり、複数枚の第２撮影画像それぞれは異なる生体を被写体として撮影された画像であり、
前記抽出部は、複数枚の第２撮影画像の関節位置を主成分分析することによって前記モデル位置情報を抽出する、請求項１に記載の学習装置。

【請求項3】

前記少なくとも一つのクラスは、指先領域である第２クラスを含む、請求項１又は請求項２に記載の学習装置。

【請求項4】

前記取得部と前記演算部及び前記抽出部との間に設けられる前処理部を備え、
前記前処理部は、
前記第１撮影画像及び前記第２撮影画像を水平線によって複数のブロックに分割し、
前記複数のブロックそれぞれにおいて前記生体が写っている被写体領域と前記生体が写っていない背景領域との境界となる画素値を画素値ヒストグラムに基づき求め、
前記複数のブロック間の前記境界となる画素値のシフトが小さくなるように前記ブロック単位で画素値を補正する請求項１～３のいずれか一項に記載の学習装置。

【請求項5】

コンピュータを、
生体内の骨組織が撮影された第１及び第２撮影画像を取得する取得部、
前記第１撮影画像を複数の領域に分割し、分割した領域の画像特徴量を求める演算部、
前記画像特徴量を機械学習することにより、任意の領域が関節領域である第１クラスを含む少なくとも一つのクラスのうちのどのクラスに属するかを識別するための識別器を生成する生成部、及び
前記第２撮影画像から複数の関節間の相対位置をモデル位置情報として抽出する抽出部、
として機能させる学習プログラムであって、
前記モデル位置情報は所定数のパラメータを有し、
前記所定数は、前記複数の関節の個数と前記複数の関節それぞれの位置を示す各座標の次元数との乗算値よりも小さいことを特徴とする学習プログラム。

【請求項6】

学習装置によって生成された識別器及び前記学習装置によって抽出されたモデル位置情報を有する推定装置であって、
前記学習装置は、請求項１～４のいずれか一項に記載の学習装置であり、
前記推定装置は、
生体内の骨組織が撮影された推定対象画像を複数の領域に分割し、前記複数の領域それぞれに対して画像特徴量を求める第１処理部と、
前記第１処理部によって求められた前記画像特徴量から、前記識別器を用いて、前記複数の領域それぞれに対して関節らしさを示す度合を求める第２処理部と、
前記関節らしさを示す度合に基づき前記推定対象画像における関節の候補を求める第３処理部と、
前記関節の候補に基づき前記モデル位置情報の前記パラメータを変更し、前記モデル位置情報における各関節に対応する前記識別器で求められた前記関節らしさを示す度合の合計を最大化するように前記パラメータの更新を収束させる第４処理部と、
を備えることを特徴とする推定装置。

【請求項7】

コンピュータを、
学習装置によって生成された識別器及び前記学習装置によって抽出されたモデル位置情報を有する推定装置として機能させる推定プログラムであって、
前記学習装置は、請求項１～４のいずれか一項に記載の学習装置であり、
前記推定装置は、
生体内の骨組織が撮影された推定対象画像を複数の領域に分割し、前記複数の領域それぞれに対して画像特徴量を求める第１処理部と、
前記第１処理部によって求められた前記画像特徴量から、前記識別器を用いて、前記複数の領域それぞれに対して関節らしさを示す度合を求める第２処理部と、
前記関節らしさを示す度合に基づき前記推定対象画像における関節の候補を求める第３処理部と、
前記関節の候補に基づき前記モデル位置情報の前記パラメータを変更し、前記モデル位置情報における各関節に対応する前記識別器で求められた前記関節らしさを示す度合の合計を最大化するように前記パラメータの更新を収束させる第４処理部と、
を備えることを特徴とする推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生体内の骨組織が撮影された撮影画像における関節の位置を推定するための学習装置、推定装置、学習プログラム、及び推定プログラムに関する。

【背景技術】

【0002】

近年、関節リウマチ患者の数は増加している。関節リウマチは、自己の免疫が主に手足の関節を侵すことで、関節痛、関節の変形が生じる炎症性自己免疫疾患である。

【0003】

関節リウマチは、早期からの治療により予後の改善が可能な疾患である。従って、関節リウマチ患者に適切な治療を施すために疾患の進行度合いを正確に評価する必要がある。

【0004】

関節リウマチの進行度合いは、例えばｍＴＳ（modified Total Sharp）スコアによって評価される。

【先行技術文献】

【特許文献】

【0005】

【文献】特表２０１７－５３４３９７号公報（段落０００９、００１０）

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来、ｍＴＳスコアを算出するために、関節リウマチ患者の手指又は足指が撮影されたＸ線画像における関節位置を医師が手動で特定する必要があった。この関節位置を手動で特定する作業は医師にとって手間であった。また、関節位置の特定精度が医師の技量に依存するという問題もあった。

【0007】

このため、関節位置を自動で特定できる画像処理の開発が望まれている。ここで、関節位置を自動で特定できる画像処理において演算負荷が大きければ、処理時間の増大などの新たな問題が生じる。

【0008】

なお、特許文献１には指関節の位置を自動的に識別する技術が開示されているが、手固定具、センサ等を必要とする技術であり、使い勝手の悪いものであった。

【0009】

本発明は、上記の状況に鑑み、画像処理における演算負荷を抑制しつつ、関節の位置を推定するために必要な学習結果を得ることができる学習装置及び学習プログラムを提供することを目的とする。

【0010】

また本発明は、上記の状況に鑑み、画像処理における演算負荷を抑制しつつ、関節の位置を推定することができる推定装置及び推定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

上記目的を達成するために本発明の第１局面に係る学習装置は、複数の関節それぞれの領域を含む画像における前記複数の関節それぞれの位置を特定する第１特定部と、前記複数の関節間の相対位置をモデル位置情報として特定する第２特定部と、を備え、前記モデル位置情報は所定数のパラメータを有し、前記所定数は、前記複数の関節の個数と前記複数の関節それぞれの位置を示す各座標の次元数との乗算値よりも小さい構成（第１の構成）とする。

【0012】

上記目的を達成するために本発明の第２局面に係る学習装置は、生体内の骨組織が撮影された第１及び第２撮影画像を取得する取得部と、前記第１撮影画像を複数の領域に分割し、分割した領域の画像特徴量を求める演算部と、前記画像特徴量を機械学習することにより、任意の領域が関節領域である第１クラスを含む少なくとも一つのクラスのうちのどのクラスに属するかを識別するための識別器を生成する生成部と、前記第２撮影画像から複数の関節間の相対位置をモデル位置情報として抽出する抽出部と、を備え、前記モデル位置情報は所定数のパラメータを有し、前記所定数は、前記複数の関節の個数と前記複数の関節それぞれの位置を示す各座標の次元数との乗算値よりも小さい構成（第２の構成）とする。

【0013】

上記第２の構成の学習装置において、前記第２撮影画像は複数枚あり、複数枚の第２撮影画像それぞれは異なる生体を被写体として撮影された画像であり、前記抽出部は、複数枚の第２撮影画像の関節位置を主成分分析することによって前記モデル位置情報を抽出する構成（第３の構成）であってもよい。

【0014】

上記第２又は第３の構成の学習装置において、前記少なくとも一つのクラスは、指先領域である第２クラスを含む構成（第４の構成）であってもよい。

【0015】

上記第２～第４いずれかの構成の学習装置において、前記取得部と前記演算部及び前記抽出部との間に設けられる前処理部を備え、前記前処理部は、前記第１撮影画像及び前記第２撮影画像を水平線によって複数のブロックに分割し、前記複数のブロックそれぞれにおいて前記生体が写っている被写体領域と前記生体が写っていない背景領域との境界となる画素値を画素値ヒストグラムに基づき求め、前記複数のブロック間の前記境界となる画素値のシフトが小さくなるように前記ブロック単位で画素値を補正する構成（第５の構成）であってもよい。

【0016】

上記目的を達成するために本発明の第３局面に係る学習プログラムは、コンピュータを、複数の関節それぞれの領域を含む画像における前記複数の関節それぞれの位置を特定する第１特定部、及び前記複数の関節間の相対位置をモデル位置情報として特定する第２特定部、として機能させる学習プログラムであって、前記モデル位置情報は所定数のパラメータを有し、前記所定数は、前記複数の関節の個数と前記複数の関節それぞれの位置を示す各座標の次元数との乗算値よりも小さい構成（第６の構成）とする。

【0017】

上記目的を達成するために本発明の第４局面に係る学習プログラムは、コンピュータを、生体内の骨組織が撮影された第１及び第２撮影画像を取得する取得部、前記第１撮影画像を複数の領域に分割し、分割した領域の画像特徴量を求める演算部、前記画像特徴量を機械学習することにより、任意の領域が関節領域である第１クラスを含む少なくとも一つのクラスのうちのどのクラスに属するかを識別するための識別器を生成する生成部、及び前記第２撮影画像から複数の関節間の相対位置をモデル位置情報として抽出する抽出部、として機能させる学習プログラムであって、前記モデル位置情報は所定数のパラメータを有し、前記所定数は、前記複数の関節の個数と前記複数の関節それぞれの位置を示す各座標の次元数との乗算値よりも小さい構成（第７の構成）とする。

【0018】

上記目的を達成するために本発明の第５局面に係る推定装置は、学習装置によって生成された識別器及び前記学習装置によって抽出されたモデル位置情報を有する推定装置であって、前記学習装置は、上記第２～第５いずれかの構成の学習装置であり、前記推定装置は、生体内の骨組織が撮影された推定対象画像を複数の領域に分割し、前記複数の領域それぞれに対して画像特徴量を求める第１処理部と、前記第１処理部によって求められた前記画像特徴量から、前記識別器を用いて、前記複数の領域それぞれに対して関節らしさを示す度合を求める第２処理部と、前記関節らしさを示す度合に基づき前記推定対象画像における関節の候補を求める第３処理部と、前記関節の候補に基づき前記モデル位置情報の前記パラメータを変更し、前記モデル位置情報における各関節に対応する前記識別器で求められた前記関節らしさを示す度合の合計を最大化するように基づき前記パラメータの更新を収束させる第４処理部と、を備える構成（第８の構成）とする。

【0019】

上記目的を達成するために本発明の第６局面に係る推定プログラムは、コンピュータを、学習装置によって生成された識別器及び前記学習装置によって抽出されたモデル位置情報を有する推定装置として機能させる推定プログラムであって、前記学習装置は、上記第１～第４いずれかの構成の学習装置であり、前記推定装置は、生体内の骨組織が撮影された推定対象画像を複数の領域に分割し、前記複数の領域それぞれに対して画像特徴量を求める第１処理部と、前記第１処理部によって求められた前記画像特徴量から、前記識別器を用いて、前記複数の領域それぞれに対して関節らしさを示す度合を求める第２処理部と、前記関節らしさを示す度合に基づき前記推定対象画像における関節の候補を求める第３処理部と、前記関節の候補に基づき前記モデル位置情報の前記パラメータを変更し、前記モデル位置情報における各関節に対応する前記識別器で求められた前記関節らしさを示す度合の合計を最大化するように前記パラメータの更新を収束させる第４処理部と、を備える構成（第９の構成）とする。

【発明の効果】

【0020】

本発明に係る学習装置及び学習プログラムによると、画像処理における演算負荷を抑制しつつ、関節の位置を推定するために必要な学習結果を得ることができる。

【0021】

本発明に係る推定装置及び推定プログラムによると、画像処理における演算負荷を抑制しつつ、関節の位置を推定することができる。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態に係る情報処理装置の構成を示す図

【図2】図１に示す情報処理装置の機能の一例を示す機能ブロック図

【図3】取得部によって取得されたＸ線撮影画像の一例を示す図

【図4】取得部によって取得されたＸ線撮影画像の他の例を示す図

【図5】第１撮影画像を水平線で分割する様子を示す模式図

【図6】ブロックの番号と、境界となる画素値との関係を示す図

【図7】学習装置の概略動作例を示すフローチャート

【図8】推定装置の概略動作例を示すフローチャート

【発明を実施するための形態】

【0023】

本発明の実施形態について図面を参照して以下に説明する。

【0024】

＜１．情報処理装置の構成＞
図１は、本発明の一実施形態に係る情報処理装置の構成を示す図である。本発明の一実施形態に係る情報処理装置１（以下、情報処理装置１という）は、制御部２、記憶部３、通信部４、表示部５、及び操作部６を備える。

【0025】

制御部２は、例えばマイクロコンピュータである。制御部２は、情報処理装置１の全体を統括的に制御する。制御部２は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。

【0026】

記憶部３は、例えばフラッシュメモリ、ハードディスクドライブ等である。各種のデータ、情報処理装置１によって実行される学習プログラム及び推定プログラム等を記憶する。

【0027】

通信部４は、外部装置との通信を行うための通信インターフェースである。通信部４と外部装置との通信方法は、有線通信でもよく、無線通信でもよく、有線と無線とを組み合わせた通信であってもよい。外部装置としては、例えばＸ線撮影画像を撮影するＸ線撮影装置、Ｘ線撮影画像を記憶している記憶装置等を挙げることができる。

【0028】

表示部５は、例えば液晶表示装置、有機ＥＬ（Electro Luminescence）表示装置等である。表示部５は、制御部２の制御に基づいて各種の画像を表示する。

【0029】

操作部６は、例えばキーボード、ポインティングデバイス等である。操作部６は、ユーザの操作内容に応じた信号を制御部２に出力する。

【0030】

＜２．情報処理装置の機能＞
図２は、情報処理装置１の機能の一例を示す機能ブロック図である。情報処理装置１は、学習プログラムを実行することによって学習装置１０として機能する。情報処理装置１は、推定プログラムを実行することによって推定装置２０として機能する。なお、本実施形態では、１台の情報処理装置１が学習装置１０及び推定装置２０を機能部として含んでいるが、本実施形態とは異なり、学習装置１０を機能部として含む情報処理装置と、推定装置２０を機能部として含む情報処理装置とが別々の情報処理装置であってもよい。

【0031】

＜２－１．学習装置＞
学習装置１０は、取得部１１、前処理部１２、演算部１３、生成部１４、及び抽出部１５を含む。

【0032】

取得部１１は、生体内の骨組織が撮影された第１及び第２撮影画像を取得する。具体的には、取得部１１は、通信部４（図１参照）によって外部装置から第１及び第２撮影画像を取得する。

【0033】

本実施形態では、第１撮影画像と第２撮影画像とは同一の画像である。なお、本実施形態とは異なり、第１撮影画像と第２撮影画像とは異なる撮影画像であってもよい。

【0034】

また、本実施形態では、取得部１１は複数の第１撮影画像（＝第２撮影画像）を取得する。より詳細には、取得部１１は、複数の第１撮影画像（＝第２撮影画像）として複数のＸ線撮影画像を取得する。本実施形態では、取得部１１によって取得された複数のＸ線撮影画像は、レントゲン撮影装置によって撮影された異なる複数人の両手の画像である。

【0035】

図３は、取得部１１によって取得されたＸ線撮影画像の一例であり、関節リウマチが進行していない人の両手の画像である。図４は、取得部１１によって取得されたＸ線撮影画像の他の例であり、関節リウマチが進行した人の両手の画像である。

【0036】

図３及び図４から分かるように、Ｘ線撮影画像の上部は暗くなっており、Ｘ線撮影画像の下部は明るくなっている。このような上下方向における明暗の発生は、レントゲン撮影装置の特性に起因するものである。

【0037】

そこで、前処理部１２は、図５に示す模式図のように第１撮影画像（＝第２撮影画像）を等間隔に並ぶ水平線Ｈ１～Ｈ９によってブロックＢ１～Ｂ１０に分割する。ここでは、図示を簡単にするために分割数を１０にしたが、実際の分割数は例えば１００～４００程度が好ましい。分割数が少なすぎると、滑らかな補正が行えず、逆に分割数が多すぎると、各ブロックの領域が狭くなり、ノイズ耐性が劣化するからである。本実施形態では、実際の分割数を２００としている。それから、前処理部１２は、ブロックＢ１～Ｂ１０それぞれにおいて手領域（前景）と非手領域（背景）との境界となる画素値（しきい値）を求める。手領域（前景）と非手領域（背景）との境界となる画素値（しきい値）を求める手法は特に限定されないが、本実施形態では大津のしきい値法を用いる。そして、前処理部１２は、ブロックＢ１～Ｂ１０間の境界となる画素値のシフトが小さくなるようにブロックＢ１～Ｂ１０単位で画素値を補正する。例えば、ブロックの番号と、境界となる画素値とが図６に示す関係であって指数関数Ｅ１で近似できる場合、当該指数関数Ｅ１が直線Ｌ１に変換されるように、ブロックＢ１～Ｂ１０毎に異なるパラメータを設定し、当該パラメータを画素値に演算することで画素値を補正する。つまり、画素値を補正した後、ブロックＢ１～Ｂ１０それぞれにおいて手領域（前景）と非手領域（背景）との境界となる画素値（しきい値）を画素値ヒストグラムに基づき大津のしきい値法で求めると、ブロックの番号と、境界となる画素値（しきい値）との関係が直線Ｌ１で近似できる。

【0038】

なお、上述したＸ線撮影画像に対する補正処理は、学習装置１０でしか実行できない処理ではなく、Ｘ線撮影画像に対して画像処理を行う画像処理装置全般に適用することができる。

【0039】

次に、前処理部１２は、第１撮影画像（＝第２撮影画像）から手領域を自動抽出する。具体的には、前処理部１２は、図６に示す直線Ｌ１の縦軸座標値である境界となる画素値（しきい値）ＴＨ１より高い画素値を手領域とする。さらに、前処理部１２は、境界となる画素値（しきい値）ＴＨ１以下の画素値を非手領域とし、手領域及び非手領域それぞれにおいて穴や孤立点の除去、形状の平滑化、微小面積領域の除去を行って、手領域及び非手領域それぞれを確定する。

【0040】

次に、前処理部１２は、左手と右手との分割を行う。右手と左手を分割する手法は特に限定されないが、本実施形態では大津のしきい値法を用いる。具体的には、本実施形態において前処理部１２は、第１撮影画像（＝第２撮影画像）から水平方向に手領域の画素値ヒストグラムを作成し、その手領域の画素値ヒストグラムに基づき大津のしきい値法で第１撮影画像（＝第２撮影画像）における左手と右手との分割ラインを決定する。右手領域は、前処理部１２によって左右反転され、以後は左手として取り扱われる。つまり、右手領域を左右反転してから後は、一つの第１撮影画像（＝第２撮影画像）に二つの左手が存在することになる。これにより、一つの第１撮影画像（＝第２撮影画像）から左手に関するデータが２つ得られる。このようにしてデータ数を２倍に増やすことで、学習装置１０における学習精度及び推定装置２０における推定精度を向上できる。

【0041】

本実施形態では、演算部１３は、垂直方向１００画素×水平方向１００画素の領域を設定し、各々の第１撮影画像を複数の領域に分割する。演算部１３によって設定される領域の垂直方向画素数は１００に限定されない。同様に、演算部１３によって設定される領域の水平方向画素数も１００に限定されない。演算部１３によって設定される領域の垂直方向画素数と演算部１３によって設定される領域の水平方向画素数とは同一であってもよく同一でなくてもよい。また、本実施形態では、隣接する領域間で重複部分がない態様で各々の第１撮影画像が複数の領域に分割されるが、隣接する領域間で重複部分がある態様で各々の第１撮影画像が複数の領域に分割されてもよい。

【0042】

次に、演算部１３は、領域それぞれの画像特徴量を求める。本実施形態では、画像特徴量として、ＨＯＧ（Histograms of Oriented Gradients）特徴量を使用している。ＨＯＧ特徴量は幾何学的変換に強く、第１撮影画像の明るさの変動に頑健であることが、ＨＯＧ特徴量を使用した理由である。なお、本実施形態とは異なり、演算部１３がＨＯＧ特徴量以外の画像特徴量を求めてもよい。

【0043】

生成部１４は、関節領域である第１クラスを含む複数のクラスを設定する。

【0044】

本実施形態では、生成部１４は、関節領域である第１クラスと、指先領域である第２クラスと、関節領域でもなく指先領域でもない領域である第３クラスと、を設定する。生成部１４が指先領域である第２クラスを設定することにより、学習装置１０が指先領域を誤って関節領域であると学習することを抑制することができる。なお、本実施形態とは異なり、生成部１４が、関節領域である第１クラス及び非関節領域であるクラスの二つのクラスのみを設定してもよい。また、本実施形態とは異なり、生成部１４が関節領域である第１クラスのみを設定してもよい。

【0045】

生成部１４は、各々の第１撮影画像内の各々の左手領域から、操作部６（図１参照）の出力信号に基づき第１クラスにおいて１４個の領域を選択する。つまり、第１クラスにおける領域選択は手動である。当該１４個の領域は、母指第１関節に対応する領域、母指第２関節に対応する領域、示指第１関節に対応する領域、示指第２関節に対応する領域、示指第３関節に対応する領域、中指第１関節に対応する領域、中指第２関節に対応する領域、中指第３関節に対応する領域、環指第１関節に対応する領域、環指第２関節に対応する領域、環指第３関節に対応する領域、小指第１関節に対応する領域、小指第２関節に対応する領域、及び小指第３関節に対応する領域である。演算部１３は、上述したように各々の第１撮影画像内の各々の左手領域から第１クラスにおいて１４個の領域を選択するので、複数の関節それぞれの領域を含む画像における複数の関節それぞれの位置を特定する第１特定部であるともいえる。

【0046】

生成部１４は、各々の第１撮影画像内の各々の左手領域から、操作部６（図１参照）の出力信号に基づき第２クラスにおいて５個の領域を選択する。つまり、第２クラスにおける領域選択は手動である。当該５個の領域は、母指の指先に対応する領域、示指の指先に対応する領域、中指の指先に対応する領域、環指の指先に対応する領域、及び小指の指先に対応する領域である。

【0047】

生成部１４は、各々の第１撮影画像内の各々の左手領域から、第１クラスの領域及び第２クラスの領域を除いた後、第３クラスにおいて例えば２５個の領域をランダムに選択する。つまり、第３クラスにおける領域選択は自動である。本実施形態では、演算部１３は、第３クラスにおいて複数の領域を所定の条件を満たした上でランダムに選択する。当該所定の条件は、第３クラスにおいて選択される各領域が第３クラスにおいて選択される他の領域と重複せず、且つ、第３クラスにおいて選択される各領域が偏在しないように平均的に配置されるという条件である。

【0048】

次に、生成部１４は、複数の第１撮影画像それぞれに対してコントラストを変更する。コントラストの変更は一種類でもよく複数種類でもよい。元の第１撮影画像とコントラストを変更した第１撮影画像とが学習データとして用いられる。

【0049】

生成部１４は、上述した学習データ、領域それぞれの画像特徴量を演算部１３から受け取る。生成部１４は、上述した学習データを用いて、第１クラスの領域それぞれの画像特徴量、第２クラスの領域それぞれの画像特徴量、及び第３クラスの領域それぞれの画像特徴量を機械学習することにより、任意の領域が第１～第３クラスのうちのどのクラスに属するかを識別するための識別器を生成する。識別器を生成する手法は特に限定されないが、本実施形態ではサポートベクターマシンにより識別器を生成する。

【0050】

抽出部１５は、第２撮影画像（＝第１撮影画像）の各指関節の中心位置を前処理部１２から受け取る。なお、前処理部１２は、第２撮影画像（＝第１撮影画像）の各指関節の中心位置を操作部６（図１参照）の出力信号に基づき選択する。つまり、第２撮影画像（＝第１撮影画像）の各指関節の中心位置の選択は手動である。抽出部１５は、複数の第２撮影画像に対して関節毎に座標の平均値を求め、関節毎の座標の平均値に基づいて複数の第２撮影画像それぞれに対して剛体レジストレーションを実行する。抽出部１５は、剛体レジストレーション後の複数の第２撮影画像に対して関節毎に座標の平均値を求め、関節毎の座標の平均値に基づいて複数の第２撮影画像それぞれに対して剛体レジストレーションを実行する。抽出部１５は、剛体レジストレーションが収束するまで、関節毎の座標の平均値算出と剛体レジストレーションとを繰り返す。抽出部１５は、剛体レジストレーションが収束した第２撮影画像（＝第１撮影画像）から複数の関節間の相対位置をモデル位置情報として抽出する。モデル位置情報は所定数のパラメータを有する。そして、所定数は、複数の関節の個数と複数の関節それぞれの位置を示す各座標の次元数との乗算値よりも小さい。これにより、複数の関節それぞれの位置を示す各座標によってモデル位置情報を構成する場合と比較して、画像処理における演算負荷を抑制しつつ、関節の位置を推定することができる。抽出部１５は、上述したように第２撮影画像（＝第１撮影画像）から複数の関節間の相対位置をモデル位置情報として抽出するので、複数の関節間の相対位置をモデル位置情報として特定する第２特定部であるともいえる。

【0051】

本実施形態では、抽出部１５は、レントゲン撮影装置によって撮影された異なる複数人の両手の画像から複数の手指関節間の相対位置をモデル位置情報として抽出する。本実施形態では、モデル位置情報は３個のパラメータを有し、モデル位置情報における複数の手指関節の個数は１４個であり、複数の手指関節それぞれの位置を示す各座標は２次元である。なお、モデル位置情報における所定数のパラメータは３個のパラメータに限定されず、上述したように所定数が複数の関節の個数と複数の関節それぞれの位置を示す各座標の次元数との乗算値よりも小さければよい。

【0052】

また、本実施形態では、抽出部１５は、Ｍ枚の第２撮影画像の関節位置を主成分分析することによってモデル位置情報を抽出する。一つの手には１４個の関節点が存在し、各関節点は第２撮影画像において２次元の座標を有するので、一つの手（例えば右手）の各関節点の座標を１次元ベクトル化すると、以下のようなベクトルａとなる。
ａ＝［ｘ_１Ｒ１，ｙ_１Ｒ１，ｘ_１Ｒ２，ｙ_１Ｒ２，…，ｘ_１Ｒ１４，ｙ_１Ｒ１４］

【0053】

したがって、Ｍ枚の第２撮影画像の関節位置の情報は、以下のようなＭ行２８列の行列Ａとなる。

【数1】

【0054】

抽出部１５は、行列Ａを主成分分析することによってモデル位置情報を抽出する。本実施形態で、モデル位置情報は、平均ベクトル＋主成分スコア×主成分ベクトルで表現される。平均ベクトルと主成分ベクトルとは共通である。主成分ベクトルは、最も分散の大きい方向（第１主成分ベクトル）、２番目に分散の大きい方向（第２主成分ベクトル）、…、及びｎ番目に分散の大きい方向（第ｎ主成分ベクトル）によって構成されるｎ次元のベクトルである。本実施形態では、ｎ＝３とすることで、上述したようにモデル位置情報が３個のパラメータを有することになる。

【0055】

主成分スコアは、第１主成分ベクトルの係数となる第１パラメータ、第２主成分ベクトルの係数となる第２パラメータ、及び第３主成分ベクトルの係数となる第３パラメータによって構成される。主成分スコアは、各個人の手指の関節間の相対位置の平均からの変動を示すパラメータである。

【0056】

以上説明した学習装置１０は、例えば図７に示すフローチャートのように動作する。以下、図７に示す動作例について説明する。

【0057】

まず学習装置１０は、第１及び第２撮影画像を取得する（ステップＳ１）。

【0058】

次に、学習装置１０は、第１及び第２撮影画像の上下方向における明暗を低減するための補正処理を第１及び第２撮影画像に対して実行する（ステップＳ２）。

【0059】

次に、学習装置１０は、第１及び第２撮影画像それぞれの手領域及び非手領域それぞれを確定する（ステップＳ３）。

【0060】

次に、学習装置１０は、左手と右手とを分割し、右手領域に対して左右反転処理を行う（ステップＳ４）。

【0061】

次に、学習装置１０は、第１撮影画像を複数の領域に分割し、分割した領域それぞれの画像特徴量を求める（ステップＳ５）。

【0062】

次に、学習装置１０は、第１～第３クラスを設定し、第１～第３クラスそれぞれの領域を選択する（ステップＳ６）。

【0063】

次に、学習装置１０は、第１撮影画像に対してコントラストを変更して学習データのデータ数を増加させる（ステップＳ７）。

【0064】

次に、学習装置１０は、元の第１撮影画像とコントラストを変更した第１撮影画像とを学習データとして用いて、任意の領域が第１～第３クラスのうちのどのクラスに属するかを識別するための識別器を生成する。（ステップＳ８）。

【0065】

次に、学習装置１０は、第２撮影画像に対して剛体レジストレーションを実行する（ステップＳ９）。

【0066】

最後に、学習装置１０は、剛体レジストレーションが収束した第２撮影画像から複数の関節間の相対位置をモデル位置情報として抽出する（ステップＳ１０）。

【0067】

＜２－２．推定装置＞
推定装置２０は、第１処理部２１、第２処理部２２、第３処理部２３、第４処理部２４を含む。

【0068】

第１処理部２１は、推定対象画像を取得する。具体的には、第１処理部２１は、通信部４（図１参照）によって外部装置から推定対象画像を取得する。本実施形態では、第１処理部２１によって取得された推定対象画像は、レントゲン撮影装置によって撮影された人の両手の画像である。

【0069】

次に、第１処理部２１は、推定対象画像に対して前処理部１２と同一の処理を行う。

【0070】

次に、第１処理部２１は、前処理部１２と同一の処理が行われた後の推定対象画像を複数の領域に分割し、複数の領域それぞれに対して画像特徴量を求める。本実施形態では、第１処理部２１は、垂直方向１００画素×水平方向１００画素の領域を設定し、推定対象画像を複数の領域に分割する。なお、本実施形態では、隣接する領域間で重複部分がない態様で推定対象画像が複数の領域に分割されるが、隣接する領域間で重複部分がある態様で推定対象画像が複数の領域に分割されてもよい。また、本実施形態では、演算部１３と同様に第１処理部２１においても、画像特徴量として、ＨＯＧ特徴量を使用している。

【0071】

第２処理部２２は、第１処理部２１によって求められた複数の領域それぞれの画像特徴量から、生成部１４によって生成された識別器を用いて、複数の領域それぞれに対して関節らしさを示す度合を求める。なお、上述した第１クラスは関節らしさを意味しており、上述した第２クラスは指先らしさを意味しており、上述した第３クラスは背景らしさを意味している。本実施形態では、関節らしさを示す度合は０以上１以下の任意の値をとり、関節らしいほど関節らしさを示す度合の値は大きくなる。

【0072】

第３処理部２３は、関節らしさを示す度合に基づき推定対象画像における関節の候補を求める。

【0073】

具体的には、第３処理部２３は、関節らしさを示す度合を用いて、最も関節らしい領域を関節の候補として抽出し、関節の候補として抽出した領域の周辺領域を関節の候補から除外する。そして、第３処理部２３は、関節らしさを示す度合を用いて、残った領域（関節の候補として抽出された領域及び関節の候補から除外された領域以外の領域）の中で最も関節らしい領域を関節の候補として抽出し、関節の候補として抽出した領域の周辺領域を関節の候補から除外する。上記の処理を繰り返して、第３処理部２３は、一つの手の領域に対して２０個の関節の候補を抽出する。

【0074】

第３処理部２３は、一つの手の領域に対して２０個の関節の候補から１４個の関節位置を選択する。一つの手の領域に対して２０個の関節の候補から１４個の関節位置を選択する手法は特に限定されないが、本実施形態ではＩＣＰ（Iterative Closest Point）アルゴリズムを用いる。具体的には、本実施形態において第３処理部２３は、一つの手の領域に対して２０個の関節の候補から１０個をランダムに選び、そのランダムに選ばれた１０個と平均位置と抽出部１５によって抽出されたモデル位置情報の平均ベクトルで表される位置とを比較して一致度を確認しながら、ＩＣＰ（Iterative Closest Point）アルゴリズムを用いて１４個の関節位置を選択する。

【0075】

第４処理部２４は、関節の候補に基づきモデル位置情報のパラメータを変更し、モデル位置情報における各関節に対応する識別器で求められた関節らしさを示す度合の合計に基づきパラメータの更新を収束させる。具体的には、第４処理部２４は、２０個の関節の候補から選択された１４個の関節位置に基づき、抽出部１５によって抽出されたモデル位置情報の第１～第３パラメータを変更する。そして、第４識別器２４は、モデル位置情報における各関節に対応する識別器で求められた関節らしさを示す度合の合計を最大化するように第１～第３パラメータの更新を収束させる。更新が収束した第１～第３パラメータを有するモデル位置情報が、推定対象画像の手指の関節位置の推定結果となる。

【0076】

以上説明した推定装置２０は、例えば図８に示すフローチャートのように動作する。以下、図８に示す動作例について説明する。

【0077】

まず推定装置２０は、推定対象画像を取得する（ステップＳ１１）。

【0078】

次に、推定装置２０は、推定対象画像の上下方向における明暗を低減するための補正処理を推定対象画像に対して実行する（ステップＳ１２）。

【0079】

次に、推定装置２０は、推定対象画像の手領域及び非手領域それぞれを確定する（ステップＳ１３）。

【0080】

次に、推定装置２０は、左手と右手とを分割し、右手領域に対して左右反転処理を行う（ステップＳ１４）。

【0081】

次に、推定装置２０は、定対象画像を複数の領域に分割し、複数の領域それぞれに対して画像特徴量を求める（ステップＳ１５）。

【0082】

次に、推定装置２０は、複数の領域それぞれの画像特徴量から、学習装置１０によって生成された識別器を用いて、複数の領域それぞれに対して関節らしさを示す度合を求める（ステップＳ１６）。

【0083】

次に、推定装置２０は、関節らしさを示す度合に基づき推定対象画像における関節の候補を求める（ステップＳ１７）。

【0084】

最後に、推定装置２０は、関節の候補に基づきモデル位置情報のパラメータを変更し、モデル位置情報における各関節に対応する識別器で求められた関節らしさを示す度合の合計に基づきパラメータの更新を収束させる（ステップＳ１８）。

【0085】

＜３．その他＞
なお、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。

【0086】

例えば、上述した実施形態では、第１撮影画像、第２撮影画像、及び推定対象画像は、Ｘ線撮影画像であったが、超音波撮影画像などであってもよい。また、ＭＲＩ（Magnetic Resonance Imaging）画像、３Ｄ－ＣＴ（Computed Tomography）画像などの３Ｄ画像であってもよい。第１撮影画像、第２撮影画像、及び推定対象画像が３Ｄ画像である場合、関節の座標は３次元になる。

【0087】

撮影対象は、人間に限らず、骨組織を有する生体であればよい。

【符号の説明】

【0088】

１０ 学習装置
１１ 取得部
１２ 前処理部
１３ 演算部
１４ 生成部
１５ 抽出部
２０ 推定装置
２１ 第１処理部
２２ 第２処理部
２３ 第３処理部
２４ 第４処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】