特開 2023-61114 軸推定方法及び軸推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023061114

(43)【公開日】2023-05-01

(54)【発明の名称】軸推定方法及び軸推定装置

(51)【国際特許分類】

   A61B 34/10 20160101AFI20230424BHJP

【ＦＩ】

A61B34/10

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021170916

(22)【出願日】2021-10-19

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、国立研究開発法人日本医療研究開発機構、「医療分野研究成果展開事業 先端計測分析技術・機器開発プログラム」「生体関節コンピューテーショナルモデルの患者別迅速精密生成 － 関節外科手術の術前・術中支援 －」委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】305027401

【氏名又は名称】東京都公立大学法人

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100152272

【弁理士】

【氏名又は名称】川越 雄一郎

(74)【代理人】

【識別番号】100181722

【弁理士】

【氏名又は名称】春田 洋孝

(72)【発明者】

【氏名】田川 憲男

(72)【発明者】

【氏名】藤江 裕道

(57)【要約】

【課題】正確に脛骨の軸を推定する軸推定方法及び軸推定装置を提供する。
【解決手段】膝及び脛を含む脚部に係る点群データから、前記脚部の膝関節を示すテンプレートデータに基づいて、前記脛に係る点群データを検出する脛部点群検出ステップと、前記脛に係る点群データのうち前記脛の長手方向に垂直となる複数の横断面それぞれについて、当該横断面に対応する複数の点から、前記横断面における脛の凸部を決定する凸部決定ステップと、複数の前記凸部に基づいて、前記脛の脛骨の軸を推定する推定ステップと、を有する軸推定方法。
【選択図】図２

【特許請求の範囲】

【請求項1】

膝及び脛を含む脚部に係る点群データから、膝関節を示すテンプレートデータに基づいて、前記脛に係る点群データを検出する脛部点群検出ステップと、
前記脛に係る点群データのうち前記脛の長手方向に垂直となる複数の横断面それぞれについて、当該横断面に対応する複数の点から、前記横断面における脛の凸部を決定する凸部決定ステップと、
複数の前記凸部に基づいて、前記脛の脛骨の軸を推定する推定ステップと、
を有する軸推定方法。

【請求項2】

前記膝関節を示すテンプレートデータは、前記膝関節に係る点群データから算出された特徴量を示す、
請求項１に記載の軸推定方法。

【請求項3】

前記脚部の膝蓋骨の動きの回転中心を求める膝関節検出部をさらに備え、
前記推定ステップは、前記回転中心に基づいて股関節の位置及び大腿骨の軸を推定する、
請求項１又は２に記載の軸推定方法。

【請求項4】

膝及び脛を含む脚部に係る点群データから、前記脚部の膝関節を示すテンプレートデータに基づいて、前記脛に係る点群データを検出する脛部点群検出部と、
前記脛に係る点群データのうち前記脛の長手方向に垂直となる複数の横断面それぞれについて、当該横断面に対応する複数の点から、前記横断面における脛の凸部を決定する凸部決定部と、
複数の前記凸部に基づいて、前記脛の脛骨の軸を推定する推定部と、
を有する軸推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、軸推定方法及び軸推定装置に関する。

【背景技術】

【0002】

運動・動作解析の分野において、膝の運動の計測にはモーションキャプチャを利用することが一般的である（例えば、非特許文献１）。また、膝関節の動揺性の計測には脛骨と膝蓋骨に負荷をかけることによる計測が行われている（例えば、非特許文献２）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】J. M. Konrath, et al., Estimation of the knee adduction moment and joint contact force during daily living activities using inertial motion capture, Sensors, vol. 19, no. 7, 1681, 2019.

【非特許文献2】D. M. Daniel, et al., Instrumented measurement of anterior knee laxity in patients with acutee anterior cruciate ligament disruption, Am J Sports Med., vol. 13, no. 6, 401, 1985.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、モーションキャプチャにおいては数mmや1°以下のオーダーでの動きを計測することが困難である。また、非特許文献２に示すような脛骨と膝蓋骨に負荷をかける動揺性の計測は１つの自由度の変位の計測しかできず、６つの全ての自由度を計測することができない。
本発明の目的は、上述した課題を解決する軸推定方法及び軸推定装置を提供することにある。

【課題を解決するための手段】

【0005】

本発明の一態様は、膝及び脛を含む脚部に係る点群データから、前記脚部の膝関節を示すテンプレートデータに基づいて、前記脛に係る点群データを検出する脛部点群検出ステップと、前記脛に係る点群データのうち前記脛の長手方向に垂直となる複数の横断面それぞれについて、当該横断面に対応する複数の点から、前記横断面における脛の凸部を決定する凸部決定ステップと、複数の前記凸部に基づいて、前記脛の脛骨の軸を推定する推定ステップと、を有する軸推定方法である。

【0006】

本発明の一態様は、膝及び脛を含む脚部に係る点群データから、前記脚部の膝関節を示すテンプレートデータに基づいて、前記脛に係る点群データを検出する脛部点群検出部と、前記脛に係る点群データのうち前記脛の長手方向に垂直となる複数の横断面それぞれについて、当該横断面に対応する複数の点から、前記横断面における脛の凸部を決定する凸部決定部と、複数の前記凸部に基づいて、前記脛の脛骨の軸を推定する推定部と、を有する軸推定装置である。

【発明の効果】

【0007】

本発明によれば、より正確に脛骨の軸を推定することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態に係る軸推定装置及びデプスカメラを示す図である。

【図2】第１の実施形態に係る軸推定装置の構成を示す図である。

【図3】検出された点群データを示す図である。

【図4】各々の部位に対応する点群データを示す図である。

【図5】円検出による凸部の決定方法を示す図である。

【図6】膝関節テンプレート作成装置の構成を示す図である。

【図7】切り出された膝関節に係る点群データの一例である。

【図8】軸推定装置の動作を示すフローチャートである。

【図9】膝関節テンプレート作成装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら本発明の実施形態について詳しく説明する。
〈第１の実施形態〉
図１は、第１の実施形態に係る軸推定装置１及びデプスカメラ１０を示す図である。
軸推定装置１は、デプスカメラ１０と接続される。デプスカメラ１０は、撮影対象の奥行き情報を動的に取得することができる。軸推定装置１は、デプスカメラ１０から人間Ｐを撮影した情報を取得し、当該人間の脛骨の軸を推定する。

【0010】

図２は、第１の実施形態に係る軸推定装置１の構成を示す図である。
軸推定装置１は、デプス画像取得部１１、点群データ変換部１２、膝関節検出部１３、部分点群検出部１４、凸部決定部１５、推定部１６、膝関節テンプレート記憶部１７及び角度測定部１８を備える。

【0011】

デプス画像取得部１１は、デプスカメラ１０よりデプス画像を取得する。デプス画像は各画素に画素値が与えられている。デプス画像における画素値は、当該画素値が与えられた画素の奥行き、すなわちデプスカメラ１０の光学素子と対象との距離を示す値である。つまり、デプス画像は原点からの仰角（縦軸）、方位角（横軸）及び距離（画素値）を示す３次元極座標表現で対象物の位置を表しているといえる。人間の脚部がデプスカメラ１０の撮影範囲内に位置するときにデプスカメラ１０が撮影を行うことで、デプス画像取得部１１により取得されるデプス画像は、人間の脚部が含まれる。

【0012】

点群データ変換部１２は、デプス画像を点群データに変換する。点群データを構成する各点は、３次元直交座標系における位置を示す。点群データ変換部１２は、例えばデプス画像の画素値の大きさに応じて画素の位置を示す３次元極座標表現を３次元直交座標に投影することで、デプス画像を点群データに変換する。

【0013】

膝関節検出部１３は、膝関節テンプレート記憶部１７に記憶された膝関節テンプレートに基づいて、点群データに含まれる膝関節に係る点からなる膝関節点群データを検出する。図３は、検出された膝関節点群データを示す図である。図３に示す点群データのうち、灰色で示された点群データは脚部に係る点群データであり、点線で囲まれた点群データは検出された膝関節に係る膝関節点群データである。膝関節テンプレートは、事前に同一人物の膝関節を撮影することにより得られたテンプレートであって、当該人物の膝関節の特徴を示す点群データであってもよく、人物を限定せず任意の人物の膝関節を撮影することにより得られたテンプレートであって、膝関節の特徴を示す点群データであってもよい。膝関節テンプレートの生成方法については後述する。
膝関節検出部１３は、膝関節テンプレートと点群データ変換部１２により変換された点群データに対して、例えばＲＡＮＳＡＣ(Random Sample Consensus)法を適用することで点群データ中から膝関節に対応する膝関節点群データを検出する。これにより、膝蓋骨の位置及び向きが決定される。また、膝関節検出部１３は、さらに膝関節テンプレートと点群データに対してＩＣＰ(Iterative Closest Point)を適用することで、ＲＡＮＳＡＣ法により生じる誤差を最小化することができる。

【0014】

部分点群検出部１４は、膝関節検出部１３により検出された膝関節点群データに基づいて、脛に係る脛部点群データを検出する。
部分点群検出部１４は、より具体的には以下の動作により脛部点群データを検出する。初めに部分点群検出部１４は、膝関節点群データに対して主成分分析を行い、点群データの分散が最も小さい方向を膝蓋骨の正面方向であると決定する。その後、点群データ変換部１２により変換された点群データから膝関節点群データとその境界領域にある点群データを除いた点群データのうち、膝関節の中心より下部に位置する点群データを脛部点群データとする。また、部分点群検出部１４は、膝関節の中心より上部に位置する点群データを腿部点群データとする。図４は、各々の部位に対応する点群データを示す図である。図４に、膝関節点群データ６１、脛部点群データ６２及び腿部点群データ６３を示す。
なお、部分点群検出部１４は腿部点群データ及び脛部点群データに対して主成分分析を行い、分散が最も大きい方向を、各部位の軸が伸びる方向と推定することができる。ここで腿及び脛に対して決定される軸は、それぞれ腿部点群データ及び脛部点群データの第１主成分であり、最も当該点群データを特徴づける方向を有する。これは、腿部及び脛部がそれぞれ円柱状の形状を有し、その長さ方向を軸とするためである。対照的に、膝関節の正面方向は、膝関節点群データの第３主成分である。膝関節を覆う膝蓋骨が円盤状の形状を有し、第１主成分及び第２主成分（第１主成分に直交し、分散が最も大きくなる成分）が膝蓋骨の面に沿う成分として現れる。第３主成分は、第１主成分及び第２主成分と直交する方向を有することから、膝関節の正面方向となる。部分点群検出部１４が推定する脛部の軸は、推定部１６による脛部の軸の推定に用いるために暫定的に求めるものである。つまり、推定部１６は、部分点群検出部１４より高い精度で脛部の軸を求めることができる。

【0015】

凸部決定部１５は、脛の横断面による断面図に含まれる脛部点群データから、断面図における脛の凸部を決定する。ここで横断面は脛の３次元空間における方向のうち、長手方向に垂直となる面である。脛部は、軸となる脛骨が突出しているような特徴的な形状を有する。すなわち脛の凸部とは、脛部のうち脛骨が突出している部分をいう。脛部点群データの軸をＮ等分するＮ－１個の垂直Ｎ等分面を求め、対向する２つの垂直Ｎ等分面に挟まれたＮ－１個の部分空間それぞれについて、当該部分空間内に位置する点を脛部点群データの軸方向から見た平面に投影することで、脛部のＮ－１個の断面図を得る。凸部決定部１５は、例えば断面図からハフ変換による円検出を行い、中心から最も遠い点を凸部と決定する。図５は、円検出による凸部の決定方法を示す図である。図５において、Ａは脛部点群データのうち脛の横断面による断面図に含まれる点からなる点群データである。Ｂはハフ変換による円検出であって、円７１で示した点が中心から最も遠い点であり、凸部と決定される点である。凸部決定部１５は複数の断面図をとり、複数の凸部の位置を決定する。

【0016】

推定部１６は、凸部として検出された点に基づいて脛骨の軸を推定する。より具体的には、推定部１６は、脛の横断面に基づいて脛骨の６自由度を推定する。すなわち、推定部１６は、脛骨の直交座標系の各軸回りの回転角と各軸に沿った変位とを推定する。推定部１６は、以下の手順で脛骨の６自由度を推定する。
推定部１６は、例えば、各断面図において凸部として検出された複数の点を、対応する部分空間に配置することで凸部の点を３次元空間に投影し、3次元空間において最小二乗法を適用し得られた直線を脛骨の軸と決定することで、脛骨の軸を推定する。これにより、推定部１６は、脛骨の直交座標系の各軸に沿った変位を推定することができる。

【0017】

また、推定部１６は、例えば、複数の断面図において凸部決定部１５によって円検出された複数の円の中心を、対応する部分空間に配置することで凸部の点を３次元空間に投影し、３次元空間において最小二乗法を適用し得られた直線を下腿部の中心軸と決定する。推定部１６は、３次元空間における脛骨の軸と下腿部の中心軸との位置関係に基づいて、脛骨の軸回りの下腿部の中心軸の回転を推定する。脛骨は下腿部の前面に位置することから、脛骨の軸回りの下腿部の中心軸の回転によって脛骨の回転方向を特定することができる。推定部１６は、脛骨の軸回りの下腿部の中心軸の回転を直交座標系の各軸回りの回転成分に分解する。これにより推定部１６は、脛骨の直交座標系の各軸回りの回転角を推定することができる。つまり、推定部１６は、脛骨の６自由度を推定することができる。

【0018】

角度測定部１８は、推定部１６により推定された脛骨の軸と、部分点群検出部１４により推定される大腿骨の軸との間の角度を測定する。ここで角度は屈伸角度及び内外反角度を含む。屈伸角度は膝関節を屈伸したときに２つの軸がなす角度である。内外反角度は脛骨及び大腿骨の内外方向の角度であって、２つの軸の屈伸角度が0度であるとき、２つの軸がなす角度である。
角度測定部１８は、部分点群検出部１４により推定される脛骨の軸及び大腿骨の軸を用いて２つの軸の間の角度を測定してもよい。

【0019】

〈膝関節テンプレート作成装置〉
膝関節テンプレート作成装置２は、膝関節検出部１３により使用される膝関節テンプレートを作成する。図６は、膝関節テンプレート作成装置２の構成を示す図である。膝関節テンプレート作成装置２は、点群データ取得部２０、ダウンサンプリング部２１、特徴量算出部２２、特徴量記録部２３及び膝関節テンプレート記憶部２４を備える。

【0020】

点群データ取得部２０は、膝関節に係る点群データを取得する。膝関節に係る点群データは、例えば脚部をデプスカメラで撮影し、点群データに変換したのちに、人間が目視により切り出したデータである。図７は、切り出された膝関節に係る点群データの一例である。

【0021】

ダウンサンプリング部２１は、膝関節に係る点群データの数を減少させる。ダウンサンプリング部２１は、例えば所定のボクセルにより点群データを離散化し、平均値を代表点とすることで点群データの数を減少させる。

【0022】

特徴量算出部２２は、ダウンサンプリングされた点群データの特徴量を算出する。特徴量算出部２２は、例えばダウンサンプリングされた点群データを構成する全ての点に対して法線推定を行い、各点の間の関係を示すFPFH特徴量を算出する。

【0023】

特徴量記録部２３は、軸推定装置１の膝関節テンプレート記憶部１７に算出した特徴量を膝関節テンプレートとして記録する。

【0024】

以上の構成により、第１の実施形態に係る軸推定装置１はデプスカメラ１０で撮影した人物の脛骨の軸を推定することができる。

【0025】

図８は、軸推定装置１の動作を示すフローチャートである。
初めにデプス画像取得部１１がデプスカメラにより撮影されたデプス画像を取得する（ステップＳ１０１）。その後、デプス画像を点群データ変換部１２が点群データに変換する（ステップＳ１０２）。膝関節検出部１３が膝関節点群データを検出する（ステップＳ１０３）。その後、部分点群検出部１４が脛部点群データ及び腿部点群データを検出する（ステップＳ１０４）。部分点群検出部１４は点群データに対し主成分分析を行う（ステップＳ１０５）。部分点群検出部１４は脛部及び腿部の各部の軸を決定する（ステップＳ１０６）。凸部決定部１５は、脛部点群データから断面を取得する（ステップＳ１０７）。凸部決定部１５は断面について円検出を行う（ステップＳ１０８）。凸部決定部１５は凸部の位置を決定する（ステップＳ１０９）。推定部１６は脛骨の軸を推定する（ステップＳ１１０）。角度測定部１８は脛骨の軸と大腿骨の軸との間の角度を測定する（ステップＳ１１１）。

【0026】

図９は、膝関節テンプレート作成装置２の動作を示すフローチャートである。
初めにデプスカメラにより脚部を撮影する（ステップＳ２０１）。その後、撮影された画像が点群データに変換される（ステップＳ２０２）。点群データ取得部２０は、膝関節部分の選択を受け付け（ステップＳ２０３）、膝関節に係る点群データを切り出す（ステップＳ２０４）。ダウンサンプリング部２１は、点群データに対してダウンサンプリングを行う（ステップＳ２０５）。特徴量算出部２２は、点群データの特徴量を算出する（ステップＳ２０６）。特徴量記録部２３は、特徴量をテンプレートとして記録する（ステップＳ２０７）。

【0027】

〈第２の実施形態〉
第２の実施形態に係る軸推定装置１は、第１の実施形態に係る軸推定装置１の動作に加え、股関節の位置及び大腿骨の軸を推定する。
第２の実施形態に係る膝関節検出部１３は、膝蓋骨の回転及び並進を求める。例えば、膝関節検出部１３は、２つの画像間における膝関節点群データの変位を示す回転行列及び並進行列を求める。その後、第２の実施形態に係る推定部１６は、膝蓋骨の回転に基づいて大腿骨の軸回りの回転を計算する。また、推定部１６は、膝蓋骨の並進に基づいて股関節の位置及び大腿骨の軸を推定する。推定部１６は、例えば、股関節の位置が固定されていると仮定することで、膝蓋骨の並進の軌跡から等距離にある点を股関節の位置として決定し、回転中心と股関節の位置を結んだ線を大腿骨の軸と推定する。

【0028】

以上の構成により、第２の実施形態に係る軸推定装置１は、脛骨の軸に加え、股関節の位置及び大腿骨の軸を推定することができる。また、膝関節位置及び推定された脛骨の軸並びに大腿骨の軸に基づいて、より正確な膝関節に関するモデルを作成することができる。当該モデルに膝関節の動揺性データを適用することで膝関節の動揺性モデルを作成することができる。

【0029】

〈他の実施形態〉
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【0030】

上述した実施形態における軸推定装置１の一部又は全部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記録装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものを含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、軸推定装置１の一部または全部は、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【符号の説明】

【0031】

１ 軸推定装置、１０ デプスカメラ、１１ デプス画像取得部、１２ 点群データ変換部、１３ 膝関節検出部、１４ 部分点群検出部、１５ 凸部決定部、１６ 推定部、１７、２４ 膝関節テンプレート記憶部、１８ 角度測定部、２ 膝関節テンプレート作成装置、２０ 点群データ取得部、２１ ダウンサンプリング部、２２ 特徴量算出部、２３ 特徴量記録部、６１ 膝関節点群データ、６２ 脛部点群データ、６３ 腿部点群データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】