特開 2023-181709 関節角度測定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023181709

(43)【公開日】2023-12-25

(54)【発明の名称】関節角度測定システム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20231218BHJP

   G06T 7/00 20170101ALI20231218BHJP

   A61B 5/11 20060101ALI20231218BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 660Z

A61B5/11 230

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022094987

(22)【出願日】2022-06-13

(71)【出願人】

【識別番号】522018675

【氏名又は名称】クロスメッド株式会社

(74)【代理人】

【識別番号】100137338

【弁理士】

【氏名又は名称】辻田 朋子

(74)【代理人】

【識別番号】100224719

【弁理士】

【氏名又は名称】長谷川 隆治

(72)【発明者】

【氏名】藤井 眞澄

【テーマコード（参考）】

4C038

5L096

【Ｆターム（参考）】

4C038VA04

4C038VA05

4C038VB11

4C038VB14

4C038VC05

5L096AA02

5L096AA06

5L096AA09

5L096BA06

5L096CA04

5L096DA01

5L096DA02

5L096FA32

5L096FA62

5L096FA67

5L096FA69

(57)【要約】

【課題】 本発明は、関節角度測定システム、関節角度測定方法、関節角度測定プログラムに関する。
【解決手段】 関節角度測定システム１は、対象者の正面側より複数の関節を含めて撮影された動画データを受け付ける受信部と、動画データから関節角度を解析処理する解析処理部と、記憶部と、を備える。
前記解析処理部は、前記動画データから複数の静止画データを作成処理し、前記静止画データを画像解析して、関節ごとの３次元座標を推定処理し、前記３次元座標を用いて前記関節角度を解析処理し、その解析処理の結果を前記記憶部へ格納する。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象者の関節角度を測定するための関節角度測定システムであって、
当該関節角度測定システムは、前記対象者の正面側より複数の関節を含めて撮影された動画データを受け付ける受信部と、前記動画データから前記関節角度を解析処理する解析処理部と、記憶部と、を備え、
前記解析処理部は、前記動画データから複数の静止画データを作成処理し、
前記静止画データを画像解析して、関節ごとの３次元座標を推定処理し、
前記３次元座標を用いて前記関節角度を解析処理し、その解析処理の結果を前記記憶部へ格納する、
関節角度測定システム。

【請求項2】

前記解析処理部は、複数の前記静止画データに含まれる前記３次元座標におけるＸ方向の値、Ｙ方向の値、Ｚ方向の値、から前記関節角度の測定に利用する３次元座標を統計処理する、
請求項１に記載の関節角度測定システム。

【請求項3】

前記関節角度測定システムは、更に表示処理部を備え、
前記表示処理部は、前記関節角度と、測定に利用された前記３次元座標と、を並べて表示処理し、その表示処理の結果を送信する、
請求項１または請求項２に記載の関節角度測定システム。

【請求項4】

前記表示処理部は、前記動画データの時間変化に対応させて前記解析処理の結果による関節角度の時間変化を表示処理し、その表示処理の結果を送信する、
請求項３に記載の関節角度測定システム。

【請求項5】

前記解析処理部は、複数の前記静止画データの中からそれぞれ選択した前記３次元座標におけるＸ方向の値の中央値、Ｙ方向の値の中央値、Ｚ方向の値の中央値、を前記３次元座標として統計処理する、
請求項１または請求項２に記載の関節角度測定システム。

【請求項6】

前記受信部は、床面に仰向け姿勢を維持する前記対象者を、前記床面から３０度～６０度の撮影角度を有して頭側よりから撮影された動画データを受け付ける、
請求項５に記載の関節角度測定システム。

【請求項7】

前記解析処理部は、少なくともと前記対象者の股関節における外転、内転、伸展、屈曲のいずれかの関節角度を解析処理する、
請求項６に記載の関節角度測定システム。

【請求項8】

ユーザの関節角度を測定するための関節角度測定システムが実行する関節角度測定方法であって、
前記関節角度測定システムは、対象者の正面側より複数の関節を含めて撮影された動画データを受け付ける受信部と、前記動画データから前記関節角度を解析処理する解析処理部と、記憶部と、を備え、
前記解析処理部が、前記動画データから複数の静止画データを作成処理するステップと、
前記解析処理部が、前記静止画データを画像解析して、関節ごとの３次元座標を推定処理するステップと、
前記解析処理部が、前記３次元座標を用いて前記関節角度を解析処理し、その解析処理の結果を前記記憶部へ格納するステップと、を含む、
関節角度測定方法。

【請求項9】

ユーザの関節角度を測定するための関節角度測定プログラムであって、
コンピュータを、受信部と、解析処理部と、記憶部と、として機能させ、
前記受信部は、対象者の正面側より複数の関節を含めて撮影された動画データを受け付け、
前記解析処理部は、前記動画データから複数の静止画データを作成処理し、
前記静止画データを画像解析して、関節ごとの３次元座標を推定処理し、
前記３次元座標を用いて前記関節角度を解析処理し、その解析処理の結果を前記記憶部へ格納する、
関節角度測定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、関節角度測定システム、関節角度測定方法、及び関節角度測定プログラムに関する。

【背景技術】

【0002】

医療やヘルスケアの分野では、対象者の身体（特定部位）において最大に動かせる関節の角度（関節角度）を測定することがある。この関節角度を把握することで、医療従事者などは例えば関節痛の症状やリハビリ内容等を検討することができる。

【0003】

ところで、昨今では人間の動作を３Ｄモデルなどで再現するための様々な工夫が行われている。そして、これらの技術は、コンピュータグラフィックスやアニメーションなどに加えて、上記医療やヘルスケアなどへの応用も期待されている。

【0004】

例えば特許文献１には、関節位置記憶部と、動作面角度算出部と、角度関数化部と、角度関数記憶部と、合成部と、を備えることで、関節角において関節が動作する方向を表す動作面角度を導入し、正確な曲げ角度を算出することができる画像処理装置が開示されている。

【0005】

また、特許文献２には、各関節の所定時間ごとの変化（基本動作データ）を保持する基本動作データ格納部と、選択された特定関節の補正位置を算出する補正位置算出部と、算出された補正位置と特定関節の位置とを一致させるように、基本動作データに基づく位置を初期位置として、各関節の角度を変更（補正）する位置補正部と、を備えた動作生成装置が開示されている。本動作生成装置によれば、人間などの多関節構造体の動作をリアルに表現（画像データを生成）することができる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平７－０２３４１号公報

【特許文献2】特開平１０－３４０３５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１や特許文献２の技術は、あくまでもコンピュータの３Ｄモデルに関する技術であるため、これらの技術をそのまま利用しても、例えば患者を撮影した動画などを用いて簡単に患者の関節角度を測定することはできない。

【0008】

また、これらの技術を実際の医療分野で利用するためには高度な精度が要求される。つまり、動画データから対象者の関節角度を測定するために、特許文献１や特許文献２の技術をそのまま利用することができず、まだまだ改良の余地がある。

【0009】

本発明は、上記従来技術の課題に鑑みて行われたものであって、その目的は、人間の関節角度を効果的に測定できる新規な技術を提供することにある。

【課題を解決するための手段】

【0010】

上記課題を解決するために、本発明は、対象者の関節角度を測定するための関節角度測定システムであって、
当該関節角度測定システムは、前記対象者の正面側より複数の関節を含めて撮影された動画データを受け付ける受信部と、前記動画データから前記関節角度を解析処理する解析処理部と、記憶部と、を備え、
前記解析処理部は、前記動画データから複数の静止画データを作成処理し、
前記静止画データを画像解析して、関節ごとの３次元座標を推定処理し、
前記３次元座標を用いて前記関節角度を解析処理し、その解析処理の結果を前記記憶部へ格納する。

【0011】

また、本発明は、ユーザの関節角度を測定するための関節角度測定システムが実行する関節角度測定方法であって、
前記関節角度測定システムは、対象者の正面側より複数の関節を含めて撮影された動画データを受け付ける受信部と、前記動画データから前記関節角度を解析処理する解析処理部と、記憶部と、を備え、
前記解析処理部が、前記動画データから複数の静止画データを作成処理するステップと、
前記解析処理部が、前記静止画データを画像解析して、関節ごとの３次元座標を推定処理するステップと、
前記解析処理部が、前記３次元座標を用いて前記関節角度を解析処理し、その解析処理の結果を前記記憶部へ格納するステップと、を含む。

【0012】

また、本発明は、ユーザの関節角度を測定するための関節角度測定プログラムであって、
コンピュータを、受信部と、解析処理部と、記憶部と、として機能させ、
前記受信部は、対象者の正面側より複数の関節を含めて撮影された動画データを受け付け、
前記解析処理部は、前記動画データから複数の静止画データを作成処理し、
前記静止画データを画像解析して、関節ごとの３次元座標を推定処理し、
前記３次元座標を用いて前記関節角度を解析処理し、その解析処理の結果を前記記憶部へ格納する。

【0013】

このような構成とすることで、誰でも簡単に対象者の関節角度を測定することができる。

【0014】

本発明の好ましい形態では、前記解析処理部は、複数の前記静止画データに含まれる前記３次元座標におけるＸ方向の値、Ｙ方向の値、Ｚ方向の値、から前記関節角度の測定に利用する３次元座標を統計処理する。

【0015】

前記関節角度測定システムは、更に表示処理部を備え、
前記表示処理部は、前記関節角度と、測定に利用された前記３次元座標と、を並べて表示処理し、その表示処理の結果を送信する。

【0016】

本発明の好ましい形態では、前記表示処理部は、前記動画データの時間変化に対応させて前記解析処理の結果による関節角度の時間変化を表示処理し、その表示処理の結果を送信する。

【0017】

このような構成にすることで、測定対象部位と関節角度の関係を分かりやすく表示でき、誰でも一目で関節角度を容易に把握することができる。

【0018】

本発明の好ましい形態では、前記解析処理部は、複数の前記静止画データの中からそれぞれ選択した前記３次元座標におけるＸ方向の値の中央値、Ｙ方向の値の中央値、Ｚ方向の値の中央値、を前記３次元座標として統計処理する。

【0019】

本発明の好ましい形態では、前記受信部は、床面に仰向け姿勢を維持する前記対象者を、前記床面から３０度～６０度の撮影角度を有して頭測より撮影された動画データを受け付ける。

【0020】

このような構成にすることで、精度良く関節角度を算出することができる。

【0021】

本発明の好ましい形態では、前記解析処理部は、少なくともと前記対象者の股関節における外転、内転、伸展、屈曲のいずれかの関節角度を解析処理する。

【発明の効果】

【0022】

本発明によれば、所定の段階的な解析処理等を実行することで、関節角度測定システムに係る新規な技術を提供することができる。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施形態に係るシステム構成のブロック図を示す。

【図2】本発明の一実施形態に係る情報処理装置及び端末のハードウェア構成の一例の概略図を示す。

【図3】本発明の一実施形態に係る関節角度測定システムの概略イメージ図を示す。

【図4】本発明の一実施形態に係る関節角度測定システムにおける処理手順のフローチャートを示す。

【図5】本発明の一実施形態に係る関節角度測定システムにおけるデータテーブル（各情報）の一例を示す。

【図6】本発明の一実施形態に係る端末に表示される表示画面の一例を示す。

【図7】本発明の一実施形態に係る端末に表示される表示画面の一例を示す。

【発明を実施するための形態】

【0024】

以下、添付図面を参照して、更に詳細に説明する。図面には好ましい実施形態が示されている。しかし、多くの異なる形態で実施されることが可能であり、本明細書に記載される実施形態に限定されない。

【0025】

例えば、本実施形態では関節角度測定システムの構成、動作等について説明するが、実行される方法、装置、コンピュータプログラム等によっても、同様の作用効果を奏することができる。本実施形態におけるプログラムは、コンピュータが読み取り可能な非一過性の記録媒体として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、クライアント端末でその機能を実施するために外部のコンピュータにおいて当該プログラムを起動させてもよい（いわゆるクラウドコンピューティング）。

【0026】

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらハードウェア資源によって具体的に実現され得るソフトウェアの情報処理とを合わせたものも含み得る。本実施形態において「情報」とは、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行され得る。

【0027】

広義の回路とは、回路（Circuit）、回路類（Circuitry）、プロセッサ（Processor）及びメモリ（Memory）等を適宜組み合わせることによって実現される回路である。即ち、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等を含むものである。

【0028】

＜システム構成＞
図１は、一実施形態のシステム構成を示すブロック図である。図１に示すように、関節角度測定システム１は、情報処理装置１０及びデータベースＤＢを備える。関節角度測定システム１は、ネットワークＮＷを介して複数の端末２（図１では符号２（ａ）～２（ｄ））と通信可能に構成されている。

【0029】

情報処理装置１０は、サーバとして動作し、端末２は関節角度を測定する対象者（ユーザともいう）が使用する端末である。

【0030】

ネットワークＮＷは、本実施形態では、ＩＰ（Internet Protocol）ネットワークであるが、通信プロトコルの種類に制限はなく、更に、ネットワークの種類、規模にも制限はない。

【0031】

なお、情報処理装置１０として、汎用のサーバ向けのコンピュータやパーソナルコンピュータ等を利用することが可能である。また、後述の機能構成要素を複数のコンピュータに実現させ、関節角度測定システム１を構成することも可能である。

【0032】

端末２として、スマートフォンやタブレット端末、パーソナルコンピュータ、ウェアラブルデバイス等を利用することができる。端末２は、ユーザ用の関節角度測定アプリプログラムを記憶し、このアプリプログラムはユーザにおいて関節角度に関する情報を閲覧したり、あるいは関節角度を測定するために必要な情報を情報処理装置１０に送信するための機能を有して構成される。

【0033】

なお、端末２はユーザ用の関節角度測定アプリプログラムを有していない構成にすることもできる。この場合、端末２はウェブブラウザ等を利用して各情報を閲覧や入力等することができる。また、端末２は、ウェブブラウザ等を利用して閲覧のみを行うようにしてもよい。

【0034】

＜ハードウェア構成＞
図２（ａ）は、情報処理装置１０のハードウェア構成の一例を示す図である。情報処理装置１０は、ハードウェア構成として、制御部１１と、記憶部１２と、通信部１３と、を備える。

【0035】

制御部１１は、ＣＰＵ等の１又は２以上のプロセッサを含み、本発明に係る関節角度測定プログラム、ＯＳやブラウザソフト、その他のアプリケーションを実行することで、情報処理装置１０の動作処理全体を制御する。

【0036】

記憶部１２は、ＨＤＤ、ＳＳＤ、ＲＯＭ、ＲＡＭ等であって、本発明に係る関節角度測定プログラム及び、制御部１１がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。制御部１１が、記憶部１２に記憶されている関節角度測定プログラムに基づき、処理を実行することによって、後述する機能構成が実現される。

【0037】

通信部１３は、ネットワークＮＷとの通信制御を実行して、情報処理装置１０を動作させるために必要な入力や、動作結果に係る出力を行う。

【0038】

図２（ｂ）は端末９０（図１における端末２）のハードウェア構成の一例を示す図である。端末９０は、ハードウェア構成として、制御部９１と、記憶部９２と、通信部９３と、入力部９４と、出力部９５と、を備える。

【0039】

端末９０の制御部９１は、ＣＰＵ等の１以上のプロセッサを含み、端末９０の動作処理全体を制御する。端末９０の記憶部９２は、ＨＤＤ、ＳＳＤ、ＲＯＭ、ＲＡＭ等であって、上述のユーザ用の関節角度測定アプリプログラム並びに、制御部９１がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。

【0040】

端末９０の通信部９３は、ネットワークとの通信を制御する。端末９０の入力部９４は、タッチパネル、マウス及びキーボード等であって、ユーザによる操作要求を制御部９１に入力する。端末９０の出力部９５は、ディスプレイ等であって、制御部９１の処理の結果等を表示する。

【0041】

＜機能構成＞
図２（ａ）に示すように、情報処理装置１０は、機能構成として、受信部１０１、解析処理部１０２、表示処理部１０３、を備える。これらは、ソフトウェア（記憶部１２に記憶されている）による情報処理が、ハードウェア（制御部１１等）によって具体的に実現されたものである。

【0042】

受信部１０１は、ユーザ（測定の対象者）からの情報を受け付ける。本実施形態では、対象者の正面側より複数の関節を含めて撮影された動画データを端末２から受け付ける。

【0043】

解析処理部１０２は、受信部１０１が受け付けた動画データからユーザの関節角度を解析処理する。本実施形態における解析処理部１０２は、動画データから複数の静止画データを作成処理し、静止画データを画像解析して、関節ごとの３次元座標を推定処理し、３次元座標を用いて関節角度を解析処理し、その解析処理の結果を記憶部１２へ格納する。

【0044】

表示処理部１０３は、解析処理部１０２で解析処理された結果を表示処理する。本実施形態では、関節角度と、測定に利用された３次元座標と、を並べて表示処理する。更に表示処理部１０３は、動画データの時間変化に対応させて解析処理の結果による関節角度の時間変化を表示処理し、その表示処理の結果を例えば端末２へ送信する。

【0045】

＜データベースＤＢ＞
図１のデータベースＤＢは、受信部１０１が端末２から受け付けた関節角度の測定依頼に関する測定依頼情報（ユーザＩＤや動画データなどを含んだ情報）、静止画データに関する情報、測定対象の関節角度を算出するための情報、などを格納する。これらの一部又は全部は、記憶部１２等に格納されてもよいし、これらの一部が別のデータベース等に格納されてもよい。

【0046】

以下、図３～７を参照して、関節角度測定システムの説明及び各機能構成要素による処理内容について説明する。

【0047】

＜関節角度測定システムの概要＞
図３には、本発明の一実施形態に係る関節角度測定システムの概略イメージ図を示す。詳細は後述するが、図３（ａ）に示すように本実施形態に係る関節角度測定システムは、ユーザによって撮影された動画データから、ユーザが希望する関節角度を解析処理し、その結果（関節角度の数値など）をユーザの端末に表示するものである。

【0048】

具体的には、図３（ｂ）に示すように対象者の特定部分（例えば各関節）を３次元座標として数値化し、この数値化された３次元座標を利用して関節角度を解析処理し、その結果を表示する。本実施形態では、対象者の身体座標系における３次元座標を用いて関節角度を解析処理する。なお、図３（ｂ）では、対象者の右手が位置する方向を右方向、左手が位置する方向を左方向、頭が位置する方向を上方向、両足が位置する方向を下方向、奥行きの方向（例えば対象者の正面側から背面側への方向）を奥行き方向として表現している。この身体座標系は、図３（ｂ）に示すように対象者における腰の中心位置を原点（３次元座標（０，０，０））とし、左右方向をＸ方向、Ｘ方向に対して垂直な上下方向をＹ方向、奥行き方向をＺ方向としている。

【0049】

図３（ｂ）では、説明を分かりやすくするために人間の骨格のみを表現しているが、実際には撮影された動画データ（または後述する静止画データ）に対して３次元座標を解析処理する。

【0050】

本実施形態における関節角度測定システムは、例えば、股関節における外転、内転、伸展、屈曲などの角度を測定することで、関節痛の治療や適切なリハビリテーションなどに役立てることができる。その他、人工関節置換後の患者に対し、本関節角度測定システムを利用して継続的なリハビリテーションを提供することができる。当然のことながら、本実施形態における関節角度測定システムは股関節における外転、内転、伸展、屈曲などに関わらず、身体の各関節における関節角度を測定することができる。

【0051】

なお、本実施形態における関節角度とは、上記の外転等の他、ユーザ（対象者）の身体において各関節が最大に可動する範囲（最大角度、関節可動域）、後述する動画データまたは静止画データに実際に表示されているユーザの測定対象部位における角度、及び、これらと同等の角度を意味するものである。

【0052】

＜ユーザからの測定依頼＞
図４は、一実施形態に係る関節角度測定システムの処理手順を示すフローチャートである。図４のＳ２０１において、情報処理装置１０の受信部１０１は、ユーザの端末２から動画データを受け付ける。本実施形態では、少なくとも動画データが含まれた関節角度の測定依頼に関する情報（測定依頼情報）を受け付ける。

【0053】

この測定依頼情報は、図５（ａ）に示すようにユーザに関するユーザＩＤ、股関節や肘関節などの測定対象の部位に関する情報（ユーザが測定を希望する部位の依頼情報）、動画データ（または動画データの保存先、ファイル名）、フレームレート、解析前や解析中のステータス、などの情報を含んで管理ＩＤによって管理されている。

【0054】

ここで、動画データについて説明する。動画データは、ユーザ（対象者）の正面側より複数の関節を含めて撮影されて得られるものである。本実施形態における動画データは、ユーザが床面に仰向け姿勢となり、このユーザを顔方向（頭側）から床面に対して３０度～６０度、好ましくは４０度～５０度（より好ましくは４５度）の撮影角度で撮影される（頭方向の斜め上から撮影される）。つまり、受信部１０１は、床面に仰向け姿勢を維持するユーザ（対象者）を床面から３０度～６０度の撮影角度を有して顔方向から撮影された動画データを受け付ける。

【0055】

動画データは、ユーザの顔、両肩、両腰を１つの映像に収まるように撮影されることが好ましい。例えば動画データは、対象者の頭測より目、口及び複数の関節を含めて撮影された動画データであることが好ましい。また、動画データは、左右均等に撮影され、被写体としての人物（ユーザ）が撮影枠の４／５以内に移るように撮影されていることが好ましい。本実施形態では、このように撮影された動画データを利用することで、正確な３次元座標（骨格推定とも呼ぶ）を得ることができる。

【0056】

＜関節角度の解析処理＞
Ｓ２０２において、情報処理装置１０の解析処理部１０２は、受信部１０１が受け付けた動画データから複数の静止画データを作成処理する。この静止画データは、動画データを構成するフレームである。例えば１秒間の動画データが１０フレーム（１０枚の静止画データ）で構成されている場合、この動画データは１０ｆｐｓ（frames per second）として表現される。本実施形態では、解析処理部１０２によって作成処理された静止画データ（フレーム）を情報処理装置１０の記憶部１２へ格納する。

【0057】

Ｓ２０３において、解析処理部１０２は、作成処理した静止画データを画像解析し、各関節位置の３次元座標を推定処理する。例えば、推定処理では、２枚の静止画データについて、被写体（対象者）の静止画データ内における位置の差（移動した座標の差分）を画像解析することで推定値を得ることができる。図５（ｂ）に示すように、静止画データごとにフレームＮｏが割り振られ、このフレームＮｏごとに各関節（図３（ｂ）を参照）に対して３次元座標が数値化される。本明細書では、この３次元座標として表現される各関節（及び測定に必要な身体の部位）のことを測定点とも呼ぶ。

【0058】

本実施形態では解析処理部１０２は、２次元の静止画データにおいて、横方向をＸ座標として算出し、縦方向をＹ座標として算出し、奥行き方向を機械学習による推定値としてＺ座標として算出する。例えば、静止画データ（あるいは動画データ）を入力することで、静止画データ中の人物の関節点を推定する既知の姿勢推定モデルを利用して、各関節点の３次元座標を求めることができる。また、静止画データから撮影時のピントのズレ（各ピクセルの色の違いなど）を画像解析等により識別し、その解析結果を利用して奥行き方向のＺ座標を推定することもできる。なお、解析処理部１０２による推定処理はこれらの方法に限られず、他の方法によりＸ座標、Ｙ座標、及びＺ座標の数値を得ることもできる。解析処理部１０２が、推定処理として、別のコンピュータに対して静止画データを送信すると共に、３次元座標の推定要求を行い、３次元座標を受け取ることで、静止画データの各関節点における３次元座標が推定されてもよい。

【0059】

本実施形態では、解析処理部１０２が座標１から座標３３（ユーザの３３ヵ所の関節等）に対する３次元座標（Ｘ，Ｙ，Ｚ）を数値化（推定処理）している。例えば図５（ｂ）における座標１は右腰における３次元座標（Ｘ１，Ｙ１，Ｚ１）であり、座標２は左腰における３次元座標（Ｘ２，Ｙ２，Ｚ２）であり、座標３は右膝における３次元座標（Ｘ３，Ｙ３，Ｚ３）である（図３（ｂ）を参照）。

【0060】

なお、図３（ｂ）は、あくまでも概略イメージであるため座標１から座標３３を表現しているわけではないが、座標１～３は概略図３（ｂ）に示されるイメージのように理解できる。また、本実施形態では座標１から座標３３の測定点を利用して関節角度を算出しているが、測定点の数は３３点に限定されるものではない。

【0061】

また、本実施形態では動画データの撮影時における座標（例えば、動画データを正面から視認した場合、左端付近を座標（０，０，０）にするなど）に対して、図３（ｂ）に示すように解析処理部１０２は対象者における腰の中心位置（中心点）を３次元座標（０，０，０）とする座標変換処理（例えばカメラ座標系から身体座標系への変換処理）を行っている。本実施形態では、例えば右腰における座標１及び左腰における座標２から３次元座標（０，０，０）の位置を決定することができる。

【0062】

そしてＳ２０４において、情報処理装置１０の解析処理部１０２は、複数の静止画データにおいてそれぞれ対応する３次元座標（例えば複数の静止画データにおける座標１の数値群）を統計処理し、測定に利用する補正３次元座標を取得する。具体的に解析処理部１０２は、複数の静止画データに含まれる３次元座標におけるＸ方向の値、Ｙ方向の値、Ｚ方向の値、から関節角度の測定に利用する３次元座標を統計処理する。

【0063】

更に解析処理部１０２は、複数の静止画データから３次元座標の各座標Ｘ，Ｙ，Ｚについて中央値を算出処理する。解析処理部１０２は、動画データのフレームレートに応じて３～１３コマの静止画データ（それぞれの３次元座標）から中央値を統計処理する。この統計処理では、複数の静止画データの中から、Ｘ方向、Ｙ方向、Ｚ方向のそれぞれの座標ごとに値が選択される。

【0064】

本実施形態では、図５（ａ）に示すように管理ＩＤが１０００１の動画データは３０ｆｐｓのフレームレート（１秒間の動画が３０枚の静止画データで構成されているもの）であり、この場合、図５（ｃ）に示すように、５コマ（例えばフレームＮｏ．０００１～０００５）のフレーム（静止画データ）によって中央値を統計処理している。

【0065】

この中央値は、複数の静止画データの中から、Ｘ方向、Ｙ方向、Ｚ方向のそれぞれの座標ごとに値が選択される。例えば図５（ｃ）では、フレームＮｏ．０００１～０００５における座標１（右腰）の中央値は、Ｘ方向ではＸ０００１、すなわちフレームＮｏ．０００１の数値が選択され、Ｙ方向もフレームＮｏ．０００１の数値が採用されている一方、Ｚ方向はフレームＮｏ．０００４の数値が選択されている。

【0066】

また、フレームＮｏ．０００１～０００５における座標２（左腰）の中央値は、Ｘ方向ではＸ０００３、すなわちフレームＮｏ．０００３の数値が選択され、Ｙ方向ではフレームＮｏ．０００５の数値が選択され、Ｚ方向ではフレームＮｏ．０００４の数値が選択されている。本実施形態では、複数の静止画データによる中央値を各３次元座標のＸ方向、Ｙ方向、Ｚ方向のそれぞれの値とし、対象者の関節角度を測定する。

【0067】

なお、本明細書における統計処理による中央値（移動中央値）は、フレームＮｏごとの座標における数値を順番に並べた場合（大きい順または小さい順に並べた場合）、その順位が中央にある値、またはこれと類似する考え方により算出された値を意味する。例えば３次元座標の移動中央値として、明らかに外れた値を除外し（例えば数値を順番に並べた場合の最小値、最大値等を除外し）、順番に並べた際に中央付近にある複数の値の平均値とすることもできる。

【0068】

実際には、動画データから３次元座標を算出（推定）すると、トラッキングエラー（数値が大きく異なる座標など）が多数混在してしまい、精度の良い関節角度の測定が実現できなくなってしまう。

【0069】

そこで本実施形態では、３次元座標におけるＸ方向、Ｙ方向、Ｚ方向の数値を移動中央値とすることで、例えば一瞬のトラッキングエラーの影響も受けず、正しい関節角度を測定することができる。このように３次元座標の値を移動中央値とすることで、精度の良い関節角度の測定を実現することができる。

【0070】

Ｓ２０５において、中央値による３次元座標を利用して関節角度を算出処理する。具体的には図５（ｄ）に示すように解析処理部１０２は、測定対象ごとに、特定の３点の測定点（３次元座標）を利用して関節角度を算出処理している。

【0071】

例えば、フレームＮｏ．０００１～０００５の静止画データから得られた中央値による座標１、座標２、座標３を利用して関節角度を算出することもできるし、あるいは、フレームＮｏ．０００１～０００５の静止画データから得られた座標１及び座標３と、フレームＮｏ．００１１～００１５の静止画データから得られた座標３と、を利用して関節角度を算出することもできる。この場合、座標１（右腰）を基準として座標３（右膝）が可動した範囲の角度（可動域）を関節角度として算出することできる。

【0072】

このように異なるフレームＮｏから算出された座標を利用することで、股関節における外転などの関節角度を算出することができる。解析処理部１０２は、外積や内積などを利用したベクトル演算により関節角度を算出し、または画像解析等により最大可動域（または最小可動域）となる測定点を推定して関節角度を算出することもできる。

【0073】

なお、必ずしも推定処理によって得られた３つの各測定点の３次元座標を用いて、関節角度を算出する必要はない。例えば、ある測定点を通る直線を算出し、その直線に対する角度を算出することで、すなわち２つの測定点によって関節角度を得ることもできる。

【0074】

＜関節角度の表示＞
Ｓ２０６において、情報処理装置１０の表示処理部１０３は、解析処理部１０２で得られた関節角度を表示処理する。本実施形態における表示処理部１０３は、解析処理１０２で解析処理された関節角度（例えば股関節における外転の角度など）と、測定に利用された３次元座標（または測定対象の部位）と、を同一画面に並べて表示処理し、その表示処理の結果を端末２へ送信する。

【0075】

具体的には図６において端末２の表示画面Ｗ１０に示すように、静止画データとして表示される対象者の測定対象部位と共に、その測定対象部位の近傍に関節角度を表示する。図６では、解析処理の結果として、右肘の曲げ角度が関節角度××度として表示され、右膝の曲げ角度が関節角度〇〇度として表示され、左腰と太ももとの関節角度が△△度として表示されている。

【0076】

このように関節角度と静止画データにおける測定対象部位（または測定に利用した３次元座標）を同一画面に並べて表示処理することで、誰でも一目で関節角度を容易に把握することができる。

【0077】

なお、図６では、人間の骨格のみを表現しているが、実際に撮影された動画データ、静止画データと共に関節角度を表示しても良いし、あるいは、解析処理の結果として関節角度の最大値や最小値のみを数値として表示することもできる。

【0078】

また、図７に示すように、表示処理部１０３は、動画データの時間変化に対応させて解析処理の結果による関節角度の時間変化を表示処理し、その表示処理の結果を端末２へ送信することもできる。図７では、説明を分かりやすくするために人間の骨格のみを表現しているが、図６と同様に、動画データと共に関節角度が表現されている。

【0079】

図７（ａ）では端末２の表示画面Ｗ２０に示すように再生時間４秒の時点における右肘の曲げ角度は××度である一方、図７（ｂ）では表示画面Ｗ３０に示すように再生時間１０秒の時点における右肘の曲げ角度が□□度に変化している、すなわち、動画データの時間変化に応じた関節角度の変化が表示されている。

【0080】

本実施形態では、例えば５秒から３０秒ごとに関節角度の変化を表示することができる。つまり、表示処理部１０３は、５秒から３０秒ごとに関節角度の数値を切り替えて表示処理を行うことができる。このような表示処理をすることで、動画データにおいて時間変化に応じて変化する関節角度も簡単に把握することができる。

【0081】

以上のように本発明に係る関節角度測定システムによれば、解析処理部１０２による段階的な処理を実行すると共に表示処理部１０３によって特定の表示処理をすることで、人間の関節角度を簡単且つ精度良く測定でき、その結果、医療分野でも利用することが可能となる。

【0082】

また、本実施形態では主に医療分野等へ利用するための関節角度の測定について説明したが、当然のことながら当該関節角度測定システムを医療分野以外の別の分野や、例えばスポーツや運動などの他の分野で利用する場合も本発明と同様の効果を得ることができる。

【符号の説明】

【0083】

１ 関節角度測定システム
２ 端末
１０ 情報処理装置
１１ 制御部
１２ 記憶部
１３ 通信部
９０ 端末（端末２）
９１ 制御部
９２ 記憶部
９３ 通信部
９４ 入力部
９５ 出力部
１０１ 受信部
１０２ 解析処理部
１０３ 表示処理部
ＮＷ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】