特許 7329216 判定装置、判定方法、プログラム、ならびに、情報記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-09

(45)【発行日】2023-08-18

(54)【発明の名称】判定装置、判定方法、プログラム、ならびに、情報記録媒体

(51)【国際特許分類】

   A61B 5/11 20060101AFI20230810BHJP

【ＦＩ】

A61B5/11 120

A61B5/11 230

【請求項の数】 13

(21)【出願番号】P 2019177109

(22)【出願日】2019-09-27

(65)【公開番号】P2021052914

(43)【公開日】2021-04-08

【審査請求日】2022-06-10

【新規性喪失の例外の表示】特許法第３０条第２項適用 発行者名：Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）、刊行物名：２０１８ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＲＯＳ）講演予稿集、公開日：平成３０年１０月１日 集会名：２０１８ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＲＯＳ）、開催日：平成３０年１０月４日

(73)【特許権者】

【識別番号】503359821

【氏名又は名称】国立研究開発法人理化学研究所

(73)【特許権者】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100110135

【弁理士】

【氏名又は名称】石井 裕一郎

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(72)【発明者】

【氏名】太田 聡史

(72)【発明者】

【氏名】鮎澤 光

(72)【発明者】

【氏名】吉田 英一

(72)【発明者】

【氏名】持丸 正明

【審査官】外山 未琴

(56)【参考文献】

【文献】高田七瀬，ヒトの歩行運動の残余モード解析による運動機能障害推定法の検討，ロボティクス・メカトロニクス講演会２０１１ 講演論文集，一般社団法人日本機械学会，2011年05月26日，p. 1-2，[DVD-ROM], (TAKATA, Nanase, Mode Analyses on Kinematical Structure of Basic Movements and

【文献】嶋根裕太，運動解析に向けたげっ歯類の解剖学的ランドマークに基づく多自由度全身骨格モデルの開発，ロボティクス・メカトロニクス講演会２０１９ 講演論文集，一般社団法人日本機械学会，2019年06月05日，[DVD-ROM], (SHIMANE, Yuta, Development of a multi-DOF whole-body skeletal model based on anatomical

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／１１

(57)【特許請求の範囲】

【請求項1】

生体が運動する様子を撮影した動画を取得する取得部、
前記動画に撮影された前記生体の複数の関節角度の経時変化を計算する計算部、
前記計算された複数の関節角度の経時変化から、前記複数の関節角度のそれぞれ同士の時間に依存しない関連度を表す行列を算定する算定部、
前記生体について前記算定された行列と、前記生体以外の他の複数の生体について前記取得部、前記計算部、前記算定部による処理によって得られた他の複数の行列と、により、前記生体と、前記他の複数の生体と、を、複数のクラスタに分類する分類部、
前記生体が分類されたクラスタの情報を出力する出力部
を備えることを特徴とする判定装置。

【請求項2】

前記計算部は、前記生体および前記他の複数の生体に共通する関節モデルを適用するインバースキネマティクスにより、前記経時変化を計算する
ことを特徴とする請求項1に記載の判定装置。

【請求項3】

前記計算部は、前記複数の関節の各関節の角度を、前記関節モデルにおける基本姿勢からの変位により表現し、
前記行列の(i,j)要素は、前記関節モデルにおける第i関節角度と第j関節角度の関連度を表し、
前記算定部は、前記行列の(i,j)要素は第i関節角度と第j関節角度との積の時間平均により算定する
ことを特徴とする請求項2に記載の判定装置。

【請求項4】

前記計算部は、前記複数の関節の各関節の角度を、当該各関節の角度の時間平均からの変位により表現し、
前記行列の(i,j)要素は、前記関節モデルにおける第i関節角度と第j関節角度の関連度を表し、
前記算定部は、前記行列の(i,j)要素は第i関節角度と第j関節角度との積の時間平均により算定する
ことを特徴とする請求項2に記載の判定装置。

【請求項5】

前記行列の(i,j)要素は、前記関節モデルにおける第i関節角度と第j関節角度の関連度を表し、
前記算定部は、前記行列の(i,j)要素を、第i関節角度に基づく角速度と第j関節角度に基づく角速度との積の時間平均により算定する
ことを特徴とする請求項2に記載の判定装置。

【請求項6】

前記出力部は、前記情報として、前記生体が分類されたクラスタに分類された残余の生体が有する特性の分布を出力する
ことを特徴とする請求項1に記載の判定装置。

【請求項7】

前記出力部は、前記複数のクラスタのそれぞれのクラスタ毎に、当該クラスタに分類された生体が有する特性の分布を出力する
ことを特徴とする請求項6に記載の判定装置。

【請求項8】

前記出力部は、前記生体が有すべき特性の確率として、前記残余の生体が有する特性ごとの割合を出力する
ことを特徴とする請求項6に記載の判定装置。

【請求項9】

前記出力部は、前記生体が分類されたクラスタのサイズに基いて、前記出力される確率の信頼度を求め、前記求められた信頼度をさらに出力する
ことを特徴とする請求項8に記載の判定装置。

【請求項10】

前記他の複数の生体は、第1特性乃至第N特性のいずれかの特性を有し、前記分類部は、前記生体と、前記他の複数の生体と、を、N個以上のクラスタに分類する
ことを特徴とする請求項1に記載の判定装置。

【請求項11】

判定装置が、生体が運動する様子を撮影した動画を取得する取得工程、
前記判定装置が、前記動画に撮影された前記生体の複数の関節角度の経時変化を計算する計算工程、
前記判定装置が、前記計算された複数の関節角度の経時変化から、前記複数の関節角度のそれぞれ同士の時間に依存しない関連度を表す行列を算定する算定工程、
前記判定装置が、前記生体について前記算定された行列と、前記生体以外の他の複数の生体について前記取得工程、前記計算工程、前記算定工程による処理によって得られた他の複数の行列と、により、前記生体と、前記他の複数の生体と、を、複数のクラスタに分類する分類工程、
前記判定装置が、前記生体が分類されたクラスタの情報を出力する出力工程
を備えることを特徴とする判定方法。

【請求項12】

コンピュータを、
生体が運動する様子を撮影した動画を取得する取得部、
前記動画に撮影された前記生体の複数の関節角度の経時変化を計算する計算部、
前記計算された複数の関節角度の経時変化から、前記複数の関節角度のそれぞれ同士の時間に依存しない関連度を表す行列を算定する算定部、
前記生体について前記算定された行列と、前記生体以外の他の複数の生体について前記取得部、前記計算部、前記算定部による処理によって得られた他の複数の行列と、により、前記生体と、前記他の複数の生体と、を、複数のクラスタに分類する分類部、
前記生体が分類されたクラスタの情報を出力する出力部
として機能させることを特徴とするプログラム。

【請求項13】

請求項12に記載のプログラムが記録された非一時的なコンピュータ読み取り可能な情報記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運動する生体の様子を撮影した動画により、当該生体が有すべき特性を判定するのに好適な判定装置、判定方法、プログラム、ならびに、情報記録媒体に関する。

【背景技術】

【0002】

従来から、被験者に所定の運動を行わせることにより、診断を行う技術が提案されている。たとえば、特許文献1には、被験者に股関節を支点とする運動を繰り返し行わせ、その様子を撮影して、股関節脱臼の疑いがあるか否かを判定する技術が開示されている。

【0003】

一般に、筋骨格を有する生体は、関節で繋がれた骨同士の角度を変化させることによって姿勢を変化させ、種々の運動をする。このような生体の筋骨格モデルについては、たとえば非特許文献1に開示されるように、種々の研究が進められている。生体の運動は、たとえば、神経変性疾患であるハンチントン病に罹患しているマウスでは、不良となる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開2018-175048号公報

【非特許文献】

【0005】

【文献】S. Oota et al., Development of a coarse-grained skeletal model of laboratory mouse and its biomechanical applications, presented at the 1st International Conference on Applied Bionics and Biomechanics (ICABB-2010), VENICE, ITALY, 2010年10月15日

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、人間との意志疎通が困難なマウスに対しては、所定の運動を繰り返させることが難しい。したがって、マウスが自らの意志で運動する様子に基づいて、当該マウスがハンチントン病に該当するか否か等の診断を行う技術が求められている。

【0007】

また、マウスのハンチントン病に限らず、広く一般に、特定の運動をするよう生体に求めることを前提とせず、当該生体が自らの意志で自由に運動する様子を撮影した動画により、当該生体が有すべき特性を判定したいという要望がある。

【0008】

本発明は、上記の課題を解決するもので、運動する生体の様子を撮影した動画により、当該生体が有すべき特性を判定するのに好適な判定装置、判定方法、プログラム、ならびに、情報記録媒体を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記の課題を解決するため、本発明に係る判定装置は、
生体が運動する様子を撮影した動画を取得し、
前記動画に撮影された前記生体の複数の関節角度の経時変化を計算し、
前記計算された複数の関節角度の経時変化から、前記複数の関節角度のそれぞれ同士の時間に依存しない関連度を表す行列を算定し、
前記生体について前記算定された行列と、前記生体以外の他の複数の生体について同様の処理によって得られた他の複数の行列と、により、前記生体と、前記他の複数の生体と、を、複数のクラスタに分類し、
前記生体が分類されたクラスタの情報を出力する。

【発明の効果】

【0010】

本発明によれば、運動する生体の様子を撮影した動画により、当該生体が有すべき特性を判定するのに好適な判定装置、判定方法、プログラム、ならびに、情報記録媒体を提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態に係る判定装置の構成を示す説明図である。

【図2】マウスの筋骨格モデルの一例を示す説明図である。

【図3】マウスの骨格とマーカの位置関係を示す正面図である。

【図4】マウスの骨格とマーカの位置関係を示す平面図である。

【図5】マウスの骨格とマーカの位置関係を示す左側面図である。

【図6】マウスの体表とマーカの位置関係をグレイスケールにより示す図面代用写真である。

【図7】マウスの体表とマーカの位置関係をモノクロ2値により示す図面代用写真である。

【図8】本発明の実施形態に係る判定装置にて実行される判定処理の制御の流れを示すフローチャートである。

【発明を実施するための形態】

【0012】

以下に、本発明の実施形態を説明する。なお、本実施形態は、説明のためのものであり、本発明の範囲を制限するものではない。したがって、当業者であれば、本実施形態の各要素もしくは全要素を、これと均等なものに置換した実施形態を採用することが可能である。また、各実施例にて説明する要素は、用途に応じて適宜省略することも可能である。このように、本発明の原理にしたがって構成された実施形態は、いずれも本発明の範囲に含まれる。

【0013】

(構成)
本実施形態に係る判定装置は、典型的には、プログラムをコンピュータが実行することによって実現される。当該コンピュータは、各種の出力装置や入力装置に接続され、これらの機器と情報を送受する。

【0014】

コンピュータにて実行されるプログラムは、当該コンピュータが通信可能に接続されたサーバにより配布、販売することができるほか、CD-ROM(Compact Disk Read Only Memory)やフラッシュメモリ、EEPROM(Electrically Erasable Programmable ROM)などの非一時的(non-transitory)な情報記録媒体に記録した上で、当該情報記録媒体を配布、販売等することも可能である。

【0015】

プログラムは、コンピュータが有するハードディスク、ソリッドステートドライブ、フラッシュメモリ、EEPROM等などの非一時的な情報記録媒体にインストールされる。すると、当該コンピュータにより、本実施形態における情報処理装置が実現されることになる。一般的には、コンピュータのCPU(Central Processing Unit)は、コンピュータのOS(Operating System)による管理の下、情報記録媒体からRAM(Random Access Memory)へプログラムを読み出してから、当該プログラムに含まれるコードを解釈、実行する。ただし、CPUがアクセス可能なメモリ空間内に情報記録媒体をマッピングできるようなアーキテクチャでは、RAMへの明示的なプログラムのロードは不要なこともある。なお、プログラムの実行の過程で必要とされる各種情報は、RAM内に一時的(temporary)に記録しておくことができる。

【0016】

さらに、上記のように、コンピュータは、各種画像処理計算を高速に行うためのGPU(Graphics Processing Unit)を備えることもできる。GPUならびにTensorFlow等のライブラリを使うことで、CPUの制御の下、各種の人工知能処理における学習機能や分類機能を利用することができるようになる。

【0017】

なお、汎用のコンピュータにより本実施形態の情報処理装置を実現するのではなく、専用の電子回路を用いて本実施形態の情報処理装置を構成することも可能である。この態様では、プログラムを電子回路の配線図やタイミングチャート等を生成するための素材として利用することもできる。このような態様では、プログラムに定められる仕様を満たすような電子回路がFPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)により構成され、当該電子回路は、当該プログラムに定められた機能を果たす専用機器として機能して、本実施形態の情報処理装置を実現する。

【0018】

以下では、理解を容易にするため、判定装置101は、コンピュータがプログラムを実行することによって実現される態様を想定して説明する。図1は、本発明の実施形態に係る判定装置の構成を示す説明図である。

【0019】

本図に示すように、本実施形態に係る判定装置101は、取得部102、計算部103、算定部104、分類部105、出力部106を備える。

【0020】

ここで、取得部102は、生体が運動する様子を撮影した動画を取得する。

【0021】

一方、計算部103は、動画に撮影された当該生体の複数の関節角度の経時変化を計算する。

【0022】

さらに、算定部104は、計算された複数の関節角度の経時変化から、複数の関節角度のそれぞれ同士の時間に依存しない関連度を表す行列を算定する。

【0023】

そして、分類部105は、当該生体について算定された行列と、当該生体以外の他の複数の生体について、取得部102、計算部103、算定部104による処理によって得られた他の複数の行列と、により、当該生体と、他の複数の生体と、を、複数のクラスタに分類する。

【0024】

一方、出力部106は、当該生体が分類されたクラスタの情報を出力する。

【0025】

典型的には、他の複数の生体は、第1特性乃至第N(N≧2)特性のいずれかの特性を有し、分類部105が、生体と、他の複数の生体と、を、N個以上のクラスタに分類し、出力部106は、情報として、生体が分類されたクラスタに分類された残余の生体が有する特性の分布を出力する。

【0026】

すなわち、取得部102は、
(a)第1特性乃至第N特性のいずれかを有する複数の生体S₀, S₁, S₂, …, S_L-1 (L≧1)のそれぞれが動作する様子を撮影した動画V₀, V₁, V₂, …, V_L-1と、
(b)いずれの特性を有するか不明である生体S_Lが動作する様子を撮影した動画S_Lと、
を取得する。

【0027】

あらかじめ動画V₀, V₁, V₂, …, V_L-1が取得され、関節角度の計算、行列の算定の処理も完了した上で、時期をおいて、新たな動画V_Lを追加的に取得することとしても良いし、動画V₀, V₁, V₂, …, V_L-1, V_Lを同時期に取得して、以降の処理を順次もしくは並行して行うこととしても良い。

【0028】

動画動画V₀, V₁, V₂, …, V_L-1, V_Lのそれぞれの撮影時間や総フレーム数等の撮影条件は異なっていても良い。本実施形態では、時間に依存する要素を捨象して、生体の動作を分類するからである。

【0029】

計算部103は、生体S₀, S₁, S₂, …, S_L-1, S_Lに共通する一つの関節モデルを適用するインバースキネマティクスにより、生体S₀, S₁, S₂, …, S_L-1, S_Lの各関節角度の経時変化を計算する。

【0030】

このため、生体S₀, S₁, S₂, …, S_L-1, S_Lの体表の所定位置に適宜マーカを付した上で、動画V₀, V₁, V₂, …, V_L-1, V_Lを撮影すると、計算される関節角度の精度を向上させることができる。

【0031】

動画V_k (0≦k≦L)の有効フレーム数がT[k]であり、関節モデルにより表現される関節角度の数がM個であり、インバースキネマティクスにより、時刻t (1≦t≦T[k])における第i (1≦i≦M)関節角度β_k,i,tが得られたとする。β_k,i,tは、第i関節角度の、関節モデルにおける基本姿勢からの変位を表現している。

【0032】

算定部104は、動画V_k (0≦k≦L)に基づいて計算された関節角度β_k,i,t (1≦i≦M, 1≦t≦T[k])に基づいて、生体S_kにおける関節角度同士の関連度を表す行列を算定する。ここで、得られる行列の各要素は、時間に依存しない。

【0033】

もっとも単純には、インバースキネマティクスにより得られた関節角度β_k,i,tをそのまま利用してα_k,i,tとする。
α_k,i,t = β_k,i,t

【0034】

そして、生体S_kに対する行列C[k]の(i,j)要素を、時間平均を用いて、以下のように算定する。
C[k]_i,j = Σ_t=1 ^T[k]α_k,i,tα_k,j,t/T[k]

【0035】

この定義より、
C[k]_j,i = C[k]_i,j
であるから、行列C[k]は対称行列である。したがって、C[k]_j,iとC[k]_i,jのいずれか一方を計算すれば、他方はその値をそのまま利用することができる。

【0036】

関節角度の関連度を計算するにあたって、上記手法では、単純に
α_k,i,t = β_k,i,t
としたが、それ以外の手法を採用することもできる。

【0037】

たとえば、β_k,i,tの時間平均からの変位を利用する手法である。すなわち、
α_k,i,t = β_k,i,t - Σ_t=1 ^T[k]β_k,i,t/T[k]
とする。これは、関節モデルにおける基本姿勢として、当該生体の自然な姿勢(たとえば、最もリラックスし、弛緩した姿勢)以外を採用している場合に好適である。

【0038】

また、β_k,i,tの時間差分を利用しても良い。これは、角速度により、関節同士の関連度を求めるものである。動画V_kの撮影フレームレート(単位時間あたりの撮影フレーム数)をF_kとしたとき、
α_k,i,t = (β_k,i,t+1 - β_k,i,t)F_k
とし、α_k,i,tの時間方向の数が1減るので、
C[k]_i,j = Σ_t=1 ^T[k]-1α_k,i,tα_k,j,t/(T[k]-1)
とする。

【0039】

このほか、一旦求められた行列C[k]について、対角要素がすべて1になるように、各行(あるいは各列)に含まれる各要素を、その行(あるいは列)の対角要素で割り算する正規化を施しても良い。

【0040】

なお、全動画V₀, V₁, V₂, …, V_L-1, V_Lが同じフレームレートで撮影されている場合は、フレームレートを乗ずるのを省略して、
α_k,i,t = β_k,i,t+1 - β_k,i,t
とすることができる。

【0041】

このような種々の計算方法により、行列C[0], C[1], C[2], …, C[L-1], C[L]が得られたら、分類部105は、生体S₀, S₁, S₂, …, S[L-1], S[L]を、行列C[0], C[1], C[2], …, C[L-1], C[L]によりクラスタリングする。

【0042】

行列C[0], C[1], C[2], …, C[L-1], C[L]は、行数ならびに列数が共通する正方行列である。行列のクラスタリングを行うためには、行列同士の距離を定める必要がある。ここで、行列同士の距離としては、たとえば、以下のようなものを採用することができる。
(1)行列の要素同士(同じ行番号、列番号に位置する要素同士)の差の絶対値の総和。これは、マンハッタン距離と呼ばれるものである。
(2)行列の要素同士の差の自乗の総和の平方根。これは、ユークリッド距離と呼ばれるものである。
(3)行列の要素同士の差の自乗の総和。これは、ユークリッド距離において平方根を計算する処理を省略したものである。

【0043】

なお、上記のように、行列C[0], C[1], C[2], …, C[L-1], C[L]は対称行列であるから、全要素の総和に基づいて距離を定めるのではなく、上(あるいは下)三角要素の総和に基づいて距離を定めることとしても良い。

【0044】

ここで計算される距離は、当該行列同士に係る生体同士の関節の運動が似ていれば小さいし、似ていなければ大きいはずである。そこで、行列同士の距離に基づいて、凝集法、k-means、x-means等を含む種々の手法により、クラスタリングを行う。このとき、クラスタ総数は、生体が有しうる特性の種類数N以上とすることが望ましい。

【0045】

たとえば、凝集法では、以下のような手順により、クラスタリングを行う。
(1)まず、各行列をそれぞれ1個含む(L+1)個のクラスタを作る。
(2)そして、当該クラスタに含まれる行列の平均をあらわす平均行列を、各クラスタのクラスタ中心とする。
(3)ついで、クラスタ中心同士が最も近い2つのクラスタを選び、選ばれた2つのクラスタを合併して1つのクラスタにする。
(4)クラスタの総数が上記条件を満たすまで、あるいは、所定のクラスタ分類終了条件を満たすまで、上記(2)(3)の処理を繰り返す。

【0046】

クラスタリングにより、関節角度の関連度を表す行列が近似する生体、すなわち、関節の運動の様子が類似する生体が、同じクラスタに分類されることが期待される。

【0047】

出力部106は、特性が不明の生体S_Lが分類されたクラスタの情報を出力する。したがって、当該クラスタに分類された残余の生体(当該クラスタに分類された生体であって、生体S_L以外の生体)の数が十分多く、すべて第1特性を有するのであれば、生体S_Lも第1特性を有するであろうと、判定することができる。

【0048】

また、残余の生体において、第1特性を有するものと、第2特性を有するものとが、半々である場合には、生体S_Lは、第1特性を有する確率が50%程度、第2特性を有する確率が50%程度、その他の特性を有する可能性は低い、と判定することができる。

【0049】

したがって、出力部106が出力するクラスタの情報としては、当該クラスタに分類された残余の生体が有する特性の分布を採用することができる。

【0050】

また、出力部106は、生体が有すべき特性の確率として、残余の生体が有する特性ごとの割合を出力することもできる。

【0051】

このとき、出力部106は、生体が分類されたクラスタのサイズに基いて、出力される確率の信頼度を求め、求められた信頼度をさらに出力することもできる。すなわち、クラスタのサイズが大きければ大きいほど、当該クラスタに係る特性ごとの割合を生体が有すべき特性の確率として信頼できる度合が高い(当該確率の信頼区間が狭い)ことになる。

【0052】

(実験)
以下では、本発明の手法の有効性を確認するために行った実験について説明する。本実験では、2種類の特性のいずれかを持つマウスを、上記の手法によってクラスタリングする。

【0053】

図2は、マウスの筋骨格モデルの一例を示す説明図である。本図に示す筋骨格モデルは、発明者らが考案したものであり、関節モデルは、当該筋骨格モデルの一部をなす。本図では、関節は黒丸で、骨はハッチングされた四角形で表現されている。

【0054】

マウスの筋骨格モデルは、骨盤を根ノードとする木構造をなしていると考えることができる。骨盤の向きは、外界の座標系に基づいて定められる。関節を介して互いに連結されている2つの骨格の相対的な向きは、骨盤に近い側の骨格(親ノード)に対する骨盤に遠い側の骨格(子ノード)により定められ、その角度の自由度は3である。

【0055】

本実験においては、キネマティック分析を行うので、マウスの重量がどのように分布しているか、は無視する。また、マウスの尾の骨格も省略している。

【0056】

本図に示す例では、マウスは、7個の頸骨(cervical bones)、13個の胸骨(thoracic bones)、6個の腰骨(lumber bones)、4個の仙骨(sacrum bones)を有している。関節の数は、7+13+6+4-1=29個であるから、単純に考えると、関節角度の総数は29×3=87となる。

【0057】

これでは、インバースキネマティクスによって分析するには複雑すぎるため、分析を容易にすべく、各関節は単純な関数に基づいて連結されるという制約条件を課すとともに、可動部分の少ない関節で結合されている骨群については1つの剛体であるとみなし、さらに全体の関節角度変化の合計が最小になるような制約条件を与え、関節モデルに係る関節角度の数を、実質的に減らすこととしている。

【0058】

マウスのモーションキャプチャに際しては、9つのデジタルカメラを利用した。フレームレートは120Hzである。各カメラは赤外線光を発しており、逆反射部材からなるマーカをマウス体表に貼り付けることによって、マーカからカメラへ入射する赤外線光を撮影した。図3は、マウスの骨格とマーカの位置関係を示す正面図である。図4は、マウスの骨格とマーカの位置関係を示す平面図である。図5は、マウスの骨格とマーカの位置関係を示す左側面図である。図6は、マウスの体表とマーカの位置関係をグレイスケールにより示す図面代用写真である。図7は、マウスの体表とマーカの位置関係をモノクロ2値により示す図面代用写真である。これらの図ならびに図面代用写真において、略球形に描かれているものがマーカである。

【0059】

各マーカが描く3次元軌跡の再構築は、Cortex(商標)と呼ばれるソフトウェアを利用することによって行った。各マーカの位置の空間解像度は、0.2mmである。

【0060】

各マーカは同じ素材を利用しており、撮影時には区別されないため、後処理として、各マーカが体表のどの部位に相当するか、は、人手で入力した。

【0061】

マウスの体表に貼り付けられたマーカーの経時軌跡から、インバースキネマティクスによって各関節角度の経時変化を求めるため、オープンソースソフトウェアであるOpenSimを利用した。

【0062】

対象とするマウスは、正常なマウス(第1特性; +/+)を4体と、ハンチントン病の遺伝子を遺伝子操作によって付与されたマウス(第2特性; Tg/+)を4体と、の2種類(N=2)で、合計8体を採用した。

【0063】

マウスA-Hのそれぞれについて4800フレーム分を撮影したが、撮影されたマーカのデータからインバースキネマティクスにより関節角度を推定できた区間に係る有効フレーム数は、マウスによって異なる。その諸元は以下の通りである。
マウスA … Tg/+ … 300フレーム
マウスB … +/+ … 88フレーム
マウスC … +/+ … 500フレーム
マウスD … Tg/+ … 434フレーム
マウスE … Tg/+ … 559フレーム
マウスF … +/+ … 600フレーム
マウスG … Tg/+ … 221フレーム
マウスH … +/+ … 546フレーム

【0064】

本実験では、各マウスについて関節角度の関連度を表す行列を計算するにあたり、インバースキネマティクスにより得られた関節角度β_k,i,tをそのまま利用してα_k,i,tとした。

【0065】

また、行列の距離については、全要素を考慮したユークリッド距離を採用し、数値計算ソフトウェアMathematica(商標)で提供されている関数Agglomerateを利用することにより、デンドログラムを描いて、最終的に、2つのクラスタにマウスを分類した。

【0066】

すると、
マウスA, B, D, E, Gを含むクラスタXと、
マウスC, F, Hを含むクラスタYと、
の2つに分類することができた。

【0067】

クラスタXは、第2特性に相当し、クラスタYは第1特性に相当するものと考えられるが、マウスBについてのみ、分類に誤りが生じている。これは、マウスBについての動画の有効フレーム数が他の動画に比べて格段に少ないためと考えられる。

【0068】

なお、2×8!/〔3!(8-3)!〕=0.036であるから、この分類の有意水準は、3.6%レベルであり、分類誤りが1つしか生じていないことからみても、本手法が有効であることがわかる。

【0069】

(処理の流れ)
上記実験では、特性が既知のマウスを分類したが、以下では、特性が既知の生体S₀, S₁, S₂, …, S_L-1と、特性が不明の生体S_Lと、を用いて、生体S_Lの特性を出力する判定処理の一例について説明する。図8は、本発明の実施形態に係る判定装置にて実行される判定処理の制御の流れを示すフローチャートである。

【0070】

本処理が開始されると、判定装置101は、整数i=0, 1, 2, …, L-1のそれぞれについて(ステップS301)、特性が既知の生体S_iを撮影した動画V_iを取得し(ステップS302)、インバースキネマティクスにより、生体S_iの関節角度の経時変化を計算してから(ステップS303)、関節角度同士の関連度を表す行列C[i]を算定する(ステップS304)処理を繰り返す(ステップS305)。

【0071】

この後、判定装置101は、特性が未知の生体S_Lを撮影した動画V_Lを取得し(ステップS306)、インバースキネマティクスにより、生体S_Lの関節角度の経時変化を計算してから(ステップS307)、関節角度同士の関連度を表す行列C[L]を算定する(ステップS308)。

【0072】

そして、判定装置101は、行列C[0], C[1], C[2], …, C[L-1], C[L]により、生体S₀, S₁, S₂, …, S_L-1, S_Lをクラスタリングする(ステップS309)。

【0073】

この後、判定装置101は、生体S_Lが分類されたクラスタに関する情報を出力して(ステップS310)、本処理を終了する。この際には、上記のように、他のクラスタの情報をあわせて出力することとしても良い。

【0074】

たとえば、上記実験の8体のマウスについて、マウスAのみ特性未知として本処理を適用すると、マウスAが分類されるクラスタの残余の生体の情報として、Tg/+は3体(75%)、+/+は1体(25%)が出力されるとなるから、マウスAは、Tg/+である可能性が高い、と正しく判定されることになる。マウスD, E, Gのそれぞれを特性未知とした場合についても同様である。

【0075】

マウスC, F, Hのそれぞれを特性未知とした場合は、出力されるクラスタの残余の生体の情報として、+/+が2体(100%)が出力されることとなるから、当該未知の生体は、+/+である可能性が高い、と正しく判定されることになる。

【0076】

マウスBを特性未知とした場合には、マウスBが分類されるクラスタの残余の生体の情報として、Tg/+が4体(100%)出力されることとなるから、マウスBは、+/+である可能性が高い、と誤判定されることになる。

【0077】

なお、ステップS301-S305の処理は、あらかじめ実行しておき、行列C[0], C[1], C[2], …, C[L-1]をデータベース化しておけば、未知の生体について分類をしたいときに、ステップS306-S309の処理を実行することができる。

【0078】

このように、サンプルとなる特性既知の生体が7体と少ない場合であっても、本実施例によれば、かなり正確な分類が可能であることがわかる。したがって、十分な数の特性既知の生体について、関節角度の関連度を表す行列をデータベース化することにより、分類精度を十分高くすることができることがわかる。

【0079】

上記の説明では、生体の例としてマウスを掲げているが、本実施形態が適用可能な生体は、マウスには限られず、共通する関節モデルを利用して動画からインバースキネマティクスにより関節角度の経時変化を算定できるような生体であれば、任意の生体に適用が可能である。

【0080】

また、本実施形態は、ハンチントン病の有無に限定されず、健常な生体と、任意の疾患を有する生体と、を分類するのに利用することができる。

【0081】

上記のように、本実施形態によれば、生体を撮影する際に、試験者が生体に対して特定の運動をするよう命令する必要がない。生体は、自身の意志に基づいて動作することができ、その様子を撮影した動画に基いて、生体を精度高く分類し、分類されたクラスタに基づいて、特性が未知の生体が有する特性を判定することができる。

【0082】

(まとめ)
以上説明したように、本実施形態に係る判定装置は、
生体が運動する様子を撮影した動画を取得する取得部、
前記動画に撮影された前記生体の複数の関節角度の経時変化を計算する計算部、
前記計算された複数の関節角度の経時変化から、前記複数の関節角度のそれぞれ同士の時間に依存しない関連度を表す行列を算定する算定部、
前記生体について前記算定された行列と、前記生体以外の他の複数の生体について前記取得部、前記計算部、前記算定部による処理によって得られた他の複数の行列と、により、前記生体と、前記他の複数の生体と、を、複数のクラスタに分類する分類部、
前記生体が分類されたクラスタの情報を出力する出力部
を備えるように構成する。

【0083】

また、本実施形態に係る判定装置において、
前記計算部は、前記生体および前記他の複数の生体に共通する関節モデルを適用するインバースキネマティクスにより、前記経時変化を計算する
ように構成することができる。

【0084】

また、本実施形態に係る判定装置において、
前記計算部は、前記複数の関節の各関節の角度を、前記関節モデルにおける基本姿勢からの変位により表現し、
前記行列の(i,j)要素は、前記関節モデルにおける第i関節角度と第j関節角度の関連度を表し、
前記算定部は、前記行列の(i,j)要素は第i関節角度と第j関節角度との積の時間平均により算定する
ように構成することができる。

【0085】

また、本実施形態に係る判定装置において、
前記計算部は、前記複数の関節の各関節の角度を、当該各関節の角度の時間平均からの変位により表現し、
前記行列の(i,j)要素は、前記関節モデルにおける第i関節角度と第j関節角度の関連度を表し、
前記算定部は、前記行列の(i,j)要素は第i関節角度と第j関節角度との積の時間平均により算定する
ように構成することができる。

【0086】

また、本実施形態に係る判定装置において、
前記行列の(i,j)要素は、前記関節モデルにおける第i関節角度と第j関節角度の関連度を表し、
前記算定部は、前記行列の(i,j)要素を、第i関節角度に基づく角速度と第j関節角度に基づく角速度との積の時間平均により算定する
ように構成することができる。

【0087】

また、本実施形態に係る判定装置において、
前記出力部は、前記情報として、前記生体が分類されたクラスタに分類された残余の生体が有する特性の分布を出力する
ように構成することができる。

【0088】

また、本実施形態に係る判定装置において、
前記出力部は、前記複数のクラスタのそれぞれのクラスタ毎に、当該クラスタに分類された生体が有する特性の分布を出力する
ように構成することができる。

【0089】

また、本実施形態に係る判定装置において、
前記出力部は、前記生体が有すべき特性の確率として、前記残余の生体が有する特性ごとの割合を出力する
ように構成することができる。

【0090】

また、本実施形態に係る判定装置において、
前記出力部は、前記生体が分類されたクラスタのサイズに基いて、前記出力される確率の信頼度を求め、前記求められた信頼度をさらに出力する
ように構成することができる。

【0091】

また、本実施形態に係る判定装置において、
前記他の複数の生体は、第1特性乃至第N特性のいずれかの特性を有し、前記分類部は、前記生体と、前記他の複数の生体と、を、N個以上のクラスタに分類する
ように構成することができる。

【0092】

本実施形態に係る判定方法は、
判定装置が、生体が運動する様子を撮影した動画を取得する取得工程、
前記判定装置が、前記動画に撮影された前記生体の複数の関節角度の経時変化を計算する計算工程、
前記判定装置が、前記計算された複数の関節角度の経時変化から、前記複数の関節角度のそれぞれ同士の時間に依存しない関連度を表す行列を算定する算定工程、
前記判定装置が、前記生体について前記算定された行列と、前記生体以外の他の複数の生体について前記取得工程、前記計算工程、前記算定工程による処理によって得られた他の複数の行列と、により、前記生体と、前記他の複数の生体と、を、複数のクラスタに分類する分類工程、
前記判定装置が、前記生体が分類されたクラスタの情報を出力する出力工程
を備えるように構成する。

【0093】

本実施形態に係るプログラムは、コンピュータを、
生体が運動する様子を撮影した動画を取得する取得部、
前記動画に撮影された前記生体の複数の関節角度の経時変化を計算する計算部、
前記計算された複数の関節角度の経時変化から、前記複数の関節角度のそれぞれ同士の時間に依存しない関連度を表す行列を算定する算定部、
前記生体について前記算定された行列と、前記生体以外の他の複数の生体について前記取得部、前記計算部、前記算定部による処理によって得られた他の複数の行列と、により、前記生体と、前記他の複数の生体と、を、複数のクラスタに分類する分類部、
前記生体が分類されたクラスタの情報を出力する出力部
として機能させるように構成する。

【0094】

本実施形態に係るプログラムは、非一時的なコンピュータ読取可能な情報記録媒体に記録して配布、販売することができる。また、コンピュータ通信網等の一時的な伝送媒体を介して配布、販売することができる。

【0095】

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

【産業上の利用可能性】

【0096】

本発明によれば、運動する生体の様子を撮影した動画により、当該生体が有すべき特性を判定するのに好適な判定装置、判定方法、プログラム、ならびに、情報記録媒体を提供することができる。

【符号の説明】

【0097】

101 判定装置
102 取得部
103 計算部
104 算定部
105 分類部
106 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】