▶ プレジデント・アンド・フェロウズ・オブ・ハーバード・カレッジの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-03
(45)【発行日】2022-03-11
(54)【発明の名称】動物行動の自動分類
(51)【国際特許分類】
G06T 7/254 20170101AFI20220304BHJP
A01K 29/00 20060101ALI20220304BHJP
G06F 16/20 20190101ALI20220304BHJP
G06F 16/28 20190101ALI20220304BHJP
G06F 16/70 20190101ALI20220304BHJP
G06F 16/75 20190101ALI20220304BHJP
G06T 7/215 20170101ALI20220304BHJP
【ＦＩ】
G06T7/254 B
A01K29/00
G06F16/20
G06F16/28
G06F16/70
G06F16/75
G06T7/215
【請求項の数】
12
(21)【出願番号】P 2018519293
(86)(22)【出願日】2016-10-11
(65)【公表番号】
(43)【公表日】2019-02-21
(86)【国際出願番号】 US2016056471
(87)【国際公開番号】W WO2017066209
(87)【国際公開日】2017-04-20
【審査請求日】2019-09-20
(31)【優先権主張番号】62/241,627
(32)【優先日】2015-10-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507244910
【氏名又は名称】プレジデント・アンド・フェロウズ・オブ・ハーバード・カレッジ
(74)【代理人】
【識別番号】100102978
【弁理士】
【氏名又は名称】清水 初志
(74)【代理人】
【識別番号】100102118
【弁理士】
【氏名又は名称】春名 雅夫
(74)【代理人】
【識別番号】100160923
【弁理士】
【氏名又は名称】山口 裕孝
(74)【代理人】
【識別番号】100119507
【弁理士】
【氏名又は名称】刑部 俊
(74)【代理人】
【識別番号】100142929
【弁理士】
【氏名又は名称】井上 隆一
(74)【代理人】
【識別番号】100148699
【弁理士】
【氏名又は名称】佐藤 利光
(74)【代理人】
【識別番号】100128048
【弁理士】
【氏名又は名称】新見 浩一
(74)【代理人】
【識別番号】100129506
【弁理士】
【氏名又は名称】小林 智彦
(74)【代理人】
【識別番号】100205707
【弁理士】
【氏名又は名称】小寺 秀紀
(74)【代理人】
【識別番号】100114340
【弁理士】
【氏名又は名称】大関 雅人
(74)【代理人】
【識別番号】100121072
【弁理士】
【氏名又は名称】川本 和弥
(72)【発明者】
【氏名】ダッタ サンディープ ロバート
(72)【発明者】
【氏名】ウィルチコ アレキサンダー バーム
(72)【発明者】
【氏名】ジョンソン マシュー ジェイ．
【審査官】合田 幸裕
(56)【参考文献】
【文献】米国特許出願公開第２０１５／０１４６９３９（ＵＳ，Ａ１）
【文献】特開２００７－３２８４３５（ＪＰ，Ａ）
【文献】国際公開第２００２／０９２１０１（ＷＯ，Ａ１）
【文献】特開２０１２－０５３７１６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／２５４
Ａ０１Ｋ ２９／００
Ｇ０６Ｆ １６／２０
Ｇ０６Ｆ １６／２８
Ｇ０６Ｆ １６／７０
Ｇ０６Ｆ １６／７５
Ｇ０６Ｔ ７／２１５
ＩＥＥＥ Ｘｐｌｏｒｅ
ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
対象の動きを表す3次元ビデオデータフレームを、モジュールを表す少なくとも1つのフレームセットと、モジュール間の遷移を表す少なくとも1つのフレームセットとに区分するために、計算モデルを使用して、前記3次元ビデオデータフレームを、1つまたは複数のプロセッサを含む制御システムにより処理する工程であって、前記モジュールは200～900ミリ秒を含む、工程、および動物行動のタイプを表すデータ識別子に参照付けられた前記モジュールを表す少なくとも1つのフレームセットを、前記制御システムによりメモリに格納する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
【請求項2】
前記1つまたは複数のプロセッサを含む制御システムにより処理する工程は、a. 前記3次元ビデオデータフレームにおいて前記対象を背景から、前記制御システムにより分離する工程、
b. 前記3次元ビデオデータフレームのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを、前記制御システムにより識別する工程、
c. 位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを、前記制御システムにより修正する工程、
d. 主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析（PCA）を使用して前記位置合わせされたフレームを、前記制御システムにより処理する工程、
e. 前記ポーズダイナミクスデータを別々のモジュールセットに時間的にセグメント化するために、前記計算モデルを用いて前記位置合わせされたフレームを、前記制御システムにより処理する工程であって、モジュールセット内の各モジュールが類似したポーズダイナミクスを示す、工程、または
f. 前記3次元ビデオデータフレームにおいて閾値を上回る頻度で発生する前記モジュールセットの各々の表現を、前記制御システムによりディスプレイに送る工程
のうちの少なくとも1つを含む、請求項1記載の方法。
【請求項3】
前記計算モデルは、前記モジュールを、PCA空間を通る定型化した軌跡を表すベクトル自己回帰過程としてモデル化すること、または隠れマルコフモデルを使用してサブ秒モジュール間の遷移期間をモデル化することを含む、請求項1記載の方法。
【請求項4】
前記3次元ビデオデータフレームは、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点は前記対象の3次元ポーズダイナミクスを表す、請求項1記載の方法。
【請求項5】
対象を背景から分離するために前記対象の動きを表す3次元ビデオデータを、1つまたは複数のプロセッサを含む制御システムにより前処理する工程、前記3次元ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを、前記制御システムにより識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを、前記制御システムにより修正する工程、
主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析を使用して前記位置合わせされたフレームを前記制御システムにより処理する工程、
前記ポーズダイナミクスデータを別々のサブ秒モジュールのセットに時間的にセグメント化するために、前記位置合わせされたフレームを前記制御システムにより処理する工程であって、サブ秒モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示し、前記サブ秒モジュールセット内の各サブ秒モジュールは200～900ミリ秒を含む、工程、および
前記3次元ビデオデータにおいて閾値を上回る頻度で発生する前記モジュールセットの各々の表現を、前記制御システムによりディスプレイに送る工程
を含む、対象の動きを分析してモジュールに分離するための方法。
【請求項6】
前記位置合わせされたフレームを前記制御システムにより処理する工程は、a. オートコレログラムを計算することを含むモデルフリーアルゴリズムを用いて行われるか、または
b. 任意でAR-HMMアルゴリズムである、モデルベースアルゴリズムを用いて行われる、
請求項5記載の方法。
【請求項7】
対象への作用因子の投与前および投与後の前記対象の動きを表す3次元ビデオデータを、1つまたは複数のプロセッサを含む制御システムにより、カメラから受け取る工程、前記対象を背景から分離するために前記3次元ビデオデータを、前記制御システムにより前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを、前記制御システムにより識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを、前記制御システムにより修正する工程、
主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析を使用して前記位置合わせされたフレームを前記制御システムにより処理する工程、
前記ポーズダイナミクスデータを別々のサブ秒モジュールのセットに時間的にセグメント化するために、計算モデルを用いて前記位置合わせされたフレームを前記制御システムにより処理する工程であって、サブ秒モジュールのセット内の各サブ秒モジュールが類似したポーズダイナミクスを示し、前記サブ秒モジュールセット内の各サブ秒モジュールは200～900ミリ秒を含む、工程、
前記対象への前記作用因子の投与前の各サブ秒モジュールセット内のモジュール数を、前記制御システムにより決定する工程、
前記対象への前記作用因子の投与後の各サブ秒モジュールセット内のモジュール数を、前記制御システムにより決定する工程、
前記対象への前記作用因子の投与前と投与後の各サブ秒モジュールセット内のモジュール数を、前記制御システムにより比較する工程、および
前記対象への前記作用因子の投与前と投与後の各モジュールセット内のモジュール数の発現頻度の変化の指示を、前記制御システムにより出力する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
【請求項8】
各サブ秒モジュールセットは、行動モジュールを表す基準データとの比較に基づいて所定の行動モジュールに分類される、請求項7記載の方法。
【請求項9】
前記対象への前記作用因子の投与前と投与後の各モジュールセット内のモジュール数の発現頻度の前記変化は、公知のカテゴリの作用因子への曝露後のモジュールの発現頻度の変化を表す基準データと比較され、前記比較されることに基づいて、前記作用因子を複数の公知の作用因子カテゴリのうちの1つとして分類する、請求項7または8記載の方法。
【請求項10】
前記作用因子は、薬学的に活性な化合物、視覚刺激もしくは聴覚刺激、または匂い物質である、請求項7～9のいずれか一項記載の方法。
【請求項11】
3次元ビデオカメラで対象の動きを記録し、前記3次元ビデオカメラから出力された3次元ビデオデータを解析して、異なる行動を表すフレームセットにするためのシステムであって、対象の動きを表すビデオデータを出力するように構成された3次元ビデオカメラと、
格納された機械実行可能コードを含む機械可読媒体を含む、前記3次元ビデオカメラと通信するメモリと、
前記メモリに結合された1つまたは複数のプロセッサを含む制御システムであって、前記制御システムに、
前記対象を背景から分離するために、前記制御システムを使用して前記ビデオデータを前処理させ、
前記制御システムを使用して、前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別させ、
位置合わせされたフレームのセットを出力するために、前記制御システムを使用して、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正させ、
前記制御システムを使用して、前記位置合わせされたフレームのセットの各フレームについてのポーズダイナミクスデータを出力するために、主成分分析を使用して前記位置合わせされたフレームのセットを処理させ、前記ポーズダイナミクスデータは主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表し、
前記位置合わせされたフレームのセットを別々のサブ秒モジュールのセットに時間的にセグメント化するために、前記制御システムを使用して、前記位置合わせされたフレームのセットを処理させ、各サブ秒モジュールセットは類似したポーズダイナミクスを有するサブ秒モジュールだけを含み、かつ200～900ミリ秒を含み、
サブ秒モジュールに参照付けられた前記位置合わせされたフレームのセット内の各フレームをデータベースに格納させる
ための前記機械実行可能コードを実行するように構成された、制御システムと
を含む、システム。
【請求項12】
前記制御システムは、前記別々のサブ秒モジュールのセット内で閾値を上回って発生する前記サブ秒モジュールのセットのサブセットの表現をディスプレイに送るようにさらに構成されているか、または前記制御システムは、閾値を上回って発生する前記サブ秒モジュールのセットの前記サブセットの各々の行動タグに関するユーザ入力を受け取り、かつ前記制御システムは、第2の対象の動きを表す前記3次元ビデオカメラから出力されたビデオデータに前記行動タグを自動的に適用するようにさらに構成されている、請求項11記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
連邦政府資金による研究開発の記載
本発明は、（1）国立衛生研究所（National Institutes of Health（NIH））長官によって授与されたNIH新イノベーター賞（New Innovator Award）受賞番号DP20D007109、および（2）NIH国立聴覚・伝達障害研究所（National Institute on Deafness and Other Communication Disorders（NIDCD））によって授与されたNIH研究プロジェクト助成プログラムNo.ROIDCOI1558の下での政府支援でなされたものである。連邦政府は本発明に一定の権利を有する。
本発明は、（1）国立衛生研究所（National Institutes of Health（NIH））長官によって授与されたNIH新イノベーター賞（New Innovator Award）受賞番号DP20D007109、および（2）NIH国立聴覚・伝達障害研究所（National Institute on Deafness and Other Communication Disorders（NIDCD））によって授与されたNIH研究プロジェクト助成プログラムNo.ROIDCOI1558の下での政府支援でなされたものである。連邦政府は本発明に一定の権利を有する。
【0002】
分野
本発明は、動物行動、人間行動または他の行動メトリックを識別および分類するためのシステムおよび方法に関する。
本発明は、動物行動、人間行動または他の行動メトリックを識別および分類するためのシステムおよび方法に関する。
【背景技術】
【0003】
背景
以下の説明は、本発明の理解において有用となりうる情報を含む。この説明は、本明細書で提供する情報のいずれかが先行技術であるかまたは本出願で特許請求される発明と関連することを認めるものでもないし、具体的または暗黙的に参照されている出版物が先行技術であることを認めるものでもない。
以下の説明は、本発明の理解において有用となりうる情報を含む。この説明は、本明細書で提供する情報のいずれかが先行技術であるかまたは本出願で特許請求される発明と関連することを認めるものでもないし、具体的または暗黙的に参照されている出版物が先行技術であることを認めるものでもない。
【0004】
動物行動の定量化は、創薬から神経変性疾患の理解までに及ぶ一連の生物学的研究における必須の第一段階である。それは通常手で行われる。すなわち、訓練を受けた観察者が、動物が行動するのを生でまたはビデオテープで観察し、すべての興味深い行動のタイミングを記録する。
【0005】
1つの実験の行動データは、数百匹ものマウスを含み、数百時間ものビデオに及ぶ可能性があり、観察者のチームが必要となり、そのため必然的に結果の信頼性および再現性が低下する。加えて、何が「興味深い行動」を構成するかは本質的に人間の観察者に任されている。人間の観察者が特定の行動または一連の行動に擬人化した名称（すなわち、「立ち上がり」、「匂い嗅ぎ」、「調査」、「歩行」、「すくみ」、「摂食」など）を割り当てることはありふれたことであるが、人間の単純なカテゴリ化に当てはまらない、マウスに関連しマウスによって生成される行動状態がほぼ確実に存在する。
【0006】
より高度な応用では、ビデオをコンピュータプログラムによって半自動的に分析することができる。しかし、脳は、時が経つにつれて滑らかに展開し、さらには別個の運動パターンで構成される行動を生成する。動作を誘発する個々の感覚ニューロンは、わずか1ミリ秒で行動に関連した計算を行うことができ、行動を媒介する神経細胞集団は、数10ミリ秒から数100ミリ秒の時間スケールで発展するダイナミクスを示す［1～8］。この速い神経活動は、より遅い神経調節系と相互作用して、複数の時間スケールで同時に構築される行動を生成する［9］。神経回路が複雑な行動、特に自由行動中の動物が発現する自発的または生得的行動をどのように生み出すのかを究極的に理解するには、神経系に関連した時間スケールで行動がどのように構築されるかを特徴付けるための明確な枠組みが必要である。
【発明の概要】
【0007】
概要
行動は、動物が特定の目標（食物や繁殖相手を見つけるなど）を達成することを可能にするように進化によって形作られてきたが、これらの行動が、経時的に、特に速い時間スケールでどのように構築されるかはまだ明らかではない。しかし、行動の構造を特徴付ける1つの強力な手法が動物行動学から生じており、その提起によれば、脳は、より単純な動作の定型化したモジュールを特定の順序で発現することによってコヒーレントな行動を形成する［10］。例えば、教師付き分類法および教師なし分類法の両方で、C.エレガンス（C. elegans）、およびキイロショウジョウバエ（D. melanogaster）の幼虫と成虫の両方によって探索中に発現された潜在的な行動モジュールが識別されている［11～16］。これらの実験は、これらの生物における行動に対して基礎構造を明らかにしており、これにより、無脊椎動物の脳が環境の変化に行動を適応させるのに使用される戦略が発見されている。C.エレガンスの場合、嗅覚手がかりへのナビゲーションは、行動モジュールを接続して経時的に系列にする遷移確率を調整する神経回路によって少なくとも部分的に媒介され、したがって、外観上は、新しい感覚駆動行動（正の走化性のような）が、核となる行動モジュールのセットの再配列を通して蠕虫の神経系によって生成されうる［17～19］。ハエ幼虫の感覚駆動行動についても同様の観察がなされている［11］。
行動は、動物が特定の目標（食物や繁殖相手を見つけるなど）を達成することを可能にするように進化によって形作られてきたが、これらの行動が、経時的に、特に速い時間スケールでどのように構築されるかはまだ明らかではない。しかし、行動の構造を特徴付ける1つの強力な手法が動物行動学から生じており、その提起によれば、脳は、より単純な動作の定型化したモジュールを特定の順序で発現することによってコヒーレントな行動を形成する［10］。例えば、教師付き分類法および教師なし分類法の両方で、C.エレガンス（C. elegans）、およびキイロショウジョウバエ（D. melanogaster）の幼虫と成虫の両方によって探索中に発現された潜在的な行動モジュールが識別されている［11～16］。これらの実験は、これらの生物における行動に対して基礎構造を明らかにしており、これにより、無脊椎動物の脳が環境の変化に行動を適応させるのに使用される戦略が発見されている。C.エレガンスの場合、嗅覚手がかりへのナビゲーションは、行動モジュールを接続して経時的に系列にする遷移確率を調整する神経回路によって少なくとも部分的に媒介され、したがって、外観上は、新しい感覚駆動行動（正の走化性のような）が、核となる行動モジュールのセットの再配列を通して蠕虫の神経系によって生成されうる［17～19］。ハエ幼虫の感覚駆動行動についても同様の観察がなされている［11］。
【0008】
行動の基礎的な時系列構造へのこれらの洞察は、蠕虫およびハエの形態的変化を定量化し、それらのデータを使用して行動モジュールを識別できることから生じたものである［11～16］。しかし、哺乳動物の行動の包括的な構築への同様の洞察を得ることは困難であった。マウスの生得的な探索行動、グルーミング行動、社会的アプローチ行動、攻撃行動および生殖行動はすべて研究者らによって潜在的なモジュールに分割されているが、哺乳動物の行動をパーツに分解するこの手法は、意味のある行動モジュール（例えば、走る、交配する、戦う）を構成するものについての人間が指定した定義に依拠しており［20～25］、したがって、人間の知覚および直感に大きく制限される。特に、人間の知覚は、短い時間スケールにまたがるモジュールを識別することが困難である。
【0009】
動物の行動の構造を系統的に記述し、脳がその構造をどのように変化させて適応を可能にするかを理解するには、3つの重要な問題に対処する必要がある。第1に、マウスの行動をモジュール化しようとするときに、行動のどの特徴が測定に重要であるかが明らかではない。大部分の現在の方法は、上から見下ろしたまたは横方向のマウスの外形の位置、速度または形状などの2次元パラメータを追跡する［20、22～24、26～28］が、マウスは、捕捉するのが難しいが、行動の構築についての重要な洞察を与えてくれる可能性のある複雑な3次元ポーズダイナミクスを示す。第2に、行動がいくつかの時間スケールで並行して発展するものと考えると、行動をモジュール化する関連した空間時間的スケールをどのように客観的に識別するかが明らかではない。最後に、行動を効果的に特徴付けるには、行動が定型化する（モジュール性の前提条件）と同時に変動する（ノイズの多い神経系および運動系の不可避の特徴）という事実に対応する必要がある［29］。
【0010】
この変動性により、所与の実験中に発現される行動モジュールの数および内容を識別する役割を果たすアルゴリズム、または観察された動作の任意の所与のインスタンスを特定の行動モジュールに割り当てる役割を果たすアルゴリズムに大きな課題が生じる。さらに、自然な行動が構築される空間時間的スケールを識別することは、動物行動学で定義付けをするという課題であり、よって今日まで、行動の基礎構造を探索しようとする努力の大部分は、何が行動モジュールを構成するかについてその場限りの定義に依拠したものであり、行動を全体として系統的に考察するのではなく、特定の行動に焦点を合わせたものであった。動物が示す自発的行動が、時間の経過と共に発展する際に動作を特徴付けるのに使用することができる定義可能な基礎構造を有するかどうかは明らかではない。
【0011】
さらに、動物の行動を分類するための既存のコンピュータ化されたシステムは、観察された行動を記述するパラメータを、人の手により注釈を付けられ、精選されたパラメトリックデータベースと照合する。したがって、手動の事例でも既存の半自動化された事例でも、動物の行動状態の主観評価がシステムに組み込まれる。人間の観察者は、何が特定の行動を構成するかを事前に決定しなければならない。これにより当該行動の評価に偏りが生じ、その評価を、研究者が人間の知覚で区別することができるそれら特定の行動だけに制限し、したがって、特に、短い時間スケールで発生する行動に関して制限される。加えて、これらの半教師付き型の行動分析で配置されるビデオ取得システム（ほぼ常にデータを2次元で取得する）は、特定の行動に対してのみ最適化されるため、スループットが制限されると共に、位置合わせ誤りによる実験労力の無駄も増える。
【0012】
概観
これらの課題にもかかわらず、本発明者らは、動物のビデオ記録を処理することによって動物の行動モジュールを自動的に識別し分類するシステムおよび方法を発見した。本発明の原理によれば、モニタリング方法およびモニタリングシステムは、動物行動を分類することができるハードウェアおよびカスタムソフトウェアを使用する。動物行動状態の分類は、深度カメラを使用した3次元の動物姿勢の定量的測定によって決定される。一態様では、3次元深度カメラを使用して、領域と深度の両方の情報の有する、動物のビデオ画像のストリームが取得される。次いで、複数の画像の各々から背景画像（空の実験領域）が除去されて、明領域と暗領域とを有する処理画像が生成される。複数の処理画像における明領域の輪郭が見出され、輪郭内の領域と深度の両方の画像情報からのパラメータが抽出されて、複数の多次元データ点が形成され、各データ点は特定の時間における動物の姿勢を表す。次いで、姿勢データ点をクラスタ化して、点クラスタが動物行動を表すようにすることができる。
これらの課題にもかかわらず、本発明者らは、動物のビデオ記録を処理することによって動物の行動モジュールを自動的に識別し分類するシステムおよび方法を発見した。本発明の原理によれば、モニタリング方法およびモニタリングシステムは、動物行動を分類することができるハードウェアおよびカスタムソフトウェアを使用する。動物行動状態の分類は、深度カメラを使用した3次元の動物姿勢の定量的測定によって決定される。一態様では、3次元深度カメラを使用して、領域と深度の両方の情報の有する、動物のビデオ画像のストリームが取得される。次いで、複数の画像の各々から背景画像（空の実験領域）が除去されて、明領域と暗領域とを有する処理画像が生成される。複数の処理画像における明領域の輪郭が見出され、輪郭内の領域と深度の両方の画像情報からのパラメータが抽出されて、複数の多次元データ点が形成され、各データ点は特定の時間における動物の姿勢を表す。次いで、姿勢データ点をクラスタ化して、点クラスタが動物行動を表すようにすることができる。
【0013】
次いで、このデータは、自然行動の構造を特徴付けるためにモデルフリーアルゴリズムに入力されてもよいし、または計算モデルに入力されてもよい。いくつかの態様では、本システムは、ベイズ推定における方法を使用して行動のモデルを適合させ、これは、所与のデータセット内からの最適な数およびアイデンティティの行動モジュールの教師なし識別を可能にする。測定可能な動作単位を構成すべきものについての先験的な定義を使用するのではなく、3次元行動データ自体の構造に基づいて行動モジュールを定義することにより、行動が構築される時間スケールを定義する、これまで探索されなかったサブ秒の規則性が識別され、行動の構成要素および構造に関する重要な情報がもたらされ、行動変化の特性についての洞察が提供され、パターン化された動作の微妙な変更の客観的な発見が可能になる。
【0014】
オープンフィールドを探索するマウスのビデオへの応用例
一例において、本発明者らは、マウスが円形オープンフィールドを自由に探索する際にマウスの体の形状がどのように変化するかを測定した。本発明者らは、深度センサを使用してマウスの3次元（「3D」）ポーズダイナミクスを捕捉し、次いで、マウスの画像をマウスの脊椎の推定軸に沿ってセンタリングし位置合わせすることによってマウスのポーズが経時的にどのように変化したかを定量化した。
一例において、本発明者らは、マウスが円形オープンフィールドを自由に探索する際にマウスの体の形状がどのように変化するかを測定した。本発明者らは、深度センサを使用してマウスの3次元（「3D」）ポーズダイナミクスを捕捉し、次いで、マウスの画像をマウスの脊椎の推定軸に沿ってセンタリングし位置合わせすることによってマウスのポーズが経時的にどのように変化したかを定量化した。
【0015】
この3次元データを経時的にプロットすると、マウスの行動は、ポーズダイナミクスがゆっくりと発展する期間によって特徴付けられ、これらの期間を分離する速い遷移によって区切られることが明らかになった。このパターンは、行動イメージングデータを、典型的には200～900ms続く少数のフレームからなるブロックに分割するように見える。これは、マウスの行動が2つの異なる時間スケール、すなわち、マウスのポーズが所与のブロック内で変化しうる速度によって定義される第1の時間スケールと、ブロック間の遷移速度によって定義される第2の時間スケールで構築されうることを示唆している。
【0016】
これらのブロック内のマウスの行動を特徴付け、ブロック間で行動がどのように異なりうるかを判定するには、まずこれらのブロックが構築される時間スケールを推定することが必要である。いくつかの態様では、ブロック間の近似境界を識別するために、行動イメージングデータを、経時的なデータ構造の突然の変化を検出するように設計された変化点アルゴリズムにかけた。一例では、この方法は、ブロック間の潜在的境界を自動的に識別し、平均ブロック持続時間が約350msであることを明らかにした。
【0017】
加えて、本発明者らは、自己相関およびスペクトル分析を行い、これは、行動の時間スケールに関する相補的情報を提供した。マウスのポーズにおける時間的自己相関は、400ms（タウ＝340±58ms）以内で大部分消失し、行動しているマウスと死んだマウスとを差別化する周波数成分のほぼすべてが1～6Hzに集中していた（スペクトル比、またはウィーナフィルタで測定した、平均値3.75±0.56Hz）。これらの結果は、マウスの行動におけるダイナミズムの大部分が、200～900msの時間スケール内で発生することを示唆している。
【0018】
加えて、マウスが示す行動のブロックごとのパターンの目視検査により、各ブロックが、速い遷移によって後続の行動モチーフから分離される行動の短いモチーフ（例えば、右旋回または左旋回、突進、休止、立ち上がりの前半）を符号化するように見えることも明らかになった。まとめると、これらの知見により、これまで正しく評価されなかったマウスの行動のサブ秒の構築、すなわち、通常の探索中に、マウスは、あるものから別のものに順次に素早く切り替わるように見える短い運動モチーフを発現することが明らかになった。
【0019】
行動が短い運動モチーフに自然に分割されるという知見は、これらのモチーフの各々が行動モジュール、すなわち、脳がより複雑な動作パターンを構築するために系列化する定型的な再利用される行動単位であることを示している。次に、同じ定型的なサブ秒行動モチーフの複数の例を識別するためのシステムおよび方法を開示する。
【0020】
ビデオデータ内のモジュールを識別するための処理アルゴリズムおよび方法
類似したモジュールを識別するために、マウスの行動データにまず、主成分分析（PCA）または他の次元縮小アルゴリズムを施してもよく、最初の2つの主成分をプロットしてもよい。ポーズダイナミクスデータ内の各ブロックは、PCA空間を通る連続的な軌跡に対応する。例えば、脊椎が持ち上がっているマウスと関連付けられる個々のブロックは、PCA空間を通る特定の曲線に対応した。テンプレートマッチング法を使用して一致するモチーフについて行動データを走査することにより、異なる動物におけるこの曲線のいくつかのさらなる例が識別された。これは、これらのPCA軌跡の各々が、定型化した行動モジュールが再利用された個々のインスタンスを表しうることを示唆する。
類似したモジュールを識別するために、マウスの行動データにまず、主成分分析（PCA）または他の次元縮小アルゴリズムを施してもよく、最初の2つの主成分をプロットしてもよい。ポーズダイナミクスデータ内の各ブロックは、PCA空間を通る連続的な軌跡に対応する。例えば、脊椎が持ち上がっているマウスと関連付けられる個々のブロックは、PCA空間を通る特定の曲線に対応した。テンプレートマッチング法を使用して一致するモチーフについて行動データを走査することにより、異なる動物におけるこの曲線のいくつかのさらなる例が識別された。これは、これらのPCA軌跡の各々が、定型化した行動モジュールが再利用された個々のインスタンスを表しうることを示唆する。
【0021】
このサブ秒のモジュール性についての証拠が得られたら、本発明者らは、その各々がマウスの行動の異なる基礎構造を記述する一連の計算モデルを考案し、これらのモデルを3D行動イメージングデータで訓練し、どのモデルがマウスの行動の基礎構造を予測または識別したか判定した。特に、本発明者らは、大きなデータセット内の構造を自動的に識別するように最適化された計算推論方法（ノンパラメトリックベイズ法およびギブスサンプリングを含む）を利用した。
【0022】
各モデルは、行動を連続的とみなすかそれともモジュールとみなすか、モジュールの可能な内容、およびモジュールが経時的にどのように系列化されるかを決定する遷移構造において異なっていた。モデル性能を比較するために、モデルをあてたことのない実際のマウスの行動データの内容および構造を予測するように各モデルを試験した。これらの代替方法の中で、最良の定量的予測は、マウスの行動が、本発明者らのポーズダイナミクスデータのモデルフリー分析によって識別されたサブ秒時間スケールにおいてあるものから別のものに切り替わる（各々が3D身体運動の短いモチーフを捕捉する）モジュールから構成されると措定するモデルによってなされた。
【0023】
AR-HMMモデル
1つのモデルは、各行動モジュールを、PCA空間を通る定型化した軌跡を捕捉するベクトル自己回帰（AR）過程として表した。加えて、そのモデルでは、異なるモジュール間の切り替えダイナミクスを隠れマルコフモデル（HMM）を使用して表した。併せてこのモデルを、本明細書では「AR-HMM」と呼ぶ。
1つのモデルは、各行動モジュールを、PCA空間を通る定型化した軌跡を捕捉するベクトル自己回帰（AR）過程として表した。加えて、そのモデルでは、異なるモジュール間の切り替えダイナミクスを隠れマルコフモデル（HMM）を使用して表した。併せてこのモデルを、本明細書では「AR-HMM」と呼ぶ。
【0024】
いくつかの態様では、AR-HMMは、マウスの行動が経時的に発展する際にマウスの行動の全体的構造の最も節約的な（parsimonious）説明を提供する行動モジュールと遷移パターンのセットを（訓練データ内で）発見する能力に基づいてマウスの行動に関する予測を行う。したがって、訓練されたAR-HMMを使用して、行動データセット内からの行動モジュールおよびそれらの遷移構造のアイデンティティを明らかにし、それによってマウスの行動の基礎的な構築を浮き彫りにすることができる。訓練後、AR-HMMは、訓練行動データのすべてのフレームを、それが発見したモジュールのうちの1つに割り当てることができ、任意の所与のモジュールが所与の実験中にマウスによっていつ発現されたかを明らかにする。
【0025】
AR-HMMが、3D行動データにおける固有のブロック構造を認識するのと合致するように、AR-HMMによって識別されたモジュール境界は、ポーズダイナミクスデータ内に埋め込まれた固有のブロック構造を考慮した。さらに、モデルで識別されたモジュール持続時間分布は、変化点で識別されたブロック持続時間分布と同様であった。しかし、AR-HMMによって識別されたモジュール境界は、変化点分析によって示唆された近似境界を改善した（モジュール境界の78％が変化点の5フレーム内にあった）。重要なことに、行動モジュールを識別するAR-HMMの能力は、マウスのポーズデータの固有のサブ秒の構築に依存しており、小チャンク（すなわち、＜300ミリ秒）単位で行動データを構成するフレームをシャッフルするとモデル性能が実質的に低下したが、より大きいチャンク単位で行動データをシャッフルするとわずかな影響しかなかった。これらの結果は、AR-HMMが行動データの固有のサブ秒ブロック構造を認識することを示している。
【0026】
加えて、AR-HMMによって識別された特定の行動モジュールは、再利用される別個の運動モチーフのセットを符号化していた。例えば、モデルによって1つの行動モジュールに割り当てられたPCA軌跡は、PCA空間を通る同様の経路をたどった。類似した動作モチーフを符号化するこれらの軌跡の各々と合致するように、この特定のモジュールの複数のデータインスタンスと関連付けられる3D動画を照合し検査することによって、それが、人間の観察者であれば立ち上がりと呼ぶであろう、定型化した行動モチーフを符号化していることが確認された。対照的に、異なる行動モジュールから得られたデータインスタンスは、PCA空間を通る別個の経路をたどった。さらに、これらのモジュールの各々に割り当てられた3D動画の目視検査は、区別し、記述子（例えば、「歩行」モジュール、「休止」モジュール、および「低い立ち上がり」モジュールなど）でラベル付けすることができる3次元運動の繰り返し使用されるコヒーレントなパターンを各々符号化していることを示した。
【0027】
AR-HMMによって識別された各行動モジュールの特殊性を定量的および包括的に評価するために、本発明者らは、交差尤度分析を行い、所与のモジュールと関連付けられるデータインスタンスが、解析においてその他の行動モジュールのいずれにでもなく、当該モジュールに最も良く割り当てられることが明らかになった。対照的に、AR-HMMは、モジュール性を欠くマウスの合成行動データセットにおけるどんな十分に分離されたモジュールも識別することができず、実際の行動データ内の発見されたモジュール性が、モデルのアーチファクトではなくむしろデータセットそのものの特徴であることが実証された。さらに、ランダムな開始点からモデル訓練プロセスを再開すると、同じまたは高度に類似した行動モジュールセットが返され、AR-HMMが、行動データに対して固有のモジュール構造に焦点を当て、これを識別することと合致する。これらのデータは共に、マウスの行動が、AR-HMMというレンズを通して見ると、別個のサブ秒モジュールへと基本的に組織化されることを示唆している。
【0028】
加えて、AR-HMMがマウスの行動を構成する行動モジュールおよび遷移を識別する場合には、訓練されたAR-HMMによって生成された合成行動データは、実際のポーズダイナミクスデータの妥当な複製を提供することができる。合成行動データ（脊椎ダイナミクス、または行動しているマウスの3D動画の形態の）は、実際の動物によって生成された行動データと区別するのが質的に困難であったため、AR-HMMは、マウスの行動の豊富さを捕捉するように思われた。したがって、マウスのポーズダイナミクスデータは、AR-HMMによって十分に解析されて規定のモジュールにされる、サブ秒時間スケールで構築された固有の構造を有するように見える。さらに、これらのモジュールを最適に識別し、行動の構造を効果的に予測するには、モジュール性と切り替えダイナミクスの明白なモデル化が必要である。
【0029】
本発明のシステムおよび方法は、動物モデルの動物、臨床試験のヒト、特定の疾患または障害の診断および/または治療を必要とするヒトなどの様々な動物種に適用することができる。これらの動物には、マウス、イヌ、ネコ、ウシ、ブタ、ヤギ、ヒツジ、ラット、ウマ、モルモット、ウサギ、爬虫類、ゼブラフィッシュ、トリ、ミバエ、蠕虫、両生類（例えばカエル）、ニワトリ、ヒト以外の霊長類、およびヒトが含まれるが、それに限定されない。
【0030】
本発明のシステムおよび方法は、薬物スクリーニング、薬物分類、遺伝子分類、疾患の発症の早期検出を含む疾患研究、毒物学研究、副作用研究、学習および記憶の過程の研究、不安研究、消費者行動分析などを含む様々な用途に使用できるが、それに限定されない。
【0031】
本発明のシステムおよび方法は、対象の行動に影響を及ぼす疾患に特に有用である。これらの疾患には、パーキンソン病、ハンチントン病、アルツハイマー病、および筋萎縮性側索硬化症などの神経変性疾患、注意欠陥多動障害、自閉症、ダウン症候群、メンデルソン症候群、および統合失調症などの神経発達精神障害が含まれる。
【0032】
いくつかの態様では、本発明のシステムおよび方法は、公知の薬物または試験化合物が対象の行動状態をどのように変化させうるかを研究するのに使用することができる。これは、対象への公知の薬物または試験化合物の投与前および投与後に得られた行動表現を比較することによって行うことができる。本明細書で使用する場合、「行動表現」という用語は、本発明のシステムまたは方法を使用して決定されたサブ秒行動モジュールおよびそれらの遷移統計値のセットを指す。行動表現は、行列、表、またはヒートマップの形態とすることができるが、それだけに限定されない。
【0033】
いくつかの態様では、本発明のシステムおよび方法は、薬物分類に使用することができる。本発明のシステムおよび方法は、既存の薬物およびそれらの薬物が治療する疾患または障害に基づいて複数の基準行動表現を作成することができ、各基準行動表現は、薬物クラス（例えば、抗精神病薬、抗うつ薬、刺激薬または抑制薬）を表す。試験行動表現を複数の基準行動表現と比較することができ、試験行動表現が複数の基準行動表現のうちの1つと類似している場合、その試験化合物は、前記特定の基準行動表現によって表される同じ薬物クラスに属すると判定される。試験化合物は、小分子、抗体またはその抗原結合フラグメント、核酸、ポリペプチド、ペプチド、ペプチド模倣体、多糖、単糖、脂質、グリコサミノグリカン、またはそれらの組合せとすることができるが、それに限定されない。
【0034】
いくつかの態様では、これは、動物の行動を、代替物のリストに対して1クラスの薬物に属するものとして自動的に分類するためのシステムを含んでもよい。例えば、システムを開発するために、多くの異なる薬物条件下での多数のマウスの訓練セットを提供し、どんな組合せおよび範囲の特徴が特定の薬物クラス内の構成メンバーを構成するか発見するための線形または非線形の分類器を構築してもよい。この分類器はその場合、訓練が完了し次第固定してもよく、初見のマウスに適用することができる。潜在的な分類器アルゴリズムには、ロジスティック回帰、線形基底カーネルを用いたサポートベクトルマシン、放射基底関数カーネルを用いたサポートベクトルマシン、多層パーセプトロン、ランダムフォレスト分類器、またはk-最近傍分類器が含まれうる。
【0035】
薬物分類と同様に、いくつかの態様では、本発明のシステムおよび方法は、遺伝子機能の分類に使用することができる。
【0036】
薬物スクリーニングのいくつかの態様では、特定の疾患または障害を治療することが知られている既存の薬物を第1の試験対象に投与することができる。次いで、本発明のシステムおよび方法を第1の試験対象に使用して、基準行動表現を得ることができ、基準行動表現は、第1の試験対象に対する薬物の治療効果を特徴付けることができる行動モジュールのセットを含む。続いて、試験化合物を、第1の試験対象と同じ動物種の第2の試験対象に投与することができる。次いで、本発明のシステムおよび方法を第2の試験対象に使用して、試験行動表現を得ることができる。試験行動表現が基準行動表現と類似していることが判明した場合、試験化合物は、その特定の疾患または障害の治療に有効であると判定される。試験行動表現が基準行動表現と類似していないことが判明した場合、試験化合物は、その特定の疾患または障害の治療に有効ではないと判定される。第1および第2の試験対象は各々試験対象群とすることができ、得られた行動表現は平均行動表現とすることができることに留意されたい。
【0037】
薬物スクリーニングと同様に、いくつかの態様では、本発明のシステムおよび方法は、遺伝子療法スクリーニングに使用することができる。遺伝子療法は、核酸の導入および遺伝子ノックアウトを含むことができる。
【0038】
いくつかの態様では、本発明のシステムおよび方法は、疾患または障害の研究で使用することができる。例えば、本発明のシステムおよび方法を使用して、特定の疾患または障害を有する対象における新しい行動モジュールを発見することができる。例えば、本発明のシステムおよび方法は、疾患もしくは障害を有する対象または疾患もしくは障害を発症する過程にある対象における基準行動表現を識別することによって、疾患または障害の早期診断を可能にすることができる。基準行動表現またはその有意な部分が疾患または障害を有すると疑われる対象においても観察される場合、その対象は、疾患または障害を有すると診断される。よって、対象に早期の臨床的介入を施すことができる。
【0039】
さらに、いくつかの態様では、本発明のシステムおよび方法は、消費者行動の研究、例えば消費者が香り（例えば、香水）にどのように反応するかの研究で使用することができる。本発明のシステムおよび方法を使用して、香りに対する肯定的反応を表す基準行動表現を識別することができる。香りの存在下で、基準行動表現またはその有意な部分を示す人は、香りに対して肯定的に反応していると判定される。香りに対する否定的反応を表す基準行動表現も識別し、人の反応を測定するために使用することができる。
[本発明1001]
対象の動きを表す3次元ビデオデータフレームを、モジュールを表す少なくとも1つのフレームセットと、モジュール間の遷移を表す少なくとも1つのフレームセットとに区分するために、計算モデルを使用して前記3次元ビデオデータフレームを処理する工程、および
動物行動のタイプを表すデータ識別子に参照付けられた前記モジュールを表す少なくとも1つのフレームセットをメモリに格納する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
[本発明1002]
前記処理する工程は、前記ビデオデータにおいて前記対象を背景から分離する工程を含む、本発明1001の方法。
[本発明1003]
前記処理する工程は、前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程をさらに含む、本発明1002の方法。
[本発明1004]
前記処理する工程は、位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程をさらに含む、本発明1003の方法。
[本発明1005]
前記処理する工程は、主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析（PCA）を使用して前記位置合わせされたフレームを処理する工程をさらに含む、本発明1004の方法。
[本発明1006]
前記処理する工程は、前記ポーズダイナミクスデータを別々のモジュールセットに時間的にセグメント化するために、計算モデルを用いて前記位置合わせされたフレームを処理する工程をさらに含み、モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、本発明1005の方法。
[本発明1007]
前記3次元ビデオデータにおいて閾値を上回る頻度で発生する前記モジュールセットの各々の表現を表示する工程をさらに含む、本発明1006の方法。
[本発明1008]
前記計算モデルは、前記サブ秒モジュールを、PCA空間を通る定型化した軌跡を表すベクトル自己回帰過程としてモデル化することを含む、本発明1001の方法。
[本発明1009]
前記計算モデルは、隠れマルコフモデルを使用してサブ秒モジュール間の遷移期間をモデル化することを含む、本発明1001の方法。
[本発明1010]
前記3次元ビデオデータは、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点は前記対象の3次元ポーズダイナミクスを表す、本発明1001の方法。
[本発明1011]
前記対象は動物試験における動物である、本発明1001～1010のいずれかの方法。
[本発明1012]
前記対象はヒトである、本発明1001～1010のいずれかの方法。
[本発明1013]
対象を背景から分離するために前記対象の動きを表す3次元ビデオデータを前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程、
主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析を使用して前記位置合わせされたフレームを処理する工程、
前記ポーズダイナミクスデータを別々のサブ秒モジュールのセットに時間的にセグメント化するために、前記位置合わせされたフレームを処理する工程であって、モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、工程、および
前記3次元ビデオデータにおいて閾値を上回る頻度で発生する前記モジュールセットの各々の表現を表示する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
[本発明1014]
前記位置合わせされたフレームを処理する工程は、モデルフリーアルゴリズムを用いて行われる、本発明1013の方法。
[本発明1015]
前記モデルフリーアルゴリズムは、オートコレログラムを計算することを含む、本発明1014の方法。
[本発明1016]
前記位置合わせされたフレームを処理する工程は、モデルベースアルゴリズムを用いて行われる、本発明1013の方法。
[本発明1017]
前記モデルベースアルゴリズムはAR-HMMアルゴリズムである、本発明1016の方法。
[本発明1018]
前記対象は動物試験における動物である、本発明1013～1017のいずれかの方法。
[本発明1019]
前記対象はヒトである、本発明1013～1017のいずれかの方法。
[本発明1020]
試験化合物が試験対象に投与された後の前記試験対象においてモジュールセットを含む試験行動表現を識別する工程、
前記試験行動表現を複数の基準行動表現と比較する工程であって、各基準行動表現が各薬物クラスを表す、工程、および
前記試験行動表現が分類器によってある薬物クラスを表す基準行動表現と一致すると識別された場合に、前記試験化合物は前記薬物クラスに属すると決定する工程
を含む、試験化合物を分類する方法。
[本発明1021]
前記試験行動表現は、
前記試験対象の動きを表す3次元ビデオデータを受け取る工程、
前記3次元データを少なくとも1つのモジュールセットと少なくとも1つのモジュール間遷移期間のセットとに区分するために、計算モデルを使用して前記3次元データを処理する工程、および
前記少なくとも1つのモジュールセットを動物行動のタイプを表すカテゴリに割り当てる工程
によって識別される、本発明1020の方法。
[本発明1022]
前記計算モデルは、前記サブ秒モジュールを、主成分分析（PCA）空間を通る定型化した軌跡を表すベクトル自己回帰過程としてモデル化することを含む、本発明1021の方法。
[本発明1023]
前記計算モデルは、隠れマルコフモデルを使用して前記遷移期間をモデル化することを含む、本発明1021の方法。
[本発明1024]
前記3次元ビデオデータは、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点は前記試験対象の3Dポーズダイナミクスを表す、本発明1020～1023のいずれかの方法。
[本発明1025]
前記試験化合物は、小分子、抗体またはその抗原結合フラグメント、核酸、ポリペプチド、ペプチド、ペプチド模倣体、多糖、単糖、脂質、グリコサミノグリカン、およびそれらの組合せからなる群より選択される、本発明1020～1024のいずれかの方法。
[本発明1026]
前記試験対象は動物試験における動物である、本発明1020～1025のいずれかの方法。
[本発明1027]
対象への作用因子の投与前および投与後の前記対象の動きを表す3次元ビデオデータを受け取る工程、
前記対象を背景から分離するために前記3次元ビデオデータを前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程、
主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析を使用して前記位置合わせされたフレームを処理する工程、
前記ポーズダイナミクスデータを別々のサブ秒モジュールのセットに時間的にセグメント化するために、計算モデルを用いて前記位置合わせされたフレームを処理する工程であって、サブ秒モジュールのセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、工程、
前記対象への前記作用因子の投与前の各サブ秒モジュールセット内のモジュール数を決定する工程、
前記対象への前記作用因子の投与後の各サブ秒モジュールセット内のモジュール数を決定する工程、
前記対象への前記作用因子の投与前と投与後の各サブ秒モジュールセット内のモジュール数を比較する工程、および
前記対象への前記作用因子の投与前と投与後の各モジュールセット内のモジュール数の発現頻度の変化の指示を出力する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
[本発明1028]
各サブ秒モジュールセットは、行動モジュールを表す基準データとの比較に基づいて所定の行動モジュールに分類される、本発明1027の方法。
[本発明1029]
前記対象への前記作用因子の投与前と投与後の各モジュールセット内のモジュール数の発現頻度の前記変化は、公知のカテゴリの作用因子への曝露後のモジュールの発現頻度の変化を表す基準データと比較される、本発明1027または1028の方法。
[本発明1030]
公知のカテゴリの作用因子への曝露後の頻度の変化を表す基準データとの前記比較に基づいて、前記作用因子を複数の公知の作用因子カテゴリのうちの1つとして分類するさらなる工程を含む、本発明1029の方法。
[本発明1031]
前記作用因子は、薬学的に活性な化合物である、本発明1027～1030のいずれかの方法。
[本発明1032]
前記作用因子は、視覚刺激または聴覚刺激である、本発明1027～1030のいずれかの方法。
[本発明1033]
前記作用因子は匂い物質である、本発明1027～1030のいずれかの方法。
[本発明1034]
前記対象は動物試験における動物である、本発明1027～1033のいずれかの方法。
[本発明1035]
前記対象はヒトである、本発明1027～1033のいずれかの方法。
[本発明1036]
3次元ビデオカメラで対象の動きを記録し、前記3次元ビデオカメラから出力された3次元ビデオデータを解析して、異なる行動を表すフレームセットにするためのシステムであって、
対象の動きを表すビデオデータを出力するように構成された3次元ビデオカメラと、
格納された機械実行可能コードを含む機械可読媒体を含む、前記3次元ビデオカメラと通信するメモリと、
前記メモリに結合された1つまたは複数のプロセッサを含む制御システムであって、前記制御システムに、
前記対象を背景から分離するために、前記制御システムを使用して前記ビデオデータを前処理させ、
前記制御システムを使用して、前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別させ、
位置合わせされたフレームのセットを出力するために、前記制御システムを使用して、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正させ、
前記制御システムを使用して、前記位置合わせされたフレームのセットの各フレームについてのポーズダイナミクスデータを出力するために、主成分分析を使用して前記位置合わせされたフレームのセットを処理させ、前記ポーズダイナミクスデータは主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表し、
前記位置合わせされたフレームのセットを別々のサブ秒モジュールのセットに時間的にセグメント化するために、前記制御システムを使用して、前記位置合わせされたフレームのセットを処理させ、各サブ秒モジュールセットは類似したポーズダイナミクスを有するサブ秒モジュールだけを含み、
サブ秒モジュールに参照付けられた前記位置合わせされたフレームのセット内の各フレームをデータベースに格納させる
ための前記機械実行可能コードを実行するように構成された、制御システムと
を含む、システム。
[本発明1037]
前記制御システムは、前記別々のサブ秒モジュールのセット内で閾値を上回って発生する前記サブ秒モジュールのセットのサブセットの表現をディスプレイに送るようにさらに構成されている、本発明1036のシステム。
[本発明1038]
前記制御システムは、閾値を上回って発生する前記サブ秒モジュールのセットの前記サブセットの各々の行動タグに関するユーザ入力を受け取る、本発明1036のシステム。
[本発明1039]
前記制御システムは、第2の対象の動きを表す前記3次元カメラから出力されたビデオデータに前記行動タグを自動的に適用するようにさらに構成されている、本発明1038のシステム。
[本発明1001]
対象の動きを表す3次元ビデオデータフレームを、モジュールを表す少なくとも1つのフレームセットと、モジュール間の遷移を表す少なくとも1つのフレームセットとに区分するために、計算モデルを使用して前記3次元ビデオデータフレームを処理する工程、および
動物行動のタイプを表すデータ識別子に参照付けられた前記モジュールを表す少なくとも1つのフレームセットをメモリに格納する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
[本発明1002]
前記処理する工程は、前記ビデオデータにおいて前記対象を背景から分離する工程を含む、本発明1001の方法。
[本発明1003]
前記処理する工程は、前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程をさらに含む、本発明1002の方法。
[本発明1004]
前記処理する工程は、位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程をさらに含む、本発明1003の方法。
[本発明1005]
前記処理する工程は、主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析（PCA）を使用して前記位置合わせされたフレームを処理する工程をさらに含む、本発明1004の方法。
[本発明1006]
前記処理する工程は、前記ポーズダイナミクスデータを別々のモジュールセットに時間的にセグメント化するために、計算モデルを用いて前記位置合わせされたフレームを処理する工程をさらに含み、モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、本発明1005の方法。
[本発明1007]
前記3次元ビデオデータにおいて閾値を上回る頻度で発生する前記モジュールセットの各々の表現を表示する工程をさらに含む、本発明1006の方法。
[本発明1008]
前記計算モデルは、前記サブ秒モジュールを、PCA空間を通る定型化した軌跡を表すベクトル自己回帰過程としてモデル化することを含む、本発明1001の方法。
[本発明1009]
前記計算モデルは、隠れマルコフモデルを使用してサブ秒モジュール間の遷移期間をモデル化することを含む、本発明1001の方法。
[本発明1010]
前記3次元ビデオデータは、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点は前記対象の3次元ポーズダイナミクスを表す、本発明1001の方法。
[本発明1011]
前記対象は動物試験における動物である、本発明1001～1010のいずれかの方法。
[本発明1012]
前記対象はヒトである、本発明1001～1010のいずれかの方法。
[本発明1013]
対象を背景から分離するために前記対象の動きを表す3次元ビデオデータを前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程、
主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析を使用して前記位置合わせされたフレームを処理する工程、
前記ポーズダイナミクスデータを別々のサブ秒モジュールのセットに時間的にセグメント化するために、前記位置合わせされたフレームを処理する工程であって、モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、工程、および
前記3次元ビデオデータにおいて閾値を上回る頻度で発生する前記モジュールセットの各々の表現を表示する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
[本発明1014]
前記位置合わせされたフレームを処理する工程は、モデルフリーアルゴリズムを用いて行われる、本発明1013の方法。
[本発明1015]
前記モデルフリーアルゴリズムは、オートコレログラムを計算することを含む、本発明1014の方法。
[本発明1016]
前記位置合わせされたフレームを処理する工程は、モデルベースアルゴリズムを用いて行われる、本発明1013の方法。
[本発明1017]
前記モデルベースアルゴリズムはAR-HMMアルゴリズムである、本発明1016の方法。
[本発明1018]
前記対象は動物試験における動物である、本発明1013～1017のいずれかの方法。
[本発明1019]
前記対象はヒトである、本発明1013～1017のいずれかの方法。
[本発明1020]
試験化合物が試験対象に投与された後の前記試験対象においてモジュールセットを含む試験行動表現を識別する工程、
前記試験行動表現を複数の基準行動表現と比較する工程であって、各基準行動表現が各薬物クラスを表す、工程、および
前記試験行動表現が分類器によってある薬物クラスを表す基準行動表現と一致すると識別された場合に、前記試験化合物は前記薬物クラスに属すると決定する工程
を含む、試験化合物を分類する方法。
[本発明1021]
前記試験行動表現は、
前記試験対象の動きを表す3次元ビデオデータを受け取る工程、
前記3次元データを少なくとも1つのモジュールセットと少なくとも1つのモジュール間遷移期間のセットとに区分するために、計算モデルを使用して前記3次元データを処理する工程、および
前記少なくとも1つのモジュールセットを動物行動のタイプを表すカテゴリに割り当てる工程
によって識別される、本発明1020の方法。
[本発明1022]
前記計算モデルは、前記サブ秒モジュールを、主成分分析（PCA）空間を通る定型化した軌跡を表すベクトル自己回帰過程としてモデル化することを含む、本発明1021の方法。
[本発明1023]
前記計算モデルは、隠れマルコフモデルを使用して前記遷移期間をモデル化することを含む、本発明1021の方法。
[本発明1024]
前記3次元ビデオデータは、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点は前記試験対象の3Dポーズダイナミクスを表す、本発明1020～1023のいずれかの方法。
[本発明1025]
前記試験化合物は、小分子、抗体またはその抗原結合フラグメント、核酸、ポリペプチド、ペプチド、ペプチド模倣体、多糖、単糖、脂質、グリコサミノグリカン、およびそれらの組合せからなる群より選択される、本発明1020～1024のいずれかの方法。
[本発明1026]
前記試験対象は動物試験における動物である、本発明1020～1025のいずれかの方法。
[本発明1027]
対象への作用因子の投与前および投与後の前記対象の動きを表す3次元ビデオデータを受け取る工程、
前記対象を背景から分離するために前記3次元ビデオデータを前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程、
主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析を使用して前記位置合わせされたフレームを処理する工程、
前記ポーズダイナミクスデータを別々のサブ秒モジュールのセットに時間的にセグメント化するために、計算モデルを用いて前記位置合わせされたフレームを処理する工程であって、サブ秒モジュールのセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、工程、
前記対象への前記作用因子の投与前の各サブ秒モジュールセット内のモジュール数を決定する工程、
前記対象への前記作用因子の投与後の各サブ秒モジュールセット内のモジュール数を決定する工程、
前記対象への前記作用因子の投与前と投与後の各サブ秒モジュールセット内のモジュール数を比較する工程、および
前記対象への前記作用因子の投与前と投与後の各モジュールセット内のモジュール数の発現頻度の変化の指示を出力する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
[本発明1028]
各サブ秒モジュールセットは、行動モジュールを表す基準データとの比較に基づいて所定の行動モジュールに分類される、本発明1027の方法。
[本発明1029]
前記対象への前記作用因子の投与前と投与後の各モジュールセット内のモジュール数の発現頻度の前記変化は、公知のカテゴリの作用因子への曝露後のモジュールの発現頻度の変化を表す基準データと比較される、本発明1027または1028の方法。
[本発明1030]
公知のカテゴリの作用因子への曝露後の頻度の変化を表す基準データとの前記比較に基づいて、前記作用因子を複数の公知の作用因子カテゴリのうちの1つとして分類するさらなる工程を含む、本発明1029の方法。
[本発明1031]
前記作用因子は、薬学的に活性な化合物である、本発明1027～1030のいずれかの方法。
[本発明1032]
前記作用因子は、視覚刺激または聴覚刺激である、本発明1027～1030のいずれかの方法。
[本発明1033]
前記作用因子は匂い物質である、本発明1027～1030のいずれかの方法。
[本発明1034]
前記対象は動物試験における動物である、本発明1027～1033のいずれかの方法。
[本発明1035]
前記対象はヒトである、本発明1027～1033のいずれかの方法。
[本発明1036]
3次元ビデオカメラで対象の動きを記録し、前記3次元ビデオカメラから出力された3次元ビデオデータを解析して、異なる行動を表すフレームセットにするためのシステムであって、
対象の動きを表すビデオデータを出力するように構成された3次元ビデオカメラと、
格納された機械実行可能コードを含む機械可読媒体を含む、前記3次元ビデオカメラと通信するメモリと、
前記メモリに結合された1つまたは複数のプロセッサを含む制御システムであって、前記制御システムに、
前記対象を背景から分離するために、前記制御システムを使用して前記ビデオデータを前処理させ、
前記制御システムを使用して、前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別させ、
位置合わせされたフレームのセットを出力するために、前記制御システムを使用して、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正させ、
前記制御システムを使用して、前記位置合わせされたフレームのセットの各フレームについてのポーズダイナミクスデータを出力するために、主成分分析を使用して前記位置合わせされたフレームのセットを処理させ、前記ポーズダイナミクスデータは主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表し、
前記位置合わせされたフレームのセットを別々のサブ秒モジュールのセットに時間的にセグメント化するために、前記制御システムを使用して、前記位置合わせされたフレームのセットを処理させ、各サブ秒モジュールセットは類似したポーズダイナミクスを有するサブ秒モジュールだけを含み、
サブ秒モジュールに参照付けられた前記位置合わせされたフレームのセット内の各フレームをデータベースに格納させる
ための前記機械実行可能コードを実行するように構成された、制御システムと
を含む、システム。
[本発明1037]
前記制御システムは、前記別々のサブ秒モジュールのセット内で閾値を上回って発生する前記サブ秒モジュールのセットのサブセットの表現をディスプレイに送るようにさらに構成されている、本発明1036のシステム。
[本発明1038]
前記制御システムは、閾値を上回って発生する前記サブ秒モジュールのセットの前記サブセットの各々の行動タグに関するユーザ入力を受け取る、本発明1036のシステム。
[本発明1039]
前記制御システムは、第2の対象の動きを表す前記3次元カメラから出力されたビデオデータに前記行動タグを自動的に適用するようにさらに構成されている、本発明1038のシステム。
【図面の簡単な説明】
【0040】
添付の図面は、本明細書に組み込まれ、本明細書の一部を構成し、本発明の態様を例示し、本明細書と併せて、本発明の原理を説明し例示するのに使用される。図面は、例示的な態様の主要な特徴を図式的に示すためのものである。図面は、実際の態様のすべての特徴を描いたものでも、図示された要素の相対的な寸法を描いたものでもなく、縮尺どおりに描かれてはいない。
【0041】
【図1】本発明の様々な態様による、動物のビデオデータを取り込むように設計されたシステムの図である。
【図2A】本発明の様々な態様による、ビデオデータに対して行われる処理工程を示す流れ図である。
【図2B】本発明の様々な態様による、ビデオデータに対して行われる処理工程を示す流れ図である。
【図3】本発明の様々な態様による、処理工程から出力されたビデオデータに対して行われる分析を示す流れ図である。
【図4】本発明の様々な態様による、AR-HMMアルゴリズムの実施態様を示す流れ図である。
【図5】図5Aは、本発明の様々な態様による、使用頻度でソートされたモジュールセット（X軸）に対してプロットされた、各モジュールによって説明されるフレームの割合（Y軸）を示すグラフである。図5Bは、本発明の様々な態様による、指示されるベイズ確信区間を用いて使用頻度（Y軸）でソートされたモジュール（X軸）を示すグラフである。
【図6-1】図6A～6Eは、本発明の様々な態様による、物理環境がモジュール使用頻度および発現の空間パターンに及ぼす影響を示す図である。図6A。使用頻度でソートされたAR-HMMによって識別されたモジュール（n＝25匹のマウス、合計500分、円形オープンフィールドからのデータ）。
【図6-2】図6A～6Eは、本発明の様々な態様による、物理環境がモジュール使用頻度および発現の空間パターンに及ぼす影響を示す図である。図6B。任意のモジュール対が順序付きの対として観察される確率を示す、観察されたバイグラム確率のヒントン図。
【図6-3】図6A～6Eは、本発明の様々な態様による、物理環境がモジュール使用頻度および発現の空間パターンに及ぼす影響を示す図である。図6C。コンテキストでソートされたモジュール使用頻度。動物全体の平均使用頻度が濃い線で示されており、ブートストラップ推定値が薄い線で示されている（n＝100）。印付きモジュールは本文で論じられ図6Dに示されている:四角＝円形の接触走性、丸＝ロゼット、菱形＝四角形の接触走性、十字＝四角形の突進。
【図6-4】図6A～6Eは、本発明の様々な態様による、物理環境がモジュール使用頻度および発現の空間パターンに及ぼす影響を示す図である。図6D。すべての実験における平均空間位置を示す、円形オープンフィールドにおけるマウスの占有率グラフ（左、n＝25、合計500分）。円形の接触走性モジュール（中央、矢印場として示された実験全体の平均的な向き）と、円形で豊富なロゼットモジュール（右、矢印で示された個々の動物の向き）の配置を示す占有率グラフ。図6E。すべての実験における累積空間位置を示す四角い箱内のマウスの占有率グラフ（左、n＝15、合計300分）。四角形で豊富な接触親和性（thigmophilic）モジュール（中央、矢印場として示された実験全体の平均的な向き）と、四角形の特有の突進モジュール（右、矢印で示された個々の動物の向き）を示す占有率グラフ。
【図7】本発明の様々な態様による、データセット内の他のすべてのモジュールと比較した、TMT曝露「すくみ」後に差次的に上方制御され相互接続されたモジュールの平均速度を示すヒストグラムである。
【図8A】図8A～8Eは、本発明の様々な態様による、匂い回避がどのようにして遷移確率を変えるかを示すグラフである。図8A。対照条件下のマウス（n＝24、合計480分）と、左下象限（矢印）内の単分子のキツネ由来匂い物質トリメチルチアゾリンに曝露されたマウス（TMT、担体DPG中5％希釈、n＝15、合計300分）の占有率プロット。
【図8B】図8A～8Eは、本発明の様々な態様による、匂い回避がどのようにして遷移確率を変えるかを示すグラフである。図8B。「TMT性（TMT-ness）」でソートされたモジュール使用頻度プロット。濃い線は平均使用頻度を示し、ブートストラップ推定値は薄い線で示す。印付きモジュールは本明細書および図8Eで論じる:四角＝TMT象限内で匂い嗅ぎする、丸＝TMTから遠ざかってすくむ。
【図8C】図8A～8Eは、本発明の様々な態様による、匂い回避がどのようにして遷移確率を変えるかを示すグラフである。図8C、左および中央。対照条件（ブランク）下およびTMT曝露後に四角い箱を探索するマウスの行動状態マップであり、モジュールがノードとして描かれており（使用頻度は各ノードの直径に比例する）、バイグラム遷移確率が有向エッジとして描かれている。2次元レイアウトは、すべての接続されたノード間の全体距離を最小化するためのものであり、近傍構造を強調するためにスペクトルクラスタリングによってシードされている。図8C。ブランクとTMTとの間の差の状態マップ図。使用頻度の差は、新しくサイズ変更された色付きの丸（上方制御は青で示され、下方制御は赤で示され、ブランク使用頻度は黒で示される）で示されている。変更されたバイグラム確率は、同じカラーコードで示されている。
【図8D】図8A～8Eは、本発明の様々な態様による、匂い回避がどのようにして遷移確率を変えるかを示すグラフである。図8D。TMTの隅（X軸）に対してプロットされた、モジュール発現と空間位置との同時確率を示すマウンテンプロット。グラフ全体の3分の2のところの「隆起」は、匂い源から等距離の2つの隅によって発生していることに留意されたい。
【図8E】図8A～8Eは、本発明の様々な態様による、匂い回避がどのようにして遷移確率を変えるかを示すグラフである。図8E。TMT曝露後のマウスが探索匂い嗅ぎモジュール（左）または休止モジュールを発する空間位置を示す占有率プロット。
【図9】図9A～9Cは、本発明の様々な態様による、AR-HMMが野生型のヘテロ接合マウスおよびホモ接合マウスをどのように一義化するかを示すグラフである。図9A。「突然変異性」でソートされた、マウス（n＝6＋/＋、n＝4＋/-、n＝5-/-、オープンフィールドアッセイ、20分間の試験）によって示されたモジュールの使用頻度プロット。動物全体の平均使用頻度が濃い線で示されており、ブートストラップ推定値は薄い線で示されている。図9B。図4C（左）と同様の＋/＋動物のベースラインOFA行動の状態マップ図。＋/＋と＋/-遺伝子型（中央）の間および＋/＋と-/-遺伝子型（右）の間の図4Cと同様の差異状態マップ。図9C。動物の後肢が肩帯の上方に持ち上げられ、動物がぐらつく足取りで前方に動き回る「動揺歩行」モジュールの図。
【図10】図10A～10Bは、本発明の様々な態様による、運動皮質の光遺伝学的摂動がどのように新形態の生理学モジュールをもたらすかを示すグラフである。図10A。各行動モジュール（Y軸上で固有の色が各々割り当てられている）の発現の確率を、時間（X軸）の関数として示すマウンテンプロットであり、2秒間の光刺激が時刻0から開始される（各プロットは50回の試験の平均である）。試験構造（マウスが増加する光レベルに順次に曝露された）のために、全条件にわたって光オンセット前に行動のベースラインパターンのわずかな変動が捕捉されることに留意されたい。星印は、中間出力（11mW）で上方制御されるが高出力（32mW）では上方制御されない、ベースライン条件の間に発現される2つのモジュールを示す。十字は、光オフセット時に上方制御された休止モジュールを示す。図10B。最高の刺激条件下で誘導された2つのモジュールの例示的マウスの平均位置を示す（矢印は経時的な向きを示す）。これらのプロットは1匹の動物から得られ、完全なデータセット（n＝4）を表すものであることに留意されたい。ウイルス発現の変動性のために、行動変化を引き出すのに必要な閾値出力は動物ごとに異なるが、すべて図10Aで識別された回転行動を発現した。
【図11A】図11A～11Cは、本発明の様々な態様による、深度イメージングがマウスのポーズダイナミクスデータのブロック構造をどのようにして明らかにするかを示すグラフである。図11Aは、標準的なRGBカメラ（左）および3D深度カメラ（右、マウスの体高はカラーマップされており、mm＝床上mm）を用いた円形オープンフィールドにおけるマウスのイメージングによるマウスの3次元ポーズの捕捉を示している。
【図11B】図11A～11Cは、本発明の様々な態様による、深度イメージングがマウスのポーズダイナミクスデータのブロック構造をどのようにして明らかにするかを示すグラフである。図11Bは、動物の脊椎の推定軸を示す矢印を示している。すべてのマウス画像は、自由行動中の経時的なポーズダイナミクスの定量的測定を可能にするために、この軸に沿ってセンタリングされ、位置合わせされる。ポーズデータの視覚化により、3Dポーズダイナミクス内の固有のブロック構造が明らかになる。ランダム射影法によって前処理され、脊椎が位置合わせされたデータの圧縮により、経時的に発展する際のポーズデータの散発的な急な遷移が明らかになる。同様のデータ構造が、動物が行動する際の生データおよび動物の脊椎の高さでも観察された（上のパネル、任意の所与の位置で脊椎の高さがカラーマップされており、mm＝床上mm）。動物が立ち上がるとき（ここではデータストリームの開始時にあるように）、そのカメラに対する断面プロファイルは小さくなる。動物が四つん這いのとき、そのプロファイルは大きくなる。
【図11C】図11A～11Cは、本発明の様々な態様による、深度イメージングがマウスのポーズダイナミクスデータのブロック構造をどのようにして明らかにするかを示すグラフである。図11Cに、これらのブロック間の潜在的境界を識別する変化点分析（行動データの最下部のトレースに示される変化点の正規化された確率）を示す。変化点分析によって識別されたるブロックの持続時間をプロットすることにより、ブロック持続時間分布（n＝25、合計500分のイメージング、平均値＝358ms、SD495ms）が明らかになる。平均ブロック持続時間値は黒でプロットされており、個々のマウスと関連付けられた持続時間分布は灰色でプロットされている。図11C、中央および右。自己相関分析は、マウスのポーズにおける脱相関の速度が約400ミリ秒後に遅くなることを明らかにする（左、平均値は暗青色でプロットされている、個々のマウス自己相関分析は明青色でプロットされている、タウ＝340±58ms）。行動しているマウスと死んだマウスとの間のスペクトルパワーの比をプロットすると（右、平均値は黒でプロットされ、個々のマウスは灰色でプロットされている）、ほとんどの行動周波数成分は1～6Hzの間で表されることが明らかになる（平均＝3.75±0.56Hz）。
【図12A】図12A～12Dは、本発明の様々な態様による、マウスのポーズダイナミクスデータが再利用行動モジュールをどのように含むかを示すグラフである。図12Aは、マウスのポーズデータの主成分（PC）空間（下）への射影により、ポーズデータで識別された個々のブロックが再利用された軌跡を符号化していることをどのように明らかにするかを示している。マウスのポーズデータに主成分分析を行った後、各時点における最初の2つのPCの値を2次元グラフにプロットした（点密度がカラーマップされている）。変化点分析（上）で強調表示されたブロックと関連付けられる経路をたどると、PC空間（白）を通る軌跡が識別される。テンプレートマッチング手順を使用してポーズデータを探索することにより、PC空間を通る同様の軌跡（青色から赤色への推移として示される時間）を符号化しているこのブロックの追加の例が識別され、テンプレートブロックが再利用された動きモチーフを表すことが示唆された。
【図12B】図12A～12Dは、本発明の様々な態様による、マウスのポーズダイナミクスデータが再利用行動モジュールをどのように含むかを示すグラフである。図12Bは、AR-HMMによるマウスのポーズデータのモデル化により、個々の行動モジュールが識別されることを示している。AR-HMMは、行動データを解析して識別可能なモジュールの限定されたセットにする（上、「ラベル」と記されている、各モジュールは一義的にカラーコードされている）。単一の行動モジュールと関連付けられた複数のデータインスタンスは各々、PCA空間を通る定型化した軌跡を取り（左下、緑色の軌跡）、複数の軌跡が行動系列を定義する（下中央）。マウスの側面図（深度データから推測される、右下）を描くと、行動系列内の各軌跡が異なる要素動作を符号化していることが明らかになる（モジュール内の時間は、モジュールの開始から終了まで徐々に濃くなる線として示されている）。
【図12C】図12A～12Dは、本発明の様々な態様による、マウスのポーズダイナミクスデータが再利用行動モジュールをどのように含むかを示すグラフである。図12Cは、歩行モジュール、休止モジュール、および低い立ち上がりモジュールと関連付けられる3次元イメージングデータの等角図を示している。
【図12D】図12A～12Dは、本発明の様々な態様による、マウスのポーズダイナミクスデータが再利用行動モジュールをどのように含むかを示すグラフである。図12Dは、特定のモジュールに割り当てられたデータインスタンスが別のモジュールによって効果的にモデル化される確率を示す交差尤度分析を示している。オープンフィールドのデータセットの交差尤度が計算され、特定のモジュールに割り当てられた任意の所与のデータインスタンスが異なるモジュールによって正確にモデル化される尤度がヒートマップされる（単位はnat、enatは尤度比である）。高尤度の対角線と、低尤度が、すべての非対角比較のために関連付けられることに留意されたい。その自己相関構造が実際のマウスデータと一致するが、いかなるモジュール性もない合成データで訓練されたモデルで同じメトリックをプロットすると、AR-HMMは訓練データに基礎的なモジュール性がない場合にモジュールを識別できないことが明らかになる。
【図13Ai】図13Ai～13Bは、本発明の様々な態様による、マウスの深度イメージングデータにおけるブロックおよび自己相関構造を示すグラフである。図13Ai～図13Aiiは、ランダム射影データ、脊椎データ、および位置合わせしたマウスのポーズダイナミクスから導出された生の画素データにブロック構造が存在することを示している。
【図13Aii】図13Ai～13Bは、本発明の様々な態様による、マウスの深度イメージングデータにおけるブロックおよび自己相関構造を示すグラフである。図13Ai～図13Aiiは、ランダム射影データ、脊椎データ、および位置合わせしたマウスのポーズダイナミクスから導出された生の画素データにブロック構造が存在することを示している。
【図13B】図13Ai～13Bは、本発明の様々な態様による、マウスの深度イメージングデータにおけるブロックおよび自己相関構造を示すグラフである。図13Bは、生きているマウスはイメージングデータにおいて有意なブロック構造を示し（左パネル）、死んだマウスはそうでない（右パネル）ことを示している。圧縮は、マウスのポーズダイナミクスデータの自己相関構造に大きな影響を与えない。同じ深度データセットを表す生の画素、PCAデータおよびランダム射影は（左パネル）は、ほぼ同じ速度ですべて無相関であり、データ圧縮がイメージングデータの細かい時間スケールの相関構造に影響しないことを示している。この相関構造は、マウスのポーズが、あたかもレヴィフライト（中央パネル）またはランダムウォーク（右パネル）を取っているように発展した場合には観察されず、生きているマウスはスイッチングダイナミクスと潜在的に関連付けられる特定のサブ秒自己相関構造を発現することが示唆される。
【図14】本発明の様々な態様による、主成分分析を使用した次元拒絶後に説明される分散を示すグラフである。説明される分散（Y軸）を含まれるPCA次元（X軸）の数と比較するプロットは、分散の88％が最初の10の主成分によって捕捉されることを明らかにしている。この次元数は、AR-HMMによってデータ分析に使用された。
【図15A】本発明の様々な態様による、マウスの行動の比較モデル化を示すグラフである。各々が行動の基礎構造に関する別個の仮説をインスタンス化する、行動の一連の計算モデルを構成し、これらのモデルの各々を、（位置合わせした深度データから抽出された上位10の主成分の形態の）マウスの行動データで訓練した。これらのモデルには、ガウスモデル（マウスの行動はポーズ空間における単一のガウス分布であることを提案する）、GMM（混合ガウスモデル、マウスの行動がポーズ空間におけるガウス分布の混合であることを提案する）、ガウスHMM（ガウス隠れマルコフモデル、各々がポーズ空間におけるガウス分布であり、定義可能な遷移統計値で時間的に相互接続されているモジュールから行動が作成されることを提案する）、GMM HMM（混合ガウスモデル隠れマルコフモデル、各々がポーズ空間におけるガウス分布の混合であり、定義可能な遷移統計値で時間的に相互接続されているモジュールから行動が作成されることを提案する）、ARモデル（マウスの行動がポーズ空間を通る単一の連続した自己回帰軌跡であることを提案する）、AR MM（マウスの行動が、各々がポーズ空間を通る自己回帰軌跡を符号化しており、あるものから別のものにランダムに遷移するモジュールから構築されることを提案する）、およびAR sHMM（マウスの行動が、各々がポーズ空間を通る自己回帰軌跡を符号化しており、定義可能な遷移統計値であるものから別のものに遷移するモジュールから構築されることを提案する）が含まれていた。これらのモデルをあてたことのないマウスの行動データの構造を予測する際のこれらの変調器の性能は、Y軸に示されており（尤度単位で測定され、ガウスモデルの性能に合わせて正規化される）、各モデルがフレームごとに行動を予測できる能力は、X軸に示されている（上側）。異なる時点でこのプロットから3つのスライスを取り、最適なAR HMMは、データに固有のスイッチングダイナミクスが作用し始める（例えば10フレーム超後、エラーバーはSEMである）時間スケールにおいて代替モデルよりも性能が優れていることを示す。
【図15B】本発明の様々な態様による、マウスの行動の比較モデル化を示すグラフである。各々が行動の基礎構造に関する別個の仮説をインスタンス化する、行動の一連の計算モデルを構成し、これらのモデルの各々を、（位置合わせした深度データから抽出された上位10の主成分の形態の）マウスの行動データで訓練した。これらのモデルには、ガウスモデル（マウスの行動はポーズ空間における単一のガウス分布であることを提案する）、GMM（混合ガウスモデル、マウスの行動がポーズ空間におけるガウス分布の混合であることを提案する）、ガウスHMM（ガウス隠れマルコフモデル、各々がポーズ空間におけるガウス分布であり、定義可能な遷移統計値で時間的に相互接続されているモジュールから行動が作成されることを提案する）、GMM HMM（混合ガウスモデル隠れマルコフモデル、各々がポーズ空間におけるガウス分布の混合であり、定義可能な遷移統計値で時間的に相互接続されているモジュールから行動が作成されることを提案する）、ARモデル（マウスの行動がポーズ空間を通る単一の連続した自己回帰軌跡であることを提案する）、AR MM（マウスの行動が、各々がポーズ空間を通る自己回帰軌跡を符号化しており、あるものから別のものにランダムに遷移するモジュールから構築されることを提案する）、およびAR sHMM（マウスの行動が、各々がポーズ空間を通る自己回帰軌跡を符号化しており、定義可能な遷移統計値であるものから別のものに遷移するモジュールから構築されることを提案する）が含まれていた。これらのモデルをあてたことのないマウスの行動データの構造を予測する際のこれらの変調器の性能は、Y軸に示されており（尤度単位で測定され、ガウスモデルの性能に合わせて正規化される）、各モデルがフレームごとに行動を予測できる能力は、X軸に示されている（上側）。異なる時点でこのプロットから3つのスライスを取り、最適なAR HMMは、データに固有のスイッチングダイナミクスが作用し始める（例えば10フレーム超後、エラーバーはSEMである）時間スケールにおいて代替モデルよりも性能が優れていることを示す。
【図16】本発明の様々な態様による、質的に類似しているブロックおよびモジュールの持続時間分布を示すグラフである。ブロック持続時間（X軸）に対してプロットされた所与の持続時間のブロック/モジュールのパーセンテージ（Y軸）により、変化点アルゴリズムで識別されたブロックおよびモデルで識別された行動モジュールのほぼ同様の持続時間分布が明らかになる。変化点アルゴリズムはデータ構造の局所的変化を識別し、モデルは、モジュールのコンテンツおよびモジュールの遷移統計値に基づいてモジュールを識別するため、これらの分布は、同一ではないが類似していることが予期される。モデルは、変化点アルゴリズムによって使用される「局所破壊」メトリックに直接アクセスできないことに留意されたい。
【図17】本発明の様々な態様による、高速時間スケールでの行動データのシャッフルがAR-HMM性能をどのように低下させるかを示すグラフである。
【図18】本発明の様々な態様による、各モデルを行動データで訓練し（左）、次いで、そのマウスの行動の「ドリーム（dream）」バージョン（右）を生成させ、その出力が経時的に動物の脊椎の形状で視覚化されている、モデルで生成されたマウスの行動の視覚化を示すグラフである。各モデルによって識別された個々のモジュールは、各モデルの下にカラーコードとして示されている（「ラベル」と記されている）。
【図19】本発明の様々な態様による、モジュール相互接続性がいかに疎であるかを示すグラフである。閾値を設定しないと、平均的なモジュールは16.85±0.95個の他のモジュールと相互接続される。この適度な相互接続性は、個々の行動モジュール間の疎な時間的相互接続性と合致するように、適度な閾値（X軸、バイグラム確率に適用された閾値）を使用しただけでも急激に低下する。
【図20】本発明の様々な態様による、識別フィルタリングパラメータを示すグラフである。Kinectからデータをフィルタリングするために、本発明者らは、空間と時間の両方で中央値フィルタを反復して適用する反復中央値フィルタリング法を使用した。この手法では、データ構造を効果的に維持しながらノイズを除去することが示されている。最適なフィルタ設定を識別するために、本発明者らは、死後硬直で差次的にポーズをとらせた死んだマウスを画像化した。理想的なフィルタ設定では、異なるポーズをとらせたマウスを区別するはずであるが、同じマウスからのデータを区別することができない。フィルタ設定は、((画素),(フレーム))として示され、各括弧内の数字はフィルタリングのラウンドごとの反復設定を指す。フィルタ性能を評価するために、本発明者らは、同じポーズの全フレームの平均空間相関を異なるポーズの全フレームの平均空間相関で割ったポーズ内/ポーズ間相関比（Y軸）を計算した。これにより、軽いフィルタリング（設定((3),(3,5))）がデータの識別性を最適化することが明らかになった。
【図21】本発明の様々な態様による、変化点アルゴリズムパラメータを識別するグラフである。変化点比（生きているマウス対死んでいるマウスで識別された変化点の数、Y軸）に対して最適化することにより、シグマおよびH（左の2つのパネル）についてグリッドスキャンにより明確な最適値が識別された。この変化点比はKに対してあまり敏感ではなかった。ゆえに48の設定（観察された最大値で）を選択した。
【図22】本発明の様々な態様による、AR-HMMのためのグラフィックモデルを示す図である。時間インデックスt＝1,2,…,Tに対してy_tとラベル付けされた影付きノードは、前処理された3Dデータ系列を表す。そのような各データノードy_tは、当該データフレームを行動モードに割り当てる対応する状態ノードx_tを有する。その他のノードは、モード間の遷移（すなわち、遷移行列π）と、モードごとの自己回帰動的パラメータ（すなわち、パラメータθのセット）を決定するパラメータを表す。
【0042】
図面において、同じ符番および任意の頭字語は、理解を容易にし、便宜を図るために、同一の、または類似した構造または機能を有する要素または動作を識別する。特定の要素または動作の考察を容易に識別するために、符番の最上位の数字は、その要素が最初に提示された図番号を指す。
【発明を実施するための形態】
【0043】
詳細な説明
いくつかの態様では、本発明の特定の態様を説明し、特許請求するために使用される、寸法、形状、相対位置などの特性は、用語「約」によって修飾されていると理解されるべきである。
いくつかの態様では、本発明の特定の態様を説明し、特許請求するために使用される、寸法、形状、相対位置などの特性は、用語「約」によって修飾されていると理解されるべきである。
【0044】
次に、本発明の様々な例について説明する。以下の説明では、これらの例の十分な理解および実施可能要件の説明のための具体的の詳細を提供する。しかし、当業者であれば、本発明はこれらの詳細の多くがなくても実施できることを理解するであろう。同様に、当業者は、本発明が本明細書で詳細に説明されていない多くの他の明白な特徴を含むことができることも理解するであろう。加えて、いくつかの周知の構造または機能は、関連する説明を不必要に不明瞭にすることを避けるために、以下では詳細に図示、説明されないこともある。
【0045】
以下で使用する用語は、たとえその用語が本発明の特定の具体例の詳細な説明との関連で使用されている場合であっても、その用語の最も広い妥当な意味で解釈されるべきである。確かに、以下ではいくつかの用語を強調する場合もあるが、任意の制限された意味で解釈されることが意図されている用語については、この詳細な説明の項で明白かつ具体的に定義する。
【0046】
本明細書には多くの具体的な実装詳細が含まれているが、これらの詳細は、発明の範囲に対する限定としても、特許請求の範囲の限定としても解釈すべきではなく、むしろ、個々の発明の個々の実施態様に特有の特徴の記述として解釈すべきである。本明細書において別々の実施態様の文脈で記述されているある特徴を、単一の実施態様において組み合わせて実施することもできる。逆に、単一の実施態様の文脈で記載されている様々な特徴を、複数の実施態様において別々に、または任意の適切な部分組合せとして実施することもできる。さらに、各特徴は、上記では、ある組合せとして動作するものとして記述されており、そうしたものとして当初請求されている場合もあるが、請求される組合せの中からの1つまたは複数の特徴を、同じ事例において、その組合せの中から削除することもでき、請求される組合せは、部分的組合せまたは部分的組合せの変形も対象としうる。
【0047】
同様に、各動作は、図面において特定の順序で記載されている場合もあるが、これは、所望の結果を達成するために、そうした動作が図示の特定の順序で、順番に行われること、またはすべての図示の動作が行われることを必要とするものと理解すべきではない。ある状況では、マルチタスク処理および並列処理が有利な場合がある。さらに、前述の実施態様における様々なシステム構成要素の分離は、そうした分離をすべての実施態様において必要するものと理解すべきではなく、前述のプログラムコンポーネントおよびシステムは、一般に、単一のソフトウェア製品に統合することもでき、複数のソフトウェア製品にパッケージ化することもできることを理解すべきである。
【0048】
概観
本発明者らは、動物のビデオデータを処理することによって、動物の行動モジュールを自動的かつ客観的に識別および分類するためのシステムおよび方法を発見した。これらのシステムは、深度カメラを使用して3次元の動物姿勢または姿勢軌跡を定量的に測定し、処理し、分析することによって、動物行動状態を分類してもよい。これらのシステムおよび方法は、測定可能な動作単位を構成すべきものについての先験的な定義の必要性を排除し、したがって行動状態の分類は客観的になりかつ教師なし分類となる。
本発明者らは、動物のビデオデータを処理することによって、動物の行動モジュールを自動的かつ客観的に識別および分類するためのシステムおよび方法を発見した。これらのシステムは、深度カメラを使用して3次元の動物姿勢または姿勢軌跡を定量的に測定し、処理し、分析することによって、動物行動状態を分類してもよい。これらのシステムおよび方法は、測定可能な動作単位を構成すべきものについての先験的な定義の必要性を排除し、したがって行動状態の分類は客観的になりかつ教師なし分類となる。
【0049】
一態様では、本発明は、対象の動きを分析してサブ秒モジュールに分離するための方法に関し、本方法は、（i）対象の動きを表す3次元ビデオデータを、少なくとも1つのサブ秒モジュールのセットと少なくとも1つのサブ秒モジュール間遷移期間のセットとに区分するために、計算モデルを使用して前記ビデオデータを処理する工程、および（ii）少なくとも1つのサブ秒モジュールのセットを、動物行動のタイプを表すカテゴリに割り当てる工程を含む。
【0050】
図1に、システムがビデオフレームまたはフレームセットを行動モジュールに自動的に分類するのに利用しうるプロセスの一態様を示す。例えば、システムは、ビデオレコーダ100と追跡システム110とを含んでもよい。いくつかの態様では、ビデオレコーダ100は3D深度カメラであってもよく、追跡システム110は構造化赤外光を実験フィールド10に投影してもよい。追跡システム上の赤外線受信機は、視差に基づいてオブジェクトの位置を決定することができてもよい。いくつかの態様では、ビデオレコーダ100は追跡システム110に接続されていてもよく、またはいくつかの態様では、それらは別々の構成要素であってもよい。
【0051】
ビデオレコーダ100は、コンピューティングデバイス113にビデオ画像に関連したデータおよび/または追跡システム110からの追跡データを出力してもよい。いくつかの態様では、コンピューティングデバイス113は、サーバ130によって分析されデータベース160に保存されるようにネットワーク120を通じて送信する前に、データの前処理をローカルで行う。他の態様では、コンピューティングデバイス113上でローカルにデータを処理し適合させてもよい。
【0052】
一態様では、3D深度カメラ100を使用して、領域と深度の両方の情報を有する動物50のビデオ画像のストリームが取得される。次いで、複数の画像の各々から背景画像（空の実験領域）が除去されて、明領域と暗領域とを有する処理画像が生成される。複数の処理画像における明領域の輪郭を見出すことができ、次いで、輪郭内の領域と深度の両方の画像情報からのパラメータを抽出して、複数の多次元データ点を形成することができ、各データ点は特定の時間における動物の姿勢を表す。次いで、姿勢データ点をクラスタ化して、点クラスタが動物行動を表すようにすることができる。
【0053】
次いで、前処理された深度カメラビデオデータは、ビデオデータを、合わせて集められると人間の目で観察可能なコヒーレントな行動を形成する、繰り返される行動単位を記述するサブ秒「モジュール」と遷移期間とに分類するために、様々なモデルに入力されてもよい。ビデオデータをモジュールに分類するモデルの出力は、いくつかのキーパラメータを出力してもよく、それらのパラメータは以下を含む:（1）所与の実験データセット内で観察された行動モジュールの数（すなわち状態の数）、（2）任意の所与のモジュールと関連付けられるマウスによって発現された動きパターンを記述するパラメータ（すなわち、状態特有の自己回帰動的パラメータ）、（3）任意の特定のモジュールが任意の他のモジュールに遷移する頻度を記述するパラメータ（すなわち、状態遷移行列）、および（4）ビデオフレームごとの、そのフレームの行動モジュールへの割り当て（すなわち、各データ系列と関連付けられた状態系列）。いくつかの態様では、これらの潜在変数を生成的確率過程によって定義し、ベイズ推定アルゴリズムを使用して同時に推定した。
【0054】
カメラのセットアップおよび初期設定
動物50（例えば、マウス）のビデオ画像を記録および追跡するのに様々な方法を利用してもよい。いくつかの態様では、記録されるビデオは3次元で記録されてもよい。この目的には様々な装置が利用可能であり、例えば本明細書で開示する実験ではMicrosoftのKinect for Windowsを利用した。他の態様では、以下のさらなる装置を利用してもよい:（1）立体視カメラ（深度画像を生成するように較正された2台以上の2次元カメラのグループを含みうる）、（2）ToF（time-of-flight）深度カメラ（例えば、CamCube、PrimeSense、Microsoft Kinect 2、構造化照明深度カメラ（例えば、Microsoft Kinect 1）、およびX線ビデオ。
動物50（例えば、マウス）のビデオ画像を記録および追跡するのに様々な方法を利用してもよい。いくつかの態様では、記録されるビデオは3次元で記録されてもよい。この目的には様々な装置が利用可能であり、例えば本明細書で開示する実験ではMicrosoftのKinect for Windowsを利用した。他の態様では、以下のさらなる装置を利用してもよい:（1）立体視カメラ（深度画像を生成するように較正された2台以上の2次元カメラのグループを含みうる）、（2）ToF（time-of-flight）深度カメラ（例えば、CamCube、PrimeSense、Microsoft Kinect 2、構造化照明深度カメラ（例えば、Microsoft Kinect 1）、およびX線ビデオ。
【0055】
ビデオレコーダ100および追跡システム110は、構造化赤外光を撮像フィールド10上に投影し、視差に基づいて撮像フィールド10内のオブジェクトの3次元位置を計算してもよい。Microsoft Kinect for Windowsの最小動作距離（近接モード）は0.5メートルである。画像化されたフィールド内の欠けている深度画素の数を定量することによって、最適なセンサ位置を決定してもよい。例えば、本発明者らは、Kinectの最適なセンサ位置が、周囲光条件およびアッセイ材料に依存して、実験フィールドから0.6～0.75メートルであることを発見した。
【0056】
データ取得
ビデオレコーダ100および追跡システム110からのデータ出力は、深度フレームを処理し、それらを適切なフォーマット（例えば、バイナリフォーマットまたは他のフォーマット）で保存するコンピューティングデバイス113によって受信され処理されてもよい。いくつかの態様では、ビデオレコーダ100および追跡システム110からのデータは、ネットワーク120を通じてサーバ130に直接出力されてもよく、あるいは一時的にバッファされ、かつ/またはUSBや他の接続を通じて、さらなる処理のためにネットワーク120を通じて中央サーバ130に送信する前にデータを一時的に格納する関連付けられたコンピューティングデバイス113に送信されてもよい。他の態様では、データは、ネットワーク120を通じて送信せずに関連付けられたコンピュータ113によって処理されてもよい。
ビデオレコーダ100および追跡システム110からのデータ出力は、深度フレームを処理し、それらを適切なフォーマット（例えば、バイナリフォーマットまたは他のフォーマット）で保存するコンピューティングデバイス113によって受信され処理されてもよい。いくつかの態様では、ビデオレコーダ100および追跡システム110からのデータは、ネットワーク120を通じてサーバ130に直接出力されてもよく、あるいは一時的にバッファされ、かつ/またはUSBや他の接続を通じて、さらなる処理のためにネットワーク120を通じて中央サーバ130に送信する前にデータを一時的に格納する関連付けられたコンピューティングデバイス113に送信されてもよい。他の態様では、データは、ネットワーク120を通じて送信せずに関連付けられたコンピュータ113によって処理されてもよい。
【0057】
例えば、いくつかの態様では、Kinectから出力されたデータは、毎秒30フレームの速度で深度フレームを取得し、それらを生バイナリフォーマット（16ビット符号付き整数）で外付けハードドライブまたは他の記憶装置に保存する公式のMicrosoft .NET APIを介してKinectにインターフェースするためのカスタムMatlabまたは他のソフトウェアを利用して、USBポートを通じてコンピュータに送信されてもよい。USB3.0には、外付けハードドライブまたはストレージを備えたコンピューティングデバイスにリアルタイムでデータをストリーミングできるだけの十分な帯域幅があるからである。しかし、いくつかの態様では、ネットワークは、リアルタイムでデータをリモートでストリーミングするのに十分な帯域幅がなくてもよい。
【0058】
データ前処理
いくつかの態様では、ビデオデータの生画像がデータベースまたは他のメモリに保存および/または格納された後、様々な前処理を行って、さらなる処理のためにビデオデータ内の動物を分離し、動物の画像を共通軸に沿って配向してもよい。いくつかの態様では、頭部の向きを利用して画像を共通の方向に向けてもよい。他の態様では、推定される脊椎の方向を組み込んでもよい。
いくつかの態様では、ビデオデータの生画像がデータベースまたは他のメモリに保存および/または格納された後、様々な前処理を行って、さらなる処理のためにビデオデータ内の動物を分離し、動物の画像を共通軸に沿って配向してもよい。いくつかの態様では、頭部の向きを利用して画像を共通の方向に向けてもよい。他の態様では、推定される脊椎の方向を組み込んでもよい。
【0059】
例えば、画像化されたマウスのポーズの経時的な発展を追跡するには、所与のビデオシーケンス内のマウスを識別し、背景（この場合はマウスが探索している装置）からマウスをセグメント化し、マウスの分離された画像をマウスの脊椎の軸に沿って配向し、画像を射影ひずみについて補正し、次いでモデルによる処理のために画像を圧縮することが必要である。
【0060】
動物のビデオデータの分離
図2Aに、関心領域を分離し背景画像を差し引いて動物50のビデオデータを分離するためにシステムが行いうるプロセスを示す。まず、マウスが行動している実験アリーナを分離するために、システムは、最初に、さらなる分析のための関心領域（ROI）210を識別してもよい。他の態様では、関心領域210は、記録されたビデオデータの全視野10を含んでもよい。領域を分離するために、画像化されたアリーナの外側エッジに沿って手動でトレースしてもよい。ROI 210の外側の画素は、偽オブジェクト検出を防止するためにゼロに設定してもよい。他の態様では、システムは、様々な方法を使用してROI 210を自動的に定義してもよい。いくつかの態様では、システムは、インタラクティブな中央値フィルタを用いて生のイメージングデータをフィルタリングしてもよく、中央値フィルタは、例えばKinectにおいてセンサからの相関ノイズを除去するのに良く適している。
図2Aに、関心領域を分離し背景画像を差し引いて動物50のビデオデータを分離するためにシステムが行いうるプロセスを示す。まず、マウスが行動している実験アリーナを分離するために、システムは、最初に、さらなる分析のための関心領域（ROI）210を識別してもよい。他の態様では、関心領域210は、記録されたビデオデータの全視野10を含んでもよい。領域を分離するために、画像化されたアリーナの外側エッジに沿って手動でトレースしてもよい。ROI 210の外側の画素は、偽オブジェクト検出を防止するためにゼロに設定してもよい。他の態様では、システムは、様々な方法を使用してROI 210を自動的に定義してもよい。いくつかの態様では、システムは、インタラクティブな中央値フィルタを用いて生のイメージングデータをフィルタリングしてもよく、中央値フィルタは、例えばKinectにおいてセンサからの相関ノイズを除去するのに良く適している。
【0061】
関心領域210を選択した後、生画像を関心領域に合わせてトリミングしてもよい215。次いで、欠けている画素値を入力することができ225、その後、画素ごとにX、Y、およびZの位置を計算することができ230、画素位置を再サンプリングすることができる。したがって、画像を実世界座標上に再サンプリングすることができる。次いで、システムは、実世界座標背景画像の中央値を計算し240、それらを実世界座標画像から差し引くことができる245。
【0062】
ビデオデータからアリーナの背景画像を差し引くために、例えば、設定期間（例えば、30秒）のビデオデータの一部の中央値を差し引くことを含め、様々な技法を行ってもよい。例えば、いくつかの態様では、任意のイメージングストリームからの最初の30秒のデータをすべてのビデオフレームから差し引いてもよく、ゼロ未満の任意の見せかけの値をゼロにリセットしてもよい。
【0063】
さらに確実に動物に焦点を当てた分析とするために、システムは画像を二値化し（または閾値を使用して同様の処理を行い）、モルフォロジーオープニング処理（morphological opening）の一定回数の反復に耐えなかったオブジェクトを除去してもよい。したがって、これが終了すると、システムは図2Bに示す追加処理を行ってもよい。したがって、背景差し引き後の画像（マウスのビデオデータ）250をフィルタリングしてもよく、アーチファクトを除去してもよい255。いくつかの態様では、これは反復中央値フィルタリングを含んでもよい。
【0064】
次いで、画像データ内の動物を、減算およびマスキング手順に耐えたアリーナ内の最大のオブジェクトとして動物を定義することによって、またはブロブ検出260によって識別してもよい。次いで、マウスの画像を抽出してもよい265。
【0065】
動物の向きの識別
次いで、動物（例えば、マウス）の重心を、前処理された画像の質量中心として、または他の適切な方法によって識別してもよい270。次いで、動物の輪郭に楕円をフィッティングして285、動物の全体的な向きを検出してもよい。マウスを適切に配向する280ために、手動で配向したマウス抽出画像のセットで様々な機械学習アルゴリズムを訓練してもよい（例えば、ランダムフォレスト分類器）。画像が与えられると、向きアルゴリズムは次いで、マウスの頭部が正しい方向に向いているか否かを示す出力を返す。
次いで、動物（例えば、マウス）の重心を、前処理された画像の質量中心として、または他の適切な方法によって識別してもよい270。次いで、動物の輪郭に楕円をフィッティングして285、動物の全体的な向きを検出してもよい。マウスを適切に配向する280ために、手動で配向したマウス抽出画像のセットで様々な機械学習アルゴリズムを訓練してもよい（例えば、ランダムフォレスト分類器）。画像が与えられると、向きアルゴリズムは次いで、マウスの頭部が正しい方向に向いているか否かを示す出力を返す。
【0066】
位置が識別されると、動物の重心、頭部および尾部の位置、向き、長さ、幅、高さ、ならびに時間に対するそれらの1次導関数の各々を含む追加情報をビデオデータから抽出してもよい275。動物のポーズダイナミクスの特徴付けには、X軸およびY軸の射影ひずみの補正が必要であった。このひずみは、まず、実世界座標における画素ごとの（x,y,z）座標のタプルを生成し、次いでそれらの座標を、ドロネー三角形分割を使用して（x,y）平面の均一なグリッド上に当てはまるように再サンプリングすることによって補正してもよい。
【0067】
モデルベースアルゴリズムまたはモデルフリーアルゴリズムへの出力
図3に示すように、向き補正後の画像またはフレームは、いくつかの態様では、主成分分析時系列310またはデータ点を減らすための他の統計的方法へ出力される。いくつかの態様では、データは、本明細書で開示するAR-HMMアルゴリズムなどのモデルフィッティングアルゴリズム315を適用され、またはビデオデータ内に含まれる行動モジュール300を識別するために開示のようなモデルフリーアルゴリズム320を適用されてもよい。加えて、いくつかの態様では、PCA時系列は実行されない。
図3に示すように、向き補正後の画像またはフレームは、いくつかの態様では、主成分分析時系列310またはデータ点を減らすための他の統計的方法へ出力される。いくつかの態様では、データは、本明細書で開示するAR-HMMアルゴリズムなどのモデルフィッティングアルゴリズム315を適用され、またはビデオデータ内に含まれる行動モジュール300を識別するために開示のようなモデルフリーアルゴリズム320を適用されてもよい。加えて、いくつかの態様では、PCA時系列は実行されない。
【0068】
モデルフリーアルゴリズム320を用いる態様では、類似した向きプロファイルおよび軌跡を有するサブ秒行動モジュールを分離する目的で、アルゴリズムの様々な組合せを利用することができる。これらのアルゴリズムのいくつかの例を本明細書で開示するが、データを行動モジュールに分けるさらなるアルゴリズムを想定することもできる。
【0069】
画像の次元縮小
モデルフリーアルゴリズム320またはモデルフィッティング315アルゴリズムを含むいくつかの態様では、各画素で捕捉された情報は、多くの場合、高い相関性があるか（近傍画素）、または情報価値がない（マウスの身体を決して表すことがない画像境界上の画素）。冗長な次元を減らすと共にモデル化を計算的に扱いやすくするために、様々な技術を使用して各画像を次元縮小してもよい。例えば、5レベルのウェーブレット分解を行うことにより、画像を、各次元が単一の空間スケールの情報を捕捉しプールした表現に変換してもよい。この変換では、いくつかの次元は数ミリメートルのスケールで細かいエッジを明確にコードしうるが、一方で別の次元はセンチメートルの空間スケールで幅広い変化を符号化していた。
モデルフリーアルゴリズム320またはモデルフィッティング315アルゴリズムを含むいくつかの態様では、各画素で捕捉された情報は、多くの場合、高い相関性があるか（近傍画素）、または情報価値がない（マウスの身体を決して表すことがない画像境界上の画素）。冗長な次元を減らすと共にモデル化を計算的に扱いやすくするために、様々な技術を使用して各画像を次元縮小してもよい。例えば、5レベルのウェーブレット分解を行うことにより、画像を、各次元が単一の空間スケールの情報を捕捉しプールした表現に変換してもよい。この変換では、いくつかの次元は数ミリメートルのスケールで細かいエッジを明確にコードしうるが、一方で別の次元はセンチメートルの空間スケールで幅広い変化を符号化していた。
【0070】
しかし、このウェーブレット分解は、画像の次元を拡張する。この次元を縮小するために、次いでこれらのベクトルに主成分分析を適用して、ウェーブレット係数を10次元に射影してもよく、本発明者らはそれでもなお全分散の95％超が捕捉されることを発見した。例えば、主成分は、各々20分間にわたって記録された6週齢のC57BL/6マウス25匹の規準データセットを使用して構築してもよく、すべてのデータセットをこの共通ポーズ空間に射影した。したがって、次いでPCAの出力を、モジュール識別のためのモデル化アルゴリズムに入力してもよい。
【0071】
いくつかの態様では、ランダム射影法を利用してデータの次元を縮小してもよい。ランダム射影は、元の各次元にランダムに重み付けし、次いでその重み付けに従って各次元を合計し、データ点ごとの単一数を生成することによって、次元数D_origを有する元の信号から導出された新しい次元を生成する手法である。この手順を、新しいランダムな重み付けを使用して数回繰り返して、「ランダムに射影された」次元のセットを生成することができる。Johnson-Lindenstrauss補助定理によれば、次元数D_origを有する元のデータセット内の点間の距離は、ランダムに射影された次元D_projにおいて保存され、ここで、D_proj＜D_origである。
【0072】
モデルフリーアルゴリズム:行動モジュールの長さの識別
モデルフリーアルゴリズム320を有するいくつかの態様では、動物がある動きパターンから別の動きパターンに遷移する速度を反映する、動物の行動に自己相似性がある時間スケールを評価するために、自己相関分析を行ってもよい。センサ特有のノイズを除去するためにはある程度のデータ平滑化が必要であるため、信号のタイムラグのあるバージョン間の統計的相関としてオートコレログラムを計算すると、たとえ死後硬直でポーズをとらせた動物（例えばマウス）であっても、オートコレログラムの低下がもたらされる。したがって、マウスのポーズデータの全10次元間の相関距離を、問題の時系列信号のタイムラグのあるバージョン間の比較器として利用してもよく、死んでいる動物では値が約1.0の一様な自己相関関数が得られ、行動している動物（例えば、マウス）では低下した自己相関関数が得られる。このオートコレログラムが行動マウスにおいて低下する速度は、行動の基本的な時間スケールの尺度であり、指数関数的減衰曲線の時定数タウとして特徴付けてもよい。タウは、SciPy最適化パッケージを使用したLevenberg-Marquardtアルゴリズム（非線形最小二乗法）を使用して適合させることができる。
モデルフリーアルゴリズム320を有するいくつかの態様では、動物がある動きパターンから別の動きパターンに遷移する速度を反映する、動物の行動に自己相似性がある時間スケールを評価するために、自己相関分析を行ってもよい。センサ特有のノイズを除去するためにはある程度のデータ平滑化が必要であるため、信号のタイムラグのあるバージョン間の統計的相関としてオートコレログラムを計算すると、たとえ死後硬直でポーズをとらせた動物（例えばマウス）であっても、オートコレログラムの低下がもたらされる。したがって、マウスのポーズデータの全10次元間の相関距離を、問題の時系列信号のタイムラグのあるバージョン間の比較器として利用してもよく、死んでいる動物では値が約1.0の一様な自己相関関数が得られ、行動している動物（例えば、マウス）では低下した自己相関関数が得られる。このオートコレログラムが行動マウスにおいて低下する速度は、行動の基本的な時間スケールの尺度であり、指数関数的減衰曲線の時定数タウとして特徴付けてもよい。タウは、SciPy最適化パッケージを使用したLevenberg-Marquardtアルゴリズム（非線形最小二乗法）を使用して適合させることができる。
【0073】
いくつかの態様では、パワースペクトル密度（PSD）分析をマウスの行動データに対して行って、その時間領域構造をさらに分析してもよい。例えば、ウィーナフィルタを利用して、行動しているマウスに最適にマッチするように、死んだマウスから導出された信号において増強されるはずの時間周波数を識別してもよい。これは、単に、死んだマウスのPSDに対する行動しているマウスのPSDの比を取ることによって実施することができる。いくつかの態様では、PSDは、信号全体に及ぶスライド窓の平均PSDを取るWelchペリオドグラム法を使用して計算してもよい。
【0074】
モデルフリーアルゴリズム:遷移期間の変化点の位置決め
モジュールを識別するためにモデルを使用しない320いくつかの態様では、様々な方法を利用して遷移期間の変化点を識別してもよい。マウスの深度画像のランダム射影を経時的にプロットすると、各々が経時的な潜在的変化点である明確な線条が得られる。ランダム射影データにおいて見られるブロック構造間の潜在的境界を表すこれらの変化点の識別を自動化するために、フィルタ処理導関数アルゴリズム（filtered derivative algorithm）と呼ばれる簡単な変化点識別法を利用することができる。例えば、k＝4フレームのラグでフレーム当たりの単位正規化ランダム射影の導関数を計算するアルゴリズムを使用してもよい。各時間点で、次元ごとに、アルゴリズムは、信号がある閾値h＝0.15mmを超えたかどうかを判定してもよい。次いで、2進変化点インジケータ信号を、D＝300ランダム射影次元の各々にわたって合計してもよく、次いで、得られた1D信号を、シグマ＝0.43フレームのカーネル標準偏差を有するガウスフィルタで平滑化してもよい。次いで変化点を、この平滑化された1D時系列の極大値として識別してもよい。この手順は、パラメータk、hおよびシグマの特定の値に部分的に依存する。例えば、行動しているマウスで変化点の数を最大にするが、死んだマウスで変化点をもたらさない値を利用してもよい。
モジュールを識別するためにモデルを使用しない320いくつかの態様では、様々な方法を利用して遷移期間の変化点を識別してもよい。マウスの深度画像のランダム射影を経時的にプロットすると、各々が経時的な潜在的変化点である明確な線条が得られる。ランダム射影データにおいて見られるブロック構造間の潜在的境界を表すこれらの変化点の識別を自動化するために、フィルタ処理導関数アルゴリズム（filtered derivative algorithm）と呼ばれる簡単な変化点識別法を利用することができる。例えば、k＝4フレームのラグでフレーム当たりの単位正規化ランダム射影の導関数を計算するアルゴリズムを使用してもよい。各時間点で、次元ごとに、アルゴリズムは、信号がある閾値h＝0.15mmを超えたかどうかを判定してもよい。次いで、2進変化点インジケータ信号を、D＝300ランダム射影次元の各々にわたって合計してもよく、次いで、得られた1D信号を、シグマ＝0.43フレームのカーネル標準偏差を有するガウスフィルタで平滑化してもよい。次いで変化点を、この平滑化された1D時系列の極大値として識別してもよい。この手順は、パラメータk、hおよびシグマの特定の値に部分的に依存する。例えば、行動しているマウスで変化点の数を最大にするが、死んだマウスで変化点をもたらさない値を利用してもよい。
【0075】
モデルフリーアルゴリズム:類似モジュールまたは繰り返しモジュールの識別
データがモデルなしで分析される320いくつかの態様では、特定のアルゴリズムを利用して類似したモジュールまたは繰り返されるモジュールを識別してもよい。したがって、繰り返しモジュールのセットを、動物行動のボキャブラリーまたはシラブルとして識別してもよい。したがって、（わずか数フレームを超える）任意の比較的長い行動スニペットが、（基礎となる行動モデルに依存せずに）「繰り返された」かどうかを判定するために、システムは、テンプレートマッチング手順を利用して、PCA空間を通る類似した軌跡を識別してもよい。類似の軌跡を識別するために、例えば、システムおよび方法は、いくつかのターゲットスニペット、すなわち「テンプレート」と、等しい長さの可能なすべてのスニペット（多くの場合、変化点分析によって識別されたおおよそのブロック境界によって定義される）との間のユークリッド距離を計算してもよい。統計に基づく他の方法を含めて、他の類似した方法を、モジュールを識別するために用いることもできる。
データがモデルなしで分析される320いくつかの態様では、特定のアルゴリズムを利用して類似したモジュールまたは繰り返されるモジュールを識別してもよい。したがって、繰り返しモジュールのセットを、動物行動のボキャブラリーまたはシラブルとして識別してもよい。したがって、（わずか数フレームを超える）任意の比較的長い行動スニペットが、（基礎となる行動モデルに依存せずに）「繰り返された」かどうかを判定するために、システムは、テンプレートマッチング手順を利用して、PCA空間を通る類似した軌跡を識別してもよい。類似の軌跡を識別するために、例えば、システムおよび方法は、いくつかのターゲットスニペット、すなわち「テンプレート」と、等しい長さの可能なすべてのスニペット（多くの場合、変化点分析によって識別されたおおよそのブロック境界によって定義される）との間のユークリッド距離を計算してもよい。統計に基づく他の方法を含めて、他の類似した方法を、モジュールを識別するために用いることもできる。
【0076】
いくつかの態様では、類似したモジュールの集合は、最も類似したスニペットとして選択され、（互いから時間的に距離を置いて発生するおよび別々のマウスにおいて発生する行動スニペットを確実に選択するように）互いから1秒未満のシフトで発見されたスニペットは無視する。
【0077】
データモデル化
他の態様では、データモデル315を利用してビデオデータ内の行動モジュールを識別するシステムおよび方法を使用してもよい。例えば、データモデルは、複雑な動的過程をモデル化するのに使用されることの多い、生成的確率的モデル化の十分に確立されたパラダイムを実装してもよい。このクラスのモデルは、観察されたデータをモデル自体によって合成的に生成することができる過程を記述するという意味で生成的であり、その過程が確率分布からのサンプリングに関して数学的に定義されるため確率的である。加えて、解釈可能なモデルをデータに適合させることによって、モデルが措定する潜在変数構造がデータを生じさせたことを明らかにするようにデータを「解析」した（状態の数およびアイデンティティを記述するパラメータ、ならびに状態間の遷移を記述するパラメータを含む）。
他の態様では、データモデル315を利用してビデオデータ内の行動モジュールを識別するシステムおよび方法を使用してもよい。例えば、データモデルは、複雑な動的過程をモデル化するのに使用されることの多い、生成的確率的モデル化の十分に確立されたパラダイムを実装してもよい。このクラスのモデルは、観察されたデータをモデル自体によって合成的に生成することができる過程を記述するという意味で生成的であり、その過程が確率分布からのサンプリングに関して数学的に定義されるため確率的である。加えて、解釈可能なモデルをデータに適合させることによって、モデルが措定する潜在変数構造がデータを生じさせたことを明らかにするようにデータを「解析」した（状態の数およびアイデンティティを記述するパラメータ、ならびに状態間の遷移を記述するパラメータを含む）。
【0078】
いくつかの態様では、ベイズフレームワークを利用してモデル315を表現してもよい。ベイズフレームワークは、行動の構築のための階層モデルを表現する自然な方法、3Dデータセット内の動きパターンに関する公知のまたは観察された制約を反映する事前分布（prior）または正則化項（regularizer）、および不確実性のコヒーレントな表現を提供する。またこのフレームワークは、任意のモデルのキーパラメータを推論するための、重要な十分に確立された計算機械も提供する。ベイズフレームワーク内で、特定のモデル構造（例えば、状態の空間時間的特性およびそれらの可能な遷移）ならびに潜在変数上の事前分布について、データは潜在変数上の事後分布を固定する。
【0079】
以下では、行動を特徴付けるのに使用されるモデルベースの方法を次の2つの工程で定義する:第1は、生成モデルと使用された事前分布の数学的定義であり、第2は、推論アルゴリズムの記述である。
【0080】
行動モジュールを識別するためのモデルの例-AR-HMM
いくつかの態様では、システムは、離散時間隠れマルコフモデル315（HMM）を利用して行動モジュールを識別してもよい。HMMは、順次の時系列データをモデル化するための確率過程の範囲を包含する。HMMモデルは、（例えば、イメージングデータのすべてのフレームの）各時点において、マウスは、ラベルを与えることができる離散状態（マルコフ状態）内にあると措定する。各マルコフ状態は、その状態内にある間に動物が行う短い3次元の動きモチーフを表す。観察されたマウスの3次元行動は、その動物が直近の過去に発現した特定の動きパターンに依存するように見えるので、理想的には各マルコフ状態はマウスの将来の行動をその直近の過去のポーズダイナミクスに基づいて予測することになる。したがって、各マルコフ状態は、動物の行動モードを識別する潜在的離散成分と、行動モードに基づいて動物の短い時間スケールの行動を予測するのに使用される観察系列のラグの数の両方で構成される。このモデル構造を、多くの場合、スイッチングベクトル自己回帰（SVAR）モデルまたは自己回帰HMM（AR-HMM）と呼ぶ。
いくつかの態様では、システムは、離散時間隠れマルコフモデル315（HMM）を利用して行動モジュールを識別してもよい。HMMは、順次の時系列データをモデル化するための確率過程の範囲を包含する。HMMモデルは、（例えば、イメージングデータのすべてのフレームの）各時点において、マウスは、ラベルを与えることができる離散状態（マルコフ状態）内にあると措定する。各マルコフ状態は、その状態内にある間に動物が行う短い3次元の動きモチーフを表す。観察されたマウスの3次元行動は、その動物が直近の過去に発現した特定の動きパターンに依存するように見えるので、理想的には各マルコフ状態はマウスの将来の行動をその直近の過去のポーズダイナミクスに基づいて予測することになる。したがって、各マルコフ状態は、動物の行動モードを識別する潜在的離散成分と、行動モードに基づいて動物の短い時間スケールの行動を予測するのに使用される観察系列のラグの数の両方で構成される。このモデル構造を、多くの場合、スイッチングベクトル自己回帰（SVAR）モデルまたは自己回帰HMM（AR-HMM）と呼ぶ。
【0081】
図4に、AR-HMMアルゴリズムが、どのようにして、入力データ（PCA 310を使用して次元縮小した405、脊椎で位置合わせした深度イメージングデータ305）を、行動モジュールの数および各モジュールが符号化しているPCA空間を通る軌跡、所与のモジュール内の任意の軌跡がどの程度持続するかを決定するモジュール特有の持続時間分布、ならびにこれらの個々のモジュールがどのように経時的に相互接続するかを記述する遷移行列を記述する適合モデルに変換することができるかの一例を示す。
【0082】
加えて、AR-HMMは、訓練データのすべてのフレームに、それを所与の行動モジュールと関連付けるラベルを割り当てるように構成することもできる。前処理および次元縮小405の後、イメージングデータを訓練セット415と試験セット410に分割する。次いで訓練セット415をAR-HMM 315にかける。モデル315のパラメータをランダムに初期設定した後（ここではこれらのパラメータは、PCA空間を通る各モジュールの軌跡を記述する自己回帰パラメータ、モジュール間の時間的相互接続を決定する確率を記述する遷移行列、所与のモジュールのインスタンスがどの程度持続する可能性が高いかを記述する持続時間分布パラメータ、およびイメージングデータの各フレームに割り当てられ、そのフレームを特定のモジュールと関連付けるラベルを指す）、AR-HMMは、その他のパラメータを一定に保持したまま1つのパラメータを変化させることによってモデル315を適合させようと試みる。AR-HMMは、次の2つの主要な更新を交互に行う:アルゴリズム315は、まず、固定された遷移統計値セットおよび任意の所与のモジュールを記述するARパラメータの固定された記述が与えられるとイメージングデータをモジュールにセグメント化しようと試み、次いでアルゴリズムは、切り替わってセグメント化を固定し、遷移行列およびARパラメータ455を更新する。AR-HMM 315は、同様の手法を使用して、イメージングデータの任意の所与のフレームを所与のモジュールに割り当てる。AR-HMM 315はまず、所与のモジュールが「正しい」モジュールである確率を計算し、この確率は、状態の対応する自己回帰パラメータ455がその時間インデックスにおけるデータをどの程度十分に記述しているか、および結果として得られる状態遷移が遷移行列450とどの程度十分に一致しているかの尺度に比例する。
【0083】
第2の工程で、AR-HMM 315は、自己回帰パラメータ455および遷移パラメータ450を、割り当てられたデータにより良く適合するように変化させて、各行動モジュールおよびモード間の遷移のモデルを更新する。このプロセスの生成物は、記述されたパラメータ455であり、次いで行動の記述に関するこれらのパラメータの品質は、訓練からホールドアウトされたデータの尤度測定値を使用して評価される475。
【0084】
3Dポーズ系列データと関連付けられた離散的潜在状態445を識別することによって、HMMモデル315は、類似した短い時間スケールの運動ダイナミクスを示すデータのセグメントを識別し、そのようなセグメントを再利用された自己回帰パラメータの観点から説明することができる。観察系列ごとに、観察されない状態系列が存在する。時間インデックスtにおける離散状態がx_t＝iである場合に離散状態x_(t＋1)が値jを取る確率はiとjの決定論的関数であり、以前のすべての状態から独立している。記号で表すと以下のとおりである。
式中、πは（i,j）要素が状態iから状態jに遷移する確率である遷移行列450である。いくつかの態様では、離散状態のダイナミクスは、ここでは経時的に変化しないとみなす、遷移行列によって十分にパラメータ化されうる。推論アルゴリズム（後述する）のタスクの1つは、離散状態系列およびそれらの配置を決定する遷移行列の確度の高い値を推測し、よって、再利用される行動モジュールの順序およびこれらのモジュールがどのように経時的に接続されるかを決定する遷移パターンを推測することである。
【0085】
離散状態系列が与えられると、対応する3Dポーズデータ系列を、条件付きベクトル自己回帰（VAR）過程としてモデル化することができる。各状態特有のベクトル自己回帰は、対応する離散状態に特有の短い時間スケールの運動ダイナミクスを捕捉することができる。言い換えると、各行動モジュールを、それ自体の自己回帰過程としてモデル化することができる。より正確には、任意の時間インデックスtにおけるシステムの離散状態x_tが与えられると、その時間インデックスにおける観察データベクトルの値y_tは、観察系列のK個の以前の値y_(t-1),...,y_(t-K)に対する状態特有のノイズのある回帰に従って分布する。また推論アルゴリズムには、各状態の自己回帰動的パラメータならびにダイナミクスで使用されるラグの数の最も確度の高い値を推論するタスクを与えてもよい。
【0086】
いくつかの態様では、これらのスイッチング自己回帰ダイナミクスは、AR-HMMの中核を定義した。しかし、異なる動物集団または実験条件は行動の相違を生じさせることが予想されるので、2つ以上のそのような実験条件を考慮する場合、モデルを階層的に構築してもよい。すなわち、異なる実験条件は、状態特有のVARダイナミクスの同じライブラリを共有でき得るが、独自の遷移パターンおよび任意の固有のVAR動的モードを学習した。この単純な拡張により、モデルは実験の変更に起因するパラメータの変化を明らかにすることができる。さらに、使用される構成的ベイズ推定アルゴリズムは、そのような階層モデルを直ちに拡張する。
【0087】
ベイズ推定法を使用するために、各状態445を記述する遷移行列450および自己回帰パラメータ455を含む未知の数量を、潜在確率変数として一様な表現で扱うことができる。特に、弱い事前分布465をこれらの数量に配置することができ、観察された3Dイメージングデータを条件付けした後のそれらの事後分布465を調べた。自己回帰パラメータについては、Lasso様のペナルティを含んだ事前分布を使用して、情報価値がないラグインデックスを、それらに対応する回帰行列係数がゼロになるよう促すことができる。
【0088】
遷移行列450については、階層ディリクレ過程435の事前分布を使用して、離散的潜在状態445の数を正則化することができる。加えて、遷移行列450の事前分布も、自己遷移への離散状態の傾向を制御する単一の非負の数である粘着性（sticky）バイアスを含んだものであった。このパラメータは推測されたスイッチングダイナミクスの時間スケールを制御するため、このパラメータは、モデル推論アルゴリズムの出力が、本明細書で開示する変化点分析（またはモジュール長を識別する他の方法）によって決定されたモデルフリー持続時間分布および前処理されたモデル化されていない3Dポーズデータから生成されたオートコレログラムと（可能な限り密接に）一致するように設定することができる。いくつかの態様では、このパラメータを調整して、例えば、行動の時間スケールに対する事前分布を定義することができる。
【0089】
いくつかの態様では、モデル構造の特定の部分を除去することによってAR-HMMモデルよりも簡単なモデルを使用することができる。例えば、遷移行列内に取り込まれた離散スイッチングダイナミクスを除去し、それらを混合モデルで置き換えることにより、各離散状態上の分布がその以前の状態に依存しない代替モデルが生成されてもよい。これが該当するのは、動物が、選択すべき行動モジュールのセットを有し、それらのうちの任意の所与の1つを発現する尤度が、それらが現れる順序に依存しなかった場合である。この単純化により、自己回帰混合モデル（AR-MM）を得た。
【0090】
あるいは、条件付き自己回帰ダイナミクスを単純な状態特有のガウス出力（Gaussian emission）で置き換えると、ガウス出力HMM（G-HMM）が得られる。このモデルは、各行動モジュールが、動的な軌跡ではなく、単純なポーズによって最も良く記述されるという仮説を探索するものである。両方の単純化を適用することによって混合ガウスモデル（G-MM）が得られ、G-MMにおいて行動は単に、任意の所与のポーズを発現する確率が前のポーズに依存しない経時的なポーズの系列である。スイッチングダイナミクスを除去することにより、純粋な自己回帰（AR）モデルまたは線形動的システム（LDS）モデルが得られ、このモデルでは、行動は、いかなる再利用行動モジュールもないポーズ空間を通る軌跡として記述される。
【0091】
行動モジュールの分析
いくつかの態様では、システムは、行動モジュール間の関係の指示を提供するか、最も頻繁に使用される行動モジュールを記述するか、または行動モジュールの他の有用な分析を行う能力を提供してもよい。
いくつかの態様では、システムは、行動モジュール間の関係の指示を提供するか、最も頻繁に使用される行動モジュールを記述するか、または行動モジュールの他の有用な分析を行う能力を提供してもよい。
【0092】
例えば、行動シラブル間の文法的関係を表すために、2つのシラブルが順々に現れること（モジュールの「バイグラム」）が見出された確率（例えば、バイグラム）を、すべての観察されたバイグラムの割合として計算することができる。いくつかの態様では、モジュールの各対（i,j）についてこの値を計算するために、例えば、n×n正方行列Aを利用してもよく、nはラベル系列中の全モジュールの数である。次いで、システムおよび方法は、ギブスサンプリングの最後の反復で保存されたラベル系列をスキャンしてもよく、システムがシラブルjの直前でシラブルiを識別する都度、エントリA［i,j］を増分する。ラベル系列の終わりで、システムは観察された全バイグラム数で割ってもよい。
【0093】
操作の結果として特に上方制御されたまたは選択的に発現されたモジュールを視覚的に構築するために、システムは各モジュールに選択性インデックスを割り当ててもよい。例えば、p(条件)が条件におけるモジュールの使用率を示す場合、システムは、円形オープンフィールド内でのモジュール対四角い箱内でのモジュールの比較を、（p(円)-p(四角)/（p(円)＋p(四角)）でソートしてもよい。ブランク臭とキツネ臭（TMT）の比較では、システムは(p(TMT)-p(ブランク))/(p(TMT)＋p(ブランク))でモジュールをソートしてもよい。
【0094】
状態マップ視覚化
またシステムは、各ノードi∈V＝｛1,2,...,n｝がシラブルiに対応し、各有向エッジ
がバイグラムに対応するグラフG＝（V,E）上でn個のシラブルのシラブルバイグラム確率およびシラブル使用頻度を出力してもよい。グラフは、各ノードのサイズが対応するシラブルの使用頻度に比例し、各弧の幅および不透明度が、図の凡例に示されている最小および最大の範囲内の対応するバイグラムの確率に比例するように、円形ノードと有向弧のセットとして出力してもよい。再現可能な非（擬似）ランダムな方法で（図の全体的な回転まで）各グラフをレイアウトするために、システムは、スペクトルレイアウトアルゴリズムを使用してノードの位置を初期設定し、Fructherman-Reingold反復力指向レイアウトアルゴリズムを使用してノード位置を微調整してもよく、本発明者らは、NetworkXソフトウェアパッケージに実装されている両方のアルゴリズムを使用することができた。
またシステムは、各ノードi∈V＝｛1,2,...,n｝がシラブルiに対応し、各有向エッジ
【0095】
メイン推論アルゴリズムの概要
いくつかの態様では、推論アルゴリズムをモデル315に適用して、パラメータを推定してもよい。例えば、近似ベイズ推定は、ギブスサンプリング、マルコフ連鎖モンテカルロ（MCMC）推論アルゴリズムを使用して行うことができる。MCMCパラダイムでは、推論アルゴリズムは、関心対象の事後分布からの近似サンプルを構築し、これらのサンプルは、平均値を計算するために、または事後モードへのプロキシとして使用される。アルゴリズムによって生成されたサンプルの系列は、事後確率の低い領域または悪い局所最適解の領域をエスケープして、事後確率の高い領域にある。メインAR-HMMモデルでは、関心対象の潜在変数は、ベクトル自己回帰パラメータ、隠れた離散状態系列、および遷移行列（例えば、任意の所与の行動モジュール内のポーズダイナミクスを定義する自己回帰パラメータ、モジュールの順序、および任意の所与のモジュールと任意の他のモジュールとの間の遷移確率）を含む。MCMC推論アルゴリズムを3Dイメージングデータに適用することにより、AR-HMMのこれら潜在変数のサンプルのセットが生成される。
いくつかの態様では、推論アルゴリズムをモデル315に適用して、パラメータを推定してもよい。例えば、近似ベイズ推定は、ギブスサンプリング、マルコフ連鎖モンテカルロ（MCMC）推論アルゴリズムを使用して行うことができる。MCMCパラダイムでは、推論アルゴリズムは、関心対象の事後分布からの近似サンプルを構築し、これらのサンプルは、平均値を計算するために、または事後モードへのプロキシとして使用される。アルゴリズムによって生成されたサンプルの系列は、事後確率の低い領域または悪い局所最適解の領域をエスケープして、事後確率の高い領域にある。メインAR-HMMモデルでは、関心対象の潜在変数は、ベクトル自己回帰パラメータ、隠れた離散状態系列、および遷移行列（例えば、任意の所与の行動モジュール内のポーズダイナミクスを定義する自己回帰パラメータ、モジュールの順序、および任意の所与のモジュールと任意の他のモジュールとの間の遷移確率）を含む。MCMC推論アルゴリズムを3Dイメージングデータに適用することにより、AR-HMMのこれら潜在変数のサンプルのセットが生成される。
【0096】
ギブスサンプリングアルゴリズムは、期待値最大化（EM）アルゴリズムと変分平均場アルゴリズムの交互構造に直接類似した自然な交互構造を有する。AR-HMMに適用すると、事前分布からのランダムサンプルに初期設定された後、アルゴリズムは2つの主な更新を交互に行うことができる:第1に、アルゴリズムは、遷移行列および自己回帰パラメータを与えられると隠れた離散状態系列を再サンプリングすることができ、第2に、アルゴリズムは、隠れた状態が与えられるとパラメータを再サンプリングすることができる。
【0097】
言い換えると、アルゴリズム315は、まず、固定された遷移統計値セットおよび任意の所与のモジュールを記述するARパラメータの固定された記述が与えられるとイメージングデータをモジュール300にセグメント化しようと試み、次いでアルゴリズムは、切り替わってセグメント化を固定し、遷移行列450およびARパラメータ455を更新する。このプロセスの第1の工程で3Dポーズビデオフレームの各々を行動モード300のうちの1つに割り当てるために、特定の時間インデックスの状態ラベル445を、可能な離散状態のセットからランダムにサンプリングすることができ、所与の状態をサンプリングする確率は、状態の対応する自己回帰パラメータがその時間インデックスにおけるデータをどの程度十分に記述したか、および結果として得られる状態遷移が遷移行列450とどの程度十分に一致しているかの尺度に比例しうる。第2の工程では、データサブシーケンスの状態への割り当てが与えられると、自己回帰パラメータおよび遷移パラメータを、割り当てられたデータに適合するように再サンプリングして、各行動モードの動的モデルおよびモード間の遷移のモデルを更新することができる。ギブスサンプリングアルゴリズムによって実装される手順にはノイズがある可能性があり、アルゴリズムがパラメータ空間を効果的に探索するのを妨げ得る極大値をエスケープすることができる。
【実施例】
【0098】
以下で、開示の実施例を行うための本明細書に記載するモデルの具体的実施態様の例を開示する。行動モデルを識別するためにこれらのモデルの変形を実装してもよい。
【0099】
遷移行列の事前分布
粘着性HDP事前分布を、濃度パラメータα、γ＞0および粘着性パラメータκ＞0を有する遷移行列π上に配置した。
式中、δijは、i＝jの場合は1であり、それ以外の場合は0であり、πiは、πの第i行を表す。ガンマ事前分布は、αとγとに配置され、α～Gamma（1,1/100）とγ～Gamma（1,1/100）とを設定する。
粘着性HDP事前分布を、濃度パラメータα、γ＞0および粘着性パラメータκ＞0を有する遷移行列π上に配置した。
【0100】
離散状態系列の生成
遷移行列が与えられると、離散状態系列x上の事前分布は、
であった。
式中、x1は、πの下で定常分布によって生成される。
遷移行列が与えられると、離散状態系列x上の事前分布は、
式中、x1は、πの下で定常分布によって生成される。
【0101】
自己回帰パラメータ上の事前分布
各状態i＝1,2,...の自己回帰パラメータ
を、行列正規逆Wishart（Matrix Normal Inverse-Wishart）事前分布からサンプリングした。
または同等に、
式中、
は、クロネッカー積を表し、（A,b）はAにbを列として付加することによって形成された行列を表す。加えて、K0上のブロックARD事前分布を使用して、情報価値がないラグをゼロに縮小するよう促す。
各状態i＝1,2,...の自己回帰パラメータ
【0102】
3Dポーズ系列主成分の生成
自己回帰パラメータと離散状態系列が与えられると、データ系列yは、アフィン自己回帰に従って生成された。
式中、
はK個のラグのベクトルを表す。
自己回帰パラメータと離散状態系列が与えられると、データ系列yは、アフィン自己回帰に従って生成された。
【0103】
代替のモデルは、AR-HMMの特殊例であり、制約を加えることによって構築した。特に、ガウス出力HMM（G-HMM）は、各状態インデックスiについてA(i)＝0に制約することに対応する。同様に、自己回帰混合（AR-MM）およびガウス混合（GMM）は、AR-HMMおよびG-HMMでそれぞれ、遷移行列を行全体にわたって一定になるように、すなわち、各iおよびi'についてπij＝πi'j＝πjになるように制約することに対応する。
【0104】
実施例に対する推論アルゴリズムの具体的な実施態様
上述したように、ギブスサンプリング推論アルゴリズムは、固定された遷移行列および自己回帰パラメータが与えられるとデータのモジュールへのセグメント化を更新する段階と、固定されたセグメント化が与えられると遷移行列および自己回帰パラメータを更新する段階の2つの主要な段階を交互に行った。数学的には、セグメント化を更新することにより、データy、自己回帰パラメータθ、および遷移行列πの各値を条件とするラベル系列xがサンプリングされた。すなわち、条件付き確率変数x｜θ,π,yをサンプリングした。同様に、セグメント化が与えられた場合に遷移行列および自己回帰パラメータを更新することにより、それぞれ、π｜xおよびθ｜x,yがサンプリングされた。
上述したように、ギブスサンプリング推論アルゴリズムは、固定された遷移行列および自己回帰パラメータが与えられるとデータのモジュールへのセグメント化を更新する段階と、固定されたセグメント化が与えられると遷移行列および自己回帰パラメータを更新する段階の2つの主要な段階を交互に行った。数学的には、セグメント化を更新することにより、データy、自己回帰パラメータθ、および遷移行列πの各値を条件とするラベル系列xがサンプリングされた。すなわち、条件付き確率変数x｜θ,π,yをサンプリングした。同様に、セグメント化が与えられた場合に遷移行列および自己回帰パラメータを更新することにより、それぞれ、π｜xおよびθ｜x,yがサンプリングされた。
【0105】
AR-HMMにおける推論のために、無限モデルを有限モデルで近似する、ディリクレ過程への弱極限近似を使用した。すなわち、ある有限近似パラメータLを選択して、βおよびπを、サイズLの有限ディリクレ分布を使用してモデル化した。
式中、πkは遷移行列の第i行を表す。遷移行列のこの有限表現により、状態系列xをブロックとして再サンプリングすることが可能になり、大きなLでは、無限ディリクレ過程の任意に良好な近似を提供する。
【0106】
弱極限近似を使用して、AR-HMMのギブスサンプラは、条件付き確率変数
の再サンプリングを反復した。
【0107】
簡潔にするために、この項全体にわたって、ハイパーパラメータの調整のための表記法および複数の観察系列に対する上付き文字表記を行わない。
【0108】
x｜π,θ,yのサンプリング
動的パラメータπおよびθとデータyを与えられて状態ラベルxをサンプリングすることは、3Dビデオシーケンスをセグメント化し、各セグメントをその統計値を記述する行動モードに割り当てることに対応する。
動的パラメータπおよびθとデータyを与えられて状態ラベルxをサンプリングすることは、3Dビデオシーケンスをセグメント化し、各セグメントをその統計値を記述する行動モードに割り当てることに対応する。
【0109】
観察パラメータθおよび遷移パラメータπが与えられると、隠れた状態系列xは、連鎖グラフに対してマルコフとなる。標準HMM逆方向メッセージ受け渡し再帰は
である。
t＝1,2,...,T-1およびk＝1,2,...,Kでは、式中、BT（k）＝1であり、yt＋1:T＝（yt＋1,yt＋2,...,yT）である。これらのメッセージを使用すると、第1の状態x1の条件付き分布は、すべての将来の状態x2:Tを無視すると、
であり、これは効率的にサンプリングすることができる。サンプリングされた値
が与えられると、第2の状態x2の条件付き分布は、
である。
t＝1,2,...,T-1およびk＝1,2,...,Kでは、式中、BT（k）＝1であり、yt＋1:T＝（yt＋1,yt＋2,...,yT）である。これらのメッセージを使用すると、第1の状態x1の条件付き分布は、すべての将来の状態x2:Tを無視すると、
【0110】
したがって、HMMメッセージを逆方向に受け渡した後、状態系列を順方向に再帰的にサンプリングすることができる。
【0111】
θ｜x,yのサンプリング
状態系列xおよびデータ系列yを与えられて自己回帰パラメータθをサンプリングすることは、各モードに割り当てられた3Dビデオデータセグメントを記述するように各モードの動的パラメータを更新することに対応する。
状態系列xおよびデータ系列yを与えられて自己回帰パラメータθをサンプリングすることは、各モードに割り当てられた3Dビデオデータセグメントを記述するように各モードの動的パラメータを更新することに対応する。
【0112】
状態系列xおよび観察値yの固定サンプルを条件として観察パラメータθを再サンプリングするために、自己回帰尤度とMNIW事前分布との間の共役性を利用することができる。すなわち、条件付きもMNIW分布に従う。
式中、（Sn,vn,Mn,Kn）は、状態kに割り当てられたyの要素ならびにラグのある先行する観察値の関数である事後ハイパーパラメータである。
式中、
【0113】
したがって、θ｜x,yを再サンプリングすることは次の3つの工程を含む:各状態に割り当てられたデータから統計値を収集する工程と、各状態の事後ハイパーパラメータを形成する工程と、各状態の観察パラメータを、適切なMNIWからの引出しをシミュレートすることによって更新する工程。（Α,Σ）～MNIW（Sn,vn,Mn,Kn）をシミュレートすることは、
のように進む。
【0114】
β,π｜xのサンプリング
状態系列xを与えられて遷移パラメータπおよびβをサンプリングすることは、状態系列内で観察された遷移パターンを反映するように行動モジュール間の遷移の確率を更新することに対応する。βを更新することにより、冗長な行動モードがモデルから取り除かれるよう促され、各πijを更新することにより、状態iから状態jへの観察された遷移が適合される。
状態系列xを与えられて遷移パラメータπおよびβをサンプリングすることは、状態系列内で観察された遷移パターンを反映するように行動モジュール間の遷移の確率を更新することに対応する。βを更新することにより、冗長な行動モードがモデルから取り除かれるよう促され、各πijを更新することにより、状態iから状態jへの観察された遷移が適合される。
【0115】
弱極限近似から（粘着性）HDPへの引出しである遷移パラメータβおよびπの再サンプリングを、補助変数サンプリング方式を使用して行った。すなわち、最初に補助変数m｜β,xをサンプリングすることによって、β,＼pi｜xを生成した。次いで、β,＼pi｜x,mを、最初に限界のβ｜mから、次いで条件付きのπ｜β,xからサンプリングすることによって生成した。
【0116】
サンプリングされた状態系列xにおける遷移カウントの行列は、
である。
【0117】
簡潔にするために条件表記を省略すると、補助変数m=｛mkj:k,j＝1,2,...,K｝は、
によってサンプリングされる。
式中、Bernoulli(p)は、確率pで値1を取り、そうでない場合に値0を取るベルヌーイ確率変数を表す。粘着性バイアスなしのHDP-HMMの更新は、これらの更新においてκ＝0に設定することに対応することに留意されたい。
式中、Bernoulli(p)は、確率pで値1を取り、そうでない場合に値0を取るベルヌーイ確率変数を表す。粘着性バイアスなしのHDP-HMMの更新は、これらの更新においてκ＝0に設定することに対応することに留意されたい。
【0118】
補助変数が与えられると、βに対する更新はディリクレ多項共役のものであり、その場合、
である。
式中、j＝1,2,...,Kについて、
である。π｜β,xの更新も同様であり、
である。
式中、j＝1,2,...,Kについて、
【0119】
実施例へのモデルの適用
検定力を高めるために、オープンフィールド実験、匂い実験、および遺伝子操作実験のデータセットを一緒にモデル化した。光遺伝学実験と関連付けられた神経移植は、動物のプロファイルをわずかに変化させたので、これらのデータは別々にモデル化した。すべての実験において、各画像化マウスのフレームごとの最初の10の主成分を集めた。次いで、データを細分化し、3:1の訓練:試験の比率で「訓練」または「試験」のいずれかのラベルを割り当てた。「試験」とラベル付けされたマウスを訓練プロセスからホールドアウトし、それらを使用して測定ホールドアウト尤度によって汎化性能を試験した。この手法により、その構成が行動の異なる基礎構造を反映するアルゴリズムを直接比較することができた。
検定力を高めるために、オープンフィールド実験、匂い実験、および遺伝子操作実験のデータセットを一緒にモデル化した。光遺伝学実験と関連付けられた神経移植は、動物のプロファイルをわずかに変化させたので、これらのデータは別々にモデル化した。すべての実験において、各画像化マウスのフレームごとの最初の10の主成分を集めた。次いで、データを細分化し、3:1の訓練:試験の比率で「訓練」または「試験」のいずれかのラベルを割り当てた。「試験」とラベル付けされたマウスを訓練プロセスからホールドアウトし、それらを使用して測定ホールドアウト尤度によって汎化性能を試験した。この手法により、その構成が行動の異なる基礎構造を反映するアルゴリズムを直接比較することができた。
【0120】
本発明者らは、本明細書に記載する手順を使用してデータでモデルを訓練した。モデル化は、初期設定とパラメータおよびハイパーパラメータの設定（カッパを除く、以下を参照）の両方に対してロバストであった。具体的には、本発明者らのAR観察分布で使用したラグの数と、HDP事前分布を有する本発明者らの遷移行列における使用状態の数とは、どちらの事前分布でも特定のハイパーパラメータ設定に対してロバストであることが分かった。本発明者らは、本発明者らのスパーシファイARD事前分布のハイパーパラメータを数オーダー変化させ、ホールドアウト尤度、使用ラグの数、および使用状態の数はごくわずかに変化した。また本発明者らは、本発明者らのHDP事前分布のハイパーパラメータも数オーダー変化させ、やはり、使用状態の数やホールドアウト尤度には変化が観察されなかった。すべての共同訓練されたデータは観察分布を共有したが、各処置クラスはそれ自体の遷移行列を可能とした。各モデルを、1000回のギブスサンプリングの反復によって更新した。ギブスサンプリングの最後の反復でモデル出力を保存した。この最終更新ですべてのさらなる分析を行った。
【0121】
本発明者らの行動モジュールの持続時間分布の「粘着性」は、モデルのカッパ設定によって定義され、AR-HMMによって発見された行動モジュールの平均持続時間に影響を与えた。これにより、本発明者らは行動をモデル化するための時間スケールを制御することができた。主文で論じたように、自己相関、パワースペクトル密度、および変化点アルゴリズムは、（変化点の持続時間分布によってカプセル化され、スペクトログラムおよびオートコレログラムによって反映される）スイッチングダイナミクスを特定のサブ秒時間スケールで識別した。したがって本発明者らは、持続時間分布のカッパ粘着性パラメータを、変化点検出によって発見される持続時間分布に最適にマッチするように経験的に設定した。これらの分布が最適にマッチするカッパ設定を見つけるために、本発明者らは、高密度グリッドサーチによって、変化点間間隔分布と事後行動モジュール持続時間分布との間のコルモゴロフ-スミルノフ距離を最小化した。
【0122】
マウスの系統、飼育および馴化
特に明記しない限り、すべての実験は6～8週齢のC57/BL6雄（Jackson Laboratories）で行った。rorβおよびrbp4系統由来のマウスを、参照C57/BL6マウスと全く同様に馴化させ試験した。マウスを4週齢で本発明者らのコロニーに移し、そこで2週間にわたって12時間明/12時間暗の反転サイクルでグループ飼育した。試験当日、マウスを遮光容器に入れて実験室に運び入れ、そこで試験前に30分間暗闇に馴化させた。
特に明記しない限り、すべての実験は6～8週齢のC57/BL6雄（Jackson Laboratories）で行った。rorβおよびrbp4系統由来のマウスを、参照C57/BL6マウスと全く同様に馴化させ試験した。マウスを4週齢で本発明者らのコロニーに移し、そこで2週間にわたって12時間明/12時間暗の反転サイクルでグループ飼育した。試験当日、マウスを遮光容器に入れて実験室に運び入れ、そこで試験前に30分間暗闇に馴化させた。
【0123】
実施例1.行動アッセイ:生得的探索
これらの可能性に対処するために、本発明者らはまず、AR-HMMを使用して、オープンフィールドにおけるマウスの探索行動のベースラインアーキテクチャを定義し、次いで、この行動テンプレートが外界の異なる操作によってどのように変更されたかを問うた。
これらの可能性に対処するために、本発明者らはまず、AR-HMMを使用して、オープンフィールドにおけるマウスの探索行動のベースラインアーキテクチャを定義し、次いで、この行動テンプレートが外界の異なる操作によってどのように変更されたかを問うた。
【0124】
オープンフィールドアッセイ（OFA）では、マウスを上記のように馴化させ、次いで、高さ15インチの壁を有する直径18インチの円形の囲い（US Plastics）の中央に入れ、その直後に3Dビデオ記録を開始した。動物は30分間の実験期間にわたって囲いを自由に探索することができた。四角い箱内で行動を評価したマウスは、後述する匂い箱内のものを除いて、OFAと全く同様に扱い測定した。
【0125】
AR-HMMは、実験室での正常なマウスの探索行動を表す円形オープンフィールドのデータセット（図6A、n＝25匹の動物、20分の試験）から、確実に使用できる約60の行動モジュールを識別した（51のモジュールは画像化フレームの95％を説明し、65のモジュールは画像化フレームの99％を説明した、図5Aおよび図5B）。図5Aに、使用頻度でソートされたモジュールセット（X軸）に対してプロットした、各モジュールによって説明されたフレームの割合（Y軸）を示す。フレームの95％は51の行動モジュールによって説明され、フレームの99％はオープンフィールドのデータセットにおける62の行動モジュールによって説明された。
【0126】
図5Bに、指示されたベイズ確信区間を用いて使用頻度（Y軸）でソートされたモジュール（X軸）を示す。すべての確信区間は、ブートストラップ推定値に基づいて計算されたSEよりも小さいことに留意されたい（図5B）。上記のように、これらのモジュールの多くは、人間が記述できる行動の構成要素（例えば、立ち上がり、歩行、休止、旋回）を符号化している。
【0127】
AR-HMMは、任意の所与のモジュールが任意の他のモジュールに先行するまたは後に続く確率も測定する。言い換えると、モデルの訓練後、各モジュールに、セット内の他のすべてのモジュールとの対遷移確率を割り当てる。これらの確率は、行動中にマウスによって発現されたモジュールの順序を要約している。これらの遷移確率をマトリックスとしてプロットすると、それらは非常に不均一であり、各モジュールはあるモジュールには時間的に優先して接続し、他のモジュールにはそうではないことが明らかになった（図6B、閾値設定なしで平均ノード次数16.82±0.95、バイグラム確率を5％未満に閾値設定した後は、4.08±0.10）。モジュール対間のこの特定の接続性により、データセット内で観察されたモジュール系列が制限され（8900/～125,000の可能なトライグラム）、ある特定のモジュール系列を好むことを示した。この観察は、マウスが任意の所与の瞬間に何をしているか知ることにより、観察者にはマウスが次に何をする可能性が高いかが分かるため、マウスの行動が予測可能であることを示唆している。遷移行列の情報理論分析により、マウスの行動は大いに予測可能であり、1フレーム当たりの平均のエントロピーレートは一様な遷移行列と比べて低く（自己遷移なし3.78±0.03ビット、自己遷移あり0.72±0.01ビット、一様な行列のエントロピーレート6.022ビット）、相互接続されたモジュール間の平均相互情報量はゼロを大きく上回る（自己遷移なし1.92±0.02ビット、自己遷移あり4.84ビット±0.03ビット）ことが確認された。この行動に対する決定論的な質は、マウスがコヒーレントな動きパターンを発することを確実にするように働く可能性が高い。この可能性と合致するように、検査時に、頻繁に観察されるモジュール系列は、探索行動の異なる局面を符号化していることが判明した。
【0128】
円形オープンフィールドにおいてマウスによって発現された行動は、歩行運動探索のコンテキスト特有のパターンを反映している。本発明者らは、マウスが、環境の特定の物理的特徴と相互作用する新しいポーズダイナミクスを生成するように行動の構造を限局的に変更することによって、装置形状の変化に適応するであろうと仮定した。この仮説を検証するために、本発明者らは、より小さい四角い箱内でマウスを画像化し、次いで、円形オープンフィールドデータと四角形のデータの両方で本発明のモデルを同時に訓練し、それによって、両条件下でのモジュールおよび遷移の直接比較を可能にした（各条件ともn＝25匹のマウス）。マウスは四角い箱の隅および円形オープンフィールドの壁を探索する傾向があったが、ほとんどのモジュールの全体的な使用頻度は、探索行動がアリーナ間で多くの共通の特徴を共有することと合致して、これらの装置間で類似していた（図6C）。またAR-HMMは、異なる物理環境は新しい行動モジュールの発現を駆動するという考えと合致して、あるコンテキストでは広範に展開されるが、その他のコンテキストではごくわずかまたは全くない少数の行動モジュールも識別した（図6C、後述するすべての使用頻度の差異について、ブートストラップ推定に基づきp＜10-3）。
【0129】
興味深いことに、これらの「新しい」モジュールは、新しいポーズダイナミクスを引き出すと予測される、装置の特定の特徴との物理的相互作用中に展開されるだけでなく、無制約の探索期間中も展開される。例えば、1つの円形アリーナ特有のモジュールは、壁の曲率に一致する身体姿勢でマウスがアリーナ壁の近くを動き回る接触走性行動を符号化した。このモジュールは、マウスが円形アリーナの中心に近く、壁と物理的に接触していないときにも発現され、このモジュールの発現は単なる壁との物理的相互作用の直接的な結果ではなく、むしろ湾曲したアリーナにおけるマウスの行動状態を反映していることを示した。接触走性は四角い箱でも発生したが、関連付けられた行動モジュールは、まっすぐな身体での歩行運動を符号化しており、四角い装置と円形装置の両方でまっすぐな軌跡の間に使用された（図6D～6E、中央パネル）。同様に、四角い箱内で、マウスは、四角の中心から隣接する隅のうちの1つへの突進を符号化するコンテキスト特有のモジュールを発現した。この動きパターンはおそらくは、四角が小さい中央オープンフィールドを有していることの結果であり、マウスに課された物理的制約の特有の産物ではなかった。
【0130】
いくつかのさらなるモジュールは、あるコンテキストまたは他のコンテキストで優先的に発現されることが判明した。これらの上方制御されたモジュールは、アリーナの形状によって特定された他者中心的パターンで展開された行動を符号化しているように見えた。円形アリーナでは、例えば、マウスは、オープンフィールドの中心付近で休止しながらマウスの身体が外側を向く立ち上がりを優先的に発現し、より小さな四角い箱では、マウスは、箱の隅で高い立ち上がりを優先的に実行した（図6E、データは示さず）。これらの結果は、マウスが何をするか（すなわち、その自己中心的行動）は、マウスが空間内のどこにいるか（すなわち、その他者中心的位置）に基づいて調節されることを示唆している。まとめると、これらのデータは、マウスが、少なくとも部分的に、（コンテキストに適したポーズダイナミクスを符号化している）コンテキスト特有の行動モジュールの限定されたセットを採用してベースライン動作パターンにすることによって、新しい物理環境に適応することを示している。これらの新しいモジュールは、その発現があるコンテキストまたはその他のコンテキストで豊富である他のモジュールと共に、環境の変化に対応するために空間において差次的に展開される。
【0131】
実施例2.行動アッセイ:刺激駆動型の生得的行動-匂い物質に対する反応
マウスは同じ基礎的な行動状態、すなわち歩行運動探索を、円形と四角形の両方で発現するため、この場合の行動モジュールへの観察される変化は限局的であり、程度が限定されると予測されうる。したがって、本発明者らは、マウスが、他は一定の物理環境内で、新しい動機付けされた動作の発現を含む行動状態の全体的変化を駆動する感覚手がかりに曝露されたときに、行動の基礎構造がどのように変化するかを問うた。
マウスは同じ基礎的な行動状態、すなわち歩行運動探索を、円形と四角形の両方で発現するため、この場合の行動モジュールへの観察される変化は限局的であり、程度が限定されると予測されうる。したがって、本発明者らは、マウスが、他は一定の物理環境内で、新しい動機付けされた動作の発現を含む行動状態の全体的変化を駆動する感覚手がかりに曝露されたときに、行動の基礎構造がどのように変化するかを問うた。
【0132】
揮発性匂い物質に対する生得的行動反応を評価するために、本発明者らは、四角い箱の特定の象限内に匂いを空間的に分離する匂い送達システムを開発した。3/4インチの穴が箱の底に十字形に形成されており、1/16インチの厚さのガラスカバー（Tru Vue）を有する、各12インチ×12インチの箱を、1/4インチの黒い艶消しアクリル（Altech Plastics）で構築した。これらの穴をPTFEチューブで象限内の匂いを分離する陰圧を提供する真空マニホールド（Sigma Aldrich）に接続した。匂いは、1/2インチのNPT～3/8インチの管継手（Cole-Parmer）を経由して箱に注入した。バキュテナー・シリンジ・バイアル（Covidien）の底に配置した匂い物質を吸わせた吸取紙（VWR）上にろ過した空気（1.0L/分）を吹き付けた。次いで、匂いをつけた空気流を、波形PTFEチューブ（Zeus）を通して匂い箱の隅角の4つの管継手のうちの1つに送った。
【0133】
本発明者らは、低出力手持ち式HeNeレーザを用いた箱のシート照明により気化した匂いまたは煙を視覚化することによって、匂い箱が特定の象限内に匂いを分離する能力を確認した。この手法により、真空流と匂い流の速度を調整して匂い分離を達成することができ、これを光イオン化装置（Aurora Scientific）を使用して確認した。実験間の交差汚染の可能性を排除するために、匂い箱を1％Alconox溶液に一晩浸し、次いで70％エタノール溶液で完全に洗浄した。マウスを実験開始前に実験室に30分間馴化させた。対照条件下では、空気を含むジプロピレングリコール（1.0L/分）を装置の四隅の各々に送ってから、1匹のマウスを箱の中央に置き、3Dビデオ記録を20分間にわたって取得する間自由に探索させた。4つの象限のうちの1つに送られた匂い付き空気を用いた実験を続いて繰り返すことにより、同じコホートの動物の匂い応答を試験した。すべての3Dビデオ記録を完全な暗闇で行う。TMTはPherotechから取得し、5％濃度で使用した。
【0134】
したがって、四角い箱を探索しているマウスを、嗅覚計を経由して箱の1象限に送られた嫌悪性のキツネ臭のトリメチルチアゾリン（TMT）に曝露した。この匂い物質により、匂い調査行動、ならびにコルチコステロイドおよび内因性オピオイドレベルの増加を伴う逃避行動およびすくみ行動を含む、複雑かつ重大な行動状態変化が開始する。これらの公知の作用と合致するように、マウスは匂いを含有する象限を嗅ぎ、次いで、捕食者手がかりを含む象限を避け、従来からすくみ行動として説明されてきた長期間の不動状態を示した（図7）。図7に、データセット内の他のすべてのモジュールと比較した、TMT曝露「すくみ」後に差次的に上方制御され相互接続されたモジュールの平均速度を表したヒストグラムを示す。
【0135】
驚くべきことに、この一組の新しい行動は、通常の探索中に発現された行動モジュールの同じセットによって符号化された。いくつかのモジュールはTMT曝露後に上方制御または下方制御されたが、対照と比べて新しいモジュールの導入も除去もなかった（対照条件ではn＝25匹の動物、TMTではn＝15匹、モデルを両方のデータセットで同時に訓練した）。その代わりに、TMTは、特定のモジュールの使用頻度およびそれらの間の遷移確率を変更し、TMT制御行動を符号化する新しい好みの行動系列をもたらした（後述するすべての使用頻度および遷移の差異について、ブートストラップ推定に基づきp＜10-3）。
【0136】
TMTへの曝露後に変更されたモジュール遷移をプロットすることにより、行動状態マップ内の2つの近傍が定義された。第1の近傍は、TMTによって中程度に下方制御された広範なモジュールおよび相互接続のセットを含むものであり、第2の近傍は、TMTによって上方制御された集中したモジュールおよび遷移のセットを含むものであった）。通常の行動中は、これらの新たに相互接続されたモジュールは一時的に分散されおり、休止または固まる（balling up）という異なる形態学的形態を符号化しているように個々に見える。対照的に、TMTの影響下では、これらのモジュールは連結されて、検査および定量化するとすくみ行動を符号化していることが判明した新しい系列になった（系列中平均速度は、0.14±0.54mm/秒、他のモジュールでは34.7±53mm/秒）。例えば、最も一般的に発現するすくみトライグラムは、（480分間の画像化において）対照条件下ではわずか17回であったのに対し、（300分間の画像化において）TMT曝露後に716回発現した。すくみを生じるようにこれらの休止モジュールに課されたTMT誘導性の近傍構造は、遷移確率の限局的変化によって行動を変更できることを示している。この遷移確率の局所的書き換えは、マウスの行動の全体的決定論の増加を伴い、TMT曝露の結果としてその全体的な動作パターンはより予測可能になり（1フレーム当たりのエントロピーレートは、自己遷移なしでは3.92±0.02ビットから3.66±0.08ビットに、自己遷移ありでは0.82±0.01ビットから0.64±0.02ビットに低下した）、これはマウスが決定論的回避戦略を実行することと合致する。
【0137】
匂い源への近接性もまた、特定の行動モジュールの発現パターンを決定した（図8D～図8E）。例えば、すくみ関連モジュールのセットは、匂い源から最も遠位にある象限において発現される傾向があり、（その全体的な使用頻度がTMTによって変更されなかった）調査立ち上がりモジュールの発現は、匂い象限内で特に豊富であった（図8D～図8E）。まとめると、これらの知見は、マウスの神経系が新しい適応行動を生成するための2つのさらなる機構を示唆している。第1に、通常は、歩行運動探索などの異なる行動状態と関連付けられる個々のモジュール間の遷移構造を、すくみなどの新しい行動を生成するように変更することができる。第2に、既存のモジュールおよび系列の展開の空間パターンを、匂いの調査や回避などの動機付けされた行動をサポートするように制御することができる。したがって、行動モジュールは単純に経時的に再利用されるのではなく、その発現が時間と空間の両方で動的に調整される、行動系列の柔軟に相互リンクされる構成要素として機能する。
【0138】
実施例3.遺伝子および神経回路がモジュールに及ぼす作用
上記のように、行動の細かい時間スケールの構造は、分単位の時間スケールにわたる動作に影響を及ぼす物理的または感覚的環境の変化に対して選択的に脆弱である。さらに、AR-HMMは、マウスによって発現された行動パターンを（本発明者らの画像化の限界内で）包括的にカプセル化するように見える。これらの所見は、AR-HMMは、サブ秒時間スケールのマウスの行動への系統的な窓を提供し、明確な行動表現型を定量化すると共に、ある範囲の空間時間的スケールにわたって行動に影響を及ぼす実験操作後に含まれる新しいまたは微妙な表現型を明らかにすることもできる可能性があることを示唆している。
上記のように、行動の細かい時間スケールの構造は、分単位の時間スケールにわたる動作に影響を及ぼす物理的または感覚的環境の変化に対して選択的に脆弱である。さらに、AR-HMMは、マウスによって発現された行動パターンを（本発明者らの画像化の限界内で）包括的にカプセル化するように見える。これらの所見は、AR-HMMは、サブ秒時間スケールのマウスの行動への系統的な窓を提供し、明確な行動表現型を定量化すると共に、ある範囲の空間時間的スケールにわたって行動に影響を及ぼす実験操作後に含まれる新しいまたは微妙な表現型を明らかにすることもできる可能性があることを示唆している。
【0139】
マウスの寿命の時間スケールに作用する個々の遺伝子の変化が、速い行動モジュールおよび遷移にどのように影響しうるかを探索するために、本発明者らは、脳および脊髄ニューロンで発現するレチノイド関連オーファン受容体1β（Ror1β）遺伝子についての突然変異マウスの表現型を特徴付けた。本発明者らがこのマウスを分析のために選択したのは、ホモ接合変異動物が、本発明者らがAR-HMMによって検出されると予期する異常歩行を示す37-40からである。画像化およびモデル化の後、同腹仔対照マウスは、完全近交系C57/B16マウスとほとんど区別がつかないことが判明し、他方、突然変異マウスは動揺歩行を符号化している固有の行動モジュールを発現した（図9A、図9C）。この行動の変化はその逆を伴い、すなわち、野生型およびC57マウスでの、異なる速度での正常な前方移動を符号化する5つの行動モジュールの発現が、Ror1β突然変異体において下方制御された（図9A、モジュール中平均速度＝114.6±76.3mm/秒）。加えて、短い休止および頭の揺れを符号化している4つのモジュールのセットの発現も上方制御された（図9A、モジュール中平均速度＝8.8±25.3mm/秒）。この休止表現型はこれまで文献に報告されていなかった。興味深いことに、ヘテロ接合マウスは、報告された表現型はなく37-40、目では正常に見え、野生型の回し車行動を示し40、やはり、完全浸透性の突然変異表現型を発現することが判明した。ヘテロ接合マウスは、完全Ror1β突然変異体において上方制御された同じ休止モジュールのセットを過剰発現し、より劇的な動揺歩行表現型を発現しなかった（図9A）。
【0140】
したがって、AR-HMMは、Ror1βマウスの病理学的行動を、単一の新形態の動揺歩行モジュールと、休止行動を符号化している生理学モジュールの小グループの増加した発現との組合せとして記述する。ヘテロ接合体マウスは、これらの行動異常の定義されたサブセットを発現し、その浸透度は、中間ではなく突然変異体で観察されるものと等しい。これらの結果は、AR-HMMの感受性が、同腹仔の動物の重篤かつ微妙な行動異常の分画を可能にし、新しい表現型の発見を可能にし、遺伝子型間の比較を容易にすることを示唆する。またこれらの実験は、ゲノム中の特定の遺伝子の消えることのない生涯にわたる変化の結果である、行動の遺伝子型依存性の変化が、ミリ秒の時間スケールで作用するモジュール発現および遷移統計値に影響を及ぼしうることも示している。
【0141】
実施例4.行動アッセイ:光遺伝学-神経活動がモジュールに及ぼす作用
最後に、本発明者らは、AR-HMMによって捕捉された行動構造が、行動の一過性のまたは不確実な変化への洞察を与えるかどうかを問おうとした。したがって、本発明者らは、運動回路における神経活動を短く誘発し、異なる強度の刺激が行動の瞬間ごとの構築にどのような影響を及ぼすかを問うた。本発明者らは、光開閉性イオンチャネルChannelrhodopsin-2を皮質線条体系ニューロンにおいて片側だけ発現させ41,42、運動皮質の光媒介活性化の前、その間およびその2秒後の行動反応を評価した（n＝4匹のマウス、モデルは以前の実験とは分離して訓練した）。
最後に、本発明者らは、AR-HMMによって捕捉された行動構造が、行動の一過性のまたは不確実な変化への洞察を与えるかどうかを問おうとした。したがって、本発明者らは、運動回路における神経活動を短く誘発し、異なる強度の刺激が行動の瞬間ごとの構築にどのような影響を及ぼすかを問うた。本発明者らは、光開閉性イオンチャネルChannelrhodopsin-2を皮質線条体系ニューロンにおいて片側だけ発現させ41,42、運動皮質の光媒介活性化の前、その間およびその2秒後の行動反応を評価した（n＝4匹のマウス、モデルは以前の実験とは分離して訓練した）。
【0142】
4匹の成体雄Rbp4-Cre（The Jackson Laboratory）マウスを1.5％イソフルランで麻酔し、定位固定フレーム（Leica）に入れた。顕微注射ピペット（O.D.10～15μm）を左運動皮質に挿入した（ブレグマからの座標:0.5AP,-1ML,0.60DV）。各マウスにAAV5.EFla.DIO.hChR2（H134R）-eYFP.WPRE.hGH （約1012感染単位/mL、Penn Vector Core）0.5μlを10分間かけて注入し、その後さらに10分間、注入部位からウイルス粒子を拡散させた。注入後、ジルコニアフェルール（O.D.200μm、開口数0.37）を有する裸光ファイバを注入部位の100μm上に挿入し、アクリルセメント（Lang）で頭蓋骨に固定した。ウイルス注射の28日後、マウスを円形アリーナに入れ、光学インプラントをパッチコードおよび回転ジョイント（Doric Lenses）を介してレーザポンプ（488nm、CrystaLaser）に結合した。レーザはPCから直接制御した。アリーナへの慣化の20分後、光刺激を開始した。レーザ出力、パルス幅、パルス間間隔および訓練間間隔は、カスタムメードのソフトウェア（NI Labview）によって制御した。各レーザパルス訓練は、15Hzで30パルス（パルス幅:50ms）からなっていた。連続訓練間の間隔は18秒に設定した。レーザ強度ごとに50の訓練を送達した。動物は、実験の過程にわたってより高いレーザ強度に漸進的に曝露させた。
【0143】
最低出力レベルでは、光誘発性の行動の変化は観察されなかったが、最高出力レベルでは、AR-HMMは、その発現が確実に光によって誘発された2つの行動モジュールを識別した（図10A）。これらのモジュールのいずれも正常なマウスの歩行運動中には発現されなかった。検査により、これらのモジュールは、マウスが空間で半円形またはドーナツ形をたどる、2つの形態の回転行動（その長さおよび回転角度が異なる）を符号化することが明らかになった（図10B）。強力な片側運動皮質刺激後に新形態行動が誘発されることは驚くべきことではないが、AR-HMMはこれらの行動を新しいものとして認識すると共に、それらを2つの固有の行動モジュールとしてカプセル化したことに注目することは重要である。しかし、本発明者らは、約40％の時間、行動の全体的パターンが光オフセット後数秒間ベースラインに戻らなかったことに気付いた。ベースラインからのこの逸脱は、光オンセット時に誘発されたモジュールの継続的な発現によるものではなかった。その代わりに、マウスはしばしば、光オフセット時に、あたかも不随意運動後の「リセット」のように、休止モジュールを発現した（モジュール中平均速度＝0.8±7mm/秒）。
【0144】
高強度の光遺伝学的刺激によって誘発された行動変化は、本質的にすべての試験で、動物は2つの回転モジュールのうちの1つを発したので、信頼できた。本発明者らは次いで、AR-HMMの感度が、特定の行動モジュールの信頼できない放出を引き出す運動皮質刺激の中間レジームで発生するような、行動のより微妙な変化の定量分析を可能にするかどうかを問うた。したがって、本発明者らは、2つの新形態行動モジュールのうちの一方がもはや検出されなくなり、他方が試験のわずか25％で発現されるまで光刺激のレベルの量を設定した。驚くべきことに、本発明者らは次いで、行動モジュールの第2セットの上方制御を検出することができ、その各々が時間の約25パーセントで発現された（図10A）。これらのモジュールは新形態ではなく、むしろ生理学的探索の間に通常発現され、旋回および頭部揺れ行動を符号化していた（データは示さず）。これらの個々の光調節モジュールの各々は不確かに放出されたが、集約すると、すべてのモジュールにわたる行動変化は、低レベルの神経活性化は行動に確実に影響を及ぼすが、大きくは、新形態の動作ではなく生理学的動作を誘発することによってであることを示唆した（図10A）。まとめると、行動モジュールの刺激ロックされた誘発と、モジュール使用頻度の刺激の残存する効果の両方の検出は、神経誘発性の行動の変化が、行動のサブ秒構造に影響を及ぼしうることを示している。さらに、その誘発が強刺激条件下では明らかにならなかった、生理学的に発現された光調節行動モジュールのセットの識別も、AR-HMMが神経回路と行動の時系列構造との微妙な関係を明らかにできることを示唆している。
【0145】
開示のコンピュータおよびハードウェア実装
本明細書の開示は、任意のタイプのハードウェアおよび/またはソフトウェアで実施してもよく、あらかじめプログラムされた汎用コンピューティングデバイスであってもよいことを最初に理解されたい。例えば、システムは、サーバ、パーソナルコンピュータ、ポータブルコンピュータ、シンクライアント、または任意の適切な1台もしくは複数の装置を使用して実装してもよい。本開示および/またはその構成要素は、電気ケーブル、光ファイバケーブルなどの任意の通信媒体上で、または無線方式で、任意の適切な通信プロトコルを使用して相互に接続された、単一の場所の単一の装置、または単一もしくは複数の場所の複数の装置としてもよい。
本明細書の開示は、任意のタイプのハードウェアおよび/またはソフトウェアで実施してもよく、あらかじめプログラムされた汎用コンピューティングデバイスであってもよいことを最初に理解されたい。例えば、システムは、サーバ、パーソナルコンピュータ、ポータブルコンピュータ、シンクライアント、または任意の適切な1台もしくは複数の装置を使用して実装してもよい。本開示および/またはその構成要素は、電気ケーブル、光ファイバケーブルなどの任意の通信媒体上で、または無線方式で、任意の適切な通信プロトコルを使用して相互に接続された、単一の場所の単一の装置、または単一もしくは複数の場所の複数の装置としてもよい。
【0146】
また、本開示は、本明細書では、特定の機能を果たす複数のモジュールを有するものとして図示され、説明されていることにも留意されたい。これらのモジュールは、明確にするためにその機能に基づいて単に模式的に図示されており、必ずしも特定のハードウェアまたはソフトウェアを表すものではないことを理解されたい。これに関して、これらのモジュールは、論じた特定の機能を実質的に果たすように実装されたハードウェアおよび/またはソフトウェアであってもよい。さらに、各モジュールは、本開示内で一緒に組み合わされてもよく、所望の特定の機能に基づいて追加のモジュールに分割されてもよい。よって、本開示は、本発明を限定するものと解釈すべきものではなく、単に本発明の1つの例示的実施態様を示すものと理解すべきものである。
【0147】
コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に相互にリモートであり、通常、通信ネットワークを介して対話する。クライアントとサーバの関係は、各々のコンピュータ上で動作する、互いにクライアント/サーバ関係を有するコンピュータプログラムによって生じる。いくつかの実施態様では、サーバは、（例えば、クライアントデバイスと対話するユーザにデータを表示し、ユーザからユーザ入力を受信する目的で）データ（例えば、HTMLページ）をクライアントデバイスに送信する。クライアントデバイスで生成されたデータ（例えば、ユーザ対話の結果）は、サーバにおいてクライアントデバイスから受信することができる。
【0148】
本明細書に記載する主題の実施態様は、データサーバなどのバックエンドコンポーネントを含むコンピュータシステム、またはアプリケーションサーバなどのミドルウェアコンポーネントを含むコンピュータシステム、またはユーザが本明細書に記載される主題の実施態様と対話するためのグラフィカル・ユーザ・インターフェースやウェブブラウザを有するクライアントコンピュータなどのフロントエンドコンポーネントを含むコンピューティングシステム、または1つもしくは複数のそのようなバックエンドコンポーネント、ミドルウェアコンポーネントもしくはフロントエンドコンポーネントの任意の組合せにおいて実装することができる。システムの構成要素は、任意の形のディジタルデータ通信またはディジタルデータ通信の媒体、例えば、通信ネットワークによって相互接続することができる。通信ネットワークの例には、ローカル・エリア・ネットワーク（「LAN」）および広域ネットワーク（「WAN」）、インターネットワーク（例えばインターネット）、およびピアツーピアネットワーク（例えば、アドホック・ピアツーピアネットワーク）が含まれる。
【0149】
本明細書に記載する主題および動作の実施態様は、ディジタル電子回路として、または本明細書で開示した構造およびそれらの構造的均等物を含むコンピュータソフトウェア、ファームウェア、もしくはハードウェアとして、またはそれらのうちの1つもしくは複数の組合せとして実装することができる。本明細書に記載する主題の実施態様は、データ処理装置が実行するための、またはデータ処理装置の動作を制御するようにコンピュータ記憶媒体上で符号化されたモジュール1つまたは複数のコンピュータプログラム、すなわち、コンピュータプログラム命令の1つまたは複数のモジュールとして実装することができる。代替として、または加えて、プログラム命令は、データ処理装置が実行するための適切な受信側装置に送信するための情報を符号化するように生成される、人為的に生成された伝播信号、例えば、機会で生成された電気信号、光信号、または電磁信号上で符号化することもできる。コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダムもしくはシリアル・アクセス・メモリ・アレイもしくはデバイス、またはそれらの1つもしくは複数の組合せとすることができ、またはそれらに含めることができる。さらに、コンピュータ記憶媒体は伝播信号ではないが、コンピュータ記憶媒体は、人為的に生成された伝播信号において符号化されたコンピュータプログラム命令の発信元または宛先とすることができる。またコンピュータ記憶媒体は、1つまたは複数の別個の物理的構成要素または媒体（例えば、複数のCD、ディスク、または他の記憶装置）とすることもでき、またはそれらに含めることができる。
【0150】
本明細書に記載する動作は、1台または複数のコンピュータ可読記憶装置に格納されたデータまたは他のソースから受信されたデータに対して「データ処理装置」によって実行される動作として実装することができる。
【0151】
「データ処理装置」という用語は、例えば、プログラマブルプロセッサ、コンピュータ、システム・オン・チップ、または複数のそれらのもの、またはそれらの組合せを含む、データを処理するためのあらゆる種類の装置、デバイスおよび機械を包含する。装置は、FPGA（フィールド・プログラマブル・ゲート・アレイ）やASIC（特定用途向け集積回路）などの専用論理回路を含むことができる。また装置は、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を生成するコード、例えば、プロセッサファームウェアを構成するコード、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらのうちの1つもしくは複数の組合せも含むことができる。装置および実行環境は、ウェブサービス、分散コンピューティング、グリッド・コンピューティング・インフラストラクチャなど、様々な異なるコンピューティング・モデル・インフラストラクチャを実現することができる。
【0152】
コンピュータプログラムは（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれ）、コンパイル言語やインタプリタ言語、宣言言語や手続き形言語:を含む任意の形式のプログラミング言語で書くことができ、スタンドアロンプログラムや、モジュール、コンポーネント、サブルーチン、オブジェクトまたはコンピューティング環境で用いるのに適したその他のユニットを含む、任意の形式で配置することができる。コンピュータプログラムは、ファイルシステム内のファイルに対応しうるが、そうである必要はない。プログラムは、他のプログラムもしくはデータ（例えば、マークアップ言語文書に格納された1つもしくは複数のスクリプト）を保持するファイルの一部に、問題のプログラムに専用の単一ファイルに、または複数の連携したファイル（例えば、1つもしくは複数のモジュール、サブプログラム、もしくはコードの一部を格納するファイル）に格納することができる。コンピュータプログラムは、1台のコンピュータ上で、または1箇所に位置し、もしくは複数のサイトに分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように配置することができる。
【0153】
本明細書に記載するプロセスおよび論理フローは、入力データに作用して出力を生成することによって動作を実行する1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラマブルプロセッサによって実行することができる。またプロセスおよび論理フローは、FPGA（フィールド・プログラマブル・ゲート・アレイ）やASIC（特定用途向け集積回路）などの専用論理回路によっても実行することができ、装置を専用論理回路として実装することもできる。
【0154】
コンピュータプログラムの実行に適するプロセッサには、例えば、汎用と専用両方のマイクロプロセッサや、任意の種類のディジタルコンピュータの任意の1つまたは複数のプロセッサなどが含まれる。一般に、プロセッサは、読取り専用メモリまたはランダム・アクセス・メモリまたはその両方から命令およびデータを受け取る。コンピュータの必須要素は、命令に従って動作を実行するためのプロセッサと、命令およびデータを格納するための1台または複数の記憶装置である。一般に、コンピュータは、データを格納するための1台または複数の大容量記憶装置、例えば、磁気、光磁気ディスクや光ディスクを含み、そこからデータを受け取り、かつ/またはそこにデータを転送するように動作可能に結合される。しかし、コンピュータはそのような装置を有する必要はない。さらに、コンピュータは、別の機器、例えば、いくつか例を挙げると、携帯電話、携帯情報端末（PDA）、モバイルオーディオやビデオプレーヤ、ゲームコンソール、全地球測位システム（GPS）受信機、または携帯用記憶デバイス（例えば、ユニバーサル・シリアル・バス（USB）・フラッシュ・ドライブ）に組み込むこともできる。コンピュータプログラム命令およびデータを格納するのに適したデバイスには、あらゆる形の不揮発性メモリ、媒体およびメモリデバイスが含まれ、これには、例えば、EPROM、EEPROM、およびフラッシュ・メモリ・デバイスなどの半導体メモリデバイス、内蔵ハードディスクやリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ならびにCD-ROMおよびDVD-ROMディスクが含まれる。プロセッサおよびメモリは、専用論理回路によって補うこともでき、かつ/または専用論理回路に組み込むこともできる。
【0155】
参考文献
【0156】
選択された態様
以上の説明および添付の特許請求の範囲は、本発明のいくつかの態様を開示しているが、本発明の他の代替態様を以下のさらなる態様において開示する。
態様1. 対象の動きを表す3次元ビデオデータフレームを、モジュールを表す少なくとも1つのフレームセットと、モジュール間の遷移を表す少なくとも1つのフレームセットとに区分するために、計算モデルを使用して前記3次元ビデオデータフレームを処理する工程、および
動物行動のタイプを表すデータ識別子に参照付けられた前記モジュールを表す少なくとも1つのフレームセットをメモリに格納する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
態様2. 前記処理する工程は、前記ビデオデータにおいて前記対象を背景から分離する工程を含む、態様1の方法。
態様3. 前記処理する工程は、前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程をさらに含む、態様2の方法。
態様4. 前記処理する工程は、位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程をさらに含む、態様3の方法。
態様5. 前記処理する工程は、主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析（PCA）を使用して前記位置合わせされたフレームを処理する工程をさらに含む、態様4の方法。
態様6. 前記処理する工程は、前記ポーズダイナミクスデータを別々のモジュールセットに時間的にセグメント化するために、計算モデルを用いて前記位置合わせされたフレームを処理する工程をさらに含み、モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、態様5の方法。
態様7. 前記3次元ビデオデータにおいて閾値を上回る頻度で発生する前記モジュールセットの各々の表現を表示する工程をさらに含む、態様6の方法。
態様8. 前記計算モデルは、前記サブ秒モジュールを、PCA空間を通る定型化した軌跡を表すベクトル自己回帰過程としてモデル化することを含む、態様1の方法。
態様9. 前記計算モデルは、隠れマルコフモデルを使用してサブ秒モジュール間の遷移期間をモデル化することを含む、態様1の方法。
態様10. 前記3次元ビデオデータは、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点は前記対象の3次元ポーズダイナミクスを表す、態様1の方法。
態様11. 前記対象は動物試験における動物である、請求項1～10のいずれか一項記載の方法。
態様12. 前記対象はヒトである、請求項1～10のいずれか一項記載の方法。
態様13. 対象を背景から分離するために前記対象の前記動きを表す3次元ビデオデータを前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程、
主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析を使用して前記位置合わせされたフレームを処理する工程、
前記ポーズダイナミクスデータを別々のサブ秒モジュールのセットに時間的にセグメント化するために、前記位置合わせされたフレームを処理する工程であって、モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、工程、および
前記3次元ビデオデータにおいて閾値を上回る頻度で発生する前記モジュールセットの各々の表現を表示する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
態様14. 前記位置合わせされたフレームを処理する工程は、モデルフリーアルゴリズムを用いて行われる、態様13の方法。
態様15. 前記モデルフリーアルゴリズムは、オートコレログラムを計算することを含む、態様14の方法。
態様16. 前記位置合わせされたフレームを処理する工程は、モデルベースアルゴリズムを用いて行われる、請求項13記載の方法。
態様17. 前記モデルベースアルゴリズムはAR-HMMアルゴリズムである、態様16の方法。
態様18. 前記対象は動物試験における動物である、請求項13～17のいずれか一項記載の方法。
態様19. 前記対象はヒトである、請求項13～17のいずれか一項記載の方法。
態様20. 前記試験化合物が試験対象に投与された後の前記試験対象においてモジュールセットを含む試験行動表現を識別する工程、
前記試験行動表現を複数の基準行動表現と比較する工程であって、各基準行動表現が各薬物クラスを表す、工程、および
前記試験行動表現が分類器によってある薬物クラスを表す基準行動表現と一致すると識別された場合に、前記試験化合物は前記薬物クラスに属すると決定する工程
を含む、試験化合物を分類する方法。
態様21. 前記試験行動表現は、
前記試験対象の動きを表す3次元ビデオデータを受け取る工程、
前記3次元データを少なくとも1つのモジュールセットと少なくとも1つのモジュール間遷移期間のセットとに区分するために、計算モデルを使用して前記3次元データを処理する工程、および
前記少なくとも1つのモジュールセットを動物行動のタイプを表すカテゴリに割り当てる工程
によって識別される、態様20の方法。
態様22. 前記計算モデルは、前記サブ秒モジュールを、主成分分析（PCA）空間を通る定型化した軌跡を表すベクトル自己回帰過程としてモデル化することを含む、態様21の方法。
態様23. 前記計算モデルは、隠れマルコフモデルを使用して前記遷移期間をモデル化することを含む、態様21の方法。
態様24. 前記3次元ビデオデータは、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点は前記試験対象の3Dポーズダイナミクスを表す、請求項20～23のいずれか一項記載の方法。
態様25. 前記試験化合物は、小分子、抗体またはその抗原結合フラグメント、核酸、ポリペプチド、ペプチド、ペプチド模倣体、多糖、単糖、脂質、グリコサミノグリカン、およびそれらの組合せからなる群より選択される、請求項20～24のいずれか一項記載の方法。
態様26. 前記試験対象は動物試験における動物である、請求項20～25のいずれか一項記載の方法。
態様27. 対象への作用因子の投与前および投与後の前記対象の動きを表す3次元ビデオデータを受け取る工程、
前記対象を背景から分離するために前記3次元ビデオデータを前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程、
主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析を使用して前記位置合わせされたフレームを処理する工程、
前記ポーズダイナミクスデータを別々のサブ秒モジュールのセットに時間的にセグメント化するために、計算モデルを用いて前記位置合わせされたフレームを処理する工程であって、サブ秒モジュールのセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、工程、
前記対象への前記作用因子の投与前の各サブ秒モジュールセット内のモジュール数を決定する工程、
前記対象への前記作用因子の投与後の各サブ秒モジュールセット内のモジュール数を決定する工程、
前記対象への前記作用因子の投与前と投与後の各サブ秒モジュールセット内のモジュール数を比較する工程、および
前記対象への前記作用因子の投与前と投与後の各モジュールセット内のモジュール数の発現頻度の変化の指示を出力する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
態様28. 各サブ秒モジュールセットは、行動モジュールを表す基準データとの比較に基づいて所定の行動モジュールに分類される、態様27の方法。
態様29. 前記対象への前記作用因子の投与前と投与後の各モジュールセット内のモジュール数の発現頻度の前記変化は、公知のカテゴリの作用因子への曝露後のモジュールの発現頻度の変化を表す基準データと比較される、態様27または28の方法。
態様30. 公知のカテゴリの作用因子への曝露後の頻度の変化を表す基準データとの前記比較に基づいて、前記作用因子を複数の公知の作用因子カテゴリのうちの1つとして分類するさらなる工程を含む、態様29の方法。
態様31. 前記作用因子は、薬学的に活性な化合物である、請求項27～30のいずれか一項記載の方法。
態様32. 前記作用因子は、視覚刺激または聴覚刺激である、請求項27～30のいずれか一項記載の方法。
態様33. 前記作用因子は匂い物質である、請求項27～30のいずれか一項記載の方法。
態様34. 前記対象は動物試験における動物である、請求項27～33のいずれか一項記載の方法。
態様35. 前記対象はヒトである、請求項27～33のいずれか一項記載の方法。
態様36. 3次元ビデオカメラで対象の動きを記録し、前記3次元ビデオカメラから出力された3次元ビデオデータを解析して、異なる行動を表すフレームセットにするためのシステムであって、
対象の動きを表すビデオデータを出力するように構成された3次元ビデオカメラと、
格納された機械実行可能コードを含む機械可読媒体を含む、前記3次元ビデオカメラと通信するメモリと、
前記メモリに結合された1つまたは複数のプロセッサを含む制御システムであって、前記制御システムに、
前記対象を背景から分離するために、前記制御システムを使用して前記ビデオデータを前処理させ、
前記制御システムを使用して、前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別させ、
位置合わせされたフレームのセットを出力するために、前記制御システムを使用して、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正させ、
前記制御システムを使用して、前記位置合わせされたフレームのセットの各フレームについてのポーズダイナミクスデータを出力するために、主成分分析を使用して前記位置合わせされたフレームのセットを処理させ、前記ポーズダイナミクスデータは主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表し、
前記位置合わせされたフレームのセットを別々のサブ秒モジュールのセットに時間的にセグメント化するために、前記制御システムを使用して、前記位置合わせされたフレームのセットを処理させ、各サブ秒モジュールセットは類似したポーズダイナミクスを有するサブ秒モジュールだけを含み、
サブ秒モジュールに参照付けられた前記位置合わせされたフレームのセット内の各フレームをデータベースに格納させる
ための前記機械実行可能コードを実行するように構成された、制御システムと
を含む、システム。
態様37. 前記制御システムは、前記別々のサブ秒モジュールのセット内で閾値を上回って発生する前記サブ秒モジュールのセットのサブセットの表現をディスプレイに送るようにさらに構成されている、態様36のシステム。
態様38. 前記制御システムは、閾値を上回って発生する前記サブ秒モジュールのセットの前記サブセットの各々の行動タグに関するユーザ入力を受け取る、態様36のシステム。
以上の説明および添付の特許請求の範囲は、本発明のいくつかの態様を開示しているが、本発明の他の代替態様を以下のさらなる態様において開示する。
態様1. 対象の動きを表す3次元ビデオデータフレームを、モジュールを表す少なくとも1つのフレームセットと、モジュール間の遷移を表す少なくとも1つのフレームセットとに区分するために、計算モデルを使用して前記3次元ビデオデータフレームを処理する工程、および
動物行動のタイプを表すデータ識別子に参照付けられた前記モジュールを表す少なくとも1つのフレームセットをメモリに格納する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
態様2. 前記処理する工程は、前記ビデオデータにおいて前記対象を背景から分離する工程を含む、態様1の方法。
態様3. 前記処理する工程は、前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程をさらに含む、態様2の方法。
態様4. 前記処理する工程は、位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程をさらに含む、態様3の方法。
態様5. 前記処理する工程は、主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析（PCA）を使用して前記位置合わせされたフレームを処理する工程をさらに含む、態様4の方法。
態様6. 前記処理する工程は、前記ポーズダイナミクスデータを別々のモジュールセットに時間的にセグメント化するために、計算モデルを用いて前記位置合わせされたフレームを処理する工程をさらに含み、モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、態様5の方法。
態様7. 前記3次元ビデオデータにおいて閾値を上回る頻度で発生する前記モジュールセットの各々の表現を表示する工程をさらに含む、態様6の方法。
態様8. 前記計算モデルは、前記サブ秒モジュールを、PCA空間を通る定型化した軌跡を表すベクトル自己回帰過程としてモデル化することを含む、態様1の方法。
態様9. 前記計算モデルは、隠れマルコフモデルを使用してサブ秒モジュール間の遷移期間をモデル化することを含む、態様1の方法。
態様10. 前記3次元ビデオデータは、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点は前記対象の3次元ポーズダイナミクスを表す、態様1の方法。
態様11. 前記対象は動物試験における動物である、請求項1～10のいずれか一項記載の方法。
態様12. 前記対象はヒトである、請求項1～10のいずれか一項記載の方法。
態様13. 対象を背景から分離するために前記対象の前記動きを表す3次元ビデオデータを前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程、
主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析を使用して前記位置合わせされたフレームを処理する工程、
前記ポーズダイナミクスデータを別々のサブ秒モジュールのセットに時間的にセグメント化するために、前記位置合わせされたフレームを処理する工程であって、モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、工程、および
前記3次元ビデオデータにおいて閾値を上回る頻度で発生する前記モジュールセットの各々の表現を表示する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
態様14. 前記位置合わせされたフレームを処理する工程は、モデルフリーアルゴリズムを用いて行われる、態様13の方法。
態様15. 前記モデルフリーアルゴリズムは、オートコレログラムを計算することを含む、態様14の方法。
態様16. 前記位置合わせされたフレームを処理する工程は、モデルベースアルゴリズムを用いて行われる、請求項13記載の方法。
態様17. 前記モデルベースアルゴリズムはAR-HMMアルゴリズムである、態様16の方法。
態様18. 前記対象は動物試験における動物である、請求項13～17のいずれか一項記載の方法。
態様19. 前記対象はヒトである、請求項13～17のいずれか一項記載の方法。
態様20. 前記試験化合物が試験対象に投与された後の前記試験対象においてモジュールセットを含む試験行動表現を識別する工程、
前記試験行動表現を複数の基準行動表現と比較する工程であって、各基準行動表現が各薬物クラスを表す、工程、および
前記試験行動表現が分類器によってある薬物クラスを表す基準行動表現と一致すると識別された場合に、前記試験化合物は前記薬物クラスに属すると決定する工程
を含む、試験化合物を分類する方法。
態様21. 前記試験行動表現は、
前記試験対象の動きを表す3次元ビデオデータを受け取る工程、
前記3次元データを少なくとも1つのモジュールセットと少なくとも1つのモジュール間遷移期間のセットとに区分するために、計算モデルを使用して前記3次元データを処理する工程、および
前記少なくとも1つのモジュールセットを動物行動のタイプを表すカテゴリに割り当てる工程
によって識別される、態様20の方法。
態様22. 前記計算モデルは、前記サブ秒モジュールを、主成分分析（PCA）空間を通る定型化した軌跡を表すベクトル自己回帰過程としてモデル化することを含む、態様21の方法。
態様23. 前記計算モデルは、隠れマルコフモデルを使用して前記遷移期間をモデル化することを含む、態様21の方法。
態様24. 前記3次元ビデオデータは、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点は前記試験対象の3Dポーズダイナミクスを表す、請求項20～23のいずれか一項記載の方法。
態様25. 前記試験化合物は、小分子、抗体またはその抗原結合フラグメント、核酸、ポリペプチド、ペプチド、ペプチド模倣体、多糖、単糖、脂質、グリコサミノグリカン、およびそれらの組合せからなる群より選択される、請求項20～24のいずれか一項記載の方法。
態様26. 前記試験対象は動物試験における動物である、請求項20～25のいずれか一項記載の方法。
態様27. 対象への作用因子の投与前および投与後の前記対象の動きを表す3次元ビデオデータを受け取る工程、
前記対象を背景から分離するために前記3次元ビデオデータを前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程、
主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析を使用して前記位置合わせされたフレームを処理する工程、
前記ポーズダイナミクスデータを別々のサブ秒モジュールのセットに時間的にセグメント化するために、計算モデルを用いて前記位置合わせされたフレームを処理する工程であって、サブ秒モジュールのセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、工程、
前記対象への前記作用因子の投与前の各サブ秒モジュールセット内のモジュール数を決定する工程、
前記対象への前記作用因子の投与後の各サブ秒モジュールセット内のモジュール数を決定する工程、
前記対象への前記作用因子の投与前と投与後の各サブ秒モジュールセット内のモジュール数を比較する工程、および
前記対象への前記作用因子の投与前と投与後の各モジュールセット内のモジュール数の発現頻度の変化の指示を出力する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
態様28. 各サブ秒モジュールセットは、行動モジュールを表す基準データとの比較に基づいて所定の行動モジュールに分類される、態様27の方法。
態様29. 前記対象への前記作用因子の投与前と投与後の各モジュールセット内のモジュール数の発現頻度の前記変化は、公知のカテゴリの作用因子への曝露後のモジュールの発現頻度の変化を表す基準データと比較される、態様27または28の方法。
態様30. 公知のカテゴリの作用因子への曝露後の頻度の変化を表す基準データとの前記比較に基づいて、前記作用因子を複数の公知の作用因子カテゴリのうちの1つとして分類するさらなる工程を含む、態様29の方法。
態様31. 前記作用因子は、薬学的に活性な化合物である、請求項27～30のいずれか一項記載の方法。
態様32. 前記作用因子は、視覚刺激または聴覚刺激である、請求項27～30のいずれか一項記載の方法。
態様33. 前記作用因子は匂い物質である、請求項27～30のいずれか一項記載の方法。
態様34. 前記対象は動物試験における動物である、請求項27～33のいずれか一項記載の方法。
態様35. 前記対象はヒトである、請求項27～33のいずれか一項記載の方法。
態様36. 3次元ビデオカメラで対象の動きを記録し、前記3次元ビデオカメラから出力された3次元ビデオデータを解析して、異なる行動を表すフレームセットにするためのシステムであって、
対象の動きを表すビデオデータを出力するように構成された3次元ビデオカメラと、
格納された機械実行可能コードを含む機械可読媒体を含む、前記3次元ビデオカメラと通信するメモリと、
前記メモリに結合された1つまたは複数のプロセッサを含む制御システムであって、前記制御システムに、
前記対象を背景から分離するために、前記制御システムを使用して前記ビデオデータを前処理させ、
前記制御システムを使用して、前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別させ、
位置合わせされたフレームのセットを出力するために、前記制御システムを使用して、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正させ、
前記制御システムを使用して、前記位置合わせされたフレームのセットの各フレームについてのポーズダイナミクスデータを出力するために、主成分分析を使用して前記位置合わせされたフレームのセットを処理させ、前記ポーズダイナミクスデータは主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表し、
前記位置合わせされたフレームのセットを別々のサブ秒モジュールのセットに時間的にセグメント化するために、前記制御システムを使用して、前記位置合わせされたフレームのセットを処理させ、各サブ秒モジュールセットは類似したポーズダイナミクスを有するサブ秒モジュールだけを含み、
サブ秒モジュールに参照付けられた前記位置合わせされたフレームのセット内の各フレームをデータベースに格納させる
ための前記機械実行可能コードを実行するように構成された、制御システムと
を含む、システム。
態様37. 前記制御システムは、前記別々のサブ秒モジュールのセット内で閾値を上回って発生する前記サブ秒モジュールのセットのサブセットの表現をディスプレイに送るようにさらに構成されている、態様36のシステム。
態様38. 前記制御システムは、閾値を上回って発生する前記サブ秒モジュールのセットの前記サブセットの各々の行動タグに関するユーザ入力を受け取る、態様36のシステム。
【0157】
結論
上述した様々な方法および技術は、本発明を実施するためのいくつかの方法を提供する。当然ながら、必ずしも記載したすべての目的または利点を本明細書に記載した任意の特定の態様に従って達成できるわけではないことを理解されたい。よって、例えば、本明細書で教示または示唆される他の目的または利点を必ずしも達成することなく、本明細書で教示される1つの利点または利点群を達成または最適化するように本方法を実施することもできることを当業者は理解するであろう。本明細書では様々な代替案が言及されている。ある態様は、ある特徴、別の特徴、または複数の特徴を特に含み、別の態様は、ある特徴、別の特徴、または複数の特徴を特に実行し、さらに別の態様は、ある有利な特徴、別の有利な特徴、または複数の有利な特徴を含めることによって特定の特徴を軽減することを理解されたい。
上述した様々な方法および技術は、本発明を実施するためのいくつかの方法を提供する。当然ながら、必ずしも記載したすべての目的または利点を本明細書に記載した任意の特定の態様に従って達成できるわけではないことを理解されたい。よって、例えば、本明細書で教示または示唆される他の目的または利点を必ずしも達成することなく、本明細書で教示される1つの利点または利点群を達成または最適化するように本方法を実施することもできることを当業者は理解するであろう。本明細書では様々な代替案が言及されている。ある態様は、ある特徴、別の特徴、または複数の特徴を特に含み、別の態様は、ある特徴、別の特徴、または複数の特徴を特に実行し、さらに別の態様は、ある有利な特徴、別の有利な特徴、または複数の有利な特徴を含めることによって特定の特徴を軽減することを理解されたい。
【0158】
さらに、当業者は、異なる態様からの様々な特徴の適用性を認めるであろう。同様に、当業者は、上述した様々な要素、特徴および工程、ならびにそのような要素、特徴または工程の各々についての他の公知の均等物を様々な組合せで使用して、本明細書に記載した原理に従って方法を実行することもできる。様々な要素、特徴、および工程の中には、様々な態様において特に含められるものと、特に除外されるものとがあるであろう。
【0159】
本出願は、特定の態様および実施例の文脈で開示されたが、当業者には、本出願の態様が、具体的に開示された態様を超えて他の代替態様および/または用途およびそれらの改変および均等物にまで及ぶことが理解されるであろう。
【0160】
いくつかの態様では、本出願の特定の態様を説明する文脈において（特に、添付の特許請求の範囲のいくつかの文脈において）使用される用語「a」および「an」および「the」ならびに類似の言及は、単数形と複数形の両方を含むものと解釈することができる。本明細書における値の範囲の記載は、単に、範囲内に該当する各別個の値に個々に言及する省略法として使用するためのものである。本明細書で特に指示しない限り、個々の値は、その値が本明細書に個々に記載された場合と同様に本明細書に組み込まれる。本明細書中に記載するすべての方法は、本明細書で特に指示しない限り、または文脈と明らかに矛盾しない限り、任意の適切な順序で実施することができる。本明細書の特定の態様に関して提供される任意のおよびすべての例、または例示的な言語（例えば、「～など」）の使用は、単にその適用をより明らかにするためのものであり、それ以外に請求される適用の範囲を限定するものではない。本明細書中のいかなる言語も、本出願の実施に不可欠な非請求要素を示すものと解釈されるべきではない。
【0161】
本明細書には本出願の特定の態様が記載されている。これらの態様の変形は、以上の説明を読めば、当業者には明らかになるであろう。当業者はこのような変形を適宜に用いることができ、本出願は本明細書に具体的に記載されている以外の方法で実施することができることが企図されている。したがって、本出願の多くの態様は、適用法によって許容されるように、添付の特許請求の範囲に記載された主題のすべての改変および均等物を含む。さらに、本明細書で特に指示しない限り、または文脈と明らかに矛盾しない限り、すべての可能な変形における上述の要素の任意の組合せが本出願に包含される。
【0162】
以上、本主題の特定の実施態様について説明した。添付の特許請求の範囲には他の実施態様が含まれている。場合によっては、特許請求の範囲に記載されている動作を、異なる順序で実行し、しかも所望の結果を達成することができる。加えて、添付の図に示すプロセスは、所望の結果を達成するのに、必ずしも、図示の特定の順序、または順番を必要としない。
【0163】
本明細書中で参照されるすべての特許、特許出願、特許出願公開、および論文、書籍、仕様書、刊行物、文書、物などの他の資料は、あらゆる目的でその全体が参照により本明細書に組み入れられる。ただし、それらと関連付けられる任意の出願経過、本明細書と矛盾もしくは対立するそれらのいずれか、または本明細書と現在関連付けられており、または後で関連付けられる特許請求の最も広い範囲にすいて限定的な影響を及ぼしうるそれらのいずれかを除く。例として、組み込まれた資料のいずれかと関連付けられた用語の記述、定義、および/または使用と、本明細書と関連付けられたそれらとの間に矛盾または対立が存在する場合、本明細書におけるその用語の記述、定義、および/または使用が優先する。
【0164】
最後に、本明細書で開示する本出願の態様は、本出願の態様の原理を例示するものであることを理解されたい。本出願の範囲内には使用できる他の改変も含まれる。よって、限定ではなく例として、本明細書の教示に従って、本出願の態様の代替の構成を利用することができる。したがって、本出願の態様は、厳密に図示し説明した態様だけに限定されるものではない。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6-1】
【図6-2】
【図6-3】
【図6-4】
【図7】
【図8A】
【図8B】
【図8C】
【図8D】
【図8E】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図12A】
【図12B】
【図12C】
【図12D】
【図13Ai】
【図13Aii】
【図13B】
【図14】
【図15A】
【図15B】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】