特許 6964596 動物行動の自動分類方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6964596

(24)【登録日】2021年10月21日

(45)【発行日】2021年11月10日

(54)【発明の名称】動物行動の自動分類方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20211028BHJP

   G06F 16/70 20190101ALI20211028BHJP

   G06F 16/75 20190101ALI20211028BHJP

   G06T 7/00 20170101ALI20211028BHJP

【ＦＩ】

   G06T7/20 300A

   G06F16/70

   G06F16/75

   G06T7/00 350C

【請求項の数】11

【全頁数】71

(21)【出願番号】特願2018-548704(P2018-548704)

(86)(22)【出願日】2017年3月16日

(65)【公表番号】特表2019-516157(P2019-516157A)

(43)【公表日】2019年6月13日

(86)【国際出願番号】US2017022781

(87)【国際公開番号】WO2017161167

(87)【国際公開日】20170921

【審査請求日】2020年3月5日

(31)【優先権主張番号】62/310,563

(32)【優先日】2016年3月18日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507244910

【氏名又は名称】プレジデント・アンド・フェロウズ・オブ・ハーバード・カレッジ

(74)【代理人】

【識別番号】100102978

【弁理士】

【氏名又は名称】清水 初志

(74)【代理人】

【識別番号】100102118

【弁理士】

【氏名又は名称】春名 雅夫

(74)【代理人】

【識別番号】100160923

【弁理士】

【氏名又は名称】山口 裕孝

(74)【代理人】

【識別番号】100119507

【弁理士】

【氏名又は名称】刑部 俊

(74)【代理人】

【識別番号】100142929

【弁理士】

【氏名又は名称】井上 隆一

(74)【代理人】

【識別番号】100148699

【弁理士】

【氏名又は名称】佐藤 利光

(74)【代理人】

【識別番号】100128048

【弁理士】

【氏名又は名称】新見 浩一

(74)【代理人】

【識別番号】100129506

【弁理士】

【氏名又は名称】小林 智彦

(74)【代理人】

【識別番号】100205707

【弁理士】

【氏名又は名称】小寺 秀紀

(74)【代理人】

【識別番号】100114340

【弁理士】

【氏名又は名称】大関 雅人

(74)【代理人】

【識別番号】100121072

【弁理士】

【氏名又は名称】川本 和弥

(72)【発明者】

【氏名】ダッタ サンディープ ロバート

(72)【発明者】

【氏名】ジョンソン マシュー ジェイ．

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２００３−０８７７７１（ＪＰ，Ａ）

【文献】 特開２００５−２１５９２７（ＪＰ，Ａ）

【文献】 Wiltschko,Alexander B., et al.，Mapping Sub-Second Structure in Mouse Behavior，Neuron，88巻6号，2015年12月16日，1121-1135頁，http://sciencedirect.com/science/article/pii/S0896627315010375

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｇ０６Ｆ １６／００，１６／７０，１６／７５

(57)【特許請求の範囲】

【請求項1】

対象の動きを表す3次元ビデオデータを、少なくとも1つのモジュールセットと少なくとも1つのモジュール間遷移統計量セットとに区分するために、計算モデルを使用して前記3次元ビデオデータを処理する工程であって、
前記ビデオデータにおいて前記対象を背景から分離すること、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別すること、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正すること、および、
多様体空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、構造化変分オートエンコーダを含む多層パーセプトロン（MLP）を使用して前記位置合わせされたフレームを処理すること
を含む、前記3次元ビデオデータを処理する工程、および
前記少なくとも1つのモジュールセットを、動物行動のタイプを表すカテゴリに割り当てる工程
を含む、対象の動きを分析してモジュールに分離するための方法。

【請求項2】

前記3次元ビデオデータが、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点が前記対象の3Dポーズダイナミクスを表す、請求項1記載の方法。

【請求項3】

前記対象が動物試験における動物である、請求項1または2記載の方法。

【請求項4】

前記対象がヒトである、請求項1〜3のいずれか一項記載の方法。

【請求項5】

対象を背景から分離するために、前記対象の動きを表す3次元ビデオデータを前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程、
3次元グラフィカル空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、構造化変分オートエンコーダを含む多層パーセプトロン（MLP）を使用して前記位置合わせされたフレームを処理する工程、
前記ポーズダイナミクスデータを別々のサブ秒モジュールセットに時間的にセグメント化するために、前記位置合わせされたフレームを処理する工程であって、モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、工程、および
前記3次元ビデオデータにおいて閾値を上回る頻度で発生するモジュールセットの各々の表現を表示する工程
を含む、対象の動きを分析してモジュールに分離するための方法。

【請求項6】

前記対象が動物試験における動物である、請求項5記載の方法。

【請求項7】

前記対象がヒトである、請求項5または6記載の方法。

【請求項8】

前記位置合わせされたフレームを処理する工程が、モデルフリーアルゴリズムを用いて行われる、請求項5記載の方法。

【請求項9】

前記モデルフリーアルゴリズムが、オートコレログラムを計算することを含む、請求項8記載の方法。

【請求項10】

前記位置合わせされたフレームを処理する工程が、モデルベースアルゴリズムを用いて行われる、請求項5記載の方法。

【請求項11】

前記モデルベースアルゴリズムがAR-HMMアルゴリズムである、請求項10記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

連邦政府資金による研究に関する記載
本発明は、（1）国立衛生研究所（National Institutes of Health（NIH））長官によって授与されたNIH新イノベーター賞（New Innovator Award）受賞番号DP20D007109、および（2）NIH国立聴覚・伝達障害研究所（National Institute on Deafness and Other Communication Disorders（NIDCD））によって授与されたNIH研究プロジェクト助成プログラムNo.RO1DCO11558の下での政府支援でなされたものである。連邦政府は本発明に一定の権利を有する。

【0002】

分野
本発明は、動物行動、人間行動または他の行動メトリックを識別および分類するためのシステムおよび方法に関する。

【背景技術】

【0003】

背景
以下の説明は、本発明の理解において有用となりうる情報を含む。この説明は、本明細書で提供する情報のいずれかが先行技術であるかまたは本出願で特許請求される発明と関連することを認めるものでもないし、具体的または暗黙的に参照されている出版物が先行技術であることを認めるものでもない。

【0004】

動物行動の定量化は、創薬から神経変性疾患の理解にまで及ぶ一連の生物学的研究における必須の第一段階である。それは通常手で行われる。すなわち、訓練を受けた観測者が、動物が行動するのを生でまたはビデオテープで観測し、すべての興味深い行動のタイミングを記録する。

【0005】

1つの実験の行動データは、数百匹ものマウスを含み、数百時間ものビデオに及ぶ可能性があり、観測者のチームが必要となり、そのため必然的に結果の信頼性および再現性が低下する。加えて、何が「興味深い行動」を構成するかは本質的に人間の観測者に任されている。人間の観測者が特定の行動または一連の行動に擬人化した名称（すなわち、「立ち上がり」、「匂い嗅ぎ」、「調査」、「歩行」、「すくみ」、「摂食」など）を割り当てることはありふれたことであるが、人間の単純なカテゴリ化に当てはまらない、マウスに関連しマウスによって生成される行動状態がほぼ確実に存在する。

【0006】

より高度な応用では、ビデオをコンピュータプログラムによって半自動的に分析することができる。しかし、脳は、時間と共に滑らかに展開し、さらには別個の運動パターンで構成される行動を生成する。動作を誘発する個々の感覚ニューロンは、わずか1ミリ秒で行動に関連した計算を行うことができ、行動を媒介する神経細胞集団は、数十ミリ秒から数百ミリ秒の時間スケールで発展するダイナミクスを示す［1〜8］。この速い神経活動は、より遅い神経調節系と相互作用して、複数の時間スケールで同時に構築される行動を生成する［9］。神経回路が複雑な行動、特に自由行動中の動物が発現する自発的または生得的行動をどのように生み出すのかを究極的に理解するには、神経系に関連した時間スケールで行動がどのように構築されるかを特徴付けるための明確な枠組みが必要である。

【発明の概要】

【0007】

概要
行動は、動物が特定の目標（食物や繁殖相手を見つけるなど）を達成することを可能にするように進化によって形作られてきたが、これらの行動が、経時的に、特に速い時間スケールでどのように構築されるかはまだ明らかではない。しかし、行動の構造を特徴付ける1つの強力な手法が動物行動学から得られており、その提起によれば、脳は、より単純な動作の定型化したモジュールを特定の順序で発現することによってコヒーレントな行動を形成する［10］。例えば、教師付き分類法および教師なし分類法の両方で、C.エレガンス（C. elegans）によって、およびキイロショウジョウバエ（D. melanogaster）の幼虫と成虫の両方によって探索中に発現された潜在的な行動モジュールが識別されている［11〜16］。これらの実験は、これらの生物における行動に対して基礎構造を明らかにしており、これにより、無脊椎動物の脳が環境の変化に行動を適応させるのに使用される戦略が発見されている。C.エレガンスの場合、嗅覚手がかりへのナビゲーションは、行動モジュールを接続して経時的な系列にする遷移確率を調整する神経回路によって少なくとも部分的に媒介され、したがって、外観上は、新しい感覚駆動行動（正の走化性のような）が、核となる行動モジュールのセットの再配列を通して蠕虫の神経系によって生成されうる［17〜19］。ハエの幼虫の感覚駆動行動についても同様の観測がなされている［11］。

【0008】

行動の基礎的な時系列構造へのこれらの洞察は、蠕虫およびハエの形態的変化を定量化し、それらのデータを使用して行動モジュールを識別できることから生じたものである［11〜16］。しかし、哺乳動物の行動の包括的な構築への同様の洞察を得ることは困難であった。マウスの生得的な探索行動、グルーミング行動、社会的アプローチ行動、攻撃行動および生殖行動はすべて研究者らによって潜在的なモジュールに分割されているが、哺乳動物の行動をパーツに分解するこの手法は、意味のある行動モジュール（例えば、走る、交配する、戦う）を構成するものについての人間が指定した定義に依拠しており［20〜25］、したがって、人間の知覚および直感に大きく制限される。特に、人間の知覚は、短い時間スケールにまたがるモジュールを識別することが困難である。

【0009】

動物の行動の構造を系統的に記述し、脳がその構造をどのように変化させて適応を可能にするかを理解するには、3つの重要な問題に対処する必要がある。第1に、マウスの行動をモジュール化しようとするときに、行動のどの特徴が測定に重要であるかが明らかではない。大部分の現在の方法は、上から見下ろしたまたは横方向のマウスの外形の位置、速度または形状などの2次元パラメータを追跡する［20、22〜24、26〜28］が、マウスは、捕捉するのが難しいが、行動の構築についての重要な洞察を与えてくれる可能性のある複雑な3次元ポーズダイナミクスを示す。第2に、行動がいくつかの時間スケールで並行して発展するものと考えると、行動をモジュール化する関連した空間時間的スケールをどのように客観的に識別するかが明らかではない。最後に、行動を効果的に特徴付けるには、行動が定型化する（モジュール性の前提条件）と同時に変動する（ノイズの多い神経系および運動系の不可避の特徴）という事実に対応する必要がある［29］。

【0010】

この変動性により、所与の実験中に発現される行動モジュールの数および内容を識別する役割を果たすアルゴリズム、または観測された動作の任意の所与のインスタンスを特定の行動モジュールに割り当てる役割を果たすアルゴリズムに大きな課題が生じる。さらに、自然な行動が構築される空間時間的スケールを識別することは、動物行動学において定義付けを行うという課題であり、よって今日まで、行動の基礎構造を探索しようとする努力の大部分は、行動モジュールを構成するものについてその場限りの定義に依拠したものであり、行動を全体として系統的に考察するのではなく、特定の行動に焦点を合わせたものであった。動物が示す自発的行動が、時間の経過と共に発展する際に動作を特徴付けるのに使用することができる定義可能な基礎構造を有するかどうかは明らかではない。

【0011】

さらに、動物の行動を分類するための既存のコンピュータ化されたシステムは、観測された行動を記述するパラメータを、人の手により注釈を付けられ精選されたパラメトリックデータベースと照合する。したがって、手動の事例でも既存の半自動化された事例でも、動物の行動状態の主観評価がシステムに組み込まれ、人間の観測者は、何が特定の行動を構成するかを事前に決定しなければならない。これにより当該行動の評価に偏りが生じ、その評価を、研究者が人間の知覚で区別することができるそれら特定の行動に制限し、したがって、特に、短い時間スケールで発生する行動に関して制限される。加えて、これらの半教師付き型の行動分析で配置されるビデオ取得システム（ほぼ常にデータを2次元で取得する）は、特定の行動に対してのみ最適化されるため、スループットが制限されると共に、位置合わせの誤りによる実験労力の無駄も増える。

【0012】

概観
これらの課題にもかかわらず、本発明者らは、動物のビデオ記録を処理することによって動物の行動モジュールを自動的に識別し分類するシステムおよび方法を発見した。本発明の原理によれば、モニタリング方法およびモニタリングシステムは、動物行動を分類することができるハードウェアおよびカスタムソフトウェアを使用する。動物行動状態の分類は、深度カメラを使用した3次元の動物姿勢の定量的測定によって決定される。一態様では、3D深度カメラを使用して、領域と深度の両方の情報の有する、動物のビデオ画像のストリームが取得される。次いで、複数の画像の各々から背景画像（空の実験領域）が除去されて、明領域と暗領域とを有する処理画像が生成される。複数の処理画像において明領域の輪郭が見出され、輪郭内の領域と深度の両方の画像情報からのパラメータが抽出されて、複数の多次元データ点が形成され、各データ点は特定の時間における動物の姿勢を表す。次いで、姿勢データ点をクラスタ化して、点クラスタが動物行動を表すようにすることができる。

【0013】

次いで、このデータは、自然行動の構造を特徴付けるためにモデルフリーアルゴリズムに入力されてもよいし、または計算モデルに入力されてもよい。いくつかの態様では、本システムは、ベイズ推定における方法を使用して行動のモデルを適合させ、これは、所与のデータセット内からの最適な数およびアイデンティティの行動モジュールの教師なし識別を可能にする。測定可能な動作単位を構成するはずのものについての先験的な定義を使用するのではなく、3D行動データ自体の構造に基づいて行動モジュールを定義することにより、行動が構築される時間スケールを定義する、これまで探索されなかったサブ秒の規則性が識別され、行動の構成要素および構造に関する重要な情報がもたらされ、行動変化の特性についての洞察が提供され、パターン化された動作の微妙な変更の客観的な発見が可能になる。

【0014】

オープンフィールドを探索するマウスのビデオへの応用例
一例において、本発明者らは、マウスが円形オープンフィールドを自由に探索する際にマウスの体の形状がどのように変化するかを測定した。本発明者らは、深度センサを使用してマウスの3次元（3D）ポーズダイナミクスを捕捉し、次いで、マウスの画像をマウスの脊椎の推定軸に沿ってセンタリングし位置合わせすることによってマウスのポーズが経時的にどのように変化したかを定量化した。

【0015】

この3Dデータを経時的にプロットすると、マウスの行動は、ポーズダイナミクスがゆっくりと発展する期間によって特徴付けられ、これらの期間を分離する速い遷移によって区切られることが明らかになった。このパターンは、行動イメージングデータを、典型的には200〜900ms続く少数のフレームからなるブロックに分割するように見える。これは、マウスの行動が2つの異なる時間スケール、すなわち、マウスのポーズが所与のブロック内で変化しうる速度によって定義される第1の時間スケールと、ブロック間の遷移速度によって定義される第2の時間スケールで構築されうることを示唆している。

【0016】

これらのブロック内のマウスの行動を特徴付け、ブロック間で行動がどのように異なりうるかを判定するには、まずこれらのブロックが構築される時間スケールを推定することが必要である。いくつかの態様では、ブロック間の近似境界を識別するために、行動イメージングデータを、経時的なデータ構造の急激な変化を検出するように設計された変化点アルゴリズムにかけた。一例では、この方法は、ブロック間の潜在的境界を自動的に識別し、平均ブロック持続時間が約350msであることを明らかにした。

【0017】

加えて、本発明者らは、自己相関およびスペクトル分析を行い、これは、行動の時間スケールに関する相補的情報を提供した。マウスのポーズにおける時間的自己相関は、400ms（タウ＝340±58ms）以内で大部分消失し、行動しているマウスと死んだマウスとを区別する周波数成分のほぼすべてが1〜6Hzに集中していた（スペクトル比、またはウィーナフィルタで測定した、平均値3.75±0.56Hz）。これらの結果は、マウスの行動におけるダイナミズムの大部分が、200〜900msの時間スケール内で発生することを示唆している。

【0018】

加えて、マウスが示す行動のブロックごとのパターンの目視検査により、各ブロックが、速い遷移によって後続の行動モチーフから分離される行動の短いモチーフ（例えば、右旋回または左旋回、突進、休止、立ち上がりの前半）を符号化するように見えることも明らかになった。まとめると、これらの知見により、これまで正しく評価されなかったマウスの行動のサブ秒の構築、すなわちマウスが、通常の探索中にある運動モチーフから別の運動モチーフに順次に素早く切り替わるように見える短い運動モチーフを発現することが明らかになった。

【0019】

行動が短い運動モチーフに自然に分割されるという知見は、これらのモチーフの各々が行動モジュール、すなわち、脳がより複雑な動作パターンを構築するために系列化する定型的な再利用される行動単位であることを示している。次に、同じ定型的なサブ秒行動モチーフの複数の例を識別するためのシステムおよび方法を開示する。

【0020】

ビデオデータにおいてモジュールを識別するための処理アルゴリズムおよび方法
類似したモジュールを識別するために、マウスの行動データにまず、例えば（1）主成分分析、および（2）多層パーセプトロンなどのニューラルネットワークを使用して、次元削減を施してもよい。例えば、主成分分析（PCA）を使用して、最初の2つの主成分をプロットしてもよい。ポーズダイナミクスデータ内の各ブロックは、PCA空間を通る連続的な軌跡に対応する。例えば、脊椎が持ち上がっているマウスと関連付けられる個々のブロックは、PCA空間を通る特定の曲線に対応した。テンプレートマッチング法を使用して一致するモチーフについて行動データをスキャンすることにより、異なる動物におけるこの曲線のいくつかのさらなる例が識別された。これは、これらのPCA軌跡の各々が、定型化した行動モジュールが再利用された個々のインスタンスを表しうることを示唆する。

【0021】

このサブ秒のモジュール性についての証拠が得られたら、本発明者らは、その各々がマウスの行動の異なる基礎構造を記述する一連の計算モデルを考案し、これらのモデルを3D行動イメージングデータで訓練し、どのモデルがマウスの行動の基礎構造を予測または識別したかを判定した。特に、本発明者らは、大きなデータセット内の構造を自動的に識別するように最適化された計算推論方法（ノンパラメトリックベイズ法およびギブスサンプリングを含む）を利用した。

【0022】

各モデルは、行動を連続的とみなすかそれともモジュールとみなすか、モジュールの可能な内容、およびモジュールが経時的にどのように系列化されるかを決定する遷移構造において異なっていた。モデル性能を比較するために、モデルをあてたことのない実際のマウスの行動データの内容および構造を予測するように各モデルを試験した。これらの選択肢の中で、最良の定量的予測は、マウスの行動が、本発明者らのポーズダイナミクスデータのモデルフリー分析によって識別されたサブ秒時間スケールにおいてあるモジュールから別のモジュールに切り替わる（各々が3D身体運動の短いモチーフを捕捉する）モジュールから構成されると措定するモデルによってなされた。

【0023】

AR-HMMモデル
1つのモデルは、各行動モジュールを、PCA空間を通る定型化した軌跡を捕捉するベクトル自己回帰（AR）過程として表した。加えて、そのモデルでは、異なるモジュール間の切り替えダイナミクスを隠れマルコフモデル（HMM）を使用して表した。併せてこのモデルを、本明細書では「AR-HMM」と呼ぶ。

【0024】

いくつかの態様では、AR-HMMは、マウスの行動が経時的に発展する際にマウスの行動の全体的構造の最も節約的な（parsimonious）説明を提供する行動モジュールと遷移パターンのセットを（訓練データ内で）発見する能力に基づいてマウスの行動に関する予測を行う。したがって、訓練されたAR-HMMを使用して、行動データセット内から行動モジュールおよびそれらの遷移構造のアイデンティティを明らかにし、それによってマウスの行動の基礎的な構築を明らかにすることができる。訓練後、AR-HMMは、訓練行動データのすべてのフレームを、それが発見したモジュールのうちの1つに割り当てることができ、任意の所与のモジュールが所与の実験中にマウスによっていつ発現されたかを明らかにする。

【0025】

AR-HMMが、3D行動データにおける固有のブロック構造を認識するのと合致するように、AR-HMMによって識別されたモジュール境界は、ポーズダイナミクスデータ内に埋め込まれた固有のブロック構造を考慮した。さらに、モデルで識別されたモジュール持続時間分布は、変化点で識別されたブロック持続時間分布と同様であった。しかし、AR-HMMによって識別されたモジュール境界は、変化点分析によって示唆された近似境界を改善した（モジュール境界の78％が変化点の5フレーム内にあった）。重要なことに、行動モジュールを識別するAR-HMMの能力は、マウスのポーズデータの固有のサブ秒の構築に依存しており、小チャンク（すなわち、＜300ミリ秒）単位で行動データを構成するフレームをシャッフルするとモデル性能が実質的に低下したが、より大きいチャンク単位で行動データをシャッフルするとわずかな影響しかなかった。これらの結果は、AR-HMMが行動データの固有のサブ秒ブロック構造を認識することを示している。

【0026】

加えて、AR-HMMによって識別された特定の行動モジュールは、再利用される別個の運動モチーフのセットを符号化していた。例えば、モデルによって1つの行動モジュールに割り当てられたPCA軌跡は、PCA空間を通る同様の経路をたどった。類似した動作モチーフを符号化するこれらの軌跡の各々と合致するように、この特定のモジュールの複数のデータインスタンスと関連付けられる3D動画を照合し検査することによって、それが、人間の観測者であれば立ち上がりと呼ぶであろう、定型化した行動モチーフを符号化していることが確認された。対照的に、異なる行動モジュールから得られたデータインスタンスは、PCA空間を通る別個の経路をたどった。さらに、これらのモジュールの各々に割り当てられた3D動画の目視検査は、各々が区別することができ記述子（例えば、「歩行」モジュール、「休止」モジュール、および「低い立ち上がり」モジュールなど）でラベル付けすることができる3次元運動の繰り返し使用されるコヒーレントなパターンを符号化していることを示した。

【0027】

AR-HMMによって識別された各行動モジュールの独自性を定量的および包括的に評価するために、本発明者らは、次いで交差尤度分析を行い、所与のモジュールと関連付けられるデータインスタンスが、解析においてその他の行動モジュールのいずれにでもなく、当該モジュールに最も良く割り当てられることが明らかになった。対照的に、AR-HMMは、モジュール性を欠くマウスの合成行動データセットにおけるどんな十分に分離されたモジュールも識別することができず、実際の行動データ内の発見されたモジュール性が、モデルのアーチファクトではなくむしろデータセットそのものの特徴であることが実証された。さらに、ランダムな開始点からモデル訓練プロセスを再開すると、同じまたは高度に類似した行動モジュールセットが返され、これは、AR-HMMが、行動データに対して固有のモジュール構造に焦点を当ててそれを識別することと合致する。これらのデータは共に、マウスの行動が、AR-HMMというレンズを通して見ると、別個のサブ秒モジュールへと基本的に組織化されることを示唆している。

【0028】

加えて、AR-HMMがマウスの行動を構成する行動モジュールおよび遷移を識別する場合には、訓練されたAR-HMMによって生成された合成行動データは、実際のポーズダイナミクスデータの妥当な複製を提供することができる。合成行動データ（脊椎ダイナミクス、または行動しているマウスの3D動画の形態の）は、実際の動物によって生成された行動データと区別するのが質的に困難であったため、AR-HMMは、マウスの行動の豊富さを捕捉するように思われた。したがって、マウスのポーズダイナミクスデータは、AR-HMMによって十分に解析されて規定のモジュールにされる、サブ秒時間スケールで構築された固有の構造を有するように見える。さらに、これらのモジュールを最適に識別し、行動の構造を効果的に予測するには、モジュール性と切り替えダイナミクスの明白なモデル化が必要である。

【0029】

SLDS SVAEモデル
冗長な次元を削減すると共にモデル化を計算的に扱いやすくするために、様々な技術を使用して各画像を次元削減することができる。次元を削減する一方法である主成分分析は、次元を削減して線形空間にする。しかし、本発明者らは、次元を削減して線形空間にするだけでは、行動に関連しないマウスの様々な変化に適応しないことを発見した。これには、マウスのサイズ、マウスの種などの変化が含まれる。

【0030】

したがって、本発明者らは、多層パーセプトロンなどの特定の種類のニューラルネットワークを使用すると、画像の次元を効果的に削減できることを発見した。さらに、これらの次元削減された画像は、マウスまたは他の動物のサイズに依存しないモデルを構築する有効な方法を提供し、行動に関連しない他の変化を説明することができる。例えば、次元を3次元画像多様体に削減するいくつかのニューラルネットワークが利用されうる。

【0031】

したがって、これらのアルゴリズムに基づき、本発明者らは、SVAE生成モデルおよび対応する変分族アルゴリズムを構築した。一例として、本発明者らは、SVAEが離散潜在変数と連続潜在変数の両方を、高い確率的依存性と共にどのようにして組み込むことができるかを例示する、スイッチング線形力学系（SLDS）（Murphy, 2012; Fox et al, 2011）に基づく時系列のための特定の生成モデルに焦点を当てる。

【0032】

本発明のシステムおよび方法は、動物モデルの動物、臨床試験のヒト、特定の疾患または障害の診断および/または治療を必要とするヒトなどの様々な動物種に適用することができる。これらの動物には、マウス、イヌ、ネコ、ウシ、ブタ、ヤギ、ヒツジ、ラット、ウマ、モルモット、ウサギ、爬虫類、ゼブラフィッシュ、トリ、ミバエ、蠕虫、両生類（例えばカエル）、ニワトリ、ヒト以外の霊長類、およびヒトが含まれるが、それに限定されない。

【0033】

本発明のシステムおよび方法は、薬物スクリーニング、薬物分類、遺伝子分類、疾患の発症の早期検出を含む疾患研究、毒物学研究、副作用研究、学習および記憶の過程の研究、不安研究、消費者行動分析などを含む様々な用途に使用できるが、それに限定されない。

【0034】

本発明のシステムおよび方法は、対象の行動に影響を及ぼす疾患に特に有用である。これらの疾患には、パーキンソン病、ハンチントン病、アルツハイマー病、および筋萎縮性側索硬化症などの神経変性疾患、注意欠陥多動障害、自閉症、ダウン症候群、メンデルソン症候群、および統合失調症などの神経発達精神障害が含まれる。

【0035】

いくつかの態様では、本発明のシステムおよび方法は、公知の薬物または試験化合物が対象の行動状態をどのように変化させうるかを研究するのに使用することができる。これは、対象への公知の薬物または試験化合物の投与前および投与後に得られた行動表現を比較することによって行うことができる。本明細書で使用する場合、「行動表現」という用語は、本発明のシステムまたは方法を使用して決定されたサブ秒行動モジュールおよびそれらの遷移統計量のセットを指す。行動表現は、行列、表、またはヒートマップの形態であることができるが、それだけに限定されない。

【0036】

いくつかの態様では、本発明のシステムおよび方法は、薬物分類に使用することができる。本発明のシステムおよび方法は、既存の薬物およびそれらの薬物が治療する疾患または障害に基づいて複数の基準行動表現を作成することができ、各基準行動表現は、薬物クラス（例えば、抗精神病薬、抗うつ薬、刺激薬または抑制薬）を表す。試験行動表現を複数の基準行動表現と比較することができ、試験行動表現が複数の基準行動表現のうちの1つと類似している場合、その試験化合物は、前記の特定の基準行動表現によって表される同じ薬物クラスに属すると判定される。試験化合物は、小分子、抗体またはその抗原結合フラグメント、核酸、ポリペプチド、ペプチド、ペプチド模倣体、多糖、単糖、脂質、グリコサミノグリカン、またはそれらの組合せとすることができるが、それに限定されない。

【0037】

いくつかの態様では、これは、動物の行動を、選択肢のリストに対して薬物の1クラスに属するものとして自動的に分類するためのシステムを含んでもよい。例えば、システムを開発するために、多くの異なる薬物条件下での多数のマウスの訓練セットを提供し、どんな組合せおよび範囲の特徴が特定の薬物クラス内の構成メンバーを構成するか見出すための線形または非線形の分類器を構築してもよい。この分類器は次いで、訓練が完了し次第固定してもよく、初見のマウスに適用することができる。可能な分類器アルゴリズムには、ロジスティック回帰、線形基底カーネルを用いたサポートベクトルマシン、放射基底関数カーネルを用いたサポートベクトルマシン、多層パーセプトロン、ランダムフォレスト分類器、またはk近傍分類器が含まれうる。

【0038】

薬物分類と同様に、いくつかの態様では、本発明のシステムおよび方法は、遺伝子機能の分類に使用することができる。

【0039】

薬物スクリーニングのいくつかの態様では、特定の疾患または障害を治療することが知られている既存の薬物を第1の試験対象に投与することができる。次いで、本発明のシステムおよび方法を第1の試験対象に使用して、基準行動表現を得ることができ、基準行動表現は、第1の試験対象に対する薬物の治療効果を特徴付けることができる行動モジュールのセットを含む。続いて、試験化合物を、第1の試験対象と同じ動物種の第2の試験対象に投与することができる。次いで、本発明のシステムおよび方法を第2の試験対象に使用して、試験行動表現を得ることができる。試験行動表現が基準行動表現と類似していることが判明した場合、試験化合物は、その特定の疾患または障害の治療に有効であると判定される。試験行動表現が基準行動表現と類似していないことが判明した場合、試験化合物は、その特定の疾患または障害の治療に有効ではないと判定される。第1および第2の試験対象は各々試験対象群とすることができ、得られた行動表現は平均行動表現とすることができることに留意されたい。

【0040】

薬物スクリーニングと同様に、いくつかの態様では、本発明のシステムおよび方法は、遺伝子療法スクリーニングに使用することができる。遺伝子療法は、核酸の送達および遺伝子ノックアウトを含むことができる。

【0041】

いくつかの態様では、本発明のシステムおよび方法は、疾患または障害の研究で使用することができる。例えば、本発明のシステムおよび方法を使用して、特定の疾患または障害を有する対象における新しい行動モジュールを発見することができる。例えば、本発明のシステムおよび方法は、疾患もしくは障害を有する対象または疾患もしくは障害を発症する過程にある対象における基準行動表現を識別することによって、疾患または障害の早期診断を可能にすることができる。基準行動表現またはその有意な部分が疾患または障害を有すると疑われる対象においても観測される場合、その対象は、疾患または障害を有すると診断される。よって、対象に早期の臨床的介入を施すことができる。

【0042】

さらに、いくつかの態様では、本発明のシステムおよび方法は、消費者行動の研究、例えば消費者が香り（例えば、香水）にどのように反応するかの研究で使用することができる。本発明のシステムおよび方法を使用して、香りに対する肯定的反応を表す基準行動表現を識別することができる。香りの存在下で、基準行動表現またはその有意な部分を示す人は、香りに対して肯定的に反応していると判定される。香りに対する否定的反応を表す基準行動表現も識別し、人の反応を測定するために使用することができる。
[本発明1001]
対象の動きを表す3次元ビデオデータを、少なくとも1つのモジュールセットと少なくとも1つのモジュール間遷移統計量セットとに区分するために、計算モデルを使用して前記ビデオデータを処理する工程、および
前記少なくとも1つのモジュールセットを、動物行動のタイプを表すカテゴリに割り当てる工程
を含む、対象の動きを分析してモジュールに分離するための方法。
[本発明1002]
前記処理する工程が、前記ビデオデータにおいて前記対象を背景から分離する工程を含む、本発明1001の方法。
[本発明1003]
前記処理する工程が、前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程をさらに含む、本発明1002の方法。
[本発明1004]
前記処理する工程が、位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程をさらに含む、本発明1003の方法。
[本発明1005]
前記処理する工程が、多様体空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、多層パーセプトロン（MLP）を使用して前記位置合わせされたフレームを処理する工程をさらに含む、本発明1004の方法。
[本発明1006]
前記多層パーセプトロンが構造化変分オートエンコーダである、本発明1005の方法。
[本発明1007]
前記3次元ビデオデータが、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点が前記対象の3Dポーズダイナミクスを表す、本発明1001の方法。
[本発明1008]
前記対象が動物試験における動物である、本発明1001〜1010のいずれかの方法。
[本発明1009]
前記対象がヒトである、本発明1001〜1010のいずれかの方法。
[本発明1010]
対象を背景から分離するために、前記対象の動きを表す3次元ビデオデータを前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程、
3次元グラフィカル空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、多層パーセプトロン（MLP）を使用して前記位置合わせされたフレームを処理する工程、
前記ポーズダイナミクスデータを別々のサブ秒モジュールセットに時間的にセグメント化するために、前記位置合わせされたフレームを処理する工程であって、モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、工程、および
前記3次元ビデオデータにおいて閾値を上回る頻度で発生するモジュールセットの各々の表現を表示する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
[本発明1011]
前記位置合わせされたフレームを処理する工程が、モデルフリーアルゴリズムを用いて行われる、本発明1010の方法。
[本発明1012]
前記モデルフリーアルゴリズムが、オートコレログラムを計算することを含む、本発明1011の方法。
[本発明1013]
前記位置合わせされたフレームを処理する工程が、モデルベースアルゴリズムを用いて行われる、本発明1010の方法。
[本発明1014]
前記モデルベースアルゴリズムがAR-HMMアルゴリズムである、本発明1013の方法。

【図面の簡単な説明】

【0043】

添付の図面は、本明細書に組み込まれ、本明細書の一部を構成し、本発明の態様を例示し、本明細書と併せて本発明の原理を説明し例示するのに使用される。図面は、例示的な態様の主要な特徴を図式的に示すためのものである。図面は、実際の態様のすべての特徴を描いたものでも、図示された要素の相対的な寸法を描いたものでもなく、縮尺どおりに描かれてはいない。

【0044】

【図1】本発明の様々な態様による、動物のビデオデータを取り込むように設計されたシステムの図を示す。

【図2A】本発明の様々な態様による、ビデオデータに対して行われる処理工程を示す流れ図を示す。

【図2B】本発明の様々な態様による、ビデオデータに対して行われる処理工程を示す流れ図を示す。

【図3】本発明の様々な態様による、処理工程から出力されたビデオデータに対して行われる分析を示す流れ図を示す。

【図4】本発明の様々な態様による、AR-HMMアルゴリズムの実施態様を示す流れ図を示す。

【図5】図5Aは、本発明の様々な態様による、使用頻度でソートされたモジュールセット（X軸）に対してプロットされた、各モジュールによって説明されるフレームの割合（Y軸）を示すグラフを示す。図5Bは、本発明の様々な態様による、指示されるベイズ確信区間を用いて使用頻度（Y軸）でソートされたモジュール（X軸）を示すグラフを示す。

【図6A】図6A〜6Eは、本発明の様々な態様による、物理環境がモジュール使用頻度および発現の空間パターンに及ぼす影響を示す。図6A。使用頻度でソートされたAR-HMMによって識別されたモジュール（n＝25匹のマウス、合計500分、円形オープンフィールドからのデータ）。

【図6B】図6A〜6Eは、本発明の様々な態様による、物理環境がモジュール使用頻度および発現の空間パターンに及ぼす影響を示す。図6B。任意のモジュール対が順序付きの対として観測される確率を示す、観測されたバイグラム確率のヒントン図。

【図6C】図6A〜6Eは、本発明の様々な態様による、物理環境がモジュール使用頻度および発現の空間パターンに及ぼす影響を示す。図6C。コンテキストでソートされたモジュール使用頻度。動物全体の平均使用頻度が濃い線で示されており、ブートストラップ推定値が薄い線で示されている（n＝100）。印付きモジュールは本文で論じられ図6Dに示されている:四角＝円形の接触走性、丸＝ロゼット、菱形＝四角形の接触走性、十字＝四角形の突進。

【図6D-6E】図6A〜6Eは、本発明の様々な態様による、物理環境がモジュール使用頻度および発現の空間パターンに及ぼす影響を示す。図6D。すべての実験における平均空間位置を示す、円形オープンフィールドにおけるマウスの占有率グラフ（左、n＝25、合計500分）。円形の接触走性モジュール（中央、矢印場として示された実験全体の平均的な向き）と、円形において豊富であるロゼットモジュール（右、矢印で示された個々の動物の向き）の配置を示す占有率グラフ。図6E。すべての実験における累積空間位置を示す、四角形の箱内のマウスの占有率グラフ（左、n＝15、合計300分）。四角形において豊富である接触親和性（thigmophilic）モジュール（中央、矢印場として示された実験全体の平均的な向き）と、四角形において特有の突進モジュール（右、矢印で示された個々の動物の向き）を示す占有率グラフ。

【図7】本発明の様々な態様による、データセット内の他のすべてのモジュールと比較した、TMT曝露「すくみ」後に差次的に上方制御され相互接続されたモジュールの平均速度を示すヒストグラムを示す。

【図8A】図8A〜8Eは、本発明の様々な態様により、匂い回避がどのようにして遷移確率を変えるかを示す。図8A。対照条件下のマウス（n＝24、合計480分）と、左下象限（矢印）内の単分子のキツネ由来匂い物質トリメチルチアゾリンに曝露されたマウス（TMT、担体DPG中5％希釈、n＝15、合計300分）の占有率プロット。

【図8B】図8A〜8Eは、本発明の様々な態様により、匂い回避がどのようにして遷移確率を変えるかを示す。図8B。「TMT性（TMT-ness）」でソートされたモジュール使用頻度プロット。濃い線は平均使用頻度を示し、ブートストラップ推定値は薄い線で示す。印付きモジュールは本明細書および図8Eで論じる:四角＝TMT象限内で匂い嗅ぎする、丸＝TMTから遠ざかってすくむ。

【図8C】図8A〜8Eは、本発明の様々な態様により、匂い回避がどのようにして遷移確率を変えるかを示す。図8C、左および中央。対照条件（ブランク）下およびTMT曝露後に四角形の箱を探索するマウスの行動状態マップであり、モジュールがノードとして描かれており（使用頻度は各ノードの直径に比例する）、バイグラム遷移確率が有向エッジとして描かれている。2次元レイアウトは、すべての接続されたノード間の全体距離を最小化するためのものであり、近傍構造を強調するためにスペクトルクラスタリングによってシードされている。図8C。ブランクとTMTとの間の差の状態マップ図。使用頻度の差は、新しくサイズ変更された色付きの丸（上方制御は青で示され、下方制御は赤で示され、ブランク使用頻度は黒で示される）で示されている。変更されたバイグラム確率は、同じカラーコードで示されている。

【図8D】図8A〜8Eは、本発明の様々な態様により、匂い回避がどのようにして遷移確率を変えるかを示す。図8D。TMTの隅（X軸）に対してプロットされた、モジュール発現と空間位置との同時確率を示すマウンテンプロット。グラフ全体の3分の2のところの「隆起」は、匂い源から等距離の2つの隅によって発生していることに留意されたい。

【図8E】図8A〜8Eは、本発明の様々な態様により、匂い回避がどのようにして遷移確率を変えるかを示す。図8E。TMT曝露後のマウスが探索匂い嗅ぎモジュール（左）または休止モジュールを発する空間位置を示す占有率プロット。

【図9】図9A〜9Cは、本発明の様々な態様により、AR-HMMが野生型のヘテロ接合マウスおよびホモ接合マウスをどのように曖昧性解消するかを示す。図9A。「突然変異性」でソートされた、マウス（n＝6＋/＋、n＝4＋/-、n＝5-/-、オープンフィールドアッセイ、20分間の試験）によって示されたモジュールの使用頻度プロット。動物全体の平均使用頻度が濃い線で示されており、ブートストラップ推定値は薄い線で示されている。図9B。図4C（左）と同様の＋/＋動物のベースラインOFA行動の状態マップ図。＋/＋と＋/-遺伝子型（中央）の間および＋/＋と-/-遺伝子型（右）の間の図4Cと同様の差異状態マップ。図9C。動物の後肢が肩帯の上方に持ち上げられ、動物がぐらつく足取りで前方に動き回る「動揺歩行」モジュールの図。

【図10】図10A〜10Bは、本発明の様々な態様により、運動皮質の光遺伝学的摂動がどのように新形態の生理学モジュールをもたらすかを示す。図10A。各行動モジュール（Y軸上で固有の色が各々割り当てられている）の発現の確率を、時間（X軸）の関数として示すマウンテンプロットであり、2秒間の光刺激が時刻0から開始される（各プロットは50回の試験の平均である）。試験構造（マウスが増加する光レベルに順次に曝露された）のために、全条件にわたって光オンセット前に行動のベースラインパターンのわずかな変動が捕捉されることに留意されたい。星印は、中間出力（11mW）で上方制御されるが高出力（32mW）では上方制御されない、ベースライン条件の間に発現される2つのモジュールを示す。十字は、光オフセット時に上方制御された休止モジュールを示す。図10B。最高の刺激条件下で誘導された2つのモジュールの例示的マウスの平均位置を示す（矢印は経時的な向きを示す）。これらのプロットは1匹の動物から得られ、完全なデータセット（n＝4）を表すものであることに留意されたい。ウイルス発現の変動性のために、行動変化を引き出すのに必要な閾値出力は動物ごとに異なるが、すべて図10Aで識別された回転行動を発現した。

【図11A】図11A〜11Cは、本発明の様々な態様により、深度イメージングがマウスのポーズダイナミクスデータのブロック構造をどのようにして明らかにするかを示す。図11Aは、標準的なRGBカメラ（左）および3D深度カメラ（右、マウスの体高はカラーマップされており、mm＝床上mm）を用いた円形オープンフィールドにおけるマウスのイメージングによるマウスの3次元ポーズの捕捉を示している。

【図11B】図11A〜11Cは、本発明の様々な態様により、深度イメージングがマウスのポーズダイナミクスデータのブロック構造をどのようにして明らかにするかを示す。図11Bは、動物の脊椎の推定軸を示す矢印を示している。すべてのマウス画像は、自由行動中の経時的なポーズダイナミクスの定量的測定を可能にするために、この軸に沿ってセンタリングされ、位置合わせされる。ポーズデータの視覚化により、3Dポーズダイナミクス内の固有のブロック構造が明らかになる。ランダム射影法による前処理され脊椎が位置合わせされたデータの圧縮により、経時的に発展する際のポーズデータの散発的な急な遷移が明らかになる。同様のデータ構造が、動物が行動する際の生データおよび動物の脊椎の高さでも観測された（上のパネル、任意の所与の位置での脊椎の高さがカラーマップされており、mm＝床上mm）。動物が立ち上がるとき（ここではデータストリームの開始時にあるように）、そのカメラに対する断面プロファイルは小さくなる。動物が四つん這いのとき、そのプロファイルは大きくなる。

【図11C】図11A〜11Cは、本発明の様々な態様により、深度イメージングがマウスのポーズダイナミクスデータのブロック構造をどのようにして明らかにするかを示す。図11Cに、これらのブロック間の潜在的境界を識別する変化点分析（行動データの最下部のトレースに示される変化点の正規化された確率）を示す。変化点分析によって識別された各ブロックの持続時間をプロットすることにより、ブロック持続時間分布（n＝25、合計500分のイメージング、平均値＝358ms、SD495ms）が明らかになる。平均ブロック持続時間値は黒でプロットされており、個々のマウスと関連付けられた持続時間分布は灰色でプロットされている。図11C、中央および右。自己相関分析は、マウスのポーズにおける脱相関の速度が約400ミリ秒後に遅くなることを明らかにする（左、平均値は暗青色でプロットされている、個々のマウス自己相関分析は明青色でプロットされている、タウ＝340±58ms）。行動しているマウスと死んだマウスとの間のスペクトルパワーの比をプロットすると（右、平均値は黒でプロットされ、個々のマウスは灰色でプロットされている）、ほとんどの行動周波数成分は1〜6Hzの間に表されることが明らかになる（平均＝3.75±0.56Hz）。

【図12A】図12A〜12Dは、本発明の様々な態様により、マウスのポーズダイナミクスデータが再利用される行動モジュールをどのように含むかを示す。図12Aは、マウスのポーズデータの主成分（PC）空間（下）への射影により、ポーズデータで識別された個々のブロックが再利用された軌跡を符号化していることをどのように明らかにするかを示している。マウスのポーズデータに主成分分析を行った後、各時点における最初の2つのPCの値を2次元グラフにプロットした（点密度がカラーマップされている）。変化点分析（上）で強調表示されたブロックと関連付けられる経路をたどると、PC空間を通る軌跡（白）が識別される。テンプレートマッチング手順を使用してポーズデータを探索することにより、PC空間を通る同様の軌跡（青色から赤色への推移として示される時間）を符号化しているこのブロックの追加の例が識別され、テンプレートブロックが再利用される動きモチーフを表すことが示唆された。

【図12B】図12A〜12Dは、本発明の様々な態様により、マウスのポーズダイナミクスデータが再利用行動モジュールをどのように含むかを示す。図12Bは、AR-HMMによるマウスのポーズデータのモデル化により、個々の行動モジュールが識別されることを示している。AR-HMMは、行動データを解析して識別可能なモジュールの限定されたセットにする（上、「ラベル」と記されている、各モジュールは一義的にカラーコードされている）。単一の行動モジュールと関連付けられた複数のデータインスタンスは各々、PCA空間を通る定型化した軌跡を取り（左下、緑色の軌跡）、複数の軌跡が行動系列を定義する（下中央）。マウスの側面図（深度データから推測される、右下）を描くと、行動系列内の各軌跡が異なる要素動作を符号化していることが明らかになる（モジュール内の時間は、モジュールの開始から終了まで徐々に濃くなる線として示されている）。

【図12C】図12A〜12Dは、本発明の様々な態様により、マウスのポーズダイナミクスデータが再利用行動モジュールをどのように含むかを示す。図12Cは、歩行モジュール、休止モジュール、および低い立ち上がりモジュールと関連付けられる3次元イメージングデータの等角図を示している。

【図12D】図12A〜12Dは、本発明の様々な態様により、マウスのポーズダイナミクスデータが再利用行動モジュールをどのように含むかを示す。図12Dは、特定のモジュールに割り当てられたデータインスタンスが別のモジュールによって効果的にモデル化される確率を示す交差尤度分析を示している。オープンフィールドのデータセットの交差尤度が計算され、特定のモジュールに割り当てられた任意の所与のデータインスタンスが異なるモジュールによって正確にモデル化される尤度がヒートマップされる（単位はnatであり、enatは尤度比である）。高尤度の対角線と、低尤度が、すべての非対角比較のために関連付けられることに留意されたい。その自己相関構造が実際のマウスデータと一致するがいかなるモジュール性もない合成データで訓練されたモデルで同じメトリックをプロットすると、AR-HMMは訓練データに基礎的なモジュール性がない場合にモジュールを識別できないことが明らかになる。

【図13Ai】図13A〜13Bは、本発明の様々な態様による、マウスの深度イメージングデータにおけるブロックおよび自己相関構造を示す。図13Aは、ランダム射影データ、脊椎データ、および位置合わせしたマウスのポーズダイナミクスから導出された生の画素データにブロック構造が存在することを示している。

【図13Aii】図13A〜13Bは、本発明の様々な態様による、マウスの深度イメージングデータにおけるブロックおよび自己相関構造を示す。図13Aは、ランダム射影データ、脊椎データ、および位置合わせしたマウスのポーズダイナミクスから導出された生の画素データにブロック構造が存在することを示している。

【図13B】図13A〜13Bは、本発明の様々な態様による、マウスの深度イメージングデータにおけるブロックおよび自己相関構造を示す。図13Bは、生きているマウスはイメージングデータにおいて有意なブロック構造を示し（左パネル）、死んだマウスはそうでない（右パネル）ことを示している。圧縮は、マウスのポーズダイナミクスデータの自己相関構造に大きな影響を与えない。同じ深度データセットを表す生の画素、PCAデータおよびランダム射影は（左パネル）は、ほぼ同じ速度ですべて無相関であり、データ圧縮がイメージングデータの細かい時間スケールの相関構造に影響しないことを示している。この相関構造は、マウスのポーズが、あたかもレヴィフライト（中央パネル）またはランダムウォーク（右パネル）を取っているように発展した場合には観測されず、生きているマウスはスイッチングダイナミクスと潜在的に関連付けられる特定のサブ秒自己相関構造を発現することが示唆される。

【図14】本発明の様々な態様による、主成分分析を使用した次元拒絶後に説明される分散を示す。説明される分散（Y軸）を含まれるPCA次元（X軸）の数と比較するプロットは、分散の88％が最初の10の主成分によって捕捉されることを明らかにしている。この次元数は、AR-HMMによってデータ分析に使用された。

【図15A】本発明の様々な態様による、マウスの行動の比較モデル化を示す。各々が行動の基礎構造に関する別個の仮説をインスタンス化する、行動の一連の計算モデルを構成し、これらのモデルの各々を、（位置合わせした深度データから抽出された上位10の主成分の形態の）マウスの行動データで訓練した。これらのモデルには、ガウスモデル（マウスの行動はポーズ空間における単一のガウス分布であることを提案する）、GMM（混合ガウスモデル、マウスの行動がポーズ空間におけるガウス分布の混合であることを提案する）、ガウスHMM（ガウス隠れマルコフモデル、各々がポーズ空間におけるガウス分布であり、定義可能な遷移統計量で時間的に相互接続されているモジュールから行動が作成されることを提案する）、GMM HMM（混合ガウスモデル隠れマルコフモデル、各々がポーズ空間におけるガウス分布の混合であり、定義可能な遷移統計量で時間的に相互接続されているモジュールから行動が作成されることを提案する）、ARモデル（マウスの行動がポーズ空間を通る単一の連続した自己回帰軌跡であることを提案する）、AR MM（マウスの行動が、各々がポーズ空間を通る自己回帰軌跡を符号化しており、あるモジュールから別のモジュールにランダムに遷移するモジュールから構築されることを提案する）、およびAR sHMM（マウスの行動が、各々がポーズ空間を通る自己回帰軌跡を符号化しており、定義可能な遷移統計量であるモジュールから別のモジュールに遷移するモジュールから構築されることを提案する）が含まれていた。これらのモデルをあてたことのないマウスの行動データの構造を予測する際のこれらの変調器の性能は、Y軸に示されており（尤度単位で測定され、ガウスモデルの性能に合わせて正規化される）、各モデルがフレームごとに行動を予測できる能力は、X軸に示されている（上側）。異なる時点でこのプロットから3つのスライスを取り、最適なAR HMMは、データに固有のスイッチングダイナミクスが作用し始める（例えば10フレーム超後、エラーバーはSEMである）時間スケールにおいて代替モデルよりも性能が優れていることを示す。

【図15B】本発明の様々な態様による、マウスの行動の比較モデル化を示す。各々が行動の基礎構造に関する別個の仮説をインスタンス化する、行動の一連の計算モデルを構成し、これらのモデルの各々を、（位置合わせした深度データから抽出された上位10の主成分の形態の）マウスの行動データで訓練した。これらのモデルには、ガウスモデル（マウスの行動はポーズ空間における単一のガウス分布であることを提案する）、GMM（混合ガウスモデル、マウスの行動がポーズ空間におけるガウス分布の混合であることを提案する）、ガウスHMM（ガウス隠れマルコフモデル、各々がポーズ空間におけるガウス分布であり、定義可能な遷移統計量で時間的に相互接続されているモジュールから行動が作成されることを提案する）、GMM HMM（混合ガウスモデル隠れマルコフモデル、各々がポーズ空間におけるガウス分布の混合であり、定義可能な遷移統計量で時間的に相互接続されているモジュールから行動が作成されることを提案する）、ARモデル（マウスの行動がポーズ空間を通る単一の連続した自己回帰軌跡であることを提案する）、AR MM（マウスの行動が、各々がポーズ空間を通る自己回帰軌跡を符号化しており、あるモジュールから別のモジュールにランダムに遷移するモジュールから構築されることを提案する）、およびAR sHMM（マウスの行動が、各々がポーズ空間を通る自己回帰軌跡を符号化しており、定義可能な遷移統計量であるモジュールから別のモジュールに遷移するモジュールから構築されることを提案する）が含まれていた。これらのモデルをあてたことのないマウスの行動データの構造を予測する際のこれらの変調器の性能は、Y軸に示されており（尤度単位で測定され、ガウスモデルの性能に合わせて正規化される）、各モデルがフレームごとに行動を予測できる能力は、X軸に示されている（上側）。異なる時点でこのプロットから3つのスライスを取り、最適なAR HMMは、データに固有のスイッチングダイナミクスが作用し始める（例えば10フレーム超後、エラーバーはSEMである）時間スケールにおいて代替モデルよりも性能が優れていることを示す。

【図16】本発明の様々な態様による、質的に類似しているブロックおよびモジュールの持続時間分布を示す。ブロック持続時間（X軸）に対してプロットされた所与の持続時間のブロック/モジュールのパーセンテージ（Y軸）により、変化点アルゴリズムで識別されたブロックおよびモデルで識別された行動モジュールのほぼ同様の持続時間分布が明らかになる。変化点アルゴリズムはデータ構造の局所的変化を識別し、モデルは、モジュールのコンテンツおよびモジュールの遷移統計量に基づいてモジュールを識別するため、これらの分布は、同一ではないが類似していることが予期される。モデルは、変化点アルゴリズムによって使用される「局所割れ」メトリックに直接アクセスできないことに留意されたい。

【図17】本発明の様々な態様により、高速時間スケールでの行動データのシャッフルがAR-HMM性能をどのように低下させるかを示す。

【図18】本発明の様々な態様による、各モデルを行動データで訓練し（左）、次いで、そのマウスの行動の「ドリーム（dream）」バージョン（右）を生成させた、モデルにより生成されたマウスの行動の視覚化を示す。ここではその出力が経時的な動物の脊椎の形状で視覚化されている。各モデルによって識別された個々のモジュールは、各モデルの下にカラーコードとして示されている（「ラベル」と記されている）。

【図19】本発明の様々な態様により、モジュール相互接続性がいかに疎であるかを示す。閾値を設定しないと、平均的なモジュールは16.85±0.95個の他のモジュールと相互接続される。この適度な相互接続性は、個々の行動モジュール間の疎な時間的相互接続性と合致するように、適度な閾値（X軸、バイグラム確率に適用された閾値）を使用しただけでも急激に低下する。

【図20】本発明の様々な態様による、識別フィルタリングパラメータを示す。Kinectからデータをフィルタリングするために、本発明者らは、空間と時間の両方で中央値フィルタを反復して適用する反復中央値フィルタリング法を使用した。この手法では、データ構造を効果的に維持しながらノイズを除去することが示されている。最適なフィルタ設定を識別するために、本発明者らは、死後硬直において差次的にポーズをとらせた死んだマウスを画像化した。理想的なフィルタ設定では、異なるポーズをとらせたマウスを区別するが、同じマウスからのデータを区別することができないはずである。フィルタ設定は、((画素),(フレーム))として示され、各括弧内の数字はフィルタリングのラウンドごとの反復設定を指す。フィルタ性能を評価するために、本発明者らは、同じポーズの全フレームの平均空間相関を異なるポーズの全フレームの平均空間相関で割ったポーズ内/ポーズ間相関比（Y軸）を計算した。これにより、軽いフィルタリング（設定((3),(3,5))）がデータの識別性を最適化することが明らかになった。

【図21】本発明の様々な態様による、変化点アルゴリズムパラメータの識別を示す。変化点比（生きているマウス対死んでいるマウスで識別された変化点の数、Y軸）に対して最適化することにより、シグマおよびH（左の2つのパネル）についてグリッドスキャンにより明確な最適値が識別された。この変化点比はKに対してあまり敏感ではなかった。ゆえに48の設定（観測された最大値で）を選択した。

【図22】本発明の様々な態様による、AR-HMMのためのグラフィカルモデルを示す。時間インデックスt＝1,2,…,Tに対してy_tとラベル付けされた影付きノードは、前処理された3Dデータ系列を表す。そのような各データノードy_tは、当該データフレームを行動モードに割り当てる対応する状態ノードx_tを有する。その他のノードは、モード間の遷移（すなわち、遷移行列π）と、モードごとの自己回帰動的パラメータ（すなわち、パラメータθのセット）を決定するパラメータを表す。

【図23】本発明の様々な態様による、ニューラルネットワークを使用して画像多様体を形成する次元削減を示す。

【図24】本発明の様々な態様による、構造化変分オートエンコーダを示す。

【図25】本発明の様々な態様による、構造化変分オートエンコーダの適用を示す。図4は、マウスのビデオデータを使用した生成完成の例である。図5は、1D跳ね返りデータのフィルタリングおよび作成のグラフ例である。図6は、自然勾配の更新（下の傾向線）と標準勾配の更新（上）とのドット問題の比較である。図7は、マウス画像多様体座標における2Dグリッドである。

【0045】

図面において、同じ符番および任意の頭字語は、理解を容易にし、便宜を図るために、同一の、または類似した構造または機能を有する要素または動作を識別する。特定の要素または動作の考察を容易に識別するために、符番の最上位の数字は、その要素が最初に提示された図番号を指す。

【発明を実施するための形態】

【0046】

詳細な説明
いくつかの態様では、本発明の特定の態様を説明し、特許請求するために使用される、寸法、形状、相対位置などの特性は、用語「約」によって修飾されていると理解されるべきである。

【0047】

次に、本発明の様々な例について説明する。以下の説明では、これらの例の十分な理解および実施可能要件の説明のための具体的な詳細を提供する。しかし、当業者であれば、本発明はこれらの詳細の多くがなくても実施できることを理解するであろう。同様に、当業者は、本発明が本明細書で詳細に説明されていない多くの他の明白な特徴を含むことができることも理解するであろう。加えて、いくつかの周知の構造または機能は、関連する説明を不必要に不明瞭にすることを避けるために、以下では詳細に図示、説明されないこともある。

【0048】

以下で使用する用語は、たとえその用語が本発明の特定の具体例の詳細な説明との関連で使用されている場合であっても、その用語の最も広い妥当な意味で解釈されるべきである。確かに、以下ではいくつかの用語を強調する場合もあるが、任意の制限された意味で解釈されることが意図されている用語については、この詳細な説明の項で明白かつ具体的に定義する。

【0049】

本明細書には多くの具体的な実装詳細が含まれているが、これらの詳細は、発明の範囲に対する限定としても、特許請求の範囲の限定としても解釈すべきではなく、むしろ、個々の発明の個々の実施態様に特有の特徴の記述として解釈すべきである。本明細書において別々の実施態様の文脈で記述されているある特徴を、単一の実施態様において組み合わせて実施することもできる。逆に、単一の実施態様の文脈で記載されている様々な特徴を、複数の実施態様において別々に、または任意の適切な部分組合せとして実施することもできる。さらに、各特徴は、上記では、ある組合せとして動作するものとして記述されており、そうしたものとして特許請求されている場合もあるが、請求される組合せの中からの1つまたは複数の特徴を、同じ事例において、その組合せの中から削除することもでき、請求される組合せは、部分的組合せまたは部分的組合せの変形も対象としうる。

【0050】

同様に、各動作は、図面において特定の順序で記載されている場合もあるが、これは、所望の結果を達成するために、そうした動作が図示された特定の順序で、順番に行われること、またはすべての図示された動作が行われることを必要とするものと理解すべきではない。ある状況では、マルチタスク処理および並列処理が有利な場合がある。さらに、前述の実施態様における様々なシステム構成要素の分離は、そうした分離をすべての実施態様において必要するものと理解すべきではなく、前述のプログラムコンポーネントおよびシステムは、一般に、単一のソフトウェア製品に統合することもできるし、または複数のソフトウェア製品にパッケージ化することもできることを理解すべきである。

【0051】

概観
本発明者らは、動物のビデオデータを処理することによって、動物の行動モジュールを自動的かつ客観的に識別および分類するためのシステムおよび方法を発見した。これらのシステムは、深度カメラを使用して3次元の動物姿勢または姿勢軌跡を定量的に測定し、処理し、分析することによって、動物行動状態を分類してもよい。これらのシステムおよび方法は、測定可能な動作単位を構成するはずのものについての先験的な定義の必要性を排除し、したがって行動状態の分類は客観的な教師なし分類となる。

【0052】

一態様では、本発明は、対象の動きを分析してサブ秒モジュールに分離するための方法に関し、本方法は、（i）対象の動きを表す3次元ビデオデータを、少なくとも1つのサブ秒モジュールセットと少なくとも1つのサブ秒モジュール間遷移期間セットとに区分するために、計算モデルを使用して前記ビデオデータを処理する工程、および（ii）少なくとも1つのサブ秒モジュールのセットを、動物行動のタイプを表すカテゴリに割り当てる工程を含む。

【0053】

図1に、システムがビデオフレームまたはフレームセットを行動モジュールに自動的に分類するのに利用しうるプロセスの一態様を示す。例えば、システムは、ビデオレコーダ100と追跡システム110とを含んでもよい。いくつかの態様では、ビデオレコーダ100は3D深度カメラであってもよく、追跡システム110は構造化赤外光を実験フィールド10に投影してもよい。追跡システム上の赤外線受信機は、視差に基づいてオブジェクトの位置を決定することができてもよい。いくつかの態様では、ビデオレコーダ100は追跡システム110に接続されていてもよく、またはいくつかの態様では、それらは別々の構成要素であってもよい。

【0054】

ビデオレコーダ100は、コンピューティングデバイス113にビデオ画像に関連したデータおよび/または追跡システム110からの追跡データを出力してもよい。いくつかの態様では、コンピューティングデバイス113は、サーバ130によって分析されデータベース160に保存されるようにネットワーク120を通じて送信する前に、データの前処理をローカルで行う。他の態様では、コンピューティングデバイス113上でローカルにデータを処理し適合させてもよい。

【0055】

一態様では、3D深度カメラ100を使用して、領域と深度の両方の情報を有する動物50のビデオ画像のストリームが取得される。次いで、複数の画像の各々から背景画像（空の実験領域）が除去されて、明領域と暗領域とを有する処理画像が生成される。複数の処理画像における明領域の輪郭を見出すことができ、次いで、輪郭内の領域と深度の両方の画像情報からのパラメータを抽出して、複数の多次元データ点を形成することができ、各データ点は特定の時間における動物の姿勢を表す。次いで、姿勢データ点をクラスタ化して、点クラスタが動物行動を表すようにすることができる。

【0056】

次いで、前処理された深度カメラビデオデータは、ビデオデータを、合わせて集められると人間の目で観測可能なコヒーレントな行動を形成する、繰り返される行動単位を記述するサブ秒「モジュール」と遷移期間とに分類するために、様々なモデルに入力されてもよい。ビデオデータをモジュールに分類するモデルの出力は、いくつかのキーパラメータを出力してもよく、それらのパラメータは以下を含む:（1）所与の実験データセット内で観測された行動モジュールの数（すなわち状態の数）、（2）任意の所与のモジュールと関連付けられるマウスによって発現された動きパターンを記述するパラメータ（すなわち、状態特有の自己回帰動的パラメータ）、（3）任意の特定のモジュールが任意の他のモジュールに遷移する頻度を記述するパラメータ（すなわち、状態遷移行列）、および（4）ビデオフレームごとの、そのフレームの行動モジュールへの割り当て（すなわち、各データ系列と関連付けられた状態系列）。いくつかの態様では、これらの潜在変数を生成的確率過程によって定義し、ベイズ推定アルゴリズムを使用して同時に推定した。

【0057】

カメラのセットアップおよび初期設定
動物50（例えば、マウス）のビデオ画像を記録および追跡するのに様々な方法を利用してもよい。いくつかの態様では、記録されるビデオは3次元で記録されてもよい。この目的には様々な装置が利用可能であり、例えば本明細書で開示する実験ではMicrosoftのKinect for Windowsを利用した。他の態様では、以下のさらなる装置を利用してもよい:（1）立体視カメラ（深度画像を生成するように較正された2台以上の2次元カメラのグループを含みうる）、（2）TOF（time-of-flight）深度カメラ（例えば、CamCube、PrimeSense、Microsoft Kinect 2、構造化照明深度カメラ（例えば、Microsoft Kinect 1）、およびX線ビデオ。

【0058】

ビデオレコーダ100および追跡システム110は、構造化赤外光を撮像フィールド10上に投影し、視差に基づいて撮像フィールド10内のオブジェクトの3次元位置を計算してもよい。Microsoft Kinect for Windowsの最小動作距離（近接モード）は0.5メートルである。画像化されたフィールド内の欠けている深度画素の数を定量することによって、最適なセンサ位置を決定してもよい。例えば、本発明者らは、Kinectの最適なセンサ位置が、周囲光条件およびアッセイ材料に依存して、実験フィールドから0.6〜0.75メートルであることを発見した。

【0059】

データ取得
ビデオレコーダ100および追跡システム110からのデータ出力は、深度フレームを処理し、それらを適切なフォーマット（例えば、バイナリフォーマットまたは他のフォーマット）で保存するコンピューティングデバイス113によって受信され処理されてもよい。いくつかの態様では、ビデオレコーダ100および追跡システム110からのデータは、ネットワーク120を通じてサーバ130に直接出力されてもよく、あるいは一時的にバッファされ、かつ/またはUSBや他の接続を通じて、さらなる処理のためにネットワーク120を通じて中央サーバ130に送信する前にデータを一時的に格納する関連付けられたコンピューティングデバイス113に送信されてもよい。他の態様では、データは、ネットワーク120を通じて送信せずに関連付けられたコンピュータ113によって処理されてもよい。

【0060】

例えば、いくつかの態様では、Kinectから出力されたデータは、毎秒30フレームの速度で深度フレームを取得し、それらを生バイナリフォーマット（16ビット符号付き整数）で外付けハードドライブまたは他の記憶装置に保存する公式のMicrosoft .NET APIを介してKinectにインターフェースするためのカスタムMatlabまたは他のソフトウェアを利用して、USBポートを通じてコンピュータに送信されてもよい。USB3.0には、外付けハードドライブまたはストレージを備えたコンピューティングデバイスにリアルタイムでデータをストリーミングできるだけの十分な帯域幅があるからである。しかし、いくつかの態様では、ネットワークは、リアルタイムでデータをリモートでストリーミングするのに十分な帯域幅がなくてもよい。

【0061】

データ前処理
いくつかの態様では、ビデオデータの生画像が保存された後、様々な前処理を行って、さらなる処理のためにビデオデータ内の動物を分離し、動物の画像を共通軸に沿って方向付けしてもよい。いくつかの態様では、頭部の向きを利用して画像を共通の方向に向けてもよい。他の態様では、推定される脊椎の方向を組み込んでもよい。

【0062】

例えば、画像化されたマウスのポーズの経時的な発展を追跡するには、所与のビデオシーケンス内のマウスを識別し、背景（この場合はマウスが探索している装置）からマウスをセグメント化し、マウスの分離された画像をマウスの脊椎の軸に沿って方向付けし、画像を射影ひずみについて補正し、次いでモデルによる処理のために画像を圧縮することが必要である。

【0063】

動物のビデオデータの分離
図2Aに、関心領域を分離し背景画像を差し引いて動物50のビデオデータを分離するためにシステムが行いうるプロセスを示す。まず、マウスが行動している実験アリーナを分離するために、システムは、最初に、さらなる分析のための関心領域（ROI）210を識別してもよい。他の態様では、関心領域210は、記録されたビデオデータの全視野10を含んでもよい。領域を分離するために、画像化されたアリーナの外側エッジに沿って手動でトレースしてもよい。ROI 210の外側の画素は、偽オブジェクト検出を防止するためにゼロに設定してもよい。他の態様では、システムは、様々な方法を使用してROI 210を自動的に定義してもよい。いくつかの態様では、システムは、インタラクティブな中央値フィルタを用いて生のイメージングデータをフィルタリングしてもよく、中央値フィルタは、例えばKinectにおいてセンサからの相関ノイズを除去するのに良く適している。

【0064】

関心領域210を選択した後、生画像を関心領域に合わせてトリミングしてもよい215。次いで、欠けている画素値を入力することができ225、その後、画素ごとにX、Y、およびZの位置を計算することができ230、画素位置を再サンプリングすることができる。したがって、画像を実世界座標上に再サンプリングすることができる。次いで、システムは、実世界座標背景画像の中央値を計算し240、それらを実世界座標画像から差し引くことができる245。

【0065】

ビデオデータからアリーナの背景画像を差し引くために、例えば、設定期間（例えば、30秒）のビデオデータの一部の中央値を差し引くことを含め、様々な技法を行ってもよい。例えば、いくつかの態様では、任意のイメージングストリームからの最初の30秒のデータをすべてのビデオフレームから差し引いてもよく、ゼロ未満の任意の見せかけの値をゼロにリセットしてもよい。

【0066】

さらに確実に動物に焦点を当てた分析とするために、システムは画像を二値化し（または閾値を使用して同様の処理を行い）、モルフォロジーオープニング処理（morphological opening）の一定回数の反復に耐えなかったオブジェクトを除去してもよい。したがって、これが終了すると、システムは図2Bに示す追加処理を行ってもよい。したがって、背景差し引き後の画像（マウスのビデオデータ）250をフィルタリングしてもよく、アーチファクトを除去してもよい255。いくつかの態様では、これは反復中央値フィルタリングを含んでもよい。

【0067】

次いで、画像データ内の動物を、減算およびマスキング手順に耐えたアリーナ内の最大のオブジェクトとして動物を定義することによって、またはブロブ検出260によって、識別してもよい。次いで、マウスの画像を抽出してもよい265。

【0068】

動物の向きの識別
次いで、動物（例えば、マウス）の重心を、前処理された画像の質量中心として、または他の適切な方法によって識別してもよい270。次いで、動物の輪郭に楕円をフィッティングして285、動物の全体的な向きを検出してもよい。マウスを適切に方向付けする280ために、手動で方向付けしたマウス抽出画像のセットで様々な機械学習アルゴリズムを訓練してもよい（例えば、ランダムフォレスト分類器）。画像が与えられると、方向付けアルゴリズムは次いで、マウスの頭部が正しい方向に向いているか否かを示す出力を返す。

【0069】

位置が識別されると、動物の重心、頭部および尾部の位置、向き、長さ、幅、高さ、ならびに時間に対するそれらの1次導関数の各々を含む追加情報をビデオデータから抽出してもよい275。動物のポーズダイナミクスの特徴付けには、X軸およびY軸の射影ひずみの補正が必要であった。このひずみは、まず、実世界座標における画素ごとの（x,y,z）座標のタプルを生成し、次いでそれらの座標を、ドロネー三角形分割を使用して（x,y）平面の均一なグリッド上に当てはまるように再サンプリングすることによって補正してもよい。

【0070】

モデルベースアルゴリズムまたはモデルフリーアルゴリズムへの出力
図3に示すように、向き補正後の画像は、いくつかの態様では、主成分分析時系列310またはデータ点を減らすための他の統計的方法へ出力される。いくつかの態様では、データは、本明細書で開示するAR-HMMアルゴリズムまたはSLDS SVAEアルゴリズムなどのモデルフィッティングアルゴリズム315を適用されるか、またはビデオデータ内に含まれる行動モジュール300を識別するために開示のようなモデルフリーアルゴリズム320を適用されてもよい。加えて、いくつかの態様では、PCA時系列は実行されない。いくつかの態様では、多層パーセプトロンが次元を削減するために利用される。

【0071】

モデルフリーアルゴリズム320を用いる態様では、類似した向きプロファイルおよび軌跡を有するサブ秒行動モジュールを分離する目的で、アルゴリズムの様々な組合せを利用することができる。これらのアルゴリズムのいくつかの例を本明細書で開示するが、データを行動モジュールに分けるさらなるアルゴリズムを想定することもできる。

【0072】

画像の次元削減
モデルフリーアルゴリズム320またはモデルフィッティング315アルゴリズムを含むいくつかの態様では、各画素で捕捉された情報は、多くの場合、高い相関性があるか（近傍画素）、または情報価値がない（マウスの身体を決して表すことがない画像境界上の画素）。冗長な次元を削減すると共にモデル化を計算的に扱いやすくするために、様々な技術を使用して各画像を次元削減してもよい。例えば、5レベルのウェーブレット分解を行うことにより、画像を、各次元が単一の空間スケールの情報を捕捉しプールした表現に変換してもよい。この変換では、いくつかの次元は数ミリメートルのスケールで細かいエッジを明確にコードしうるが、一方で別の次元はセンチメートルの空間スケールで幅広い変化を符号化していた。

【0073】

しかし、このウェーブレット分解は、画像の次元を拡張する。この次元を削減するために、様々な技術を適用してもよい。

【0074】

いくつかの態様では、ランダム射影法を利用してデータの次元を削減してもよい。ランダム射影は、元の各次元にランダムに重み付けし、次いでその重み付けに従って各次元を合計し、データ点ごとの単一数を生成することによって、次元数D_origを有する元の信号から導出された新しい次元を生成する手法である。この手順を、新しいランダムな重み付けを使用して数回繰り返して、「ランダムに射影された」次元のセットを生成することができる。Johnson-Lindenstrauss補助定理によれば、次元数D_origを有する元のデータセット内の点間の距離は、ランダムに射影された次元D_projにおいて保存され、ここで、D_proj＜D_origである。

【0075】

他の態様では、次いでこれらのベクトルに主成分分析を適用して、ウェーブレット係数を10次元に射影してもよく、本発明者らはそれでもなお全分散の95％超が捕捉されることを発見した。例えば、主成分は、各々20分間にわたって記録された6週齢のC57BL/6マウス25匹の規準データセットを使用して構築してもよく、すべてのデータセットをこの共通ポーズ空間に射影した。したがって、次いでPCAの出力を、モジュール識別のためのモデル化アルゴリズムに入力してもよい。

【0076】

しかし、PCAは次元を削減して線形空間にする。本発明者らは、次元を削減して線形空間にすることは、行動に関連しないマウスにおける様々な変化に適応しないことを発見した。これには、マウスのサイズ、マウスの種などの変化が含まれる。

【0077】

したがって、本発明者らは、多層パーセプトロンなどの特定の種類のニューラルネットワークを使用すると、よりロバストな表現を維持しながら画像の次元を効果的に削減できることを発見した。例えば、本発明者らは、本明細書で開示されるような次元削減のための構造化変分オートエンコーダを提案した。さらに、これらの次元削減された画像は、マウスまたは他の動物のサイズに依存しないモデルを構築する有効な方法を提供し、行動に関連しない他の変化を説明することができる。例えば、次元を10次元画像多様体に削減するいくつかのニューラルネットワークが利用されうる。

【0078】

モデルフリーアルゴリズム:行動モジュールの長さの識別
モデルフリーアルゴリズム320を有するいくつかの態様では、動物がある動きパターンから別の動きパターンに遷移する速度を反映する、動物の行動に自己相似性がある時間スケールを評価するために、自己相関分析を行ってもよい。センサ特有のノイズを除去するためにはある程度のデータ平滑化が必要であるため、信号のタイムラグのあるバージョン間の統計的相関としてオートコレログラムを計算すると、たとえ死後硬直においてポーズをとらせた動物（例えばマウス）であっても、オートコレログラムの低下がもたらされる。したがって、マウスのポーズデータの全10次元間の相関距離を、問題の時系列信号のタイムラグのあるバージョン間の比較器として利用してもよく、死んでいる動物では値が約1.0の一様な自己相関関数が得られ、行動している動物（例えば、マウス）では低下した自己相関関数が得られる。このオートコレログラムが行動マウスにおいて低下する速度は、行動の基本的な時間スケールの尺度であり、指数関数的減衰曲線の時定数タウとして特徴付けてもよい。タウは、SciPy最適化パッケージを使用したLevenberg-Marquardtアルゴリズム（非線形最小二乗法）を使用して適合させることができる。

【0079】

いくつかの態様では、パワースペクトル密度（PSD）分析をマウスの行動データに対して行って、その時間領域構造をさらに分析してもよい。例えば、ウィーナフィルタを利用して、行動しているマウスに最適にマッチするように、死んだマウスから導出された信号において増強されるはずの時間周波数を識別してもよい。これは、単に、死んだマウスのPSDに対する行動しているマウスのPSDの比を取ることによって実施することができる。いくつかの態様では、PSDは、信号全体に及ぶスライド窓の平均PSDを取るWelchピリオドグラム法を使用して計算してもよい。

【0080】

モデルフリーアルゴリズム:遷移期間の変化点の位置決め
モジュールを識別するためにモデルを使用しない320いくつかの態様では、様々な方法を利用して遷移期間の変化点を識別してもよい。マウスの深度画像のランダム射影を経時的にプロットすると、各々が経時的な潜在的変化点である明確な線条が得られる。ランダム射影データにおいて見られるブロック構造間の潜在的境界を表すこれらの変化点の識別を自動化するために、フィルタ処理導関数アルゴリズム（filtered derivative algorithm）と呼ばれる簡単な変化点識別法を利用することができる。例えば、k＝4フレームのラグでフレーム当たりの単位正規化ランダム射影の導関数を計算するアルゴリズムを使用してもよい。各時間点で、次元ごとに、アルゴリズムは、信号がある閾値h＝0.15mmを超えたかどうかを判定してもよい。次いで、2進変化点インジケータ信号を、D＝300ランダム射影次元の各々にわたって合計してもよく、次いで、得られた1D信号を、シグマ＝0.43フレームのカーネル標準偏差を有するガウスフィルタで平滑化してもよい。次いで変化点を、この平滑化された1D時系列の極大値として識別してもよい。この手順は、パラメータk、hおよびシグマの特定の値に部分的に依存する。例えば、行動しているマウスで変化点の数を最大にするが、死んだマウスで変化点をもたらさない値を利用してもよい。

【0081】

モデルフリーアルゴリズム:類似モジュールまたは繰り返しモジュールの識別
データがモデルなしで分析される320いくつかの態様では、特定のアルゴリズムを利用して類似したモジュールまたは繰り返されるモジュールを識別してもよい。したがって、繰り返しモジュールのセットを、動物行動のボキャブラリーまたはシラブルとして識別してもよい。したがって、（わずか数フレームを超える）任意の比較的長い行動スニペットが、（基礎となる行動モデルに依存せずに）「繰り返された」かどうかを判定するために、システムは、テンプレートマッチング手順を利用して、PCAまたはMLP多様体空間を通る類似した軌跡を識別してもよい。類似の軌跡を識別するために、例えば、システムおよび方法は、いくつかのターゲットスニペット、すなわち「テンプレート」と、等しい長さの可能なすべてのスニペット（多くの場合、変化点分析によって識別されたおおよそのブロック境界によって定義される）との間のユークリッド距離を計算してもよい。統計に基づく他の方法を含めて、他の類似した方法を、モジュールを識別するために用いることもできる。

【0082】

いくつかの態様では、類似したモジュールの集合は、最も類似したスニペットとして選択され、（互いから時間的に距離を置いて発生するおよび別々のマウスにおいて発生する行動スニペットを確実に選択するように）互いから1秒未満のシフトで発見されたスニペットは無視する。

【0083】

データモデル化
他の態様では、データモデル315を利用してビデオデータ内の行動モジュールを識別するシステムおよび方法を使用してもよい。例えば、データモデルは、複雑な動的過程をモデル化するのに使用されることの多い、生成的確率的モデル化の十分に確立されたパラダイムを実装してもよい。このクラスのモデルは、観測されたデータをモデル自体によって合成的に生成することができる過程を記述するという意味で生成的であり、その過程が確率分布からのサンプリングに関して数学的に定義されるため確率的である。加えて、解釈可能なモデルをデータに適合させることによって、モデルが措定する潜在変数構造がデータを生じさせたことを明らかにするようにデータを「解析」した（状態の数およびアイデンティティを記述するパラメータ、ならびに状態間の遷移を記述するパラメータを含む）。

【0084】

いくつかの態様では、ベイズフレームワークを利用してモデル315を表現してもよい。ベイズフレームワークは、行動の構築のための階層モデルを表現する自然な方法、3Dデータセット内の動きパターンに関する公知のまたは観測された制約を反映する事前分布（prior）または正則化項（regularizer）、および不確実性のコヒーレントな表現を提供する。またこのフレームワークは、任意のモデルのキーパラメータを推論するための、重要な十分に確立された計算機械も提供する。ベイズフレームワーク内で、特定のモデル構造（例えば、状態の空間時間的特性およびそれらの可能な遷移）ならびに潜在変数の事前分布について、データは潜在変数の事後分布を固定する。

【0085】

以下では、行動を特徴付けるのに使用されるモデルベースの方法を次の2つの工程で定義する:第1は、生成モデルと使用された事前分布の数学的定義であり、第2は、推論アルゴリズムの記述である。

【0086】

行動モジュールを識別するためのモデルの例-AR-HMM
いくつかの態様では、システムは、離散時間隠れマルコフモデル315（HMM）を利用して行動モジュールを識別してもよい。HMMは、順次の時系列データをモデル化するための確率過程の範囲を包含する。HMMモデルは、（例えば、イメージングデータのすべてのフレームの）各時点において、マウスは、ラベルを与えることができる離散状態（マルコフ状態）内にあると措定する。各マルコフ状態は、その状態内にある間に動物が行う短い3次元の動きモチーフを表す。観測されたマウスの3次元行動は、その動物が直近の過去に発現した特定の動きパターンに依存するように見えるので、理想的には各マルコフ状態はマウスの将来の行動をその直近の過去のポーズダイナミクスに基づいて予測することになる。したがって、各マルコフ状態は、動物の行動モードを識別する潜在的離散成分と、行動モードに基づいて動物の短い時間スケールの行動を予測するのに使用される観測系列のラグの数の両方で構成される。このモデル構造を、多くの場合、スイッチングベクトル自己回帰（SVAR）モデルまたは自己回帰HMM（AR-HMM）と呼ぶ。

【0087】

図4に、AR-HMMアルゴリズムが、どのようにして、入力データ（PCA 310を使用して次元削減した405、脊椎で位置合わせした深度イメージングデータ305）を、行動モジュールの数および各モジュールが符号化しているPCA空間を通る軌跡、所与のモジュール内の任意の軌跡がどの程度持続するかを決定するモジュール特有の持続時間分布、ならびにこれらの個々のモジュールがどのように経時的に相互接続するかを記述する遷移行列を記述する適合モデルに変換することができるかの一例を示す。

【0088】

加えて、AR-HMMは、訓練データのすべてのフレームに、それを所与の行動モジュールと関連付けるラベルを割り当てるように構成することもできる。前処理および次元削減405の後、イメージングデータを訓練セット415と試験セット410に分割する。次いで訓練セット415をAR-HMM 315にかける。モデル315のパラメータをランダムに初期設定した後（ここではこれらのパラメータは、PCA空間を通る各モジュールの軌跡を記述する自己回帰パラメータ、モジュール間の時間的相互接続を決定する確率を記述する遷移行列、所与のモジュールのインスタンスがどの程度持続する可能性が高いかを記述する持続時間分布パラメータ、およびイメージングデータの各フレームに割り当てられ、そのフレームを特定のモジュールと関連付けるラベルを指す）、AR-HMMは、その他のパラメータを一定に保持したまま1つのパラメータを変化させることによってモデル315を適合させようと試みる。AR-HMMは、次の2つの主要な更新を交互に行う:アルゴリズム315は、まず、固定された遷移統計量セットおよび任意の所与のモジュールを記述するARパラメータの固定された記述が与えられるとイメージングデータをモジュールにセグメント化しようと試み、次いでアルゴリズムは、切り替わってセグメント化を固定し、遷移行列およびARパラメータ455を更新する。AR-HMM 315は、同様の手法を使用して、イメージングデータの任意の所与のフレームを所与のモジュールに割り当てる。AR-HMM 315はまず、所与のモジュールが「正しい」モジュールである確率を計算し、この確率は、状態の対応する自己回帰パラメータ455がその時間インデックスにおけるデータをどの程度十分に記述しているか、および結果として得られる状態遷移が遷移行列450とどの程度十分に一致しているかの尺度に比例する。

【0089】

第2の工程で、AR-HMM 315は、自己回帰パラメータ455および遷移パラメータ450を、割り当てられたデータにより良く適合するように変化させて、各行動モジュールおよびモード間の遷移のモデルを更新する。このプロセスの生成物は、記述されたパラメータ455であり、次いで行動の記述に関するこれらのパラメータの品質は、訓練からホールドアウトされたデータの尤度測定値を使用して評価される475。

【0090】

3Dポーズ系列データと関連付けられた離散的潜在状態445を識別することによって、HMMモデル315は、類似した短い時間スケールの運動ダイナミクスを示すデータのセグメントを識別し、そのようなセグメントを再利用された自己回帰パラメータの観点から説明することができる。観測系列ごとに、観測されない状態系列が存在する。時間インデックスtにおける離散状態がx_t＝iである場合に離散状態x_(t＋1)が値jを取る確率はiとjの決定論的関数であり、以前のすべての状態から独立している。記号で表すと以下のとおりである。

式中、πは（i,j）要素が状態iから状態jに遷移する確率である遷移行列450である。いくつかの態様では、離散状態のダイナミクスは、ここでは経時的に変化しないとみなす、遷移行列によって十分にパラメータ化されうる。推論アルゴリズム（後述する）のタスクの1つは、離散状態系列およびそれらの配置を決定する遷移行列の確度の高い値を推測し、よって、再利用される行動モジュールの順序およびこれらのモジュールがどのように経時的に接続されるかを決定する遷移パターンを推測することである。

【0091】

離散状態系列が与えられると、対応する3Dポーズデータ系列を、条件付きベクトル自己回帰（VAR）過程としてモデル化することができる。各状態特有のベクトル自己回帰は、対応する離散状態に特有の短い時間スケールの運動ダイナミクスを捕捉することができる。言い換えると、各行動モジュールを、それ自体の自己回帰過程としてモデル化することができる。より正確には、任意の時間インデックスtにおけるシステムの離散状態x_tが与えられると、その時間インデックスにおける観測データベクトルの値y_tは、観測系列のK個の以前の値y_(t-1),...,y_(t-K)に対する状態特有のノイズのある回帰に従って分布する。また推論アルゴリズムには、各状態の自己回帰動的パラメータならびにダイナミクスで使用されるラグの数の最も確度の高い値を推論するタスクを与えてもよい。

【0092】

いくつかの態様では、これらのスイッチング自己回帰ダイナミクスは、AR-HMMの中核を定義した。しかし、異なる動物集団または実験条件は行動の相違を生じさせることが予想されるので、2つ以上のそのような実験条件を考慮する場合、モデルを階層的に構築してもよい。すなわち、異なる実験条件は、状態特有のVARダイナミクスの同じライブラリを共有でき得るが、独自の遷移パターンおよび任意の固有のVAR動的モードを学習した。この単純な拡張により、モデルは実験の変更に起因するパラメータの変化を明らかにすることができる。さらに、使用される構成的ベイズ推定アルゴリズムは、そのような階層モデルを直ちに拡張する。

【0093】

ベイズ推定法を使用するために、各状態445を記述する遷移行列450および自己回帰パラメータ455を含む未知の数量を、潜在確率変数として一様な表現で扱うことができる。特に、弱い事前分布465をこれらの数量に配置することができ、観測された3Dイメージングデータを条件付けした後のそれらの事後分布465を調べた。自己回帰パラメータについては、Lasso様のペナルティを含んだ事前分布を使用して、情報価値がないラグインデックスを、それらに対応する回帰行列係数がゼロになるよう促すことができる。

【0094】

遷移行列450については、階層ディリクレ過程435の事前分布を使用して、離散的潜在状態445の数を正則化することができる。加えて、遷移行列450の事前分布も、自己遷移への離散状態の傾向を制御する単一の非負の数である粘着性（sticky）バイアスを含んだものであった。このパラメータは推測されたスイッチングダイナミクスの時間スケールを制御するため、このパラメータは、モデル推論アルゴリズムの出力が、本明細書で開示する変化点分析（またはモジュール長を識別する他の方法）によって決定されたモデルフリー持続時間分布および前処理されたモデル化されていない3Dポーズデータから生成されたオートコレログラムと（可能な限り密接に）一致するように設定することができる。いくつかの態様では、このパラメータを調整して、例えば、行動の時間スケールに対する事前分布を定義することができる。

【0095】

いくつかの態様では、モデル構造の特定の部分を除去することによってAR-HMMモデルよりも簡単なモデルを使用することができる。例えば、遷移行列内に取り込まれた離散スイッチングダイナミクスを除去し、それらを混合モデルで置き換えることにより、各離散状態の分布がその以前の状態に依存しない代替モデルが生成されてもよい。これが該当するのは、動物が、選択すべき行動モジュールのセットを有し、それらのうちの任意の所与の1つを発現する尤度が、それらが現れる順序に依存しなかった場合である。この単純化により、自己回帰混合モデル（AR-MM）を得た。

【0096】

あるいは、条件付き自己回帰ダイナミクスを単純な状態特有のガウス出力（Gaussian emission）で置き換えると、ガウス出力HMM（G-HMM）が得られる。このモデルは、各行動モジュールが、動的な軌跡ではなく、単純なポーズによって最も良く記述されるという仮説を探索するものである。両方の単純化を適用することによって混合ガウスモデル（G-MM）が得られ、G-MMにおいて行動は単に、任意の所与のポーズを発現する確率が前のポーズに依存しない経時的なポーズの系列である。スイッチングダイナミクスを除去することにより、純粋な自己回帰（AR）モデルまたは線形動的システム（LDS）モデルが得られ、このモデルでは、行動は、いかなる再利用される離散行動モジュールもないポーズ空間を通る軌跡として記述される。

【0097】

行動モジュールの分析
いくつかの態様では、システムは、行動モジュール間の関係の指示を提供するか、最も頻繁に使用される行動モジュールを記述するか、または行動モジュールの他の有用な分析を行う能力を提供してもよい。

【0098】

例えば、行動シラブル間の文法的関係を表すために、2つのシラブルが順々に現れること（モジュールの「バイグラム」）が見出された確率（例えば、バイグラム）を、すべての観測されたバイグラムの割合として計算することができる。いくつかの態様では、モジュールの各対(i,j)についてこの値を計算するために、例えば、n×n正方行列Aを利用してもよく、nはラベル系列中の全モジュールの数である。次いで、システムおよび方法は、ギブスサンプリングの最後の反復で保存されたラベル系列をスキャンしてもよく、システムがシラブルjの直前でシラブルiを識別する都度、エントリA[i,j]を増分する。ラベル系列の終わりで、システムは観測された全バイグラム数で割ってもよい。

【0099】

操作の結果として特に上方制御されたまたは選択的に発現されたモジュールを視覚的に構築するために、システムは各モジュールに選択性インデックスを割り当ててもよい。例えば、p(条件)が条件におけるモジュールの使用率を示す場合、システムは、円形オープンフィールド内でのモジュール対四角形の箱内でのモジュールの比較を、（p(円形)-p(四角形)/（p(円形)＋p(四角形)）でソートしてもよい。ブランク臭とキツネ臭（TMT）の比較では、システムは(p(tmt)-p(ブランク))/(p(tmt)＋p(ブランク))でモジュールをソートしてもよい。

【0100】

状態マップ視覚化
またシステムは、各ノードi∈V＝｛1,2,...,n｝がシラブルiに対応し、各有向エッジ

がバイグラムに対応するグラフG＝(V,E)上でn個のシラブルのシラブルバイグラム確率およびシラブル使用頻度を出力してもよい。グラフは、各ノードのサイズが対応するシラブルの使用頻度に比例し、各弧の幅および不透明度が、図の凡例に示されている最小および最大の範囲内の対応するバイグラムの確率に比例するように、円形ノードと有向弧のセットとして出力してもよい。再現可能な非（擬似）ランダムな方法で（図の全体的な回転まで）各グラフをレイアウトするために、システムは、スペクトルレイアウトアルゴリズムを使用してノードの位置を初期設定し、Fructherman-Reingold反復力指向レイアウトアルゴリズムを使用してノード位置を微調整してもよく、本発明者らは、NetworkXソフトウェアパッケージに実装されている両方のアルゴリズムを使用することができた。

【0101】

メイン推論アルゴリズムの概要
いくつかの態様では、推論アルゴリズムをモデル315に適用して、パラメータを推定してもよい。例えば、近似ベイズ推定は、ギブスサンプリング、マルコフ連鎖モンテカルロ（MCMC）推論アルゴリズムを使用して行うことができる。MCMCパラダイムでは、推論アルゴリズムは、関心対象の事後分布からの近似サンプルを構築し、これらのサンプルは、平均値を計算するために、または事後モードへのプロキシとして使用される。アルゴリズムによって生成されたサンプルの系列は、事後確率の低い領域または悪い局所最適解の領域をエスケープして、事後確率の高い領域にある。メインAR-HMMモデルでは、関心対象の潜在変数は、ベクトル自己回帰パラメータ、隠れた離散状態系列、および遷移行列（例えば、任意の所与の行動モジュール内のポーズダイナミクスを定義する自己回帰パラメータ、モジュールの順序、および任意の所与のモジュールと任意の他のモジュールとの間の遷移確率）を含む。MCMC推論アルゴリズムを3Dイメージングデータに適用することにより、AR-HMMのこれら潜在変数のサンプルのセットが生成される。

【0102】

ギブスサンプリングアルゴリズムは、期待値最大化（EM）アルゴリズムと変分平均場アルゴリズムの交互構造に直接類似した自然な交互構造を有する。AR-HMMに適用すると、事前分布からのランダムサンプルに初期設定された後、アルゴリズムは2つの主な更新を交互に行うことができる:第1に、アルゴリズムは、遷移行列および自己回帰パラメータを与えられると隠れた離散状態系列を再サンプリングすることができ、第2に、アルゴリズムは、隠れた状態が与えられるとパラメータを再サンプリングすることができる。

【0103】

言い換えると、アルゴリズム315は、まず、固定された遷移統計量セットおよび任意の所与のモジュールを記述するARパラメータの固定された記述が与えられるとイメージングデータをモジュール300にセグメント化しようと試み、次いでアルゴリズムは、切り替わってセグメント化を固定し、遷移行列450およびARパラメータ455を更新する。このプロセスの第1の工程で3Dポーズビデオフレームの各々を行動モード300のうちの1つに割り当てるために、特定の時間インデックスの状態ラベル445を、可能な離散状態のセットからランダムにサンプリングすることができ、所与の状態をサンプリングする確率は、状態の対応する自己回帰パラメータがその時間インデックスにおけるデータをどの程度十分に記述したか、および結果として得られる状態遷移が遷移行列450とどの程度十分に一致しているかの尺度に比例しうる。第2の工程では、データサブシーケンスの状態への割り当てが与えられると、自己回帰パラメータおよび遷移パラメータを、割り当てられたデータに適合するように再サンプリングして、各行動モードの動的モデルおよびモード間の遷移のモデルを更新することができる。ギブスサンプリングアルゴリズムによって実装される手順にはノイズがある可能性があり、アルゴリズムがパラメータ空間を効果的に探索するのを妨げ得る極大値をエスケープすることができる。

【実施例】

【0104】

以下で、開示の実施例を行うための本明細書に記載するモデルの具体的実施態様の例を開示する。行動モデルを識別するためにこれらのモデルの変形を実装してもよい。

【0105】

遷移行列の事前分布
粘着性HDP事前分布を、濃度パラメータα、γ＞0および粘着性パラメータκ＞0を有する遷移行列πに配置した。

式中、δ_ijは、i＝jの場合は1であり、それ以外の場合は0であり、π_iは、πの第i行を表す。ガンマ事前分布は、αとγとに配置され、α〜Gamma(1,1/100)とγ〜Gamma(1,1/100)とを設定する。

【0106】

離散状態系列の生成
遷移行列が与えられると、離散状態系列xの事前分布は、

であった。式中、x₁は、πの下で定常分布によって生成される。

【0107】

自己回帰パラメータの事前分布
各状態i＝1,2,...の自己回帰パラメータ

を、行列正規逆Wishart（Matrix Normal Inverse-Wishart）事前分布からサンプリングした。

または同等に、

式中、

は、クロネッカー積を表し、(A,b)はAにbを列として付加することによって形成された行列を表す。加えて、K₀のブロックARD事前分布を使用して、情報価値がないラグをゼロに縮小するよう促す。

【0108】

3Dポーズ系列主成分の生成
自己回帰パラメータと離散状態系列が与えられると、データ系列yは、アフィン自己回帰に従って生成された。

式中、

はK個のラグのベクトルを表す。

【0109】

代替のモデルは、AR-HMMの特殊例であり、制約を加えることによって構築した。特に、ガウス出力HMM（G-HMM）は、各状態インデックスiについてA⁽ⁱ⁾＝0に制約することに対応する。同様に、自己回帰混合（AR-MM）およびガウス混合（GMM）は、AR-HMMおよびG-HMMでそれぞれ、遷移行列を行全体にわたって一定になるように、すなわち、各iおよびi'についてπ_ij＝π_i'j＝π_jになるように制約することに対応する。

【0110】

実施例に対する推論アルゴリズムの具体的な実施態様
上述したように、ギブスサンプリング推論アルゴリズムは、固定された遷移行列および自己回帰パラメータが与えられるとデータのモジュールへのセグメント化を更新する段階と、固定されたセグメント化が与えられると遷移行列および自己回帰パラメータを更新する段階の2つの主要な段階を交互に行った。数学的には、セグメント化を更新することにより、データy、自己回帰パラメータθ、および遷移行列πの各値を条件とするラベル系列xがサンプリングされた。すなわち、条件付き確率変数x｜θ,π,yをサンプリングした。同様に、セグメント化が与えられた場合に遷移行列および自己回帰パラメータを更新することにより、それぞれ、π｜xおよびθ｜x,yがサンプリングされた。

【0111】

AR-HMMにおける推論のために、無限モデルを有限モデルで近似する、ディリクレ過程への弱極限近似を使用した。すなわち、ある有限近似パラメータLを選択して、βおよびπを、サイズLの有限ディリクレ分布を使用してモデル化した。

式中、π_kは遷移行列の第i行を表す。遷移行列のこの有限表現により、状態系列xをブロックとして再サンプリングすることが可能になり、大きなLでは、無限ディリクレ過程の任意に良好な近似を提供する。

【0112】

弱極限近似を使用して、AR-HMMのギブスサンプラは、条件付き確率変数

の再サンプリングを反復した。

【0113】

簡潔にするために、この項全体にわたって、ハイパーパラメータの調整のための表記法および複数の観測系列に対する上付き文字表記を行わない。

【0114】

x｜π,θ,yのサンプリング
動的パラメータπおよびθとデータyを与えられて状態ラベルxをサンプリングすることは、3Dビデオシーケンスをセグメント化し、各セグメントをその統計量を記述する行動モードに割り当てることに対応する。

【0115】

観測パラメータθおよび遷移パラメータπが与えられると、隠れた状態系列xは、連鎖グラフに対してマルコフとなる。標準HMM逆方向メッセージパッシング再帰は、t＝1,2,...,T-1およびk＝1,2,...,Kについて、

である。式中、B_T(k)＝1であり、y_t＋1:T＝(y_t＋1,y_t＋2,...,y_T)である。これらのメッセージを使用すると、第1の状態x₁の条件付き分布は、すべての将来の状態x_2:Tを無視すると、

であり、これは効率的にサンプリングすることができる。サンプリングされた値

が与えられると、第2の状態x₂の条件付き分布は、

である。

【0116】

したがって、HMMメッセージを逆方向に受け渡した後、状態系列を順方向に再帰的にサンプリングすることができる。

【0117】

θ｜x,yのサンプリング
状態系列xおよびデータ系列yを与えられて自己回帰パラメータθをサンプリングすることは、各モードに割り当てられた3Dビデオデータセグメントを記述するように各モードの動的パラメータを更新することに対応する。

【0118】

状態系列xおよび観測値yの固定サンプルを条件として観測パラメータθを再サンプリングするために、自己回帰尤度とMNIW事前分布との間の共役性を利用することができる。すなわち、条件付きもMNIW分布に従う。

式中、(S_n,v_n,M_n,K_n)は、状態kに割り当てられたyの要素ならびにラグのある先行する観測値の関数である事後ハイパーパラメータである。

式中、

【0119】

したがって、θ｜x,yを再サンプリングすることは次の3つの工程を含む:各状態に割り当てられたデータから統計量を収集する工程と、各状態の事後ハイパーパラメータを形成する工程と、各状態の観測パラメータを、適切なMNIWからの引出しをシミュレートすることによって更新する工程。(Α,Σ)〜MNIW(S_n,v_n,M_n,K_n)をシミュレートすることは、

のように進む。

【0120】

β,π｜xのサンプリング
状態系列xを与えられて遷移パラメータπおよびβをサンプリングすることは、状態系列内で観測された遷移パターンを反映するように行動モジュール間の遷移の確率を更新することに対応する。βを更新することにより、冗長な行動モードがモデルから取り除かれるよう促され、各π_ijを更新することにより、状態iから状態jへの観測された遷移が適合される。

【0121】

弱極限近似から（粘着性）HDPへの引出しである遷移パラメータβおよびπの再サンプリングを、補助変数サンプリング方式を使用して行った。すなわち、最初に補助変数m｜β,xをサンプリングすることによって、β,＼pi｜xを生成した。次いで、β,＼pi｜x,mを、最初に限界のβ｜mから、次いで条件付きのπ｜β,xからサンプリングすることによって生成した。

【0122】

サンプリングされた状態系列xにおける遷移カウントの行列は、

である。

【0123】

簡潔にするために条件表記を省略すると、補助変数m={m_kj:k,j＝1,2,...,K}は、

によってサンプリングされる。式中、Bernoulli(p)は、確率pで値1を取り、そうでない場合に値0を取るベルヌーイ確率変数を表す。粘着性バイアスなしのHDP-HMMの更新は、これらの更新においてκ＝0に設定することに対応することに留意されたい。

【0124】

補助変数が与えられると、βに対する更新はディリクレ多項共役のものであり、その場合、

である。式中、j＝1,2,...,Kについて、

である。π｜β,xの更新も同様であり、

である。

【0125】

実施例へのモデルの適用
検定力を高めるために、オープンフィールド実験、匂い実験、および遺伝子操作実験のデータセットを一緒にモデル化した。光遺伝学実験と関連付けられた神経移植は、動物のプロファイルをわずかに変化させたので、これらのデータは別々にモデル化した。すべての実験において、各画像化マウスのフレームごとの最初の10の主成分を集めた。次いで、データを細分化し、3:1の訓練:試験の比率で「訓練」または「試験」のいずれかのラベルを割り当てた。「試験」とラベル付けされたマウスを訓練プロセスからホールドアウトし、それらを使用して測定ホールドアウト尤度によって汎化性能を試験した。この手法により、その構成が行動の異なる基礎構造を反映するアルゴリズムを直接比較することができた。

【0126】

本発明者らは、本明細書に記載する手順を使用してデータでモデルを訓練した。モデル化は、初期設定とパラメータおよびハイパーパラメータの設定（カッパを除く、以下を参照）の両方に対してロバストであった。具体的には、本発明者らのAR観測分布で使用したラグの数と、HDP事前分布を有する本発明者らの遷移行列における使用状態の数とは、どちらの事前分布でも特定のハイパーパラメータ設定に対してロバストであることが分かった。本発明者らは、本発明者らのスパーシファイARD事前分布のハイパーパラメータを数オーダー変化させ、ホールドアウト尤度、使用ラグの数、および使用状態の数はごくわずかに変化した。また本発明者らは、本発明者らのHDP事前分布のハイパーパラメータも数オーダー変化させ、やはり、使用状態の数やホールドアウト尤度には変化が観測されなかった。すべての共同訓練されたデータは観測分布を共有したが、各処置クラスはそれ自体の遷移行列を可能とした。各モデルを、1000回のギブスサンプリングの反復によって更新した。ギブスサンプリングの最後の反復でモデル出力を保存した。この最終更新ですべてのさらなる分析を行った。

【0127】

本発明者らの行動モジュールの持続時間分布の「粘着性」は、モデルのカッパ設定によって定義され、AR-HMMによって発見された行動モジュールの平均持続時間に影響を与えた。これにより、本発明者らは行動をモデル化するための時間スケールを制御することができた。主文で論じたように、自己相関、パワースペクトル密度、および変化点アルゴリズムは、（変化点の持続時間分布によってカプセル化され、スペクトログラムおよびオートコレログラムによって反映される）スイッチングダイナミクスを特定のサブ秒時間スケールで識別した。したがって本発明者らは、持続時間分布のカッパ粘着性パラメータを、変化点検出によって発見される持続時間分布に最適にマッチするように経験的に設定した。これらの分布が最適にマッチするカッパ設定を見つけるために、本発明者らは、高密度グリッドサーチによって、変化点間間隔分布と事後行動モジュール持続時間分布との間のコルモゴロフ-スミルノフ距離を最小化した。

【0128】

マウスの系統、飼育および馴化
特に明記しない限り、すべての実験は6〜8週齢のC57/BL6雄（Jackson Laboratories）で行った。rorβおよびrbp4系統由来のマウスを、参照C57/BL6マウスと全く同様に馴化させ試験した。マウスを4週齢で本発明者らのコロニーに移し、そこで2週間にわたって12時間明/12時間暗の反転サイクルでグループ飼育した。試験当日、マウスを遮光容器に入れて実験室に運び入れ、そこで試験前に30分間暗闇に馴化させた。

【0129】

実施例1.行動アッセイ:生得的探索
これらの可能性に対処するために、本発明者らはまず、AR-HMMを使用して、オープンフィールドにおけるマウスの探索行動のベースラインアーキテクチャを定義し、次いで、この行動テンプレートが外界の異なる操作によってどのように変更されたかを問うた。

【0130】

オープンフィールドアッセイ（OFA）では、マウスを上記のように馴化させ、次いで、高さ15インチの壁を有する直径18インチの円形の囲い（US Plastics）の中央に入れ、その直後に3Dビデオ記録を開始した。動物は30分間の実験期間にわたって囲いを自由に探索することができた。四角形の箱内で行動を評価したマウスは、後述する匂い箱内のものを除いて、OFAと全く同様に扱い測定した。

【0131】

AR-HMMは、実験室での正常なマウスの探索行動を表す円形オープンフィールドのデータセット（図6A、n＝25匹の動物、20分の試験）から、確実に使用できる約60の行動モジュールを識別した（51のモジュールは画像化フレームの95％を説明し、65のモジュールは画像化フレームの99％を説明した、図5Aおよび図5B）。図5Aに、使用頻度でソートされたモジュールセット（X軸）に対してプロットした、各モジュールによって説明されたフレームの割合（Y軸）を示す。フレームの95％は51の行動モジュールによって説明され、フレームの99％はオープンフィールドのデータセットにおける62の行動モジュールによって説明された。

【0132】

図5Bに、指示されたベイズ確信区間を用いて使用頻度（Y軸）でソートされたモジュール（X軸）を示す。すべての確信区間は、ブートストラップ推定値に基づいて計算されたSEよりも小さいことに留意されたい（図5B）。上記のように、これらのモジュールの多くは、人間が記述できる行動の構成要素（例えば、立ち上がり、歩行、休止、旋回）を符号化している。

【0133】

AR-HMMは、任意の所与のモジュールが任意の他のモジュールに先行するまたは後に続く確率も測定する。言い換えると、モデルの訓練後、各モジュールに、セット内の他のすべてのモジュールとの対遷移確率を割り当てる。これらの確率は、行動中にマウスによって発現されたモジュールの順序を要約している。これらの遷移確率をマトリックスとしてプロットすると、それらは非常に不均一であり、各モジュールはあるモジュールには時間的に優先して接続し、他のモジュールにはそうではないことが明らかになった（図6B、閾値設定なしで平均ノード次数16.82±0.95、バイグラム確率を5％未満に閾値設定した後は、4.08±0.10）。モジュール対間のこの特定の接続性により、データセット内で観測されたモジュール系列が制限され（8900/約125,000の可能なトライグラム）、ある特定のモジュール系列を好むことを示した。この観測は、マウスが任意の所与の瞬間に何をしているか知ることにより、観測者にはマウスが次に何をする可能性が高いかが分かるため、マウスの行動が予測可能であることを示唆している。遷移行列の情報理論分析により、マウスの行動は大いに予測可能であり、1フレーム当たりの平均のエントロピーレートは一様な遷移行列と比べて低く（自己遷移なし3.78±0.03ビット、自己遷移あり0.72±0.01ビット、一様な行列のエントロピーレート6.022ビット）、相互接続されたモジュール間の平均相互情報量はゼロを大きく上回る（自己遷移なし1.92±0.02ビット、自己遷移あり4.84ビット±0.03ビット）ことが確認された。この行動に対する決定論的な質は、マウスがコヒーレントな動きパターンを発することを確実にするように働く可能性が高い。この可能性と合致するように、検査時に、頻繁に観測されるモジュール系列は、探索行動の種々の局面を符号化していることが判明した。

【0134】

円形オープンフィールドにおいてマウスによって発現された行動は、歩行運動探索のコンテキスト特有のパターンを反映している。本発明者らは、マウスが、環境の特定の物理的特徴と相互作用する新しいポーズダイナミクスを生成するように行動の構造を限局的に変更することによって、装置形状の変化に適応するであろうと仮定した。この仮説を検証するために、本発明者らは、より小さい四角形の箱内でマウスを画像化し、次いで、円形オープンフィールドデータと四角形のデータの両方で本発明のモデルを同時に訓練し、それによって、両条件下でのモジュールおよび遷移の直接比較を可能にした（各条件ともn＝25匹のマウス）。マウスは四角形の箱の隅および円形オープンフィールドの壁を探索する傾向があったが、ほとんどのモジュールの全体的な使用頻度は、探索行動がアリーナ間で多くの共通の特徴を共有することと合致して、これらの装置間で類似していた（図6C）。またAR-HMMは、異なる物理環境は新しい行動モジュールの発現を駆動するという考えと合致して、あるコンテキストでは広範に展開されるが、その他のコンテキストではごくわずかしかまたは全く展開されない少数の行動モジュールも識別した（図6C、後述するすべての使用頻度の差異について、ブートストラップ推定に基づきp＜10^-3）。

【0135】

興味深いことに、これらの「新しい」モジュールは、新しいポーズダイナミクスを引き出すと予測される、装置の特定の特徴との物理的相互作用中に展開されるだけでなく、無制約の探索期間中も展開される。例えば、1つの円形アリーナ特有のモジュールは、壁の曲率に一致する身体姿勢でマウスがアリーナ壁の近くを動き回る接触走性行動を符号化した。このモジュールは、マウスが円形アリーナの中心に近く、壁と物理的に接触していないときにも発現され、このモジュールの発現は単なる壁との物理的相互作用の直接的な結果ではなく、むしろ湾曲したアリーナにおけるマウスの行動状態を反映していることを示した。接触走性は四角形の箱でも発生したが、関連付けられた行動モジュールは、まっすぐな身体での歩行運動を符号化しており、四角形の装置と円形装置の両方でまっすぐな軌跡の間に使用された（図6D〜6E、中央パネル）。同様に、四角形の箱内で、マウスは、四角形の中心から隣接する隅のうちの1つへの突進を符号化するコンテキスト特有のモジュールを発現した。この動きパターンはおそらくは、四角形が小さい中央オープンフィールドを有していることの結果であり、マウスに課された物理的制約の特有の産物ではなかった。

【0136】

いくつかのさらなるモジュールは、あるコンテキストまたは他のコンテキストで優先的に発現されることが判明した。これらの上方制御されたモジュールは、アリーナの形状によって特定された他者中心的パターンで展開された行動を符号化しているように見えた。円形アリーナでは、例えば、マウスは、オープンフィールドの中心付近で休止しながらマウスの身体が外側を向く立ち上がりを優先的に発現し、より小さな四角形の箱では、マウスは、箱の隅で高い立ち上がりを優先的に実行した（図6E、データは示さず）。これらの結果は、マウスが何をするか（すなわち、その自己中心的行動）は、マウスが空間内のどこにいるか（すなわち、その他者中心的位置）に基づいて調節されることを示唆している。まとめると、これらのデータは、マウスが、少なくとも部分的に、（コンテキストに適したポーズダイナミクスを符号化している）コンテキスト特有の行動モジュールの限定されたセットを採用してベースライン動作パターンにすることによって、新しい物理環境に適応することを示している。これらの新しいモジュールは、その発現があるコンテキストまたはその他のコンテキストで豊富である他のモジュールと共に、環境の変化に対応するために空間において差次的に展開される。

【0137】

実施例2.行動アッセイ:刺激駆動型の生得的行動-匂い物質に対する反応
マウスは同じ基礎的な行動状態、すなわち歩行運動探索を、円形と四角形の両方で発現するため、この場合の行動モジュールへの観測される変化は限局的であり、程度が限定されると予測されうる。したがって、本発明者らは、マウスが、他は一定の物理環境内で、新しい動機付けされた動作の発現を含む行動状態の全体的変化を駆動する感覚手がかりに曝露されたときに、行動の基礎構造がどのように変化するかを問うた。

【0138】

揮発性匂い物質に対する生得的行動反応を評価するために、本発明者らは、四角形の箱の特定の象限内に匂いを空間的に分離する匂い送達システムを開発した。3/4インチの穴が箱の底に十字形に形成されており、1/16インチの厚さのガラスカバー（Tru Vue）を有する、各12インチ×12インチの箱を、1/4インチの黒い艶消しアクリル（Altech Plastics）で構築した。これらの穴をPTFEチューブで象限内の匂いを分離する陰圧を提供する真空マニホールド（Sigma Aldrich）に接続した。匂いは、1/2インチのNPT〜3/8インチの管継手（Cole-Parmer）を経由して箱に注入した。バキュテナー・シリンジ・バイアル（Covidien）の底に配置した匂い物質を吸わせた吸取紙（VWR）上にろ過した空気（1.0L/分）を吹き付けた。次いで、匂いをつけた空気流を、波形PTFEチューブ（Zeus）を通して匂い箱の隅の4つの管継手のうちの1つに送った。

【0139】

本発明者らは、低出力手持ち式HeNeレーザを用いた箱のシート照明により気化した匂いまたは煙を視覚化することによって、匂い箱が特定の象限内に匂いを分離する能力を確認した。この手法により、真空流と匂い流の速度を調整して匂い分離を達成することができ、これを光イオン化装置（Aurora Scientific）を使用して確認した。実験間の交差汚染の可能性を排除するために、匂い箱を1％Alconox溶液に一晩浸し、次いで70％エタノール溶液で完全に洗浄した。マウスを実験開始前に実験室に30分間馴化させた。対照条件下では、空気を含むジプロピレングリコール（1.0L/分）を装置の四隅の各々に送ってから、1匹のマウスを箱の中央に置き、3Dビデオ記録を20分間にわたって取得する間自由に探索させた。4つの象限のうちの1つに送られた匂い付き空気を用いた実験を続いて繰り返すことにより、同じコホートの動物の匂い応答を試験した。すべての3Dビデオ記録を完全な暗闇で行う。TMTはPherotechから取得し、5％濃度で使用した。

【0140】

したがって、四角形の箱を探索しているマウスを、嗅覚計を経由して箱の1象限に送られた嫌悪性のキツネ臭のトリメチルチアゾリン（TMT）に曝露した。この匂い物質により、匂い調査行動、ならびにコルチコステロイドおよび内因性オピオイドレベルの増加を伴う逃避行動およびすくみ行動を含む、複雑かつ重大な行動状態変化が開始する。これらの公知の作用と合致するように、マウスは匂いを含有する象限を嗅ぎ、次いで、捕食者手がかりを含む象限を避け、従来からすくみ行動として説明されてきた長期間の不動状態を示した（図7）。図7に、データセット内の他のすべてのモジュールと比較した、TMT曝露「すくみ」の後に差次的に上方制御され相互接続されたモジュールの平均速度を表したヒストグラムを示す。

【0141】

驚くべきことに、この一組の新しい行動は、通常の探索中に発現された行動モジュールの同じセットによって符号化された。いくつかのモジュールはTMT曝露後に上方制御または下方制御されたが、対照と比べて新しいモジュールの導入も除去もなかった（対照条件ではn＝25匹の動物、TMTではn＝15匹、モデルを両方のデータセットで同時に訓練した）。その代わりに、TMTは、特定のモジュールの使用頻度およびそれらの間の遷移確率を変更し、TMT制御行動を符号化する新しい好みの行動系列をもたらした（後述するすべての使用頻度および遷移の差異について、ブートストラップ推定に基づきp＜10^-3）。

【0142】

TMTへの曝露後に変更されたモジュール遷移をプロットすることにより、行動状態マップ内の2つの近傍が定義された。第1の近傍は、TMTによって中程度に下方制御された広範なモジュールおよび相互接続のセットを含むものであり、第2の近傍は、TMTによって上方制御された集中したモジュールおよび遷移のセットを含むものであった）。通常の行動中は、これらの新たに相互接続されたモジュールは一時的に分散されおり、休止または固まる（balling up）という異なる形態学的形態を符号化しているように個々に見える。対照的に、TMTの影響下では、これらのモジュールは連結されて、検査および定量化するとすくみ行動を符号化していることが判明した新しい系列になった（系列中平均速度は、0.14±0.54mm/秒、他のモジュールでは34.7±53mm/秒）。例えば、最も一般的に発現するすくみトライグラムは、（480分間の画像化において）対照条件下ではわずか17回であったのに対し、（300分間の画像化において）TMT曝露後に716回発現した。すくみを生じるようにこれらの休止モジュールに課されたTMT誘導性の近傍構造は、遷移確率の限局的変化によって行動を変更できることを示している。この遷移確率の局所的書き換えは、マウスの行動の全体的決定論の増加を伴い、TMT曝露の結果としてその全体的な動作パターンはより予測可能になり（1フレーム当たりのエントロピーレートは、自己遷移なしでは3.92±0.02ビットから3.66±0.08ビットに、自己遷移ありでは0.82±0.01ビットから0.64±0.02ビットに低下した）、これはマウスが決定論的回避戦略を実行することと合致する。

【0143】

匂い源への近接性もまた、特定の行動モジュールの発現パターンを決定した（図8D〜図8E）。例えば、すくみ関連モジュールのセットは、匂い源から最も遠位にある象限において発現される傾向があり、（その全体的な使用頻度がTMTによって変更されなかった）調査立ち上がりモジュールの発現は、匂い象限内で特に豊富であった（図8D〜図8E）。まとめると、これらの知見は、マウスの神経系が新しい適応行動を生成するための2つのさらなる機構を示唆している。第1に、通常は、歩行運動探索などの異なる行動状態と関連付けられる個々のモジュール間の遷移構造を、すくみなどの新しい行動を生成するように変更することができる。第2に、既存のモジュールおよび系列の展開の空間パターンを、匂いの調査や回避などの動機付けされた行動をサポートするように制御することができる。したがって、行動モジュールは単純に経時的に再利用されるのではなく、その発現が時間と空間の両方で動的に調整される、行動系列の柔軟に相互リンクされる構成要素として機能する。

【0144】

実施例3.遺伝子および神経回路がモジュールに及ぼす作用
上記のように、行動の細かい時間スケールの構造は、分単位の時間スケールにわたる動作に影響を及ぼす物理的または感覚的環境の変化に対して選択的に脆弱である。さらに、AR-HMMは、マウスによって発現された行動パターンを（本発明者らの画像化の限界内で）包括的にカプセル化するように見える。これらの所見は、AR-HMMは、サブ秒時間スケールのマウスの行動への系統的な窓を提供し、明確な行動表現型を定量化すると共に、ある範囲の空間時間的スケールにわたって行動に影響を及ぼす実験操作後に含まれる新しいまたは微妙な表現型を明らかにすることもできる可能性があることを示唆している。

【0145】

マウスの寿命の時間スケールに作用する個々の遺伝子の変化が、速い行動モジュールおよび遷移にどのように影響しうるかを探索するために、本発明者らは、脳および脊髄ニューロンで発現するレチノイド関連オーファン受容体1β（Ror1β）遺伝子についての突然変異マウスの表現型を特徴付けた。本発明者らがこのマウスを分析のために選択したのは、ホモ接合変異動物が、本発明者らがAR-HMMによって検出されると予期する異常歩行を示す^37-40からである。画像化およびモデル化の後、同腹仔対照マウスは、完全近交系C57/Bl6マウスとほとんど区別がつかないことが判明し、他方、突然変異マウスは動揺歩行を符号化している固有の行動モジュールを発現した（図9A、図9C）。この行動の変化はその逆を伴い、すなわち、野生型およびC57マウスでの、異なる速度での正常な前方移動を符号化する5つの行動モジュールの発現が、Ror1β突然変異体において下方制御された（図9A、モジュール中平均速度＝114.6±76.3mm/秒）。加えて、短い休止および頭の揺れを符号化している4つのモジュールのセットの発現も上方制御された（図9A、モジュール中平均速度＝8.8±25.3mm/秒）。この休止表現型はこれまで文献に報告されていなかった。興味深いことに、ヘテロ接合マウスは、報告された表現型はなく^37-40、目では正常に見え、野生型の回し車行動を示し⁴⁰、やはり、完全浸透性の突然変異表現型を発現することが判明した。ヘテロ接合マウスは、完全Ror1β突然変異体において上方制御された同じ休止モジュールのセットを過剰発現し、より劇的な動揺歩行表現型を発現しなかった（図9A）。

【0146】

したがって、AR-HMMは、Ror1βマウスの病理学的行動を、単一の新形態の動揺歩行モジュールと、休止行動を符号化している生理学モジュールの小グループの増加した発現との組合せとして記述する。ヘテロ接合体マウスは、これらの行動異常の定義されたサブセットを発現し、その浸透度は、中間ではなく突然変異体で観測されるものと等しい。これらの結果は、AR-HMMの感受性が、同腹仔の動物の重篤かつ微妙な行動異常の分画を可能にし、新しい表現型の発見を可能にし、遺伝子型間の比較を容易にすることを示唆する。またこれらの実験は、ゲノム中の特定の遺伝子の消えることのない生涯にわたる変化の結果である、行動の遺伝子型依存性の変化が、ミリ秒の時間スケールで作用するモジュール発現および遷移統計量に影響を及ぼしうることも示している。

【0147】

実施例4.行動アッセイ:光遺伝学-神経活動がモジュールに及ぼす作用
最後に、本発明者らは、AR-HMMによって捕捉された行動構造が、行動の一過性のまたは不確実な変化への洞察を与えるかどうかを問おうとした。したがって、本発明者らは、運動回路における神経活動を短く誘発し、異なる強度の刺激が行動の瞬間ごとの構築にどのような影響を及ぼすかを問うた。本発明者らは、光開閉性イオンチャネルChannelrhodopsin-2を皮質線条体系ニューロンにおいて片側だけ発現させ^41,42、運動皮質の光媒介活性化の前、その間およびその2秒後の行動反応を評価した（n＝4匹のマウス、モデルは以前の実験とは分離して訓練した）。

【0148】

4匹の成体雄Rbp4-Cre（The Jackson Laboratory）マウスを1.5％イソフルランで麻酔し、定位固定フレーム（Leica）に入れた。顕微注射ピペット（O.D.10〜15μm）を左運動皮質に挿入した（ブレグマからの座標:0.5AP,-1ML,0.60DV）。各マウスにAAV5.EFla.DIO.hChR2（H134R）-eYFP.WPRE.hGH （約10¹²感染単位/mL、Penn Vector Core）0.5μlを10分間かけて注入し、その後さらに10分間、注入部位からウイルス粒子を拡散させた。注入後、ジルコニアフェルール（O.D.200μm、開口数0.37）を有する裸光ファイバを注入部位の100μm上に挿入し、アクリルセメント（Lang）で頭蓋骨に固定した。ウイルス注射の28日後、マウスを円形アリーナに入れ、光学インプラントをパッチコードおよび回転ジョイント（Doric Lenses）を介してレーザポンプ（488nm、CrystaLaser）に結合した。レーザはPCから直接制御した。アリーナへの慣化の20分後、光刺激を開始した。レーザ出力、パルス幅、パルス間間隔および訓練間間隔は、カスタムメードのソフトウェア（NI Labview）によって制御した。各レーザパルス訓練は、15Hzで30パルス（パルス幅:50ms）からなっていた。連続訓練間の間隔は18秒に設定した。レーザ強度ごとに50の訓練を送達した。動物は、実験の過程にわたってより高いレーザ強度に漸進的に曝露させた。

【0149】

最低出力レベルでは、光誘発性の行動の変化は観測されなかったが、最高出力レベルでは、AR-HMMは、その発現が確実に光によって誘発された2つの行動モジュールを識別した（図10A）。これらのモジュールのいずれも正常なマウスの歩行運動中には発現されなかった。検査により、これらのモジュールは、マウスが空間で半円形またはドーナツ形をたどる、2つの形態の回転行動（その長さおよび旋回角度が異なる）を符号化することが明らかになった（図10B）。強力な片側運動皮質刺激後に新形態行動が誘発されることは驚くべきことではないが、AR-HMMはこれらの行動を新しいものとして認識すると共に、それらを2つの固有の行動モジュールとしてカプセル化したことに注目することは重要である。しかし、本発明者らは、約40％の時間、行動の全体的パターンが光オフセット後数秒間ベースラインに戻らなかったことに気付いた。ベースラインからのこの逸脱は、光オンセット時に誘発されたモジュールの継続的な発現によるものではなかった。その代わりに、マウスはしばしば、光オフセット時に、あたかも不随意運動後の「リセット」のように、休止モジュールを発現した（モジュール中平均速度＝0.8±7mm/秒）。

【0150】

高強度の光遺伝学的刺激によって誘発された行動変化は、本質的にすべての試験で、動物は2つの回転モジュールのうちの1つを発したので、信頼できた。本発明者らは次いで、AR-HMMの感度が、特定の行動モジュールの信頼できない放出を引き出す運動皮質刺激の中間領域で発生するような、行動のより微妙な変化の定量分析を可能にするかどうかを問うた。したがって、本発明者らは、2つの新形態行動モジュールのうちの一方がもはや検出されなくなり、他方が試験のわずか25％で発現されるまで光刺激のレベルの量を設定した。驚くべきことに、本発明者らは次いで、行動モジュールの第2セットの上方制御を検出することができ、その各々が時間の約25パーセントで発現された（図10A）。これらのモジュールは新形態ではなく、むしろ生理学的探索の間に通常発現され、旋回および頭部揺れ行動を符号化していた（データは示さず）。これらの個々の光調節されるモジュールの各々は不確かに放出されたが、集約すると、すべてのモジュールにわたる行動変化は、低レベルの神経活性化は行動に確実に影響を及ぼすが、大きくは、新形態の動作ではなく生理学的動作を誘発することによってであることを示唆した（図10A）。まとめると、行動モジュールの刺激ロックされた誘発と、モジュール使用頻度の刺激の残存する効果の両方の検出は、神経誘発性の行動の変化が、行動のサブ秒構造に影響を及ぼしうることを示している。さらに、その誘発が強刺激条件下では明らかにならなかった、生理学的に発現される光調節される行動モジュールのセットの識別も、AR-HMMが神経回路と行動の時系列構造との微妙な関係を明らかにできることを示唆している。

【0151】

実施例5:次元削減-確率的グラフィカルモデルおよび変分オートエンコーダ
図3に示すように、画像の向きの補正後、データの次元を削減する方法が使用されうる。例えば、各画像は900次元ベクトルであり、したがって次元を削減することがモデル解析にとってきわめて重要である。いくつかの態様では、モデルフリーアルゴリズム320またはモデルフィッティング315アルゴリズムを含む両方で、各画素で捕捉された情報は多くの場合、高い相関性がある（近傍の画素）か、または情報価値がない（マウスの身体を決して表すことがない画像の境界上の画素）。冗長な次元を削減すると共にモデル化を計算的に扱いやすくするために、様々な技術を使用して各画像を次元削減することができる。

【0152】

いくつかの例では、いくつかの態様における向き補正された画像は、主成分分析時系列310またはデータ点を削減するための他の統計的方法へと出力される。しかし、PCAは次元を削減して線形空間にする。本発明者らは、次元を削減して線形空間にすることは、行動に関連しないマウスにおける様々な変化に適応しない可能性があることを発見した。これには、マウスのサイズ、マウスの種などの変化が含まれる。

【0153】

したがって、本発明者らは、多層パーセプトロンなどの特定の種類のニューラルネットワークを使用すると、画像の次元を効果的に削減できることを発見した。さらに、これらの次元削減された画像は、マウスまたは他の動物のサイズに依存しないモデルを構築する有効な方法を提供し、行動に関連しない他の変化を説明することができる。例えば、次元を10次元画像多様体に削減するいくつかのニューラルネットワークが利用されうる。

【0154】

本発明者らは、ディープラーニング法を用いて確率的グラフィカルモデルを構成し、それぞれの強みを組み合わせて次元を削減する、教師なし学習のための新しいフレームワークを構築した。本発明者らの方法は、グラフィカルモデルを使用して構造化された確率分布を表現し、ディープラーニングからの最新の成果を使用して柔軟な特徴モデルおよびボトムアップ認識ネットワークを学習する。これらのモデルのすべての構成要素は、単一の目的を使用して同時に学習され、したがって本発明者らは、自然勾配確率的変分推論、グラフィカルモデルメッセージパッシング、および再パラメータ化トリックを用いたバックプロパゲーションを利用できるスケーラブルなフィッティングアルゴリズムを構築した。

【0155】

教師なしの確率的モデル化は、多くの場合2つの目標を有する:第1に、画像または音声録音などの複雑な高次元データを表現するのに十分なほど柔軟なモデルを学習することであり、第2に、解釈可能であり、有意味の事前分布を許容し、新しいタスクに汎化するモデル構造を学習することである。すなわち、多くの場合、データの確率密度を学習するだけでは不十分であり、有意味の表現を学習することも求められる。確率的グラフィカルモデル（Koller＆Friedman, 2009; Murphy, 2012）は、そのような構造化表現を構築する多くのツールを提供するが、その能力が限られる可能性があり、データに適用される前にかなりの特徴エンジニアリングを必要としうる。代わりに、ディープラーニングの進歩により、画像のような複雑なデータのための柔軟でスケーラブルな生成モデルのみならず、自動特徴学習およびボトムアップ推論のための新しい技術ももたらされている（Kingma＆Welling, 2014; Rezende et al., 2014）。

【0156】

図23に示す、追跡された自由行動マウスの深度ビデオのための教師なし生成モデルを学習する問題を考える。そのようなデータの解釈可能な表現を学習し、それらの表現が、動物の遺伝的特質が編集されるかまたは動物の脳内の化学成分が変更されるとどのように変化するかを研究することにより、神経科学や高スループット創薬のための強力な行動表現型決定ツールを作成することができる（Wiltschko et al., 2015）。ビデオの各フレームは特定のポーズでのマウスの深度画像であり、そのため、各画像が30×30＝900画素として符号化されていたとしても、データは低次元の非線形多様体の近くに存在する。優れた生成モデルは、この多様体を学習するのみならず、データの多くの他の顕著な面も表現しなければならない。

【0157】

例えば、あるフレームから次のフレームまで、対応する多様体点は互いに接近していなければならず、実際、多様体に沿った軌道は非常に構造化されたダイナミクスに従いうる。これらのダイナミクスの構造を知らせるために、動物行動学および神経生物学で使用される仮説の自然なクラス（Wiltschko et al., 2015）は、マウスの行動が突進、立ち上がり、グルーミングバウトなどの短い再利用される動作で構成されるということである。したがって、自然な表現は、各状態が特定の基本動作、教師なしリカレントニューラルネットワークモデルにおいて符号化するのが困難となる表現の単純なダイナミクスを捕捉する離散状態を含むことになる。

【0158】

画像多様体を学習し、構造化ダイナミクスモデルを学習するというこれら2つのタスクは補完的である。すなわち、本発明者らは、画像多様体を、セットとしてのみならず、構造化ダイナミクスモデルがデータによく適合する多様体座標に関して学習することも求める。同様のモデル化の課題が発話においても生じ（Hinton et al., 2012）、発話では、高次元データは、比較的自由度の低い物理システムによって生成される（Deng, 1999）が、音素、単語、および文法の離散潜在力学的構造も含む（Deng, 2004）ため、低次元多様体の近くに存在する。

【0159】

これらの課題に対処するために、本発明者らは、構造化された確率分布を表すためのグラフィカルモデルを構築し、非線形特徴多様体だけでなくボトムアップ認識ネットワークも学習して推論を向上させるために変分オートエンコーダからの概念を使用した（Kingma＆Welling, 2014）。よって、本方法は、ノンパラメトリックモデルを含む構造化されたベイズ事前分布と柔軟なディープラーニング特徴モデルとの組み合わせを可能にする。

【0160】

この手法は、モデルのすべての構成要素が同時に学習される単一の変分推論目的をもたらす。さらに、本発明者らは、確率的変分推論（Hoffman et ah, 2013）、グラフィカルモデルメッセージパッシング（Roller＆Friedman, 2009）、および再パラメータ化トリックを用いたバックプロパゲーション（Kingma＆Welling, 2014）を含む、効率的な推論におけるいくつかの進歩を組み合わせたスケーラブルなフィッティングアルゴリズムを構築する。よって、本発明者らのアルゴリズムは、いくつかの変分パラメータに対する自然勾配を効率的に計算し、効果的な二次最適化（Martens, 2015）を可能にすると同時に、バックプロパゲーションを使用してすべての他のパラメータに対する勾配を計算する共役指数分布族構造を利用することができる。一般的な手法は、構造化変分オートエンコーダ（structured variational autoencoder（SVAE））と呼ばれうる。本明細書ではSVAEを、スイッチング線形力学系（SLDS）（Murphy, 2012; Fox et al., 2011）に基づくグラフィカルモデルを使用して例示する。

【0161】

自然勾配確率的変分推論
確率的変分推論（SVI）（Hoffman et al., 2013）は、指数分布族共役性を利用して自然勾配を効率的に計算する（Amari, 1998; Martens, 2015）やり方で、確率的勾配上昇を平均場変分推論目的に適用する。大域潜在変数、局所潜在変数で構成されたモデルを考える。ここで、θ、局所潜在変数

であり、式中、ρ(θ)は指数分布族p(x_n,y_n｜θ)に対する自然な指数分布族共役事前分布である。

平均場族q(θ)q(x)＝q(θ)Π_nq(x_n)を考える。共役構造のために、最適な大域平均場因子q(θ)は、事前分布ρ(θ)と同じ族内にある。

その場合、局所変分因子q(x)を最適化する、大域変分パラメータに関する平均場目的を、

と書くことができ、目的（5）の自然勾配は、局所期待十分統計量の合計に分解される（IHoffman et al., 2013）。

式中、q^＊(x_n)は局所最適局所平均場因子である。よって、データ点y_nをサンプリングし、局所平均場因子q(x_n)を最適化し、スケーリングされた期待十分統計量を計算することによって、本発明の大域平均場目的のための確率的自然勾配の更新を計算することができる。

【0162】

2.2.変分オートエンコーダ
変分オートエンコーダ（VAE）（Kingma＆Welling, 2014; Rezende et al., 2014）は、ニューラルネットワークオートエンコーダ（Vincent et al., 2008）を平均場変分ベイズと結びつける最近提案されたモデルおよび推論方法である。画像の集合などの高次元データセットが与えられた場合、VAEは各観測値ynを、低次元潜在変数y_nおよびパラメータを有する非線形観測モデルに関してモデル化する。

式中、

この特定のMLP構成を再利用することになるため、本発明者らは以下の表記を導入する。

事後分布を近似するために、変分オートエンコーダは平均場族を使用する。

図2.変分オートエンコーダのグラフィカルモデル

【0163】

変分オートエンコーダの重要な洞察は、条件付き変分密度q(xn｜yn)を使用することであり、変分分布のパラメータは対応するデータ点に依存する。特に、q(xn＼yn)の平均値および共分散のパラメータを、それぞれ、n(yn＼(p)およびE(yrl;</>)であるように取ることができ、その場合、

はMLPパラメータのセットを表す。よって、変分分布q(xn｜ijn)は、観測値から潜在変数の分布への確率的エンコーダのように働き、一方、順モデルp(yn｜xn)は潜在変数値から観測値の分布への確率的デコーダのように働く。

【0164】

結果として得られる平均場目的は、オートエンコーダの変分ベイズバージョンを表す。変分パラメータはその場合、エンコーダパラメータおよびデコーダパラメータであり、目的は、

である。

【0165】

この目的を効率的に最適化するために、Kingma＆Welling（2014）は、再パラメータ化トリックを適用する。表記および計算を簡単にするために、本発明者らは、まず、目的を、

と書き換える。項KL(q(x＼y)＼＼p(x))は、2つのガウス分布間のKLダイバージェンスであり、fに対するその勾配を閉じた形で計算することができる。期待値項の確率的勾配を計算するには、確率変数を、

としてパラメータ化することができるため、期待値項を、モンテカルロ法によって近似されたその勾配に関して書き換えることができる。

これらの勾配項を、標準的なバックプロパゲーションを使用して計算することができる。スケーラビリティのために、データ点全体の合計もモンテカルロ法によって近似される。

【0166】

生成モデルおよび変分族
したがって、これらのアルゴリズムに基づき、本発明者らは、SVAE生成モデルおよび対応する変分族を構築した。具体的には、本発明者らは、SVAEが離散潜在変数と連続潜在変数の両方を、高い確率的依存性と共にどのようにして組み込むことができるかを例示する、スイッチング線形力学系（SLDS）（Murphy, 2012; Fox et al, 2011）に基づく時系列のための特定の生成モデルに焦点を当てる。

【0167】

ここで説明する手法は、広範な確率的グラフィカルモデルのセットに適用され、時系列にのみ限定されない。まず、セクション3.1で、観測値を生成するための、潜在構造を表すグラフィカルモデルと柔軟なニューラルネットとの組み合わせを示す生成モデルについて説明する。次に、セクション3.2で、グラフ構造化された平均場近似と柔軟な認識ネットワークの両方を利用する構造化変分族について説明する。

【0168】

3.1非線形観測値を用いたスイッチング線形力学系
スイッチング線形力学系（SLDS）は、線形ダイナミクスの離散集合に従って発展する連続潜在状態に関するデータを表す。各時点において、力学モードにインデックス付けする離散値潜在状態と、力学モードの線形ガウシアンダイナミクスに従って発展する連続値潜在状態とがある。

図24に、SLDS生成モデルおよび対応する構造CRF変分族のグラフィカルモデルを示す。
離散潜在状態はマルコフダイナミクスに従って発展する。

初期状態は別々に生成される。

【0169】

よって、SLDSの潜在変数およびパラメータの推論により、異なる線形ダイナミクス間のマルコフスイッチングに加えて、各々が潜在状態に関する線形力学系として記述された再利用される力学モードのセットが識別される。力学パラメータは以下で表されうる。

各時点において、連続潜在状態は、条件付きガウス分布である観測値

を生じる。典型的なSLDS（Fox et al., 2011）では、

と書くことができる。

【0170】

しかし、画像および他の複雑な特徴の柔軟なモデル化を可能にするために、アルゴリズムは、依存をより一般的な非線形モデルとすることができる。特に、本発明者らはMLPについて以下の式を考える。

【0171】

構築について、密度は指数分布族内にあることに留意されたい。事前分布p(0)が自然な指数分布族共役事前分布であることを選択し、

と書くことができる。

【0172】

また、ベイジアンノンパラメトリック事前分布を使用し、階層ディリクレ過程（HDP）HMM（Fox et al., 2011）に従って離散状態系列を生成することもできる。ベイジアンノンパラメトリックの事例についてはこれ以上論じないが、ここで構築したアルゴリズムは、Johnson＆Willsky（2014）の方法を使用してHDP-HMMに直ちに拡張される。

【0173】

この構成は、上述したVAEの生成モデルを特殊事例として含む。具体的には、VAEは同じクラスのMLP観測モデルを使用するが、各潜在値xtは独立同分布のガウシアンとしてモデル化されると共に、ここで提案するSVAEモデルは豊富な同時確率的構造を可能にする。SLDS生成モデルはまた、特殊事例として、混合ガウスモデル（GMM）、ガウス出力離散状態HMM（G-HMM）、およびガウス線形力学系（LDS）も含み、よってSLDSのためにここで構築したアルゴリズムはこれらのモデルに直接特殊化される。

【0174】

各状態内で条件付き線形ダイナミクスを使用することには限界があるように見えるかもしれないが、柔軟な非線形観測分布はそのようなモデルの能力を大幅に拡張する。実際、ニューラル単語埋め込み（Mikolov et al., 2013）およびニューラル画像モデル（Radford et al., 2015）に関する最近の研究は、線形構造が有意味のセマンティクスに対応する学習された潜在空間を実証している。

【0175】

例えば、単語ベクトルの加算および減算を単語間の意味的関係に対応させることができ、画像モデルの潜在空間における並進を、オブジェクトの回転に対応させることができる。したがって、学習された潜在空間内の線形モデルは、高速の確率的推論、解釈可能な事前分布およびパラメータ、ならびに多数の他のツールを使用可能にしながら、顕著な表現力をもたらすことができる。特に、線形ダイナミクスは、時間スケールおよび頻度に関する情報を学習または符号化することを可能にする。すなわち、各遷移行列A^(k)の固有値スペクトルは、その特有の時間スケールを直接表し、そのため、非線形ダイナミクスモデルが許容しないやり方で線形ダイナミクスの構造を制御し解釈することができる。

【0176】

3.2.変分族およびCRF認識ネットワーク
ここでは、セクション3.1の生成モデルの事後分布における変分推論を行うための構造化された平均場族について説明する。この平均場族は、SVAEがどのようにしてグラフィカルモデルおよび指数分布族構造を利用するだけでなくボトムアップ推論ネットワークを学ぶこともできるかを示す。以下に示すように、これらの構造は、SVI、メッセージパッシング、バックプロパゲーション、および再パラメータ化トリックを含むいくつかの効率的な推論アルゴリズムを構成することを可能にする。

【0177】

平均場変分推論では、事後分布における依存関係を断ち切ることによって扱いやすい変分族を構築する（Wainwright＆Jordan, 2008）。セクション3.1で開発された生成モデルのための構造化された平均場族を構築するために、ダイナミクスパラメータθと観測パラメータと離散状態系列と連続状態系列との間の事後分布依存関係を断ち切り、対応する因数分解された密度を

と書くことができる。

【0178】

この構造化された平均場族は、離散状態間または連続状態間の依存関係を断ち切らないことに留意されたい。というのも、これらの確率変数は事後分布において高い相関性があるからである。依存関係を長期間にわたって維持することによって、これらの構造化された因子は、事後分布のより一層正確な表現を提供すると同時に、グラフィカルモデルメッセージパッシングによる扱いやすい推論も可能にする（Wainwright＆Jordan, 2008）。

【0179】

ボトムアップ推論ネットワークを利用するために、因子を条件付き確率場（CRF）としてパラメータ化することができる（Murphy, 2012）。すなわち、最適な因子は連鎖グラフに従ったマルコフであることを使用して、本発明者らは因子を、ペアワイズポテンシャルおよびノードポテンシャルに関して

と書く。ここでノードポテンシャルは観測値の関数である。具体的には、本発明者らは、セクション2.2の表記を使用して、各ノードポテンシャルが、精度行列およびポテンシャルベクトルがMLPによる対応する観測に依存するガウス型因子であることを選択する。

これらの局所認識ネットワークは、各観測値からの回帰を、対応する潜在状態における確率的推測に適合させることを可能にする。グラフィカルモデル推論を使用して、これらの局所推測をダイナミクスモデルと合成して、状態系列全体にわたるコヒーレントな結合因子にすることができる。

【0180】

この構造化された平均場族を、上述した変分オートエンコーダで使用される完全因数分解族と直接比較することができる。すなわち、VAEの潜在変数間にはグラフ構造がない。SVAEは、認識ネットワークの出力が、本明細書で考察したノードポテンシャルなど、グラフィカルモデル内の任意のポテンシャルであることを可能にすることによって、VAEを一般化する。さらに、SVAEでは、グラフィカルモデルポテンシャルのいくつかは、認識ネットワークの出力ではなく、確率モデルによって誘導される。例えば、最適なペアワイズポテンシャルは、力学パラメータおよび潜在的離散状態に関する変分因子、ならびに順方向生成モデル（セクション4.2.1参照）によって誘導される。よって、SVAEは、柔軟な推論ネットワークからのボトムアップ情報を、構造化された確率モデルにおける他の潜在変数からのトップダウン情報と組み合わせる方法を提供する。

【0181】

式（23）と同様に、p(θ)が共役事前分布として選択される場合、最適な因子q(θ)は同じ指数分布族にある。

表記を簡単にするために、セクション2.2と同様に、本発明者らは、観測パラメータに関する変分因子を特異分布であるものとみなし、大域変分パラメータに関する平均場目的は、その場合、

であり、式（5）と同様に、最大化は局所変分因子の自由パラメータ全体に及ぶものである。セクション4では、この変分目的をどのように最適化するかを示す。

【0182】

4.学習および推論
このセクションでは、式（29）のSVAE目的の確率的勾配を計算するための効率的なアルゴリズムを開示する。これらの確率的勾配は、確率的勾配上昇やAdam（Kingma＆Ba, 2015）などの一般的な最適化ルーチンで使用することができる。

【0183】

開示されるように、SVAEアルゴリズムは本質的には、セクション2.1およびセクション2.2にそれぞれ記載されているSVI（Hoffman et ah, 2013）とAEVB（Kingma＆Welling, 2014）の組み合わせである。SVAEアルゴリズムは、SVIを利用することにより、指数分布族共役構造が利用可能な場合に、これを利用していくつかの変分パラメータに関する自然勾配を効率的に計算することができる。自然勾配は変分族の形状に適合され、モデル再パラメータ化に対して不変であるため（Amari＆Nagaoka, 2007）、自然勾配上昇は効果的な二次最適化法を提供する（Martens＆Grosse, 2015; Martens, 2015）。これらのアルゴリズムは、AEVBを利用することにより、一般的な非線形観測モデルと柔軟なボトムアップ認識ネットワークの両方に適合することができる。

【0184】

アルゴリズムは2つの部分に分割される。まず、セクション4.1で、モデル特有の推論サブルーチンからの結果に関して目的の勾配を計算するための一般的なアルゴリズムを開示する。次に、セクション4.2で、このモデルのSLDSの推論サブルーチンへの適用を開示する。

【0185】

4.1.SVAEアルゴリズム
ここでは、モデル推論サブルーチンの結果を使用してSVAE平均場目的（29）の計算確率的勾配が計算される。このアルゴリズムは、アルゴリズム1に要約されている。

【0186】

スケーラビリティのために、ここで使用される確率的勾配はデータのミニバッチに対して計算される。表記を簡単にするために、データセットは各々長さTのN個の系列の集合であると仮定する。ランダムに1つの系列を一様にサンプリングし、それを用いて確率的勾配を計算することができる。また、部分列をサンプリングし、制御可能にバイアスされた確率的勾配を計算することも可能である（Foti et al., 2014）。

【0187】

SVAEアルゴリズムは、自然勾配および標準勾配を計算する。これらの勾配を計算するために、セクション2.2と同様に、本発明者らは、目的を

のように分割する。

【0188】

第2項のみが変分ダイナミクスパラメータに依存することに留意されたい。さらに、これは同じ指数分布族の2つのメンバー（式（23）および式（28））間のKLダイバージェンスであり、そのため、Hoffman et al.（2013）およびセクション2.1と同様に、本発明者らは、（30）の自然勾配を

と書くことができる。式中、q(z)およびq(x)は、式（6）と同様に局所最適局所平均場因子とみなされる。したがって、系列インデックスnをランダムに一様にサンプリングすることにより、自然勾配のバイアスのない推定値が以下によって与えられる。

本発明者らは

と略記する。これらの期待十分統計量は、セクション4.2に記載されるモデル推論サブルーチンを使用して効率的に計算される。

【0189】

よって、本発明者らは、モデル推論サブルーチンがこれらの量を計算するために使用する手順を差別化しなければならない。この差別化をSLDSに対して効率的に行うことは、メッセージパッシングによるバックプロパゲーションに相当する。

【0190】

4.2.モデル推論サブルーチン
VAEは限られた潜在確率構造を有する特定のSVAEに対応するため、この推論サブルーチンはAEVBアルゴリズム（Kingma＆Welling, 2014）における2つの工程の一般化とみなすことができる。しかし、SVAEの推論サブルーチンは一般に他の計算を行いうる。第1に、SVAEは他の潜在確率変数およびグラフ構造を含むことができるため、推論サブルーチンは局所平均場因子を最適化するか、メッセージパッシングを実行しうる。第2に、SVAEは大域因子に対して確率的自然勾配の更新を行うことができるため、推論サブルーチンは期待十分統計量の計算も行いうる。

【0191】

表記を簡単にするために、系列インデックスnを省いて、y(ⁿ)の代わりにyと書くことができる。このアルゴリズムは、アルゴリズム2に要約されている。

【0192】

4.2.1.局所平均場因子の最適化
セクション2.1のSVIアルゴリズムと同様に、所与のデータ列yについて、局所平均場因子を最適化することができる。すなわち、自然パラメータを有する固定大域パラメータ因子と認識ネットワークによって出力された固定ノードポテンシャルとについて、本発明者らは、離散潜在状態の局所変分因子と連続潜在状態の局所変分因子の両方に関して変分目的を最適化する。この最適化を、SLDS指数分布族形式と構造化変分族を利用することによって効率的に行うことができる。

【0193】

4.2.2.サンプル、期待統計量、およびKL
局所変分因子を最適化した後、モデル推論サブルーチンは、最適化された因子を使用してサンプルを抽出し、期待十分統計量を計算し、KLダイバージェンスを計算する。次いでこれらの推論計算の結果は、SVAE目的の勾配を計算するのに使用される。

【0194】

6.実験
6.1.IDの跳ね返りドット
代表的なトイプロブレムとして、ドットが画像の一方の端から他方の端まで一定の速度で跳ね返る1次元画像シーケンスを考える。図25に、この問題に適合されたLDS SVAEにおける推論の結果を示す。最上部のパネルには、経時的なノイズの多い画像の観測値が示されている。2番目のパネルには、過去の画像と未来の画像の両方に関するモデルの推論が示されている。モデルは、垂直な赤線の左側の観測値を条件としており、よってフィルタリングを行っており、垂直な赤線の右側でモデルは予測を行っている。この図には、モデルが、適切な低次元表現およびダイナミクスを学習しており、遠い将来まで一貫して予測することができることが示されている。

【0195】

また、ドット問題を使用して、変分ダイナミクスパラメータに関して自然勾配によって提供される顕著な最適化の利点を例示することもできる。図6では、自然勾配の更新が、3つの異なる学習率での標準勾配の更新と比較されている。自然勾配アルゴリズムは、ずっと高速で学習するだけでなく、より安定している。すなわち、自然勾配の更新は0.1のステップサイズを使用したが、標準勾配ダイナミクスは0.1と0.05のどちらのステップサイズでも不安定であり、早期に打ち切られた。0.01のステップサイズでは安定した標準勾配の更新が得られたが、訓練は自然勾配アルゴリズムの場合よりも桁違いに遅い。

【0196】

6.2.マウスの行動表現型決定
行動表現型決定の目標は、行動のパターンを識別し、動物の環境、遺伝的特質、または脳機能が変化したときにそれらのパターンがどのように変化するかを調べることである。ここで、本発明者らは、SLDS SVAEがそのようなビデオデータの柔軟でしかも構造化された生成モデルをどのようにして学習できるかを示すために、Wiltschko et al.（2015）の3D深度カメラデータセットを使用する。

【0197】

VAEの非線形観測モデルは、マウスの深度画像の多様体を学習する上で重要である。図7（図25で参照されている）には、潜在空間内のランダム2Dグリッド上の点に対応する画像が示されており、非線形観測モデルがどのようにして正確な画像を生成できるかが示されている。SVAEは、構造化された潜在確率モデルを適合させながら同時にこの特徴多様体を学習する。

【0198】

図4（図25で参照されている）には、生成ビデオ完成タスクを示す学習された力学構造の一部が示されている。この図は、モデル生成データと対応する実データとを交互に含んでいる。モデル生成データ内では、2本の赤線の間のデータは、対応する観測値に条件を付けずに生成されたものであり、2本の赤線外のデータは条件付きで生成されたものである。

【0199】

結論
本明細書では、確率的グラフィカルモデルとディープラーニングからの柔軟な特徴表現の両方を利用する新しいモデルクラスおよび対応する推論アルゴリズムが開示されている。時系列の文脈では、この手法は、推論、推定、さらには制御にさえも使用できるいくつかの新しい非線形モデルを提供する。例えば、SVAEにおいて潜在的線形構造を維持することによって、いくつかの動的プログラミング制御問題が扱いやすいままにとどまりうる。

【0200】

本開示では時系列モデル、特にSLDSおよび関連モデルに焦点を当てたが、ここで提示した構成はより一般的である。すなわち、CRFポテンシャルの柔軟なボトムアップ推論ネットワークを学習し、次いでそのボトムアップ情報を構造化モデルにおいてコヒーレントな確率的推論と組み合わせるという基本戦略は、グラフィカルモデルが有用であることが判明している場合には常に該当しうる。SVAEはまた、確率モデル化の他の多くのツールが、階層モデル化、構造化された正則化および関連度自動決定、ならびに欠損データの容易な処理を含む、より新しいディープラーニングの手法と組み合わされることも可能にする。

【0201】

参考文献

【0202】

選択された態様
以上の説明および添付の特許請求の範囲は、本発明のいくつかの態様を開示しているが、本発明の他の代替態様を以下のさらなる態様において開示する。
1. 対象の動きを表す3次元ビデオデータを少なくとも1つのモジュールセットと少なくとも1つのモジュール間遷移統計量セットとに区分するために、計算モデルを使用して前記ビデオデータを処理する工程、および
前記少なくとも1つのモジュールセットを、動物行動のタイプを表すカテゴリに割り当てる工程
を含む、対象の動きを分析してモジュールに分離するための方法。
2. 前記処理する工程が、前記ビデオデータにおいて前記対象を背景から分離する工程を含む、態様1の方法。
3. 前記処理する工程が、前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程をさらに含む、態様2の方法。
4. 前記処理する工程が、位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程をさらに含む、態様3の方法。
5. 前記処理する工程が、主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析（PCA）を使用して前記位置合わせされたフレームを処理する工程をさらに含む、態様4の方法。
6. 前記処理する工程が、多様体空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、多層パーセプトロン（MLP）を使用して前記位置合わせされたフレームを処理する工程をさらに含む、態様4の方法。
7. 前記処理する工程が、前記ポーズダイナミクスデータを別々のモジュールセットに時間的にセグメント化するために、計算モデルを用いて前記位置合わせされたフレームを処理する工程をさらに含み、モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、態様5の方法。
8. 前記モデルがスイッチング線形力学系（SLDS）モデルである、態様7の方法。
9. 前記多層パーセプトロンが構造化変分オートエンコーダである、態様7の方法。
10. 前記モデルが勾配降下およびバックプロパゲーションを使用して訓練される、態様6の方法。
11. MLPを用いて前記位置合わせされたフレームを処理する工程が、計算モデルを用いて前記フレームを処理する工程と同時に行われる、態様7の方法。
12. 前記3次元ビデオデータにおいて閾値を上回る頻度で発生するモジュールセットの各々の表現を表示する工程をさらに含む、態様5の方法。
13. 前記計算モデルが、サブ秒モジュールを、PCA空間を通る定型化した軌跡を表すベクトル自己回帰過程としてモデル化することを含む、態様1の方法。
14. 前記計算モデルが、隠れマルコフモデルを使用してサブ秒モジュール間の遷移期間をモデル化することを含む、態様1の方法。
15. 前記3次元ビデオデータが、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点が前記対象の3Dポーズダイナミクスを表す、態様1の方法。
16. 前記対象が動物試験における動物である、態様1〜10のいずれかの方法。
17. 前記対象がヒトである、態様1〜10のいずれかの方法。
18. 対象を背景から分離するために、前記対象の動きを表す3次元ビデオデータを前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程、
3次元グラフィカル空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、多層パーセプトロン（MLP）を使用して前記位置合わせされたフレームを処理する工程、
前記ポーズダイナミクスデータを別々のサブ秒モジュールセットに時間的にセグメント化するために、前記位置合わせされたフレームを処理する工程であって、モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、工程、および
前記3次元ビデオデータにおいて閾値を上回る頻度で発生するモジュールセットの各々の表現を表示する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
19. 前記位置合わせされたフレームを処理する工程が、モデルフリーアルゴリズムを使用して行われる、態様18の方法。
20. 前記モデルフリーアルゴリズムが、オートコレログラムを計算することを含む、態様19の方法。
21. 前記位置合わせされたフレームを処理する工程が、モデルベースアルゴリズムを使用して行われる、態様18の方法。
22. 前記モデルベースアルゴリズムがAR-HMMアルゴリズムである、態様21の方法。
23. 前記モデルベースアルゴリズムがSLDSアルゴリズムである、態様21の方法。
24. 前記多層パーセプトロンがSVAEである、態様18の方法。
25. SVAEおよびMLPが、変分推論目的を使用しかつ勾配上昇を行って訓練される、態様24の方法。
26. SVAEおよびMLPが同時に訓練される、態様25の方法。
27. 前記対象が動物試験における動物である、態様18〜22のいずれかの方法。
28. 前記対象がヒトである、態様18〜22のいずれかの方法。
29. 前記対象が、前記対象のサイズが変化するのに十分なほど長い期間にわたって分析される、態様18〜22のいずれかの方法。
30. SVAEおよびMLPが、異なるマウスまたはラットの系統に基づくデータを使用して訓練される、態様25の方法。
31. 試験化合物が試験対象に投与された後の前記試験対象においてモジュールセットを含む試験行動表現を識別する工程、
前記試験行動表現を複数の基準行動表現と比較する工程であって、各基準行動表現が各薬物クラスを表す、工程、および
前記試験行動表現が分類器によってある薬物クラスを表す基準行動表現と一致すると識別された場合に、前記試験化合物は前記薬物クラスに属すると決定する工程
を含む、試験化合物を分類する方法。
32. 前記試験行動表現が、
前記試験対象の動きを表す3次元ビデオデータを受け取る工程、
前記3次元データを少なくとも1つのモジュールセットと少なくとも1つのモジュール間遷移期間セットとに区分するために、計算モデルを使用して前記データを処理する工程、および
前記少なくとも1つのモジュールセットを動物行動のタイプを表すカテゴリに割り当てる工程
によって識別される、態様31の方法。
33. 前記計算モデルが、サブ秒モジュールを、主成分分析（PCA）空間を通る定型化した軌跡を表すベクトル自己回帰過程としてモデル化することを含む、態様32の方法。
34. 前記計算モデルが、サブ秒モジュールを、MLPがサブ秒モジュールの特徴多様体を学習している間に同時に適合されるSLDSとしてモデル化することを含む、態様32の方法。
35. MLPがSVAEである、態様34の方法。
36. 前記計算モデルが、隠れマルコフモデルを使用して前記遷移期間をモデル化することを含む、態様33の方法。
37. 前記3次元ビデオデータが、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点は前記試験対象の3Dポーズダイナミクスを表す、態様31〜36のいずれかの方法。
38. 前記試験化合物が、小分子、抗体またはその抗原結合フラグメント、核酸、ポリペプチド、ペプチド、ペプチド模倣体、多糖、単糖、脂質、グリコサミノグリカン、およびそれらの組合せからなる群より選択される、態様31〜37のいずれかの方法。
39. 前記試験対象が動物試験における動物である、態様31〜38のいずれかの方法。
40. 対象への作用因子の投与前および投与後の前記対象の動きを表す3次元ビデオデータを受け取る工程、
前記対象を背景から分離するために前記3次元ビデオデータを前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程、
3次元特徴多様体を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、多層パーセプトロン（MLP）を使用して前記位置合わせされたフレームを処理する工程、
前記ポーズダイナミクスデータを別々のモジュールセットに時間的にセグメント化するために、計算モデルを用いて前記位置合わせされたフレームを処理する工程であって、サブ秒モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、工程、
前記対象への前記作用因子の投与前の各サブ秒モジュールセット内のモジュール数を決定する工程、
前記対象への前記作用因子の投与後の各サブ秒モジュールセット内のモジュール数を決定する工程、
前記対象への前記作用因子の投与前と投与後の各サブ秒モジュールセット内のモジュール数を比較する工程、および
前記対象への前記作用因子の投与前と投与後の各モジュールセット内のモジュール数の発現頻度の変化の指示を出力する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
41. 各サブ秒モジュールセットは、行動モジュールを表す基準データとの比較に基づいて所定の行動モジュールに分類される、態様40の方法。
42. 前記対象への前記作用因子の投与前と投与後の各モジュールセット内のモジュール数の発現頻度の変化が、公知のカテゴリの作用因子への曝露後のモジュールの発現頻度の変化を表す基準データと比較される、態様40または41の方法。
43. 公知のカテゴリの作用因子への曝露後の頻度の変化を表す基準データとの前記比較に基づいて、前記作用因子を複数の公知の作用因子カテゴリのうちの1つとして分類するさらなる工程を含む、態様42の方法。
44. 前記作用因子が、薬学的に活性な化合物である、態様40〜42のいずれかの方法。
45. 前記作用因子が、視覚刺激または聴覚刺激である、態様40〜42のいずれかの方法。
46. 前記作用因子が匂い物質である、態様40〜42のいずれかの方法。
47. 前記対象が動物試験における動物である、態様40〜46のいずれかの方法。
48. 前記対象がヒトである、態様40〜46のいずれかの方法。

【0203】

開示のコンピュータおよびハードウェア実装
本明細書の開示は、任意のタイプのハードウェアおよび/またはソフトウェアで実施してもよく、あらかじめプログラムされた汎用コンピューティングデバイスであってもよいことを最初に理解されたい。例えば、システムは、サーバ、パーソナルコンピュータ、ポータブルコンピュータ、シンクライアント、または任意の適切な1台もしくは複数の装置を使用して実装してもよい。本開示および/またはその構成要素は、電気ケーブル、光ファイバケーブルなどの任意の通信媒体上で、または無線方式で、任意の適切な通信プロトコルを使用して相互に接続された、単一の場所の単一の装置、または単一もしくは複数の場所の複数の装置としてもよい。

【0204】

また、本開示は、本明細書では、特定の機能を果たす複数のモジュールを有するものとして図示され、説明されていることにも留意されたい。これらのモジュールは、明確にするためにその機能に基づいて単に模式的に図示されており、必ずしも特定のハードウェアまたはソフトウェアを表すものではないことを理解されたい。これに関して、これらのモジュールは、論じた特定の機能を実質的に果たすように実装されたハードウェアおよび/またはソフトウェアであってもよい。さらに、各モジュールは、本開示内で一緒に組み合わされてもよく、所望の特定の機能に基づいて追加のモジュールに分割されてもよい。よって、本開示は、本発明を限定するものと解釈すべきものではなく、単に本発明の1つの例示的実施態様を示すものと理解すべきものである。

【0205】

コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に相互にリモートであり、通常、通信ネットワークを介して対話する。クライアントとサーバの関係は、各々のコンピュータ上で動作する、互いにクライアント/サーバ関係を有するコンピュータプログラムによって生じる。いくつかの実施態様では、サーバは、（例えば、クライアントデバイスと対話するユーザにデータを表示し、ユーザからユーザ入力を受信する目的で）データ（例えば、HTMLページ）をクライアントデバイスに送信する。クライアントデバイスで生成されたデータ（例えば、ユーザ対話の結果）は、サーバにおいてクライアントデバイスから受信することができる。

【0206】

本明細書に記載する主題の実施態様は、データサーバなどのバックエンドコンポーネントを含むコンピュータシステム、またはアプリケーションサーバなどのミドルウェアコンポーネントを含むコンピュータシステム、またはユーザが本明細書に記載される主題の実施態様と対話するためのグラフィカル・ユーザ・インターフェースやウェブブラウザを有するクライアントコンピュータなどのフロントエンドコンポーネントを含むコンピューティングシステム、または1つもしくは複数のそのようなバックエンドコンポーネント、ミドルウェアコンポーネントもしくはフロントエンドコンポーネントの任意の組合せにおいて実装することができる。システムの構成要素は、任意の形のディジタルデータ通信またはディジタルデータ通信の媒体、例えば、通信ネットワークによって相互接続することができる。通信ネットワークの例には、ローカル・エリア・ネットワーク（「LAN」）および広域ネットワーク（「WAN」）、インターネットワーク（例えばインターネット）、およびピアツーピアネットワーク（例えば、アドホック・ピアツーピアネットワーク）が含まれる。

【0207】

本明細書に記載する主題および動作の実施態様は、ディジタル電子回路として、または本明細書で開示した構造およびそれらの構造的均等物を含むコンピュータソフトウェア、ファームウェア、もしくはハードウェアとして、またはそれらのうちの1つもしくは複数の組合せとして実装することができる。本明細書に記載する主題の実施態様は、データ処理装置が実行するための、またはデータ処理装置の動作を制御するようにコンピュータ記憶媒体上で符号化されたモジュール1つまたは複数のコンピュータプログラム、すなわち、コンピュータプログラム命令の1つまたは複数のモジュールとして実装することができる。代替として、または加えて、プログラム命令は、データ処理装置が実行するための適切な受信側装置に送信するための情報を符号化するように生成される、人為的に生成された伝播信号、例えば、機会で生成された電気信号、光信号、または電磁信号上で符号化することもできる。コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダムもしくはシリアル・アクセス・メモリ・アレイもしくはデバイス、またはそれらの1つもしくは複数の組合せとすることができ、またはそれらに含めることができる。さらに、コンピュータ記憶媒体は伝播信号ではないが、コンピュータ記憶媒体は、人為的に生成された伝播信号において符号化されたコンピュータプログラム命令の発信元または宛先とすることができる。またコンピュータ記憶媒体は、1つまたは複数の別個の物理的構成要素または媒体（例えば、複数のCD、ディスク、または他の記憶装置）とすることもでき、またはそれらに含めることができる。

【0208】

本明細書に記載する動作は、1台または複数のコンピュータ可読記憶装置に格納されたデータまたは他のソースから受信されたデータに対して「データ処理装置」によって実行される動作として実装することができる。

【0209】

「データ処理装置」という用語は、例えば、プログラマブルプロセッサ、コンピュータ、システム・オン・チップ、または複数のそれらのもの、またはそれらの組合せを含む、データを処理するためのあらゆる種類の装置、デバイスおよび機械を包含する。装置は、FPGA（フィールド・プログラマブル・ゲート・アレイ）やASIC（特定用途向け集積回路）などの専用論理回路を含むことができる。また装置は、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を生成するコード、例えば、プロセッサファームウェアを構成するコード、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらのうちの1つもしくは複数の組合せも含むことができる。装置および実行環境は、ウェブサービス、分散コンピューティング、グリッド・コンピューティング・インフラストラクチャなど、様々な異なるコンピューティング・モデル・インフラストラクチャを実現することができる。

【0210】

コンピュータプログラムは（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれ）、コンパイル言語やインタプリタ言語、宣言言語や手続き形言語を含む任意の形式のプログラミング言語で書くことができ、スタンドアロンプログラムや、モジュール、コンポーネント、サブルーチン、オブジェクトまたはコンピューティング環境で用いるのに適したその他のユニットを含む、任意の形式で配置することができる。コンピュータプログラムは、ファイルシステム内のファイルに対応しうるが、そうである必要はない。プログラムは、他のプログラムもしくはデータ（例えば、マークアップ言語文書に格納された1つもしくは複数のスクリプト）を保持するファイルの一部に、問題のプログラムに専用の単一ファイルに、または複数の連携したファイル（例えば、1つもしくは複数のモジュール、サブプログラム、もしくはコードの一部を格納するファイル）に格納することができる。コンピュータプログラムは、1台のコンピュータ上で、または1箇所に位置し、もしくは複数のサイトに分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように配置することができる。

【0211】

本明細書に記載するプロセスおよび論理フローは、入力データに作用して出力を生成することによって動作を実行する1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラマブルプロセッサによって実行することができる。またプロセスおよび論理フローは、FPGA（フィールド・プログラマブル・ゲート・アレイ）やASIC（特定用途向け集積回路）などの専用論理回路によっても実行することができ、装置を専用論理回路として実装することもできる。

【0212】

コンピュータプログラムの実行に適するプロセッサには、例えば、汎用と専用両方のマイクロプロセッサや、任意の種類のディジタルコンピュータの任意の1つまたは複数のプロセッサなどが含まれる。一般に、プロセッサは、読取り専用メモリまたはランダム・アクセス・メモリまたはその両方から命令およびデータを受け取る。コンピュータの必須要素は、命令に従って動作を実行するためのプロセッサと、命令およびデータを格納するための1台または複数の記憶装置である。一般に、コンピュータは、データを格納するための1台または複数の大容量記憶装置、例えば、磁気、光磁気ディスクや光ディスクを含み、そこからデータを受け取り、かつ/またはそこにデータを転送するように動作可能に結合される。しかし、コンピュータはそのような装置を有する必要はない。さらに、コンピュータは、別の機器、例えば、いくつか例を挙げると、携帯電話、携帯情報端末（PDA）、モバイルオーディオやビデオプレーヤ、ゲームコンソール、全地球測位システム（GPS）受信機、または携帯用記憶デバイス（例えば、ユニバーサル・シリアル・バス（USB）・フラッシュ・ドライブ）に組み込むこともできる。コンピュータプログラム命令およびデータを格納するのに適したデバイスには、あらゆる形の不揮発性メモリ、媒体およびメモリデバイスが含まれ、これには、例えば、EPROM、EEPROM、およびフラッシュ・メモリ・デバイスなどの半導体メモリデバイス、内蔵ハードディスクやリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ならびにCD-ROMおよびDVD-ROMディスクが含まれる。プロセッサおよびメモリは、専用論理回路によって補うこともでき、かつ/または専用論理回路に組み込むこともできる。

【0213】

結論
上述した様々な方法および技術は、本発明を実施するためのいくつかの方法を提供する。当然ながら、必ずしも記載したすべての目的または利点を本明細書に記載した任意の特定の態様に従って達成できるわけではないことを理解されたい。よって、例えば、本明細書で教示または示唆される他の目的または利点を必ずしも達成することなく、本明細書で教示される1つの利点または利点群を達成または最適化するように本方法を実施することもできることを当業者は理解するであろう。本明細書では様々な代替案が言及されている。ある態様は、ある特徴、別の特徴、または複数の特徴を特に含み、別の態様は、ある特徴、別の特徴、または複数の特徴を特に実行し、さらに別の態様は、ある有利な特徴、別の有利な特徴、または複数の有利な特徴を含めることによって特定の特徴を軽減することを理解されたい。

【0214】

さらに、当業者は、異なる態様からの様々な特徴の適用性を認めるであろう。同様に、当業者は、上述した様々な要素、特徴および工程、ならびにそのような要素、特徴または工程の各々についての他の公知の均等物を様々な組合せで使用して、本明細書に記載した原理に従って方法を実行することもできる。様々な要素、特徴、および工程の中には、様々な態様において特に含められるものと、特に除外されるものとがあるであろう。

【0215】

本出願は、特定の態様および実施例の文脈で開示されたが、当業者には、本出願の態様が、具体的に開示された態様を超えて他の代替態様および/または用途およびそれらの改変および均等物にまで及ぶことが理解されるであろう。

【0216】

いくつかの態様では、本出願の特定の態様を説明する文脈において（特に、添付の特許請求の範囲のいくつかの文脈において）使用される用語「a」および「an」および「the」ならびに類似の言及は、単数形と複数形の両方を含むものと解釈することができる。本明細書における値の範囲の記載は、単に、範囲内に該当する各別個の値に個々に言及する省略法として使用するためのものである。本明細書で特に指示しない限り、個々の値は、その値が本明細書に個々に記載された場合と同様に本明細書に組み込まれる。本明細書中に記載するすべての方法は、本明細書で特に指示しない限り、または文脈と明らかに矛盾しない限り、任意の適切な順序で実施することができる。本明細書の特定の態様に関して提供される任意のおよびすべての例、または例示的な言語（例えば、「〜など」）の使用は、単にその適用をより明らかにするためのものであり、それ以外に請求される適用の範囲を限定するものではない。本明細書中のいかなる言語も、本出願の実施に不可欠な非請求要素を示すものと解釈されるべきではない。

【0217】

本明細書には本出願の特定の態様が記載されている。これらの態様の変形は、以上の説明を読めば、当業者には明らかになるであろう。当業者はこのような変形を適宜に用いることができ、本出願は本明細書に具体的に記載されている以外の方法で実施することができることが企図されている。したがって、本出願の多くの態様は、適用法によって許容されるように、添付の特許請求の範囲に記載された主題のすべての改変および均等物を含む。さらに、本明細書で特に指示しない限り、または文脈と明らかに矛盾しない限り、すべての可能な変形における上述の要素の任意の組合せが本出願に包含される。

【0218】

以上、本主題の特定の実施態様について説明した。添付の特許請求の範囲には他の実施態様が含まれている。場合によっては、特許請求の範囲に記載されている動作を、異なる順序で実行し、しかも所望の結果を達成することができる。加えて、添付の図に示すプロセスは、所望の結果を達成するのに、必ずしも、図示された特定の順序、または順番を必要としない。

【0219】

本明細書中で参照されるすべての特許、特許出願、特許出願公開、および論文、書籍、仕様書、刊行物、文書、物などの他の資料は、あらゆる目的でその全体が参照により本明細書に組み入れられる。ただし、それらと関連付けられる任意の出願経過、本明細書と矛盾もしくは対立するそれらのいずれか、または本明細書と現在関連付けられており、または後で関連付けられる特許請求の最も広い範囲にすいて限定的な影響を及ぼしうるそれらのいずれかを除く。例として、組み込まれた資料のいずれかと関連付けられた用語の記述、定義、および/または使用と、本明細書と関連付けられたそれらとの間に矛盾または対立が存在する場合、本明細書におけるその用語の記述、定義、および/または使用が優先する。

【0220】

最後に、本明細書で開示する本出願の態様は、本出願の態様の原理を例示するものであることを理解されたい。本出願の範囲内には使用できる他の改変も含まれる。よって、限定ではなく例として、本明細書の教示に従って、本出願の態様の代替の構成を利用することができる。したがって、本出願の態様は、厳密に図示し説明した態様だけに限定されるものではない。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図6D-6E】

【図7】

【図8A】

【図8B】

【図8C】

【図8D】

【図8E】

【図9】

【図10】

【図11A】

【図11B】

【図11C】

【図12A】

【図12B】

【図12C】

【図12D】

【図13Ai】

【図13Aii】

【図13B】

【図14】

【図15A】

【図15B】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】