知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社リヴァンプの特許一覧 ▶ 国立大学法人 東京大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-14
(45)【発行日】2025-02-25
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
A01K 11/00 20060101AFI20250217BHJP
A01K 29/00 20060101ALI20250217BHJP
G06T 7/215 20170101ALI20250217BHJP
【ＦＩ】
A01K11/00 E
A01K29/00 A
G06T7/215
【請求項の数】
5
(21)【出願番号】P 2022571462
(86)(22)【出願日】2021-12-20
(86)【国際出願番号】 JP2021047075
(87)【国際公開番号】W WO2022138584
(87)【国際公開日】2022-06-30
【審査請求日】2023-06-14
(31)【優先権主張番号】P 2020211852
(32)【優先日】2020-12-21
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2020211853
(32)【優先日】2020-12-21
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】505461946
【氏名又は名称】株式会社リヴァンプ
(73)【特許権者】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】110001139
【氏名又は名称】ＳＫ弁理士法人
(74)【代理人】
【識別番号】100130328
【弁理士】
【氏名又は名称】奥野 彰彦
(74)【代理人】
【識別番号】100130672
【弁理士】
【氏名又は名称】伊藤 寛之
(72)【発明者】
【氏名】村田 幸久
(72)【発明者】
【氏名】小林 幸司
(72)【発明者】
【氏名】松下 誠司
(72)【発明者】
【氏名】清水 直行
(72)【発明者】
【氏名】湯浅 智之
(72)【発明者】
【氏名】港 高志
【審査官】坂田 誠
(56)【参考文献】
【文献】国際公開第２０１２／０４６３９２（ＷＯ，Ａ１）
【文献】特表２０１８－５２０６８０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０１２５２７６（ＵＳ，Ａ１）
【文献】特許第４４０２９０２（ＪＰ，Ｂ２）
【文献】特許第６７９３３８３（ＪＰ，Ｂ１）
【文献】国際公開第２０２０／２０８９１７（ＷＯ，Ａ１）
【文献】国際公開第２０１９／１４２７８７（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ０１Ｋ １１／００
Ａ０１Ｋ ２９／００
Ｇ０６Ｔ ７／２０
(57)【特許請求の範囲】
【請求項1】
一定の行動範囲の中で１以上の動物が活動する様子が撮像された結果得られる、時間方向に複数の単位画像が配置されて構成される解析対象の画像を取得する画像取得手段と、前記複数の単位画像毎に、単位画像を入力すると動物の体の骨格を推定して出力する骨格推定モデルを用いて、前記１以上の前記動物の夫々の体の部位を抽出する部位抽出手段と、
前記動物の体の１以上の部位の時系列を入力すると当該動物の個体を出力する個体識別モデルに対して、前記部位抽出手段により前記複数の単位画像の夫々から抽出された前記１以上の前記動物の夫々の体の前記部位の時系列を入力した結果得られる出力に基づいて、前記複数の単位画像の夫々における前記１以上の前記動物の夫々の個体を識別する個体識別手段と、
前記解析対象の前記画像に対する解析属性を指定する指定手段と、
前記指定手段により指定された前記画像の前記解析属性に基づいて、複数種類の前記骨格推定モデルの中から前記部位抽出手段に適用させる対象を選択すると共に、複数種類の前記個体識別モデルの中から前記個体識別手段に適用させる対象を選択するモデル選択手段と、
前記動物の行動に伴い変化する前記部位の位置の推移を示すデータフレームを生成する生成手段と、
前記データフレームにおいて前記部位の位置の推移が予め設定された1以上の条件のうち何れかの条件を満たした場合、満たした前記条件に応じた行動を判定する行動判定手段と、を備え、
前記解析属性は、前記解析対象の種別および／または前記解析対象の撮像方向である、情報処理装置。
【請求項2】
前記行動判定手段は、前記動物の部位と、他の特定の部位との位置関係を規定した条件を満たした場合、当該位置関係に関連する行動を検出する行動検出手段、
をさらに備える請求項１に記載の情報処理装置。
【請求項3】
前記行動が、夫々の前記動物の社会性に関する行動、同じ行動範囲に存在する動物どうしの相互作用に関する行動、動物どうしの関係性に関する行動のうちの少なくとも１つを含む、
請求項２に記載の情報処理装置。
【請求項4】
情報処理装置が実行する情報処理方法において、一定の行動範囲の中で１以上の動物が活動する様子が撮像された結果得られる、時間方向に複数の単位画像が配置されて構成される画像を取得する画像取得ステップと、
前記複数の単位画像毎に、単位画像を入力すると動物の体の骨格を推定して出力する骨格推定モデルを用いて、前記１以上の前記動物の夫々の体の部位を抽出する部位抽出ステップと、
前記動物の体の１以上の部位の時系列を入力すると当該動物の個体を出力する個体識別モデルに対して、前記複数の単位画像の夫々から抽出された前記１以上の前記動物の夫々の体の前記部位の時系列を入力した結果得られる出力に基づいて、前記複数の単位画像の夫々における前記１以上の前記動物の夫々の個体を識別する個体識別ステップと、
解析対象の前記画像に対する解析属性を指定する指定ステップと、
指定された前記画像の前記解析属性に基づいて、複数種類の前記骨格推定モデルの中から前記部位抽出ステップに適用させる対象を選択すると共に、複数種類の前記個体識別モデルの中から前記個体識別ステップに適用させる対象を選択するステップと、
前記動物の行動に伴い変化する前記部位の位置の推移を示すデータフレームを生成する生成ステップと、
前記データフレームにおいて前記部位の位置の推移が予め設定された1以上の条件のうち何れかの条件を満たした場合、満たした前記条件に応じた行動を判定する行動判定ステップと、を含み、
前記解析属性は、前記解析対象の種別および／または前記解析対象の撮像方向である、情報処理方法。
【請求項5】
情報処理装置を制御するコンピュータに、一定の行動範囲の中で１以上の動物が活動する様子が撮像された結果得られる、時間方向に複数の単位画像が配置されて構成される画像を取得する画像取得ステップと、
前記複数の単位画像毎に、単位画像を入力すると動物の体の骨格を推定して出力する骨格推定モデルを用いて、前記１以上の前記動物の夫々の体の部位を抽出する部位抽出ステップと、
前記動物の体の１以上の部位の時系列を入力すると当該動物の個体を出力する個体識別モデルに対して、前記複数の単位画像の夫々から抽出された前記１以上の前記動物の夫々の体の前記部位の時系列を入力した結果得られる出力に基づいて、前記複数の単位画像の夫々における前記１以上の前記動物の夫々の個体を識別する個体識別ステップと、
解析対象の前記画像に対する解析属性を指定する指定ステップと、
指定された前記画像の前記解析属性に基づいて、複数種類の前記骨格推定モデルの中から前記部位抽出ステップに適用させる対象を選択すると共に、複数種類の前記個体識別モデルの中から前記個体識別ステップに適用させる対象を選択するモデル選択ステップと、
前記動物の行動に伴い変化する前記部位の位置の推移を示すデータフレームを生成する生成ステップと、
前記データフレームにおいて前記部位の位置の推移が予め設定された1以上の条件のうち何れかの条件を満たした場合、満たした前記条件に応じた行動を判定する行動判定ステップと、を含み、
前記解析属性は、前記解析対象の種別および／または前記解析対象の撮像方向である、制御処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
従来の技術として、例えば猫等の動物の個体を識別しながら個体の生体情報を処理する技術がある（例えば特許文献１等）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－００７６２５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記文献の従来の技術の場合、動物の生体データを非接触で計測できるものの、常に動きのある動物や複数の動物が存在する中での個体識別には対応していない。
また、従来の技術は、個体の生体情報を処理する上で、個体識別した動物の健康状態を確認するため、カメラの他にサーモグラフィ等を必要とするためコストがかかる。さらに、上記文献には、健康状態の管理以外の用途が言及されていない。
また、従来の技術は、個体の生体情報を処理する上で、個体識別した動物の健康状態を確認するため、カメラの他にサーモグラフィ等を必要とするためコストがかかる。さらに、上記文献には、健康状態の管理以外の用途が言及されていない。
【0005】
本願発明はこのような状況に鑑みてなされたものであり、一定の行動範囲の中で活動する１以上のマウスの個体を見分けることができるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の情報処理装置は、
一定の行動範囲の中で１以上の動物が活動する様子が撮像された結果得られる、時間方向に複数の単位画像が配置されて構成される解析対象の画像を取得する画像取得手段と、
前記複数の単位画像毎に、単位画像を入力すると動物の体の骨格を推定して出力する骨格推定モデルを用いて、前記１以上の前記動物の夫々の体の部位を抽出する部位抽出手段と、
前記動物の体の１以上の部位の時系列を入力すると当該動物の個体を出力する個体識別モデルに対して、前記部位抽出手段により前記複数の単位画像の夫々から抽出された前記１以上の前記動物の夫々の体の前記部位の時系列を入力した結果得られる出力に基づいて、前記複数の単位画像の夫々における前記１以上の前記動物の夫々の個体を識別する個体識別手段と、
前記解析対象の前記画像に対する解析属性を指定する指定手段と、
前記指定手段により指定された前記画像の前記解析属性に基づいて、複数種類の前記骨格推定モデルの中から前記部位抽出手段に適用させる対象を選択すると共に、複数種類の前記個体識別モデルの中から前記個体識別手段に適用させる対象を選択するモデル選択手段と、
を備える。
このように、複数種類の骨格推定モデル及び複数種類の個体識別モデルを用意しておき、指定手段により指定された画像の解析属性に基づいて、複数種類の骨格推定モデルの中から部位抽出手段に適用させる対象の骨格推定モデルを選択すると共に、複数種類の個体識別モデルの中から個体識別手段に適用させる対象の個体識別モデルを選択する。
そして、解析指示により、画像に含まれる複数の単位画像毎に、１以上の動物の夫々の体の部位を検出し、検出した部位を時系列毎に解析し、その解析結果に基づいて１以上の動物の夫々の個体を識別することで、一定の行動範囲の中で活動する１以上の動物を撮像した画像から動物の個体を見分けることができる。
一定の行動範囲の中で１以上の動物が活動する様子が撮像された結果得られる、時間方向に複数の単位画像が配置されて構成される解析対象の画像を取得する画像取得手段と、
前記複数の単位画像毎に、単位画像を入力すると動物の体の骨格を推定して出力する骨格推定モデルを用いて、前記１以上の前記動物の夫々の体の部位を抽出する部位抽出手段と、
前記動物の体の１以上の部位の時系列を入力すると当該動物の個体を出力する個体識別モデルに対して、前記部位抽出手段により前記複数の単位画像の夫々から抽出された前記１以上の前記動物の夫々の体の前記部位の時系列を入力した結果得られる出力に基づいて、前記複数の単位画像の夫々における前記１以上の前記動物の夫々の個体を識別する個体識別手段と、
前記解析対象の前記画像に対する解析属性を指定する指定手段と、
前記指定手段により指定された前記画像の前記解析属性に基づいて、複数種類の前記骨格推定モデルの中から前記部位抽出手段に適用させる対象を選択すると共に、複数種類の前記個体識別モデルの中から前記個体識別手段に適用させる対象を選択するモデル選択手段と、
を備える。
このように、複数種類の骨格推定モデル及び複数種類の個体識別モデルを用意しておき、指定手段により指定された画像の解析属性に基づいて、複数種類の骨格推定モデルの中から部位抽出手段に適用させる対象の骨格推定モデルを選択すると共に、複数種類の個体識別モデルの中から個体識別手段に適用させる対象の個体識別モデルを選択する。
そして、解析指示により、画像に含まれる複数の単位画像毎に、１以上の動物の夫々の体の部位を検出し、検出した部位を時系列毎に解析し、その解析結果に基づいて１以上の動物の夫々の個体を識別することで、一定の行動範囲の中で活動する１以上の動物を撮像した画像から動物の個体を見分けることができる。
【0007】
本発明の一態様の上記情報処理装置に対応する情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。
【発明の効果】
【0008】
本発明によれば、一定の行動範囲の中で活動する１以上のマウスの個体を見分けることができる。
【図面の簡単な説明】
【0009】
【図1】本発明の情報処理装置の一実施形態に係る画像処理装置を含む情報処理システムの構成の例を示す図である。
【図5】映像から取得した単位画像の一例を示す図である。
【図13】マウスの水飲み行動の検出例を示す図である。
【図14】マウスの餌食べ行動の検出例を示す図である。
【図15】マウスどうしの相互干渉行動の検出例を示す図である。
【図18】映像から取得した単位画像の一例を示す図である。
【図22】ひっかき行動の検出例を示す図である。
【図28】動画から作成したレポートの一例を示す図である。
【図29】堅牢なセキュリティを形成する閉域網接続の構成事例を示す図である。
【図30】本情報処理システムのダッシュボード画面を示す図である。
【図31】計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までのケージ内に存在するマウスの位置とその移動軌跡を示すグラフである。
【図33】計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までのケージ内の床面を９つのエリア（０乃至８）に区分したエリア毎のマウスの位置の分布を示すグラフである。
【図35】計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までのケージの床面を９つに区分したエリア毎のマウスの存在時間を示す棒グラフである。
【図37】計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までのケージの中央付近（４番エリア）とそれ以外のエリア（縁部付近）とで区分した場合のマウスの存在時間を示すグラフである。
【図39】計測開始から初動の１３２０ＦＲＡＭＥ分の期間とマウスの１秒(３０ＦＲＡＭＥ)毎の移動距離との関係を示すグラフである。
【図41】計測開始から初動の１３２０ＦＲＡＭＥ分の期間とケージ内におけるマウスの一瞬一瞬の体の向きとの関係を示すグラフである。
【図43】計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までの時間とマウスの総移動距離（総移動量）との関係を示すグラフである。
【図45】計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までの時間とマウスの回転行動（角速度）との関係を示すグラフである。
【図47】計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までの時間とマウスが動く速度との関係を示すグラフである。
【図49】計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までの時間とマウスが動く角速度との関係を示すグラフである。
【図51】ゲージ内をカメラで撮像して得られた動画（元動画）のあるタイミングの単位画像を示す図である。
【図52】単位画像から識別される複数（２匹）のマウスの夫々の外郭（輪郭）を示す図である。
【図53】２匹のマウスのうちの１匹のマウスの向き（体の中心から鼻先の方向）を示す図である。
【図54】２匹のマウスのうちの他の１匹のマウスの向き（体の中心から鼻先の方向）を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、図面を用いて説明する。
図１は、本発明の情報処理装置の一実施形態に係る画像処理装置を含む情報処理システムの構成を示す図である。
図１は、本発明の情報処理装置の一実施形態に係る画像処理装置を含む情報処理システムの構成を示す図である。
【0011】
（第１実施形態）
図１に示す情報処理システムは、１以上のマウス（図１の例ではマウスＸ１、Ｘ２）が収容されたケージＣを上方から撮像するように設置（配置）されたカメラ１と、当該カメラ１とネットワークＮを介して接続された画像処理装置２とを含むように構成される。
ネットワークＮには、有線ネットワークの他、無線ネットワーク等も含まれる。ケージＣは、一定の行動範囲の中で動物を活動させるための収容手段である。
図１に示す情報処理システムは、１以上のマウス（図１の例ではマウスＸ１、Ｘ２）が収容されたケージＣを上方から撮像するように設置（配置）されたカメラ１と、当該カメラ１とネットワークＮを介して接続された画像処理装置２とを含むように構成される。
ネットワークＮには、有線ネットワークの他、無線ネットワーク等も含まれる。ケージＣは、一定の行動範囲の中で動物を活動させるための収容手段である。
【0012】
カメラ１は、例えば動画を撮像するデジタルカメラやネットワークカメラ等であり、ケージＣ内を上方から撮像した動画を画像処理装置２に出力する。
ここで、動画とは、時間方向に複数の単位画像が配置されて構成される画像を言い、映像とも呼ばれている。単位画像は、フィールド画像が採用されることもあるが、ここではフレーム画像画像が採用されているものとする。
ここで、動画とは、時間方向に複数の単位画像が配置されて構成される画像を言い、映像とも呼ばれている。単位画像は、フィールド画像が採用されることもあるが、ここではフレーム画像画像が採用されているものとする。
【0013】
画像処理装置２は、カメラ１から取得した動画と、モデルＤＢ４２に格納された学習モデル（詳細については後述）を用いて、動画に被写体として含まれる複数のマウスＸ１、Ｘ２の個体を識別する。画像処理装置２は、さらに、個体として夫々識別されたマウスＸ１、Ｘ２の行動パターン（癖等）から、夫々のマウスＸ１、Ｘ２の社会性、同じ行動範囲に存在するマウスＸ１、Ｘ２どうしの相互作用、マウスＸ１、Ｘ２どうしの関係性等といった行動の基になる要素（原因）を検出する。
画像処理装置２は、動画から抽出したフレーム画像に含まれる１以上のマウスの体の骨格の一部の部位（トラッキングポイント）や個体ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）等のマーカと、夫々のマウスの外郭（周囲との輪郭）を視覚的に識別するためのオブジェクトのうち少なくとも一方を付与した追跡画像を生成しディスプレイ等の出力部１６へ出力する。
画像処理装置２に出力部１６としてプリンタが接続されていれば、追跡画像を印刷することもできる。
オブジェクトは、マウスの個体の外郭を示す輪郭線やマスク画像等である。マーカは、例えば丸、三角、四角等の図形で示されるトラッキングポイントや英数字等で示される個体ＩＤ等を含む。
なお、画像処理装置２の機能的構成や処理の詳細については、図３以降の図面を参照して後述する。
画像処理装置２は、動画から抽出したフレーム画像に含まれる１以上のマウスの体の骨格の一部の部位（トラッキングポイント）や個体ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）等のマーカと、夫々のマウスの外郭（周囲との輪郭）を視覚的に識別するためのオブジェクトのうち少なくとも一方を付与した追跡画像を生成しディスプレイ等の出力部１６へ出力する。
画像処理装置２に出力部１６としてプリンタが接続されていれば、追跡画像を印刷することもできる。
オブジェクトは、マウスの個体の外郭を示す輪郭線やマスク画像等である。マーカは、例えば丸、三角、四角等の図形で示されるトラッキングポイントや英数字等で示される個体ＩＤ等を含む。
なお、画像処理装置２の機能的構成や処理の詳細については、図３以降の図面を参照して後述する。
【0014】
【0015】
画像処理装置２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０とを備えている。
【0016】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0017】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、出力部１６、入力部１７、記憶部１８、通信部１９、及びドライブ２０が接続されている。
出力部１６は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
入力部１７は、キーボードやマウス等で構成され、ユーザの指示操作に応じて各種情報を入力する。
記憶部１８は、ハードディスク等で構成され、各種情報のデータを記憶する。
出力部１６は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
入力部１７は、キーボードやマウス等で構成され、ユーザの指示操作に応じて各種情報を入力する。
記憶部１８は、ハードディスク等で構成され、各種情報のデータを記憶する。
【0018】
通信部１９は、ネットワークＮを介して他の通信対象（例えば図１のカメラ１）との間で行う通信を制御する。
ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２１が適宜装着される。ドライブ２０によってリムーバブルメディア２１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア２１は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。
ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２１が適宜装着される。ドライブ２０によってリムーバブルメディア２１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア２１は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。
【0019】
【0020】
図２に示した画像処理装置２の記憶部１８には、画像ＤＢ４１と、モデルＤＢ４２と、材料ＤＢ４３とが記憶されている。
【0021】
画像ＤＢ４１には、カメラ１から取得される動画のデータと、この動画を構成する複数のフレーム画像のデータ（静止画のデータ）と、フレーム画像に動物追跡用のオブジェクトや個体を示すマーカ等が付与された追跡画像のデータと、マウスＸ１、Ｘ２の部位の位置情報の推移を示すテーブル（データフレーム）とが記憶される。
【0022】
モデルＤＢ４２には、複数の学習モデルが記憶されている。具体的には、モデルＤＢ４２には、動物（マウス、ラット等）毎の夫々の骨格を推定する複数種類（１以上）の骨格推定モデル、動物（同じ動物が２匹いたら、夫々の動物を異なる個体として識別する）の夫々の個体を識別する複数種類（１以上）の個体識別モデル、動物夫々の個体の行動の判定を行う複数種類（１以上）の数理モデル等が記憶されている。
骨格推定モデルは、動物の画像が入力されると、動物の骨格を出力するよう作られた学習モデルである。
個体識別モデルは、動物の体の１以上の部位の時系列を入力すると当該動物の個体を出力するよう作られた学習モデルである。
数理モデルは、時系列を追って変化する動物の１以上の画像が入力されると、動物の行動がどういった行動であるかを示す情報を出力するよう作られた動物の行動分析を行うモデルである。
予め用意した動物の個体毎の動画及び静止画について機械学習及び更新が行われた結果として、新たに動画又は静止画像が入力された場合に入力画像から動物としての識別、個体の識別、さらには夫々の個体の行動を分析して分析結果を出力するための学習済みの学習データが記憶されている。このような学習済みの学習データを、本明細書では「学習モデル」と呼ぶ。
骨格推定モデルは、動物の画像が入力されると、動物の骨格を出力するよう作られた学習モデルである。
個体識別モデルは、動物の体の１以上の部位の時系列を入力すると当該動物の個体を出力するよう作られた学習モデルである。
数理モデルは、時系列を追って変化する動物の１以上の画像が入力されると、動物の行動がどういった行動であるかを示す情報を出力するよう作られた動物の行動分析を行うモデルである。
予め用意した動物の個体毎の動画及び静止画について機械学習及び更新が行われた結果として、新たに動画又は静止画像が入力された場合に入力画像から動物としての識別、個体の識別、さらには夫々の個体の行動を分析して分析結果を出力するための学習済みの学習データが記憶されている。このような学習済みの学習データを、本明細書では「学習モデル」と呼ぶ。
【0023】
具体的には、動物の一例としてのマウスが活動する様子を撮影して得られた動画から、事前に選択されたマウス用の骨格推定モデルが１以上のマウスの頭、首、腕、脚、尾等の骨の配置（骨格）を推定し、その動物の骨格から抽出された特徴点（マウスの目、鼻、耳、足先等の体の部位）の位置や動きから事前に選択されたマウス用の個体識別モデルが個体を識別し、その個体の行動を数理モデルが判定した結果を出力する。
つまりこの第１実施形態における学習モデルは、骨格推定、個体識別、行動推定の技術を使って動物の個体や個体の行動を分析する学習モデルである。
なお、上記モデル群のうち、例えば骨格推定モデルの内部では、画像内の任意のピクセル（ＣＮＮを使ったモデルでは、全てのピクセル）のデータを入力として、適切な値（鼻の位置の座標であったり、鼻の座標である確率であったり）を動物毎のモデルに従い計算する。なお、ＣＮＮとは、畳み込み層やプーリング層を中心に構成されるニューラルネットワークをいう。
つまりこの第１実施形態における学習モデルは、骨格推定、個体識別、行動推定の技術を使って動物の個体や個体の行動を分析する学習モデルである。
なお、上記モデル群のうち、例えば骨格推定モデルの内部では、画像内の任意のピクセル（ＣＮＮを使ったモデルでは、全てのピクセル）のデータを入力として、適切な値（鼻の位置の座標であったり、鼻の座標である確率であったり）を動物毎のモデルに従い計算する。なお、ＣＮＮとは、畳み込み層やプーリング層を中心に構成されるニューラルネットワークをいう。
【0024】
モデルＤＢ４２に記憶される学習モデルは、図示しない学習装置が、予め１以上（多数）の学習用データを用いて機械学習をすることで生成される参照用の学習モデルであり、新たに学習されたデータも追加される。
【0025】
機械学習には、例えば、畳み込み学習型ニューラルネットワーク等を適用することができる。なお、畳み込み学習型ニューラルネットワークは一例に過ぎず、これ以外の機械学習の手法を適用してもよい。さらに言えば、学習モデルは、機械学習のモデルに限らず、所定のアルゴリズムにより動物の個体を識別する識別器を採用してもよい。
即ち、学習モデルは、画像が入力されると、画像に含まれる夫々のマウスの骨格や外郭、動きが既知のマウスに合致した際にその属性を付与して出力するように学習して生成されたものであればよい。
即ち、学習モデルは、画像が入力されると、画像に含まれる夫々のマウスの骨格や外郭、動きが既知のマウスに合致した際にその属性を付与して出力するように学習して生成されたものであればよい。
【0026】
材料ＤＢ４３には、学習モデルに基づいて識別されるマウスの行動の理由や社会性等を求めるための材料となるデータが記憶されている。材料ＤＢ４３のデータは、マウスの行動と、当該行動から導出される社会性や他のマウスとの関係性とを関連付けたデータであり、マウスの行動に対する様々な習性、癖や生態等といった判定に利用することができる。
例えば単なるマウスの動きだけでなく、こういう動きをするマウスは、このような社会性がある、他のマウスとこういった関係性がある等といった習性を導き出すことができるデータである。
材料ＤＢ４３には、マウスが行動を起こす条件と、条件から導出されるマウスの行動パターンとを対応付けたデータが記憶されている。つまり材料ＤＢ４３には、数理モデルが画像から検出されたマウスの行動がどういった行動かを判断するための判断材料となるデータが記憶されている。判断材料となるデータとしては、例えば探索行動、摂食摂水、走る歩く、睡眠、ひっかき、グルーミング、喧嘩等の行動データが記憶されている。
例えば単なるマウスの動きだけでなく、こういう動きをするマウスは、このような社会性がある、他のマウスとこういった関係性がある等といった習性を導き出すことができるデータである。
材料ＤＢ４３には、マウスが行動を起こす条件と、条件から導出されるマウスの行動パターンとを対応付けたデータが記憶されている。つまり材料ＤＢ４３には、数理モデルが画像から検出されたマウスの行動がどういった行動かを判断するための判断材料となるデータが記憶されている。判断材料となるデータとしては、例えば探索行動、摂食摂水、走る歩く、睡眠、ひっかき、グルーミング、喧嘩等の行動データが記憶されている。
【0027】
図３に示すように、画像処理装置２は、画像取得部５１、部位抽出部５２、データフレーム生成部５３、個体識別部５４、マーカ画像生成部５５、行動判定部５６等を有する。
【0028】
画像取得部５１は、一定の行動範囲の中で１以上のマウスＸ１、Ｘ２等の動物が活動する様子が撮像された結果得られる映像を取得する。
【0029】
画像取得部５１は、動画取得部６１と、単位画像生成部６２とを有する。
動画取得部６１は、カメラ１により撮像された映像（動画）を取得する。単位画像生成部６２は、動画取得部６１により取得された映像（動画）から、時間方向に複数の単位画像が配置されて構成される解析対象の画像を生成し、画像ＤＢ４１に記憶する。つまり単位画像生成部６２は、動画からフレーム単位の複数の単位画像（静止画）の群（フレーム画像）を生成する。
動画取得部６１は、カメラ１により撮像された映像（動画）を取得する。単位画像生成部６２は、動画取得部６１により取得された映像（動画）から、時間方向に複数の単位画像が配置されて構成される解析対象の画像を生成し、画像ＤＢ４１に記憶する。つまり単位画像生成部６２は、動画からフレーム単位の複数の単位画像（静止画）の群（フレーム画像）を生成する。
【0030】
部位抽出部５２は、モデルＤＢ４２の複数種類の骨格推定モデルのうち選択された骨格推定モデルを用いて、複数の単位画像毎に、１以上の動物の夫々の体の部位を抽出する。つまり部位抽出部５２は、画像ＤＢ４１の複数のフレーム画像を順に読み出し、夫々のフレーム画像に含まれる単位画像から自ら行動する動物の画像領域を認識する。即ちフレーム画像の背景部分と動物の体の輪郭部分とを分離し動物の体の画像領域を認識する。
体の一部の部位とは、例えば左右の目、鼻、左右の耳、左右の前足の先端、左右の後足の先端、尾の先、骨や関節の繋ぎ目、体の重心のうちの１以上の特徴点である。
単位画像には、上述したフレーム画像の他、１画素（ピクセル）、複数の画素の群等が含まれる。
体の一部の部位とは、例えば左右の目、鼻、左右の耳、左右の前足の先端、左右の後足の先端、尾の先、骨や関節の繋ぎ目、体の重心のうちの１以上の特徴点である。
単位画像には、上述したフレーム画像の他、１画素（ピクセル）、複数の画素の群等が含まれる。
【0031】
部位抽出部５２は、個体認識部７１と部位検出部７２とを備える。
個体認識部７１は、フレーム画像に含まれる複数の単位画像の夫々において、変化（動き）のあるものを１つの行動個体の一部として認識する。具体的には、個体認識部７１は、単位画像を２値化して背景画像と異なる色を行動個体の一部として認識する。個体認識部７１は、時系列の前後のフレーム画像と比較して色が変化する部分を領域の境界とする。
部位検出部７２は、複数の単位画像の夫々において、行動個体の一部として認識されたものの領域に骨格推定モデルから出力される骨格を重ねて、動物の体の部位を抽出し、その部位をトラッキングポイント（追跡点）とする。体の部位は、鼻や左右の目等、少なくとも１以上検出される。
なお、この実施形態では、個体認識部７１と部位検出部７２とを備える部位抽出部５２と骨格推定モデルとの組み合わせにより、画像から１以上の動物の夫々の体の部位を抽出したが、単位画像を入力すると、動物の体の部位を出力する部位抽出モデルをモデルＤＢ４２に予め記憶しておき、単位画像をモデルＤＢ４２に入力することで動物の体の部位を抽出するようにしてもよい。
個体認識部７１は、フレーム画像に含まれる複数の単位画像の夫々において、変化（動き）のあるものを１つの行動個体の一部として認識する。具体的には、個体認識部７１は、単位画像を２値化して背景画像と異なる色を行動個体の一部として認識する。個体認識部７１は、時系列の前後のフレーム画像と比較して色が変化する部分を領域の境界とする。
部位検出部７２は、複数の単位画像の夫々において、行動個体の一部として認識されたものの領域に骨格推定モデルから出力される骨格を重ねて、動物の体の部位を抽出し、その部位をトラッキングポイント（追跡点）とする。体の部位は、鼻や左右の目等、少なくとも１以上検出される。
なお、この実施形態では、個体認識部７１と部位検出部７２とを備える部位抽出部５２と骨格推定モデルとの組み合わせにより、画像から１以上の動物の夫々の体の部位を抽出したが、単位画像を入力すると、動物の体の部位を出力する部位抽出モデルをモデルＤＢ４２に予め記憶しておき、単位画像をモデルＤＢ４２に入力することで動物の体の部位を抽出するようにしてもよい。
【0032】
データフレーム生成部５３は、部位抽出部５２により抽出された体の部位をデータフレーム化する。
データフレーム生成部５３は、動物の夫々の領域毎に、動物の特定の部位（目、鼻、耳、足、尾、骨格等）の位置を、画像における所定の基準点からの距離を示す座標で特定する。
具体的には、データフレーム生成部５３は、部位抽出部５２により抽出された体の部位とその部位をフレーム画像又は行動個体の一部に含まれるケージＣのある基準点を基準とする２次元（平面）座標系（ｘ軸、ｙ軸等）で表す位置情報とを対応させたテーブルを生成する。生成されたテーブルをデータフレームと呼ぶ。ｘ軸は、２次元（平面）座標系の横軸、ｙ軸は平面の縦軸をいう。
即ち、データフレーム生成部５３は、動物の行動に伴い変化する前記部位の位置の推移を示すデータフレームを生成する。
なお、トラッキングポイント（追跡点）として空間的な位置を取得する場合は、３次元（立体）座標系（ｘ軸、ｙ軸、ｚ軸）となる。ｚ軸は、３次元（立体）座標系の奥行軸をいう。
データフレーム生成部５３は、動物の夫々の領域毎に、動物の特定の部位（目、鼻、耳、足、尾、骨格等）の位置を、画像における所定の基準点からの距離を示す座標で特定する。
具体的には、データフレーム生成部５３は、部位抽出部５２により抽出された体の部位とその部位をフレーム画像又は行動個体の一部に含まれるケージＣのある基準点を基準とする２次元（平面）座標系（ｘ軸、ｙ軸等）で表す位置情報とを対応させたテーブルを生成する。生成されたテーブルをデータフレームと呼ぶ。ｘ軸は、２次元（平面）座標系の横軸、ｙ軸は平面の縦軸をいう。
即ち、データフレーム生成部５３は、動物の行動に伴い変化する前記部位の位置の推移を示すデータフレームを生成する。
なお、トラッキングポイント（追跡点）として空間的な位置を取得する場合は、３次元（立体）座標系（ｘ軸、ｙ軸、ｚ軸）となる。ｚ軸は、３次元（立体）座標系の奥行軸をいう。
【0033】
個体識別部５４は、モデルＤＢ４２の複数種類の個体識別モデルのうち選択された個体識別モデルに対して、部位抽出部５２により複数の単位画像の夫々から抽出された１以上の動物の夫々の体の部位の時系列を入力した結果得られる出力に基づいて、複数の単位画像の夫々における１以上の動物の夫々の個体を識別する。
具体的には、個体識別部５４は、複数種類の中から画像用に選択された個体識別モデルを用いて、部位抽出部５２により複数の単位画像の夫々から抽出された１以上の部位を時系列毎に解析し、その解析結果に基づいて複数の単位画像の夫々における１以上のマウスＸ１、Ｘ２の夫々の個体を識別する。
個体識別部５４は、部位の位置座標が時間の経過と共に推移する様子を解析し、その解析結果に基づいてフレーム画像に含まれる１以上の動物夫々を識別（違う個体として分類）する。
つまり、個体識別部５４は、１以上の部位がどのような動物の部位か、またその部位を持つ動物の個体はどれかを識別する。
具体的には、個体識別部５４は、複数種類の中から画像用に選択された個体識別モデルを用いて、部位抽出部５２により複数の単位画像の夫々から抽出された１以上の部位を時系列毎に解析し、その解析結果に基づいて複数の単位画像の夫々における１以上のマウスＸ１、Ｘ２の夫々の個体を識別する。
個体識別部５４は、部位の位置座標が時間の経過と共に推移する様子を解析し、その解析結果に基づいてフレーム画像に含まれる１以上の動物夫々を識別（違う個体として分類）する。
つまり、個体識別部５４は、１以上の部位がどのような動物の部位か、またその部位を持つ動物の個体はどれかを識別する。
【0034】
具体的には、個体識別部５４は、モデルＤＢ４２を参照して、データフレーム生成部５３により生成されたデータフレームを時系列毎に解析し、その解析結果に基づいて複数のデータフレームの夫々における１以上のマウスＸ１、Ｘ２の夫々の個体を識別し、識別したマウスＸ１、Ｘ２の個体ＩＤをトラッキングポイント（追跡点）に付与する。
【0035】
個体識別部５４は、例えば任意の時点での各個体の各部位の位置関係や一定の条件を満たす頻度をデータ化する。
ここで、一定の条件とは、例えばある部位と他の部位の位置が一定期間、所定の座標の位置（所定範囲）に存在したり、他の個体の部位との距離がゼロ又はゼロに近似する状態が一定期間継続した場合等である。
ここで、一定の条件とは、例えばある部位と他の部位の位置が一定期間、所定の座標の位置（所定範囲）に存在したり、他の個体の部位との距離がゼロ又はゼロに近似する状態が一定期間継続した場合等である。
【0036】
個体識別部５４は、マーカ画像生成部５５に指示して、個体識別部５４により識別されたマウスＸ１、Ｘ２のトラッキングポイント（追跡点）を示すマーカ及びマウスＸ１、Ｘ２の個体を視覚的に識別するためのオブジェクトのうち少なくとも一方を当該単位画像に重畳させた画像を生成させて得られたマーカ付き画像（追跡画像）を出力部１６に出力する。
【0037】
マーカ画像生成部５５は、部位抽出部５２により抽出されたマウスＸ１、Ｘ２の夫々の体の部位及び個体識別部５４により識別されたマウスＸ１、Ｘ２の個体を示すマーカを部位に対応付けたマーカ付き画像を生成する。
具体的には、マーカ画像生成部５５は、個体識別部５４により識別されたマウスＸ１、Ｘ２の個体を目視で識別可能とするマーカを当該単位画像に付したマーカ付き画像（追跡画像）を生成する。マーカは、例えば個体毎の個体ＩＤ（文字）やトラッキングポイントである。オブジェクトは個体毎に別色で色付けした輪郭線や枠、マスク画像等である。
具体的には、マーカ画像生成部５５は、個体識別部５４により識別されたマウスＸ１、Ｘ２の個体を目視で識別可能とするマーカを当該単位画像に付したマーカ付き画像（追跡画像）を生成する。マーカは、例えば個体毎の個体ＩＤ（文字）やトラッキングポイントである。オブジェクトは個体毎に別色で色付けした輪郭線や枠、マスク画像等である。
【0038】
行動判定部５６は、個体識別部５４により識別された１以上のマウスＸ１、Ｘ２の行動を判定する。ここで、行動には、夫々のマウスＸ１、Ｘ２の行動の他に、単位画像内に複数存在するマウスＸ１、Ｘ２どうしの関わり行動等も含まれる。
即ち、行動判定部５６は、データフレームにおいて部位の位置の推移が予め設定された１以上の条件のうち何れかの条件を満たした場合、満たした条件に応じた行動を判定する。
即ち、行動判定部５６は、データフレームにおいて部位の位置の推移が予め設定された１以上の条件のうち何れかの条件を満たした場合、満たした条件に応じた行動を判定する。
【0039】
具体的には、行動判定部５６は、モデルＤＢ４２の複数種類の数理モデルのうち選択された数理モデル及び材料ＤＢ４３の材料データに基づいて、個体識別部５４により識別（分類）される動物毎に、部位の座標の推移が予め設定された条件に合致するか否かを判定し、合致した条件に対応する動物の行動ラベル（ひっかき行動ならば“０１”、睡眠中ならば“０２”、グルーミング行動ならば“０３”等）を、当該部位を含む画像フレームの時刻情報（タイムスタンプ）又はデータフレームに付与する。
【0040】
これにより、例えばケージＣ内に２匹のマウスＸ１、Ｘ２が収容されて活動している環境で、一方のマウスＸ１の鼻（部位）が他方のマウスＸ２の鼻（部位）に接触する頻度が一定の期間で所定回数を超えた場合、これは個体どうしが友好関係を築こうとしているグルーミング行動、又は雄雌の場合は繁殖行動に入ろうとしている等といったことが導出される。
【0041】
行動判定部５６は、行動検出部８１と、行動予測部８２とを有する。
行動検出部８１は、動物の部位と、他の特定の部位（水飲み場、餌場、他の動物の部位）との位置関係を規定した条件を満たした場合、当該位置関係に関連する行動を検出する。
具体的には、行動検出部８１は、モデルＤＢ４２及び材料ＤＢ４３を参照して、データフレームの任意の時点におけるマウスＸ１、Ｘ２どうしの部位の位置関係やマウスＸ１、Ｘ２とケージＣ内の他の生活関連部材（水飲み場、餌場等）との位置関係が、材料ＤＢ４３の条件を満たす否かを確認し、満たした条件に対応する行動を検出する。夫々のマウスＸ１、Ｘ２の社会性、同じ行動範囲に存在するマウスＸ１、Ｘ２どうしの相互作用、マウスＸ１、Ｘ２どうしの関係性のうちの少なくとも１つを検出する。
行動検出部８１は、動物の部位と、他の特定の部位（水飲み場、餌場、他の動物の部位）との位置関係を規定した条件を満たした場合、当該位置関係に関連する行動を検出する。
具体的には、行動検出部８１は、モデルＤＢ４２及び材料ＤＢ４３を参照して、データフレームの任意の時点におけるマウスＸ１、Ｘ２どうしの部位の位置関係やマウスＸ１、Ｘ２とケージＣ内の他の生活関連部材（水飲み場、餌場等）との位置関係が、材料ＤＢ４３の条件を満たす否かを確認し、満たした条件に対応する行動を検出する。夫々のマウスＸ１、Ｘ２の社会性、同じ行動範囲に存在するマウスＸ１、Ｘ２どうしの相互作用、マウスＸ１、Ｘ２どうしの関係性のうちの少なくとも１つを検出する。
【0042】
行動予測部８２は、行動検出部８１により検出されたマウスＸ１、Ｘ２どうしの関わりに基づいて、そのマウスＸ１、Ｘ２が今後どのような生き方をして行くのかを予測する。
【0043】
次に、図４を参照して、情報処理装置により実行される画像処理を説明する。図４は、図３の機能的構成を有する情報処理装置により実行される画像処理の流れの一例を説明するフローチャートである。
第１実施形態の情報処理システムでは、ケージＣの中で活動する１以上のマウスＸ１、Ｘ２がカメラ１により撮像されて、その動画が画像処理装置２に入力されることで、画像処理装置２は、１以上のマウスＸ１、Ｘ２の夫々の個体を識別し、夫々のマウスＸ１、Ｘ２の個性や社会性等を判断するのを支援するための画像処理を以下のように実行する。
第１実施形態の情報処理システムでは、ケージＣの中で活動する１以上のマウスＸ１、Ｘ２がカメラ１により撮像されて、その動画が画像処理装置２に入力されることで、画像処理装置２は、１以上のマウスＸ１、Ｘ２の夫々の個体を識別し、夫々のマウスＸ１、Ｘ２の個性や社会性等を判断するのを支援するための画像処理を以下のように実行する。
【0044】
ステップＳ１１において、画像取得部５１は、一定の行動範囲の中で１以上の動物が活動する様子が撮像された結果得られる、時間方向に複数の単位画像が配置されて構成される画像（例えば動画等）を取得する。
【0045】
ステップＳ１２において、部位抽出部５２は、取得された動画に含まれる複数の単位画像毎に、１以上の動物の夫々の体の一部の部位（目、鼻、耳、足、骨や関節の一部、体の重心等）を抽出する。
【0046】
ステップＳ１３において、個体識別部５４は、部位抽出部５２により複数の単位画像の夫々から抽出された複数の部位を時系列毎に解析し、その解析結果に基づいて複数の単位画像の夫々における１以上の動物の夫々の個体を識別する。
【0047】
個体を識別するとは、例えば図１及び図３のようにケージＣの中に収容されているマウスＸ１、Ｘ２のうち、マウスＸ１の部位に例えば“０”等の個体ＩＤを付与して“０”という個体であると識別し、マウスＸ２の部位に例えば“１”等の個体ＩＤを付与して“１”という個体であると識別することをいう。
【0048】
ステップＳ１４において、行動判定部５６は、個体識別部５４により識別された１以上のマウスＸ１、Ｘ２の行動を判定する。
【0049】
行動判定部５６において、行動検出部８１は、任意の時点におけるマウスＸ１、Ｘ２の部位どうしの位置関係に基づいて、夫々のマウスＸ１、Ｘ２の社会性、同じ行動範囲に存在するマウスＸ１、Ｘ２どうしの相互作用、マウスＸ１、Ｘ２どうしの関係性のうちの少なくとも１つを検出する。
【0050】
このように画像処理装置２の動作によれば、ケージＣ内で２匹のマウスＸ１、Ｘ２が活動する様子が撮像された動画から、夫々のマウスＸ１、Ｘ２の体の一部の部位を抽出し、抽出した部位を時系列毎に解析しマウスＸ１、Ｘ２の夫々の個体を識別し識別した個体の夫々に個体ＩＤやトラッキングポイント等のマーカや個体識別用のオブジェクトを付した追跡画像を表示するので、同じ画像の中に存在して活動するマウスＸ１、Ｘ２の夫々の個体を見分けることができる。
また、マウスＸ１、Ｘ２どうしの行動として、例えばマウスＸ１とマウスＸ２の社会性、同じ行動範囲に存在するマウスＸ１、Ｘ２どうしの相互作用、マウスＸ１、Ｘ２どうしの関係性等を検出するので、マウスＸ１とマウスＸ２の主従関係（支配力や従属性等）や習性、生態等を考察することができる。
また、マウスＸ１、Ｘ２どうしの行動として、例えばマウスＸ１とマウスＸ２の社会性、同じ行動範囲に存在するマウスＸ１、Ｘ２どうしの相互作用、マウスＸ１、Ｘ２どうしの関係性等を検出するので、マウスＸ１とマウスＸ２の主従関係（支配力や従属性等）や習性、生態等を考察することができる。
【0051】
続いて、図５乃至図１１を参照してこの情報処理システムにおける画像処理装置２の画像処理の手順を説明する。
図５は、映像から取得したフレーム画像の一例を示す図である。図６は、図５のフレーム画像の後に映像から取得したフレーム画像の一例を示す図である。図７は、図６のフレーム画像の後に映像から取得したフレーム画像の一例を示す図である。図８は、図５のフレーム画像から個体を識別した様子を示す図である。図９は、図８のフレーム画像から部位を検出した様子を示す図である。図１０は、図９の部位を抽出した様子を示す図である。図１１は、図５乃至図８のフレーム画像から夫々抽出した部位をトラッキングした様子を示す図である。図１２は、図８の時刻ｔ３の時点のフレーム画像にマーカを付した追尾画像を表示した図である。
図５は、映像から取得したフレーム画像の一例を示す図である。図６は、図５のフレーム画像の後に映像から取得したフレーム画像の一例を示す図である。図７は、図６のフレーム画像の後に映像から取得したフレーム画像の一例を示す図である。図８は、図５のフレーム画像から個体を識別した様子を示す図である。図９は、図８のフレーム画像から部位を検出した様子を示す図である。図１０は、図９の部位を抽出した様子を示す図である。図１１は、図５乃至図８のフレーム画像から夫々抽出した部位をトラッキングした様子を示す図である。図１２は、図８の時刻ｔ３の時点のフレーム画像にマーカを付した追尾画像を表示した図である。
【0052】
この情報処理システムでは、カメラ１によりケージＣ内が撮像され、撮像された動画が画像処理装置２に送信される。
画像処理装置２では、画像取得部５１により、カメラ１から入力された動画から、図５乃至図７に示すように、時刻ｔ１、ｔ２、ｔ３の順に時系列を追ってフレーム画像Ｇ１、Ｇ２、Ｇ３が取得される。
画像処理装置２では、画像取得部５１により、カメラ１から入力された動画から、図５乃至図７に示すように、時刻ｔ１、ｔ２、ｔ３の順に時系列を追ってフレーム画像Ｇ１、Ｇ２、Ｇ３が取得される。
【0053】
続いて、部位抽出部５２では、個体認識部７１により、例えば時刻ｔ１におけるフレーム画像Ｇ１に含まれる単位画像（ピクセル）が２値化されて、背景（ケージの部分）と白色のマウスＸ１、Ｘ２の体の部分とが区画されて個体毎に領域が認識される。この例では、図８に示すように、マウスＸ１の体の部分の領域８１－１、マウスＸ２の体の部分の領域９１－１が認識される。
【0054】
次に、夫々の領域８１－１、９１－１から、図９に示すように、行動を追跡するためのトラッキングポイントとしての夫々の領域８１－１、９１－１の部位８２－１、９２－１が部位検出部７２により１以上検出される。
【0055】
図９の例では、部位検出部７２により領域８１－１の重心が演算されて、フレーム画像Ｇ１上における領域８１－１の重心の部位８２－１を示す２次元座標（ｘ１，ｙ１）がトラッキングポイントとして検出される。部位８２－１には、個体ＩＤとして“０”が付与される。
【0056】
領域９１－１についても同様に、重心が演算されて、フレーム画像Ｇ１上における領域９１－１の重心の部位９２－１を示す２次元座標（ｘ２，ｙ２）がトラッキングポイントとして検出される。部位９２－１には、個体ＩＤとして“１”が付与される。
このように動物の１以上の部位を検出し、検出結果として得られた部位から体の動きをデータ化する。
このように動物の１以上の部位を検出し、検出結果として得られた部位から体の動きをデータ化する。
【0057】
なお、この実施形態のように領域の重心を求めその位置をトラッキングポイントとする方法は、一例であり、これ以外に、動物の左右の目、鼻、左右の前足、左右の後足、夫々の足の関節、耳の輪郭や中心、背骨、尾の中心や生え際、先端等のうち１以上を検出し、トラッキングポイントとしてもよい。
【0058】
このように動物の１以上の部位を検出し、その部位を時系列を追って追跡し、モデルＤＢ４２の学習モデルと比較することで、そのような動きをする骨格を持つ動物を特定、つまりその動物がどのような動物である、といった個体を識別することができる。
【0059】
このようにして検出された体の部位（トラッキングポイント）が抽出されて、図１０に示すように、抽出した部位８２－１、９２－１や個体ＩＤを含むトラッキングデータ１０１が生成される。
【0060】
上記トラッキングデータ１０１を生成する処理をフレーム画像Ｇ２、Ｇ３についても行い、時系列毎に解析することで、任意の時点で、各マウスＸ１、Ｘ２の個体の各部位の位置関係や一定の条件を満たす頻度をデータ化することができる。
【0061】
例えば図１１に示すように、フレーム画像Ｇ１乃至Ｇ３に対応して生成された部位を有するトラッキングデータ１０１を重ねることで、動物の行動に伴う行動軌跡が得られる。つまりマウスＸ１の行動軌跡は、部位８２－１、８２－２、８２－３が移動した軌跡を示すベクトルデータ１１１－１、１１１－２として得られる。また、マウスＸ２の行動軌跡は、部位９２－１、９２－２、９２－３が移動した軌跡を示すベクトルデータ１１２－１、１１２－２として得られる。
【0062】
そして、マーカ画像生成部５５が、動物の部位を示すマーカと個体ＩＤ等を単位画像に重畳させた画像を生成することで、図１２に示すように、追尾画像Ｇ３Ａが表示される。
この追尾画像Ｇ３Ａには、例えば時刻ｔ３の時点のフレーム画像Ｇ３（図７参照）に、マウスＸ１の部位８２－３を示すマーカ（丸マーク）と個体ＩＤ“０”と軌跡線１２０が付与される。
また、追尾画像Ｇ３Ａには、マウスＸ２の部位９２－３を示すマーカ（三角マーク）と個体ＩＤ“１”と軌跡線１２１が表示される。
この追尾画像Ｇ３Ａには、例えば時刻ｔ３の時点のフレーム画像Ｇ３（図７参照）に、マウスＸ１の部位８２－３を示すマーカ（丸マーク）と個体ＩＤ“０”と軌跡線１２０が付与される。
また、追尾画像Ｇ３Ａには、マウスＸ２の部位９２－３を示すマーカ（三角マーク）と個体ＩＤ“１”と軌跡線１２１が表示される。
【0063】
フレーム画像Ｇ１、Ｇ２の時刻ｔ１、ｔ２からの軌跡線１２０、１２１を所定時間（例えば０．５秒程度）保持させて追尾画像を再生することで、マウスＸ１、Ｘ２が軌跡線１２０、１２１を残存表示させて動く動画を再生することができる。
【0064】
ここで、図１３乃至図１５を参照してマウスの１以上の部位の位置関係からマウスの夫々の個体の行動を判定し、社会性、相互作用、関係性を検知するいくつかの例を説明する。
図１３は、マウスの水飲み行動の検出例を示す図である。図１４は、マウスの餌食べ行動の検出例を示す図である。図１５は、マウスどうしの相互干渉行動の検出例を示す図である。
図１３は、マウスの水飲み行動の検出例を示す図である。図１４は、マウスの餌食べ行動の検出例を示す図である。図１５は、マウスどうしの相互干渉行動の検出例を示す図である。
【0065】
図１３に示すように、画像処理装置２では、マウスを収容したケージをカメラ１で撮像した動画から、マウスの特定の部位（この例では鼻と左右の目の部位）をトラックキングポイントとして抽出し、そのトラックキングポイントの位置（座標ｘ，ｙ）を、時系列を追って追跡した結果、フレーム画像毎にマウスの鼻と左右の目の部位の位置を示す座標がマウスの個体毎に取得される。
【0066】
画像処理装置２では、行動判定部５６が、動物の所定の部位の位置の時系列変化が、所定条件に合致したかどうかによってその動物の行動を判定する。
具体的には、行動判定部５６は、ある複数フレーム、例えば図１３のフレームＮｏ．１５０乃至１５６（｛カッコの部分）において、マウスの鼻の位置（座標）とケージ壁面に取り付けられた水飲み口の位置（座標）との間の距離がゼロ又はゼロに近い近接状態が継続した場合、マウスによる水飲み行動と判定する。
具体的には、行動判定部５６は、ある複数フレーム、例えば図１３のフレームＮｏ．１５０乃至１５６（｛カッコの部分）において、マウスの鼻の位置（座標）とケージ壁面に取り付けられた水飲み口の位置（座標）との間の距離がゼロ又はゼロに近い近接状態が継続した場合、マウスによる水飲み行動と判定する。
【0067】
さらに、図１４のフレームＮｏ．１５０乃至１５６（｛カッコの部分）において、マウスの鼻の位置（座標）とケージ内に配置された餌場の位置（座標）との距離がゼロ又はゼロに近い近接状態が継続した場合、行動判定部５６は、マウスによる餌食べ行動と判定する。
【0068】
また、図１５のフレームＮｏ．１５０乃至１５６（｛カッコの部分）において、マウスの鼻の位置（座標）とマウスの鼻の位置（座標）との間の距離がゼロ又はゼロに近い近接状態が継続した場合、行動判定部５６は、マウスどうしの相互干渉行動と判定する。
【0069】
以上説明したように第１実施形態の情報処理システムにおける画像処理装置２によれば、ケージＣの中で２匹のマウスＸ１、Ｘ２が活動する様子が撮像された動画から、マウスＸ１、Ｘ２の夫々の体の一部の部位を抽出し、抽出した部位の位置を時系列毎に解析してマウスＸ１、Ｘ２の夫々の個体を識別するので、一定の行動範囲の中で活動するマウスＸ１、Ｘ２を撮像した動画からマウスＸ１、Ｘ２の夫々の個体を見分けることができる。
また、マウスの行動について、例えばマウスの水飲み行動、餌食べ行動、同じ行動範囲に存在するマウスどうしの相互干渉動作等を判定するので、マウスの習性、生態や、マウスどうしの主従関係（支配力や従属性等）等を考察することができる。
個体識別部５４では、前後のフレーム間で部位位置が大きく離れることがないという前提のもと、前段で抽出された部位位置の連続性から個体を正しく識別できる。
個体識別部５４では、外郭や部位の位置情報により個体を識別するので、撮影環境の明るさや背景に依存せず個体を正しく識別できる。
また、マウスの行動について、例えばマウスの水飲み行動、餌食べ行動、同じ行動範囲に存在するマウスどうしの相互干渉動作等を判定するので、マウスの習性、生態や、マウスどうしの主従関係（支配力や従属性等）等を考察することができる。
個体識別部５４では、前後のフレーム間で部位位置が大きく離れることがないという前提のもと、前段で抽出された部位位置の連続性から個体を正しく識別できる。
個体識別部５４では、外郭や部位の位置情報により個体を識別するので、撮影環境の明るさや背景に依存せず個体を正しく識別できる。
【0070】
続いて、図１６を参照して第２実施形態を説明する。なお、この第２実施形態を説明するにあたり、図３に示した第１実施形態の機能的構成と同一の構成には同一の符号を付しその説明は省略する。
図１６は、図１の情報処理システムの第２実施形態、即ち図２の画像処理装置２の機能的構成の第２実施形態を示す機能ブロック図である。
図１６は、図１の情報処理システムの第２実施形態、即ち図２の画像処理装置２の機能的構成の第２実施形態を示す機能ブロック図である。
【0071】
画像処理装置２は、外郭検出部５７を備える。外郭検出部５７は、モデルＤＢ４２の複数種類の骨格推定モデルのうち選択された骨格推定モデルを用いて、複数の単位画像毎に、１以上の動物の夫々の体の外郭（体の輪郭等）を検出する。
外郭検出部５７は、個体認識部９１と外郭特定部９２を備える。
個体認識部９１は、複数の単位画像の夫々において、変化（動き）のある単位画像を含む領域を１つの行動個体として認識する。
具体的には、個体認識部９１は、単位画像夫々を２値化して背景画像と異なる色のものを行動個体の一部として認識する。好ましくは、時系列の前後のフレーム画像と比較して色が変化する部分を領域の境界とする。
外郭特定部９２は、複数の単位画像の夫々について、１つの行動個体として認識されたものを含む領域を１以上のマウスＸ１、Ｘ２の夫々の体の外郭（体の輪郭等）として特定する。
データフレーム生成部５３は、動物の行動に伴う外郭の変化が特定の行動である確率を示すデータフレーム（図２２参照）を生成する。
外郭検出部５７は、個体認識部９１と外郭特定部９２を備える。
個体認識部９１は、複数の単位画像の夫々において、変化（動き）のある単位画像を含む領域を１つの行動個体として認識する。
具体的には、個体認識部９１は、単位画像夫々を２値化して背景画像と異なる色のものを行動個体の一部として認識する。好ましくは、時系列の前後のフレーム画像と比較して色が変化する部分を領域の境界とする。
外郭特定部９２は、複数の単位画像の夫々について、１つの行動個体として認識されたものを含む領域を１以上のマウスＸ１、Ｘ２の夫々の体の外郭（体の輪郭等）として特定する。
データフレーム生成部５３は、動物の行動に伴う外郭の変化が特定の行動である確率を示すデータフレーム（図２２参照）を生成する。
【0072】
個体識別部５４は、モデルＤＢ４２の骨格推定モデルに対して、外郭検出部５７により複数の単位画像の夫々から検出された１以上の動物の夫々の体の外郭の時系列を入力した結果得られる出力に基づいて、複数の単位画像の夫々における１以上の動物の夫々の個体を識別する。
個体識別部５４は、外郭検出部５７により複数の単位画像の夫々から検出された１以上の外郭を時系列毎に解析し、その解析結果に基づいて複数の単位画像の夫々における１以上の動物の夫々の個体を識別する。
具体的には、個体識別部５４は、モデルＤＢ４２を参照して複数のフレーム画像の夫々から検出された１以上の外郭を時系列毎に解析することで、マウスＸ１、Ｘ２の夫々の個体を識別し、識別結果得られたマウスＸ１、Ｘ２の個体の情報（個体ＩＤと外郭の位置等）を行動判定部５６へ出力する。つまり、個体識別部５４は、検出した外郭がケージ内の２匹のマウスＸ１、Ｘ２のうちどちらのマウスのものかを識別する。
個体識別部５４は、外郭検出部５７により複数の単位画像の夫々から検出された１以上の外郭を時系列毎に解析し、その解析結果に基づいて複数の単位画像の夫々における１以上の動物の夫々の個体を識別する。
具体的には、個体識別部５４は、モデルＤＢ４２を参照して複数のフレーム画像の夫々から検出された１以上の外郭を時系列毎に解析することで、マウスＸ１、Ｘ２の夫々の個体を識別し、識別結果得られたマウスＸ１、Ｘ２の個体の情報（個体ＩＤと外郭の位置等）を行動判定部５６へ出力する。つまり、個体識別部５４は、検出した外郭がケージ内の２匹のマウスＸ１、Ｘ２のうちどちらのマウスのものかを識別する。
【0073】
この第２実施形態におけるモデルＤＢ４２の学習モデルは、予め用意したマウスの個体毎の動画及び静止画について機械学習が行われた結果として、新たに動画又は静止画像が入力された場合にそれからマウスを識別して識別結果の個体の情報（個体ＩＤと外郭の位置等）を出力するための学習済みの学習データが記憶されている。
【0074】
具体的には、例えば、夫々のマウスが活動する様子を撮影して得られた動画がモデルＤＢ４２に入力されると、動画に含まれる１以上のマウスの夫々の個体ＩＤと、その個体ＩＤを持つマウスの動画における外郭（体の輪郭）の位置を出力する。
つまりこの第２実施形態における学習モデルを用いることで、骨格推定の手法を使った学習モデルであり、識別された各個体の領域から個体の外郭の位置を検出することができる。
つまりこの第２実施形態における学習モデルを用いることで、骨格推定の手法を使った学習モデルであり、識別された各個体の領域から個体の外郭の位置を検出することができる。
【0075】
行動判定部５６は、個体識別部５４から入力された個体情報を基に、例えば任意の時点での各個体の一般行動や一定条件を満たす頻度をデータ化し、個体の行動や条件を材料ＤＢ４３のデータと照合する。
具体的には、行動判定部５６は、データフレームにおいて特定の行動である確率の値が予め設定された１以上の条件のうち何れかの条件を満たした場合、満たした条件に応じた行動を判定する。
ここで、１以上の条件とは、例えば一方のマウスが体を丸くするという一般行動をした後、他方のマウスが体を丸くしたマウスの体にすり寄るという一般行動をし、その頻度が何回以上という条件である。
行動判定部５６は、材料ＤＢ４３を参照し、個体識別部５４により識別されたマウスの行動が当該条件を満たしたとき、マウスどうしの関係性が良好であり、つがいになる、ということが起きているものと判定する。
具体的には、行動判定部５６は、データフレームにおいて特定の行動である確率の値が予め設定された１以上の条件のうち何れかの条件を満たした場合、満たした条件に応じた行動を判定する。
ここで、１以上の条件とは、例えば一方のマウスが体を丸くするという一般行動をした後、他方のマウスが体を丸くしたマウスの体にすり寄るという一般行動をし、その頻度が何回以上という条件である。
行動判定部５６は、材料ＤＢ４３を参照し、個体識別部５４により識別されたマウスの行動が当該条件を満たしたとき、マウスどうしの関係性が良好であり、つがいになる、ということが起きているものと判定する。
【0076】
以上のように第２実施形態の情報処理システムにおける画像処理装置２の機能構成によれば、第１実施形態と同様の効果を奏すると共に、以下のような効果が得られる。
すなわち、ケージＣに収容され活動する２匹のマウスＸ１、Ｘ２の様子が撮像された動画から、夫々のマウスＸ１、Ｘ２の体の外郭を検出し、検出した外郭を時系列毎に解析し、マウスＸ１、Ｘ２の夫々の個体を識別するので、同じ画像の中に存在して活動するマウスＸ１、Ｘ２の夫々の個体を見分けることができる。
すなわち、ケージＣに収容され活動する２匹のマウスＸ１、Ｘ２の様子が撮像された動画から、夫々のマウスＸ１、Ｘ２の体の外郭を検出し、検出した外郭を時系列毎に解析し、マウスＸ１、Ｘ２の夫々の個体を識別するので、同じ画像の中に存在して活動するマウスＸ１、Ｘ２の夫々の個体を見分けることができる。
【0077】
（第２実施形態）
続いて、図１７を参照して図１６の第２実施形態の機能的構成を有する情報処理装置により実行される画像処理動作を説明する。なお、第２実施形態の画像処理動作を説明するにあたり、図４に示した第１実施形態の動作と同じ動作には、図４と同一のステップ番号を付しその説明は省略する。図１７は、図１６の機能的構成を有する情報処理装置により実行される画像処理の流れの一例を説明するフローチャートである。
続いて、図１７を参照して図１６の第２実施形態の機能的構成を有する情報処理装置により実行される画像処理動作を説明する。なお、第２実施形態の画像処理動作を説明するにあたり、図４に示した第１実施形態の動作と同じ動作には、図４と同一のステップ番号を付しその説明は省略する。図１７は、図１６の機能的構成を有する情報処理装置により実行される画像処理の流れの一例を説明するフローチャートである。
【0078】
第２実施形態の場合、ステップＳ２１において、カメラ１から動画が取得されると、ステップＳ２２において、外郭検出部５７は、取得された動画に含まれる複数のフレーム画像の夫々の単位画像毎に、１以上の動物の夫々の体の外郭（体の輪郭等）を検出する。
【0079】
ステップＳ２３において、個体識別部５４は、外郭検出部５７により複数の単位画像の夫々から抽出された外郭を時系列毎に解析し、その解析結果に基づいて複数の単位画像の夫々における１以上の動物の夫々の個体を識別する。ステップＳ２４以降の処理は、第１実施形態（図４）と同様である。
【0080】
第２実施形態の機能的構成を有する画像処理装置２の動作によれば、カメラ１から取得された動画に含まれる複数のフレーム画像の夫々の単位画像毎に、マウスＸ１、Ｘ２の夫々の体の外郭を検出し、外郭がマウスＸ１、Ｘ２の行動に伴って時系列を追って変化する様子を解析することで、マウスＸ１、Ｘ２の夫々の個体を識別するので、同じ画像の中に映るマウスＸ１、Ｘ２の夫々の個体を見分けることができる。
また、識別したマウスＸ１、Ｘ２の外郭が時系列と共に変化する様子を監視し、所定条件を満たすことで、マウスＸ１、Ｘ２の特定行動を検出するので、既存の生態だけでなく、新たな生態を発見することができる。
また、識別したマウスＸ１、Ｘ２の外郭が時系列と共に変化する様子を監視し、所定条件を満たすことで、マウスＸ１、Ｘ２の特定行動を検出するので、既存の生態だけでなく、新たな生態を発見することができる。
【0081】
続いて、図１８乃至図２２を参照してこの情報処理システムにおける情報処理装置の画像処理の手順を説明する。
図１８は、映像から取得したフレーム画像の一例を示す図である。図１９は、図１８のフレーム画像の後に映像から取得したフレーム画像の一例を示す図である。図２０は、図１８の時刻ｔ４の時点のフレーム画像に外郭を示すオブジェクトと個体のマーカを付した追尾画像を表示した図である。図２１は、図１９の時刻ｔ５の時点のフレーム画像に外郭を示すオブジェクトと個体のマーカを付した追尾画像を表示した図である。図２２は、ひっかき行動の検出例を示す図である。
なお、図１８乃至図２１を説明するにあたり、フレーム画像に映る２匹のマウスのうち、１匹のマウスについて、時刻ｔ４のフレーム画像Ｇ４に含まれるマウスをマウスＸ１－１、時刻ｔ５のフレーム画像Ｇ５に含まれるマウスをマウスＸ１－２として説明する。他のマウスＸ２－１、マウスＸ２－２も同様である。
図１８は、映像から取得したフレーム画像の一例を示す図である。図１９は、図１８のフレーム画像の後に映像から取得したフレーム画像の一例を示す図である。図２０は、図１８の時刻ｔ４の時点のフレーム画像に外郭を示すオブジェクトと個体のマーカを付した追尾画像を表示した図である。図２１は、図１９の時刻ｔ５の時点のフレーム画像に外郭を示すオブジェクトと個体のマーカを付した追尾画像を表示した図である。図２２は、ひっかき行動の検出例を示す図である。
なお、図１８乃至図２１を説明するにあたり、フレーム画像に映る２匹のマウスのうち、１匹のマウスについて、時刻ｔ４のフレーム画像Ｇ４に含まれるマウスをマウスＸ１－１、時刻ｔ５のフレーム画像Ｇ５に含まれるマウスをマウスＸ１－２として説明する。他のマウスＸ２－１、マウスＸ２－２も同様である。
【0082】
この情報処理システムでは、カメラ１によりケージＣ内が撮像され、撮像された動画が画像処理装置２に送信される。
画像処理装置２では、画像取得部５１により、カメラ１から入力された動画から、図１８に示す時刻ｔ４のフレーム画像Ｇ４と、図１９に示す時刻ｔ５のフレーム画像Ｇ５とが時系列を追って順に取得される。
画像処理装置２では、画像取得部５１により、カメラ１から入力された動画から、図１８に示す時刻ｔ４のフレーム画像Ｇ４と、図１９に示す時刻ｔ５のフレーム画像Ｇ５とが時系列を追って順に取得される。
【0083】
続いて、外郭検出部５７では、個体認識部９１により、例えば時刻ｔ４におけるフレーム画像Ｇ４に含まれる単位画像が２値化されて、背景（ケージの部分）と白色のマウスの体の部分とが異なる色の領域となり個体毎に領域が認識される。この結果、２匹のマウスのうち１匹ずつの体の部分の領域が個別に認識される。
【0084】
図２０は、個体識別された追跡画像Ｇ４Ａの表示例が示されており、この追跡画像Ｇ４Ａの表示例では、マウスＸ１－１の外郭（体の輪郭）に、青色のオブジェクト１２１－１が表示され、マウスＸ２－１の外郭（体の輪郭）に、赤色のオブジェクト１２２－１が表示される。
また、同追跡画像Ｇ４Ａには、マウスＸ１－１の個体を識別するための個体ＩＤとして“ｍｏｕｓｅ０．９９６”と個体を囲う枠体１３１－１等のマーカが表示される。
さらに、同追跡画像Ｇ４Ａには、マウスＸ２－１の個体を識別するための個体ＩＤとして“ｍｏｕｓｅ０．９９８”と個体を囲う枠体１３２－１等のマーカが表示される。
また、同追跡画像Ｇ４Ａには、マウスＸ１－１の個体を識別するための個体ＩＤとして“ｍｏｕｓｅ０．９９６”と個体を囲う枠体１３１－１等のマーカが表示される。
さらに、同追跡画像Ｇ４Ａには、マウスＸ２－１の個体を識別するための個体ＩＤとして“ｍｏｕｓｅ０．９９８”と個体を囲う枠体１３２－１等のマーカが表示される。
【0085】
時刻ｔ５におけるフレーム画像Ｇ５でも同様に、単位画像（ピクセル）が２値化されて、背景（ケージの部分）と白色のマウスの体の部分とが区画されて個体毎に領域が認識される。
【0086】
図２１の個体識別された追跡画像Ｇ５Ａの例では、マウスＸ１－２の外郭（体の輪郭）に、青色のオブジェクト１２１－２が表示され、マウスＸ２－２の外郭（体の輪郭）に、赤色のオブジェクト１２２－２が表示される。
また、同追跡画像Ｇ５Ａには、マウスＸ１－２の個体を識別するための個体ＩＤとして“ｍｏｕｓｅ０．９９６”と個体を囲う枠体１３１－２等のマーカが表示される。
さらに、同追跡画像Ｇ５Ａには、マウスＸ２－２の個体を識別するための個体ＩＤとして“ｍｏｕｓｅ０．９９８”と個体を囲う枠体１３２－２等のマーカが表示される。
また、同追跡画像Ｇ５Ａには、マウスＸ１－２の個体を識別するための個体ＩＤとして“ｍｏｕｓｅ０．９９６”と個体を囲う枠体１３１－２等のマーカが表示される。
さらに、同追跡画像Ｇ５Ａには、マウスＸ２－２の個体を識別するための個体ＩＤとして“ｍｏｕｓｅ０．９９８”と個体を囲う枠体１３２－２等のマーカが表示される。
【0087】
このように２匹のマウスの体の部分の外郭を検出し、その外郭が時系列を追って変化する状況から、マウスの個体を識別した上で、夫々の個体が任意の時刻に所定条件を満たしたときにマウスの特定の行動を判定するので、夫々のマウスの行動の理由を知ることができる。
【0088】
ここで、図２２を参照してマウスの外郭の位置関係からマウスの夫々の個体の行動を判定し、社会性、相互作用、関係性を検知する例について説明する。
図２２は、ひっかき行動の検出例である。
図２２のフレームＮｏ．１から順にフレーム画像が取得され、マウスを個体識別した後、行動判定部５６は、マウスが特定の行動をしているか否かの確率をフレーム画像毎に算出し、算出結果として得られた確率をフレーム画像毎にデータフレーム化する。
そして、データフレームの確率を基に、マウスの行動をラベリング（分類）しその識別情報を当該データフレームに付与して画像ＤＢ４１に記憶する。
図２２は、ひっかき行動の検出例である。
図２２のフレームＮｏ．１から順にフレーム画像が取得され、マウスを個体識別した後、行動判定部５６は、マウスが特定の行動をしているか否かの確率をフレーム画像毎に算出し、算出結果として得られた確率をフレーム画像毎にデータフレーム化する。
そして、データフレームの確率を基に、マウスの行動をラベリング（分類）しその識別情報を当該データフレームに付与して画像ＤＢ４１に記憶する。
【0089】
例えば図２２のフレームＮｏ．４５０２乃至４５０７のデータフレームにおいて、算出された確率が一定の閾値を超えたことで、行動判定部５６は、マウスが特定の行動をしたものと判定し、当該フレームＮｏ．４５０２乃至４５０７のデータフレームに特定の行動を示す識別情報（例えばｐｒｅｄｉｃｔ“１”等）を付与すると共に、マウスの外郭の時系列の変化（マウスの挙動）が予め材料ＤＢ４３に設定されている条件に合致した場合、当該条件から導出されるマウスの特定の行動、例えばマウスがケージの床面をひっかいている行動、つまりひっかき行動と判定する。
【0090】
第２実施形態の画像処理装置２によれば、個体識別したマウスが特定の行動をしているか否かの確率をフレーム画像毎に算出し、算出結果として得られた確率を基に、マウスが特定の行動を起こした時点のデータフレームにラベリングするので、マウスの既定の行動を検出することはもとより、予期せぬ行動を検出することができる。
この結果、ケージに収容した複数のマウス夫々を見分けつつ観察しながらマウス夫々がする一般行動や新たな行動を発見することができる。
この結果、ケージに収容した複数のマウス夫々を見分けつつ観察しながらマウス夫々がする一般行動や新たな行動を発見することができる。
【0091】
（第３実施形態）
次に、図２３乃至図３０を参照して第３実施形態を説明する。
上記第１実施形態及び第２実施形態は、特定の動物種や行動（白マウス、ひっかき行動等）、撮影環境に対してのみモデルを構築し、ＲＡＷデータ（各部位の位置情報等）として出力、条件判定プログラムの構築を行うに留まったが、この第３実施形態は、複数の動物種、行動、撮影環境への適用拡大を行い、実用性を高めたものである。
第３実施形態では、ＲＡＷデータ取得のためのアノテーション（取得部位の位置の判定用の教師データの作成）、ＲＡＷデータを用いて各行動の判定条件（数理モデル）の構築、アプリケーション化するためのプログラム化及びモジュール化、白マウスの移動、摂食、飲水を検知するためのプログラムの拡張等を行った。
次に、図２３乃至図３０を参照して第３実施形態を説明する。
上記第１実施形態及び第２実施形態は、特定の動物種や行動（白マウス、ひっかき行動等）、撮影環境に対してのみモデルを構築し、ＲＡＷデータ（各部位の位置情報等）として出力、条件判定プログラムの構築を行うに留まったが、この第３実施形態は、複数の動物種、行動、撮影環境への適用拡大を行い、実用性を高めたものである。
第３実施形態では、ＲＡＷデータ取得のためのアノテーション（取得部位の位置の判定用の教師データの作成）、ＲＡＷデータを用いて各行動の判定条件（数理モデル）の構築、アプリケーション化するためのプログラム化及びモジュール化、白マウスの移動、摂食、飲水を検知するためのプログラムの拡張等を行った。
【0092】
また、上記第１実施形態及び第２実施形態は、必要最小限のタスクを自前のハードウェアとソフトウェア環境で実現したが、第３実施形態では、汎用性を高め、ＩＴリテラシーの高くない一般的なユーザにも安定的に使用してもらうため、業務プロセスに一貫性を以って操作し易いユーザインターフェース環境（以下「ＵＩ環境」と称す）を構築した。
また、システムの実行環境も使用者（依頼者）側の条件に依存せず安定的に稼働すること、実行タスクの頻度や負荷によってスペックやコストが最適化されることを想定しクラウドサービス化、つまりサーバクライアントシステムとしてシステムを構築した。
また、システムの実行環境も使用者（依頼者）側の条件に依存せず安定的に稼働すること、実行タスクの頻度や負荷によってスペックやコストが最適化されることを想定しクラウドサービス化、つまりサーバクライアントシステムとしてシステムを構築した。
【0093】
まず、図２３を参照して、第３実施形態の情報処理システムの概要を説明する。
図２３は、情報処理システムの第３実施形態であり、第１実施形態及び第２実施形態の情報処理システムを商用に拡張したビジネスモデルの概要を示す図である。
図２３は、情報処理システムの第３実施形態であり、第１実施形態及び第２実施形態の情報処理システムを商用に拡張したビジネスモデルの概要を示す図である。
【0094】
図２３に示すように、第３実施形態の情報処理システムは、依頼者Ｙのクライアント３００側の機器と、依頼を請け負う請負者のサーバ２００とが通信するよう構成される。
サーバ２００は、依頼者Ｙからの依頼を受けて、依頼者Ｙからアップロードされた動画を解析し解析結果を依頼者Ｙに送信する。
サーバ２００は、依頼者Ｙからの依頼を受けて、依頼者Ｙからアップロードされた動画を解析し解析結果を依頼者Ｙに送信する。
【0095】
クライアント３００側の機器は、動物の撮影環境を構成するカメラ３１０やケージ３１１と、カメラ３１０により撮像された解析対象の動画を収集するクライアントコンピュータ３２０（以下「ＰＣ３２０」と称す）とを含む。
ケージ３１１は、動物を一定範囲の中で活動させるための容器である。カメラ３１０は、ケージ３１１内で活動する動物を撮像する。この動物の撮影環境は、依頼内容に応じて適宜変更可能である。
ケージ３１１は、動物を一定範囲の中で活動させるための容器である。カメラ３１０は、ケージ３１１内で活動する動物を撮像する。この動物の撮影環境は、依頼内容に応じて適宜変更可能である。
【0096】
ＰＣ３２０は、カメラ３１０により撮像される動画（画像）データを取り込み、ローカル（内部ストレージ等）に保存する。ＰＣ３２０は、ローカルに保存されている動画データ３２１をサーバ２００へアップロードし、動画に含まれる動物の行動の解析を依頼する。
ＰＣ３２０は、依頼に対してサーバ２００からの解析結果の情報（ＣＳＶファイル３３０）や動物の目の位置にマーカＭを付して加工した動画データ（加工動画３３１）を取得する。
ＰＣ３２０は、ＣＳＶファイル３３０のデータを分析するための資料（グラフ３２２）を作成したり、加工動画３３１を分析資料の一部とする。
ＰＣ３２０は、依頼に対してサーバ２００からの解析結果の情報（ＣＳＶファイル３３０）や動物の目の位置にマーカＭを付して加工した動画データ（加工動画３３１）を取得する。
ＰＣ３２０は、ＣＳＶファイル３３０のデータを分析するための資料（グラフ３２２）を作成したり、加工動画３３１を分析資料の一部とする。
【0097】
サーバ２００は、画像解析部４５０と、ウェブサービス部４５１と、ストレージ４１０と、データウェアハウス４１１（以下「ＤＷＨ４１１」と称す）とを備える。
画像解析部４５０は、第１実施形態で示した図３の機能的構成や第２実施形態で示した図１６の機能的構成を含み、画像の解析処理を行う。
画像解析部４５０は、第１実施形態で示した図３の機能的構成や第２実施形態で示した図１６の機能的構成を含み、画像の解析処理を行う。
【0098】
ウェブサービス部４５１は、ＰＣ３２０から入力されるログイン情報を認証する機能と、解析対象を検索する機能と、検索結果を出力する機能と、解析データを追加する機能と、解析結果を表示する機能とを有する。具体的な機能的構成については後述する。
この他、ウェブサービス部４５１は、暗号化通信、アクセス元ＩＰ通信、専用線通信等を行う機能有することで、セキュリティ対策が図られている。
即ち、ウェブサービス部４５１は、ＰＣ３２０とのインターフェースを実現する。
この他、ウェブサービス部４５１は、暗号化通信、アクセス元ＩＰ通信、専用線通信等を行う機能有することで、セキュリティ対策が図られている。
即ち、ウェブサービス部４５１は、ＰＣ３２０とのインターフェースを実現する。
【0099】
ストレージ４１０は、ウェブサービス部４５１を通じて解析依頼される動画データや解析中の動画データを記憶する。
ＤＷＨ４１１は、様々な関連データが記憶されており、ストレージ４１０のデータと連携し処理した結果を体系的にアーカイブする。これにより、データを再利用可能とし、動物実験数を削減することができる。
ＤＷＨ４１１は、様々な関連データが記憶されており、ストレージ４１０のデータと連携し処理した結果を体系的にアーカイブする。これにより、データを再利用可能とし、動物実験数を削減することができる。
【0100】
ここで、この第３実施形態の情報処理システムのデータの処理手順（流れ）を説明する。
ステップＳ１０１において、ケージ３１１内で動物が活動する様子を動画で撮像しその動画データ３２１をＰＣ３２０のローカルに保存する。
ステップＳ１０２において、請負者に動画の解析を依頼する際に、ＰＣ３２０に保存した動画データ３２１をサーバ２００へアップロードする。
ステップＳ１０１において、ケージ３１１内で動物が活動する様子を動画で撮像しその動画データ３２１をＰＣ３２０のローカルに保存する。
ステップＳ１０２において、請負者に動画の解析を依頼する際に、ＰＣ３２０に保存した動画データ３２１をサーバ２００へアップロードする。
【0101】
サーバ２００では、ＰＣ３２０からアップロードされてきた動画データ３２１をウェブサービス部４５１がストレージ４１０に保存する。
なお、ステップＳ１０１、Ｓ１０２では、撮像した動画データ３２１をＰＣ３２０に一旦保存した後、サーバ２００へアップロードしたが、２４時間連続撮像される動画の場合、ステップＳ１０３のように、カメラ３１０により撮像される動画データ３２１をサーバ２００へ直接アップロードするようにしてもよい。
なお、ステップＳ１０１、Ｓ１０２では、撮像した動画データ３２１をＰＣ３２０に一旦保存した後、サーバ２００へアップロードしたが、２４時間連続撮像される動画の場合、ステップＳ１０３のように、カメラ３１０により撮像される動画データ３２１をサーバ２００へ直接アップロードするようにしてもよい。
【0102】
ステップＳ１０４において、サーバ２００では、画像解析部４５０が、ストレージ４１０に保存された動画データを読み出して、依頼された動画データ３２１の解析を実行し、解析の際に動画を加工して生成した加工動画３３１とその解析結果のＣＳＶファイル３３０をストレージ４１０に保存すると共に、解析完了通知をＰＣ３２０へ出力する。
解析完了通知を受けたＰＣ３２０では、検索画面を表示して、解析対象の動画データが指定されると、ステップＳ１０５において、ウェブサービス部４５１が、指定された動画データを検索し、加工動画３３１とその解析結果のＣＳＶファイル３３０をＰＣ３２０にダウンロードする。
解析完了通知を受けたＰＣ３２０では、検索画面を表示して、解析対象の動画データが指定されると、ステップＳ１０５において、ウェブサービス部４５１が、指定された動画データを検索し、加工動画３３１とその解析結果のＣＳＶファイル３３０をＰＣ３２０にダウンロードする。
【0103】
ステップＳ１０６において、ＰＣ３２０は、サーバ２００からダウンロードした加工動画３３１とその解析結果のＣＳＶファイル３３０を用いて分析のためのグラフ３２２を作成すると共に、加工動画３３１をグラフ３２２の裏付け資料として添付する。
【0104】
なお、上記ステップＳ１０５、Ｓ１０６では、解析結果のＣＳＶファイル３３０（数値データ）をＰＣ３２０にダウンロードし、ＣＳＶファイル３３０からグラフ３２２を作成したが、この他、例えばステップＳ１０７にように、依頼内容に応じて、サーバ２００において、ＣＳＶファイル３３０からグラフ３２２を作成し、解析結果としてグラフ３２２をＰＣ３２０へダウンロードすることもできる。
【0105】
次に、図２４を参照して、図２３の第３実施形態の情報処理システムの機能的構成を説明する。図２４は、図２３の第３実施形態の情報処理システムの機能的構成を示す機能ブロック図である。
なお、第３実施形態の情報処理システムの機能的構成を説明するにあたり、図３に示した第１実施形態の機能的構成、及び図１６に示した第２実施形態の機能的構成と同一の構成には同一の符号を付しその説明は省略する。
なお、第３実施形態の情報処理システムの機能的構成を説明するにあたり、図３に示した第１実施形態の機能的構成、及び図１６に示した第２実施形態の機能的構成と同一の構成には同一の符号を付しその説明は省略する。
【0106】
サーバ２００の記憶部１８の一領域には、図２４に示すように、認証ＤＢ４４が記憶されている。認証ＤＢ４４には、依頼者Ｙがサーバ２００にログインするための認証情報が記憶されている。認証情報は、依頼者Ｙを識別する識別情報としてのログインＩＤとパスワード等である。
また、モデルＤＢ４２には、機械学習等により生成又は更新された複数種類の学習モデルが予め格納されている。学習モデルは、例えば骨格推定モデル、個体識別モデル等）と数理モデルである。複数種類の学習モデルは、例えば解析対象の動物の種別毎、画像の撮像方向毎、動物の色毎に設けられている。
また、モデルＤＢ４２には、機械学習等により生成又は更新された複数種類の学習モデルが予め格納されている。学習モデルは、例えば骨格推定モデル、個体識別モデル等）と数理モデルである。複数種類の学習モデルは、例えば解析対象の動物の種別毎、画像の撮像方向毎、動物の色毎に設けられている。
【0107】
図２３のステップＳ１０１乃至Ｓ１０７に対応する処理が実行される際に、サーバ２００のＣＰＵ１１において、画像解析部４５０と、ウェブサービス部４５１と、プロセス部４５２とが機能する。
画像解析部４５０は、依頼者Ｙからの依頼により取得した動画データ３２１のうち、指定された画像データに対して選択されたモデルを用いて画像の解析処理を行う。
画像解析部４５０は、指定部４７１により指定された解析対象の画像を画像ＤＢ４１から読み出し、モデル選択部４７２により複数種類の学習モデルの中から選択されてモデルＤＢ４２から抽出された学習モデル（骨格推定モデル、個体識別モデル、数理モデル等）を用いて当該画像の解析処理を実行する。
画像解析部４５０が実行する画像処理は、第１実施形態や第２実施形態に示した、動画における動物の個体識別、外郭識別及び行動解析等の処理である。
ウェブサービス部４５１は、依頼者Ｙがサーバ２００へログインする際にログイン認証、依頼者Ｙから依頼された動画解析の結果の検索、検索結果の出力、解析データの追加、解析結果の表示制御等を行う。
画像解析部４５０は、依頼者Ｙからの依頼により取得した動画データ３２１のうち、指定された画像データに対して選択されたモデルを用いて画像の解析処理を行う。
画像解析部４５０は、指定部４７１により指定された解析対象の画像を画像ＤＢ４１から読み出し、モデル選択部４７２により複数種類の学習モデルの中から選択されてモデルＤＢ４２から抽出された学習モデル（骨格推定モデル、個体識別モデル、数理モデル等）を用いて当該画像の解析処理を実行する。
画像解析部４５０が実行する画像処理は、第１実施形態や第２実施形態に示した、動画における動物の個体識別、外郭識別及び行動解析等の処理である。
ウェブサービス部４５１は、依頼者Ｙがサーバ２００へログインする際にログイン認証、依頼者Ｙから依頼された動画解析の結果の検索、検索結果の出力、解析データの追加、解析結果の表示制御等を行う。
【0108】
ウェブサービス部４５１は、認証部４６１、検索部４６２、検索結果出力部４６３、解析データ追加部４６４、解析結果表示制御部４６５等を有する。
【0109】
認証部４６１は、入力されたログイン情報と認証ＤＢの認証情報とを照合してユーザ認証する。認証部４６１は、互いの情報を照合した結果、情報が一致した場合、依頼者Ｙがサーバ２００へログインするのを許可する。
【0110】
検索部４６２は、認証された依頼者ＹのＰＣ３２０に検索画面２５１（図２５参照）を表示し、検索画面２５１からの検索要求により、画像ＤＢ４１より解析結果を検索し、検索結果を検索結果出力部４６３に渡す。検索画面２５１では、検索結果一覧や、解析データの追加、解析結果の表示等が行える。
【0111】
検索結果出力部４６３は、検索部４６２により検索された検索結果をＰＣ３２０へ出力し、ＰＣ３２０の検索画面２５１に一覧表示する。
【0112】
解析データ追加部４６４は、検索画面２５１において、解析データの追加操作が行われることでＰＣ３２０に解析データ追加画面２６１（図２６参照）を表示する。
この解析データ追加画面２６１からの解析データ追加操作により解析対象の動画データは、画像処理装置２にアップロードされる。画像処理装置２では、アップロードされた解析対象の動画データが画像ＤＢ４１に追加登録される。
アップロード後、解析データ追加画面２６１では、画像ＤＢ４１に追加した新たなファイルに対する解析条件の指定が行える。
この解析データ追加画面２６１からの解析データ追加操作により解析対象の動画データは、画像処理装置２にアップロードされる。画像処理装置２では、アップロードされた解析対象の動画データが画像ＤＢ４１に追加登録される。
アップロード後、解析データ追加画面２６１では、画像ＤＢ４１に追加した新たなファイルに対する解析条件の指定が行える。
【0113】
解析データ追加部４６４は、指定部４７１及びモデル選択部４７２を有する。
指定部４７１は、解析対象の画像に対する解析属性（解析対象の種別（例えばマウス、ラット等）、解析対象の撮像方向（例えば上、斜上、横等）、解析対象の色（例えば白、黒等））を指定する。
指定部４７１は、解析対象の画像に対する解析属性（解析対象の種別（例えばマウス、ラット等）、解析対象の撮像方向（例えば上、斜上、横等）、解析対象の色（例えば白、黒等））を指定する。
【0114】
具体的には、指定部４７１は、図２６の解析データ追加画面２６１を表示する。
解析データ追加画面２６１には、ファイルの欄と設定の欄が設けられている。ファイルの欄には、解析対象の画像のファイルのアイコンと、解析の進み具合（進捗状況）を示すバーグラフが設けられている。
設定の欄には、解析対象の画像に含まれる動物の種別（例えばマウス、ラット等）、解析対象の動物の撮像方向（例えば上、斜上、横等）、解析対象の動物の色（例えば白、黒等）等といった解析属性を依頼者Ｙが指定するためのラジオボタン（指定ボタン）が設けられている。
解析データ追加画面２６１には、ファイルの欄と設定の欄が設けられている。ファイルの欄には、解析対象の画像のファイルのアイコンと、解析の進み具合（進捗状況）を示すバーグラフが設けられている。
設定の欄には、解析対象の画像に含まれる動物の種別（例えばマウス、ラット等）、解析対象の動物の撮像方向（例えば上、斜上、横等）、解析対象の動物の色（例えば白、黒等）等といった解析属性を依頼者Ｙが指定するためのラジオボタン（指定ボタン）が設けられている。
【0115】
依頼者Ｙが解析対象の画像を画像処理装置２にアップロードすると、解析データ追加画面２６１のファイルの欄にアップロードされた追加対象の画像ファイルのアイコンが表示される。
【0116】
そして、依頼者Ｙが、画像ファイルのアイコンの下の対応する設定の欄に設けられているラジオボタンで画像の設定（解析対象の画像に含まれる動物の種別、解析対象の動物の撮像方向、解析対象の動物の色等）を行うことで、画像解析の際の画像解析の精度を向上することができ、画像に含まれる動物の種別や個体の識別、行動分析等を正確に行うことができる。
【0117】
モデル選択部４７２は、指定部４７１により指定された画像の解析属性に基づいて、モデルＤＢに格納された複数種類の骨格推定モデルの中から図３の部位抽出部５２又は図１６の外郭検出部５７に適用させるモデルを選択すると共に、モデルＤＢに格納された複数種類の個体識別モデルの中から個体識別部５４に適用させるモデルを選択する。
解析結果表示制御部４６５は、サーバ２００からダウンロードされた解析結果のＣＳＶファイル３３０や加工動画３３１等を表示する。
解析結果表示制御部４６５は、サーバ２００からダウンロードされた解析結果のＣＳＶファイル３３０や加工動画３３１等を表示する。
【0118】
プロセス部４５２は、解析用の画像データや未処理データを管理する。
プロセス部４５２は、アップロードデータ管理部４９１と、未処理データ管理部４９２とを有する。
アップロードデータ管理部４９１は、ＰＣ３２０からアップロードされた画像データを画像ＤＢ４１に移動し管理ファイルを更新する。この他、アップロードデータ管理部４９１は、ｃｒｏｎによる毎分起動機能や重複起動防止機能等を備える。
プロセス部４５２は、アップロードデータ管理部４９１と、未処理データ管理部４９２とを有する。
アップロードデータ管理部４９１は、ＰＣ３２０からアップロードされた画像データを画像ＤＢ４１に移動し管理ファイルを更新する。この他、アップロードデータ管理部４９１は、ｃｒｏｎによる毎分起動機能や重複起動防止機能等を備える。
【0119】
未処理データ管理部４９２は、管理ファイルの未処理データを確認する。未処理データ管理部４９２は、未処理データを複写する。未処理データ管理部４９２は、処理ディレクトリでのＡＩ処理を行う。未処理データ管理部４９２は、結果ファイルを対応するディレクトリに格納する。未処理データ管理部４９２は、解析結果のＣＳＶファイル３３０を作成し対応するディレクトリに格納する。この他、アップロードデータ管理部４９１と同様に未処理データ管理部４９２は、ｃｒｏｎによる毎分起動機能や重複起動防止機能、管理ファイルの更新機能等を備える。
【0120】
図２３のステップＳ１０１乃至Ｓ１０７に対応する処理が実行される際に、ＰＣ３２０のＣＰＵ１４１において、ログイン管理部４２１と、画面制御部４２２と、解析依頼部４２３と、解析結果表示制御部４２４とが機能する。
ログイン管理部４２１は、ＰＣ３２０にログイン画面を表示し、依頼者Ｙによりログイン画面に入力されたログイン情報をサーバ２００へ送信しログイン認証を依頼する。
画面制御部４２２は、ＰＣ３２０に検索画面を表示し、依頼者Ｙにより検索画面に入力された検索キーワードをサーバ２００へ送信し検索を依頼し、依頼に対する検索結果を検索画面に表示する。検索画面には、検索結果一覧が表示される。この他、検索画面では、解析データを追加したり、解析結果の表示等が行える。
解析依頼部４２３は、ＰＣ３２０に解析データ追加画面を表示し、依頼者Ｙにより解析データ追加画面にて依頼者Ｙにより指定されたファイルや解析条件をサーバ２００へ送信し解析を依頼する。
解析結果表示制御部４２４は、ＰＣ３２０に解析結果表示画面を表示し、サーバ２００からダウンロードされた解析結果のＣＳＶファイル３３０や加工動画３３１を解析結果表示画面に表示する。
ログイン管理部４２１は、ＰＣ３２０にログイン画面を表示し、依頼者Ｙによりログイン画面に入力されたログイン情報をサーバ２００へ送信しログイン認証を依頼する。
画面制御部４２２は、ＰＣ３２０に検索画面を表示し、依頼者Ｙにより検索画面に入力された検索キーワードをサーバ２００へ送信し検索を依頼し、依頼に対する検索結果を検索画面に表示する。検索画面には、検索結果一覧が表示される。この他、検索画面では、解析データを追加したり、解析結果の表示等が行える。
解析依頼部４２３は、ＰＣ３２０に解析データ追加画面を表示し、依頼者Ｙにより解析データ追加画面にて依頼者Ｙにより指定されたファイルや解析条件をサーバ２００へ送信し解析を依頼する。
解析結果表示制御部４２４は、ＰＣ３２０に解析結果表示画面を表示し、サーバ２００からダウンロードされた解析結果のＣＳＶファイル３３０や加工動画３３１を解析結果表示画面に表示する。
【0121】
以下、図２５乃至図２７を参照して第３実施形態の情報処理システムの動作を説明する。
図２５は、ＰＣに表示される検索画面を示す図である。図２６は、検索画面の上にポップアップ表示される解析データ追加画面を示す図である。図２７は、検索画面の上にポップアップ表示される動画確認画面を示す図である。
図２５は、ＰＣに表示される検索画面を示す図である。図２６は、検索画面の上にポップアップ表示される解析データ追加画面を示す図である。図２７は、検索画面の上にポップアップ表示される動画確認画面を示す図である。
【0122】
図２５に示す検索画面は、ＰＣ３２０（図２４参照）に表示される。検索画面２５１には、キーワード、期間等の検索条件を入力するための入力欄、解析データリスト、解析データ追加ボタン、動画確認ボタン、ＣＳＶ出力ボタン等が設けられている。
解析データリストは、解析データのファイル名、登録者、日時、解析等の各項目で解析データがリスト化されたものである。解析の項目は、解析データの現在の解析状態を示しており、例えば「解析済」、「実行中」等が示される。解析データリストの左部には、解析データの夫々を選択するための選択ボタンが設けられており、選択された解析データに対するボタン操作により、解析データの追加、動画の確認、ＣＳＶ出力等が可能である。
解析データリストは、解析データのファイル名、登録者、日時、解析等の各項目で解析データがリスト化されたものである。解析の項目は、解析データの現在の解析状態を示しており、例えば「解析済」、「実行中」等が示される。解析データリストの左部には、解析データの夫々を選択するための選択ボタンが設けられており、選択された解析データに対するボタン操作により、解析データの追加、動画の確認、ＣＳＶ出力等が可能である。
【0123】
この検索画面２５１では、サーバ２００に解析データが多数登録されているときに、検索条件で解析データを絞り込み、解析データリストに表示された中から、選択ボタンで解析データを選択（指定）した後、解析データ追加ボタン、動画確認ボタン、ＣＳＶ出力ボタンのいずれかを押下操作することで、ボタン操作に応じた処理（解析データの追加、動画の確認、ＣＳＶ出力等）を行うことができる。
【0124】
（解析データ追加）
図２５の検索画面２５１において、選択ボタンで所望の解析データを選択（指定）した後、例えば解析データ追加ボタンを押下すると、図２６に示す解析データ追加画面２６１が検索画面２５１の上にポップアップ表示される。
図２５の検索画面２５１において、選択ボタンで所望の解析データを選択（指定）した後、例えば解析データ追加ボタンを押下すると、図２６に示す解析データ追加画面２６１が検索画面２５１の上にポップアップ表示される。
【0125】
解析データ追加画面２６１には、追加の対象の解析データのファイル、夫々のファイルに含まれる動画がどのようなものかを設定（指定）するための解析属性の設定欄、戻るボタン、キャンセルボタン、登録ボタン等が設けられている。
解析属性の設定欄には、例えば動物の種別、動物の撮像方向、動物の色等を選択するボタンが設けられており、夫々のボタンにより設定（指定）することができる。
この解析データ追加画面２６１では、新たな解析データとしてアップロードされた動画データについて、解析対象とするためのファイル選択と設定を行うことで、その後の解析データの解析を自動的に実行させることができる。
このときに、解析データ追加画面２６１で解析属性として設定された動物の種別、動物の撮像方向、動物の色等に基づいて、モデルＤＢ４２に格納された複数種類の学習モデル（骨格推定モデル、個体識別モデル及び数理モデル）の中から、解析対象の動物に使用される学習モデルが選択されることになる。
解析属性の設定欄には、例えば動物の種別、動物の撮像方向、動物の色等を選択するボタンが設けられており、夫々のボタンにより設定（指定）することができる。
この解析データ追加画面２６１では、新たな解析データとしてアップロードされた動画データについて、解析対象とするためのファイル選択と設定を行うことで、その後の解析データの解析を自動的に実行させることができる。
このときに、解析データ追加画面２６１で解析属性として設定された動物の種別、動物の撮像方向、動物の色等に基づいて、モデルＤＢ４２に格納された複数種類の学習モデル（骨格推定モデル、個体識別モデル及び数理モデル）の中から、解析対象の動物に使用される学習モデルが選択されることになる。
【0126】
（動画確認）
図２５の検索画面２５１において、選択ボタンで所望の解析データを選択（指定）した後、例えば動画確認ボタンを押下すると、図２７に示す動画確認画面２７１が、検索画面２５１の上にポップアップ表示される。
動画確認画面２７１には、追加の対象の解析データを再生する再生エリアと、戻るボタン、ダウンロードボタン等が設けられている。再生エリアには、選択された解析データ（動画データ）が停止した画像（静止画）と再生ボタン（三角アイコン）が設けられており、再生ボタン（三角アイコン）を、クリック操作することで、静止画が動き出し動画として再生される。
この動画確認画面２７１では、新たな解析データとしてアップロードされた動画データについて、解析対象のデータであるか、解析済みの加工動画であるか等、ファイル名だけでは判別し難いときに動画を再生して確認することができる。
また、ダウンロードボタンを押下操作することで、再生エリアに表示されている解析データをダウンロードすることができる。このダウンロード機能は、加工動画３３１をＰＣ３２０側で利用したいときに有効である。
図２５の検索画面２５１において、選択ボタンで所望の解析データを選択（指定）した後、例えば動画確認ボタンを押下すると、図２７に示す動画確認画面２７１が、検索画面２５１の上にポップアップ表示される。
動画確認画面２７１には、追加の対象の解析データを再生する再生エリアと、戻るボタン、ダウンロードボタン等が設けられている。再生エリアには、選択された解析データ（動画データ）が停止した画像（静止画）と再生ボタン（三角アイコン）が設けられており、再生ボタン（三角アイコン）を、クリック操作することで、静止画が動き出し動画として再生される。
この動画確認画面２７１では、新たな解析データとしてアップロードされた動画データについて、解析対象のデータであるか、解析済みの加工動画であるか等、ファイル名だけでは判別し難いときに動画を再生して確認することができる。
また、ダウンロードボタンを押下操作することで、再生エリアに表示されている解析データをダウンロードすることができる。このダウンロード機能は、加工動画３３１をＰＣ３２０側で利用したいときに有効である。
【0127】
（本情報処理システムを活用するメリット）
図２８を参照して本情報処理システムを活用するメリットを説明する。
図２８は、動画から作製したレポートの一例を示す図である。
本情報処理システムでは、目視では、確認し得ない細かいマウスの目の開閉の定量的なデータの出力が可能であり、これにより、これまでにない精度や把握しきれなかった内容の確認ができるようになる。
例えば図２８に示すように、依頼者ＹのＰＣ３２０から、マウスを撮像した動画データ２８１がサーバ２００にアップロードされ、マウスの目の様子を解析してほしいという依頼があった場合、部位検出部７２により、マウスの目の位置にマーカＭを設定して、マウスが目を開いたときに目の面積が広くなり、目を閉じたときに面積が狭くなることを識別、つまり目の開閉を識別することで、レポート２８２として、例えば時刻に変化に伴い目の面積が変化するグラフ２８３を作成し依頼者Ｙへ提供することができる。
レポート２８２では、例えば一定時間毎の閉目回数、閉目持続時間（１分間で何回、目を閉じたか）、その他、依頼内容に応じたデータを出力することが可能である。
即ち、本情報処理システムでは、ごくわずかな部位の変化を定量的に補足することができる。長時間の動画を自動的に処理することができる。スループット性を向上することができる。
図２８を参照して本情報処理システムを活用するメリットを説明する。
図２８は、動画から作製したレポートの一例を示す図である。
本情報処理システムでは、目視では、確認し得ない細かいマウスの目の開閉の定量的なデータの出力が可能であり、これにより、これまでにない精度や把握しきれなかった内容の確認ができるようになる。
例えば図２８に示すように、依頼者ＹのＰＣ３２０から、マウスを撮像した動画データ２８１がサーバ２００にアップロードされ、マウスの目の様子を解析してほしいという依頼があった場合、部位検出部７２により、マウスの目の位置にマーカＭを設定して、マウスが目を開いたときに目の面積が広くなり、目を閉じたときに面積が狭くなることを識別、つまり目の開閉を識別することで、レポート２８２として、例えば時刻に変化に伴い目の面積が変化するグラフ２８３を作成し依頼者Ｙへ提供することができる。
レポート２８２では、例えば一定時間毎の閉目回数、閉目持続時間（１分間で何回、目を閉じたか）、その他、依頼内容に応じたデータを出力することが可能である。
即ち、本情報処理システムでは、ごくわずかな部位の変化を定量的に補足することができる。長時間の動画を自動的に処理することができる。スループット性を向上することができる。
【0128】
（堅牢なセキュリティ）
図２９を参照して本情報処理システムのセキュリティを説明する。
図２９は、堅牢なセキュリティを形成する閉域網接続の構成事例を示す図である。
本情報処理システムは、使用者側のポリシーとコストに応じてセキュリティレベルを選択して構成することができる。なお、通信の暗号化は必須であり、ｈｔｔｐｓを前提とする。
セキュリティレベルに応じたシステム構成例としては、例えば「梅」、「竹」、「松」がある。「梅」は、社内プロキシのＧＩＰのみを通す制限によるアクセスが可能である。「竹」は、クライアントの証明書を利用したリバースプロキシ経由のアクセスが可能である。「松」は、社内環境とＤＸ（ダイレクトコネクト）による閉域網接続を行う。
上記「松」の閉域網接続の構成事例を図２９に示す。
図２９を参照して本情報処理システムのセキュリティを説明する。
図２９は、堅牢なセキュリティを形成する閉域網接続の構成事例を示す図である。
本情報処理システムは、使用者側のポリシーとコストに応じてセキュリティレベルを選択して構成することができる。なお、通信の暗号化は必須であり、ｈｔｔｐｓを前提とする。
セキュリティレベルに応じたシステム構成例としては、例えば「梅」、「竹」、「松」がある。「梅」は、社内プロキシのＧＩＰのみを通す制限によるアクセスが可能である。「竹」は、クライアントの証明書を利用したリバースプロキシ経由のアクセスが可能である。「松」は、社内環境とＤＸ（ダイレクトコネクト）による閉域網接続を行う。
上記「松」の閉域網接続の構成事例を図２９に示す。
【0129】
（本情報処理システムの深化）
図３０を参照して本情報処理システムの深化について説明する。
図３０は、本情報処理システムのダッシュボード画面を示す図である。
図３０に示すように、本情報処理システムは、情報管理し易いダッシュボード画面５００を表示する機能を有する。
ダッシュボード画面５００では、動物種や実験環境に応じた拡張が可能、実験レポート以外の形式で出力することが可能、人口知能による人間が気付かない特徴点の発見や通知が可能等といった特徴がある。
図３０を参照して本情報処理システムの深化について説明する。
図３０は、本情報処理システムのダッシュボード画面を示す図である。
図３０に示すように、本情報処理システムは、情報管理し易いダッシュボード画面５００を表示する機能を有する。
ダッシュボード画面５００では、動物種や実験環境に応じた拡張が可能、実験レポート以外の形式で出力することが可能、人口知能による人間が気付かない特徴点の発見や通知が可能等といった特徴がある。
【0130】
具体的には、ダッシュボード画面５００では、実験実施に必要な各種資料として、例えば飼料保管施設設置承認申請書、動物実験計画書、動物実験結果報告書、自己点検や評価項目等を作成することができる。
業務に合わせた作り込みとしては、適用動物や実験内容の拡張が可能である。実験レポート以外の形式での出力に対応することができる。
業務に合わせた作り込みとしては、適用動物や実験内容の拡張が可能である。実験レポート以外の形式での出力に対応することができる。
【0131】
また、ダッシュボード画面５００では、機械学習深化による「発見」の拡張が可能である。例えば人の認知範囲内の「発見」や人の認知範囲を超えた「発見」が可能である。
機械学習や機能深化としては、適用動物や実験内容の拡張が可能である。人口知能による人間が気付かない特徴点の発見や通知を行うことができる。
機械学習や機能深化としては、適用動物や実験内容の拡張が可能である。人口知能による人間が気付かない特徴点の発見や通知を行うことができる。
【0132】
纏めると、第３実施形態の情報処理システムでは、解析対象の画像に対する解析属性（（解析対象の種別（例えばマウス、ラット等）、解析対象の撮像方向（例えば上、斜上、横等）、解析対象の色（例えば白、黒等））を指定すると、モデル選択部４７２は、指定された解析対象の画像の解析属性に基づいて、モデルＤＢ４２の複数種類の骨格推定モデルの中から図３の部位抽出部５２や図１６の外郭検出部５７に適用させる対象の骨格推定モデルを選択すると共に、複数種類の個体識別モデルの中から図３や図１６の個体識別部５４に適用させる対象の個体識別モデルを選択し、画像の解析指示により、選択された骨格推定モデル及び個体識別モデルを用いて画像を解析するので、解析対象に適したモデルを使用して動物の種別を正しく識別し、動物の行動等の解析結果を得ることができる。
また、複数の動物種や実験内容に適用しつつ、サーバ２００において解析データの管理やダウンロード等の機能を備えることで、解析データの再利用が可能になり、実際に実験で使用する動物個体を大幅に削減することができる。
この他、以下のような効果を奏することができる。
例えば指定された解析属性等を基に解析データへのラベリング（タグ付け）を自動的に行うので、解析結果を再利用する際、タグから検索できるので、解析データを検索し易くなる。
複数の解析属性等に対し単一のモデルのみを使用する場合は、既存のモデルをアップデートするため再学習し、再度その精度を検討する必要があるが、複数の解析属性等に対して、複数のモデルを保持しておくことで、新たな属性が現れた際には新規にモデルを作成することになるので、モデル学習がコンパクトに行える。
また、複数の動物種や実験内容に適用しつつ、サーバ２００において解析データの管理やダウンロード等の機能を備えることで、解析データの再利用が可能になり、実際に実験で使用する動物個体を大幅に削減することができる。
この他、以下のような効果を奏することができる。
例えば指定された解析属性等を基に解析データへのラベリング（タグ付け）を自動的に行うので、解析結果を再利用する際、タグから検索できるので、解析データを検索し易くなる。
複数の解析属性等に対し単一のモデルのみを使用する場合は、既存のモデルをアップデートするため再学習し、再度その精度を検討する必要があるが、複数の解析属性等に対して、複数のモデルを保持しておくことで、新たな属性が現れた際には新規にモデルを作成することになるので、モデル学習がコンパクトに行える。
【0133】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３、図１６、図２４の機能構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロック及びデータベースを用いるのかは特に図３、図１６、図２４の例に限定されない。また、機能ブロック及びデータベースの存在場所も、図３、図１６、図２４に特に限定されず、任意でよい。画像処理装置２やサーバ２００の機能ブロック及びデータベースをカメラ１やＰＣ３２０等に移譲させてもよい。更に言えば、画像処理装置２とカメラ１やＰＣ３２０は、同じハードウェアであってもよい。
換言すると、図３、図１６、図２４の機能構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロック及びデータベースを用いるのかは特に図３、図１６、図２４の例に限定されない。また、機能ブロック及びデータベースの存在場所も、図３、図１６、図２４に特に限定されず、任意でよい。画像処理装置２やサーバ２００の機能ブロック及びデータベースをカメラ１やＰＣ３２０等に移譲させてもよい。更に言えば、画像処理装置２とカメラ１やＰＣ３２０は、同じハードウェアであってもよい。
【0134】
また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0135】
また、例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
【0136】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0137】
なお、上記実施形態では、マーカを三角や丸の形状にしたが、この例に限定されるものではなく、他の形状であってもよい。また、体の外郭を示すオブジェクトについても同様である。
上記実施形態では、行動判定部５６が、動物の部位と、他の特定の部位（水飲み場、餌場、他の動物の部位）との位置関係を規定した条件を満たすか否かを判定することについて説明したが、動物の部位と、他の特定の部位との位置関係を規定した条件は、記憶部１８に材料ＤＢ４３に記憶されており、行動判定部５６が、材料ＤＢ４３から上記条件を読み出すものとする。この他、材料ＤＢ４３とは別に行動データベースを設けて、上記条件を行動データベースに記憶してもよい。
上記実施形態では、機械学習の手法を用いたが、この他、例えば重心から一番離れた部位を鼻とする等、規則を設定してもよい。
上記実施形態では、体の部位として、重心を検出（抽出）したが、この他、例えば目、鼻、耳、足、骨や関節のうちの特定の一部（目、鼻、耳等）を検出（抽出）してもよい。
上記実施形態では、個体識別の対象としてマウスを一例として説明したが、モデルＤＢ４２や材料ＤＢ４３のデータを拡充することで、例えばラット、ハムスター、モルモット、ウサギ等も解析対象にできる。また、豚、牛、羊、鶏等の家畜、さらには犬、猫、猿、人間等のさまざまな動物を対象とすることができる。
上記実施形態では、複数の単位画像毎に、１以上の動物の夫々の体の一部の部位を抽出し、抽出した複数の部位を時系列毎に解析し、その解析結果に基づいて複数の単位画像の夫々における１以上の動物の夫々の個体を識別したが、この順序は一例であり、この他、例えば個体認識（識別）した後、単体の部位を抽出してもよい。また、個体識別と部位抽出とを同時に行ってもよい。
個体認識（識別）した後、単体の部位を抽出する場合、まず画像のどの部分にそれぞれが存在するかを割り出し、トリミング、その後、単体の部位を抽出する。
また、複数個体の部位検出した後、個体を識別する場合、画像中で特定の部位がどこにあるかを複数検知し、その後“それらの位置が時間方向でどのように変化するか”という推測に基づいて各部位がどちらの集合（この場合、特定の１個体の部位集合）に帰属するかを判定する。
即ち、動物の部位の位置がわかる、これに加えて個体を識別する、この結果、個体の社会性がわかる、という手順が含まれていればよい。
上記実施形態では、行動判定部５６が、動物の部位と、他の特定の部位（水飲み場、餌場、他の動物の部位）との位置関係を規定した条件を満たすか否かを判定することについて説明したが、動物の部位と、他の特定の部位との位置関係を規定した条件は、記憶部１８に材料ＤＢ４３に記憶されており、行動判定部５６が、材料ＤＢ４３から上記条件を読み出すものとする。この他、材料ＤＢ４３とは別に行動データベースを設けて、上記条件を行動データベースに記憶してもよい。
上記実施形態では、機械学習の手法を用いたが、この他、例えば重心から一番離れた部位を鼻とする等、規則を設定してもよい。
上記実施形態では、体の部位として、重心を検出（抽出）したが、この他、例えば目、鼻、耳、足、骨や関節のうちの特定の一部（目、鼻、耳等）を検出（抽出）してもよい。
上記実施形態では、個体識別の対象としてマウスを一例として説明したが、モデルＤＢ４２や材料ＤＢ４３のデータを拡充することで、例えばラット、ハムスター、モルモット、ウサギ等も解析対象にできる。また、豚、牛、羊、鶏等の家畜、さらには犬、猫、猿、人間等のさまざまな動物を対象とすることができる。
上記実施形態では、複数の単位画像毎に、１以上の動物の夫々の体の一部の部位を抽出し、抽出した複数の部位を時系列毎に解析し、その解析結果に基づいて複数の単位画像の夫々における１以上の動物の夫々の個体を識別したが、この順序は一例であり、この他、例えば個体認識（識別）した後、単体の部位を抽出してもよい。また、個体識別と部位抽出とを同時に行ってもよい。
個体認識（識別）した後、単体の部位を抽出する場合、まず画像のどの部分にそれぞれが存在するかを割り出し、トリミング、その後、単体の部位を抽出する。
また、複数個体の部位検出した後、個体を識別する場合、画像中で特定の部位がどこにあるかを複数検知し、その後“それらの位置が時間方向でどのように変化するか”という推測に基づいて各部位がどちらの集合（この場合、特定の１個体の部位集合）に帰属するかを判定する。
即ち、動物の部位の位置がわかる、これに加えて個体を識別する、この結果、個体の社会性がわかる、という手順が含まれていればよい。
【0138】
以下、図３１乃至図５４を参照して、動画（時間軸の順に配置される複数の単位画像）から抽出したマウス（動物）の体の一部の部位（目や鼻等）の位置や重心位置、外郭（輪郭）が時系列を追って変化する際の移動範囲、移動量や行動の癖、リズム等が分かるようにさまざまな指標（マウスをゲージに入れて直ぐの初動期間、安定するまでの期間の夫々について、移動軌跡、エリア毎の存在位置の分布、エリア毎の存在時間、移動距離、総移動量、体の向き、速度、角速度等）で関係付けたデータについて説明する。
なお、以下に説明するグラフは、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までのグラフと、計測開始から１８０３０ＦＲＡＭＥ（約１０分）までのグラフとを一対で示している。
なお、以下に説明するグラフは、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までのグラフと、計測開始から１８０３０ＦＲＡＭＥ（約１０分）までのグラフとを一対で示している。
【0139】
まず初めに、図３１、図３２を参照して、ケージ内におけるマウスの位置とその移動軌跡との関係を説明する。
図３１は、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までのケージ内に存在するマウスの位置とその移動軌跡を示すグラフである。図３２は、図３１のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続け描画したときのグラフである。
図３１は、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までのケージ内に存在するマウスの位置とその移動軌跡を示すグラフである。図３２は、図３１のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続け描画したときのグラフである。
【0140】
図３１及び図３２の縦軸は、ケージの床面の奥行方向の長さ、縦軸は、ケージの床面の幅方向の長さを画素数（ＰＩＸＣＥＬ）で示している。
図３１の初動の１３２０ＦＲＡＭＥのグラフでは、マウスは、ケージの中心部を避けて、縁側を移動しており、不安がっていることがうかがえる。
図３２の計測開始から１０分までのグラフでは、ケージの中心部と縁側とではやはり、縁側を移動する個が多いことが分かる一方、直線的な移動を示す移動線や移動線が絡まるような部分も見受けられる。移動線が絡まるような部分では、マウスは、その位置にとどまり何らかの行動（グルーミング等）をしていることが分かる。これらの情報をＡＩで学習することで、マウスの行動や精神的な疾患等を特定することができる。
図３１の初動の１３２０ＦＲＡＭＥのグラフでは、マウスは、ケージの中心部を避けて、縁側を移動しており、不安がっていることがうかがえる。
図３２の計測開始から１０分までのグラフでは、ケージの中心部と縁側とではやはり、縁側を移動する個が多いことが分かる一方、直線的な移動を示す移動線や移動線が絡まるような部分も見受けられる。移動線が絡まるような部分では、マウスは、その位置にとどまり何らかの行動（グルーミング等）をしていることが分かる。これらの情報をＡＩで学習することで、マウスの行動や精神的な疾患等を特定することができる。
【0141】
次に、図３３、図３４を参照して、ケージの床面を９つのエリアに区分したエリア毎のマウスの存在分布について説明する。
図３３、３４の縦軸と横軸は、画素（ＰＩＸＣＥＬ）を示している。図３３は、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までのケージの床面を９つのエリア（０乃至８の番号）に区分したエリア毎のマウスの存在位置の分布を示すグラフである。図３４は、図３３のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときのグラフである。
図３３、３４の縦軸と横軸は、画素（ＰＩＸＣＥＬ）を示している。図３３は、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までのケージの床面を９つのエリア（０乃至８の番号）に区分したエリア毎のマウスの存在位置の分布を示すグラフである。図３４は、図３３のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときのグラフである。
【0142】
図３３、３４は、ゲージ内のマウスの位置を１秒毎にプロットした図であり、９つのエリアに区分されたゲージの床面をマウスが存在した位置の座標情報に、その座標を含むエリアの識別情報を付与して管理することで、図３３、３４のグラフが作成される。
図３３の初動の１３２０ＦＲＡＭＥのグラフでは、ゲージの縁部付近のエリア（０、５、６、８番等）にプロット数が多く、マウスは、縁部付近にいる時間が多いことが分かる。
その後、約１０分まで、続けて描画された図３４のグラフでは、相変わらず縁部部付近にいることが多いものの、中央部の４番エリアにもプロットが増えており、マウスがゲージの中央部に移動する頻度が多くなってきたことが分かる。これは、初動時よりもマウスの気持ちが落ち着いてきたものと言える。
図３３の初動の１３２０ＦＲＡＭＥのグラフでは、ゲージの縁部付近のエリア（０、５、６、８番等）にプロット数が多く、マウスは、縁部付近にいる時間が多いことが分かる。
その後、約１０分まで、続けて描画された図３４のグラフでは、相変わらず縁部部付近にいることが多いものの、中央部の４番エリアにもプロットが増えており、マウスがゲージの中央部に移動する頻度が多くなってきたことが分かる。これは、初動時よりもマウスの気持ちが落ち着いてきたものと言える。
【0143】
次に、図３５、図３６を参照して、上述のエリア（０乃至８）毎のマウスの存在時間について説明する。
図３５は、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までのケージの床面を９つに区分したエリア毎のマウスの存在時間を示す棒グラフである。図３６は、図３５のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときの棒グラフである。
図３５は、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までのケージの床面を９つに区分したエリア毎のマウスの存在時間を示す棒グラフである。図３６は、図３５のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときの棒グラフである。
【0144】
図３５、３６の縦軸は、プロット数（ＣＯＵＮＴＳ）、横軸は、領域（ＲＥＧＩＯＮ）を示している。横軸の数値は、図３３の各エリアの番号（０乃至８）に対応している。
図３５、３６は、マウスが存在したプロット数をエリア毎にカウント、つまりエリア毎にマウスの存在を積み上げたグラフである。図３３、３４のプロット（点）が１つ増えると、図３５、３６の対応する番号のエリアの棒グラフが１カウント分高くなる。
これら図３３乃至３６から、マウスがゲージのどのエリアに多く（又は少なく）留まっているかが視覚的に（見た目で）分かる。
図３５、３６は、マウスが存在したプロット数をエリア毎にカウント、つまりエリア毎にマウスの存在を積み上げたグラフである。図３３、３４のプロット（点）が１つ増えると、図３５、３６の対応する番号のエリアの棒グラフが１カウント分高くなる。
これら図３３乃至３６から、マウスがゲージのどのエリアに多く（又は少なく）留まっているかが視覚的に（見た目で）分かる。
【0145】
次に、図３７、図３８を参照して、ケージの縁部付近と中央付近とのマウスの存在時間について説明する。
図３７は、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までのケージの中央付近（図３３で示した４番エリア）と縁部付近（４番エリア以外のエリア）とで区分した場合のマウスの存在時間を示すグラフである。図３８は、図３７のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときのグラフである。
図３７は、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までのケージの中央付近（図３３で示した４番エリア）と縁部付近（４番エリア以外のエリア）とで区分した場合のマウスの存在時間を示すグラフである。図３８は、図３７のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときのグラフである。
【0146】
図３７、３８の縦軸は、プロット数（ＣＯＵＮＴＳ）、横軸は、領域（ＲＥＧＩＯＮ）を示している。領域（ＲＥＧＩＯＮ）は、中央付近（４番エリア）と縁部付近（４番エリア以外のエリア）の２つに分けている。
図３７の初動時のグラフでは、マウスは、縁部付近（４番エリア以外のエリア）に居ることが多いことが分かる。図３８のグラフでは、圧倒的に縁部付近（４番エリア以外のエリア）が多いものの、初動時よりもマウスが中央付近（４番エリア以外のエリア）に居る頻度が高くなっていることが分かる。
図３７の初動時のグラフでは、マウスは、縁部付近（４番エリア以外のエリア）に居ることが多いことが分かる。図３８のグラフでは、圧倒的に縁部付近（４番エリア以外のエリア）が多いものの、初動時よりもマウスが中央付近（４番エリア以外のエリア）に居る頻度が高くなっていることが分かる。
【0147】
次に、図３９、図４０を参照して、マウスの１秒（３０ＦＲＡＭＥ）毎の移動距離について説明する。
図３９は、計測開始から初動の１３２０ＦＲＡＭＥ分の期間とマウスの１秒(３０ＦＲＡＭＥ）毎の移動距離との関係を示すグラフである。図４０は、図３９のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときのグラフである。
図３９は、計測開始から初動の１３２０ＦＲＡＭＥ分の期間とマウスの１秒(３０ＦＲＡＭＥ）毎の移動距離との関係を示すグラフである。図４０は、図３９のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときのグラフである。
【0148】
図３９、図４０の縦軸は、距離（ＰＩＣＸＥＬ）、横軸は、時間（ＦＲＡＭＥ）を示している。
図３９、図４０のグラフは、マウスが３０フレーム毎、つまり１秒毎に、過ぎた場所と今いる場所との長さ（画像上はＰＩＣＸＥＬ）を示している。
即ち、図３９、図４０のグラフは、１秒毎のマウスの移動距離を示しており、縦方向に高く振れれば振れるほど短期間での移動距離が長いことを示し、縦軸の数値が０に近ければそれだけその場に留まっていることを示している。
また、図３９、図４０の各グラフにおいて、各振れ幅の中央付近に提示されている折れ線は移動平均を示している。このように、ある程度幅を持った時間の中で平均値をとることで、マウスの移動速度が分かる。
図３９、図４０のグラフは、マウスが３０フレーム毎、つまり１秒毎に、過ぎた場所と今いる場所との長さ（画像上はＰＩＣＸＥＬ）を示している。
即ち、図３９、図４０のグラフは、１秒毎のマウスの移動距離を示しており、縦方向に高く振れれば振れるほど短期間での移動距離が長いことを示し、縦軸の数値が０に近ければそれだけその場に留まっていることを示している。
また、図３９、図４０の各グラフにおいて、各振れ幅の中央付近に提示されている折れ線は移動平均を示している。このように、ある程度幅を持った時間の中で平均値をとることで、マウスの移動速度が分かる。
【0149】
これらのグラフは、時系列毎のグラフなので、例えば図４０のグラフのように、後半にマウスが落ち着いてくると、移動があまりなくなる。その中で、一定の速度で動き続けているマウスは、心穏やかであると言える。一方、突然走り出したり、止まっている時間が異常に長いマウスは、精神状態に異常をきたしているという仮説が立てられる。
【0150】
次に、図４１、図４２を参照して、ケージ内におけるマウスの体の向きについて説明する。
図４１は、計測開始から初動の１３２０ＦＲＡＭＥにおける時間とケージ内におけるマウスの一瞬一瞬の体の向きとの関係を示すグラフである。図４２は、図４１のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときのグラフである。
図４１は、計測開始から初動の１３２０ＦＲＡＭＥにおける時間とケージ内におけるマウスの一瞬一瞬の体の向きとの関係を示すグラフである。図４２は、図４１のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときのグラフである。
【0151】
図３９、図４０の縦軸は、角度（ＤＥＧＲＥＥ）、横軸は、時間（ＦＲＡＭＥ）を示している。
図３９、図４０のグラフの場合、ある任意の時間のマウスの体の向きを真っすぐ（グラフの縦軸の０度）としたときに、その時点から、例えばマウスが右方向に向いた場合は、図４１、図４２のグラフは、マイナス方向に振れる。例えばマウスが後ろに振り向く等すると、体の向きが１５０度以上変化するため、グラフは、激しく振れる。
図３９、図４０のグラフの場合、ある任意の時間のマウスの体の向きを真っすぐ（グラフの縦軸の０度）としたときに、その時点から、例えばマウスが右方向に向いた場合は、図４１、図４２のグラフは、マイナス方向に振れる。例えばマウスが後ろに振り向く等すると、体の向きが１５０度以上変化するため、グラフは、激しく振れる。
【0152】
次に、図４３、図４４を参照して、ケージ内におけるマウスの総移動距離（総移動量）について説明する。
図４３は、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までの時間とマウスの総移動距離との関係を示すグラフである。図４４は、図４３のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときのグラフである。
図４３は、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までの時間とマウスの総移動距離との関係を示すグラフである。図４４は、図４３のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときのグラフである。
【0153】
図４３、図４４の縦軸は、距離(ＰＩＣＸＥＬ)を示し、横軸は、時間（ＦＲＡＭＥ）を示している。
図４３のグラフは、トータルディスタンス（総移動距離）であり、上述した移動距離を積み上げたグラフであり、計測開始時点を０として、マウスが移動した距離を加算してゆき、最終的には計測開始からの移動距離が示される。
図４３、図４４のグラフでは、上述の移動速度のグラフ（図３９のグラフ）では、瞬間瞬間の状態が分かり難くかったが、この総移動距離のグラフと移動速度のグラフとを照らし合わせることで、その瞬間に止まっている等のことが分かるようになる。
このグラフでは、最終的には移動距離が多かったり少なかったりすることが分かるが、途中途中のどのタイミングで急に移動量が上がっているか、といったことも分かる。
つまりこれらのグラフでは、速度の面と移動量の面の両面でマウスの行動を把握することができる。
例えば図３７のグラフでは、先頭の赤点（図では丸い点）が時間経過とともに上下に振れてゆくが、赤点が横に移動すると、マウスが移動していないことを示し、図３７の速度のグラフでは０に近い値となる。
図４３のグラフは、トータルディスタンス（総移動距離）であり、上述した移動距離を積み上げたグラフであり、計測開始時点を０として、マウスが移動した距離を加算してゆき、最終的には計測開始からの移動距離が示される。
図４３、図４４のグラフでは、上述の移動速度のグラフ（図３９のグラフ）では、瞬間瞬間の状態が分かり難くかったが、この総移動距離のグラフと移動速度のグラフとを照らし合わせることで、その瞬間に止まっている等のことが分かるようになる。
このグラフでは、最終的には移動距離が多かったり少なかったりすることが分かるが、途中途中のどのタイミングで急に移動量が上がっているか、といったことも分かる。
つまりこれらのグラフでは、速度の面と移動量の面の両面でマウスの行動を把握することができる。
例えば図３７のグラフでは、先頭の赤点（図では丸い点）が時間経過とともに上下に振れてゆくが、赤点が横に移動すると、マウスが移動していないことを示し、図３７の速度のグラフでは０に近い値となる。
【0154】
次に、図４５、図４６を参照して、ケージ内でマウスが回転する行動について説明する。
図４５は、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までの時間とマウスの回転行動（角速度）との関係を示すグラフである。図４６は、図４５のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときのグラフである。
図４５は、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までの時間とマウスの回転行動（角速度）との関係を示すグラフである。図４６は、図４５のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときのグラフである。
【0155】
図４５、４６の縦軸は、距離Ｘ角度(ＰＩＣＸＥＬ×ＲＡＤ)を示し、 横軸は時間（ＦＲＡＭＥ）を示している。
図４５、４６のグラフは、体の向きが変わって、かつ体の向きが変わった角度を時系列を追ってグラフ化したものであり、体の向きが変わった角度、例えば２０度、３０度等の角度に対し移動距離を掛け算したものである。
図４５、４６のグラフでは、ただ単に、その場に止まってくるくる回っているのであれば、０の値となり、体の向きを変えながらさらに移動しているのであれば、グラフが上下に大きく振れることになる。
図４５、４６のグラフから、例えば体の向きが変わっているだけならば、きょろきょろしている程度の行動が認められるが、その場に止まって、体の向きを変えてまで回っていると、周りの状況を確認しようとして必死になっている精神状態が伺える。マウスの挙動を単に直前直前の体の向きとの比較だけでなく、移動も加味することで、別の行動が見えてくる。
図４５、４６のグラフは、体の向きが変わって、かつ体の向きが変わった角度を時系列を追ってグラフ化したものであり、体の向きが変わった角度、例えば２０度、３０度等の角度に対し移動距離を掛け算したものである。
図４５、４６のグラフでは、ただ単に、その場に止まってくるくる回っているのであれば、０の値となり、体の向きを変えながらさらに移動しているのであれば、グラフが上下に大きく振れることになる。
図４５、４６のグラフから、例えば体の向きが変わっているだけならば、きょろきょろしている程度の行動が認められるが、その場に止まって、体の向きを変えてまで回っていると、周りの状況を確認しようとして必死になっている精神状態が伺える。マウスの挙動を単に直前直前の体の向きとの比較だけでなく、移動も加味することで、別の行動が見えてくる。
【0156】
次に、図４７、図４８を参照して、ケージ内をマウスが動く速度について説明する。
図４７は、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までの時間とマウスが動く速度との関係を示すグラフである。図４８は、図４７のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときのグラフである。
図４７は、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までの時間とマウスが動く速度との関係を示すグラフである。図４８は、図４７のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときのグラフである。
【0157】
図４７、図４８の縦軸は、距離／時間（ＰＩＣＸＥＬ／ＳＥＣ）、横軸は、時間（ＦＲＡＭＥ）を示している。
図４７、図４８のグラフは、図３９、図４０の移動速度のグラフに近い概念のグラフである。
図３９、図４０のグラフは、３０フレーム毎の距離を計測している。
例えば０フレームと３０フレームと６０フレームの間にもデータは存在するが、図３９、図４０のグラフでは、０フレームと３０フレーム、３０フレームと６０フレームだけを比較して移動速度を算出したが、この図４７、図４８のグラフでは、０フレームと１フレームとの差分をとってそれを時間で割ることで速度を算出しており、より詳細な速度指標と言える。
マウスと人間は、時間経過のスピードが異なり、人間の１秒がマウスの０．数秒に相当する。
図３９、図４０のグラフは、１秒毎の速度を出力したが、これは人間の感覚のため、図４７、図４８のグラフでは、より細かなマウスの感覚で速度を出力することで、マウスの行動がより表現されるものとなる。
図４７、図４８のグラフは、図３９、図４０の移動速度のグラフに近い概念のグラフである。
図３９、図４０のグラフは、３０フレーム毎の距離を計測している。
例えば０フレームと３０フレームと６０フレームの間にもデータは存在するが、図３９、図４０のグラフでは、０フレームと３０フレーム、３０フレームと６０フレームだけを比較して移動速度を算出したが、この図４７、図４８のグラフでは、０フレームと１フレームとの差分をとってそれを時間で割ることで速度を算出しており、より詳細な速度指標と言える。
マウスと人間は、時間経過のスピードが異なり、人間の１秒がマウスの０．数秒に相当する。
図３９、図４０のグラフは、１秒毎の速度を出力したが、これは人間の感覚のため、図４７、図４８のグラフでは、より細かなマウスの感覚で速度を出力することで、マウスの行動がより表現されるものとなる。
【0158】
次に、図４９、図５０を参照して、ケージ内でマウスが回転する角速度について説明する。
図４９は、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までの時間とマウスが動く角速度との関係を示すグラフである。図５０は、図４９のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときのグラフである。
図４９は、計測開始から初動の１３２０ＦＲＡＭＥ（４４秒）までの時間とマウスが動く角速度との関係を示すグラフである。図５０は、図４９のグラフをその後１８０３０ＦＲＡＭＥ（約１０分）まで続けて描画したときのグラフである。
【0159】
図４９、５０の縦軸は、角度／時間(ＤＥＧＲＥＥ×ＳＥＣ)を示し、横軸は時間（ＦＲＡＭＥ）を示している。
図４５、図４６のグラフは、マウスの体の向きと距離との関係を示したものであったが、図４９、図５０のグラフは、図４５、図４６のグラフの数値を時間で割って算出したものである。
図４５、図４６のグラフでは、マウスの体に角度の変化があったことを数値化したが、図４９、５０のグラフは、角度の変化を時間微分したものであり、前述の速度と移動距離（移動量）との関係と同様に、角度と角速度との関係を表したものとなるので、図４５、図４６のグラフと共に見比べながら、例えば瞬間にマウスが止まっているかどうか等を検証することができる。つまり図４５、図４６のグラフでは、移動速度と移動量を同時に見ることができる。
例えば瞬間瞬間に跳ね上がっている数値があれば、この跳ね上がりの高さが高ければ高いほど、マウスが早く回転しかつ移動している状況が分かる。一方、数値が低ければ低いほど（数値が０に近いほど）、ゆっくり回転しかつ移動しているといえる。
図４５、図４６のグラフは、マウスの体の向きと距離との関係を示したものであったが、図４９、図５０のグラフは、図４５、図４６のグラフの数値を時間で割って算出したものである。
図４５、図４６のグラフでは、マウスの体に角度の変化があったことを数値化したが、図４９、５０のグラフは、角度の変化を時間微分したものであり、前述の速度と移動距離（移動量）との関係と同様に、角度と角速度との関係を表したものとなるので、図４５、図４６のグラフと共に見比べながら、例えば瞬間にマウスが止まっているかどうか等を検証することができる。つまり図４５、図４６のグラフでは、移動速度と移動量を同時に見ることができる。
例えば瞬間瞬間に跳ね上がっている数値があれば、この跳ね上がりの高さが高ければ高いほど、マウスが早く回転しかつ移動している状況が分かる。一方、数値が低ければ低いほど（数値が０に近いほど）、ゆっくり回転しかつ移動しているといえる。
【0160】
続いて、図５１乃至図５４を参照して、動画からマウスの外郭検出、体の向きの検出を含む動作を説明する。
図５１は、ゲージ内をカメラで撮像して得られた動画（元動画）のあるタイミングの単位画像を示す図である。図５２は、単位画像から識別される複数（２匹）のマウスの夫々の外郭（輪郭）を示す図である。図５３は、２匹のマウスのうちの１匹のマウスの向き（体の中心から鼻先の方向）を示す図である。図５４は、２匹のマウスのうちの他の１匹のマウスの向き（体の中心から鼻先の方向）を示す図である。
図５１は、ゲージ内をカメラで撮像して得られた動画（元動画）のあるタイミングの単位画像を示す図である。図５２は、単位画像から識別される複数（２匹）のマウスの夫々の外郭（輪郭）を示す図である。図５３は、２匹のマウスのうちの１匹のマウスの向き（体の中心から鼻先の方向）を示す図である。図５４は、２匹のマウスのうちの他の１匹のマウスの向き（体の中心から鼻先の方向）を示す図である。
【0161】
上述した第１実施形態及び第２実施形態では、外郭（輪郭）の検出の処理と、体の部位の抽出処理を別個に行う例を説明したが、これらの処理を組み合わせることで、マウスの行動をより詳細に分析することができる。
【0162】
この場合、元動画のあるタイミングで、図５１に示す単位画像を抽出し、抽出した単位画像を画像解析し、個体識別をした上で、図５２に示すように、複数（２匹）の白色のマウスの夫々の外郭（輪郭）を、例えば赤色と青色等に色分けて出力する。
また、図５３に示すように、２匹のマウスのうちの１匹のマウス（図５２の上側の外郭（赤色）のマウス）の重心を検出すると共に、耳、目、鼻先の位置関係から、体の向きを検出して、重心から鼻先の方向へ線分をひくことで、マウスの顔の向き（鼻先の方向）を検出する。
また、図５３に示すように、２匹のマウスのうちの１匹のマウス（図５２の上側の外郭（赤色）のマウス）の重心を検出すると共に、耳、目、鼻先の位置関係から、体の向きを検出して、重心から鼻先の方向へ線分をひくことで、マウスの顔の向き（鼻先の方向）を検出する。
【0163】
同様に、図５４に示すように、２匹のマウスのうちの他の１匹のマウス（図５２の下側の外郭（青色）のマウス）の重心を検出すると共に、耳、目、鼻先の位置関係から、体の向きを検出して、重心から鼻先へ線分を引くことで、マウスの顔の向き（鼻先の方向）を検出する。
【0164】
このように、外郭識別と部位抽出の夫々の処理を組み合わせることで、マウスの顔の向き（鼻先の方向）を検出することができ、その場にとどまった状態での回転動作や前進、後ずさり等のマウスの行動をより詳細に分析することができる。
【0165】
以上を換言すると、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態をとることができる。情報処理装置は、第１実施形態で説明した図３の機能的構成及び第３実施形態で説明した図２４の機能的構成を備える画像処理装置２と対応する。
即ち、本発明が適用される情報処理装置（例えば図３の画像処理装置２、図２４のサーバ２００）は、
一定の行動範囲の中で１以上の動物が活動する様子が撮像された結果得られる、時間方向に複数の単位画像が配置されて構成される解析対象の画像（例えば動画等の映像）を取得する画像取得手段（例えば図３の画像取得部５１）と、
前記複数の単位画像毎に、単位画像を入力すると動物の体の骨格を推定して出力する骨格推定モデルを用いて、前記１以上の前記動物の夫々の体の部位（骨や関節の一部、体の重心等）を抽出する部位抽出手段（例えば図３の部位抽出部５２）と、
前記動物の体の１以上の部位の時系列を入力すると当該動物の個体を出力する個体識別モデルに対して、前記部位抽出手段により前記複数の単位画像の夫々から抽出された前記１以上の前記動物の夫々の体の前記部位の時系列を入力した結果得られる出力に基づいて、前記複数の単位画像の夫々における前記１以上の前記動物の夫々の個体を識別する個体識別手段（例えば図３の個体識別部５４）と、
前記解析対象の前記画像に対する解析属性（解析対象の画像に含まれる動物の種別（例えばマウス、ラット等）、解析対象の動物の撮像方向（例えば上、斜上、横等）、解析対象の動物の色（例えば白、黒等））を指定する指定手段（例えば図２４の指定部４７１等）と、
前記指定手段により指定された前記画像の前記解析属性に基づいて、複数種類の前記骨格推定モデルの中から前記部位抽出手段（例えば図３の部位抽出部５２）に適用させる対象を選択すると共に、複数種類の前記個体識別モデルの中から前記個体識別手段（例えば図３の個体識別部５４）に適用させる対象を選択するモデル選択手段（例えば図２４のモデル選択部４７２等）と、
を備える。
このように構成される情報処理装置では、予め複数種類の個体識別モデルや個体識別モデルを用意しておき、解析対象の画像に対する解析属性を指定すると、指定された画像の解析属性に基づいて、複数種類の骨格推定モデルの中から部位抽出手段（例えば図３の部位抽出部５２）に適用させる対象を選択すると共に、複数種類の個体識別モデルの中から個体識別手段（例えば図３の個体識別部５４）に適用させる対象を選択する。
そして、画像の解析指示があると、複数種類の中から選択された動物の骨格推定モデル及び個体識別モデルを用いて、その画像の複数の単位画像の夫々から抽出された複数の部位を時系列毎に解析し、その解析結果に基づいて１以上の動物の夫々の個体を識別するので、一定の行動範囲の中で活動する１以上の動物（例えばマウス等）を撮像した画像から個々のマウスの夫々の個体を正しく見分けることができる。
さらに、情報処理装置（例えば図３の画像処理装置２、図２４のサーバ２００）は、
前記動物の行動に伴い変化する前記部位の位置の推移を示すデータフレームを生成する生成手段（例えば図３のデータフレームを生成部５３）と、
前記データフレームにおいて前記部位の位置の推移が予め設定された１以上の条件のうち何れかの条件を満たした場合、満たした前記条件に応じた行動を判定する行動判定手段（例えば図３の行動判定部５６）と、
をさらに備える。
このように構成することで、動物の部位の位置の推移が条件を満たした場合、その条件に応じた行動を判定するので、一定の行動範囲の中で行動する夫々のマウスの行動の理由を知ることができる。
即ち、動画から動物の個体を識別して、夫々の動物の夫々の部位の動きから動物の行動を評価することができる。
前記行動判定手段（例えば図３の行動判定部５６）は、
前記動物の部位と、他の特定の部位（水飲み場、餌場、他の動物の部位）との位置関係を規定した条件を満たした場合、当該位置関係に関連する行動を検出する行動検出手段（例えば図３の行動検出部８１）、
をさらに備える、
ことで、動物が限られた行動範囲の中で行動する中で、例えばひっかき行動をしたことでストレスを抱えている等の行動の理由を知ることができる。また、他の動物に対してグルーミング行動をしたことで、他の動物と関係性を持とうとしている等の行動の理由を知ることができる。
前記行動が、
夫々の前記動物の社会性に関する行動、同じ行動範囲に存在する動物どうしの相互作用に関する行動、動物どうしの関係性に関する行動のうちの少なくとも１つを含む。
これにより、動物の行動の理由が、社会性に関する行動であるか、同じ行動範囲に存在する動物どうしの相互作用に関する行動であるか、動物どうしの関係性に関する行動であるかを知ることができる。
前記部位抽出手段（例えば図３の部位抽出部５２）により抽出された前記動物の夫々の体の部位及び前記個体識別手段（例えば図３の個体識別部５４）により識別された前記動物の個体を示すマーカを前記部位に対応付けたマーカ付き画像を生成するマーカ画像生成手段（例えば図３のマーカ画像生成部５５）、
を備える。
これにより、マーカ付き画像を表示することで、画像の中に存在する１以上の動物をマーカにより見分けることができる。また、動物を見分けた上で、それら個体の部位を検出し、それらの変化（体の動き）に意義付けを行い、評価をすることができる。
第１情報処理装置（例えば図３の画像処理装置２、図２４のサーバ２００）は、
一定の行動範囲の中で１以上の動物が活動する様子が撮像された結果得られる、複数の単位画像（ピクセル）から構成されるフレーム画像が時間方向に配置される複数の画像の群（動画）を取得する画像取得手段（例えば図３の画像取得部５１）と、
前記単位画像の夫々が、前記１以上の前記動物の夫々のどの領域に属するかを判定する判定手段（図３等の個体認識部７１）と、
前記動物の夫々の領域毎に、前記動物の特定の部位（目、鼻、耳、足、尾、骨格等）の位置を、前記画像における所定の基準点からの距離を示す座標で特定する特定手段（例えば図３のデータフレームを生成部５３）と、
前記特定手段により特定される前記部位の位置座標が時間の経過と共に推移する様子を解析し、その解析結果に基づいて前記画像に含まれる前記１以上の前記動物夫々を識別（分類）する個体識別手段（例えば図３の個体識別部５４）と、
を備える。
また、前記個体識別手段（例えば図３の個体識別部５４）により識別（分類）される動物毎に、前記部位の座標の推移が予め設定された条件に合致するか否かを判定し、合致した前記条件に対応する前記動物の行動ラベル（ひっかき行動、睡眠中、グルーミング行動等）を、当該部位を含む前記画像の時刻情報（タイムスタンプ）に付与する行動判定手段（例えば図３の行動判定部５６）、
をさらに備える。
これにより、動物の行動がひっかき行動、睡眠中、グルーミング行動等のうちどの行動に属するかを知ることができる。
即ち、本発明が適用される情報処理装置（例えば図３の画像処理装置２、図２４のサーバ２００）は、
一定の行動範囲の中で１以上の動物が活動する様子が撮像された結果得られる、時間方向に複数の単位画像が配置されて構成される解析対象の画像（例えば動画等の映像）を取得する画像取得手段（例えば図３の画像取得部５１）と、
前記複数の単位画像毎に、単位画像を入力すると動物の体の骨格を推定して出力する骨格推定モデルを用いて、前記１以上の前記動物の夫々の体の部位（骨や関節の一部、体の重心等）を抽出する部位抽出手段（例えば図３の部位抽出部５２）と、
前記動物の体の１以上の部位の時系列を入力すると当該動物の個体を出力する個体識別モデルに対して、前記部位抽出手段により前記複数の単位画像の夫々から抽出された前記１以上の前記動物の夫々の体の前記部位の時系列を入力した結果得られる出力に基づいて、前記複数の単位画像の夫々における前記１以上の前記動物の夫々の個体を識別する個体識別手段（例えば図３の個体識別部５４）と、
前記解析対象の前記画像に対する解析属性（解析対象の画像に含まれる動物の種別（例えばマウス、ラット等）、解析対象の動物の撮像方向（例えば上、斜上、横等）、解析対象の動物の色（例えば白、黒等））を指定する指定手段（例えば図２４の指定部４７１等）と、
前記指定手段により指定された前記画像の前記解析属性に基づいて、複数種類の前記骨格推定モデルの中から前記部位抽出手段（例えば図３の部位抽出部５２）に適用させる対象を選択すると共に、複数種類の前記個体識別モデルの中から前記個体識別手段（例えば図３の個体識別部５４）に適用させる対象を選択するモデル選択手段（例えば図２４のモデル選択部４７２等）と、
を備える。
このように構成される情報処理装置では、予め複数種類の個体識別モデルや個体識別モデルを用意しておき、解析対象の画像に対する解析属性を指定すると、指定された画像の解析属性に基づいて、複数種類の骨格推定モデルの中から部位抽出手段（例えば図３の部位抽出部５２）に適用させる対象を選択すると共に、複数種類の個体識別モデルの中から個体識別手段（例えば図３の個体識別部５４）に適用させる対象を選択する。
そして、画像の解析指示があると、複数種類の中から選択された動物の骨格推定モデル及び個体識別モデルを用いて、その画像の複数の単位画像の夫々から抽出された複数の部位を時系列毎に解析し、その解析結果に基づいて１以上の動物の夫々の個体を識別するので、一定の行動範囲の中で活動する１以上の動物（例えばマウス等）を撮像した画像から個々のマウスの夫々の個体を正しく見分けることができる。
さらに、情報処理装置（例えば図３の画像処理装置２、図２４のサーバ２００）は、
前記動物の行動に伴い変化する前記部位の位置の推移を示すデータフレームを生成する生成手段（例えば図３のデータフレームを生成部５３）と、
前記データフレームにおいて前記部位の位置の推移が予め設定された１以上の条件のうち何れかの条件を満たした場合、満たした前記条件に応じた行動を判定する行動判定手段（例えば図３の行動判定部５６）と、
をさらに備える。
このように構成することで、動物の部位の位置の推移が条件を満たした場合、その条件に応じた行動を判定するので、一定の行動範囲の中で行動する夫々のマウスの行動の理由を知ることができる。
即ち、動画から動物の個体を識別して、夫々の動物の夫々の部位の動きから動物の行動を評価することができる。
前記行動判定手段（例えば図３の行動判定部５６）は、
前記動物の部位と、他の特定の部位（水飲み場、餌場、他の動物の部位）との位置関係を規定した条件を満たした場合、当該位置関係に関連する行動を検出する行動検出手段（例えば図３の行動検出部８１）、
をさらに備える、
ことで、動物が限られた行動範囲の中で行動する中で、例えばひっかき行動をしたことでストレスを抱えている等の行動の理由を知ることができる。また、他の動物に対してグルーミング行動をしたことで、他の動物と関係性を持とうとしている等の行動の理由を知ることができる。
前記行動が、
夫々の前記動物の社会性に関する行動、同じ行動範囲に存在する動物どうしの相互作用に関する行動、動物どうしの関係性に関する行動のうちの少なくとも１つを含む。
これにより、動物の行動の理由が、社会性に関する行動であるか、同じ行動範囲に存在する動物どうしの相互作用に関する行動であるか、動物どうしの関係性に関する行動であるかを知ることができる。
前記部位抽出手段（例えば図３の部位抽出部５２）により抽出された前記動物の夫々の体の部位及び前記個体識別手段（例えば図３の個体識別部５４）により識別された前記動物の個体を示すマーカを前記部位に対応付けたマーカ付き画像を生成するマーカ画像生成手段（例えば図３のマーカ画像生成部５５）、
を備える。
これにより、マーカ付き画像を表示することで、画像の中に存在する１以上の動物をマーカにより見分けることができる。また、動物を見分けた上で、それら個体の部位を検出し、それらの変化（体の動き）に意義付けを行い、評価をすることができる。
第１情報処理装置（例えば図３の画像処理装置２、図２４のサーバ２００）は、
一定の行動範囲の中で１以上の動物が活動する様子が撮像された結果得られる、複数の単位画像（ピクセル）から構成されるフレーム画像が時間方向に配置される複数の画像の群（動画）を取得する画像取得手段（例えば図３の画像取得部５１）と、
前記単位画像の夫々が、前記１以上の前記動物の夫々のどの領域に属するかを判定する判定手段（図３等の個体認識部７１）と、
前記動物の夫々の領域毎に、前記動物の特定の部位（目、鼻、耳、足、尾、骨格等）の位置を、前記画像における所定の基準点からの距離を示す座標で特定する特定手段（例えば図３のデータフレームを生成部５３）と、
前記特定手段により特定される前記部位の位置座標が時間の経過と共に推移する様子を解析し、その解析結果に基づいて前記画像に含まれる前記１以上の前記動物夫々を識別（分類）する個体識別手段（例えば図３の個体識別部５４）と、
を備える。
また、前記個体識別手段（例えば図３の個体識別部５４）により識別（分類）される動物毎に、前記部位の座標の推移が予め設定された条件に合致するか否かを判定し、合致した前記条件に対応する前記動物の行動ラベル（ひっかき行動、睡眠中、グルーミング行動等）を、当該部位を含む前記画像の時刻情報（タイムスタンプ）に付与する行動判定手段（例えば図３の行動判定部５６）、
をさらに備える。
これにより、動物の行動がひっかき行動、睡眠中、グルーミング行動等のうちどの行動に属するかを知ることができる。
【符号の説明】
【0166】
１・・・カメラ、２・・・情報処理装置、１１・・・ＣＰＵ、４１・・・画像ＤＢ、４２・・・モデルＤＢ、４３・・・材料ＤＢ、５１・・・画像取得部、５２・・・部位抽出部、５３・・・データフレーム生成部、５４・・・個体識別部、５５・・・マーカ画像生成部、５６・・・行動判定部、５７・・・外郭検出部、６１・・・動画取得部、６２・・・単位画像生成部、８１・・・行動検出部、８２・・・行動予測部、７１、９１・・・個体認識部、７２・・・部位検出部、９２・・・外郭特定部、４５０・・・画像解析部、４５１・・・ウェブサービス部、４５２・・・プロセス部、４６１・・・認証部、４６２・・・検索部、４６３・・・検索結果出力部、４６４・・・解析データ追加部、４６５・・・解析結果表示制御部、４７１・・・指定部、４７２・・・モデル選択部、４９１・・・アップロードデータ管理部、４９２・・・未処理データ管理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】