特開 2022-68638 情報処理装置、情報処理方法および情報処理システム。

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022068638

(43)【公開日】2022-05-10

(54)【発明の名称】情報処理装置、情報処理方法および情報処理システム。

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20220427BHJP

   A01K 29/00 20060101ALI20220427BHJP

【ＦＩ】

G06Q50/10

A01K29/00

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2020177424

(22)【出願日】2020-10-22

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｌｉｎｕｘ

(71)【出願人】

【識別番号】518247173

【氏名又は名称】株式会社ＲＡＢＯ

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ特許業務法人

(72)【発明者】

【氏名】伊豫 愉芸子

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC11

(57)【要約】

【課題】ペットの活動状態の予測精度を向上させること。
【解決手段】本開示に係るサーバ１は、カメラ８により撮像されるペットを被写体とする動画のデータ、および該動画の撮像に係る時刻情報を取得する動画データ取得部２２１と、カメラ８とは異なるデバイスであって、動物に接するペットセンサ５に設けられるセンサから得られる時系列の測定データを取得する測定データ取得部２２２と、測定データから、動画の撮像に係る時刻情報に基づいて定められる所定の時間帯の対象データを抽出する抽出部２３と、抽出された対象データと動画のデータとを関連付けて出力する出力部２６と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１のデバイスにより撮像される動物を被写体とする動画のデータ、および該動画の撮像に係る時刻情報を取得する動画データ取得部と、
前記第１のデバイスとは異なる第２のデバイスであって、前記動物に接する該第２のデバイスに設けられるセンサから得られる時系列の測定データを取得する測定データ取得部と、
前記測定データから、前記動画の撮像に係る時刻情報に基づいて定められる所定の時間帯の対象データを抽出する抽出部と、
抽出された前記対象データと前記動画のデータとを関連付けて出力する出力部と、
を備える情報処理装置。

【請求項2】

ユーザ端末に前記第１のデバイスによる撮像を行うための操作画面を表示させる操作画面表示制御部をさらに備え、
前記動画データ取得部は、前記ユーザ端末に対する前記操作画面への入力により開始される前記第１のデバイスの撮像処理により得られる前記動画のデータを取得する、請求項１に記載の情報処理装置。

【請求項3】

前記動画の撮像に係る時刻情報は、前記第１のデバイスによる前記動画の撮像の開始のタイミングに基づいて生成される、請求項１または２に記載の情報処理装置。

【請求項4】

前記対象データに、前記動画の撮像時における前記動物の行動に関する情報をメタ情報として付与するメタ情報付与部をさらに備える、
請求項１～３のいずれか１項に記載の情報処理装置。

【請求項5】

過去に前記動物の行動と判別されたタイミングの情報の一覧をユーザ端末に表示させるデータ一覧表示制御部と、
ユーザ端末に対する入力操作に係る情報に基づき、前記ユーザ端末に表示される前記一覧に含まれるタイミングの情報から、前記動物の行動に対応しないと選択された情報を削除するデータ処理部と、
をさらに備える、請求項４に記載の情報処理装置。

【請求項6】

前記メタ情報は、前記動物による食事、運動、嘔吐、排泄および睡眠に関する情報を含む、請求項４または５に記載の情報処理装置。

【請求項7】

前記メタ情報は、前記動物の固有の情報を含む、請求項４～６のいずれか１項に記載の情報処理装置。

【請求項8】

前記センサは加速度センサを含み、
前記測定データは、前記加速度センサから得られる加速度についての測定データを含む、請求項１～７のいずれか１項に記載の情報処理装置。

【請求項9】

前記動物は、ヒトを除く動物である、請求項１～８のいずれか１項に記載の情報処理装置。

【請求項10】

プロセッサが、
第１のデバイスにより撮像される動物を被写体とする動画のデータ、および該動画の撮像に係る時刻情報を取得することと、
前記第１のデバイスとは異なる第２のデバイスであって、前記動物に接する該第２のデバイスに設けられるセンサから得られる時系列の測定データを取得することと、
前記測定データから、前記動画の撮像に係る時刻情報に基づいて定められる所定の時間帯の対象データを抽出することと、
抽出された前記対象データと前記動画のデータとを関連付けて出力することと、
を含む情報処理方法。

【請求項11】

第１のデバイスにより撮像される動物を被写体とする動画のデータ、および該動画の撮像に係る時刻情報を取得する動画データ取得部と、
前記第１のデバイスとは異なる第２のデバイスであって、前記動物に接する該第２のデバイスに設けられるセンサから得られる時系列の測定データを取得する測定データ取得部と、
前記測定データから、前記動画の撮像に係る時刻情報に基づいて定められる所定の時間帯の対象データを抽出する抽出部と、
抽出された前記対象データと前記動画のデータとを関連付けて出力する出力部と、
を備える情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はペットの健康状態を把握するためのサービスを提供するための情報処理装置、情報処理方法および情報処理システムに関する。

【背景技術】

【0002】

昨今、ペットブームの高まりに伴い、ペットの見守りや健康管理のための技術が開発されている。例えば、特許文献１には、飼い犬に加速度センサを固定し、センサから取得される測定データを基に、犬の活動状態（静止中、歩行中、激しい運動）といった情報を算出し、飼い主に提供する、といった技術が公開されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－２１７９２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記技術は、短時間の平均的なトレンド周波数に基づいて、活動量を示すことを実現しているものの、実際の動物の活動状態を示す情報を得ることは難しい。特にネコ等の小型の動物においては、動きが小刻みであり、上下方向に移動も活発であるので、その意味においても、短時間的なトレンドデータのみに基づく情報把握が難しい。また、このようなトレンドデータは個体差による影響が大きくなることもあり、活動状態を示す情報の精度を得ることが困難である。

【0005】

そこで、本発明は、ペット、特にネコについて、その活動状態の予測精度を向上させることが可能な、情報処理装置、情報処理方法および情報処理システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明によれば、第１のデバイスにより撮像される動物を被写体とする動画のデータ、および該動画の撮像に係る時刻情報を取得する動画データ取得部と、前記第１のデバイスとは異なる第２のデバイスであって、前記動物に接する該第２のデバイスに設けられるセンサから得られる時系列の測定データを取得する測定データ取得部と、前記測定データから、前記動画の撮像に係る時刻情報に基づいて定められる所定の時間帯の対象データを抽出する抽出部と、抽出された前記対象データと前記動画のデータとを関連付けて出力する出力部と、を備える情報処理装置が提供される。

【0007】

また、本発明によれば、プロセッサが、第１のデバイスにより撮像される動物を被写体とする動画のデータ、および該動画の撮像に係る時刻情報を取得することと、前記第１のデバイスとは異なる第２のデバイスであって、前記動物に接する該第２のデバイスに設けられるセンサから得られる時系列の測定データを取得することと、前記測定データから、前記動画の撮像に係る時刻情報に基づいて定められる所定の時間帯の対象データを抽出することと、抽出された前記対象データと前記動画のデータとを関連付けて出力することと、を含む情報処理方法が提供される。

【0008】

また、本発明によれば、第１のデバイスにより撮像される動物を被写体とする動画のデータ、および該動画の撮像に係る時刻情報を取得する動画データ取得部と、前記第１のデバイスとは異なる第２のデバイスであって、前記動物に接する該第２のデバイスに設けられるセンサから得られる時系列の測定データを取得する測定データ取得部と、前記測定データから、前記動画の撮像に係る時刻情報に基づいて定められる所定の時間帯の対象データを抽出する抽出部と、抽出された前記対象データと前記動画のデータとを関連付けて出力する出力部と、を備える情報処理システムが提供される。

【発明の効果】

【0009】

本発明によれば、ペットの活動状態の予測精度を向上させることが可能である。

【図面の簡単な説明】

【0010】

【図1】本発明の実施の形態によるシステムの構成例を示す図である。

【図2】本発明の実施の形態による宅内における動物のセンシングを説明する概念図である。

【図3】本発明の実施の形態によるサーバのハードウェア構成例を示す図である。

【図4】フィードバック処理の一例を説明するための図である。

【図5】本発明の一実施形態によるシステムにおけるサーバのソフトウェア構成例を示す図である。

【図6】同実施形態に係る表示制御部の詳細な機能ブロックの一例を示す図である。

【図7】同実施形態に係る取得部の詳細な機能ブロックの一例を示す図である。

【図8】同実施形態におけるサーバ１の動作フローを示すフローチャートである。

【図9】同実施形態における操作画面の第１の例を示す図である。

【図10】同実施形態における操作画面の第２の例を示す図である。

【図11】同実施形態における操作画面の第３の例を示す図である。

【図12】同実施形態における操作画面の第４の例を示す図である。

【図13】同実施形態における操作画面の第５の例を示す図である。

【発明を実施するための形態】

【0011】

本発明の実施形態の内容を列記して説明する。本発明は、以下のような構成を備える。
（項目１）
第１のデバイスにより撮像される動物を被写体とする動画のデータ、および該動画の撮像に係る時刻情報を取得する動画データ取得部と、
前記第１のデバイスとは異なる第２のデバイスであって、前記動物に接する該第２のデバイスに設けられるセンサから得られる時系列の測定データを取得する測定データ取得部と、
前記測定データから、前記動画の撮像に係る時刻情報に基づいて定められる所定の時間帯の対象データを抽出する抽出部と、
抽出された前記対象データと前記動画のデータとを関連付けて出力する出力部と、
を備える情報処理装置。
（項目２）
ユーザ端末に前記第１のデバイスによる撮像を行うための操作画面を表示させる操作画面表示制御部をさらに備え、
前記動画データ取得部は、前記ユーザ端末に対する前記操作画面への入力により開始される前記第１のデバイスの撮像処理により得られる前記動画のデータを取得する、項目１に記載の情報処理装置。
（項目３）
前記動画の撮像に係る時刻情報は、前記第１のデバイスによる前記動画の撮像の開始のタイミングに基づいて生成される、項目１または２に記載の情報処理装置。
（項目４）
前記対象データに、前記動画の撮像時における前記動物の行動に関する情報をメタ情報として付与するメタ情報付与部をさらに備える、
項目１～３のいずれか１項に記載の情報処理装置。
（項目５）
過去に前記動物の行動と判別されたタイミングの情報の一覧をユーザ端末に表示させるデータ一覧表示制御部と、
ユーザ端末に対する入力操作に係る情報に基づき、前記ユーザ端末に表示される前記一覧に含まれるタイミングの情報から、前記動物の行動に対応しないと選択された情報を削除するデータ処理部と、
をさらに備える、項目４に記載の情報処理装置。
（項目６）
前記メタ情報は、前記動物による食事、運動、嘔吐、排泄および睡眠に関する情報を含む、項目４または５に記載の情報処理装置。
（項目７）
前記メタ情報は、前記動物の固有の情報を含む、項目４～６のいずれか１項に記載の情報処理装置。
（項目８）
前記センサは加速度センサを含み、
前記測定データは、前記加速度センサから得られる加速度についての測定データを含む、項目１～７のいずれか１項に記載の情報処理装置。
（項目９）
前記動物は、ヒトを除く動物である、項目１～８のいずれか１項に記載の情報処理装置。
（項目１０）
プロセッサが、
第１のデバイスにより撮像される動物を被写体とする動画のデータ、および該動画の撮像に係る時刻情報を取得することと、
前記第１のデバイスとは異なる第２のデバイスであって、前記動物に接する該第２のデバイスに設けられるセンサから得られる時系列の測定データを取得することと、
前記測定データから、前記動画の撮像に係る時刻情報に基づいて定められる所定の時間帯の対象データを抽出することと、
抽出された前記対象データと前記動画のデータとを関連付けて出力することと、
を含む情報処理方法。
（項目１１）
第１のデバイスにより撮像される動物を被写体とする動画のデータ、および該動画の撮像に係る時刻情報を取得する動画データ取得部と、
前記第１のデバイスとは異なる第２のデバイスであって、前記動物に接する該第２のデバイスに設けられるセンサから得られる時系列の測定データを取得する測定データ取得部と、
前記測定データから、前記動画の撮像に係る時刻情報に基づいて定められる所定の時間帯の対象データを抽出する抽出部と、
抽出された前記対象データと前記動画のデータとを関連付けて出力する出力部と、
を備える情報処理システム。

【0012】

＜実施の形態の詳細＞
以下、本発明の実施の形態について、図面を参照しながら説明する。

【0013】

＜概要＞
本発明の実施の形態によるシステム（情報処理システム）は、ペットに装着した加速度センサや重量センサ等の各種センサから得られる測定データをもとにペットの健康状態をモニタリングし、異常を検知するものである。図１に示すように、本発明のシステムは、サーバ１と、サーバ１に、インターネット等のネットワークを介して接続される、ペットセンサ５、通信端末２、ユーザ端末３を含む。図１には、説明の便宜のために、各々１つのペットセンサ５、通信端末２、及びユーザ端末３が図示されているが、各々複数の端末が、本システムのネットワークに接続可能である。また、後述する動画データや測定データを分析し、各種モデルを学習ための分析サーバ９が、該ネットワークに接続されていてもよい。

【0014】

ペットに装着するペットセンサ５としては、例えば加速度センサ、温度センサ等がありえる。ペットセンサ５は、第２のデバイスの一例である。かかるペットセンサ５は動物（ペット）の一例であるネコ６に接する。なお、第２のデバイスの例としては、体重計など、図示せぬ重量センサ等であってもよい。重量センサは、ペットが該重量センサに乗るようにして接するものであり、ペットの体重を測定するもの、ペットの排泄物（便、尿）を測定するもの、ペットの摂食量（餌、水）を測定するものがあり、ベッドやトイレ、食器自体に備えられてもよいし、それらを載せる台に設置されてよい。

【0015】

サーバ１は、サービスを、アプリケーションを介してユーザ端末３（第１のデバイスの例）に対して提供することができる。ユーザ端末３は、アプリケーションをサーバ１または別のサーバからダウンロードし、このアプリケーションを実行し、ブラウザ等のウェブページの閲覧ソフトウェアを介してサーバ１にアクセスすることで、サーバ１と情報を送受信することでき、また、サービスを受けることが可能となる。

【0016】

通信端末２は、動物、例えばネコ６に装着されたペットセンサ５と近距離無線通信を行うことで、各データを取得することができる。より具体的には、まず、図２に示すように、ネコなどのペット（動物）６に対し、首輪状（またはペンダント状）のウェアラブルデバイスが取り付けられる。なお、ここでいう動物は、ヒトを除く動物であってもよい。ウェアラブルデバイスには、加速度センサ及び／または温度センサ等のペットセンサ５が内蔵される。ペットセンサ５は、データをＢＬＵＥＴＯＯＴＨ（登録商標） ＬＡＷ ＥＮＥＲＧＹ（ＢＬＥ）等の近距離無線通信を通じて、同じ宅内に設置される受信装置７に送信し、受信装置７は、ルータ等の通信端末２にデータを転送し、通信端末２は、データをネットワークを介してサーバ１に送信する。なお、ペットセンサ５は、データをＢＬＵＥＴＯＯＴＨ（登録商標） ＬＡＷ ＥＮＥＲＧＹ（ＢＬＥ）等の近距離無線通信を通じて、ユーザ端末３に直接送信することとしてもよい。ここで、受信装置７は、一例として、Ｌｉｎｕｘベースのオペレーションシステムを搭載し、また、気温を測定する温度センサ等各種センサを搭載することができる。しかしながら、組み込みのチップセット等、ＯＳを搭載しないものであってももちろんよい。

【0017】

ペットセンサ５は、例えば加速度センサである。加速度センサは、図２に示すように、互いに直交する３軸方向（ｘ軸、ｙ軸、ｚ軸方向）の加速度を検出するセンサであり、ネコの首部に装着する首輪に内蔵される。図２に示すように、ネコの前後方向をＸ方向、左右方向をＹ方向、上下方向をＺ方向と定義し、ネコの動きに応じて各方向の加速度信号が検出できるよう首輪をネコに取り付ける。センサの種類はこれに限らず、ジャイロセンサやモーションセンサ等、ネコの動きに関する情報を取得できるあらゆるセンシング装置を採用可能である。なお、ペットセンサ５は、上述した首輪状の筐体に収容されるものであってもよいし、予め動物等の皮膚等に付されたり、埋め込まれたりするようなデバイスであってもよい。

【0018】

ユーザ端末３としては、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはスマートフォン、タブレット、携帯端末、その他情報端末等であってもよい。かかるユーザ端末３は、カメラ８を備える。カメラ８は第１のデバイスの一例である。カメラ８は、必ずしも撮像装置はユーザ端末３に設けられるものでなくてもよく、カメラ８はユーザ端末３と独立していてもよい。

【0019】

＜ハードウェア構成＞
本実施の形態によるサーバ１とユーザ端末３とは、以下のようなハードウェア構成を有する。なお、以下の構成は一例であり、これ以外の構成を有していても良い。

【0020】

サーバ１は、データベース(図示せず)と接続されシステムの一部を構成する。サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

【0021】

図３に示すように、サーバ１は、少なくとも、制御部１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

【0022】

制御部１０は、サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。

【0023】

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、制御部１０のワークエリア等として使用され、また、サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

【0024】

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース(図示せず)がストレージ１２に構築されていてもよい。

【0025】

送受信部１３は、サーバ１をネットワークに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。

【0026】

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

【0027】

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

【0028】

＜行動種別機能の例＞
本発明のシステムにおけるサーバ１の機能について説明する前に、本発明の前提となるペットの行動種別機能の一例について説明する。本システムにおいては、ネコ６に装着されたウェアラブルデバイスに備わるペットセンサ５から得られる測定データに基づいて、ネコ６の行動を予測するものである。具体的には、サーバ１は、測定データを連続的または断続的に取得し、適宜フーリエ変換等の前処理を行い、測定データを特定の行動に対応するパターンと比較分析を行う。そしてサーバ１は、かかる比較分析の結果から、測定データに対して最も類似する行動パターンが測定データにラベルとして付与され、該行動パターンに関する情報をユーザに対しユーザ端末３等を介して通知する。これにより、ユーザは直接的にネコ６を観察しなくても、ウェアラブルデバイスから得られる情報を介して、ネコ６の状態を知ることができる。

【0029】

また、サーバ１においては、各動物の個体差や環境による個別的要因に対応するため、ユーザからのフィードバックを受けることができる。図４は、フィードバック処理の一例を説明するための図である。具体的には、ユーザは、自己の管理している動物を観察等しながら、現在の行動を（手動により）記録する。サーバ１は、当該記録と加速度センサのデータを関連付けることにより、目視等による教師データを収集することができる。このようにして得られたフィードバックデータは、蓄積され、二値モデル群のモデルの精度を上げるために利用される。

【0030】

かかるフィードバック処理においては、現在の行動を「食事をしている」等のテキスト情報を測定データに付与することは可能である。しかしながら、単にテキスト情報を付与しただけでは、食事におけるどの運動に対応するのか（例えば、摂食、咀嚼または嚥下等）を把握することは困難である。

【0031】

精緻なフィードバックを行うために、例えばネコ６の食事中の動画をサーバ１にアップロードし、分析サーバ９において食事に関するモデルの再学習を行うための情報として活用することはできる。しかしながら、食事中の動画から得られる時系列と、測定データの時系列が一致しなければ、測定データの変化と動画に映る食事の様子とが一致せず、フィードバック情報として用いることが困難となる。

【0032】

そこで本実施形態に係る技術は、動画データに動画の撮像に係る時刻情報を付与しておき、かかる動画の撮像時刻情報に基づいて定められるペットセンサ５における所定の時間帯に得られた測定データを抽出して、かかる測定データと動画データとを紐付けて出力する。これにより、動画に映るネコ６の行動と測定データにより検出される動きとが一致するため、より正確なフィードバックを行うことが可能となる。以下、本発明の一実施形態について説明する。

【0033】

＜ソフトウェア構成例＞
図５は、本発明の一実施形態によるシステムにおけるサーバ１のソフトウェア構成例を示す図である。サーバ１は、表示制御部２１、取得部２２、抽出部２３、データ処理部２４、メタ情報付与部２５、出力部２６、動物ＤＢ（データベース）２７および測定ＤＢ（データベース）２８を備える。なお、表示制御部２１、取得部２２、抽出部２３、データ処理部２４、メタ情報付与部２５および出力部２６は、サーバが備える制御部１０がストレージ１２に記憶されているプログラムをメモリ１１に読み出して実行することにより実現される。また、動物ＤＢ２７および測定ＤＢ２８は、メモリ１１およびストレージ１２の少なくともいずれかにより提供される記憶領域の一部として実現される。

【0034】

表示制御部２１は、ユーザ端末３のディスプレイの表示を制御する機能を有する。図６は、本実施形態に係る表示制御部２１の詳細な機能ブロックの一例を示す図である。表示制御部２１は、操作画面表示制御部２１１およびデータ一覧表示制御部２１２を備える。操作画面表示制御部２１１は、ユーザ端末３に備えられたカメラにより撮像を行うための操作画面を表示させる機能を有する。例えば、操作画面表示制御部２１１は、食事の様子を撮像するための操作画面をユーザ端末３に表示させ得る。この場合、ユーザがユーザ端末３に表示されている動画の撮像の開始に係るボタン等をタップすることにより、ユーザ端末３のカメラ８による撮像処理が開始される。なお、操作画面表示制御部２１１は、撮像処理を停止するための操作画面をしてもよい。かかる撮像処理は、自動に停止するものであってもよい。具体的な表示例については後述する。ネコ６が所定の行動（例えば食事）を行っているタイミングで動画を撮像させるための表示を制御することにより、判別モデルのフィードバックのための動画データとして、質の高いデータを得ることができる。また、フィードバックのためにユーザに行わせる処理の一貫として動画を撮像させる際に、動画を撮像したタイミングをタイムスタンプ（時刻情報）として確実に取得できる。そのため、判別モデルの再学習において、測定データと動画データとの間における時刻のズレが少なくなり、フィードバックがより確実なものとなりうる。

【0035】

データ一覧表示制御部２１２は、過去にネコ６の行動（例えば、ネコ６食事等の行動）と判別されたタイミングの情報の一覧をユーザ端末３に表示させる機能を有する。かかる機能により、例えば、過去に判別された食事のタイミングのうち、実際の行動とは異なる行動としてラベリングされているデータを削除することができる。具体的な表示例については後述する。

【0036】

取得部２２は、他のデバイスから種々のデータを取得する機能を有する。図７は、本実施形態に係る取得部２２の詳細な機能ブロックの一例を示す図である。取得部２２は、動画データ取得部２２１および測定データ取得部２２２を備える。動画データ取得部２２１は、ユーザ端末３に備えられるカメラ８により撮像される動物を被写体とする動画のデータ（動画データ）を取得する機能を有する。すなわち、動画データ取得部２２１は、ユーザ端末３から送信される動画データを取得する。かかる動画データは、上述した操作画面表示制御部２１１によりユーザ端末３により表示される操作画面を操作することにより動画の撮像処理が行われて得られるものであってもよい。

【0037】

また、動画データ取得部２２１は、動画の撮像に係る時刻情報を取得する。例えば、動画データ取得部２２１が取得する動画データには、動画の撮像に係る時刻情報が付与されることで、動画データ取得部２２１は動画の撮像に係る時刻情報を取得する。動画の撮像に係る時刻情報は、例えば、動画の撮像を開始した時刻の情報であり得る。かかる情報は、例えば、動画の撮像処理が開始したタイミングに基づいて生成されるタイムスタンプに係る情報であってもよい。これにより、動画の開始時刻および終了時刻に関する情報を取得することができる。なお、かかる動画データは、予めカメラ８等により撮像されて得られる動画であってもよいが、この場合、動画データの生成時点（すなわち、動画の撮影の開始時点）における動画の撮像に係る時刻情報が予め動画データと関連付けられていることが好ましい。これらの時刻情報は、後段の処理である測定データの抽出処理において用いられ得る。そのため、上述した操作画面表示制御部２１１により表示される操作画面を操作した際に付与されるタイムスタンプを時刻情報として用いることで、測定データの抽出処理における精度がより向上する。

【0038】

測定データ取得部２２２は、ペットセンサ５から得られる時系列の測定データを取得する機能を有する。測定データは、ペットセンサ５が機能を果たす１以上のセンサから得られるデータである。ペットセンサ５が加速度センサである場合は、測定データは加速度データとなる。かかる加速度データは、ネコ６の動き等により生じる加速度データであり得る。測定データは、例えば測定ＤＢ２８に記憶され得る。測定データは、ペットセンサ５から連続的にまたは断続的に取得される。

【0039】

抽出部２３は、測定データから、動画の撮像に係る時刻情報に基づいて定められる、所定の時間帯の対象データを抽出する機能を有する。例えば、１８時１０分００秒から１分間動画を撮像した場合に、かかる動画に対応する測定データは、１８時１０分００秒から１８時１１分００秒の間に測定された測定データであり、抽出部２３は、かかる時間帯の測定データを対象データとして抽出する。なお、例えばペットセンサ５とカメラ８（またはサーバ１）と時刻のズレが生じている場合は、抽出部２３は、かかる時刻のズレを考慮した時間帯の対象データを抽出してもよい。かかる時刻のズレは、測定データの取得時において予め調整されるものであってもよい。

【0040】

データ処理部２４は、データ一覧表示制御部２１２により表示される一覧に含まれるタイミングの情報から、ユーザ端末３に対する入力操作に係る情報に基づき、ペット６の行動に対応しないと選択された情報（例えば測定ＤＢ２８に記憶される行動データ等）を削除する機能を有する。かかるデータ処理部２４の機能の一例については後述する。

【0041】

メタ情報付与部２５は、対象データに、ペット６の撮像時におけるペット６の行動に関する情報をメタ情報として付与する機能を有する。メタ情報は、例えば、ペット６による食事、運動、嘔吐、排泄および睡眠に関する情報を含む。ここでいう運動とは、短時間の行動に係る動き等を意味し得る。また、メタ情報は、ペット６の固有の情報を含みうる。ペット６の固有の情報とは、例えば、ペット６の名前、動物種、特性等の情報を意味する。かかるペット６の固有の情報は、例えば、後述する動物ＤＢ２７に記憶され得る。メタ情報付与部２５は、例えば、ユーザのユーザ端末３に対する入力に基づくメタ情報（食事等ペット６の現在の行動）を付与してもよいし、本システムが所定の行動に関するものであれば、所定の行動に関連するメタ情報を付与してもよい。

【0042】

出力部２６は、抽出された対象データと動画データとを関連付けて出力する機能を有する。出力部２６は、例えば、抽出された対象データと動画データとの組を、測定ＤＢ２８に記憶してもよい。また、かかる対象データと動画データとの組は、分析サーバ９等に出力されていてもよい。これにより、例えば、特定のペット６の食事を判別するためのモデルの再学習を行う際に、エンジニアはこれらの組のデータを見て、ペット６の行動における特徴に対応するデータをラベリング（例えば、摂食、咀嚼または嚥下等のラベリング）することができる。なお、かかる対象データと動画データとの組による再学習は、画像解析等の手段の組み合わせ等により、自動的に行われてもよい。また、かかる再学習においては、対象データに付与されるメタ情報が入力値として用いられていてもよい。これにより、ペット６固有の精度高い判別モデルを得ることができる。

【0043】

動物ＤＢ２７は、ペットセンサ５を装着する動物（ペット）に関する情報を記憶するデータベースである。動物ＤＢ２７には、各動物について、名前、動物種、年齢、性別、エリア、健康情報または飼い主情報等の情報が記憶されている。これらの情報は、メタ情報として記憶され得る。

【0044】

測定ＤＢ２８は、ペットセンサ５を装着する動物（ペット）から得られた測定データおよび行動データを記憶するデータベースである。測定ＤＢ２８は、各動物のペットセンサ５から得られた測定データと、該測定データを元に判別される行動データとを記憶し得る。行動データとは、例えば、食事、運動、嘔吐、排泄および睡眠等の行動を示すデータであり、その行動をしていた時間に関する情報とともに記憶され得る。また、測定ＤＢ２８は、後述する測定データから抽出された所定の時間帯の対象データと、動画データとを紐付けられて記憶する。

【0045】

＜処理フローと画面表示例＞
図８は、本実施形態におけるサーバ１の動作フローを示すフローチャートである。ここで示す処理の流れは、あくまでも一例にすぎない。

【0046】

まず、測定データ取得部２２２は、ペットセンサ５から継続的に測定データを取得する（ステップＳ３０１）。かかる測定データは、時系列のデータであり、ペットセンサ５により付与されるタイムスタンプ（時刻情報）とともに取得される。サンプリング周波数は特に限定されず、判別モデルの精度と処理データ量の負荷等に応じて適宜設定され得る。

【0047】

次に、操作画面表示制御部２１１は、ユーザ端末３に、カメラ８による動画の撮影を行わせるための画面を表示する（ステップＳ３０２）。以下、操作画面の一例について説明する。

【0048】

図９は、本実施形態における操作画面の第１の例を示す図である。なお、図９に示す操作画面は、ユーザのユーザ端末３に対する操作により表示される画面であってもよいし、ペット６の行動に対する測定結果（例えば食事のタイミングや、睡眠時間等）に応じて遷移される画面であってもよい。後者の場合は、例えば、他のペットの行動に対する測定結果や、以前のペット６の行動に対する測定結果と比較して、現在のペット６の行動の頻度の乖離が大きい（例えば食事の頻度が少ない等）と判断される場合に、図９に示す画面が表示されてもよい。図９に示す画面は、ペット６の行動に対する測定結果が通常と異なる場合に、自動的に遷移されて表示されてもよいし、図９に遷移することを許可するボタンをタップすることにより表示されてもよい。図９に示すように、ユーザ端末３において、操作画面１００１が表示されている。操作画面１００１は、動画の撮影モードに移るためのボタン１０１１と、既に抽出された対象データの一覧を表示させるためのボタン１０１２を含む。ボタン１０１１をタップすると、動画の撮影を開始するモードに移行する。ボタン１０１２をタップすると、過去に得られた対象データの一覧を表示する画面に移行する。対象データの一覧の表示画面の例については後述する。ここで、ユーザがボタン１０１１をタップしたとする。

【0049】

図１０は、本実施形態における操作画面の第２の例を示す図である。図９に示したボタン１０１１をタップすると、図１０に示す操作画面１００２に遷移する。操作画面１００２は、ユーザがネコ６の動画を撮るための注意事項等の情報を含む。また、操作画面１００２は、撮影モードへと遷移させるボタン１０１３を含む。ここで、ユーザがボタン１０１３をタップしたとする。

【0050】

図１１は、本実施形態における操作画面の第３の例を示す図である。図１０に示したボタン１０１３をタップすると、図１１に示す操作画面１００３に遷移する。操作画面１００３は、実際にカメラ８による撮像を行うための操作画面である。ユーザ端末３のディスプレイにはカメラ８により撮像される映像が映し出される。ここで、ペットセンサ５を装着しているネコ６が食事をしている際の映像をユーザが撮影する。ボタン１０１４は、撮像処理を開始するボタンである。ボタン１０１４をタップすると、撮影が開始し、動画データが生成される（ステップＳ３０３）。なお、ボタン１０１４をタップした際に、タイムスタンプ（時刻情報）が生成されてもよい。タイムスタンプは、例えば、動画の撮影を停止して動画データの生成が完了すると、動画データに付与され得る。なお、タイムスタンプの情報は、動画データとは別にサーバ１に送信されてもよい。この場合、抽出部２３は、タイムスタンプに含まれる時刻情報を用いて、測定データの抽出処理を行う。動画の撮影の停止は、例えば、ボタン１０１４を再度タップすることにより実行される。このように、フィードバックのために動物の行動の動画をあえてユーザが撮影するように誘導させるようユーザ端末３の表示を制御することで、ユーザにとって負担なく、ネコ６の行動の判別のためのモデルの精度を向上させることが可能となる。

【0051】

なお、かかる操作画面１００３には、ネコ６を適切な位置で撮影するためのガイド１０１５が表示されていてもよい。これにより、判別モデルの再学習において、ネコ６の食事等の様子を確実に撮影することができるため、より精度の高いフィードバックが可能となる。かかるガイド１０１５について、例えば、ネコ６が適切な位置にいる場合といない場合で、その表示態様が変わってもよい。これにより、ネコ６の撮影が適切に行われているかどうかを把握することができる。

【0052】

図１２は、本実施形態における操作画面の第４の例を示す図である。図１２示すように、動画の撮影が完了すると、操作画面１００４が表示される。操作画面１００４は、動画データをサーバ１に送信するためのボタン１０１６を含む。ボタン１０１６をタップすることにより、動画データがサーバ１に送信される。動画データ取得部２２１は、動画データを取得する（ステップＳ３０４）。その際、例えば、動画データにタイムスタンプ等の時刻情報や、その他ネコ６に関する固有の情報等のメタ情報が付されてもよい。時刻情報は、抽出部２３による抽出処理に用いられ得る。また、メタ情報は、ネコ６固有の判別モデルの特定等に用いられ得る。

【0053】

次に、抽出部２３は、動画データに付された時刻情報に基づいて、動画の撮像時間に対応する測定データを抽出し、対象データとして取得する（ステップＳ３０５）。そして、出力部２６は、対象データと動画データとを紐付けて、測定ＤＢ２８に記憶する（ステップＳ３０６）。その際、例えば、メタ情報付与部２５は、対象データに、動画データに付されたメタ情報や、動物ＤＢ２７に記憶されているネコ６に関する情報等をさらに紐付けてもよい。かかる対象データは、判別モデルの再学習のためのフィードバック等に用いられ得るが、その際に、紐付けられた動画データに含まれるネコ６の像の特徴的な動きを見て、その動きに対応する波形等をラベルすることが可能となる。これにより、判別モデルの精度をより高く、効率的に上げることが可能となる。

【0054】

次に、図９に示した操作画面１００１のボタン１０１２をタップした際の挙動について説明する。図１３は、本実施形態における操作画面の第５の例を示す図である。操作画面１００５は、過去に食事だと判別されたタイミングの情報の一覧が示されている。タイミングの情報を含むオブジェクト１０１７には、「削除」と示されたボタン１０１８が含まれている。ボタン１０１８をタップすると、オブジェクト１０１７に対応するタイミングの情報を削除することができる。サーバ１においては、ボタン１０１８がタップされると、測定ＤＢ２８、食事と誤ってラベリングされた行動データが取り除かれる。これにより、誤って判別された測定データや行動データを、判別モデルの学習対象から外すことができる。よって、判別モデルの精度を向上させることができる。

【0055】

本発明によれば、測定データと動画データとを紐付ける際に、動画の撮像時間を示すタイムスタンプ等の時刻情報を用いることにより、異なるデバイス間で時系列のデータを取得した場合であっても、データの突き合わせによるズレが少なくなる。よって、判別モデルの再学習において、判別モデルの精度を向上させることができる。すなわち、ペットの活動状態の予測精度を向上させることが可能となる。また、本発明によれば、フィードバックのために動物の行動の動画をあえてユーザが撮影するように誘導させるようユーザ端末３の表示を制御することで、ユーザにとって負担なく、ペットの行動の判別のためのモデルの精度を向上させることが可能となる。

【0056】

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

【符号の説明】

【0057】

１ サーバ（情報処理装置）
３ ユーザ端末
５ ペットセンサ
８ カメラ
１０ 制御部
１２ ストレージ
２１ 表示制御部
２２ 取得部
２３ 抽出部
２４ データ処理部
２５ メタ情報付与部
２６ 出力部
２７ 動物ＤＢ
２８ 測定ＤＢ
２１１ 操作画面表示制御部
２１２ データ一覧表示制御部
２２１ 動画データ取得部
２２２ 測定データ取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】