特許 6930421 情報処理システム、情報処理方法、記録媒体、および、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6930421

(24)【登録日】2021年8月16日

(45)【発行日】2021年9月1日

(54)【発明の名称】情報処理システム、情報処理方法、記録媒体、および、プログラム

(51)【国際特許分類】

   H04N 5/92 20060101AFI20210823BHJP

   H04N 5/77 20060101ALI20210823BHJP

   H04N 21/431 20110101ALI20210823BHJP

   H04N 21/435 20110101ALI20210823BHJP

   H04N 7/18 20060101ALI20210823BHJP

【ＦＩ】

   H04N5/92 010

   H04N5/77

   H04N21/431

   H04N21/435

   H04N7/18 D

   H04N7/18 U

【請求項の数】14

【全頁数】24

(21)【出願番号】特願2017-532396(P2017-532396)

(86)(22)【出願日】2016年4月28日

(86)【国際出願番号】JP2016063466

(87)【国際公開番号】WO2017022286

(87)【国際公開日】20170209

【審査請求日】2019年3月28日

(31)【優先権主張番号】特願2015-153240(P2015-153240)

(32)【優先日】2015年8月3日

(33)【優先権主張国】JP

【前置審査】

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】岩波 宏

【審査官】 松元 伸次

(56)【参考文献】

【文献】 特開２０１１−１４６９９９（ＪＰ，Ａ）

【文献】 特開２００５−００３５６３（ＪＰ，Ａ）

【文献】 特開２００８−０２８７５６（ＪＰ，Ａ）

【文献】 特開２００３−１１４２８３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｂ２３／００−３１／００

Ｈ０４Ｎ５／２２２−５／２５７

５／７６−５／７７５

５／８０−５／９５６

７／１０

７／１４−７／５６

２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

動画像データを取得する動画像データ取得部と、
前記動画像データに関連するセンサデータ、および前記動画像データの撮影時刻に対応する時系列データを受信する通信部と、
前記動画像データの画像解析を行い、前記動画像データの被写体の特定の動きを示す画像解析結果データを生成する画像信号処理部と、
前記動画像データと、前記センサデータ、前記時系列データ、および前記画像解析結果データのうち少なくとも２つのデータのグラフと、所望の時刻の画像を指定するための、前記グラフの時間軸方向の軸の長さに対応するシークバーとを含むインタフェースを生成する制御部と、
を備え、
前記制御部は、前記少なくとも２つのデータに基づいて、前記少なくとも２つのデータが所定の条件を満たす時刻にマーキングを行い、当該時刻が前記シークバーの操作により指定された場合に、指定された当該時刻の前記動画像データを再生する、情報処理システム。

【請求項2】

前記制御部は、前記センサデータ、前記時系列データ、および前記画像解析結果データのうち少なくともいずれかを選択するためのユーザインタフェースを生成する、請求項１に記載の情報処理システム。

【請求項3】

前記制御部は、前記ユーザインタフェースにより選択された複数のデータに基づいて、所定時刻にマーキングを行う、請求項２に記載の情報処理システム。

【請求項4】

前記制御部は、前記選択された複数のデータのいずれにも所定の条件を満たすことを示すフラグがセットされている時刻に、マーキングを行う、請求項３に記載の情報処理システム。

【請求項5】

前記制御部は、前記マーキングした時刻を示すための、前記グラフの時間軸方向の軸の長さに対応するマーク結果バーを生成する、請求項３または４に記載の情報処理システム。

【請求項6】

前記制御部は、前記動画像データと、前記センサデータ、前記時系列データ、および前記画像解析結果データのグラフと、前記シークバーとを含むインタフェースを生成する、請求項１〜５のいずれか１項に記載の情報処理システム。

【請求項7】

前記センサデータは、前記動画像データの被写体に取り付けられたセンサにより検出される、請求項１〜６のいずれか１項に記載の情報処理システム。

【請求項8】

前記画像信号処理部は、前記動画像データの画像解析により被写体の特定の動きを検出し、
前記制御部は、前記特定の動きの頻度が所定の閾値を上回る時刻にマーキングを行う、請求項５に記載の情報処理システム。

【請求項9】

前記時系列データは、前記動画像データの撮影時刻に対応する所定の事象に関するデータであり、
前記制御部は、前記事象の値が所定の条件を満たす時刻にマーキングを行う、請求項１〜８のいずれか１項に記載の情報処理システム。

【請求項10】

前記センサデータは、動きセンサによって検出された、前記動画像データを視聴した被写体の動きを示す動きデータであり、
前記制御部は、前記動きデータの値が所定の条件を満たす時刻にマーキングを行う、請求項１〜６のいずれか１項に記載の情報処理システム。

【請求項11】

前記情報処理システムは、前記動画像データを音声解析し、音声解析結果データを生成する音声信号処理部をさらに備え、
前記制御部は、前記動画像データと、前記センサデータ、前記時系列データ、前記画像解析結果データ、および音声解析結果データのうち少なくとも一つのデータのグラフと、前記シークバーとを含むインタフェースを生成する、請求項１〜１０のいずれか１項に記載の情報処理システム。

【請求項12】

プロセッサが、
動画像データを取得することと、
前記動画像データに関連するセンサデータ、および前記動画像データの撮影時刻に対応する時系列データを受信することと、
前記動画像データの画像解析を行い、前記動画像データの被写体の特定の動きを示す画像解析結果データを生成することと、
前記動画像データと、前記センサデータ、前記時系列データ、および前記画像解析結果データのうち少なくとも２つのデータのグラフと、所望の時刻の画像を指定するための、前記グラフの時間軸方向の軸の長さに対応するシークバーとを含むインタフェースを生成すること、
を含み、
前記プロセッサは、前記少なくとも２つのデータに基づいて、前記少なくとも２つのデータが所定の条件を満たす時刻にマーキングを行い、当該時刻が前記シークバーの操作により指定された場合に、指定された当該時刻の前記動画像データを再生する、情報処理方法。

【請求項13】

コンピュータを、
動画像データを取得する動画像データ取得部と、
前記動画像データに関連するセンサデータ、および前記動画像データの撮影時刻に対応する時系列データを受信する通信部と、
前記動画像データの画像解析を行い、前記動画像データの被写体の特定の動きを示す画像解析結果データを生成する画像信号処理部と、
前記動画像データと、前記センサデータ、前記時系列データ、および前記画像解析結果データのうち少なくとも２つのデータのグラフと、所望の時刻の画像を指定するための、前記グラフの時間軸方向の軸の長さに対応するシークバーとを含むインタフェースを生成する制御部と、
として機能させ、
前記制御部は、前記少なくとも２つのデータに基づいて、前記少なくとも２つのデータが所定の条件を満たす時刻にマーキングを行い、当該時刻が前記シークバーの操作により指定された場合に、指定された当該時刻の前記動画像データを再生する、ためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。

【請求項14】

コンピュータを、
動画像データを取得する動画像データ取得部と、
前記動画像データに関連するセンサデータ、および前記動画像データの撮影時刻に対応する時系列データを受信する通信部と、
前記動画像データの画像解析を行い、前記動画像データの被写体の特定の動きを示す画像解析結果データを生成する画像信号処理部と、
前記動画像データと、前記センサデータ、前記時系列データ、および前記画像解析結果データのうち少なくとも２つのデータのグラフと、所望の時刻の画像を指定するための、前記グラフの時間軸方向の軸の長さに対応するシークバーとを含むインタフェースを生成する制御部と、
として機能させ、
前記制御部は、前記少なくとも２つのデータに基づいて、前記少なくとも２つのデータが所定の条件を満たす時刻にマーキングを行い、当該時刻が前記シークバーの操作により指定された場合に、指定された当該時刻の前記動画像データを再生する、ための、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、情報処理方法、および記録媒体に関する。

【背景技術】

【0002】

一般的に、ビデオなどの映像データ（動画像）は、静止画像に比べて、その時の様子やその瞬間に至る前後の様子を連続的に記録することができるため、被写体や事象を長時間観察する際に有効である。

【0003】

また、このような動画像の再生技術に関して、例えば下記特許文献１には、記録中の動画像の所定時間間隔毎にユーザ入力に基づくお気に入り度合いを設定し、また、設定したお気に入り度合いの変化を示すグラフを動画像と共に表示することで、お気に入り度合いが対応付けられている部分を抽出して再生することができる情報処理装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−２１４９８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、長時間の動画像から所望のポイント（シーン）を探す場合、動画像の最初のシーンから再生して全ての映像を注視して観察しなければならず、多くの時間と労力がかかっていた。また、従来技術では、ユーザ入力に基づいて設定されたお気に入り度合いや盛り上がりシーン検出等により所望するシーンを抽出して再生することが可能であるが、動画像の画像解析結果以外からのデータ（例えばセンサデータ）も対応付けて再生ポイントを検索することまでは何ら言及されていない。

【0006】

そこで、本開示では、動画像に関連する画像解析以外のデータのグラフを用いて動画像の検索を支援することが可能な情報処理システム、情報処理方法、および記録媒体を提案する。

【課題を解決するための手段】

【0007】

本開示によれば、動画像データを取得する動画像データ取得部と、前記動画像データに関連するセンサデータ、および前記動画像データの撮影時刻に対応する時系列データを受信する通信部と、前記動画像データの画像解析を行い、画像解析結果データを生成する画像信号処理部と、前記動画像データと、前記センサデータ、前記時系列データ、および前記画像解析結果データのうち少なくとも２つのデータのグラフとを含むインタフェースを生成する制御部と、を備える、情報処理システムを提案する。

【0008】

本開示によれば、プロセッサが、動画像データを取得することと、前記動画像データに関連するセンサデータ、および前記動画像データの撮影時刻に対応する時系列データを受信することと、前記動画像データの画像解析を行い、画像解析結果データを生成することと、前記動画像データと、前記センサデータ、前記時系列データ、および前記画像解析結果データのうち少なくとも２つのデータのグラフとを含むインタフェースを生成すること、を含む、情報処理方法を提案する。

【0009】

本開示によれば、コンピュータを、動画像データを取得する動画像データ取得部と、前記動画像データに関連するセンサデータ、および前記動画像データの撮影時刻に対応する時系列データを受信する通信部と、前記動画像データの画像解析を行い、画像解析結果データを生成する画像信号処理部と、前記動画像データと、前記センサデータ、前記時系列データ、および前記画像解析結果データのうち少なくとも２つのデータのグラフとを含むインタフェースを生成する制御部と、として機能させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体を提案する。

【発明の効果】

【0010】

以上説明したように本開示によれば、動画像に関連する画像解析以外のデータのグラフを用いて動画像の検索を支援することが可能となる。

【0011】

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

【図面の簡単な説明】

【0012】

【図1】本開示の一実施形態による動画像検索システムの概要について説明する図である。

【図2】第１の実施形態による動画像検索システムの概要を説明する図である。

【図3】第１の実施形態による情報処理装置の構成例を示すブロック図である。

【図4】第１の実施形態による録画処理を示すフローチャートである。

【図5】第１の実施形態による再生処理を示すフローチャートである。

【図6】第１の実施形態による表示画面例を示す図である。

【図7】第１の実施形態によるマーキング処理を示すフローチャートである。

【図8】第１の実施形態による応用例について説明する図である。

【図9】第２の実施形態による動画像検索システムの概要を説明する図である。

【図10】第２の実施形態による情報処理装置の構成例を示すブロック図である。

【図11】第２の実施形態によるデータ選択画面の一例を示す図である。

【図12】第２の実施形態による表示画面の一例を示す図である。

【図13】第３の実施形態による動画像検索システムの概要を説明する図である。

【図14】第３の実施形態による録画処理を示すフローチャートである。

【図15】第３の実施形態による再生処理を示すフローチャートである。

【図16】第３の実施形態による表示画面例を示す図である。

【発明を実施するための形態】

【0013】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0014】

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による動画像検索システムの概要
２．各実施形態
２−１．第１の実施形態
（２−１−１．構成）
（２−１−２．動作処理）
（２−１−３．応用例）
２−２．第２の実施形態
２−３．第３の実施形態
３．まとめ

【0015】

＜＜１．本開示の一実施形態による動画像検索システムの概要＞＞
図１は、本開示の一実施形態による動画像検索システムの概要について説明する図である。図１に示すように、本実施形態による動画像検索システムは、ユーザが情報処理装置１０を用いて、例えば監視カメラ（図２に示すカメラ１１ａ参照）により撮像された映像を確認する際における映像検索の支援を可能とする。

【0016】

近年、防犯上の観点から、一般家庭においても監視カメラが普及し、自宅の玄関やベランダ等に設置されている。しかしながら監視カメラの映像は十数時間から数百時間に及ぶ場合があり、このような長い映像を最初から最後まで確認して異常を発見することは非常に困難である。

【0017】

そこで、本実施形態では、例えばユーザが監視カメラの映像のような長時間の動画像から空き巣が家に侵入したシーン等の特定の再生ポイント（すなわち撮影時刻）を探す際に、撮像画像に関連するデータのグラフ（撮影時刻に対応する所定時間間隔毎のデータ変化を示す図表）を併せて表示し、ユーザの映像検索の負担を軽減させる。

【0018】

より具体的には、例えば図１に示すように、情報処理装置１０は、動画像データ２１１と共に、撮影時におけるドアセンサデータ、撮影時刻に対応する犯罪発生頻度データ、および動画像データ２１１の画像解析結果に基づく特定の不審な動作の回数を示す各グラフ２１２を表示する。動画像データ２１１は、例えばドア付近に設置された監視カメラの映像である。監視カメラ（カメラ１１ａ）は、ドア付近やドアの前の通路等を撮影し、通路やドアを出入りする人物を長時間撮影することが可能である。また、ドアセンサデータは、ドアの開閉を検知するセンサにより検出されたデータである。また、撮影時刻に対応する犯罪発生頻度データとは、例えば撮影時刻（曜日、時刻、季節等のパターンであってもよい）に対応する、撮影場所付近（例えば地域単位）の空き巣発生頻度データである。かかる空き巣発生頻度データは、クラウド上の専用サーバから取得され得る。また、画像解析結果に基づく特定の不審な動作とは、例えば辺りを見回す動作である。

【0019】

上記グラフの時間軸はいずれも動画像の撮影時刻（撮影開始から撮影終了）に対応し、ユーザはグラフ２１２を見るだけで直感的にどの時刻辺りで異常が発生しているかを容易に把握し、動画像の再生ポイントを指定することができる。

【0020】

また、情報処理装置１０は、図１に示すように、上記各グラフの時間軸方向の軸の長さに対応する、所望の時刻の画像を指定するためのシークバー２１５および各データに基づくマーキング結果を示すマーク結果バー２１４を併せて表示し得る。マーク結果バー２１４では、各データがいずれも所定の条件を満たす時刻にマーキングが行われている。例えば、ドアが開閉し、犯罪発生頻度が所定の閾値を上回り、かつ撮像画像に写る被写体の辺りを見回す動作の回数が所定の閾値を上回る時刻にマーキングが行われる。このような時刻の映像には、不審な人物が映っている可能性が高いため、ユーザはシークバー２１５を操作して当該時刻の映像を再生し、異常が発生しているか否かを容易に確認することができる。

【0021】

以上説明した本開示の一実施形態による動画像検索システムの具体的な構成例および動作処理について、複数の実施形態を用いて以下具体的に説明する。

【0022】

＜＜２．各実施形態＞＞
＜２−１．第１の実施形態＞
まず、図２〜図７を参照して本開示の第１の実施形態による動画像検索システムについて説明する。本実施形態による動画像検索システムは、情報処理装置１０ａにより実行される。

【0023】

図２は、第１の実施形態による動画像検索システムの概要を説明する図である。図２に示すように、本実施形態による情報処理装置１０ａは、ドア付近を撮像するカメラ１１ａから撮像された動画像データを取得し、ドアの開閉を検知するセンサ１２ａから検知されたドア開閉センサデータを取得し、クラウド１５ａから犯罪統計ＤＢ（データベース）に格納された空き巣発生頻度データを取得する。

【0024】

情報処理装置１０ａは、録画処理として、カメラ１１ａにより撮像された動画像データと、撮影時刻に対応する空き巣発生頻度データ、撮影時に取得したドア開閉センサデータ、および動画像データの画像解析結果とを記憶する。また、情報処理装置１０ａは、再生処理として、動画像データと共に、空き巣発生頻度データ、ドア開閉センサデータ、および画像解析結果に基づく各グラフを表示することで、ユーザの映像検索を支援することが可能となる。すなわち、例えば空き巣発生頻度が高く、かつドア開閉が検知され、さらに画像解析結果により被写体の不審な動きが検出されている時刻の映像には、侵入者が侵入している瞬間等が映っている可能性が高いため、ユーザは長時間の全ての映像を確認することなく、所望のシーンを検索することができる。特に画像解析以外のセンサデータや時系列データが動画像データの時間軸に対応するグラフで表示されることで、ユーザは所望のシーンの時間軸上のポイント（すなわち時刻）を直感的に把握することができる。

【0025】

（２−１−１．構成）
続いて、上述した第１の実施形態による情報処理装置１０ａの構成について、図３を参照して説明する。図３は、第１の実施形態による情報処理装置１０ａの構成例を示すブロック図である。

【0026】

図３に示すように、本実施形態による情報処理装置１０ａは、制御部１０１と、画像信号処理部１０２と、入力デバイス１０３と、入力信号処理部１０４と、カレンダー・タイマー部１０５と、記憶部１０６と、外部記憶部１０７と、表示処理部１０８と、表示デバイス１０９と、Ｉ／Ｆ（interface）１１０と、ＮＷ（network）Ｉ／Ｆ１１１とを含む。ここで、本実施形態による情報処理装置１０ａは、図２に示すようなＰＣ（パーソナルコンピュータ）により実現されてもよいし、スマートフォン、携帯電話端末、タブレット端末、ウェアラブル装置、ゲーム機、音楽プレーヤー等により実現されてもよい。

【0027】

制御部１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０ａ内の動作全般を制御する。制御部１０１は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。

【0028】

また、本実施形態による制御部１０１は、記憶制御部１０１１、マーキング部１０１２、インタフェース生成部１０１３としても機能する。記憶制御部１０１１は、カメラ１１ａにより撮像された動画像データと、撮影時刻に対応する空き巣発生頻度データ、撮影時に取得したドア開閉センサデータ、および動画像データの画像解析結果とを記憶部１０６または外部記憶部１０７に記憶するよう制御する。なおここでは、センサ１２ａから取得するセンサデータとしてドア開閉センサのセンサデータ、また、クラウド１５ａから取得する撮影時刻に対応する時系列データとして犯罪統計データ（例えば空き巣発生頻度データ）、画像解析結果データとして辺りを見回す動作回数データを一例として用いる。

【0029】

また、マーキング部１０１２は、撮影場所の撮影時刻に対応する所定の事象の時系列データ（例えば自宅周辺地域における平日の空き巣発生頻度データ等）、撮影時に取得したセンサデータ（例えばドア開閉センサデータ）、および動画像データの画像解析結果データの少なくともいずれかを含む複数のデータに基づいて、所定時刻にマーキングを行う。マーキングは、対象となる複数のデータのいずれにも所定の条件を満たすことを示すフラグがセットされている時刻に行われ得る。フラグ処理については、図４のフローチャートを参照して後述する。また、マーキング部１０１２は、ユーザにより選択された複数のデータに基づいてマーキングを行ってもよい。

【0030】

また、インタフェース生成部１０１３は、表示デバイス１０９に表示する各種インタフェース（すなわち表示画面）を生成する画面生成部として機能する。具体的には、例えばインタフェース生成部１０１３は、センサデータ、時系列データ、および画像解析結果データのうち少なくともいずれかをマーキング処理に用いるデータとして選択するためのユーザインタフェースも生成する。また、インタフェース生成部１０１３は、動画像データと、センサデータ、時系列データ、および画像解析結果データのうち少なくともいずれかを含む複数のデータのグラフとを含むインタフェースを生成する。当該インタフェースに表示されるグラフは、マーキング処理に用いるデータとして選択されたグラフのみであってもよいし、選択有無に関わらず全てのデータのグラフであってもよい。また、インタフェース生成部１０１３は、上記グラフの時間軸方向の軸の長さに対応する、所望の時刻の画像を指定するためのシークバーおよび、マーキングした時刻を示すためマーク結果バーをさらに含むインタフェースを生成し得る。

【0031】

記憶部１０６は、制御部１０１の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。

【0032】

外部記憶部１０７は、例えばカメラ１１ａにより撮像された画像と、センサデータ、時系列データ、および画像解析結果等を格納するＨＤＤ（Hard Disc Drive）、またはＳＳＤ（Solid State Drive）等の記憶媒体である。

【0033】

画像信号処理部１０２は、カメラ１１により撮像された撮像画像の各種処理を行い、撮像画像を整える。例えば画像信号処理部１０２は、撮像画像の変換、調整、ノイズ除去、エッジ検出（画像の強調）等を行う。カメラ１１aからの撮像画像データ（画像信号）は、有線／無線によりＩ／Ｆ１１０を介して入力される。また、画像信号処理部１０２は、整えた撮像画像に対して画像解析を行い、被写体の所定の動作を検出し、所定時間間隔毎の所定動作の回数等を画像解析結果データとして制御部１０１に出力する。

【0034】

入力デバイス１０３は、キーボード、マウス、タッチパネル、スイッチ、またはボタン等により実現され、ユーザによる操作入力を検出し、検出した入力信号を入力信号処理部１０４に出力する。また、入力デバイス１０３は、マイクロホンにより実現されてもよい。

【0035】

入力信号処理部１０４は、入力デバイス１０３から入力された入力信号や、Ｉ／Ｆ１１０を介して入力されたセンサ１２ａのセンサデータ、ＮＷ
Ｉ／Ｆ１１１を介して入力されたクラウド１５ａの時系列データに対する各種入力信号処理を行い、整えた入力情報を制御部１０１に出力する。例えば入力信号処理部１０４は、入力信号の変換（例えば復号、復元）、ノイズ除去、波形処理等を行う。

【0036】

カレンダー・タイマー部１０５は、時間の計測を行い、計時情報を制御部１０１に出力する。

【0037】

表示処理部１０８は、制御部１０１から出力された情報を表示デバイス１０９に出力するための各種処理を行う。例えば表示処理部１０８は、出力情報の変換、輝度調整等を行い得る。

【0038】

表示デバイス１０９は、出力装置の一例であって、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、有機ＥＬ（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ装置などの表示装置により実現される。本実施形態による表示デバイス１０９は、制御部１０１の制御にしたがって、インタフェース生成部１０１３により生成され、表示処理部１０８で調整されたインタフェースを画面に表示する。

【0039】

Ｉ／Ｆ１１０は、カメラ１１ａおよびセンサ１２ａからのデータを、有線／無線により取得するデータ取得部として機能する。また、Ｉ／Ｆ１１０は、撮像画像が記録された記録媒体からデータを読み取ることでデータを取得してもよい。また、ＮＷ
Ｉ／Ｆ１１１は、ネットワーク（不図示）を介してクラウド１５ａからのデータを有線／無線により取得する受信部として機能する。また、ＮＷ Ｉ／Ｆ１１１は、カメラ１１ａおよびセンサ１２ａからのデータをネットワークを介して、若しくは近距離通信により受信してもよい。

【0040】

以上、本実施形態による情報処理装置１０ａの構成について具体的に説明した。なお情報処理装置１０ａの構成は図３に示す例に限定されない。例えばマーキング部１０１２を有してなくともよく、その場合は再生時にマーク結果バーが表示されないが、センサデータや時系列データのグラフを提示することで映像検索を支援し得る。また、入力デバイス１０３、および表示デバイス１０９が別体であって、情報処理装置１０ａと有線／無線により接続される構成であってもよい。また、画像信号処理部１０２による画像解析機能を制御部１０１に持たせてもよいし、制御部１０１によるインタフェース生成機能を表示処理部１０８に持たせてもよい。

【0041】

（２−１−２．動作処理）
続いて、上記構成を有する情報処理装置１０ａの動作処理について図４〜図７を参照して具体的に説明する。

【0042】

図４は、本実施形態による録画処理を示すフローチャートである。図４に示すように、情報処理装置１０ａは、カメラ１１ａから継続的に撮像画像データを取得する（ステップＳ１０３）。

【0043】

次に、情報処理装置１０ａは、クラウド１５ａから撮影時刻に対応する犯罪統計データ（例えば空き巣発生頻度データ）を取得する（ステップＳ１０６）。撮影時刻に対応する犯罪統計データとは、例えば撮影場所周辺地域における撮影当日の曜日、季節、撮影時刻に応じた統計データである。情報処理装置１０ａは、例えば７月の平日における所定時間間隔毎の犯罪統計データを予め取得して外部記憶部１０７に記憶し、必要なデータを適宜取り出すようにしてもよい。

【0044】

次いで、情報処理装置１０ａの制御部１０１は、時間軸上の対象ポイントにおける犯罪統計データで示される値を、予め設定した所定の閾値C thと比較する（ステップＳ１０９）。ここで、時間軸上の対象ポイントとは、録画対象となる動画像の撮影時刻であって、例えば撮像画像データをリアルタイムに記憶（すなわち録画）する場合は、現在時刻となる。制御部１０１は、時間軸上の所定ポイント毎（すなわち所定時間間隔毎）にステップＳ１０９〜Ｓ１３９の処理を繰り返し、撮像画像データに関連する犯罪統計データやセンサデータ等のフラグ処理を行う。

【0045】

次に、犯罪統計データで示される値が閾値C thを上回る場合（ステップＳ１０９／Ｙｅｓ）、制御部１０１は、対象ポイントにおいて犯罪統計データが条件を満たすことを示すフラグCをTrueにセットする（ステップＳ１１２）。

【0046】

一方、犯罪統計データで示される値が閾値C thを上回らない場合（ステップＳ１０９／Ｎｏ）、制御部１０１は、対象ポイントにおいて犯罪統計データが条件を満たすことを示すフラグCをFalseにセットする（ステップＳ１１５）。

【0047】

次いで、制御部１０１は、画像信号処理部１０２による撮像画像データの画像解析結果に基づき、被写体が辺りを見回す動作の頻度Gを算出し（ステップＳ１１８）、時間軸上の同対象ポイントにおける辺りを見回す動作の頻度Gを、予め設定した所定の閾値G thと比較する（ステップＳ１２１）。

【0048】

次に、辺りを見回す動作の頻度Gが閾値G thを上回る場合（ステップＳ１１８／Ｙｅｓ）、制御部１０１は、同対象ポイントにおいて被写体が辺りを見回す動作（画像解析結果データの一例）が条件を満たすことを示すフラグGをTrueにセットする（ステップＳ１２４）。

【0049】

一方、辺りを見回す動作の頻度Gが閾値G thを上回らない場合（ステップＳ１２１／Ｎｏ）、制御部１０１は、同対象ポイントにおいて被写体が辺りを見回す動作が条件を満たすことを示すフラグGをFalseにセットする（ステップＳ１２７）。

【0050】

次いで、制御部１０１は、ドア開閉を検知するセンサ１２ａから開閉検知データを取得した場合（ステップＳ１３０／Ｙｅｓ）、同対象ポイントにおいてドア開閉センサデータが条件を満たすことを示すフラグSをTrueにセットする（ステップＳ１３３）。

【0051】

一方、制御部１０１は、ドア開閉を検知するセンサ１２ａから開閉検知データを取得しなかった場合（ステップＳ１３０／Ｎｏ）、同対象ポイントにおいてドア開閉センサデータが条件を満たすことを示すフラグSをFalseにセットする（ステップＳ１３６）。

【0052】

そして、制御部１０１は、記憶制御部１０１１により、カメラ１１ａから取得した撮像画像データと、クラウド１５ａから取得した時系列データの一例である犯罪統計データと、画像解析結果データと、ドア開閉センサデータとを外部記憶部１０７に記憶するよう制御する（ステップＳ１３９）。また、犯罪統計データ、画像解析結果データ、およびセンサデータに基づくフラグ処理の結果は、各データに紐付けられていてもよいし、フラグデータとして別途記憶されていてもよい。

【0053】

以上説明したステップＳ１０６〜Ｓ１３９は、録画終了まで繰り返される（ステップＳ１４２）。本実施形態では、カメラ１１ａにより取得された撮影画像を記録する際に、記録対象の撮影画像の撮影時刻ポイントにおける関連データ（センサデータ、画像解析結果データ、および時系列データ）のフラグ処理（対象ポイントにおいて当該データが所定の条件を満たすか否か）を行っている。フラグ処理に用いるデータの種類は上記例に限定されず、さらに様々なセンサデータや時系列データを用いてもよい。また、多数のデータからユーザが予め選択したデータを記憶するようにしてもよい。

【0054】

以上、第１の実施形態による録画処理について具体的に説明した。続いて、図５を参照して、録画した動画像データの再生時の処理について説明する。

【0055】

図５は、本実施形態による再生処理を示すフローチャートである。図５に示すように、まず、情報処理装置１０ａの制御部１０１は、入力デバイス１０３からのユーザ操作に基づく再生指示に応じて、記憶された撮像画像データ（具体的には、例えば録画済みの監視カメラ映像）を取得する（ステップＳ１５３）。

【0056】

次に、制御部１０１は、マーキング処理に用いるデータをユーザに選択させるためのデータ選択画面を表示デバイス１０９に表示させるよう制御する（ステップＳ１５６）。より具体的には、制御部１０１は、インタフェース生成部１０１３により生成された選択画面を表示処理部１０８に出力し、表示デバイス１０９に表示させる。かかる選択画面では、例えばセンサデータ、画像解析データ、および時系列データのうち少なくともいずれかを含む複数のデータを選択し得る。

【0057】

次いで、制御部１０１は、マーキング部１０１２により、選択されたデータに基づくマーキング処理を行う（ステップＳ１５９）。マーキング処理については、図６を参照して後述する。

【0058】

次に、制御部１０１は、撮像画像データ、選択されたデータのグラフ、およびマーク結果を含む画面をインタフェース生成部１０１３により生成し、表示デバイス１０９に表示させる（ステップＳ１６２）。ここで、表示画面の一例を図６に示す。

【0059】

図６は、本実施形態による表示画面例を示す図である。図示された例では、画面２１０に、動画像データ２１１と、ドアセンサデータ、犯罪発生頻度データ、および辺りを見回す動作回数を示す各グラフ２１２と、マーキング結果を示すマーク結果バー２１４と、画像再生位置を指定するシークバー２１５とが表示されている。シークバー２１５およびマーク結果バー２１４は、各グラフ２１２の時間軸方向の軸の長さに対応するよう表示されている。また、画面２１０には、各データのグラフ２１２に対応する位置にデータ選択用のチェックボックス２１３（選択画面の一例）が表示されている。このように、制御部１０１は、全データのグラフ２１２と、チェックボックス２１３で選択されたデータを採用してマークした結果を示すマーク結果バー２１４とを表示することも可能である。

【0060】

これによりユーザは、長時間に及ぶ監視カメラの映像を全て確認することなく、グラフ２１２や選択したデータを用いたマーク結果バー２１４を参照して、異常が発生した時刻（例えば侵入者が入る瞬間）を把握することができる。

【0061】

そして、制御部１０１は、ユーザによるシークバー２１５の操作に応じて、指示された再生ポイントの撮像画像データを再生する（ステップＳ１６５）。すなわち、ユーザは、グラフ２１２や選択したデータを用いたマーク結果バー２１４を参照して、異常が発生した可能性の高い時刻を把握し、シークバー２１５を操作してその時刻前後を再生することができる。このように、本実施形態では、ユーザによる映像検索を支援することが可能となる。

【0062】

次いで、上記Ｓ１５９に示すマーキング処理について図７を参照して具体的に説明する。図７は、本実施形態によるマーキング処理を示すフローチャートである。図７に示すように、まず、情報処理装置１０ａのマーキング部１０１２は、ユーザによりドアセンサデータが選択されているか否かを判断し（ステップＳ１７３）、選択されている場合はS_Enable = Trueにセットし（ステップＳ１７５）、選択されていない場合はS_Enable = Falseにセットする（ステップＳ１７８）。

【0063】

次に、マーキング部１０１２は、ユーザにより犯罪統計データが選択されているか否かを判断し（ステップＳ１８１）、選択されている場合はC_Enable = Trueにセットし（ステップＳ１８４）、選択されていない場合はC_Enable = Falseにセットする（ステップＳ１８７）。

【0064】

次いで、マーキング部１０１２は、ユーザにより辺りを見回す動作が選択されているか否かを判断し（ステップＳ１９０）、選択されている場合はG_Enable = Trueにセットし（ステップＳ１９３）、選択されていない場合はG_Enable = Falseにセットする（ステップＳ１９６）。

【0065】

そして、マーキング部１０１２は、論理積｛(S && S_Enable)&&(C && C_Enable)&&(G
&& G_Enable)}を求め、選択されたデータのフラグ全てがTrue にセットされている時刻をマーキングする（ステップＳ１９９）。

【0066】

（２−１−３．応用例）
以上説明した第１の実施形態は、監視カメラの映像から空き巣侵入等の異常があった部分を検索する際の支援を想定しているため、ドア開閉センサデータ、犯罪統計データ、および被写体の辺りを見回す動作解析結果データを用いているが、本実施形態はこれに限定されない。例えば本実施形態による動画像検索システムは、他の状況においても、所定の動画像の検索支援を行うことが可能である。以下、図８を参照して説明する。

【0067】

図８は、第１の実施形態による応用例について説明する図である。図８に示すように、例えば講演や講義等が行われている際に聴衆を据え置きカメラ等のカメラ１１ｂで撮像した動画像データから所望の再生ポイントを検索する際にも、本実施形態による動画像検索システムを用いることが可能である。

【0068】

この場合、動画像検索システムを実行する情報処理装置１０ｂは、カメラ１１ｂから聴衆を撮像した映像（動画像データ）を取得し、また、聴衆に装着されているIoT（Internet of Things）センサからセンサデータを受信する。センサデータは、クラウド１５ｂを介して情報処理装置１０ｂに取得されてもよい。かかるセンサデータは、例えば脈拍、体温、発汗量等の生体センサデータであってもよい。

【0069】

また、情報処理装置１０ｂは、カメラ１１ｂから取得した動画像データの画像解析を行い、撮像画像から抽出した顔画像に基づいて聴衆の笑顔度や顔の下向き度を算出する。聴衆の顔が略下方向を向いている場合、居眠りをしたりスマートフォンを操作していて講義や講演に全く興味が無いことが明確に分かるため、講師の評価として有用に用い得る。

【0070】

そして、情報処理装置１０ｂは、図８に示すように、動画像データと、画像解析結果データ（ここでは一例として笑顔度、顔の下向き度）およびセンサデータの各グラフと、各グラフの時間軸方向の軸の長さに対応する、再生操作を行うためのシークバーとを含む画面２２０を生成し、表示する。これによりユーザは、笑顔度、顔の下向き度、聴衆の脈拍等のセンサデータを参照することで、長時間の動画像データから所望のシーンを容易に検索することが可能となる。

【0071】

＜２−２．第２の実施形態＞
続いて、第２の実施形態について図９〜図１２を参照して具体的に説明する。本実施形態では、オリンピックやサッカー、野球、テニス等のスポーツ中継のコンテンツを視聴する際に、長時間に及ぶ試合全てを見る時間は無いが、ニュース番組のダイジェストでは物足りないといった場合におけるコンテンツの再生シーンの検索支援を行う。

【0072】

図９は、第２の実施形態による動画像検索システムの概要を説明する図である。図９に示すように、本実施形態による情報処理装置１０ｃは、表示装置１３からコンテンツデータ（映像および音声を含む）を取得し、センサ１２ｃからコンテンツに関連するセンサデータを取得し、クラウド１５ｃからコンテンツに関連する時系列データを取得する。

【0073】

ここで、センサ１２ｃは、例えば表示装置１３でコンテンツを視聴する人が座るソファーに設けられる振動センサが想定される。また、センサ１２ｃは、ユーザの家のソファーに設けられるセンサに限られず、例えば友人の家で同コンテンツが視聴される場合に友人が座るソファーに設けられたセンサであってもよい。情報処理装置１０ｃは、ネットワークを介して友人の家のソファーに設けられたセンサからのセンサデータを取得し得る。一般的に、見所となるハイライトシーンでは、見ている人は何らかの身体的な反応をし、飛び跳ねたり、力を入れてガッツポーズを取ったりするため、ソファーに設けられた振動センサにより、視聴中に盛り上がった際の振動を検知することが可能となる。

【0074】

クラウド１５ｃから取得する時系列データとは、例えば同コンテンツ放送時にインターネット上の掲示板にリアルタイムで書き込まれた同コンテンツについてのコメントの数やＳＮＳ（Social Networking Service）に投稿された同コンテンツについてのコメント数の時系列データである。または、時系列データは、視聴率調査会社の提供する視聴率データや、動画サイトにおいて同コンテンツの各再生シーンに対応して書き込まれた動画コメントの数の時系列データであってもよい。若しくは、コンテンツがスポーツ中継の場合における各選手やチームのスタッツ等の時系列データであってもよい。

【0075】

また、コンテンツの画像／音声解析結果データは、例えば画像／音声解析により得られる、盛り上がり度、歓声の大きさ、テロップの文字解析（「ゴール！」等）のデータ等である。

【0076】

情報処理装置１０ｂは、記憶処理として、スポーツ中継等のコンテンツと、コンテンツ放送時に対応するクラウド１５ｃからの時系列データ（ＳＮＳのコメント数データ等）、コンテンツ放送時にセンサ１２ｃにより検知されたセンサデータ（例えばソファーの振動データ等）、およびコンテンツの画像／音声解析結果（例えば歓声の大きさ等）とを記憶する。また、情報処理装置１０ｃは、再生処理として、コンテンツと共に、時系列データ、センサデータ、および画像解析結果データに基づく各グラフを表示することで、ユーザの映像検索を支援することが可能となる。すなわち、例えば歓声が大きく、かつソファーの振動が検知され、さらにＳＮＳでのコメント数も多い時刻の映像には、多くの視聴者が注目したプレーや出来事が映っている可能性が高いため、ユーザは長時間の全ての映像を確認することなく、所望のシーンを検索することができる。特に画像解析以外のセンサデータや時系列データが動画像データの時間軸に対応するグラフで表示されることで、ユーザは所望のシーンの時間軸上のポイント（すなわち時刻）を直感的に把握することができる。

【0077】

続いて、上述した第２の実施形態による情報処理装置１０ｃの構成について、図１０を参照して説明する。図１０は、本実施形態による情報処理装置１０ｃの構成例を示すブロック図である。図１０に示すように、本実施形態による情報処理装置１０ｃは、制御部１０１と、画像信号処理部１０２と、入力デバイス１０３と、入力信号処理部１０４と、カレンダー・タイマー部１０５と、記憶部１０６と、外部記憶部１０７と、表示処理部１０８と、表示デバイス１０９と、Ｉ／Ｆ（interface）１１０と、ＮＷ（network）Ｉ／Ｆ１１１と、コンテンツ取得部１１２と、音声信号処理部１１３とを含む。

【0078】

コンテンツ取得部１１２は、表示装置１３で表示される放送番組やインターネット番組等のコンテンツ（映像音声データおよびメタデータを含む）を取得する。放送番組等のコンテンツは、表示装置１３（テレビ受像機）から取得してもよいし、情報処理装置１０ｃのコンテンツ取得部１１２がテレビ受像機として機能することで取得してもよい。コンテンツ取得部１１２により取得されたコンテンツは、音声信号処理部１１３において音声解析が行われ、画像信号処理部１０２で画像解析が行われる。音声信号処理部１１３では、例えばコンテンツに含まれる音声データの解析により歓声の大きさを抽出する。また、画像信号処理部１０２では、例えばコンテンツに含まれる動画像データ（すなわち映像データ）の解析により、盛り上がりが推定される被写体（ここでは選手）の動く量や、特定の動作（サッカーの際はシュート、コーナーキック等、テニスの場合はボレー、スマッシュ等）を抽出したり、テロップの文字解析を行う。

【0079】

このように、第２の実施形態では、コンテンツ取得部１１２によりコンテンツを取得し、また、音声信号処理部１１３によりコンテンツの音声解析を行う点が第１の実施形態と異なる。

【0080】

また、情報処理装置１０ｃの制御部１０１は、インタフェース生成部１０１３により生成した選択画面を表示デバイス１０９に表示させる。かかる選択画面では、例えばセンサデータ、画像解析データ、および時系列データのうち少なくともいずれかを含む複数のデータを選択し得る。ここで、選択画面の一例を図１１に示す。

【0081】

図１１は、第２の実施形態によるデータ選択画面の一例を示す図である。図示された例では、画面２３０に、画像解析結果データの選択画面２３１と、センサデータの選択画面２３２と、クラウドデータの選択画面２３３とが表示されている。いずれもプルダウン式の選択メニューであって、例えば画像解析結果データの選択画面２３１では、盛り上がり度、歓声の大きさ、およびテロップ解析のいずれかの画像解析結果データを選択できる。また、センサデータの選択画面２３２では、家（ユーザの自宅）のソファーに設けられた振動センサ、友人Ａのソファーに設けられた振動センサ、および友人Ｂに装着された運動センサのいずれかのセンサデータを選択できる。また、クラウドデータの選択画面２３３では、ＳＮＳコメント数、視聴率データ、および動画サイトコメント数のいずれかのクラウドデータを選択できる。

【0082】

そして、制御部１０１は、選択された各データのグラフと、コンテンツ再生画面（動画像データ）とを含む画面をインタフェース生成部１０１３により生成し、表示デバイス１０９に表示させる。また、制御部１０１は、選択された各データのグラフに基づいてマーキング部１０１２により行ったマーク結果を示すマーク結果バーをさらに含む画面をインタフェース生成部１０１３により生成し、表示デバイス１０９に表示させてもよい。ここで、表示画面の一例を図１２に示す。

【0083】

図１２は、本実施形態による表示画面例を示す図である。図示された例では、画面２４０に、動画像データ２４１と、選択された画像解析データ、センサデータ、およびクラウドデータを示す各グラフ２４２と、マーキング結果を示すマーク結果バー２４４と、画像再生位置を指定するシークバー２４５とが表示されている。シークバー２４５およびマーク結果バー２４４は、各グラフ２４２の時間軸方向の軸の長さに対応するよう表示されている。また、画面２４０には、グラフ表示、およびマーキング処理に採用するデータの選択を行い得る選択画面２４３が表示されている。

【0084】

これによりユーザは、長時間に及ぶスポーツ中継の録画画像を全て確認することなく、選択したデータのグラフ２４２や、マーク結果バー２４４を参照して、見所のシーンが位置する時間軸上のポイント（すなわち時刻）を把握することができる。

【0085】

そして、制御部１０１は、ユーザによるシークバー２４５の操作に応じて、指示されたポイントの録画画像データを再生する。このように、本実施形態では、ユーザによる映像検索を支援することが可能となる。

【0086】

以上、第２の実施形態について説明した。なおここではコンテンツ（映像音声データ）の一例としてスポーツ中継の場合について説明したが、本実施形態の映像検索の支援対象となるコンテンツの内容は当然これに限定されず、例えばオリンピックの開会式・閉会式等、他の放送番組であってもよい。

【0087】

＜２−３．第３の実施形態＞
次に、第３の実施形態について図１３〜図１６を参照して具体的に説明する。本実施形態では、対象を長時間撮像して検証する際における映像検索の支援を行う。通常、対象を検証実験する際、対象を長時間撮像した映像を振り返って対象の状態変化を確認することが有効な方法になるが、長時間の映像を全て最初から見ることは大変な労力となる。このような場合にも、本実施形態による動画像検索システムにより、撮像画像の解析結果の他、撮像画像に関連するセンサデータや撮像時刻に対応する時系列データのグラフを表示することで、映像検索を支援することが可能となる。

【0088】

図１３は、第３の実施形態による動画像検索システムの概要を説明する図である。図示された例では、例えば、「猫が顔を洗うと雨が降る」という言い伝えを検証する場合を想定する。この場合、情報処理装置１０ｄは、カメラ１１ｄから猫を撮像した動画像データを取得する。また、情報処理装置１０ｄは、各種センサデータとして、猫に装着されたセンサ１２ｄから猫の動きを示すセンサデータを取得し、猫の近くに置かれた気圧センサ１６から気圧データを取得し、実験場所の屋外に置かれた降雨センサ１７から降雨データを取得する。また、情報処理装置１０ｄは、クラウド１５ｄから実験に関連する時系列データとして例えば気象予報データ（具体的には降水確率）を取得する。

【0089】

情報処理装置１０ｄは、上記取得した各種データに基づいて、撮像した動画像データ（すなわち検証用映像記録）を再生する際に、撮影時刻に対応するセンサデータや降水確率のグラフを表示し、ユーザによる検証映像の検索を支援する。これにより、ユーザは検証用映像記録を全て見ることなく、撮影時刻に対応するセンサデータ等のグラフを映像のセンサインデックスとして用いて、グラフにより示される値が条件を満たす時刻の映像を中心に検証を行うことで、検証に関する時間を短縮することが可能となる。

【0090】

なおこのような第３の実施形態による情報処理装置１０ｄの構成は、図３を参照して説明した第１の実施形態による情報処理装置１０ｃの構成と同様であるため、ここでの具体的な説明は省略する。

【0091】

続いて、本実施形態による動画像検索システムの動作処理について図１４〜図１５を参照して説明する。

【0092】

図１４は、本実施形態による録画処理を示すフローチャートである。図１４に示すように、まず、情報処理装置１０ｄは、カメラ１１ｄから撮像画像データを取得する（ステップＳ２０３）。

【0093】

次に、情報処理装置１０ｄは、猫の動きを検知するセンサ１２ｄ（運動センサ）から運動データを取得する（ステップＳ２０６）。

【0094】

次いで、情報処理装置１０ｄは、気圧センサ１６から気圧データを取得する（ステップＳ２０９）。

【0095】

次に、情報処理装置１０ｄは、降雨センサ１７から降雨データを取得する（ステップＳ２１２）。

【0096】

次いで、情報処理装置１０ｄは、クラウド１５ｄから降水確率データを取得する（ステップＳ２１５）。

【0097】

そして、情報処理装置１０ｄは、撮像画像データに、運動データ、気圧データ、降雨データ、および降水確率データを紐付けて記憶する（ステップＳ２１８）。

【0098】

以上説明したステップＳ２０３〜Ｓ２２１は、録画終了まで繰り返される（ステップＳ２２１）。なお上記ステップＳ２０３〜Ｓ２１５の処理は図示した順序に限定されず、並行して行われてもよい。また、情報処理装置１０ｄは、録画の開始や停止を操作するための操作画面を表示デバイス１０９に表示してもよい。また、かかる操作画面には、録画中の撮像画像と共に、取得した運動データ、気圧データ、降雨データ、および降水確率データのグラフを表示するようにしてもよい。

【0099】

以上、第３の実施形態による録画処理について具体的に説明した。続いて、図１５を参照して、録画した動画像データの再生時の処理について説明する。

【0100】

図１５は、本実施形態による再生処理を示すフローチャートである。図１５に示すように、まず、情報処理装置１０ｄは、入力デバイス１０３からのユーザ操作に基づく再生指示に応じて、記憶された撮像画像データ（具体的には、例えば録画済みの検証用映像）を取得する（ステップＳ２３３）。

【0101】

次に、情報処理装置１０ｄは、撮像画像データと、運動データ、気圧データ、降雨データ、および降水確率データの各グラフを含む画面を生成し、表示デバイス１０９に表示する（ステップＳ２３６）。

【0102】

そして、情報処理装置１０ｄは、ユーザによるシークバー操作に応じて、指示された再生ポイントの撮像画像データを再生する（ステップＳ２３９）。

【0103】

ここで、表示画面の一例を図１６に示す。図１６は、本実施形態による表示画面例を示す図である。図示された例では、画面２５０に、動画像データ２５１と、運動センサ、気圧センサ、降雨センサの各種センサデータおよび降水確率のデータを示す各グラフ２５２と、画像再生位置を指定するシークバー２５５とが表示されている。シークバー２５５は、各グラフ２５２の時間軸方向の軸の長さに対応するよう表示されている。

【0104】

これによりユーザは、長時間に及ぶ検証用映像を全て確認することなく、グラフ２５２を参照して、所定の再生ポイントで検証を行うことができる。具体的には、例えば「猫が顔を洗うと雨が降る」という言い伝えを検証する際、運動センサにより猫の動きが検知された時刻を再生するようシークバー２５５を操作して、猫が顔を拭いているシーンであるか否かを確認する。そして、猫が顔を拭いているシーンである場合、その時刻前後の気圧センサデータ、降雨センサデータ、および降水確率データを参照して言い伝えの検証を行う。また、ユーザは、気圧が低くなった時刻、降水確率が上がった時刻、または降雨センサにより降水が検知された時刻の前後における運動センサにより猫の動きが検知されたシーンを再生させることで、猫がどのような動きをしているかを確認する。このように、ユーザは長時間に及ぶ検証用映像を全て確認することなく、確実に検証を行うことができる。

【0105】

なお上述した実施形態では、マーキング処理を行っていないため、図１６に示す画面２５０にはマーキング結果を示すマーク結果バーが表示されていない。第３の実施形態においても複数のデータに基づくマーキング処理を行った場合は、画面２５０にマーク結果バーが表示され得る。

【0106】

また、上述した実施形態では、動物の検証用映像を一例として用いたが、本実施形態は当然にこれに限定されず、例えば人間同士のコミュニケーションの様子や、人間の物や動物に対する行動、人間の消費行動、経済行動等、ヒト、モノ、コトの解析を長時間の映像記録に基づいて行う際に適用され得る。

【0107】

＜＜３．まとめ＞＞
上述したように、本開示の実施形態による動画像検索システムでは、動画像に関連する画像解析以外のデータのグラフを用いて動画像の検索を支援することが可能となる。

【0108】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0109】

例えば、上述した情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

【0110】

また、上述した各実施形態では、動画像検索システムが情報処理装置１０で実行される場合について説明したが、本開示はこれに限定されず、情報処理装置１０の機能のうち少なくとも一部がサーバ上で実行されてもよい。例えば、記憶制御部１０１１、マーキング部１０１２、およびインタフェース生成部１０１３が、情報処理装置１０とネットワークを介して接続するサーバ上にあってもよい。

【0111】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0112】

なお、本技術は以下のような構成も取ることができる。
（１）
動画像データを取得する動画像データ取得部と、
前記動画像データに関連するセンサデータ、および前記動画像データの撮影時刻に対応する時系列データを受信する通信部と、
前記動画像データの画像解析を行い、画像解析結果データを生成する画像信号処理部と、
前記動画像データと、前記センサデータ、前記時系列データ、および前記画像解析結果データのうち少なくとも２つのデータのグラフとを含むインタフェースを生成する制御部と、
を備える、情報処理システム。
（２）
前記制御部は、前記センサデータ、前記時系列データ、および前記画像解析結果データのうち少なくともいずれかを選択するためのユーザインタフェースを生成する、前記（１）に記載の情報処理システム。
（３）
前記制御部は、前記ユーザインタフェースにより選択された複数のデータに基づいて、所定時刻にマーキングを行う、前記（２）に記載の情報処理システム。
（４）
前記制御部は、前記選択された複数のデータのいずれにも所定の条件を満たすことを示すフラグがセットされている時刻に、マーキングを行う、前記（３）に記載の情報処理システム。
（５）
前記制御部は、前記マーキングした時刻を示すための、前記グラフの時間軸方向の軸の長さに対応するマーク結果バーを生成する、前記（３）または（４）に記載の情報処理システム。
（６）
前記制御部は、所望の時刻の画像を指定するための、前記グラフの時間軸方向の軸の長さに対応するシークバーを生成する、前記（１）〜（５）のいずれか１項に記載の情報処理システム。
（７）
前記制御部は、前記動画像データと、前記センサデータ、前記時系列データ、および前記画像解析結果データのグラフとを含むインタフェースを生成する、前記（１）〜（６）のいずれか１項に記載の情報処理システム。
（８）
前記センサデータは、前記動画像データの被写体に取り付けられたセンサにより検出される、前記（１）〜（７）のいずれか１項に記載の情報処理システム。
（９）
前記画像信号処理部は、前記動画像データの画像解析により被写体の特定の動きを検出し、
前記制御部は、前記特定の動きの頻度が所定の閾値を上回る時刻にマーキングを行う、前記（５）に記載の情報処理システム。
（１０）
前記時系列データは、前記動画像データの撮影時刻に対応する所定の事象に関するデータであり、
前記制御部は、前記事象の値が所定の条件を満たす時刻にマーキングを行う、前記（１）〜（９）のいずれか１項に記載の情報処理システム。
（１１）
前記センサデータは、動きセンサによって検出された、前記動画像データを視聴した被写体の動きを示す動きデータであり、
前記制御部は、前記動きデータの値が所定の条件を満たす時刻にマーキングを行う、前記（１）〜（７）のいずれか１項に記載の情報処理システム。
（１２）
前記情報処理システムは、前記動画像データを音声解析し、音声解析結果データを生成する音声信号処理部をさらに備え、
前記制御部は、前記動画像データと、前記センサデータ、前記時系列データ、前記画像解析結果データ、および音声解析結果データのうち少なくとも一つのデータのグラフとを含むインタフェースを生成する、前記（１）〜（１１）のいずれか１項に記載の情報処理システム。
（１３）
プロセッサが、
動画像データを取得することと、
前記動画像データに関連するセンサデータ、および前記動画像データの撮影時刻に対応する時系列データを受信することと、
前記動画像データの画像解析を行い、画像解析結果データを生成することと、
前記動画像データと、前記センサデータ、前記時系列データ、および前記画像解析結果データのうち少なくとも２つのデータのグラフとを含むインタフェースを生成すること、
を含む、情報処理方法。
（１４）
コンピュータを、
動画像データを取得する動画像データ取得部と、
前記動画像データに関連するセンサデータ、および前記動画像データの撮影時刻に対応する時系列データを受信する通信部と、
前記動画像データの画像解析を行い、画像解析結果データを生成する画像信号処理部と、
前記動画像データと、前記センサデータ、前記時系列データ、および前記画像解析結果データのうち少なくとも２つのデータのグラフとを含むインタフェースを生成する制御部と、
として機能させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。

【符号の説明】

【0113】

１０（１０ａ、１０ｂ、１０ｃ、１０ｄ） 情報処理装置
１０１ 制御部
１０１１ 記憶制御部
１０１２ マーキング部
１０１３ インタフェース生成部
１０２ 画像信号処理部
１０３ 入力デバイス
１０４ 入力信号処理部
１０５ カレンダー・タイマー部
１０６ 記憶部
１０７ 外部記憶部
１０８ 表示処理部
１０９ 表示デバイス
１１０ Ｉ／Ｆ
１１１ ＮＷ Ｉ／Ｆ
１１２ コンテンツ取得部
１１３ 音声信号処理部
１１（１１ａ、１１ｂ、１１ｄ） カメラ
１２（１２ａ、１２ｂ、１２ｄ） センサ
１３ 表示装置
１５（１５ａ、１５ｂ、１５ｃ、１５ｄ） クラウド
１６ 気圧センサ
１７ 降雨センサ
２１０、２２０、２３０、２４０、２５０ 画面
２１１、２４１、２５１ 動画像データ
２１２、２４２、２５２ グラフ
２１３ チェックボックス
２１４、２４４ マーク結果バー
２１５、２４５、２５５ シークバー
２１５ マーク結果バー
２２０ 画面
２３１、２３２、２３３、２４３ 選択画面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】