知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024017193
(43)【公開日】2024-02-08
(54)【発明の名称】映像検索装置、映像検索方法、プログラム
(51)【国際特許分類】
G06F 16/73 20190101AFI20240201BHJP
【ＦＩ】
G06F16/73
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022119678
(22)【出願日】2022-07-27
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】渡辺 はるな
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175DA04
(57)【要約】
【課題】映像から所望の映像シーンの区間を適切に決定することができないこと。
【解決手段】本開示の映像検索装置１００は、映像シーンを構成する複数の事象を含む事象情報と、映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で対象映像から事象情報に含まれる事象を検索する検索部１２１と、事象の検索結果に基づいて、検索対象となるシーン情報に対応する対象映像中の映像区間を決定する決定部１２２と、を備える。
【選択図】図９
【解決手段】本開示の映像検索装置１００は、映像シーンを構成する複数の事象を含む事象情報と、映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で対象映像から事象情報に含まれる事象を検索する検索部１２１と、事象の検索結果に基づいて、検索対象となるシーン情報に対応する対象映像中の映像区間を決定する決定部１２２と、を備える。
【選択図】図９
【特許請求の範囲】
【請求項1】
映像シーンを構成する複数の事象を含む事象情報と、前記映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、前記時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で前記対象映像から前記事象情報に含まれる事象を検索する検索部と、
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する決定部と、
を備えた映像検索装置。
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する決定部と、
を備えた映像検索装置。
【請求項2】
請求項１に記載の映像検索装置であって、
前記時間情報は、前記事象情報に含まれる事象間の時間間隔を含み、
前記検索部は、前記対象映像から前記事象情報に含まれる所定の事象を検索すると共に、当該検索した所定の事象と前記時間間隔とに基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を検索する、
映像検索装置。
前記時間情報は、前記事象情報に含まれる事象間の時間間隔を含み、
前記検索部は、前記対象映像から前記事象情報に含まれる所定の事象を検索すると共に、当該検索した所定の事象と前記時間間隔とに基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を検索する、
映像検索装置。
【請求項3】
請求項２に記載の映像検索装置であって、
前記事象情報は、複数の事象の発生順序を含み、
前記検索部は、前記対象映像から前記事象情報に含まれる所定の事象を検索すると共に、当該検索した所定の事象と前記時間間隔とに基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索装置。
前記事象情報は、複数の事象の発生順序を含み、
前記検索部は、前記対象映像から前記事象情報に含まれる所定の事象を検索すると共に、当該検索した所定の事象と前記時間間隔とに基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索装置。
【請求項4】
請求項３に記載の映像検索装置であって、
前記事象情報は、複数の事象のうち特定の事象がキー事象として設定されており、
前記時間情報は、前記事象情報に含まれる前記キー事象に対する他の事象毎の時間間隔を含み、
前記検索部は、前記対象映像から前記事象情報に含まれる前記キー事象を検索すると共に、当該検索したキー事象に対して設定された前記時間間隔に基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索装置。
前記事象情報は、複数の事象のうち特定の事象がキー事象として設定されており、
前記時間情報は、前記事象情報に含まれる前記キー事象に対する他の事象毎の時間間隔を含み、
前記検索部は、前記対象映像から前記事象情報に含まれる前記キー事象を検索すると共に、当該検索したキー事象に対して設定された前記時間間隔に基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索装置。
【請求項5】
請求項３に記載の映像検索装置であって、
前記時間情報は、前記事象情報に含まれる事象の発生順序に従って隣り合う事象間毎の時間間隔を含み、
前記検索部は、前記対象映像から前記事象情報に含まれる所定の事象を検索する毎に、当該検索した所定の事象に対して発生順序に従って隣り合う他の事象との前記時間間隔に基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索装置。
前記時間情報は、前記事象情報に含まれる事象の発生順序に従って隣り合う事象間毎の時間間隔を含み、
前記検索部は、前記対象映像から前記事象情報に含まれる所定の事象を検索する毎に、当該検索した所定の事象に対して発生順序に従って隣り合う他の事象との前記時間間隔に基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索装置。
【請求項6】
請求項１に記載の映像検索装置であって、
前記決定部は、検索された事象と前記時間情報とに基づいて前記シーン情報に対応する前記対象映像中の前記映像区間を決定する、
映像検索装置。
前記決定部は、検索された事象と前記時間情報とに基づいて前記シーン情報に対応する前記対象映像中の前記映像区間を決定する、
映像検索装置。
【請求項7】
請求項１に記載の映像検索装置であって、
前記決定部は、前記事象情報内の事象と検索された事象とに基づいて、決定した前記映像区間の信頼度を算出する、
映像検索装置。
前記決定部は、前記事象情報内の事象と検索された事象とに基づいて、決定した前記映像区間の信頼度を算出する、
映像検索装置。
【請求項8】
請求項７に記載の映像検索装置であって、
前記決定部は、前記事象情報内の事象のうち検索された事象が多いほど、決定した前記映像区間の前記信頼度の値が高くなるよう算出する、
映像検索装置。
前記決定部は、前記事象情報内の事象のうち検索された事象が多いほど、決定した前記映像区間の前記信頼度の値が高くなるよう算出する、
映像検索装置。
【請求項9】
映像シーンを構成する複数の事象を含む事象情報と、前記映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、前記時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で前記対象映像から前記事象情報に含まれる事象を検索し、
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する、
映像検索方法。
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する、
映像検索方法。
【請求項10】
映像シーンを構成する複数の事象を含む事象情報と、前記映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、前記時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で前記対象映像から前記事象情報に含まれる事象を検索し、
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する、
処理をコンピュータに実行させるためのプログラム。
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する、
処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、映像検索装置、映像検索方法、プログラムに関する。
【背景技術】
【0002】
特許文献１に、映像から複数の事象から成るシーンを検索する映像検索システムの一例が記載されている。この映像検索システムでは、まず、検索対象となる映像に対して、映像を階層化された複数の区間である構造単位に分割した構造インデックスが付与されており、構造単位がシーンを検索する際の範囲である検索粒度となるよう設定されている。そして、映像には、さらに映像上で起こった事象を表す事象インデックスが付与されている。例えば、野球の試合の映像の場合には、ゲーム開始からの映像が、「回」、「表・裏」、「打席」、「投球」といった順に階層化された各構造単位に分割され、構造インデックスとして付与される。さらに、映像中の「ヒット」、「加点」といった場面に対して事象の内容を特定する事象インデックスが付与される。これに加え、特許文献１の映像検索システムでは、予め、ある映像シーンに対して、映像シーンの内容を表現した用語と、映像シーンに対応する複数の事象の発生パターンからなる状態遷移パターンと、映像シーンを検索する際の検索対象となる構造単位を表す検索粒度と、が関連付けて設定される。例えば、野球の試合の映像の場合に、映像シーン「タイムリーヒット」については、状態遷移パターンとして「ヒット」、「加点」という事象の発生パターンと、検索粒度となる構造単位として「打席」と、が設定されていることとなる。
【0003】
そして、特許文献１の映像検索システムでは、上述した構成を前提として、検索実行時には、所望の映像シーンを表現した用語が入力され、入力された用語に対応する検索粒度つまり構造単位毎に、入力された用語に対応した状態遷移パターンつまり事象の発生パターンを検索する。そして、状態遷移パターンが検索された映像中の構造単位を検索結果として出力している。例えば、上述したように野球の試合の映像の中から「タイムリーヒット」の映像シーンを検索したい場合には、映像シーン「タイムリーヒット」に対応する検索粒度つまり構造単位「打席」毎に、「ヒット」、「加点」という事象の発生パターンを、構造インデックスが付与された映像から検索することとなる。そして、映像中、ある打席において、ヒットとその後に続く加点の事象が検索された場合に、その打席の映像を、所望の映像シーンである「タイムリーヒット」として出力する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００１－９２８４９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した特許文献１に記載の技術では、検索対象となる映像に対して予め上述した構造インデックスを付与することを前提としており、これによって、映像全体に対する検索範囲を所定の構造単位に規定している。このため、事前に映像に対して構造インデックスを付与する手間とコストがかかる、という問題が生じる。
【0006】
一方で、映像に対して構造インデックスが付与されていない場合には、所望の映像シーンの区間を適切に定めることができない。例えば、上述したように野球の映像の中から「タイムリーヒット」の映像シーンを検索する場合には、どの時刻からどの時刻までが１つの回であるか、あるいは１つの打席であるか、という情報を映像から得ることができず、適切な検索範囲を設定することができない。そのため、例えば、１回表のヒットという事象と３回裏の加点という事象の組み合わせを「タイムリーヒット」の所望の映像シーンと判断してしまい、１回表のヒットから３回裏の加点までの映像区間を１つの映像シーンとして決定してしまう。つまり、イニングを跨いだ「タイムリーヒット」は存在しえないが、そのような不適切な映像シーンを検索してしまう場合があり、所望の映像シーンの区間を適切に決定することができない、という問題が生じる。
【0007】
このため、本開示の目的は、上述した課題である、映像から所望の映像シーンの区間を適切に決定することができない、ことを解決することができる映像検索装置を提供することにある。
【課題を解決するための手段】
【0008】
本開示の一形態である映像検索装置は、
映像シーンを構成する複数の事象を含む事象情報と、前記映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、前記時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で前記対象映像から前記事象情報に含まれる事象を検索する検索部と、
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する決定部と、
を備えた、
という構成をとる。
映像シーンを構成する複数の事象を含む事象情報と、前記映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、前記時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で前記対象映像から前記事象情報に含まれる事象を検索する検索部と、
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する決定部と、
を備えた、
という構成をとる。
【0009】
また、本開示の一形態である映像検索方法は、
映像シーンを構成する複数の事象を含む事象情報と、前記映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、前記時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で前記対象映像から前記事象情報に含まれる事象を検索し、
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する、
という構成をとる。
映像シーンを構成する複数の事象を含む事象情報と、前記映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、前記時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で前記対象映像から前記事象情報に含まれる事象を検索し、
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する、
という構成をとる。
【0010】
また、本開示の一形態であるプログラムは、
映像シーンを構成する複数の事象を含む事象情報と、前記映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、前記時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で前記対象映像から前記事象情報に含まれる事象を検索し、
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する、
処理をコンピュータに実行させる、
という構成をとる。
映像シーンを構成する複数の事象を含む事象情報と、前記映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、前記時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で前記対象映像から前記事象情報に含まれる事象を検索し、
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する、
処理をコンピュータに実行させる、
という構成をとる。
【発明の効果】
【0011】
本開示は、以上のように構成されることにより、映像から所望の映像シーンの映像区間を適切に決定することができる。
【図面の簡単な説明】
【0012】
【図1】本開示の実施形態１における映像検索装置の構成を示すブロック図である。
【図8】本開示の実施形態２における映像検索装置のハードウェア構成を示すブロック図である。
【図9】本開示の実施形態２における映像検索装置の構成を示すブロック図である。
【発明を実施するための形態】
【0013】
【0014】
［構成］
本実施形態における映像検索装置１０は、対象映像から、複数の事象からなる所望の映像シーンに該当する区間を検出して、かかる映像区間を決定して出力するものである。一例として、本実施形態では、映像検索装置１０が、野球の試合の映像を対象映像とし、かかる対象映像から、「タイムリーヒット」（打者がヒットを打って得点が入ること）といった映像シーンを検索して、その映像区間を決定して出力する場合を説明する。また、本実施形態では、映像検索装置１０が、決定した映像区間が「タイムリーヒット」を表す内容であることの信頼度、つまり、タイムリーヒットである確からしさを表す度合い、を算出することも行う。但し、映像検索装置１０が扱う対象映像は、野球の試合に限らずいかなる内容の映像であってもよく、検索する映像シーンもいかなる内容の映像シーンであってもよい。
本実施形態における映像検索装置１０は、対象映像から、複数の事象からなる所望の映像シーンに該当する区間を検出して、かかる映像区間を決定して出力するものである。一例として、本実施形態では、映像検索装置１０が、野球の試合の映像を対象映像とし、かかる対象映像から、「タイムリーヒット」（打者がヒットを打って得点が入ること）といった映像シーンを検索して、その映像区間を決定して出力する場合を説明する。また、本実施形態では、映像検索装置１０が、決定した映像区間が「タイムリーヒット」を表す内容であることの信頼度、つまり、タイムリーヒットである確からしさを表す度合い、を算出することも行う。但し、映像検索装置１０が扱う対象映像は、野球の試合に限らずいかなる内容の映像であってもよく、検索する映像シーンもいかなる内容の映像シーンであってもよい。
【0015】
映像検索装置１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、映像検索装置１０は、図１に示すように、取得部１１、検索部１２、決定部１３、を備える。取得部１１、検索部１２、決定部１３の各機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより実現することができる。また、映像検索装置１０は、映像記憶部１６、シーン条件記憶部１７、を備える。映像記憶部１６、シーン条件記憶部１７は、記憶装置により構成される。以下、各構成について詳述する。
【0016】
映像記憶部１６は、映像シーンを検索する対象となる対象映像を記憶している。例えば、対象映像としては、上述したように野球の試合の映像であり、野球場において撮影され、編集された映像である。そして、対象映像には、予め映像上で生じた事象を表す情報である事象インデックスが付与されていることとする。ここで、「事象」とは、例えば、映像に映った人や物を表すもの（野球の映像であれば「選手」「観客」「得点板」など）でもよく、人や物の行動を表すもの（「ボールを投げる」「走る」「バットを振る」）でもよい。また、「事象」は、例えば、その映像を撮影したカメラの動き（例えば、「パン」、「チルト」）や、編集された映像の特徴（「得点テロップ」「カメラ切り替え」）などでもよい。
【0017】
このとき、事象インデックスは、対象映像中の所定の時刻に対して付与されるものであり、「事象」に対して「時刻情報」が関連付けられている。このため、事象インデックスは、時間的な幅を持たないものとする。なお、「時刻情報」は、対象映像中の時間方向の位置を表す情報であればいかなる情報であってもよく、時刻そのものや、映像の始まりからの経過時間、フレーム番号といった情報であってもよい。
【0018】
シーン条件記憶部１７は、映像シーンを検索する際に用いる情報であるシーン条件テーブル（シーン情報）を記憶している。シーン条件テーブルは、映像シーンを定義する情報であり、主に図２に示すように、「シーン名」と「シーン条件」とを含んで構成される。
【0019】
ここで、「シーン名」は、映像シーンの内容に応じた名称（野球の映像の場合、「ヒット」、「三振」）であったり、シーンを識別するための数値番号やアルファベットであってもよい。なお、後述するように、映像シーンの検索を希望する検索者によって、検索する映像シーンを指定する情報である「クエリ」が入力されるが、「シーン名」は「クエリ」と結びつけらえる情報で構成される。これにより、検索時には、検索者から検索希望として入力された「クエリ」によって、対応する「シーン名」のシーン条件テーブルが特定されることとなる。
【0020】
また、「シーン条件」は、映像シーンを構成する事象を含む「事象情報」と、映像シーンに対して設定された時間を表す「時間情報」と、を含む。特に、本実施形態では、シーン条件の「事象情報」は、発生順序が設定された一連の複数の事象にて表される。また、本実施形態では、シーン条件の「時間情報」は、発生順序が設定された一連の事象間の時間間隔を表しており、一例として、ある特定の事象（キー事象）から他の各事象までの時間間隔や、発生順序において隣り合う事象間の時間間隔、にて表される。
【0021】
ここで、上述した「シーン条件」の具体例を説明する。映像シーンが野球の「ヒット」の場合には、かかる映像シーンは、「投球」、「打撃」、「打者一塁到達」といった３つの事象の並びによって特徴づけられるため、シーン名「ヒット」の「シーン条件」の「事象情報」として、「投球」、「打撃」、「打者一塁到達」といった３つの事象が、その順番に発生することを示す事象列として設定される。そして、「シーン条件」の「時間情報」としては、一例として、起点となる事象「投球」から他の各事象「打撃」及び「打者一塁到達」までのそれぞれの時間間隔が設定される。この場合、起点となる事象「投球」を「キー事象」と呼び、他の事象「打撃」及び「打者一塁到達」を「補助事象」と呼ぶこととする。また、「シーン条件」の「時間情報」の別の例としては、発生順序において隣り合う事象間の各時間間隔が設定されてもよく、この場合、事象「投球」と事象「打撃」との時間間隔、事象「打撃」と事象「打者一塁到達」との時間間隔、が設定されてもよい。
【0022】
但し、「シーン条件」に含まれる「時間情報」は、必ずしも上述したような事象間の時間間隔であることに限定されず、映像シーンに対して設定されうる時間を表すいかなる情報であってもよい。例えば、「時間情報」は、映像シーンを構成する複数の事象が含まれうる全体の時間幅であってもよく、対象映像全体に対する時間の割合といった情報であってもよい。また、「時間間隔」や「時間情報」は、映像中の時間方向の時間範囲を表す情報であればいかなる情報であってもよく、時間幅やフレーム幅といった情報であってもよい。
【0023】
上述したシーン条件テーブルのデータ構造の具体例を、図２を参照して説明する。まず、図２の符号Ｔ１に示すシーン条件テーブルの「シーン１」ついては、「シーン条件」として、「事象１」、「事象２」、「事象３」といった３つの事象がその順番に発生することとして設定されており、さらに、隣り合う事象間の時間間隔、つまり、事象１と事象２との時間間隔「５－１０秒」、事象２と事象３との時間間隔「１０－３０秒」、が設定されている。さらに、符号Ｔ１のシーン条件テーブルには、「シーン名」、「シーン条件」に加え、「キー事象」が設定されている。「キー事象」とは、シーン条件中に存在する事象のうちの１つを、検索の取り掛かりとなるキーとして指定したものである。なお、この例では、時間間隔は、上述したように最大値と最小値のペアからなる範囲で設定される。
【0024】
また、図２の符号Ｔ２に示すシーン条件テーブルの「シーン１」については、「シーン条件」として、「事象１」、「事象２」、「事象３」といった３つの事象がその順番に発生することとして設定されており、「キー事象」として「事象１」が設定されている。そして、このシーン条件テーブルでは、事象間の時間間隔として、キー事象から他の各事象までの時間間隔が設定されており、具体的には、事象１と事象２との時間間隔「５－１０秒」、事象１と事象３との時間間隔「１５－４０秒」、が設定されている。
【0025】
また、図２の符号Ｔ３に示すシーン条件テーブルの「シーン１」については、「シーン条件」として、「事象１」、「事象２」、「事象３」といった３つの事象がその順番に発生することとして設定されており、「キー事象」として「事象１」が設定され、さらに、各事象間の時間間隔、つまり、事象１と事象２との時間間隔「７秒」、事象２と事象３との時間間隔「２０秒」、が設定されている。これに加え、符号Ｔ３のシーン条件テーブルには、各事象間の時間間隔のマージン、つまり、各事象間について設定された時間間隔の延長あるいは短縮可能な時間幅、が設定されている。このように、時間間隔は、事象間毎の固定値と、全ての事象間で共通するマージンと、で設定されてもよい。
【0026】
また、図２の符号Ｔ４に示すシーン条件テーブルの「シーン１」については、「シーン条件」として、「事象１」、「事象２」、「事象３」といった３つの事象がその順番に発生することとして設定されており、各事象間の時間間隔、つまり、事象１と事象２との時間間隔「７秒」、事象２と事象３との時間間隔「２０秒」、が設定されている。但し、このテーブルでは、上述したテーブルとは異なり「キー事象」は設定されていない。代わりに、符号Ｔ４のシーン条件テーブルには、事象ごとの「重み」が設定されており、最も重みが大きい事象を「キー事象」として扱ってもよい。例えば、「シーン１」では、「事象１」に重み「０．６」、「事象２」に重み「０．３」、「事象３」に重み「０．１」が設定されており、「事象１」をキー事象として扱ってもよい。但し、シーン条件テーブルには、キー事象と重みの両方が設定されていてもよい。なお、このとき重みとして記述しておく値は、例えば、過去のデータにおける事例の発生頻度を基に定義することができる。具体的な定義方法の例を述べる。まず、ある映像シーンを特徴づける事象の候補を挙げ、それらの事象が過去のデータ中の該当のシーンに含まれた回数を数える。そして各事象の回数にＳｏｆｔｍａｘ関数を適用し、合計が１になるよう調整した値を各事象の重みとする。ただし、上記の方法で決めた重みをさらに人手で調整しても良く、あるいは上記の方法に依らず全て人手で定義してもよい。なお、シーン条件テーブル内にキー事象と重みのいずれも定義されない場合には、事象列の初めの事象、または終わりの事象をキー事象として扱ってもよく、あるいは、事象列の中からランダムに選択したものをキー事象として扱ってもよい。
【0027】
以上のように、映像検索装置１０は、予め、対象映像と、シーン条件テーブルと、を記憶している。そして、映像検索装置１０は、以下に説明する構成の機能によって、要求された映像シーンを対象映像内から検索する。
【0028】
取得部１１は、検索を要求する映像シーンの情報であるクエリの入力を受け付けて、シーン条件記憶部１７内から、クエリに該当するシーン条件テーブルを取得する。クエリは、例えば、シーン名やシーンを識別する識別番号からなり、シーン条件テーブル内の「シーン名」と対応する情報であることとする。一例として、取得部１１は、クエリ「ヒット」の入力を受け付けると、シーン条件記憶部１７から、クエリに対応するシーン名「ヒット」のシーン条件テーブルを取得する。
【0029】
検索部１２は、取得部１１にて取得したシーン条件テーブルを用いて、映像記憶部１６に記憶されている対象映像中から、当該シーン条件テーブルに含まれる事象を検索する。このとき、検索部１２は、シーン条件テーブルに含まれる事象間の時間間隔などの時間情報を用いて、対象映像内における事象の検索範囲を設定しつつ、かかる検索範囲内で設定されている発生順序に従って事象の検索を行う。つまり、検索部１２は、まず、対象映像から、シーン条件テーブルに含まれる複数の事象のうち所定の事象を検索し、他の事象について設定されている検索した所定の事象との時間間隔を対象映像に対する検索範囲として設定し、その後、かかる検索範囲内で対象映像から他の事象を検索する。このとき、検索部１２は、シーン条件テーブルにおいて設定されている時間間隔が、キー事象に対する時間間隔である場合には、キー事象を検索した後に、他の各事象について設定されている時間間隔をもとにキー事象からの検索範囲を設定し、かかる検索範囲で各事象を検索する。あるいは、検索部１２は、シーン条件テーブルにおいて設定されている時間間隔が発声順序において隣り合う事象間の時間間隔である場合には、所定の事象を検索する毎に、順番が前後の各事象について設定されている時間間隔で検索範囲を設定し、かかる検索範囲で他の各事象を検索することを繰り返す。
【0030】
例えば、検索部１２は、上述したようにクエリが「ヒット」である場合には、シーン名「ヒット」のシーン条件テーブルを取得し、シーン条件に設定されている３つの事象「投球」、「打撃」、「打者一塁到達」を、その発生順序で検索することとなる。このとき、事象「投球」がキー事象として設定されており、他の事象「打撃」、「打者一塁到達」それぞれにキー事象からの時間間隔が設定されていることとする。この場合、検索部１２は、対象映像内から、まずキー事象である「投球」を検索する。そして、検索部１２は、検索されたキー事象「投球」の時刻から、発生順序が次の事象「打撃」に設定されている時間間隔を検索範囲として、対象映像内から事象「打撃」を検索する。さらに、検索部１２は、キー事象「投球」の時刻から、発生順序がさらに次の事象「打者一塁到達」に設定されている時間間隔を検索範囲として、対象映像内から事象「打者一塁到達」を検索する。
【0031】
ここで、さらに、図３乃至図６を参照して、検索部１２による図２に示したようなシーン条件テーブルの事象を検索する処理の具体的な様子を説明する。まずはじめに、図３を参照して、図２の符号Ｔ２に示す「シーン１」のシーン条件テーブルの場合の処理を説明する。図３の符号Ｄ１に示すように、検索部１２は、まず、対象映像内からキー事象である「事象１」を検索する。そして、検索部１２は、検索されたキー事象「事象１」の時刻から、発生順序が次の補助事象「事象２」に設定されているキー事象からの時間間隔「５－１０秒」を次の検索範囲Ａとして設定し、かかる検索範囲Ａで対象映像内から次の補助事象「事象２」を検索する。この場合、事象１の位置から後ろに５秒離れた位置を検索範囲Ａの始端とし、事象１の位置から１０秒離れた位置を検索範囲Ａの終端とする。そして、かかる検索範囲Ａから次の補助事象「事象２」が検索されると、検索部１２は、符号Ｄ２に示すように、発生順序がさらに次の補助事象「事象３」に設定されているキー事象からの時間間隔「１５－４０秒」をさらに次の検索範囲Ｂとして設定し、かかる検索範囲Ｂで対象映像内からさらに次の補助事象「事象３」を検索する。この場合、事象１の位置から後ろに１５秒離れた位置を検索範囲Ｂの始端とし、事象１の位置から４０秒離れた位置を検索範囲Ｂの終端とする。
【0032】
次に、図４を参照して、図２の符号Ｔ１に示す「シーン１」のシーン条件テーブルの場合における検索部１２の処理を説明する。図４の符号Ｅ１に示すように、検索部１２は、まず、対象映像内から、キー事象である「事象１」を検索する。そして、検索部１２は、検索されたキー事象「事象１」の時刻から、発生順序が次の隣り合う補助事象「事象２」に設定されている事象１からの時間間隔「５－１０秒」を次の検索範囲Ａとして設定し、かかる検索範囲Ａで対象映像内から次の補助事象「事象２」を検索する。この場合、事象１の位置から後ろに５秒離れた位置を検索範囲Ａの始端とし、事象１の位置から１０秒離れた位置を検索範囲Ａの終端とする。そして、かかる検索範囲Ａから次の補助事象「事象２」が検索されると、検索部１２は、符号Ｅ２に示すように、発生順序がさらに次であり事象２と隣り合う補助事象「事象３」に設定されている事象２からの時間間隔「１０－３０秒」をさらに次の検索範囲Ｂとして設定し、かかる検索範囲Ｂで対象映像内からさらに次の補助事象「事象３」を検索する。この場合、事象２の位置から後ろに１０秒離れた位置を検索範囲Ｂの始端とし、事象３の位置から３０秒離れた位置を検索範囲Ｂの終端とする。
【0033】
なお、検索部１２は、上述した「事象２」の検索の結果、かかる「事象２」が検索できなかった場合には、図５に示すように、さらに次の補助事象「事象３」の検索範囲Ｂを設定して、「事象３」を検索してもよい。一例として、検索部１２は、符号Ｆ１に示すように、事象２の検索範囲Ａの始端から後ろに、事象２と事象３の最短時間間隔として設定された１０秒分離れた位置を、事象３の検索範囲Ｂの始端とする。そして、検索部１２は、事象２の検索範囲Ａの終端から後ろに、事象２と事象３の最長時間間隔として設定された３０秒分離れた位置を、事象３の検索範囲Ｂの終端とする。このようにして設定された範囲が事象３の検索範囲Ｂとなる。また、別の例として、検索部１２は、符号Ｆ２に示すように、事象２の検索範囲Ａの中央の時刻を基準として、その基準から後ろに、事象２と事象３の時間間隔「１０－３０秒」を事象３の検索範囲Ｂとしてもよい。
【0034】
また、検索部１２は、図２の符号Ｔ３に示すように、時間間隔に「マージン」が設定されている場合には、上述したように設定した検索範囲で目的の事象が検索できないときに、かかる「マージン」の範囲内で検索範囲の時間を広げて設定し、広げた検索範囲で事象の検索を行ってもよい。なお、検索部１２は、「マージン」の範囲内で検索範囲を短縮してもよい。
【0035】
また、検索部１２は、図２の符号Ｔ１のシーン２，３のように、キー事象の前に補助事象がある場合には、以下のように検索範囲を設定することとなる。図２の符号Ｔ１の「シーン２」の例では、キー事象「事象５」に対して、発生順序が前であって時間間隔「１－５秒」で補助事象「事象４」が設定されている。この場合、検索部１２は、図６の符号Ｇ１に示すように、まず、対象映像内からキー事象である「事象５」を検索する。そして、検索部１２は、検索されたキー事象「事象５」の時刻から、発生順序が前の隣り合う補助事象「事象４」に設定されている事象５からの時間間隔「１－５秒」を遡って、次の検索範囲Ａとして設定し、かかる検索範囲Ａで対象映像内から前の補助事象「事象４」を検索する。
【0036】
また、図２の符号Ｔ１の「シーン３」では、キー事象「事象７」に対して、発生順序が前であって時間間隔「８－１２秒」で補助事象「事象６」が設定されており、さらに、キー事象「事象７」に対して発生順序が後であって時間間隔「２－４秒」で補助事象「事象８」が設定されている。この場合、検索部１２は、図６の符号Ｇ２に示すように、まず、対象映像内から、キー事象である「事象７」を検索する。そして、検索部１２は、検索されたキー事象「事象７」の時刻から、発生順序が前の隣り合う補助事象「事象６」に設定されている事象７からの時間間隔「８－１２秒」を遡って、次の検索範囲Ａとして設定し、かかる検索範囲Ａで対象映像内から前の補助事象「事象６」を検索する。同様に、検索部１２は、検索されたキー事象「事象７」の時刻から、発生順序が後の隣り合う補助事象「事象８」に設定されている事象７からの時間間隔「２－４秒」を進めて、さらに次の検索範囲Ｂとして設定し、かかる検索範囲Ｂで対象映像内から前の補助事象「事象８」を検索する。なお、検索部１２は、検索範囲Ａ，Ｂは、何れを先に設定してもよく、補助事象６，８のいずれを先に検索してもよい。
【0037】
また、検索部１２は、シーン条件テーブルにおいてキー事象が設定されていない場合には、図２の符号Ｔ４のように設定さえている「重み」に基づいてキー事象を設定し、かかるキー事象から上述したように事象の検索を行ってもよい。また、検索部１２は、シーン条件テーブルに含まれる複数の事象の中からランダムにキー事象を選択して、かかるキー事象から上述したように事象の検索を行ってもよい。
【0038】
また、検索部１２は、シーン条件テーブルにおける時間情報が、上述したような事象間の時間間隔とは異なり、単に時間幅が設定されている場合には、かかる時間幅を検索範囲として設定して事象の検索を行ってもよい。例えば、シーン条件テーブルに、事象列の全体の時間幅が時間情報として設定されている場合には、キー事象や任意の事象から設定された時間幅の範囲を検索範囲として、全ての事象を検索してもよい。また、シーン条件テーブルに、対象映像全体に対する事象列の全体の時間の割合が時間情報として設定されている場合には、キー事象や任意の事象から設定された時間幅の範囲を検索範囲として、全ての事象を検索してもよい。
【0039】
決定部１３は、検索部１２による事象の検索結果に基づいて、検索対象となるシーン条件テーブルに対応する対象映像中の映像区間を決定する。例えば、決定部１３は、映像シーンが「事象１、事象２、事象３」の発生順序の事象列からなり、全ての事象が検索できた場合には、対象映像中の始めの事象１の位置から終わりの事象３の位置までの映像区間を、検索された映像シーンとして決定して出力する。このとき、決定部１３は、映像区間として、対象映像中の対応する始端と終端の時刻やフレーム番号を特定して出力してもよく、かかる区間に対応する映像データそのものを特定して出力してもよい。
【0040】
但し、決定部１３は、検索された事象に加え、シーン条件テーブル内の時間情報、例えば、事象間の時間間隔に基づいて、映像区間を決定してもよい。例えば、図２の符号Ｔ１の「シーン１」を検索した際に、図４の符号Ｅ２に示すように、「事象１」と「事象２」は検索できたが、「事象３」が検索できなかった場合を考える。この場合、決定部１３は、対象映像中の「事象１」の位置から「事象３」の「検索範囲Ｂ」の終端までを、映像区間として決定してもよい。このとき、図２の符号Ｔ３に示すように、シーン条件テーブル内に「マージン」が設定されている場合には、かかるマージン分の時間を付加して、映像区間として決定してもよい。また、図５の符号Ｆ１，Ｆ２に示すように、「事象１」は検索できたが、「事象２」が検索できず、さらにその後の「事象３」の検索範囲Ｂを設定して「事象３」が検索できた場合には、決定部１３は、対象映像中の「事象１」の位置から「事象３」の位置までを映像区間として決定してもよい。つまり、決定部１３は、シーン条件テーブルに設定された事象列のうち、検索できた両端の事象間を映像区間として決定してもよい。このため、例えば上記の事象１，２，３の事象列のうち、事象３が検索できなかった場合には、事象１から事象２までを映像箇所として決定してもよい。
【0041】
また、決定部１３は、さらに、決定した映像箇所の信頼度を算出して、映像箇所と共に出力する。具体的に、決定部１３は、検索対象とされたシーン条件テーブル内に設定されている事象と、検索された事象と、に基づいて、信頼度を算出する。ここで、信頼度とは、検索できた事象によって構成される映像シーンが、要求された所望の映像シーンであることの確かさを反映する値であり、値が大きいほど所望の映像シーンである確からしさが高いことを表すこととする。例えば、シーン条件テーブル内に設定された事象がＮ個あり、そのうちｎ個が対象映像内で検索できた場合には、信頼度をｎ／Ｎによって算出してもよい。つまり、シーン条件テーブル内に設定された事象のうち、検索された事象が多いほど信頼度の値が高くなるよう算出してもよい。また、例えば、シーン条件テーブル内に設定された事象ごとの重みが記述されている場合には、対象映像内で検索できた事象の重みを足し合わせて信頼度として算出してもよい。但し、決定部１３は、必ずしも信頼度の算出を行わなくてもよい。
【0042】
［動作］
次に、上述した映像検索装置１０の動作を、主に図７のフローチャートを参照して説明する。なお、映像検索装置１０は、事前に上述した対象映像及びシーン条件テーブルを記憶していることとする。
次に、上述した映像検索装置１０の動作を、主に図７のフローチャートを参照して説明する。なお、映像検索装置１０は、事前に上述した対象映像及びシーン条件テーブルを記憶していることとする。
【0043】
映像検索装置１０は、図示しない入力装置から検索を希望する映像シーンの情報としてクリエの入力を受ける（ステップＳ１）。なお、映像検索装置１０は、クエリと共に、対象映像を取得してもよい。そして、映像検索装置１０は、映像シーンのクエリに対応するシーン条件テーブルを、シーン条件記憶部１７から取得する（ステップＳ２）。
【0044】
続いて、映像検索装置１０は、取得したシーン条件テーブルに含まれる事象列のうち、予め設定されたキー事象、あるいは、任意の方法で決定されたキー事象を、対象映像内から検索する（ステップＳ３）。このとき、映像検索装置１０は、キー事象が対象映像内で見つからなかった場合には（ステップＳ３：Ｎｏ）、所望の映像シーンが見つからなかった旨を出力装置に出力する（ステップＳ９）。映像検索装置１０は、キー事象が映像内で１つ以上見つかった場合には（ステップＳ３：Ｙｅｓ）、対象映像中で見つかった全てのキー事象について補助事象の検索処理を行ったか否かを判定する（ステップＳ４）。
【0045】
映像検索装置１０は、対象映像中で見つかった全てのキー事象について補助事象の検索処理を行っていない場合には（ステップＳ４：Ｎｏ）、補助事象の検索処理が実行されていない対象映像中のキー事象のうちの１つについて、シーン条件テーブルに含まれる全ての補助事象を検索したか否かを判定する（ステップＳ５）。
【0046】
映像検索装置１０は、シーン条件テーブルに含まれる全ての補助事象が検索されていない場合には（ステップＳ５：Ｎｏ）、未検索の補助事象について検索範囲を設定し（ステップＳ６）、かかる検索範囲において対象映像内で補助事象の検索を行う（ステップＳ７）。
【0047】
映像検索装置１０は、映像中で見つかったキー事象のうちの１つについて、シーン条件テーブルに含まれる全ての補助事象が検索し終わると（ステップＳ５：Ｙｅｓ）、補助事象の検索結果に基づいて映像区間を決定し、かかる映像区間の信頼度を算出する（ステップＳ８）。映像検索装置１０は、対象映像中で見つかった全てのキー事象について補助事象の検索処理が終わると（ステップＳ４：Ｙｅｓ）、出力装置へ決定した映像区間と信頼度からなる検索結果を出力する（ステップＳ９）。
【0048】
以上のように、本実施形態における映像検索装置１０によると、シーン条件テーブルに設定されている時間情報を用いて事象の検索範囲を設定しているため、所望の映像シーンを構成する複数の事象を適切な時間範囲で検索することができる。その結果、対象映像が構造化されていない場合であっても、所望の映像シーンに該当する映像区間を高精度に決定することができる。さらに、映像検索装置１０は、決定した映像区間の信頼度を算出しているため、ユーザは検索結果の映像区間の確からしさを知ることができ、利便性が向上する。
【0049】
＜実施形態２＞
次に、本開示の第２の実施形態について説明する。本実施形態における映像検索装置１０は、実施形態１で説明したものとほぼ同様の構成を有している。一方で、本実施形態では、対象映像には事象インデックスが付与されていなくてよい点で異なる。これに伴い、映像検索装置１０は、上述した検索部１２の構成が以下のように異なる。
次に、本開示の第２の実施形態について説明する。本実施形態における映像検索装置１０は、実施形態１で説明したものとほぼ同様の構成を有している。一方で、本実施形態では、対象映像には事象インデックスが付与されていなくてよい点で異なる。これに伴い、映像検索装置１０は、上述した検索部１２の構成が以下のように異なる。
【0050】
具体的に、本実施形態における検索部１２は、対象映像からシーン条件テーブルに含まれる事象を検索する機能を有するが、かかる機能は、例えば、ニューラルネットワークを用いたモデルを用いて実現される。つまり、検索部１２は、予め事象ごとに対応する映像データが学習されたモデルを用いて、対象映像から事象に対応する映像データを検索する機能を有する。このとき、モデルは、例えば、映像中のある時刻に対して事象を表すラベルを人手で付与したものを教師データとし、事象の発生時刻とラベルを予測するタスクを学習したモデルが一例として考えられる。なお、検索部１２は、１つのモデルを用いて全ての事象の検索を行ってもよく、事象ごとにモデルを設けておくなどして複数のモデルを用いて検索を行ってもよい。
【0051】
＜実施形態３＞
次に、本開示の第３の実施形態を、図８乃至図９を参照して説明する。図８乃至図９は、実施形態３における映像検索装置の構成を示すブロック図である。なお、本実施形態では、上述した実施形態で説明した映像検索装置の構成の概略を示している。
次に、本開示の第３の実施形態を、図８乃至図９を参照して説明する。図８乃至図９は、実施形態３における映像検索装置の構成を示すブロック図である。なお、本実施形態では、上述した実施形態で説明した映像検索装置の構成の概略を示している。
【0052】
まず、図８を参照して、本実施形態における映像検索装置１００のハードウェア構成を説明する。映像検索装置１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ１０３にロードされるプログラム群１０４
・プログラム群１０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ１０３にロードされるプログラム群１０４
・プログラム群１０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９
【0053】
なお、図８は、映像検索装置１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。また、情報処理装置は、上述したＣＰＵの代わりに、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＵ（Ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｎｕｍｂｅｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＰＰＵ（Ｐｈｙｓｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（ＴｅｎｓｏｒＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。
【0054】
そして、映像検索装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図９に示す検索部１２１と決定部１２２とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した検索部１２１と決定部１２２とは、かかる手段を実現させるための専用の電子回路で構築されるものであってもよい。
【0055】
上記検索部１２１は、映像シーンを構成する複数の事象を含む事象情報と、映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で対象映像から事象情報に含まれる事象を検索する。ここで、上記事象情報は、例えば、複数の事象の発生順序が設定されていたり、上記時間情報は、事象間の時間間隔が設定されている。このため、検索部１２１は、事象同士の時間的な関係性を考慮した検索範囲を設定して、かかる検索範囲内で映像シーンを構成する事象を検索する。
【0056】
上記決定部１２２は、事象の検索結果に基づいて、検索対象となるシーン情報に対応する対象映像中の映像区間を決定する。例えば、決定部１２２は、検索された事象を含む映像区間や時間情報を考慮した映像区間を決定する。
【0057】
本開示は、以上のように構成されることにより、シーン情報に設定されている時間情報を用いて事象の検索範囲を設定しているため、所望の映像シーンを構成する複数の事象を適切な時間範囲で検索することができる。その結果、対象映像が構造化されていなくても、所望の映像シーンに該当する映像区間を高精度に決定することができる。
【0058】
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0059】
以上、上記実施形態等を参照して本開示を説明したが、本開示は、上述した実施形態に限定されるものではない。本開示の構成や詳細には、本開示の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述した検索部１２１と決定部１２２との機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。
【0060】
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本開示における映像検索装置、映像検索方法、プログラムの構成の概略を説明する。但し、本開示は、以下の構成に限定されない。
（付記１）
映像シーンを構成する複数の事象を含む事象情報と、前記映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、前記時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で前記対象映像から前記事象情報に含まれる事象を検索する検索部と、
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する決定部と、
を備えた映像検索装置。
（付記２）
付記１に記載の映像検索装置であって、
前記時間情報は、前記事象情報に含まれる事象間の時間間隔を含み、
前記検索部は、前記対象映像から前記事象情報に含まれる所定の事象を検索すると共に、当該検索した所定の事象と前記時間間隔とに基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を検索する、
映像検索装置。
（付記３）
付記２に記載の映像検索装置であって、
前記事象情報は、複数の事象の発生順序を含み、
前記検索部は、前記対象映像から前記事象情報に含まれる所定の事象を検索すると共に、当該検索した所定の事象と前記時間間隔とに基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索装置。
（付記４）
付記３に記載の映像検索装置であって、
前記事象情報は、複数の事象のうち特定の事象がキー事象として設定されており、
前記時間情報は、前記事象情報に含まれる前記キー事象に対する他の事象毎の時間間隔を含み、
前記検索部は、前記対象映像から前記事象情報に含まれる前記キー事象を検索すると共に、当該検索したキー事象に対して設定された前記時間間隔に基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索装置。
（付記５）
付記３に記載の映像検索装置であって、
前記時間情報は、前記事象情報に含まれる事象の発生順序に従って隣り合う事象間毎の時間間隔を含み、
前記検索部は、前記対象映像から前記事象情報に含まれる所定の事象を検索する毎に、当該検索した所定の事象に対して発生順序に従って隣り合う他の事象との前記時間間隔に基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索装置。
（付記６）
付記１乃至５のいずれかに記載の映像検索装置であって、
前記決定部は、検索された事象と前記時間情報とに基づいて前記シーン情報に対応する前記対象映像中の前記映像区間を決定する、
映像検索装置。
（付記７）
付記１乃至６のいずれかに記載の映像検索装置であって、
前記決定部は、前記事象情報内の事象と検索された事象とに基づいて、決定した前記映像区間の信頼度を算出する、
映像検索装置。
（付記８）
付記７に記載の映像検索装置であって、
前記決定部は、前記事象情報内の事象のうち検索された事象が多いほど、決定した前記映像区間の前記信頼度の値が高くなるよう算出する、
映像検索装置。
（付記９）
映像シーンを構成する複数の事象を含む事象情報と、前記映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、前記時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で前記対象映像から前記事象情報に含まれる事象を検索し、
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する、
映像検索方法。
（付記９．１）
付記９に記載の映像検索方法であって、
前記時間情報は、前記事象情報に含まれる事象間の時間間隔を含み、
前記対象映像から前記事象情報に含まれる所定の事象を検索すると共に、当該検索した所定の事象と前記時間間隔とに基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を検索する、
映像検索方法。
（付記９．２）
付記９．１に記載の映像検索方法であって、
前記事象情報は、複数の事象の発生順序を含み、
前記対象映像から前記事象情報に含まれる所定の事象を検索すると共に、当該検索した所定の事象と前記時間間隔とに基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索方法。
（付記９．３）
付記９．２に記載の映像検索方法であって、
前記事象情報は、複数の事象のうち特定の事象がキー事象として設定されており、
前記時間情報は、前記事象情報に含まれる前記キー事象に対する他の事象毎の時間間隔を含み、
前記対象映像から前記事象情報に含まれる前記キー事象を検索すると共に、当該検索したキー事象に対して設定された前記時間間隔に基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索方法。
（付記９．４）
付記９．２に記載の映像検索方法であって、
前記時間情報は、前記事象情報に含まれる事象の発生順序に従って隣り合う事象間毎の時間間隔を含み、
前記対象映像から前記事象情報に含まれる所定の事象を検索する毎に、当該検索した所定の事象に対して発生順序に従って隣り合う他の事象との前記時間間隔に基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索方法。
（付記９．５）
付記９乃至９．４のいずれかに記載の映像検索方法であって、
検索された事象と前記時間情報とに基づいて前記シーン情報に対応する前記対象映像中の前記映像区間を決定する、
映像検索方法。
（付記９．６）
付記９乃至９．５のいずれかに記載の映像検索方法であって、
前記事象情報内の事象と検索された事象とに基づいて、決定した前記映像区間の信頼度を算出する、
映像検索方法。
（付記９．７）
付記９．６に記載の映像検索方法であって、
前記事象情報内の事象のうち検索された事象が多いほど、決定した前記映像区間の前記信頼度の値が高くなるよう算出する、
映像検索方法。
（付記１０）
映像シーンを構成する複数の事象を含む事象情報と、前記映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、前記時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で前記対象映像から前記事象情報に含まれる事象を検索し、
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する、
処理をコンピュータに実行させるためのプログラム。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本開示における映像検索装置、映像検索方法、プログラムの構成の概略を説明する。但し、本開示は、以下の構成に限定されない。
（付記１）
映像シーンを構成する複数の事象を含む事象情報と、前記映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、前記時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で前記対象映像から前記事象情報に含まれる事象を検索する検索部と、
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する決定部と、
を備えた映像検索装置。
（付記２）
付記１に記載の映像検索装置であって、
前記時間情報は、前記事象情報に含まれる事象間の時間間隔を含み、
前記検索部は、前記対象映像から前記事象情報に含まれる所定の事象を検索すると共に、当該検索した所定の事象と前記時間間隔とに基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を検索する、
映像検索装置。
（付記３）
付記２に記載の映像検索装置であって、
前記事象情報は、複数の事象の発生順序を含み、
前記検索部は、前記対象映像から前記事象情報に含まれる所定の事象を検索すると共に、当該検索した所定の事象と前記時間間隔とに基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索装置。
（付記４）
付記３に記載の映像検索装置であって、
前記事象情報は、複数の事象のうち特定の事象がキー事象として設定されており、
前記時間情報は、前記事象情報に含まれる前記キー事象に対する他の事象毎の時間間隔を含み、
前記検索部は、前記対象映像から前記事象情報に含まれる前記キー事象を検索すると共に、当該検索したキー事象に対して設定された前記時間間隔に基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索装置。
（付記５）
付記３に記載の映像検索装置であって、
前記時間情報は、前記事象情報に含まれる事象の発生順序に従って隣り合う事象間毎の時間間隔を含み、
前記検索部は、前記対象映像から前記事象情報に含まれる所定の事象を検索する毎に、当該検索した所定の事象に対して発生順序に従って隣り合う他の事象との前記時間間隔に基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索装置。
（付記６）
付記１乃至５のいずれかに記載の映像検索装置であって、
前記決定部は、検索された事象と前記時間情報とに基づいて前記シーン情報に対応する前記対象映像中の前記映像区間を決定する、
映像検索装置。
（付記７）
付記１乃至６のいずれかに記載の映像検索装置であって、
前記決定部は、前記事象情報内の事象と検索された事象とに基づいて、決定した前記映像区間の信頼度を算出する、
映像検索装置。
（付記８）
付記７に記載の映像検索装置であって、
前記決定部は、前記事象情報内の事象のうち検索された事象が多いほど、決定した前記映像区間の前記信頼度の値が高くなるよう算出する、
映像検索装置。
（付記９）
映像シーンを構成する複数の事象を含む事象情報と、前記映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、前記時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で前記対象映像から前記事象情報に含まれる事象を検索し、
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する、
映像検索方法。
（付記９．１）
付記９に記載の映像検索方法であって、
前記時間情報は、前記事象情報に含まれる事象間の時間間隔を含み、
前記対象映像から前記事象情報に含まれる所定の事象を検索すると共に、当該検索した所定の事象と前記時間間隔とに基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を検索する、
映像検索方法。
（付記９．２）
付記９．１に記載の映像検索方法であって、
前記事象情報は、複数の事象の発生順序を含み、
前記対象映像から前記事象情報に含まれる所定の事象を検索すると共に、当該検索した所定の事象と前記時間間隔とに基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索方法。
（付記９．３）
付記９．２に記載の映像検索方法であって、
前記事象情報は、複数の事象のうち特定の事象がキー事象として設定されており、
前記時間情報は、前記事象情報に含まれる前記キー事象に対する他の事象毎の時間間隔を含み、
前記対象映像から前記事象情報に含まれる前記キー事象を検索すると共に、当該検索したキー事象に対して設定された前記時間間隔に基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索方法。
（付記９．４）
付記９．２に記載の映像検索方法であって、
前記時間情報は、前記事象情報に含まれる事象の発生順序に従って隣り合う事象間毎の時間間隔を含み、
前記対象映像から前記事象情報に含まれる所定の事象を検索する毎に、当該検索した所定の事象に対して発生順序に従って隣り合う他の事象との前記時間間隔に基づいて前記対象映像に対する事象の検索範囲を設定し、設定した検索範囲でさらに前記対象映像から前記事象情報に含まれる他の事象を前記発生順序に従って検索する、
映像検索方法。
（付記９．５）
付記９乃至９．４のいずれかに記載の映像検索方法であって、
検索された事象と前記時間情報とに基づいて前記シーン情報に対応する前記対象映像中の前記映像区間を決定する、
映像検索方法。
（付記９．６）
付記９乃至９．５のいずれかに記載の映像検索方法であって、
前記事象情報内の事象と検索された事象とに基づいて、決定した前記映像区間の信頼度を算出する、
映像検索方法。
（付記９．７）
付記９．６に記載の映像検索方法であって、
前記事象情報内の事象のうち検索された事象が多いほど、決定した前記映像区間の前記信頼度の値が高くなるよう算出する、
映像検索方法。
（付記１０）
映像シーンを構成する複数の事象を含む事象情報と、前記映像シーンに対して設定された時間を表す時間情報と、を含むシーン情報を用いて、前記時間情報に基づいて対象映像に対する事象の検索範囲を設定すると共に、設定した検索範囲で前記対象映像から前記事象情報に含まれる事象を検索し、
事象の検索結果に基づいて、検索対象となる前記シーン情報に対応する前記対象映像中の映像区間を決定する、
処理をコンピュータに実行させるためのプログラム。
【符号の説明】
【0061】
１０ 映像検索装置
１１ 取得部
１２ 検索部
１３ 決定部
１６ 映像記憶部
１７ シーン条件記憶部
１００ 映像検索装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム群
１０５ 記憶装置
１０６ ドライブ装置
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス
１１０ 記憶媒体
１１１ 通信ネットワーク
１２１ 検索部
１２２ 決定部
１１ 取得部
１２ 検索部
１３ 決定部
１６ 映像記憶部
１７ シーン条件記憶部
１００ 映像検索装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム群
１０５ 記憶装置
１０６ ドライブ装置
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス
１１０ 記憶媒体
１１１ 通信ネットワーク
１２１ 検索部
１２２ 決定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
