知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025015471
(43)【公開日】2025-01-30
(54)【発明の名称】関係抽出装置、関係抽出方法、およびプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20250123BHJP
H04N 23/60 20230101ALI20250123BHJP
G06T 7/20 20170101ALI20250123BHJP
【ＦＩ】
H04N7/18 D
H04N23/60 300
H04N7/18 K
G06T7/20 300
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024113789
(22)【出願日】2024-07-17
(31)【優先権主張番号】10202302053T
(32)【優先日】2023-07-20
(33)【優先権主張国・地域又は機関】SG
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(71)【出願人】
【識別番号】517435434
【氏名又は名称】ナショナル ユニバーシティー オブ シンガポール
【氏名又は名称原語表記】Ｎａｔｉｏｎａｌ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｉｎｇａｐｏｒｅ
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】ステファン カレン
(72)【発明者】
【氏名】山崎 智史
(72)【発明者】
【氏名】劉 健全
(72)【発明者】
【氏名】シェオラン リシャブ
(72)【発明者】
【氏名】黄 永康
(72)【発明者】
【氏名】カンカンハリ モハン
【テーマコード（参考）】
5C054
5C122
5L096
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054FC12
5C054FC13
5C054FC14
5C054FC15
5C054GB01
5C054HA19
5C122DA03
5C122DA11
5C122FH11
5C122GA34
5C122HB01
5L096BA02
5L096CA04
5L096DA02
5L096HA02
(57)【要約】 （修正有）
【課題】注目イベントに関連する情報を提供するための新規な技術を提供する。
【解決手段】関係抽出装置は、注目イベントの特徴を示すイベント情報を取得し、注目イベントの１つ以上の特徴に基づいて対象期間を決定し、対象期間中に存在する１つ以上の動作関連関係を物体関係情報から抽出する。物体関係情報は、動作関連関係が存在する時点又は期間と対応づけて、物体間の２つ以上の動作関連関係を示す。
【選択図】図１
【解決手段】関係抽出装置は、注目イベントの特徴を示すイベント情報を取得し、注目イベントの１つ以上の特徴に基づいて対象期間を決定し、対象期間中に存在する１つ以上の動作関連関係を物体関係情報から抽出する。物体関係情報は、動作関連関係が存在する時点又は期間と対応づけて、物体間の２つ以上の動作関連関係を示す。
【選択図】図１
【特許請求の範囲】
【請求項1】
注目イベントの１つ以上の特徴を示すイベント情報を取得し、
前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定し、前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出し、前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、関係抽出装置。
前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定し、前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出し、前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、関係抽出装置。
【請求項2】
前記注目イベントの前記１つ以上の特徴は、前記注目イベントのタイプおよび前記イベント時間を含み、
前記対象期間の前記決定は、
前記注目イベントの前記タイプに基づいて、前記対象期間の前記開始時点から前記イベント時間までの時間の長さを決定することによって前記対象期間の開始時点を決定することと、
前記注目イベントの前記タイプに基づいて、前記イベント時間から前記対象期間の前記終了時点までの時間の長さを決定することによって前記対象期間の終了時点を決定することと、を含む、請求項１に記載の関係抽出装置。
前記対象期間の前記決定は、
前記注目イベントの前記タイプに基づいて、前記対象期間の前記開始時点から前記イベント時間までの時間の長さを決定することによって前記対象期間の開始時点を決定することと、
前記注目イベントの前記タイプに基づいて、前記イベント時間から前記対象期間の前記終了時点までの時間の長さを決定することによって前記対象期間の終了時点を決定することと、を含む、請求項１に記載の関係抽出装置。
【請求項3】
前記対象期間の前記決定は、
イベントの２つ以上のタイプそれぞれについて前記イベントの前記タイプと期間の長さとの対応を示す期間情報を取得することと、
前記注目イベントの前記タイプに対応づけて前記期間情報によって示される前記期間の長さに基づいて、前記対象期間の前記開始時点と前記対象期間の前記終了時点とを決定することと、を含む、請求項２に記載の関係抽出装置。
イベントの２つ以上のタイプそれぞれについて前記イベントの前記タイプと期間の長さとの対応を示す期間情報を取得することと、
前記注目イベントの前記タイプに対応づけて前記期間情報によって示される前記期間の長さに基づいて、前記対象期間の前記開始時点と前記対象期間の前記終了時点とを決定することと、を含む、請求項２に記載の関係抽出装置。
【請求項4】
前記対象期間の前記決定は、
正の実数値である調整係数を取得することと、
前記調整係数に基づいて、前記対象期間の前記開始から前記イベント時間までの前記時間の長さ、前記イベント時間から前記対象期間の前記終了までの前記時間の長さ、またはその両方を調整することと、を含む、請求項３に記載の関係抽出装置。
正の実数値である調整係数を取得することと、
前記調整係数に基づいて、前記対象期間の前記開始から前記イベント時間までの前記時間の長さ、前記イベント時間から前記対象期間の前記終了までの前記時間の長さ、またはその両方を調整することと、を含む、請求項３に記載の関係抽出装置。
【請求項5】
前記調整係数は、前記注目イベントがユーザにとってどれほど曖昧であるか、前記注目イベントがユーザにとってどれほど重要であるか、または前記ユーザが前記注目イベントにどれほど興味があるかを表すパラメータによって決定される、請求項４に記載の関係抽出装置。
【請求項6】
前記動作関連関係の前記抽出は、前記対象期間中に存在し、かつ、前記注目イベントに関連する物体を含む１つ以上の動作関連関係を、前記物体関係情報から抽出することを含む、請求項１から４のいずれか一項に記載の関係抽出装置。
【請求項7】
前記物体関係情報は、１つ以上のビデオフレームから前記動作関連関係のそれぞれを検出することによって生成され、
前記少なくとも１つのプロセッサは、前記命令を実行して、さらに、
前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１つ以上のビデオフレームを含む出力情報を出力する、
ように構成される、請求項１から４のいずれか一項に記載の関係抽出装置。
前記少なくとも１つのプロセッサは、前記命令を実行して、さらに、
前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１つ以上のビデオフレームを含む出力情報を出力する、
ように構成される、請求項１から４のいずれか一項に記載の関係抽出装置。
【請求項8】
前記出力情報は、前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１以上の所定数のビデオフレームを含む、請求項７に記載の関係抽出装置。
【請求項9】
注目イベントの１つ以上の特徴を示すイベント情報を取得することを含み、
前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定することを含み、前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出することを含み、前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、関係抽出方法。
前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定することを含み、前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出することを含み、前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、関係抽出方法。
【請求項10】
プログラムであって、
コンピュータに、
注目イベントの１つ以上の特徴を示すイベント情報を取得することをコンピュータに実行させ、
前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定することをコンピュータに実行させ、前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出することを実行させ、前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、プログラム。
コンピュータに、
注目イベントの１つ以上の特徴を示すイベント情報を取得することをコンピュータに実行させ、
前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定することをコンピュータに実行させ、前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出することを実行させ、前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、全体として、関係抽出装置、関係抽出方法、および記憶媒体に関する。
【背景技術】
【0002】
注目イベントの情報を提供する技術が存在する。特許文献１は、ソースビデオからイベントの一部である重要なシーンを検出し、そのシーンについてのキーフレームを抽出する技術を開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際特許公開第２００１／０３３８６３号
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１によって提供されるキーフレームは、イベントの一部を表す。このため、特許文献１は、イベントに含まれない情報は提供しない。本開示の目的は、注目イベントに関連する情報を提供するための新規な技術を提供することである。
【課題を解決するための手段】
【0005】
本開示は関係抽出装置を提供し、当該関係抽出装置は、命令を記憶するように構成された少なくとも１つのメモリと、少なくとも１つのプロセッサとを備える。少なくとも１つのプロセッサは、命令を実行して、注目イベントの１つ以上の特徴を示すイベント情報を取得し、前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定し、前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出し、前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、ように構成される。
【0006】
本開示は関係抽出方法を提供し、当該関係抽出方法は、注目イベントの１つ以上の特徴を示すイベント情報を取得することを含み、前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定することを含み、前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出することを含み、前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す。
【0007】
本開示は、プログラムが格納される記憶媒体を提供し、当該プログラムは、コンピュータに、注目イベントの１つ以上の特徴を示すイベント情報を取得することをコンピュータに実行させ、前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定することを含み、前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出することをコンピュータに実行させ、前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す。
【発明の効果】
【0008】
本開示によれば、注目イベントに関連する情報を提供する新規の技術が提供される。
【図面の簡単な説明】
【0009】
【図1】関係抽出装置の概要を示す図である。
【図2】関係抽出装置の機能構成の一例を示すブロック図である。
【図3】関係抽出装置を実現するコンピュータのハードウェア構成の一例を示すブロック図である。
【図4】関係抽出装置によって実行される処理の例示的なフローを示すフローチャートである。
【図5】物体関係情報の例示的な構造をテーブル形式で示す図である。
【図6】物体情報の例示的な構造をテーブル形式で示す図である。
【図7】シーングラフの一例を示す図である。
【図8】物体関係情報生成装置によって実行される処理のフローを示すフローチャートである。
【図9】期間情報の例示的な構造をテーブル形式で示す図である。
【図10】イベントのタイプに関連して事前に定義された時間の長さに基づいて決定される対象期間を示す図である。
【図11】出力部を含む関係抽出装置２０００の機能構成の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本開示の例示的な実施形態が図面を参照して詳細に記載される。図面では、同じまたは相当する要素は同じ参照符号によって表記され、説明を明確にするために重複する説明は必要に応じて省略される。特に明記しない限り、所定の情報（例えば、所定の値または所定の閾値）は、その情報を使用するコンピュータがアクセス可能な記憶装置にあらかじめ記憶されている。さらに、特に明記しない限り、記憶部は１つ以上の記憶装置によって構成される。
【0011】
＜概要＞
図１は、関係抽出装置２０００の概要を示す。図１に示された概要は、関係抽出装置２０００を理解しやすくするために、関係抽出装置２０００の動作の一例を示しており、関係抽出装置２０００の可能な動作の範囲を限定または縮小するものではない。
図１は、関係抽出装置２０００の概要を示す。図１に示された概要は、関係抽出装置２０００を理解しやすくするために、関係抽出装置２０００の動作の一例を示しており、関係抽出装置２０００の可能な動作の範囲を限定または縮小するものではない。
【0012】
関係抽出装置２０００は、物体関係情報２０から、注目イベントに関連すると予測される物体間の１つ以上の経時的な動作関連関係を抽出するために使用される。物体関係情報２０は、物体間の２つ以上の経時的な動作関連関係のシーケンスを表し、それらの各々は、１つ以上のビデオフレームから検出された、或る時点または或る期間中に存在する物体間の動作関連関係である。
【0013】
経時的な動作関連関係は、１）動作のタイプ、２）動作の主体、３）動作の客体、および４）動作が行われた時間の組合せによって表されうる。時点Ｔ１からＴ２まで人物Ｐ１が店舗商品Ｉ１を手に取っている動作関連関係があるとする。物体関係情報２０は、１）動作のタイプ：手に取る、２）主体：人物Ｐ１、３）客体：店舗商品Ｉ１、および４）時間：Ｔ１からＴ２の組合せによってこの関係を表すことができる。
【0014】
注目イベントは動作関連イベントであり、それは物体によって取られた１つ以上の動作が関与する任意のタイプのイベントである。動作関連イベントのタイプは、犯罪イベント（例えば、万引きや荷物の窃盗）、事故（例えば、自動車事故や荷物の置き忘れ）、スポーツイベント（例えば、サッカーの試合におけるゴールイベントや野球の試合におけるホームラン）、ならびに顧客イベント（例えば、購買）を含みうる。
【0015】
動作関連関係は、少なくとも、注目イベントに関連する或る期間中に動作関連関係が存在するときに、注目イベントに関連すると予測される。以下、注目イベントに関連する期間は「対象期間」と呼ばれる。
【0016】
注目イベントに関連する動作関連関係を抽出するために、関係抽出装置２０００は、イベント情報１０を取得して対象期間を決定する。イベント情報１０は、注目イベントの特徴を特定することができる情報を含む。
【0017】
注目イベントの特徴は、注目イベントが発生した時間を含む。以下、注目イベントが発生した時間は「イベント時間」とも呼ばれる。イベント時間は、特定の時点または特定の期間によって表されうる。注目イベントの特徴は、購買、万引きなどの注目イベントのタイプも含む。
【0018】
関係抽出装置２０００は、イベント時間および注目イベントのタイプに基づいて対象期間を決定する。対象期間は、その一部としてイベント時間を含む。例えば、期間の長さは、イベントのタイプごとに事前に定義されうる。この場合、関係抽出装置２０００は、注目イベントのタイプに対応する、事前に定義された期間の長さを決定する。次いで、関係抽出装置２０００は、イベント時間が含まれる期間であって、かつ、注目イベントのタイプに対応する事前に定義された期間の長さに基づいてその長さが定まる期間を、対象期間として決定する。
【0019】
対象期間に基づいて、関係抽出装置２０００は、注目イベントに関連する動作関連関係を物体関係情報２０から探索することで、それらを抽出する。具体的には、対象期間中に存在する動作関連関係が、物体関係情報２０から抽出される。
【0020】
＜作用効果の例＞
上述されたように、関係抽出装置２０００は、イベント情報１０によって示された注目イベントの特徴に基づいて、その一部としてイベント時間を含む対象期間を決定する。次いで、関係抽出装置２０００は、物体関係情報２０から、注目イベントに関連する動作関連関係として、対象期間中に存在する動作関連関係を抽出する。
上述されたように、関係抽出装置２０００は、イベント情報１０によって示された注目イベントの特徴に基づいて、その一部としてイベント時間を含む対象期間を決定する。次いで、関係抽出装置２０００は、物体関係情報２０から、注目イベントに関連する動作関連関係として、対象期間中に存在する動作関連関係を抽出する。
【0021】
関係抽出装置２０００の上述された動作によれば、注目イベントに関連する情報を提供する新規の技術が提供される。具体的には、対象期間中に存在する動作関連関係は、注目イベントの前に発生したこと、注目イベントの後に発生したこと、またはその両方で発生したことに関する情報を含む。そのため、関係抽出装置２０００は、注目イベントの前に発生したこと、注目イベントの後に発生したこと、またはその両方で発生したことの理解を容易にし、それにより、注目イベントの詳細な理解を容易にする。
【0022】
さらに、関係抽出装置２０００は、注目イベントのタイプなどの注目イベントの特徴に基づいて対象期間を決定する。これにより、関係抽出装置２０００が何の情報を提供するかを決定するために、関係抽出装置２０００が、注目イベントの特徴を考慮することができる。
【0023】
以下、関係抽出装置２０００のより詳細な説明が記載される。
【0024】
＜機能構成の例＞
図２は、関係抽出装置２０００の機能構成の一例を示すブロック図である。関係抽出装置２０００は、決定部２０２０と、抽出部２０４０とを含む。決定部２０２０は、イベント情報１０を取得して、イベント情報１０によって示された注目イベントのタイプおよびイベント時間に基づいて対象期間を決定する。抽出部２０４０は、対象期間中に存在する動作関連関係を、注目イベントに関連する動作関連関係として抽出する。
図２は、関係抽出装置２０００の機能構成の一例を示すブロック図である。関係抽出装置２０００は、決定部２０２０と、抽出部２０４０とを含む。決定部２０２０は、イベント情報１０を取得して、イベント情報１０によって示された注目イベントのタイプおよびイベント時間に基づいて対象期間を決定する。抽出部２０４０は、対象期間中に存在する動作関連関係を、注目イベントに関連する動作関連関係として抽出する。
【0025】
＜ハードウェア構成の例＞
関係抽出装置２０００は、１つ以上のコンピュータによって実現されうる。図３は、関係抽出装置２０００を実現するコンピュータ１０００のハードウェア構成の一例を示すブロック図である。コンピュータ１０００は、任意のタイプのコンピュータでありうる。例えば、コンピュータ１０００は、パーソナルコンピュータ（PC: Personal Computer）やサーバマシンなどの据え置き型コンピュータである。別の例では、コンピュータ１０００は、スマートフォンやテーブル端末などのモバイルコンピュータである。別の例では、コンピュータ１０００は、SoC（System on Chip）などの集積回路である。コンピュータ１０００は、関係抽出装置２０００を実装するために製造された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。
関係抽出装置２０００は、１つ以上のコンピュータによって実現されうる。図３は、関係抽出装置２０００を実現するコンピュータ１０００のハードウェア構成の一例を示すブロック図である。コンピュータ１０００は、任意のタイプのコンピュータでありうる。例えば、コンピュータ１０００は、パーソナルコンピュータ（PC: Personal Computer）やサーバマシンなどの据え置き型コンピュータである。別の例では、コンピュータ１０００は、スマートフォンやテーブル端末などのモバイルコンピュータである。別の例では、コンピュータ１０００は、SoC（System on Chip）などの集積回路である。コンピュータ１０００は、関係抽出装置２０００を実装するために製造された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。
【0026】
関係抽出装置２０００は、コンピュータ１０００にアプリケーションをインストールすることによって実現されうる。アプリケーションは、関係抽出装置２０００としてコンピュータ１０００を機能させるプログラムで実装される。言い換えれば、プログラムは、関係抽出装置２０００の機能構成部の実装形態である。
【0027】
プログラムを取得するには様々な方法がある。例えば、プログラムは、プログラムが記憶されている記憶媒体（例えば、DVD ディスクまたは USB メモリ）から取得されうる。別の例では、プログラムは、プログラムを記憶する記憶媒体を管理するサーバからダウンロードされうる。
【0028】
図３では、コンピュータ１０００は、バス１０２０と、プロセッサ１０４０と、メモリ１０６０と、ストレージデバイス１０８０と、入出力（I/O: Input/Output）インタフェース１１００と、ネットワークインタフェース１１２０とを含む。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、およびネットワークインタフェース１１２０が相互にデータを送受信するためのデータ伝送チャネルである。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、DSP（Digital Signal Processor）、又は FPGA（Field-Programmable Gate Array）などといったプロセッサである。メモリ１０６０は、RAM（Random Access Memory）や ROM（Read Only Memory）などといった主記憶要素である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、またはメモリカードなどの補助記憶要素である。入出力インタフェース１１００は、コンピュータ１０００と、キーボード、マウス、またはディスプレイ装置などの周辺機器との間のインタフェースである。ネットワークインタフェース１１２０は、コンピュータ１０００とネットワークとの間のインタフェースである。ネットワークは、LAN（Local Area Network）又は WAN（Wide Area Network）でありうる。
【0029】
プロセッサ１０４０は、上述されたプログラムの命令をストレージデバイス１０８０からメモリ１０６０にロードし、それらの命令を実行してコンピュータ１０００を関係抽出装置２０００として動作させるように構成されうる。
【0030】
コンピュータ１０００のハードウェア構成は、図３によって示されたものに限定されない。例えば、上述されたように、関係抽出装置２０００は、複数のコンピュータの組合せとして実現されうる。この場合、それらのコンピュータは、ネットワークを介して互いに接続されうる。
【0031】
＜処理の流れ＞
図４は、関係抽出装置２０００によって実行される処理の例示的なフローを示すフローチャートである。決定部２０２０は、イベント情報１０を取得する（Ｓ１０２）。決定部２０２０は、注目イベントの特徴に基づいて対象期間を決定する（Ｓ１０４）。抽出部２０４０は、対象期間中に存在する動作関連関係を抽出する（Ｓ１０６）。
図４は、関係抽出装置２０００によって実行される処理の例示的なフローを示すフローチャートである。決定部２０２０は、イベント情報１０を取得する（Ｓ１０２）。決定部２０２０は、注目イベントの特徴に基づいて対象期間を決定する（Ｓ１０４）。抽出部２０４０は、対象期間中に存在する動作関連関係を抽出する（Ｓ１０６）。
【0032】
＜物体関係情報２０について＞
上述されたように、物体関係情報２０は、物体間の２つ以上の動作関連関係を表す。物体関係情報２０は、関係抽出装置２０００または別の装置によって生成されうる。以下、物体関係情報２０を生成する装置は「物体関係情報生成装置」と呼ばれる。
上述されたように、物体関係情報２０は、物体間の２つ以上の動作関連関係を表す。物体関係情報２０は、関係抽出装置２０００または別の装置によって生成されうる。以下、物体関係情報２０を生成する装置は「物体関係情報生成装置」と呼ばれる。
【0033】
物体関係情報生成装置は、それぞれがカメラによって生成されたビデオフレームの１つ以上のシーケンス（言い換えれば、１つ以上のビデオデータ）に基づいて、物体関係情報２０を生成する。具体的には、物体関係情報生成装置は、ビデオフレームに撮像されたシーンを解析し、ビデオフレームに撮像された物体間の動作関連関係を検出し、それによって物体関係情報２０が生成される。
【0034】
ビデオデータを取得するには様々な方法がありうる。例えば、カメラは、物体関係情報生成装置にビデオデータを送信するように構成される。この場合、物体関係情報生成装置は、カメラによって送信されたビデオデータを受信してビデオデータを取得する。
【0035】
別の例では、カメラは、ビデオフレームを生成すると、物体関係情報生成装置にビデオフレームを送信するように構成される。この場合、物体関係情報生成装置は、カメラによって送信されたビデオフレームを受信して、受信されたビデオフレームからビデオデータを生成する。
【0036】
別の例では、カメラは、物体関係情報生成装置からアクセス可能な記憶部にビデオデータを格納するように構成される。この場合、物体関係情報生成装置は、記憶部からビデオデータを取得する。
【0037】
図５は、物体関係情報２０の例示的な構造をテーブル形式で示す。図５では、物体関係情報２０はテーブル１００によって表される。テーブル１００は、「主体１０２」、「客体１０４」、「動作１０６」、および「期間１０８」という名称の列を有する。動作１０６は動作のタイプを示す。主体１０２は、対応する動作を行う物体の識別子を示す。客体１０４は、対応する主体が対応する動作を取る対象である物体の識別子を示す。期間１０８は、対応する動作関連関係がいつからいつまで存在するかを示す。具体的には、期間１０８は、「開始時点１１０」および「終了時点１１２」という名称の２つの列から構成される。開始時点１１０は、対応する動作関連関係が始まる時点を示す。終了時点１１２は、対応する動作関連関係が終わる時点を示す。
【0038】
主体１０２および客体１０４は、物体の識別子によって表される。各物体の識別子は、同様に物体関係情報生成装置によってビデオデータから生成された「物体情報」と呼ばれる別の情報によって定義されうる。物体情報は、ビデオデータから検出された物体のそれぞれに、物体の識別子および物体のタイプ（例えば、人、店舗商品、バッグなど）を示しうる。
【0039】
ビデオデータでは、各物体の位置が変化する場合がある。したがって、物体情報は、物体ごとに時点および位置のペアを示すことが好ましい。言い換えれば、物体情報は、物体ごとの位置の時系列を示す。
【0040】
物体の位置を表すには様々な方法がありうる。例えば、物体の位置は、物体が位置するビデオフレーム上の座標によって表されうる。物体関係情報生成装置が２つ以上のビデオデータを扱うとき、物体の位置は、カメラ識別子および物体が位置するビデオフレーム上の座標のペアによって表されうる。
【0041】
別の例では、物体の位置は、１つ以上のカメラによって撮像された領域の地図上の座標によって表されうる。地図は、２次元地図であってもよいし、３次元地図であってもよい。
【0042】
この場合、物体関係情報生成装置は、物体が位置するビデオフレーム上の座標を地図上の座標に変換する。地図を使用することにより、互いに異なるカメラによって撮像された物体の位置を、統一された座標空間上の座標によって表すことができる。加えて、地図を使用することにより、物体関係情報生成装置が、その視野を変更することが可能なカメラ（例えば、パンチルトズームカメラ）を扱えるようになる。
【0043】
図６は、物体情報の例示的な構造をテーブル形式で示す。図６では、物体情報はテーブル２００によって表される。テーブル２００は、「識別子２０２」、「タイプ２０４」、および「位置２０６」という名称の列を含む。識別子２０２は、対応する物体に割り当てられた識別子を示す。タイプ２０４は、対応する物体のタイプを示す。位置２０６は、対応する物体についての時点および位置のペアのシーケンスを示す。
【0044】
ある時点の物体間の動作関連関係はシーングラフによって表すこともでき、シーングラフは各物体をノードによって表し、物体間の動作関連関係をエッジによって表す。物体関係情報２０は、シーングラフのシーケンスを表すと言える。したがって、関係抽出装置２０００は、シーングラフから注目イベントに関連する動作関連関係のシーケンスを探索するために利用することができる。
【0045】
図７は、シーングラフの一例を示す。図７に示された例では、識別子００１が割り当てられた人物、識別子００２が割り当てられたバッグ、および識別子００３が割り当てられた別の人物という３つの物体が検出される。したがって、シーングラフ６０は、それぞれ、人物００１、バッグ００２、および人物００３を表す３つのノードを含む。
【0046】
人物００１およびバッグ００２は、「置く」でタグ付けされ、かつ、人物００１からバッグ００２に向かうエッジによって、互いに接続される。この動作関連関係は、人物００１がバッグ００２を置くことを表す。人物００３は何とも接続されていない。これは、人物００３が何の動作も行わないことを意味する。
【0047】
物体関係情報生成装置は、ビデオデータから物体関係情報２０を生成する。例えば、ビデオデータに含まれるビデオフレームの１つごとに、物体関係情報生成装置は、物体検出を実行して物体情報を生成し、次いで、物体検出を介して検出された物体についての動作関連関係を検出する。
【0048】
図８は、物体関係情報生成装置によって実行される処理のフローを示すフローチャートである。物体関係情報生成装置は、物体情報および物体関係情報２０を初期化する。
【0049】
ステップＳ２０４からＳ２１０は、ビデオデータに含まれるビデオフレームごとに実行されるループ処理Ｌ１を構成する。ステップＳ２０４において、物体関係情報生成装置は、すべてのビデオフレームに対してループ処理Ｌ１が実行されたか否かを判定する。すべてのビデオフレームに対してループ処理Ｌ１が実行された場合、ループ処理Ｌ１は終了する。
【0050】
まだすべてのビデオフレームに対してはループ処理Ｌ１が実行されていない場合、物体関係情報生成装置は、ループ処理Ｌ１が次に実行されるべきビデオフレームを選択する。ここで選択されたビデオフレームは、ループ処理Ｌ１がまだ実行されていないビデオフレームのうち、生成時間が最も早い（例えば、フレーム番号が最も小さい）ビデオフレームである。ここで選択されたビデオフレームは、「ビデオフレームｉ」と表記される。
【0051】
物体関係情報生成装置は、ビデオフレームｉに対して物体検出を実行して、ビデオフレームｉから物体を検出し、物体情報を更新する（Ｓ２０６）。ビデオフレームｉから検出された物体が、先行するビデオフレームから検出されていなかったとき、物体関係情報生成装置は、この物体に新しい識別子を割り当て、この物体に関する新しいレコードを物体情報に追加する。ビデオフレームｉから検出された物体が、先行するビデオフレームから検出されていたとき、物体関係情報生成装置は、この物体の時点および位置のペアをレコードに追加することにより、物体情報内のこの物体のレコードを更新する。このペアの時点は、ビデオフレームｉが生成された時点を表す。このペアの位置は、ビデオフレームｉ上の物体の位置を表す。
【0052】
物体関係情報生成装置は、ビデオフレームｉから検出された物体間の動作関連関係の検出を実行して物体関係情報２０を更新する（Ｓ２０８）。ビデオフレームｉから検出された特定の物体間の動作関連関係がビデオフレーム（ｉ－１）からも検出された場合、物体関係情報生成装置は、この関係の期間を増加させるように、物体関係情報２０内のこの動作関連関係のレコードを更新する。一方、ビデオフレームｉから検出された特定の物体間の動作関連関係がビデオフレーム（ｉ－１）から検出されなかった場合、物体関係情報生成装置は、この関係に関して新しいレコードを生成し、物体関係情報２０にこのレコードを追加する。
【0053】
ステップ２１０は、ループ処理Ｌ１の終了である。したがって、物体関係情報生成装置は、次にステップＳ２０４を実行する。
【0054】
＜イベント情報１０について＞
イベント情報１０は、注目イベントの特徴を特定することができる情報を示す。上述されたように、注目イベントの特徴は、注目イベントのタイプと、注目イベントが発生した時間であるイベント時間とを含む。このように、イベント情報１０は、注目イベントのタイプおよびイベント時間を示す。
イベント情報１０は、注目イベントの特徴を特定することができる情報を示す。上述されたように、注目イベントの特徴は、注目イベントのタイプと、注目イベントが発生した時間であるイベント時間とを含む。このように、イベント情報１０は、注目イベントのタイプおよびイベント時間を示す。
【0055】
加えて、イベント情報１０は、注目イベントに関連する物体を示すことができる。注目イベントに関連する物体は、注目イベントに関与する動作の主体と、注目イベントに関与する動作の客体とを含む。注目イベントが、「時点ｔ１において、物体００１（人物）が物体００２（店舗商品）を購入した」という購買であるとする。この場合、注目イベントに関連する物体は、物体００１および物体００２である。イベント情報１０は、１）イベントのタイプ＝購買、２）イベント時間＝ｔ１、３）購入者＝物体００１、および４）購入品＝物体００２を示すことができる。
【0056】
いくつかの実施態様では、注目イベントは、動作関連状況のシーケンスによって表され、それらのそれぞれは、特定の主体が特定の客体に対して特定の動作を行う状況である。この場合、イベント情報１０は、注目イベントに関与する動作の主体および注目イベントに関与する動作の客体を、注目イベントに関連する物体として示すことができる。
【0057】
例えば、注目イベントが購買であるとき、このイベントは以下のように表されうる。
１．物体００１（人物）が時点ｔ１に物体００２（店舗商品）を手に取る。
２．物体００１（人物）が時点ｔ２からｔ３まで物体００３（レジ）の前に立っている。
３．物体００１（人物）が時点ｔ４に物体００４（店舗の出口）を通過する。
１．物体００１（人物）が時点ｔ１に物体００２（店舗商品）を手に取る。
２．物体００１（人物）が時点ｔ２からｔ３まで物体００３（レジ）の前に立っている。
３．物体００１（人物）が時点ｔ４に物体００４（店舗の出口）を通過する。
【0058】
この場合、注目すべき物体は、物体００１、物体００２、物体００３、および物体００４を含みうる。イベント情報１０は、１）イベントのタイプ＝購買、２）イベント時間＝ｔ１からｔ４、３）購入者＝物体００１、４）購入品＝物体００２、５）レジ＝物体００３、および６）出口＝物体００４を示すことができる。
【0059】
ここで、イベント情報１０は、必ずしも注目イベントに関連するすべての物体を示すとは限らない。具体的には、イベント情報１０は、注目イベントに関連する特定のタイプの物体のみを示しうる。例えば、上述された購買に関して、イベント情報１０は、購入者および１つ以上の購入品のみを示す場合があり、レジまたは出口を示さない場合がある。イベント情報１０によって示されるべき物体のタイプは、イベントのタイプごとに事前に定義されていてもよい。
【0060】
＜イベント情報１０の取得：Ｓ１０２＞
決定部２０２０がイベント情報１０を取得する（Ｓ１０２）。決定部２０２０がイベント情報１０を取得するための様々方法があり得る。例えば、イベント情報１０は、関係抽出装置２０００からアクセス可能な記憶部にあらかじめ記憶されている。この場合、決定部２０２０は、この記憶部からイベント情報１０を読み取ってイベント情報１０を取得する。別の例では、他の装置が関係抽出装置２０００にイベント情報１０を送信する。この場合、決定部２０２０は、イベント情報１０を受信してイベント情報１０を取得する。
決定部２０２０がイベント情報１０を取得する（Ｓ１０２）。決定部２０２０がイベント情報１０を取得するための様々方法があり得る。例えば、イベント情報１０は、関係抽出装置２０００からアクセス可能な記憶部にあらかじめ記憶されている。この場合、決定部２０２０は、この記憶部からイベント情報１０を読み取ってイベント情報１０を取得する。別の例では、他の装置が関係抽出装置２０００にイベント情報１０を送信する。この場合、決定部２０２０は、イベント情報１０を受信してイベント情報１０を取得する。
【0061】
決定部２０２０がイベント情報１０を取得する（言い換えれば、図４によって示された処理の実行を開始する）ための様々なトリガがありうる。例えば、関係抽出装置２０００は、注目イベントに関連する動作関連関係に関する情報を提供することのリクエストを受信し、リクエストに応じてイベント情報１０を取得する。この場合、リクエストは、取得されるべきイベント情報１０を特定できる情報を含む。
【0062】
例えば、リクエストは、イベント情報１０を含む。この場合、決定部２０２０は、リクエストからイベント情報１０を抽出することによって、イベント情報１０を取得する。
【0063】
別の例では、リクエストは、取得されるべきイベント情報１０の識別子を指定する。例えばイベント情報１０が、ファイルとして記憶部に記憶されているとする。この場合、リクエストは、取得されるべきイベント情報１０のファイル名を指定する。決定部２０２０は、イベント情報１０として、記憶部から、指定された名称を有するファイルを取得する。
【0064】
関係抽出装置２０００にリクエストを提供するには様々な方法がありうる。例えば、関係抽出装置２０００のユーザは、関係抽出装置２０００に取り付けられた入力デバイスを操作して、リクエストを入力する。別の例では、ユーザは、クライアント端末などの別の装置を操作して、その装置から関係抽出装置２０００にリクエストを送信する。
【0065】
リクエストは、必ずしもユーザ入力に基づいて生成されるとは限らない。いくつかの実施態様では、ビデオデータから特定のイベントを検出するように構成された、「イベント検出装置」と呼ばれる装置が存在する。この場合、イベント検出装置によって検出されたイベントが注目イベントとして扱われる。イベント検出装置は、イベント検出装置によって検出されたイベントに関連する動作関連関係に関する情報を提供することのリクエストを生成し、関係抽出装置２０００にリクエストを送信する。
【0066】
＜対象期間の決定：Ｓ１０４＞
決定部２０２０は、イベント情報１０に基づいて対象期間を決定する（Ｓ１０４）。いくつかの実施態様では、期間の長さが、イベントのタイプごとに事前に定義されうる。これにより、関係抽出装置２０００が、注目イベントのタイプを考慮して、関係抽出装置２０００が何の情報を提供するかを決定できるようになる。
決定部２０２０は、イベント情報１０に基づいて対象期間を決定する（Ｓ１０４）。いくつかの実施態様では、期間の長さが、イベントのタイプごとに事前に定義されうる。これにより、関係抽出装置２０００が、注目イベントのタイプを考慮して、関係抽出装置２０００が何の情報を提供するかを決定できるようになる。
【0067】
この場合、イベントの各タイプが期間の長さを示すデータと対応づけられている「期間情報」と呼ばれる情報が存在する。図９は、期間情報の例示的な構造をテーブル形式で示す。図９では、期間情報はテーブル３００によって表される。テーブル３００は、「タイプ３０２」および「期間３０４」の列を含む。タイプ３０２は、イベントのタイプを示す。期間３０４は、イベントのタイプに対応する期間の長さを表すデータを示す。
【0068】
期間３０４は、「先行期間３０６」および「後続期間３０８」の２つの列を含む。先行期間３０６は、対象期間に含まれ、かつ、イベント時間に先行する期間の長さを表すデータを示す。後続期間３０８は、対象期間に含まれ、イベント時間に後続する期間の長さを表すデータを示す。
【0069】
先行期間３０６、後続期間３０８、またはその両方は、秒、分、または時間などの典型的な時間単位によって期間の長さを示しうる。例えば、図９によって示されたテーブル３００の最初の行は、「先行期間：１０分」および「後続期間：５分」を示す。
【0070】
図１０は、イベントのタイプに関連して事前に定義された時間の長さに基づいて決定される対象期間を示す。イベント情報１０は、１）注目イベントのタイプが万引きであり、２）イベント時間が「2023/6/20 15:20」から「2023/6/20 15:13」までであることを示す。期間情報は、「タイプ：万引き」を「先行期間：１０分」および「後続期間：５分」と関連付ける。
【0071】
注目イベントの開始時点が「2023/6/20 15:10」であり、先行期間の長さが１０分であるため、対象期間の開始時点は「2023/6/20 15:10」であると決定される。加えて、注目イベントの終了時点が「2023/6/20 15:13」であり、後続期間の長さが５分なので、対象期間の終了時点は「2023/6/20 15:18」であると決定される。結果として、決定部２０２０は、対象期間を「2023/6/20 15:10」から「2023/6/20 15:18」までであるように決定する。
【0072】
別の例では、先行期間３０６は、対象期間の開始を表す動作関連関係を特定できる条件を使用して、期間の長さを表すことができる。同様に、後続期間３０８は、対象期間の終了を表す動作関連関係を特定できる条件を使用して、期間の長さを表すことができる。
【0073】
注目イベントのタイプが「サッカーの試合におけるゴールイベント」であるとする。この場合、ゴールが決まったときに、関係抽出装置２０００のユーザ（例えば、サッカーの試合のビデオの視聴者）は、そのゴールの前の何らかのプレーに興味をもちうる。したがって、先行期間３０６は、対象期間に含まれるべき１つ以上のプレーを示すことができる。例えば、図９によって示されたテーブル３００の２番目の行は、「先行期間：ゴールの前の１０本のパス」を示す。この場合、決定部２０２０は、ゴールの前の１０本目から最後のパスまでを表す動作関連関係が、対象期間の開始を表す動作関連関係であると特定できる。
【0074】
例えば、図９によって示されたテーブル３００の２番目の行は、「後続期間：ゴールセレブレーション」を示す。この定義により、ゴールセレブレーションは対象期間に含まれるべきである。決定部２０２０は、ゴールセレブレーションの終了を表す動作関連関係が、対象期間の終了を表す動作関連関係であると特定できる。
【0075】
先行期間３０６は、対象期間の開始時に発生すべき特定の動作関連関係を直接示しうる。同様に、後続期間３０８は、対象期間の終了時に発生すべき特定の動作関連関係を直接示しうる。
【0076】
例えば、図９によって示されたテーブル３００の３番目の行は、「タイプ：購買」に関連して「先行期間：購入者が店舗に入る」および「後続期間：購入者が店舗から出る」を示す。この場合、決定部２０２０は、購入者が店舗に入ることを表す動作関連関係を、対象期間の開始を表す動作関連関係として特定できる。同様に、決定部２０２０は、購入者が店舗から出ることを表す動作関連関係を、対象期間の終了を表す動作関連関係として特定できる。
【0077】
＜＜期間の調整＞＞
いくつかの実施態様では、対象期間の長さが調整されうる。例えば、関係抽出装置２０００は、ユーザ入力に基づいて対象期間の長さを調整する。これにより、関係抽出装置２０００がユーザの好みを考慮して対象期間を決定することが可能になる。
いくつかの実施態様では、対象期間の長さが調整されうる。例えば、関係抽出装置２０００は、ユーザ入力に基づいて対象期間の長さを調整する。これにより、関係抽出装置２０００がユーザの好みを考慮して対象期間を決定することが可能になる。
【0078】
例えば、関係抽出装置２０００のユーザは、曖昧度パラメータを指定することができ、曖昧度パラメータは、ユーザにとって注目イベントがどれほど曖昧であるかを表すパラメータである。概念的には、ユーザにとって注目イベントが曖昧であるほど、ユーザは注目イベントを理解するためにより多くの情報を必要とするので、対象期間は長く設定される必要がある。注目イベントが万引きであり、関係抽出装置２０００のユーザが、万引きが発生した店舗の店員であるとする。店員が万引き犯をよく知っている（例えば、この万引き犯がしばしば店舗に来る）場合、注目イベントは店員にとってあまり曖昧でない可能性がある。したがって、店員は、より低い値の曖昧度パラメータを指定する。
【0079】
一方、店員が万引き犯をよく知らない（例えば、これがこの万引き犯がこの店舗に来た最初である）場合、注目イベントは、店員にとって曖昧である可能性がある。したがって、店員は、より高い値の曖昧度パラメータを指定する。
【0080】
別の例では、注目イベントがサッカーの試合におけるゴールイベントであり、関係抽出装置２０００のユーザが試合の視聴者であるとする。ユーザが熱心に試合を見ている場合、ゴールイベントはユーザにとって曖昧ではない。したがって、ユーザは、より低い値の曖昧度パラメータを指定する。一方、ユーザが試合を見ながら友人と話をしている場合、ゴールイベントはユーザにとって曖昧である可能性があり、例えば、ユーザが試合を見ずに友人を見ているときにゴールが得点される。この場合、ユーザは、より高い値の曖昧度パラメータを指定する。
【0081】
決定部２０２０は、曖昧度パラメータに基づいて、先行期間の長さ、後続期間の長さ、またはその両方を調整することができる。先行期間の長さを調整するとき、決定部２０２０は、曖昧度パラメータに基づいて調整係数を決定し、調整パラメータと先行期間３０６によって表される時間の長さを乗算することができる。決定部２０２０は、先行期間の調整された長さを、対象期間の開始時点からイベント時間までの期間の長さとして使用する。調整係数は、事前に定義された範囲内の正の実数値である。
【0082】
同様に、後続期間の長さを調整するとき、決定部２０２０は、調整係数と先行期間３０６によって表される時間の長さを乗算する。次いで、決定部２０２０は、後続期間の調整された長さを、イベント時間から対象期間の終了までの期間の長さとして使用する。
【0083】
調整係数は、曖昧度パラメータそのもの、または事前に定義された関数を使用して曖昧度パラメータを変換することによって得られた値でありうる。後者の場合、決定部２０２０は、事前に定義された関数に曖昧度パラメータを入力し、それによって調整係数が得られる。
【0084】
先行期間３０６が１０分を示し、曖昧度パラメータの事前に定義された範囲が 0.5 から 1.5 までであり、曖昧度パラメータがそのまま調整係数として使用されるとする。先行期間を延長したいユーザは、１より大きい曖昧度パラメータを指定する。例えば、ユーザは、 1.5 の曖昧度パラメータを指定することにより、先行期間を１５分に延長することができる。
【0085】
一方、先行期間を短縮したいユーザは、１より小さい曖昧度パラメータを指定する。例えば、ユーザは、0.5 の曖昧度パラメータを指定することにより、先行期間を５分に短縮することができる。
【0086】
先行期間の長さを調整するための調整係数、および後続期間の長さを調整するための調整係数は、互いに同じであってもよいし、互いに異なっていてもよい。後者の場合、例えば、曖昧度パラメータを先行期間に使用される調整係数に変換する関数、および曖昧度パラメータを後続期間に使用される調整係数に変換する関数は、別々に事前に定義される。
【0087】
対象期間の長さを調整するのは、必ずしも曖昧度パラメータではない。例えば、決定部２０２０は、注目イベントがユーザにとってどれほど重要であるかを表す重要度パラメータをユーザが指定することを可能にする。この場合、調整係数は、重要度が大きいほど大きくなるように設定される。
【0088】
別の例では、決定部２０２０は、ユーザが注目イベントについてどれほど知りたがっているかを表す好奇心パラメータをユーザが指定することを可能にする。この場合、調整係数は、好奇心パラメータが大きいほど大きくなるように設定される。
【0089】
いくつかの実施態様では、関係抽出装置２０００は、注目イベントに関連する物体を含む動作関連関係の時間的な集中に基づいて、対象期間の長さを調整する。以下、注目イベントに関連する物体は「注目物体」と呼ばれる。
【0090】
注目物体に関与される動作関連関係を含む注目イベントの周りの期間が長い（すなわち、注目物体に関与される動作関連関係の時間的な集中が小さい）場合、関係抽出装置２０００のユーザが必要とする情報が時間的に広く拡散する可能性があるので、対象期間は長くなるべきである。一方、注目物体に関与される動作関連関係を含む注目イベントの周りの期間が短い（すなわち、注目物体に関与される動作関連関係の時間的な集中が大きい）場合、関係抽出装置２０００のユーザが必要とする情報が時間的に集中する可能性があるので、対象期間は短くなり得る。
【0091】
具体的には、決定部２０２０は、注目物体に関与される動作関連関係の時間的な集中に基づいて、調整係数を決定する。例えば、決定部２０２０は、注目イベントを含み、かつ、注目物体の少なくとも１つを含む期間の長さを決定する。次いで、決定部２０２０は、この期間の計算された長さと事前に定義された標準的な長さとの比を計算し、この比に基づいて調整係数を決定する。例えば、この比は、そのまま調整係数として使用されてもよい。別の例では、この比を調整係数に変換するために特定の関数が使用される。
【0092】
ここで、注目物体は、注目イベントに関連する１つ以上の物体である。注目物体についてのより詳細な説明は後述される。
【0093】
＜関係の抽出：Ｓ１０６＞
抽出部２０４０は、対象期間に基づいて注目イベントに関連する動作関連関係を抽出する（Ｓ１０６）。具体的には、抽出部２０４０は、「動作関連関係が対象期間中に存在する」という条件を満たす動作関連関係を抽出する。以下、この条件は「第１条件」と呼ばれる。
抽出部２０４０は、対象期間に基づいて注目イベントに関連する動作関連関係を抽出する（Ｓ１０６）。具体的には、抽出部２０４０は、「動作関連関係が対象期間中に存在する」という条件を満たす動作関連関係を抽出する。以下、この条件は「第１条件」と呼ばれる。
【0094】
注目イベントに関連する動作関連関係を抽出するために、抽出部２０４０は、物体関係情報２０から、第１条件を満たす動作関連関係を探索する。対象期間の開始および終了が日時によって表される場合、抽出部２０４０は、期間１０８を対象期間と比較することにより、対象期間中に動作関連関係が存在するか否かを判定する。具体的には、その期間１０８が対象期間と重複する動作関連関係は、第１条件を満たすと判定される。一方、その期間１０８が対象期間と重複しない動作関連関係は、第１条件を満たさないと判定される。
【0095】
上述したように、対象期間の開始および終了は、特定の動作関連関係によって表されうる。例えば、対象期間の開始は、ゴールの前の１０本目から最後のパスまでを表す動作関連関係によって表される場合がある。この場合、第１条件を満たす動作関連関係として、抽出部２０４０は、物体関係情報２０において、対象期間の開始を表す動作関連関係と対象期間の終了を表す動作関連関係との間に含まれるすべての動作関連関係を特定する。
【0096】
例えば、物体関係情報２０に含まれるｉ番目の動作関連関係が対象期間の開始を表し、物体関係情報２０に含まれるｊ番目の動作関連関係が対象期間の終了を表すとする。この場合、物体関係情報２０内のｉ番目とｊ番目との間のすべての動作関連関係が、第１条件を満たすと判定される。
【0097】
いくつかの実施態様では、動作関連関係が注目イベントに関連するか否かを判定するために、追加の条件が利用される。追加の条件の一例は、動作関連関係に注目物体が関与することである。より具体的には、「動作関連関係の主体、客体、またはその両方が注目物体である」という条件を追加の条件として利用することができる。以下、この条件は「第２条件」と呼ばれる。
【0098】
注目物体は、注目イベントに関連する１つ以上の物体である。いくつかの実施態様では、注目イベントに含まれる動作のすべての主体および客体が、注目物体として扱われる。他の実施態様では、注目イベントに含まれる動作のすべての主体および客体のいくつかが、注目物体として扱われる。
【0099】
後者の場合、抽出部２０４０は、１つ以上の特定のタイプの物体を、注目物体として扱いうる。例えば、関係抽出装置２０００のユーザが、注目イベントに関連する人間の挙動に興味があるとする。この場合、注目物体として、注目イベントに含まれる動作の主体または客体である各人物を扱うことが好ましい。
【0100】
あるいは、抽出部２０４０は、注目物体として１つ以上の特定の物体を扱うことができる。例えば、注目イベントが万引きなどの犯罪イベントであるとする。この場合、関係抽出装置２０００のユーザは、注目イベントの犯人（例えば、万引き犯）の挙動に興味があるかもしれない。そのため、注目物体として注目イベントの犯人を扱うことが好ましい場合がある。
【0101】
第２条件も利用される場合、抽出部２０４０は、注目イベントに関連する動作関連関係として、第１条件と第２条件の両方を満たす動作関連関係を抽出する。例えば、抽出部２０４０は、物体関係情報２０から第１条件を満たす（すなわち、対象期間中に存在する）動作関連関係を抽出する。次いで、抽出部２０４０は、それら抽出された動作関連関係から、第２条件を満たす（すなわち、注目物体が関与する）動作関連関係を抽出する。
【0102】
抽出部２０４０は、動作関連関係の主体１０２および客体１０４に基づいて、動作関連関係が第２条件を満たすか否かを判定することができる。具体的には、その主体１０２または客体１０４が注目物体を示す動作関連関係は、第２条件を満たすと判定される。一方、その主体１０２と客体１０４のいずれもが注目物体を示さない動作関連関係は、第２条件を満たさないと判定される。
【0103】
＜結果の出力＞
関係抽出装置２０００は、注目イベントに関連する動作関連関係の抽出結果に関連する情報（以下、「出力情報」）を出力しうる。出力情報を生成する機能構成部は「出力部」と呼ばれる。図１１は、出力部２０６０を含む関係抽出装置２０００の機能構成の一例を示す。
関係抽出装置２０００は、注目イベントに関連する動作関連関係の抽出結果に関連する情報（以下、「出力情報」）を出力しうる。出力情報を生成する機能構成部は「出力部」と呼ばれる。図１１は、出力部２０６０を含む関係抽出装置２０００の機能構成の一例を示す。
【0104】
出力情報は様々な情報を含みうる。例えば、出力部２０６０は、注目イベントに関連するとして抽出部２０４０によって抽出されたすべての動作関連関係を含む出力情報を生成する。
【0105】
注目イベントに関連する動作関連関係に加えて、またはその代わりに、出力情報は、注目イベントに関連する動作関連関係が検出されたビデオフレームのうちの１つ以上を含みうる。それらのビデオフレームを提供することにより、関係抽出装置２０００のユーザは、注目イベントに関連するシーンを視覚的に、そのために容易に、理解することができる。例えば、注目イベントが万引きである場合、関係抽出装置２０００のユーザは、万引き前、万引き中、および万引き後の万引き犯の挙動が撮像されたビデオフレームを見ることができる。
【0106】
出力情報は、注目イベントに関連する動作関連関係が検出されたすべてのビデオフレームを含んでもよいし、それらの一部を含んでもよい。後者の場合、出力情報は、注目イベントに関連する動作関連関係の１つごとに特定の数（例えば、１つ）のビデオフレームを含みうる。
【0107】
例えば、万引き犯が店舗商品を手に取るという動作関連関係があるとする。この関係が２秒間存在すると、この関係が検出された数十個のビデオフレーム（例えば、カメラのフレームレートが３０フレーム／秒であるときの６０個のビデオフレーム）が存在する。この場合、万引き犯が店舗商品を手に取る挙動を理解するためには、ユーザにとって、ビデオフレームのうちの１つまたはいくつかを見るだけで十分でありうる。このように、出力部２０６０は、注目イベントに関連する動作関連関係ごとに、特定の数のビデオフレームを代表的な動作関連関係として含める。
【0108】
出力情報を出力するには様々な方法がありうる。例えば、関係抽出装置２０００は記憶装置に出力情報を格納しうる。別の例では、関係抽出装置２０００は、ディスプレイ装置に出力情報を出力することができ、それにより、出力情報の内容をディスプレイ装置に表示させる。別の例では、関係抽出装置２０００は、出力情報を別の装置、例えば、そこから上述されたリクエストが関係抽出装置２０００に送信されたクライアント端末に対して、送信しうる。
【0109】
以上、実施の形態を参照して本開示を説明したが、本開示は上述の実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。そして、各実施の形態は、適宜他の実施の形態と組み合わせることができる。
【0110】
各図面は、１又はそれ以上の実施形態を説明するための単なる例示である。各図面は、１つの特定の実施形態のみに関連付けられるのではなく、１又はそれ以上の他の実施形態に関連付けられてもよい。当業者であれば理解できるように、いずれか１つの図面を参照して説明される様々な特徴又はステップは、例えば明示的に図示または説明されていない実施形態を作り出すために、１又はそれ以上の他の図に示された特徴又はステップと組み合わせることができる。例示的な実施形態を説明するためにいずれか１つの図に示された特徴またはステップのすべてが必ずしも必須ではなく、一部の特徴またはステップが省略されてもよい。いずれかの図に記載されたステップの順序は、適宜変更されてもよい。
【0111】
プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【0112】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
注目イベントの１つ以上の特徴を示すイベント情報を取得し、
前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定し、前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出し、前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、関係抽出装置。
（付記２）
前記注目イベントの前記１つ以上の特徴は、前記注目イベントのタイプおよび前記イベント時間を含み、
前記対象期間の前記決定は、
前記注目イベントの前記タイプに基づいて、前記対象期間の前記開始時点から前記イベント時間までの時間の長さを決定することによって前記対象期間の開始時点を決定することと、
前記注目イベントの前記タイプに基づいて、前記イベント時間から前記対象期間の前記終了時点までの時間の長さを決定することによって前記対象期間の終了時点を決定することと、を含む、付記１に記載の関係抽出装置。
（付記３）
前記対象期間の前記決定は、
イベントの２つ以上のタイプそれぞれについて前記イベントの前記タイプと期間の長さとの対応を示す期間情報を取得することと、
前記注目イベントの前記タイプに対応づけて前記期間情報によって示される前記期間の長さに基づいて、前記対象期間の前記開始時点と前記対象期間の前記終了時点とを決定することと、を含む、付記２に記載の関係抽出装置。
（付記４）
前記対象期間の前記決定は、
正の実数値である調整係数を取得することと、
前記調整係数に基づいて、前記対象期間の前記開始から前記イベント時間までの前記時間の長さ、前記イベント時間から前記対象期間の前記終了までの前記時間の長さ、またはその両方を調整することと、を含む、付記３に記載の関係抽出装置。
（付記５）
前記調整係数は、前記注目イベントがユーザにとってどれほど曖昧であるか、前記注目イベントがユーザにとってどれほど重要であるか、または前記ユーザが前記注目イベントにどれほど興味があるかを表すパラメータによって決定される、付記４に記載の関係抽出装置。
（付記６）
前記動作関連関係の前記抽出は、前記対象期間中に存在し、かつ、前記注目イベントに関連する物体を含む１つ以上の動作関連関係を、前記物体関係情報から抽出することを含む、付記１から４のいずれか一項に記載の関係抽出装置。
（付記７）
前記物体関係情報は、１つ以上のビデオフレームから前記動作関連関係のそれぞれを検出することによって生成され、
前記少なくとも１つのプロセッサは、前記命令を実行して、さらに、
前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１つ以上のビデオフレームを含む出力情報を出力する、
ように構成される、付記１から４のいずれか一項に記載の関係抽出装置。
（付記８）
前記出力情報は、前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１以上の所定数のビデオフレームを含む、付記７に記載の関係抽出装置。
（付記９）
注目イベントの１つ以上の特徴を示すイベント情報を取得することを含み、
前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定することを含み、前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出することを含み、前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、関係抽出方法。
（付記１０）
前記注目イベントの前記１つ以上の特徴は、前記注目イベントのタイプおよび前記イベント時間を含み、
前記対象期間の前記決定は、
前記注目イベントの前記タイプに基づいて、前記対象期間の前記開始時点から前記イベント時間までの時間の長さを決定することによって前記対象期間の開始時点を決定することと、
前記注目イベントの前記タイプに基づいて、前記イベント時間から前記対象期間の前記終了時点までの時間の長さを決定することによって前記対象期間の終了時点を決定することと、を含む、付記９に記載の関係抽出方法。
（付記１１）
前記対象期間の前記決定は、
イベントの２つ以上のタイプそれぞれについて前記イベントの前記タイプと期間の長さとの対応を示す期間情報を取得することと、
前記注目イベントの前記タイプに対応づけて前記期間情報によって示される前記期間の長さに基づいて、前記対象期間の前記開始時点と前記対象期間の前記終了時点とを決定することと、を含む、付記１０に記載の関係抽出方法。
（付記１２）
前記対象期間の前記決定は、
正の実数値である調整係数を取得することと、
前記調整係数に基づいて、前記対象期間の前記開始から前記イベント時間までの前記時間の長さ、前記イベント時間から前記対象期間の前記終了までの前記時間の長さ、またはその両方を調整することと、を含む、付記１１に記載の関係抽出方法。
（付記１３）
前記調整係数は、前記注目イベントがユーザにとってどれほど曖昧であるか、前記注目イベントがユーザにとってどれほど重要であるか、または前記ユーザが前記注目イベントにどれほど興味があるかを表すパラメータによって決定される、付記１２に記載の関係抽出方法。
（付記１４）
前記動作関連関係の前記抽出は、前記対象期間中に存在し、かつ、前記注目イベントに関連する物体を含む１つ以上の動作関連関係を、前記物体関係情報から抽出することを含む、付記９から１２のいずれか一項に記載の関係抽出方法。
（付記１５）
前記物体関係情報は、１つ以上のビデオフレームから前記動作関連関係のそれぞれを検出することによって生成され、
前記関係抽出方法は、さらに、前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１つ以上のビデオフレームを含む出力情報を出力することを含む、付記９から１２のいずれか一項に記載の関係抽出方法。
（付記１６）
前記出力情報は、前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１以上の所定数のビデオフレームを含む、付記１５に記載の関係抽出方法。
（付記１７）
プログラムであって、
コンピュータに、
注目イベントの１つ以上の特徴を示すイベント情報を取得することをコンピュータに実行させ、
前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定することをコンピュータに実行させ、前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出することを実行させ、前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、プログラム。
（付記１８）
前記注目イベントの前記１つ以上の特徴は、前記注目イベントのタイプおよび前記イベント時間を含み、
前記対象期間の前記決定は、
前記注目イベントの前記タイプに基づいて、前記対象期間の前記開始時点から前記イベント時間までの時間の長さを決定することによって前記対象期間の開始時点を決定することと、
前記注目イベントの前記タイプに基づいて、前記イベント時間から前記対象期間の前記終了時点までの時間の長さを決定することによって前記対象期間の終了時点を決定することと、を含む、付記１７に記載の関係抽出方法。
（付記１９）
前記対象期間の前記決定は、
イベントの２つ以上のタイプそれぞれについて前記イベントの前記タイプと期間の長さとの対応を示す期間情報を取得することと、
前記注目イベントの前記タイプに対応づけて前記期間情報によって示される前記期間の長さに基づいて、前記対象期間の前記開始時点と前記対象期間の前記終了時点とを決定することと、を含む、付記１８に記載の関係抽出方法。
（付記２０）
前記対象期間の前記決定は、
正の実数値である調整係数を取得することと、
前記調整係数に基づいて、前記対象期間の前記開始から前記イベント時間までの前記時間の長さ、前記イベント時間から前記対象期間の前記終了までの前記時間の長さ、またはその両方を調整することと、を含む、付記１９に記載の関係抽出方法。
（付記２１）
前記調整係数は、前記注目イベントがユーザにとってどれほど曖昧であるか、前記注目イベントがユーザにとってどれほど重要であるか、または前記ユーザが前記注目イベントにどれほど興味があるかを表すパラメータによって決定される、付記２０に記載の関係抽出方法。
（付記２２）
前記動作関連関係の前記抽出は、前記対象期間中に存在し、かつ、前記注目イベントに関連する物体を含む１つ以上の動作関連関係を、前記物体関係情報から抽出することを含む、付記１７から２０のいずれか一項に記載の関係抽出方法。
（付記２３）
前記物体関係情報は、１つ以上のビデオフレームから前記動作関連関係のそれぞれを検出することによって生成され、
前記プログラムは、さらに、前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１つ以上のビデオフレームを含む出力情報を出力することをコンピュータに実行させる、付記１７から２０のいずれか一項に記載の関係抽出方法。
（付記２４）
前記出力情報は、前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１以上の所定数のビデオフレームを含む、付記２３に記載の関係抽出方法。
（付記１）
注目イベントの１つ以上の特徴を示すイベント情報を取得し、
前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定し、前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出し、前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、関係抽出装置。
（付記２）
前記注目イベントの前記１つ以上の特徴は、前記注目イベントのタイプおよび前記イベント時間を含み、
前記対象期間の前記決定は、
前記注目イベントの前記タイプに基づいて、前記対象期間の前記開始時点から前記イベント時間までの時間の長さを決定することによって前記対象期間の開始時点を決定することと、
前記注目イベントの前記タイプに基づいて、前記イベント時間から前記対象期間の前記終了時点までの時間の長さを決定することによって前記対象期間の終了時点を決定することと、を含む、付記１に記載の関係抽出装置。
（付記３）
前記対象期間の前記決定は、
イベントの２つ以上のタイプそれぞれについて前記イベントの前記タイプと期間の長さとの対応を示す期間情報を取得することと、
前記注目イベントの前記タイプに対応づけて前記期間情報によって示される前記期間の長さに基づいて、前記対象期間の前記開始時点と前記対象期間の前記終了時点とを決定することと、を含む、付記２に記載の関係抽出装置。
（付記４）
前記対象期間の前記決定は、
正の実数値である調整係数を取得することと、
前記調整係数に基づいて、前記対象期間の前記開始から前記イベント時間までの前記時間の長さ、前記イベント時間から前記対象期間の前記終了までの前記時間の長さ、またはその両方を調整することと、を含む、付記３に記載の関係抽出装置。
（付記５）
前記調整係数は、前記注目イベントがユーザにとってどれほど曖昧であるか、前記注目イベントがユーザにとってどれほど重要であるか、または前記ユーザが前記注目イベントにどれほど興味があるかを表すパラメータによって決定される、付記４に記載の関係抽出装置。
（付記６）
前記動作関連関係の前記抽出は、前記対象期間中に存在し、かつ、前記注目イベントに関連する物体を含む１つ以上の動作関連関係を、前記物体関係情報から抽出することを含む、付記１から４のいずれか一項に記載の関係抽出装置。
（付記７）
前記物体関係情報は、１つ以上のビデオフレームから前記動作関連関係のそれぞれを検出することによって生成され、
前記少なくとも１つのプロセッサは、前記命令を実行して、さらに、
前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１つ以上のビデオフレームを含む出力情報を出力する、
ように構成される、付記１から４のいずれか一項に記載の関係抽出装置。
（付記８）
前記出力情報は、前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１以上の所定数のビデオフレームを含む、付記７に記載の関係抽出装置。
（付記９）
注目イベントの１つ以上の特徴を示すイベント情報を取得することを含み、
前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定することを含み、前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出することを含み、前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、関係抽出方法。
（付記１０）
前記注目イベントの前記１つ以上の特徴は、前記注目イベントのタイプおよび前記イベント時間を含み、
前記対象期間の前記決定は、
前記注目イベントの前記タイプに基づいて、前記対象期間の前記開始時点から前記イベント時間までの時間の長さを決定することによって前記対象期間の開始時点を決定することと、
前記注目イベントの前記タイプに基づいて、前記イベント時間から前記対象期間の前記終了時点までの時間の長さを決定することによって前記対象期間の終了時点を決定することと、を含む、付記９に記載の関係抽出方法。
（付記１１）
前記対象期間の前記決定は、
イベントの２つ以上のタイプそれぞれについて前記イベントの前記タイプと期間の長さとの対応を示す期間情報を取得することと、
前記注目イベントの前記タイプに対応づけて前記期間情報によって示される前記期間の長さに基づいて、前記対象期間の前記開始時点と前記対象期間の前記終了時点とを決定することと、を含む、付記１０に記載の関係抽出方法。
（付記１２）
前記対象期間の前記決定は、
正の実数値である調整係数を取得することと、
前記調整係数に基づいて、前記対象期間の前記開始から前記イベント時間までの前記時間の長さ、前記イベント時間から前記対象期間の前記終了までの前記時間の長さ、またはその両方を調整することと、を含む、付記１１に記載の関係抽出方法。
（付記１３）
前記調整係数は、前記注目イベントがユーザにとってどれほど曖昧であるか、前記注目イベントがユーザにとってどれほど重要であるか、または前記ユーザが前記注目イベントにどれほど興味があるかを表すパラメータによって決定される、付記１２に記載の関係抽出方法。
（付記１４）
前記動作関連関係の前記抽出は、前記対象期間中に存在し、かつ、前記注目イベントに関連する物体を含む１つ以上の動作関連関係を、前記物体関係情報から抽出することを含む、付記９から１２のいずれか一項に記載の関係抽出方法。
（付記１５）
前記物体関係情報は、１つ以上のビデオフレームから前記動作関連関係のそれぞれを検出することによって生成され、
前記関係抽出方法は、さらに、前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１つ以上のビデオフレームを含む出力情報を出力することを含む、付記９から１２のいずれか一項に記載の関係抽出方法。
（付記１６）
前記出力情報は、前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１以上の所定数のビデオフレームを含む、付記１５に記載の関係抽出方法。
（付記１７）
プログラムであって、
コンピュータに、
注目イベントの１つ以上の特徴を示すイベント情報を取得することをコンピュータに実行させ、
前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定することをコンピュータに実行させ、前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出することを実行させ、前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、プログラム。
（付記１８）
前記注目イベントの前記１つ以上の特徴は、前記注目イベントのタイプおよび前記イベント時間を含み、
前記対象期間の前記決定は、
前記注目イベントの前記タイプに基づいて、前記対象期間の前記開始時点から前記イベント時間までの時間の長さを決定することによって前記対象期間の開始時点を決定することと、
前記注目イベントの前記タイプに基づいて、前記イベント時間から前記対象期間の前記終了時点までの時間の長さを決定することによって前記対象期間の終了時点を決定することと、を含む、付記１７に記載の関係抽出方法。
（付記１９）
前記対象期間の前記決定は、
イベントの２つ以上のタイプそれぞれについて前記イベントの前記タイプと期間の長さとの対応を示す期間情報を取得することと、
前記注目イベントの前記タイプに対応づけて前記期間情報によって示される前記期間の長さに基づいて、前記対象期間の前記開始時点と前記対象期間の前記終了時点とを決定することと、を含む、付記１８に記載の関係抽出方法。
（付記２０）
前記対象期間の前記決定は、
正の実数値である調整係数を取得することと、
前記調整係数に基づいて、前記対象期間の前記開始から前記イベント時間までの前記時間の長さ、前記イベント時間から前記対象期間の前記終了までの前記時間の長さ、またはその両方を調整することと、を含む、付記１９に記載の関係抽出方法。
（付記２１）
前記調整係数は、前記注目イベントがユーザにとってどれほど曖昧であるか、前記注目イベントがユーザにとってどれほど重要であるか、または前記ユーザが前記注目イベントにどれほど興味があるかを表すパラメータによって決定される、付記２０に記載の関係抽出方法。
（付記２２）
前記動作関連関係の前記抽出は、前記対象期間中に存在し、かつ、前記注目イベントに関連する物体を含む１つ以上の動作関連関係を、前記物体関係情報から抽出することを含む、付記１７から２０のいずれか一項に記載の関係抽出方法。
（付記２３）
前記物体関係情報は、１つ以上のビデオフレームから前記動作関連関係のそれぞれを検出することによって生成され、
前記プログラムは、さらに、前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１つ以上のビデオフレームを含む出力情報を出力することをコンピュータに実行させる、付記１７から２０のいずれか一項に記載の関係抽出方法。
（付記２４）
前記出力情報は、前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１以上の所定数のビデオフレームを含む、付記２３に記載の関係抽出方法。
【0113】
この出願は、２０２３年７月２０日に出願されたシンガポール特許出願 No. 10202302053Tを基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【0114】
１０ イベント情報
２０ 物体関係情報
６０ シーングラフ
１００ テーブル
１０２ 主体
１０４ 客体
１０６ 動作
１０８ 期間
１１０ 開始時点
１１２ 終了時点
２００ テーブル
２０２ 識別子
２０４ タイプ
２０６ 位置
３００ テーブル
３０２ タイプ
３０４ 期間
３０６ 先行期間
３０８ 後続期間
１０００ コンピュータ
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 関係抽出装置
２０２０ 決定部
２０４０ 抽出部
２０６０ 出力部
２０ 物体関係情報
６０ シーングラフ
１００ テーブル
１０２ 主体
１０４ 客体
１０６ 動作
１０８ 期間
１１０ 開始時点
１１２ 終了時点
２００ テーブル
２０２ 識別子
２０４ タイプ
２０６ 位置
３００ テーブル
３０２ タイプ
３０４ 期間
３０６ 先行期間
３０８ 後続期間
１０００ コンピュータ
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 関係抽出装置
２０２０ 決定部
２０４０ 抽出部
２０６０ 出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【手続補正書】
【提出日】2024-11-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
注目イベントの１つ以上の特徴を示すイベント情報を取得し、前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定する決定手段を有し、
前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出する抽出手段を含み、
前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、関係抽出装置。
前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出する抽出手段を含み、
前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、関係抽出装置。
【請求項2】
前記注目イベントの前記１つ以上の特徴は、前記注目イベントのタイプおよび前記イベント時間を含み、
前記対象期間の前記決定は、
前記注目イベントの前記タイプに基づいて、前記対象期間の開始時点から前記イベント時間までの時間の長さを決定することによって前記対象期間の前記開始時点を決定することと、
前記注目イベントの前記タイプに基づいて、前記イベント時間から対象期間の前記終了時点までの時間の長さを決定することによって前記対象期間の前記終了時点を決定することと、を含む、請求項１に記載の関係抽出装置。
前記対象期間の前記決定は、
前記注目イベントの前記タイプに基づいて、前記対象期間の開始時点から前記イベント時間までの時間の長さを決定することによって前記対象期間の前記開始時点を決定することと、
前記注目イベントの前記タイプに基づいて、前記イベント時間から対象期間の前記終了時点までの時間の長さを決定することによって前記対象期間の前記終了時点を決定することと、を含む、請求項１に記載の関係抽出装置。
【請求項3】
前記対象期間の前記決定は、
イベントの２つ以上のタイプそれぞれについて前記イベントの前記タイプと期間の長さとの対応を示す期間情報を取得することと、
前記注目イベントの前記タイプに対応づけて前記期間情報によって示される前記期間の長さに基づいて、前記対象期間の前記開始時点と前記対象期間の前記終了時点とを決定することと、を含む、請求項２に記載の関係抽出装置。
イベントの２つ以上のタイプそれぞれについて前記イベントの前記タイプと期間の長さとの対応を示す期間情報を取得することと、
前記注目イベントの前記タイプに対応づけて前記期間情報によって示される前記期間の長さに基づいて、前記対象期間の前記開始時点と前記対象期間の前記終了時点とを決定することと、を含む、請求項２に記載の関係抽出装置。
【請求項4】
前記対象期間の前記決定は、
正の実数値である調整係数を取得することと、
前記調整係数に基づいて、前記対象期間の前記開始時点から前記イベント時間までの前記時間の長さ、前記イベント時間から前記対象期間の前記終了時点までの前記時間の長さ、またはその両方を調整することと、を含む、請求項３に記載の関係抽出装置。
正の実数値である調整係数を取得することと、
前記調整係数に基づいて、前記対象期間の前記開始時点から前記イベント時間までの前記時間の長さ、前記イベント時間から前記対象期間の前記終了時点までの前記時間の長さ、またはその両方を調整することと、を含む、請求項３に記載の関係抽出装置。
【請求項5】
前記調整係数は、前記注目イベントがユーザにとってどれほど曖昧であるか、前記注目イベントがユーザにとってどれほど重要であるか、または前記ユーザが前記注目イベントにどれほど興味があるかを表すパラメータによって決定される、請求項４に記載の関係抽出装置。
【請求項6】
前記動作関連関係の前記抽出は、前記対象期間中に存在し、かつ、前記注目イベントに関連する物体を含む１つ以上の動作関連関係を、前記物体関係情報から抽出することを含む、請求項１から４のいずれか一項に記載の関係抽出装置。
【請求項7】
前記物体関係情報は、１つ以上のビデオフレームから前記動作関連関係のそれぞれを検出することによって生成され、
前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１つ以上のビデオフレームを含む出力情報を出力する出力手段を有する、請求項１から４のいずれか一項に記載の関係抽出装置。
前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１つ以上のビデオフレームを含む出力情報を出力する出力手段を有する、請求項１から４のいずれか一項に記載の関係抽出装置。
【請求項8】
前記出力情報は、前記抽出された動作関連関係のそれぞれについて、前記抽出された動作関連関係が検出された１以上の所定数のビデオフレームを含む、請求項７に記載の関係抽出装置。
【請求項9】
注目イベントの１つ以上の特徴を示すイベント情報を取得し、前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定する決定ステップを含み、
前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出する抽出ステップを含み、
前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、関係抽出方法。
前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出する抽出ステップを含み、
前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、関係抽出方法。
【請求項10】
注目イベントの１つ以上の特徴を示すイベント情報を取得し、
前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定する決定ステップをコンピュータに実行させ、
前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出する抽出ステップをコンピュータに実行させ、
前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、プログラム。
前記注目イベントの前記１つ以上の特徴に基づいて対象期間を決定する決定ステップをコンピュータに実行させ、
前記対象期間は、その一部として、前記注目イベントが発生する時点又は期間であるイベント時間を含み、
前記対象期間の間に存在する１つ以上の動作関連関係を物体関係情報から抽出する抽出ステップをコンピュータに実行させ、
前記物体関係情報は、物体間の関係を前記動作関連関係が存在する時点又は期間と対応づけて２つ以上示す、プログラム。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【0025】
＜ハードウェア構成の例＞
関係抽出装置２０００は、１つ以上のコンピュータによって実現されうる。図３は、関係抽出装置２０００を実現するコンピュータ１０００のハードウェア構成の一例を示すブロック図である。コンピュータ１０００は、任意のタイプのコンピュータでありうる。例えば、コンピュータ１０００は、パーソナルコンピュータ（PC: Personal Computer）やサーバマシンなどの据え置き型コンピュータである。別の例では、コンピュータ１０００は、スマートフォンやタブレット端末などのモバイルコンピュータである。別の例では、コンピュータ１０００は、SoC（System on Chip）などの集積回路である。コンピュータ１０００は、関係抽出装置２０００を実装するために製造された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。
関係抽出装置２０００は、１つ以上のコンピュータによって実現されうる。図３は、関係抽出装置２０００を実現するコンピュータ１０００のハードウェア構成の一例を示すブロック図である。コンピュータ１０００は、任意のタイプのコンピュータでありうる。例えば、コンピュータ１０００は、パーソナルコンピュータ（PC: Personal Computer）やサーバマシンなどの据え置き型コンピュータである。別の例では、コンピュータ１０００は、スマートフォンやタブレット端末などのモバイルコンピュータである。別の例では、コンピュータ１０００は、SoC（System on Chip）などの集積回路である。コンピュータ１０００は、関係抽出装置２０００を実装するために製造された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【0071】
注目イベントの開始時点が「2023/6/20 15:20」であり、先行期間の長さが１０分であるため、対象期間の開始時点は「2023/6/20 15:10」であると決定される。加えて、注目イベントの終了時点が「2023/6/20 15:13」であり、後続期間の長さが５分なので、対象期間の終了時点は「2023/6/20 15:18」であると決定される。結果として、決定部２０２０は、対象期間を「2023/6/20 15:10」から「2023/6/20 15:18」までであるように決定する。
【外国語明細書】