特許 7638195 情報処理装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-20

(45)【発行日】2025-03-03

(54)【発明の名称】情報処理装置および方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250221BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 7

(21)【出願番号】P 2021180358

(22)【出願日】2021-11-04

(65)【公開番号】P2023068908

(43)【公開日】2023-05-18

【審査請求日】2024-03-26

(73)【特許権者】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】曾我 遼

(72)【発明者】

【氏名】福井 大輔

(72)【発明者】

【氏名】安井 雅彦

(72)【発明者】

【氏名】山本 英人

(72)【発明者】

【氏名】井上 正彦

(72)【発明者】

【氏名】柏瀬 秀行

【審査官】菊池 伸郎

(56)【参考文献】

【文献】特開２０２１－１７５０６５（ＪＰ，Ａ）

【文献】特開２００８－３１２０６１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

動画のデータに基づき、時刻毎の所定の検出量を算出する検出量算出部と、
前記動画に対応する音声のデータに基づき、前記動画および／または音声を時間で区切る集計区間を算出する集計区間算出部と、
前記時刻毎の検出量に基づいて、前記集計区間毎の特徴量を算出する特徴量算出部と、
前記集計区間毎の特徴量に基づいて所定事項の予測を実行し、予測結果と、前記予測結果に対する前記特徴量の寄与度とを出力する予測部と、
前記特徴量の寄与度と、前記時刻毎の検出量と、前記集計区間とに基づいて、前記予測結果に対する前記集計区間の寄与度を算出する区間毎寄与度算出部と、
を有する情報処理装置。

【請求項2】

前記予測部は、学習データを学習することにより構築された予測モデルを用いて、前記予測結果と前記特徴量の寄与度とを出力するものであり、
前記集計区間算出部は、前記学習データおよび前記予測モデルへの入力を集計するための予測向け集計区間と、それぞれの寄与度を算出するための集計区間であり前記予測向け集計区間を複数に区切った寄与度算出向け集計区間と、を算出し、
前記特徴量算出部は、前記予測向け集計区間毎の特徴量と、前記寄与度算出向け集計区間毎の特徴量と、を算出し、
前記区間毎寄与度算出部は、前記特徴量の寄与度と、前記時刻毎の検出量と、前記予測向け集計区間とに基づいて、前記予測向け集計区間の寄与度を算出し、前記予測向け集計区間の特徴量と前記寄与度算出向け集計区間の特徴量との類似度に基づいて、前記予測向け集計区間の寄与度から前記寄与度算出向け集計区間の寄与度を算出する、
請求項１に記載の情報処理装置。

【請求項3】

前記集計区間算出部は、所定の注目単語が発話された時刻を含む所定時間幅の時間区間を予測向け集計区間として算出し、前記予測向け集計区間を複数に分割することにより前記寄与度算出向け集計区間を算出する、
請求項２に記載の情報処理装置。

【請求項4】

前記区間毎寄与度算出部は、前記類似度が高いほど大きな値となるように、前記予測向け集計区間の寄与度を補正することにより、前記寄与度算出向け集計区間の寄与度を算出する、
請求項２に記載の情報処理装置。

【請求項5】

前記区間毎寄与度算出部は、前記予測向け集計区間に含まれる前記寄与度算出向け集計区間の寄与度の時間幅で重み付けした平均値が、前記予測向け集計区間の寄与度に等しくなるように、前記寄与度算出向け集計区間の寄与度を算出する、
請求項４に記載の情報処理装置。

【請求項6】

前記区間毎寄与度算出部は、寄与度が正の値と負の値をとり得るものである場合、前記予測向け集計区間および／または前記寄与度算出向け集計区間における寄与度について、寄与度が正の値である集計区間と、寄与度が負の値である集計区間とを分けて別個のテーブルに記録する、
請求項２に記載の情報処理装置。

【請求項7】

動画のデータに基づき、時刻毎の所定の検出量を算出し、
前記動画に対応する音声のデータに基づき、前記動画および／または音声を時間で区切る集計区間を算出し、
前記時刻毎の検出量に基づいて、前記集計区間毎の特徴量を算出し、
前記集計区間毎の特徴量に基づいて所定事項の予測を実行し、予測結果と、前記予測結果に対する前記特徴量の寄与度とを出力し、
前記特徴量の寄与度と、前記時刻毎の検出量と、前記集計区間とに基づいて、前記予測結果に対する前記集計区間の寄与度を算出する、
ことをコンピュータが実行する情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、予測モデルによる予測根拠を知得可能にする技術に関する。

【背景技術】

【0002】

機械学習により得られる予測モデルは、予測の際の内部の動作が分からない。そのため、予測結果が得られても、その予測結果に至った根拠を特定することは困難であった。

【0003】

特許文献１には、非線形モデルで構成された予測モデルに入力される入力データの特徴量のうち、予測モデルによる予測結果に正に寄与する第１の特徴量と、負に寄与する第２の特徴量とを抽出する手法が開示されている。

【0004】

非特許文献１には、予測対象データから算出した特徴量をモデルに入力して所定の予測結果を得る際、予測結果と共に、特徴量毎の重要度を算出する手法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】国際公開ＷＯ２０１９／１３０９７４

【非特許文献】

【0006】

【文献】“A Unified Approach to Interpreting Model Predictions”、Scott M. Lundberg, Su-In Lee、インターネット：２０２１年４月２０日検索、URL：https://arxiv.org/abs/1705.07874

【発明の概要】

【発明が解決しようとする課題】

【0007】

例えば、ある面談者がある被面談者の面談を行った動画を基に被面談者について何らかの判断を行う場合、その面談の動画から複数の特徴量が算出される。特徴量は、例えば被面談者の表情や動作から抽出される。算出されたそれらの特徴量の情報を基に、所定の判断（予測）が行われる。判断は、例えば、面談における被面談者に対する評価である。このような面談の動画は、ある程度の長時間にわたるものとなる場合がある。

【0008】

長時間にわたる動画からの予測を行う場合、特徴量毎の重要度が分かっても、それを面談者や判断者などのユーザが利用するのは容易でない。例えば、その特徴量毎の重要度を根拠とした予測が妥当かどうか確認するには、ユーザは長時間にわたる動画を視聴する必要がある。

【0009】

本開示のひとつの目的は、動画に関する予測について予測根拠を容易に知得できるようにする技術を提供することである。

【課題を解決するための手段】

【0010】

本開示に含まれるひとつの態様による情報処理装置は、動画のデータに基づき、時刻毎の所定の検出量を算出する検出量算出部と、前記動画に対応する音声のデータに基づき、前記動画および／または音声を時間で区切る集計区間を算出する集計区間算出部と、前記時刻毎の検出量に基づいて、前記集計区間毎の特徴量を算出する特徴量算出部と、前記集計区間毎の特徴量に基づいて所定事項の予測を実行し、予測結果と、前記予測結果に対する前記特徴量の寄与度とを出力する予測部と、前記特徴量の寄与度と、前記時刻毎の検出量と、前記集計区間とに基づいて、前記予測結果に対する前記集計区間の寄与度を算出する区間毎寄与度算出部と、を有する。

【発明の効果】

【0011】

本開示のひとつの態様によれば、動画に関する予測について利用が容易な予測根拠を取得することができる。

【図面の簡単な説明】

【0012】

【図1】第１の実施の形態による情報処理装置の機能構成を示すブロック図である。

【図2】図１に示した情報処理装置のハードウェア構成を示すブロック図である。

【図3】図１に示した予測部から出力される集計区間毎の特徴量毎の寄与度を示す図である。

【図4】図１に示した集計区間毎寄与度算出部にて算出された集計区間毎の寄与度を示す図である。

【図5】図１に示した時刻毎寄与度算出部における処理を説明するためのフローチャートである。

【図6】図１に示した時刻毎寄与度算出部から出力される時刻毎寄与度表を示す図である。

【図7】図１に示した予測根拠表示装置にて表示される寄与度を示す画面の一例を示す図である。

【図8】第２の実施の形態による情報処理装置の機能構成を示すブロック図である。

【図9】図８に示した第１特徴量算出部にて算出された予測向け集計区間毎の特徴量を示す図である。

【図10】図８に示した第２特徴量算出部にて算出された寄与度算出向け集計区間毎の特徴量を示す図である。

【図11】図８に示した予測部から出力される寄与度を示す図である。

【図12】図８に示した類似度算出部にて算出される類似度を示す図である。

【図13】図８に示したサブ集計区間毎寄与度算出部にて算出される寄与度算出向け集計区間の寄与度を示す図である。

【図14】図８に示した時刻毎寄与度算出部にて算出される時刻毎の寄与度を示す図である。

【発明を実施するための形態】

【0013】

以下に、本発明の実施の形態について図面を参照して説明する。

【0014】

（第１の実施の形態）

【0015】

図１は、第１の実施の形態による情報処理装置の機能構成を示すブロック図である。

【0016】

本形態の情報処理装置は図１に示すように、検出量算出部１０と、集計区間算出部２０と、特徴量算出部３０と、予測部４０と、区間毎寄与度算出部５０とを有する予測根拠表示装置１である。

【0017】

図２は、図１に示した情報処理装置のハードウェア構成を示すブロック図である。

【0018】

図１に示した情報処理装置のハードウェア構成は図２に示すように、プロセッサ６１とメインメモリ６２と記憶装置６３と通信装置６４と入力装置６５と表示装置６６とがバス６７を介して接続されたものとなっている。

【0019】

プロセッサ６１は、記憶装置６３からメインメモリ４２に読み出されたソフトウェアプログラムを実行することにより、図１に示した各機能を実現する。

【0020】

通信装置６４は、他の装置に接続するためのものである。

【0021】

入力装置６５は、記憶装置６３に設定された様々なテーブルに情報を入力するためのものである。

【0022】

表示装置６６は、プロセッサ６１における実行結果を表示出力するものである。

【0023】

以下に、図１に示したように構成された予測根拠表示装置１の各ブロックの機能について、全体の処理と併せて説明する。

【0024】

検出量算出部１０は、入力装置６５を介して入力された動画のデータに基づき、時刻毎の所定の検出量を算出する。例えば、予測根拠表示装置１を面談における被面談者の判断に用いる場合は、被面談者が行った瞬きの回数を検出量として算出する。検出量は、その他に心拍数などバイタルデータであってもよい。また、うなずき、手の動きなどのしぐさを数値化したデータであってもよい。また、表情から得られる喜びあるいは悲しみなどの感情を数値化したデータでもよい。なお、入力装置６５を介して入力される動画データは、所定のフレームレートのフレーム画像を含むデータである。

【0025】

集計区間算出部２０は、入力装置６５を介して入力された動画に対応する音声のデータに基づき、動画および／または音声を時間で区切る集計区間を算出する。例えば、注目単語が発話された時刻を含む３０秒間を集計区間として抽出してもよい。注目単語が発話された時刻の１５秒前から１５秒後までの３０秒間を集計区間としてもよい。集計区間同士が重なっていてもよい。集計区間と集計区間の間に隙間時間があってもよい。あるいは、抽出された集計区間と集計区間の間に隙間時間がある場合に、その隙間時間を１つの集計区間としてもよい。なお、入力装置６５を介して入力される音声データは、例えば、人の発話内容をテキスト化したデータである。あるいは、そのテキストデータから抽出された、発話された単語と、その単語が発話された時刻とを対応づけた情報であってもよい。ここでいう単語は、例えば、予め辞書に登録しておいた注目すべき単語である。

【0026】

特徴量算出部３０は、検出量算出部１０にて算出された時刻毎の検出量に基づいて、集計区間算出部２０にて算出された集計区間毎の特徴量を算出する。例えば、集計区間における検出量の統計量の値を特徴量として算出する。より具体的には、集計区間における、単位時間における瞬きの回数の平均値、分散値、最大値、最小値など、それぞれが特徴量である。あるいは、集計区間における瞬きの総回数を含んでもよい。もちろん、特徴量は、これらのうち１つでもよいし、複数でもよい。さらには全部でもよい。

【0027】

予測部４０は、特徴量算出部３０にて算出された集計区間毎の特徴量に基づいて所定事項の予測を実行し、予測結果と、この予測結果に対する特徴量の寄与度とを出力する。例えば、企業における昇進を判断する面談での昇進の可否あるいは評価値などを予測結果として出力する。なお、特徴量の寄与度は、予測結果に対して当該特徴量がどの程度影響したかを示すものである。

【0028】

図３は、図１に示した予測部４０から出力される集計区間毎の特徴量毎の寄与度を示す図である。

【0029】

図３に示すように、図１に示した予測部４０からは、集計区間算出部２０にて算出された集計区間のそれぞれについて、検出量算出部１０にて算出された検出量についての特徴量算出部３０にて算出された特徴量の寄与度が出力される。

【0030】

図１に示したように、区間毎寄与度算出部５０は、集計区間毎寄与度算出部５１と、時刻毎寄与度算出部５２とを有している。

【0031】

集計区間毎寄与度算出部５１は、予測部４０から出力された特徴量の寄与度と、検出量算出部１０にて算出された時刻毎の検出量と、集計区間算出部２０にて算出された集計区間とに基づいて、予測部４０から出力された予測結果に対する集計区間の寄与度を算出する。

【0032】

図４は、図１に示した集計区間毎寄与度算出部５１にて算出された集計区間毎の寄与度を示す図である。

【0033】

図４に示すように、図１に示した集計区間毎寄与度算出部５１においては、予測部４０から出力された集計区間番号毎に、その寄与度が算出される。このように、集計区間の寄与度は、予測結果に対して当該集計区間（における複数の特徴量が全体として）がどの程度影響したかを示すものである。例えば、集計区間の寄与度は、その集計区間に検出された検出量に関する特徴量の寄与度の総和であってよい。

【0034】

時刻毎寄与度算出部５２は、集計区間毎寄与度算出部５１にて算出された集計区間毎の寄与度に基づいて、時刻毎の寄与度を算出する。

【0035】

図５は、図１に示した時刻毎寄与度算出部５２における処理を説明するためのフローチャートである。

【0036】

時刻毎寄与度算出部５２においては、まず、集計区間毎寄与度算出部５１にて算出された集計区間毎の寄与度を示す集計区間毎特徴量毎寄与度表から、集計区間の開始時刻と、終了時刻に１秒を加算した時刻とを取得し、それらの時刻を、時刻毎寄与度表の寄与度算出対象時刻としてリストアップする（ステップＳ１）。なお、この時点では、時刻毎寄与度表には、時刻のみが記録された状態となっている。

【0037】

時刻毎寄与度算出部５２は次に、時刻毎寄与度表から寄与度算出対象時刻を１つ取得する（ステップＳ２）。

【0038】

時刻毎寄与度算出部５２は次に、集計区間毎特徴量毎寄与度表から、取得した寄与度算出対象時刻を含む集計区間の行を抽出し、抽出した行の寄与度の総和を、時刻毎寄与度表のその集計区間の寄与度として記録する（ステップＳ３）。

【0039】

そして、ステップＳ２，Ｓ３における処理を、時刻毎寄与度表に未処理の寄与度算出対象時刻がなくなるまで繰り返し（ステップＳ４）、時刻毎寄与度表に未処理の寄与度算出対象時刻がなくなったら、時刻毎寄与度算出部５２は、時刻毎寄与度表を出力する（ステップＳ５）。

【0040】

図６は、図１に示した時刻毎寄与度算出部５２から出力される時刻毎寄与度表を示す図である。

【0041】

図６に示すように、図１に示した時刻毎寄与度算出部５２からは、時刻毎の寄与度が示された時刻毎寄与度表が出力されることになる。これにより、階段状の寄与度グラフが描けるようになる。

【0042】

図７は、図１に示した予測根拠表示装置１にて表示される寄与度を示す画面の一例を示す図である。

【0043】

図７に示すように、図１に示した予測根拠表示装置１の表示部６６に表示される画面には、予測根拠表示装置１の入力装置６５を介して検出量算出部１０に入力された動画について、その再生画像７１と、再生画像７１の送りを制御するスライドバー７２とが表示されるとともに、再生時刻に応じた寄与度が寄与度グラフ７３として表示される。

【0044】

このように、動画を集計区間に区切り、各集計区間の予測結果に対する寄与度を算出するので、動画に関する予測結果の根拠として、集計区間毎の寄与度という、利用が容易な情報を取得することができる。

【0045】

（第２の実施の形態）

【0046】

図８は、第２の実施の形態による情報処理装置の機能構成を示すブロック図である。

【0047】

本形態の情報処理装置は図８に示すように、図１に示したものに対して、集計区間算出部１２０と、特徴量算出部１３０と、区間毎寄与度算出部１５０の構成がそれぞれ異なる予測根拠表示装置１０１である。

【0048】

以下に、図８に示したように構成された予測根拠表示装置１０１の各ブロックの機能について、図１に示したものとは異なる部分のみについてその処理と併せて説明する。

【0049】

集計区間算出部１２０は、予測向け集計区間算出部１２１と寄与度算出向け集計区間算出部１２２とから構成される。予測向け集計区間算出部１２１は、予測部１４０にて学習される学習データ、並びにこの学習データを学習することで構築される予測モデルへの入力を集計するための予測向け集計区間を算出する。寄与度算出向け集計区間算出部１２２は、それぞれの寄与度を算出するための集計区間であり、予測向け集計区間算出部１２１にて算出される予測向け集計区間を複数に区切った寄与度算出向け集計区間を算出する。なお、以下、予測向け集計区間のことを単に集計区間と呼び、寄与度算出向け集計区間のことをサブ集計区間と呼ぶ場合もある。

【0050】

例えば、予測向け集計区間算出部１２１は、所定の注目単語が発話された時刻を含む所定時間幅の時間区間を予測向け集計区間として算出し、寄与度算出向け集計区間算出部１２２は、予測向け集計区間算出部１２１にて算出される予測向け集計区間を複数に分割することにより寄与度算出向け集計区間を算出する。

【0051】

具体的には、予測向け集計区間算出部１２１が、注目単語が発話された時刻を含む３０秒の区間を予測向け集計区間とし、寄与度算出向け集計区間算出部１２２が、その予測向け集計区間を１０毎に区切って寄与度算出向け集計区間とすることが考えられる。

【0052】

これにより、動画から予測したい事項に関連する単語が発話された付近の時間帯を予測向け集計区間とし、それを更に分割して寄与度を短い区間で表す寄与度算出向け集計区間とすることができる。

【0053】

図８に示したように、特徴量算出部１３０は、第１特徴量算出部１３１と第２特徴量算出部１３２とから構成される。第１特徴量算出部１３１は、検出量算出部１１０にて算出された時刻毎の検出量に基づいて、予測向け集計区間算出部１２１にて算出された予測向け集計区間毎の特徴量を算出する。第２特徴量算出部１３２は、検出量算出部１１０にて算出された時刻毎の検出量に基づいて、寄与度算出向け集計区間算出部１２２にて算出された寄与度算出向け集計区間毎の特徴量を算出する。

【0054】

図９は、図８に示した第１特徴量算出部１３１にて算出された予測向け集計区間毎の特徴量を示す図である。

【0055】

図８に示した第１特徴量算出部１３１においては、図９に示すように、予測向け集計区間算出部１２１にて算出された集計区間（予測向け集計区間）毎に、検出量算出部１１０にて算出された検出量についての所定の統計量の第１特徴量算出部１３１にて算出された値が対応づけられて出力される。

【0056】

図１０は、図８に示した第２特徴量算出部１３１にて算出された寄与度算出向け集計区間毎の特徴量を示す図である。

【0057】

図８に示した第２特徴量算出部１３２においては、図１０に示すように、寄与度算出向け集計区間算出部１２２にて算出されたサブ集計区間（寄与度算出向け集計区間）毎に、検出量算出部１１０にて算出された検出量についての所定の統計量の第２特徴量算出部１３２にて算出された値（すなわち特徴量）が対応づけられて出力される。

【0058】

なお、第１特徴量算出部１３１や第２特徴量算出部１３２にて算出される統計量の値として合計回数を算出してもよい。

【0059】

予測部１４０は、学習データを学習することにより構築された予測モデルを用いて、予測結果と、この予測結果に対する特徴量の寄与度とを出力する。

【0060】

図１１は、図８に示した予測部１４０から出力される寄与度を示す図である。

【0061】

図１１に示すように、図８に示した予測部１４０からは、予測向け集計区間算出部１２１にて算出された集計区間（予測向け集計区間）毎に、検出量算出部１１０にて算出された検出量についての第１特徴量算出部１３１にて算出された特徴量の寄与度が出力される。

【0062】

図８に示したように、区間毎寄与度算出部１５０は、集計区間毎寄与度算出部１５１と、時刻毎寄与度算出部１５２と、類似度算出部１５３と、サブ集計区間毎寄与度算出部１５４とから構成される。

【0063】

集計区間毎寄与度算出部１５１は、検出量算出部１１０にて算出された時刻毎の検出量と、予測向け集計区間算出部１２１にて算出された予測向け集計区間と、予測部１４０にて算出された特徴量の寄与度とに基づいて、予測向け集計区間の寄与度を算出する。

【0064】

類似度算出部１５３は、第１特徴量算出部１３１にて算出された予測向け集計区間の特徴量（統計量の値）と、第１特徴量算出部１３２にて算出された寄与度算出向け集計区間の特徴量（統計量の値）との類似度を算出する。ここでは類似度が距離により表現されている。距離は絶対値の差である。距離が短いほど類似度は高い。

【0065】

図１２は、図８に示した類似度算出部１５３にて算出される類似度を示す図である。

【0066】

図１２に示すように、図８に示した類似度算出部１５３においては、寄与度算出向け集計区間算出部１２２にて算出されたサブ集計区間（寄与度算出向け集計区間）毎に、検出量算出部１１０にて算出された検出量と、第２特徴量算出部１３２にて算出された特徴量と、第１特徴量算出部１３１から出力された値と第２特徴量算出部１３２から出力された値との絶対値の差である距離とが対応づけられて出力される。

【0067】

サブ集計区間毎寄与度算出部１５４は、類似度算出部１５３において算出された、第１特徴量算出部１３１にて算出された予測向け集計区間の特徴量と第２特徴量算出部１３２にて算出された寄与度算出向け集計区間の特徴量との類似度に基づいて、予測部１４０から出力された予測向け集計区間の寄与度から寄与度算出向け集計区間の寄与度を算出する。

【0068】

例えば、サブ集計区間毎寄与度算出部１５４は、類似度算出部１５３にて算出された類似度が高いほど大きな値となるように、予測向け集計区間の寄与度を補正することにより、寄与度算出向け集計区間の寄与度を算出する。

【0069】

これにより、寄与度算出向け集計区間算出部１２２にて算出された寄与度算出向け集計区間の寄与度を、予測向け集計区間算出部１２１にて算出された予測向け集計区間の寄与度との類似度に応じて算出することができる。

【0070】

具体的には、サブ集計区間毎寄与度算出部１５４は、サブ集計区間番号ｉに対して、寄与度_i＝集計区間寄与度＋寄与度補正値_iである。この際、寄与度補正値は、以下の制約を解くことにより得られる。

【0071】

（制約）
距離が長い方が補正値は小さい
サブ集計区間番号i,jに対して、
最大補正値＞寄与度補正値_i＞寄与度補正値_j，ｉｊ距離_i＜距離_j
最大補正値＞寄与度補正値_i＝寄与度補正値_j，ｉｊ距離_i＝距離_j
補正値を時間で重みづけした値の合計は０
Σ_i時間_i×寄与度補正値_i＝０

【0072】

この場合、サブ集計区間毎寄与度算出部１５４は、予測向け集計区間に含まれる寄与度算出向け集計区間の寄与度の時間幅で重み付けした平均値が、予測向け集計区間の寄与度に等しくなるように、寄与度算出向け集計区間の寄与度を算出してもよい。それにより、予測向け集計区間の全体としては予測向け集計区間について算出された寄与度となり、その予測向け集計区間に含まれる寄与度算出向け集計区間の寄与度として、より短い時間毎の寄与度を提示することができる。

【0073】

図１３は、図８に示したサブ集計区間毎寄与度算出部１５４にて算出される寄与度算出向け集計区間の寄与度を示す図である。

【0074】

図１３に示すように、図８に示したサブ集計区間毎寄与度算出部１５４においては、寄与度算出向け集計区間算出部１２２にて算出された寄与度算出向け区間毎に、その寄与度が算出される。

【0075】

時刻毎寄与度算出部１５２は、集計区間毎寄与度算出部５１にて算出された予測向け集計区間毎の寄与度と、サブ集計区間毎寄与度算出部１５４にて算出された寄与度算出向け集計区間毎の寄与度とに基づいて、時刻毎の寄与度を算出する。

【0076】

図１４は、図８に示した時刻毎寄与度算出部１５２にて算出される時刻毎の寄与度を示す図である。

【0077】

図１４に示すように、図８に示した時刻毎寄与度算出部１５２においては、検出量算出部１１０に入力された動画の時刻毎の寄与度が算出される。

【0078】

このようにして集計区間毎寄与度算出部１５１にて算出された集計区間毎の寄与度と、サブ集計区間毎寄与度算出部１５４にて算出された寄与度算出向け集計区間毎の寄与度と、時刻毎寄与度算出部１５２にて算出された時刻毎の寄与度とは、予測根拠表示装置１０１の表示装置６６にて表示出力されることになる。

【0079】

このように、本形態においては、粗い時間単位である予測向け集計区間を用いることにより、予測モデルの訓練に用いる学習データのデータ量を抑えることを可能にするとともに、細かい時間単位である寄与度算出向け集計区間を用いることにより、ユーザが予測結果を振り返る際に予測結果の根拠となる短い時間幅の動画の箇所が示され、例えば、ユーザはピンポイントで容易に動画の確認を行うことができる。

【0080】

なお、区間毎寄与度算出部１５０において、算出した寄与度が正の値と負の値をとり得るものである場合、予測向け集計区間および／または寄与度算出向け集計区間における寄与度について、寄与度が正の値である集計区間と、寄与度が負の値である集計区間とを分けて別個のテーブルに記録してもよい。その場合、予測結果に肯定的に影響した期間と、あるいは予測結果に否定的に影響した期間とを区別してユーザに提示可能となる。

【0081】

以上、本発明の実施形態について述べてきたが、本発明は、これらの実施形態だけに限定されるものではなく、本発明の技術思想の範囲内において、これらの実施形態を組み合わせて使用したり、一部の構成を変更したりしてもよい。

【符号の説明】

【0082】

１，１０１…予測根拠表示装置、１０，１１０…検出量算出部、２０，１２０…集計区間算出部、３０，１３０…特徴量算出部、４０，１４０…予測部、５０，１５０…区間毎寄与度算出部、５１，１５１…集計区間毎寄与度算出部、５２，１５２…時刻毎寄与度算出部、６１…プロセッサ、６２…メインメモリ、６３…記憶装置、６４…通信装置、６５…入力装置、６６…表示装置、６７…バス、７１…再生画像、７２…スライドバー、７３…寄与度グラフ、１２１…予測向け集計区間算出部、１２２…寄与度算出向け集計区間算出部、１３１…第１特徴量算出部、１３２…第２特徴量算出部、１５３…類似度算出部、１５４…サブ集計区間毎寄与度算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】