ホーム > 特許ランキング > 国立大学法人山梨大学
知財求人 - 知財ポータルサイト「IP Force」
▶ 国立大学法人山梨大学の特許一覧 ▶ 株式会社Ｋ−ＷＩＬＬの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023183743
(43)【公開日】2023-12-28
(54)【発明の名称】情報処理装置、情報処理方法
(51)【国際特許分類】
G06T 7/246 20170101AFI20231221BHJP
【ＦＩ】
G06T7/246
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022097415
(22)【出願日】2022-06-16
(71)【出願人】
【識別番号】304023994
【氏名又は名称】国立大学法人山梨大学
(71)【出願人】
【識別番号】599161292
【氏名又は名称】株式会社Ｋ－ＷＩＬＬ
(74)【代理人】
【識別番号】110000660
【氏名又は名称】Ｋｎｏｗｌｅｄｇｅ Ｐａｒｔｎｅｒｓ弁理士法人
(72)【発明者】
【氏名】古屋 貴彦
(72)【発明者】
【氏名】豊浦 正広
(72)【発明者】
【氏名】浜田 高宏
(72)【発明者】
【氏名】川村 琢磨
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA08
5L096CA04
5L096DA02
5L096GA51
5L096GA55
5L096HA02
5L096HA09
5L096JA11
5L096JA18
5L096KA04
(57)【要約】
【課題】変換処理により動画像に生じる乱れの評価に寄与することを目的とする。
【解決手段】第１の動画像から抽出された第１のフレーム画像における領域である第１の領域と、前記第１の動画像に既定の変換処理が施された第２の動画像から抽出された、前記第１のフレームに対応する第２のフレーム画像における、前記第１の領域に対応する第２の領域と、のそれぞれから１つ以上の方向の周波数特徴量を抽出する抽出部と、前記第１の領域と前記第２の領域とのそれぞれから抽出された前記周波数特徴量に基づいて、前記第２の領域における乱れに対する評価値を推定する推定部と、を備える。
【選択図】図８
【解決手段】第１の動画像から抽出された第１のフレーム画像における領域である第１の領域と、前記第１の動画像に既定の変換処理が施された第２の動画像から抽出された、前記第１のフレームに対応する第２のフレーム画像における、前記第１の領域に対応する第２の領域と、のそれぞれから１つ以上の方向の周波数特徴量を抽出する抽出部と、前記第１の領域と前記第２の領域とのそれぞれから抽出された前記周波数特徴量に基づいて、前記第２の領域における乱れに対する評価値を推定する推定部と、を備える。
【選択図】図８
【特許請求の範囲】
【請求項1】
第１の動画像から抽出された第１のフレーム画像における領域である第１の領域と、前記第１の動画像に既定の変換処理が施された第２の動画像から抽出された、前記第１のフレームに対応する第２のフレーム画像における、前記第１の領域に対応する第２の領域と、のそれぞれから１つ以上の方向の周波数特徴量を抽出する抽出部と、
前記第１の領域と前記第２の領域とのそれぞれから抽出された前記周波数特徴量に基づいて、前記第２の領域における乱れに対する評価値を推定する推定部と、
を備える情報処理装置。
前記第１の領域と前記第２の領域とのそれぞれから抽出された前記周波数特徴量に基づいて、前記第２の領域における乱れに対する評価値を推定する推定部と、
を備える情報処理装置。
【請求項2】
前記推定部は、前記第１の領域と前記第２の領域とのそれぞれから抽出された前記周波数特徴量に基づく入力を受け付け、前記評価値を出力するよう機械学習された学習器を用いて、前記評価値を推定する請求項１に記載の情報処理装置。
【請求項3】
前記評価値を表示部に表示させる評価値表示制御部を更に備える請求項１又は２に記載の情報処理装置。
【請求項4】
前記第１の領域は、含まれる画素値の偏差値が既定の閾値以上であることを示す第１の条件と、含まれるエッジの画素数が既定の閾値以下であることを示す第２の条件と、のうちの少なくとも１つを満たす領域である請求項１又は２に記載の情報処理装置。
【請求項5】
第１の動画像から抽出された第１のフレーム画像における領域である第１の領域と、前記第１の動画像に既定の変換処理が施された第２の動画像から抽出された、前記第１のフレームに対応する第２のフレーム画像における、前記第１の領域に対応する第２の領域と、のそれぞれから１つ以上の方向の周波数特徴量を抽出する抽出部と、
前記第１の領域と前記第２の領域とのそれぞれから抽出された前記周波数特徴量を並べて表示部に表示させる特徴量表示制御部と、
を備える情報処理装置。
前記第１の領域と前記第２の領域とのそれぞれから抽出された前記周波数特徴量を並べて表示部に表示させる特徴量表示制御部と、
を備える情報処理装置。
【請求項6】
情報処理装置が実行する情報処理方法であって、
第１の動画像から抽出された第１のフレーム画像における領域である第１の領域と、前記第１の動画像に既定の変換処理が施された第２の動画像から抽出された、前記第１のフレームに対応する第２のフレーム画像における、前記第１の領域に対応する第２の領域と、のそれぞれから１つ以上の方向の周波数特徴量を抽出する抽出ステップと、
前記第１の領域と前記第２の領域とのそれぞれから抽出された前記周波数特徴量に基づいて、前記第２の領域における乱れに対する評価値を推定する推定ステップと、
を含む情報処理方法。
第１の動画像から抽出された第１のフレーム画像における領域である第１の領域と、前記第１の動画像に既定の変換処理が施された第２の動画像から抽出された、前記第１のフレームに対応する第２のフレーム画像における、前記第１の領域に対応する第２の領域と、のそれぞれから１つ以上の方向の周波数特徴量を抽出する抽出ステップと、
前記第１の領域と前記第２の領域とのそれぞれから抽出された前記周波数特徴量に基づいて、前記第２の領域における乱れに対する評価値を推定する推定ステップと、
を含む情報処理方法。
【請求項7】
情報処理装置が実行する情報処理方法であって、
第１の動画像から抽出された第１のフレーム画像における領域である第１の領域と、前記第１の動画像に既定の変換処理が施された第２の動画像から抽出された、前記第１のフレームに対応する第２のフレーム画像における、前記第１の領域に対応する第２の領域と、のそれぞれから１つ以上の方向の周波数特徴量を抽出する抽出ステップと、
前記第１の領域と前記第２の領域とのそれぞれから抽出された前記周波数特徴量を並べて表示部に表示させる特徴量表示制御ステップと、
を含む情報処理方法。
第１の動画像から抽出された第１のフレーム画像における領域である第１の領域と、前記第１の動画像に既定の変換処理が施された第２の動画像から抽出された、前記第１のフレームに対応する第２のフレーム画像における、前記第１の領域に対応する第２の領域と、のそれぞれから１つ以上の方向の周波数特徴量を抽出する抽出ステップと、
前記第１の領域と前記第２の領域とのそれぞれから抽出された前記周波数特徴量を並べて表示部に表示させる特徴量表示制御ステップと、
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法に関する。
【背景技術】
【0002】
動画像内に乱れが発生することがある。従来、このような乱れを検出する技術がある。特許文献１には、映像内の時間的な高調波成分から映像内の乱れを検出する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１５／０５９７８２号
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、撮影された動画像を放映用のフォーマットに変換する場合等のように、動画像に既定の変換処理が施される場合がある。このような場合に、変換処理により変換前の動画像からの乱れが生じる場合がある。特許文献１では、検出された乱れが変換処理により生じたものかどうか不明であるため、変換処理により生じた乱れを評価できなかった。
本発明は、前記課題にかんがみてなされたもので、変換処理により動画像に生じる乱れの評価に寄与することを目的とする。
本発明は、前記課題にかんがみてなされたもので、変換処理により動画像に生じる乱れの評価に寄与することを目的とする。
【課題を解決するための手段】
【0005】
上述の目的を達成するため、本発明の情報処理装置は、第１の動画像から抽出された第１のフレーム画像における領域である第１の領域と、前記第１の動画像に既定の変換処理が施された第２の動画像から抽出された、前記第１のフレームに対応する第２のフレーム画像における、前記第１の領域に対応する第２の領域と、のそれぞれから１つ以上の方向の周波数特徴量を抽出する抽出部と、前記第１の領域と前記第２の領域とのそれぞれから抽出された前記周波数特徴量に基づいて、前記第２の領域における乱れに対する評価値を推定する推定部と、を備える。
【0006】
動画像内に乱れが発生する場合、乱れが生じた箇所では、元の画像と比べて周波数成分に変動が生じる。そのため、第１の領域の周波数特徴量と、第２の領域の周波数特徴量と、には、変換処理の前後における周波数成分の変動が現れているとみなすことができる。そこで、情報処理装置は、第１の領域と、第２の領域と、の周波数特徴量から、第２の領域の乱れに対する評価値を推定することで、変換処理により動画像に生じる乱れを評価できる。
【図面の簡単な説明】
【0007】
【図1】情報処理装置の一例の構成を示す図である。
【図2】フレーム画像の一例を示す図である。
【図3】ウェーブレットフィルタの一例を示す図である。
【図4】周波数特徴量の抽出方法を説明する図である。
【図5】学習器の入力データの生成方法を説明する図である。
【図6】除外されるパッチの一例を示す図である。
【図7】推定値の表示態様の一例を示す図である。
【図8】推定処理の一例を示すフローチャートである。
【図9】情報処理装置の一例の構成を示す図である。
【図10】周波数特徴量を示すオブジェクトの生成処理を説明する図である。
【図11】周波数特徴量を示すオブジェクトの生成処理を説明する図である。
【図12】周波数特徴量の表示態様の一例を示す図である。
【図13】実験結果を示す図である。
【発明を実施するための形態】
【0008】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）第１の実施形態：
（１－１）情報処理装置の構成：
（１－２）推定処理：
（２）第２の実施形態：
（３）他の実施形態：
（１）第１の実施形態：
（１－１）情報処理装置の構成：
（１－２）推定処理：
（２）第２の実施形態：
（３）他の実施形態：
【0009】
（１）第１の実施形態：
（１―１）情報処理装置の構成：
図１は、情報処理装置１０の一例の構成を示す図である。本実施形態にかかる情報処理装置１０は、動画像に既定の変換処理（フォーマット変換処理等）により生じる画像の乱れを評価する。本実施形態では、情報処理装置１０は、汎用コンピュータであるとするが、サーバ装置、タブレット装置等の他の情報処理装置でもよい。
（１―１）情報処理装置の構成：
図１は、情報処理装置１０の一例の構成を示す図である。本実施形態にかかる情報処理装置１０は、動画像に既定の変換処理（フォーマット変換処理等）により生じる画像の乱れを評価する。本実施形態では、情報処理装置１０は、汎用コンピュータであるとするが、サーバ装置、タブレット装置等の他の情報処理装置でもよい。
【0010】
情報処理装置１０は、制御部２０、記憶媒体３０、ＵＩ部４０を備える。
制御部２０は、プロセッサ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）を備え、情報処理装置１０を制御する。記憶媒体３０は、推定プログラム２１等の各種プログラムと、動画像３０ａ、変換動画像３０ｂ、学習器３０ｃ等の各種データと、を記憶する。
制御部２０は、プロセッサ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）を備え、情報処理装置１０を制御する。記憶媒体３０は、推定プログラム２１等の各種プログラムと、動画像３０ａ、変換動画像３０ｂ、学習器３０ｃ等の各種データと、を記憶する。
【0011】
動画像３０ａは、時系列上で連続する複数のフレーム画像から構成される動画像であり、乱れの評価対象の動画像と、学習器３０ｃの学習用の動画像と、である。以下では、乱れの評価対象の動画像を対象動画像とする。対象動画像は、第１の動画像の一例である。また、以下では、学習用の動画像を、学習用動画像とする。
また、変換動画像３０ｂは、動画像３０ａに既定の変換処理が施された動画像のデータであり、対象動画像に既定の変換処理が施された動画像と、学習用動画像に既定の変換処理が施された動画像と、である。本実施形態では、この既定の変換処理は、フォーマット変換処理であるとするが、圧縮処理等の他の処理であってもよい。以下では、対象動画像に既定の変換処理が施された動画像を、変換済対象動画像とする。変換済対象動画像は、第２の動画像の一例である。また、以下では、学習用動画像に既定の変換処理が施された動画像を、変換済学習用動画像とする。
また、変換動画像３０ｂは、動画像３０ａに既定の変換処理が施された動画像のデータであり、対象動画像に既定の変換処理が施された動画像と、学習用動画像に既定の変換処理が施された動画像と、である。本実施形態では、この既定の変換処理は、フォーマット変換処理であるとするが、圧縮処理等の他の処理であってもよい。以下では、対象動画像に既定の変換処理が施された動画像を、変換済対象動画像とする。変換済対象動画像は、第２の動画像の一例である。また、以下では、学習用動画像に既定の変換処理が施された動画像を、変換済学習用動画像とする。
【0012】
学習器３０ｃは、動画像３０ａにおけるフレーム画像内の領域から抽出された特徴量と、変換動画像３０ｂにおける対応するフレーム画像内の対応する領域から抽出された特徴量と、に基づく入力を受け、乱れの評価値を出力するモデルである。ここで、動画像３０ａと変換動画像３０ｂとにおいて同一の状況が映されているフレーム画像同士、すなわち、同一の時刻のフレーム画像同士を、対応するフレーム画像とする。なお、対応するフレーム画像同士は、同一の状況が映されていれば、時刻が完全に一致しなくてもよく、既定の閾値（例えば、０．０２秒等）以下の時刻ずれがあってもよい。また、対応するフレーム画像それぞれにおける同一の状況が映されている領域同士、すなわち、対応するフレーム画像それぞれにおける同一の位置の領域を、対応する領域とする。なお、対応する領域同士は、同一の状況が映されていれば、フレーム画像内での座標が完全に一致しなくてもよく、既定の閾値（例えば、３画素等）以下の位置ずれがあってもよい。モデルとは、既定の入力を受け、既定の情報を示す出力を出すための仕組みを示す情報であり、数式、条件式等である。本実施形態では、学習器３０ｃは、異常検出のためのモデルであるアイソレーションフォレストであり、後述する学習部２１ｂの機能により予め機械学習されている。
【0013】
ＵＩ部４０は、情報の入力に用いられるマウス、キーボード、タッチパネル、マイク等の入力部と、情報の出力に用いられる表示部（モニタ、ディスプレイ等）、スピーカ等の出力部と、を備える。
【0014】
制御部２０は、推定プログラム２１を実行することで、抽出部２１ａ、学習部２１ｂ、推定部２１ｃ、評価値表示制御部２１ｄとして機能する。
【0015】
抽出部２１ａは、動画像３０ａから抽出されたフレーム画像における領域と、変換動画像３０ｂから抽出された対応するフレーム画像の対応する領域と、のそれぞれから１つ以上の方向の周波数特徴量を抽出する機能である。周波数特徴量とは、画像内の空間方向の周波数成分によって定まる特徴量である。すなわち、周波数特徴量とは、周波数成分の変動に応じて変動する特徴量である。
【0016】
制御部２０は、抽出部２１ａの機能により、動画像３０ａ、及び、変換動画像３０ｂから、周波数特徴量を抽出する。
本実施形態では、制御部２０は、学習器３０ｃの機械学習に用いられるデータとして、学習用動画像、及び、変換済学習用動画像から周波数特徴量を抽出する。また、制御部２０は、乱れの評価対象である対象動画像、及び、変換済対象動画像から周波数特徴量を抽出する。
本実施形態では、制御部２０は、学習器３０ｃの機械学習に用いられるデータとして、学習用動画像、及び、変換済学習用動画像から周波数特徴量を抽出する。また、制御部２０は、乱れの評価対象である対象動画像、及び、変換済対象動画像から周波数特徴量を抽出する。
【0017】
動画像３０ａと、変換処理が施された変換動画像３０ｂと、から周波数特徴量を抽出する処理の詳細を説明する。
制御部２０は、動画像３０ａ、及び、変換動画像３０ｂそれぞれから対応するフレーム画像を抽出し、抽出したフレーム画像を複数の領域に分割する。以下では、ここで動画像３０ａから抽出されたフレーム画像を抽出画像とする。また、以下では、ここで変換動画像３０ｂから抽出されたフレーム画像を変換抽出画像とする。対応する抽出画像と変換抽出画像とは、第１のフレーム画像と第２のフレーム画像との一例である。本実施形態では、制御部２０は、各フレーム画像を、複数の６４画素×６４画素の領域に分割する。以下では、フレーム画像が分割された各領域を、パッチとする。本実施形態では、パッチは、６４画素×６４画素の領域であるが、３２画素×３２画素の領域、フレーム画像全体等の他の領域であってもよい。制御部２０は、フレーム画像からパッチを抽出し、抽出したパッチから、周波数特徴量の抽出対象となる領域を抽出する。以下では、抽出画像から抽出されたパッチを、変換前パッチとする。また、以下では、変換抽出画像から抽出されたパッチを、変換後パッチとする。対応する抽出画像と変換抽出画像から抽出された対応する変換前パッチと変換後パッチとは、第１の領域と第２の領域との一例である。図２は、抽出画像の一例を示す図である。図２は、スケートの観戦の際の状況を示し、前景にスケートリンク内に存在する一人の選手が映っており、背景にスケートリンクの外周の壁ごしに、選手を観戦する複数の観客が映っている。また、スケートリンクの外周の壁には、広告（ＡＢＣＤ）が映っている。図２の例では、抽出された１つのパッチをＰで示している。
制御部２０は、動画像３０ａ、及び、変換動画像３０ｂそれぞれから対応するフレーム画像を抽出し、抽出したフレーム画像を複数の領域に分割する。以下では、ここで動画像３０ａから抽出されたフレーム画像を抽出画像とする。また、以下では、ここで変換動画像３０ｂから抽出されたフレーム画像を変換抽出画像とする。対応する抽出画像と変換抽出画像とは、第１のフレーム画像と第２のフレーム画像との一例である。本実施形態では、制御部２０は、各フレーム画像を、複数の６４画素×６４画素の領域に分割する。以下では、フレーム画像が分割された各領域を、パッチとする。本実施形態では、パッチは、６４画素×６４画素の領域であるが、３２画素×３２画素の領域、フレーム画像全体等の他の領域であってもよい。制御部２０は、フレーム画像からパッチを抽出し、抽出したパッチから、周波数特徴量の抽出対象となる領域を抽出する。以下では、抽出画像から抽出されたパッチを、変換前パッチとする。また、以下では、変換抽出画像から抽出されたパッチを、変換後パッチとする。対応する抽出画像と変換抽出画像から抽出された対応する変換前パッチと変換後パッチとは、第１の領域と第２の領域との一例である。図２は、抽出画像の一例を示す図である。図２は、スケートの観戦の際の状況を示し、前景にスケートリンク内に存在する一人の選手が映っており、背景にスケートリンクの外周の壁ごしに、選手を観戦する複数の観客が映っている。また、スケートリンクの外周の壁には、広告（ＡＢＣＤ）が映っている。図２の例では、抽出された１つのパッチをＰで示している。
【0018】
制御部２０は、抽出した変換前パッチ、変換後パッチそれぞれから、周波数特徴量を抽出する。
本実施形態では、制御部２０は、変換前パッチ、変換後パッチのそれぞれのパッチについて、以下の処理を行うことで、周波数特徴量を抽出する。すなわち、制御部２０は、パッチの各行、各列について、既定の複数のウェーブレットフィルタそれぞれを用いて畳み込みを行うことで、既定の空間方向（本実施形態では、行方向、列方向）の周波数特徴量を抽出する。パッチから周波数特徴量を抽出する処理の詳細を説明する。
本実施形態では、制御部２０は、変換前パッチ、変換後パッチのそれぞれのパッチについて、以下の処理を行うことで、周波数特徴量を抽出する。すなわち、制御部２０は、パッチの各行、各列について、既定の複数のウェーブレットフィルタそれぞれを用いて畳み込みを行うことで、既定の空間方向（本実施形態では、行方向、列方向）の周波数特徴量を抽出する。パッチから周波数特徴量を抽出する処理の詳細を説明する。
【0019】
まず、行方向の周波数特徴量を抽出する処理を説明する。
制御部２０は、パッチから１行ずつデータを抽出し、抽出したデータについて以下の処理を行う。１行分のデータは、画素が６４個並んだデータであり、６４個の画素値が並んだ数列とみなせる。この数列の要素は、それぞれパッチから抽出された行における各画素に対応する。この数列の各要素を、ａ１～ａ６４とする。以下では、この数列を、行数列とする。
また、本実施形態では、複数（本実施形態では１０個）のウェーブレットフィルタが、予め記憶媒体３０に記憶されている。ウェーブレットとは、有限の長さを持つ波である。本実施形態では、ウェーブレットフィルタは、それぞれ、直線上でメキシカンハット型のウェーブレットが１つ発生した状況を示す左右対称の波形を、６４個の要素で離散化した場合における各要素の値を示す数列である。図３に、各ウェーブレットフィルタの概要を示す。図３に示すように、複数のウェーブレットフィルタは、それぞれ、幅が異なるウェーブレットを含む波形を示す。ウェーブレットフィルタは、対応するウェーブレットの幅が広いほど、より低周波数な成分を示す。すなわち、用意された１０個のウェーブレットフィルタそれぞれは、異なる周波数成分を示すフィルタである。
制御部２０は、パッチから１行ずつデータを抽出し、抽出したデータについて以下の処理を行う。１行分のデータは、画素が６４個並んだデータであり、６４個の画素値が並んだ数列とみなせる。この数列の要素は、それぞれパッチから抽出された行における各画素に対応する。この数列の各要素を、ａ１～ａ６４とする。以下では、この数列を、行数列とする。
また、本実施形態では、複数（本実施形態では１０個）のウェーブレットフィルタが、予め記憶媒体３０に記憶されている。ウェーブレットとは、有限の長さを持つ波である。本実施形態では、ウェーブレットフィルタは、それぞれ、直線上でメキシカンハット型のウェーブレットが１つ発生した状況を示す左右対称の波形を、６４個の要素で離散化した場合における各要素の値を示す数列である。図３に、各ウェーブレットフィルタの概要を示す。図３に示すように、複数のウェーブレットフィルタは、それぞれ、幅が異なるウェーブレットを含む波形を示す。ウェーブレットフィルタは、対応するウェーブレットの幅が広いほど、より低周波数な成分を示す。すなわち、用意された１０個のウェーブレットフィルタそれぞれは、異なる周波数成分を示すフィルタである。
【0020】
制御部２０は、行数列（ａ１～ａ６４）に対して、１０個のウェーブレットフィルタそれぞれを用いてフィルタ処理を行い、周波数特徴量を取得する。行数列（ａ１～ａ６４）に対するウェーブレットフィルタを用いたフィルタ処理について、図４を用いて説明する。以下では、ウェーブレットフィルタの要素を、ｗ１～ｗ６４とする。制御部２０は、行数列における各要素について以下の処理を行う。すなわち、制御部２０は、行数列の要素と、ウェーブレットフィルタの中央値（本実施形態では、ｗ３２とする）と、が重なるように、行数列とウェーブレットフィルタとを重ね合わせた場合における行数列とウェーブレットフィルタとの内積を求める。例えば、制御部２０は、ａ１とｗ３２とが重なるように、行数列とウェーブレットフィルタとを重ね合わせた場合における行数列とウェーブレットフィルタとの内積値を求める。ただし、この場合、ｗ１～ｗ３１と重なる部分が行数列にないので、制御部２０は、この部分にａ１と同じ値が３１個並んでいると仮定し、内積をとる。すなわち、制御部２０は、（ｗ１＋ｗ２＋ｗ３＋…＋ｗ３０＋ｗ３１＋ｗ３２）×ａ１＋ｗ３３×ａ２＋ｗ３４×ａ３＋ｗ３５×ａ４＋…＋ｗ６３×ａ３２＋ｗ６４×ａ３３を求める。このように、ｗ１～ｗｋと重なる部分が行数列にない場合、制御部２０は、この部分にａ１と同じ値が並んでいると仮定し、内積をとる。また、ｗｋ～ｗ６４と重なる部分が行数列にない場合、制御部２０は、この部分にａ６４と同じ値が並んでいると仮定し、内積をとる。例えば、制御部２０は、ａ６４とｗ３２とが重なるように、行数列とウェーブレットフィルタとを重ね合わせた場合における行数列とウェーブレットフィルタとの内積値を求める場合、以下のようにする。制御部２０は、ｗ１×ａ３３＋ｗ２×ａ３４＋ｗ３×ａ３５＋…＋ｗ３０×ａ６２＋ｗ３１×ａ６３＋（ｗ３２＋ｗ３３＋ｗ３４＋…＋ｗ６３＋ｗ６４）×ａ６４を内積値として求める。
以上の処理により、制御部２０は、パッチから抽出した行の各画素について、行数列とウェーブレットフィルタとの内積値（図４におけるｆ１～ｆ６４）を取得する。これらの内積値は、パッチから抽出された行とウェーブレットフィルタとの類似の度合いを示し、この行におけるウェーブレットフィルタのウェーブレットが示す周波数成分との類似の度合いが示される。制御部２０は、パッチから抽出した行の各画素について取得した内積値を、パッチの１行分の行方向における周波数特徴量として取得する。
以上の処理により、制御部２０は、パッチから抽出した行の各画素について、行数列とウェーブレットフィルタとの内積値（図４におけるｆ１～ｆ６４）を取得する。これらの内積値は、パッチから抽出された行とウェーブレットフィルタとの類似の度合いを示し、この行におけるウェーブレットフィルタのウェーブレットが示す周波数成分との類似の度合いが示される。制御部２０は、パッチから抽出した行の各画素について取得した内積値を、パッチの１行分の行方向における周波数特徴量として取得する。
【0021】
制御部２０は、パッチの全行（６４行）について、以上の処理を行う。これにより、制御部２０は、パッチ内の全画素（６４×６４）について、行方向の周波数特徴量を取得する。
また、制御部２０は、１０個のウェーブレットフィルタそれぞれについて、以上の処理を行う。これにより、制御部２０は、６４×６４×１０個の行方向の周波数特徴量を取得する。
以上が行方向の周波数特徴量を求める処理の説明である。
また、制御部２０は、１０個のウェーブレットフィルタそれぞれについて、以上の処理を行う。これにより、制御部２０は、６４×６４×１０個の行方向の周波数特徴量を取得する。
以上が行方向の周波数特徴量を求める処理の説明である。
【0022】
続いて、列方向の周波数特徴量を求める処理を説明する。列方向の周波数特徴量を求める処理は、前述の行方向の周波数特徴量を求める処理における行を列に入れ替えた処理である。
すなわち、制御部２０は、パッチから１列ずつデータを抽出し、抽出したデータについて以下の処理を行う。１列分のデータは、画素が６４個並んだデータであり、６４個の画素値が並んだ数列とみなせる。この数列の各要素を、ａ１～ａ６４とする。以下では、この数列を、列数列とする。
すなわち、制御部２０は、パッチから１列ずつデータを抽出し、抽出したデータについて以下の処理を行う。１列分のデータは、画素が６４個並んだデータであり、６４個の画素値が並んだ数列とみなせる。この数列の各要素を、ａ１～ａ６４とする。以下では、この数列を、列数列とする。
【0023】
制御部２０は、列数列（ａ１～ａ６４）に対して、１０個のウェーブレットフィルタそれぞれを用いてフィルタ処理を行い、周波数特徴量を取得する。列数列（ａ１～ａ６４）に対するウェーブレットフィルタを用いたフィルタ処理については、前述の行数列に対するウェーブレットフィルタ処理と同様である。すなわち、制御部２０は、列数列の要素と、ウェーブレットフィルタの中央値（本実施形態では、ｗ３２とする）と、が重なるように、列数列とウェーブレットフィルタとを重ね合わせた場合における列数列とウェーブレットフィルタとの内積を求める。なお、ｗ１～ｗｋと重なる部分が列数列にない場合、制御部２０は、この部分にａ１と同じ値が並んでいると仮定する。また、ｗｋ～ｗ６４と重なる部分が列数列にない場合、制御部２０は、この部分にａ６４と同じ値が並んでいると仮定する。
以上の処理により、制御部２０は、パッチから抽出した列の各画素について、列数列とウェーブレットフィルタとの内積値を列方向の周波数特徴量として取得する。制御部２０は、パッチから抽出した列の各画素について取得した内積値を、パッチの１列分の行方向における周波数特徴量として取得する。
以上の処理により、制御部２０は、パッチから抽出した列の各画素について、列数列とウェーブレットフィルタとの内積値を列方向の周波数特徴量として取得する。制御部２０は、パッチから抽出した列の各画素について取得した内積値を、パッチの１列分の行方向における周波数特徴量として取得する。
【0024】
制御部２０は、パッチの全列（６４列）について、以上の処理を行う。これにより、制御部２０は、パッチ内の全画素（６４×６４）について、列方向の周波数特徴量を取得する。
また、制御部２０は、１０個のウェーブレットフィルタそれぞれについて、以上の処理を行う。これにより、制御部２０は、６４×６４×１０個の列方向の周波数特徴量を取得する。
以上が列方向の周波数特徴量を求める処理の説明である。
また、制御部２０は、１０個のウェーブレットフィルタそれぞれについて、以上の処理を行う。これにより、制御部２０は、６４×６４×１０個の列方向の周波数特徴量を取得する。
以上が列方向の周波数特徴量を求める処理の説明である。
【0025】
制御部２０は、パッチから取得した行方向の周波数特徴量を６４×６４×１０の３次元のテンソルにまとめる。以下では、行方向の周波数特徴量がまとめられたテンソルを、行特徴テンソルとする。このテンソルの第１次元は、パッチの行方向の位置を示す。また、このテンソルの第２次元は、パッチの列方向の位置を示す。また、このテンソルの第３次元は、ウェーブレットフィルタの種別を示す。同様に、制御部２０は、パッチから取得した列方向の周波数特徴量を６４×６４×１０の３次元のテンソルにまとめる。以下では、列方向の周波数特徴量がまとめられたテンソルを、列特徴テンソルとする。
【0026】
そして、制御部２０は、行特徴テンソルと、列特徴テンソルと、を第３次元の方向に連結することで、６４×６４×２０の３次元のテンソルを生成する。以下では、このテンソルを、特徴量テンソルとする。特徴量テンソルは、パッチにおける行方向、及び、列方向の周波数特徴量である。
以上がパッチから特徴量を抽出する処理の説明である。
以上がパッチから特徴量を抽出する処理の説明である。
【0027】
制御部２０は、動画像３０ａ、変換動画像３０ｂそれぞれから抽出された変換前パッチ及び、変換後パッチそれぞれから、特徴量テンソルを取得する。
【0028】
なお、本実施形態では、制御部２０は、学習用動画像、及び、変換済学習用動画像からパッチを抽出する際には、フレーム画像の全領域から、パッチを抽出する。そして、制御部２０は、抽出したパッチについて特徴量テンソルを抽出する。
【0029】
また、本実施形態では、制御部２０は、対象動画像、及び、変換済対象動画像からパッチを抽出する際には、既定の条件を満たすパッチのみを、特徴量抽出対象（すなわち、乱れの評価対象）のパッチとして抽出する。動画像においては、主要なオブジェクト（例えば、スポーツ観戦における選手、広告のロゴ等）が映らない部分（例えば、画素値がほぼ一定の部分、背景の観客等のように複雑な部分）に生じる乱れについては検証が不要な場合がある。そこで、本実施形態では、制御部２０は、対象動画像、及び、変換済対象動画像のフレーム画像における画素値がほぼ一定の部分、及び、複雑な部分を除いた領域から、特徴量テンソルの抽出対象のパッチを抽出する。より具体的には、制御部２０は、パッチ内の画素値の偏差値（標準偏差値）が既定の閾値以上である条件（以下では、第１の条件）を満たさないパッチについては、パッチ内の画素値がほぼ一定の領域であるとして、このパッチを抽出せず、乱れの評価対象としないようにする。また、制御部２０は、パッチ内のエッジに含まれる画素数が既定の閾値以下である条件（以下では、第２の条件とする）を満たさないパッチについては、パッチ内が複雑であるとして、このパッチを抽出せず、乱れの評価対象としないようにする。より具体的には、制御部２０は、パッチに対して公知の方法でエッジ検出処理（例えば、エッジ検出フィルタを用いたフィルタ処理）を行い、パッチ内のエッジを検出する。そして、制御部２０は、検出したエッジである画素の総数を特定し、特定した総数が既定の閾値以下であれば、このパッチが第２の条件を満たすとする。すなわち、制御部２０は、第１の条件と第２の条件とを満たすパッチを、特徴量テンソルの抽出対象のパッチとして抽出する。すなわち、制御部２０は、第１の条件と第２の条件との少なくとも１つを満たさないパッチについては、抽出しない。これにより、制御部２０は、不要な処理にかかる負荷を低減でき、処理を高速化できる。図６に、抽出されないパッチの一例を示す。図６は、対象動画像のフレーム画像の一例を示す。図６において点線の矩形で示される領域（スケートリンクの領域、密集した観客の領域）は、抽出されないパッチの一例を示す。
以上が抽出部２１ａの説明である。
以上が抽出部２１ａの説明である。
【0030】
学習部２１ｂは、学習器３０ｃを機械学習する機能である。
制御部２０は、学習部２１ｂの機能により、学習用動画像、及び、変換済学習用動画像から抽出部２１ａの機能により抽出された特徴量テンソルを用いて、学習器３０ｃを機械学習する。
制御部２０は、学習部２１ｂの機能により、学習用動画像、及び、変換済学習用動画像から抽出部２１ａの機能により抽出された特徴量テンソルを用いて、学習器３０ｃを機械学習する。
【0031】
制御部２０は、学習用動画像、及び、変換済学習用動画像から抽出された特徴量テンソルから、対応するパッチについて抽出された特徴量テンソルの組を特定する。制御部２０は、特定した組それぞれから、学習器３０ｃの入力データとなるデータを生成する。具体的には、制御部２０は、以下の処理を行う。図５を用いて、この処理を説明する。
【0032】
制御部２０は、特定した組に含まれる特徴量テンソルそれぞれを、第１次元×第２次元の領域について既定のプーリング処理を行うことで、既定のサイズにダウンサイズする。プーリングサイズをｓとおくと、ダウンサイズ後の特徴量テンソルのサイズは、（６４／ｓ）×（６４／ｓ）×２０となる。本実施形態では、プーリングサイズｓは８である。本実施形態では、制御部２０は、既定のプーリング処理として、以下の処理を行う。すなわち、制御部２０は、各特徴量テンソルの第１次元×第２次元の領域におけるｓ×ｓ（８×８）の複数の領域に分割し、分割した領域それぞれについて、要素の最大値をとることで、分割した領域それぞれを１×１のサイズにダウンサイズする処理を行う。ただし、制御部２０は、既定のプーリング処理として、他の処理を行ってもよい。例えば、制御部２０は、各特徴量テンソルの第１次元×第２次元の領域におけるｓ×ｓの複数の領域に分割し、分割した領域それぞれについて、要素の中央値、平均値等をとることで、分割した領域それぞれを１×１のサイズにダウンサイズする処理を行ってもよい。
これにより、特徴量テンソルは、８×８×２０にダウンサイズされる。
これにより、特徴量テンソルは、８×８×２０にダウンサイズされる。
【0033】
制御部２０は、ダウンサイズした特徴量テンソル同士の差分をとる。本実施形態では、制御部２０は、ダウンサイズした特徴量テンソル同士の相対的な差分をとる。具体的には、制御部２０は、以下のようにする。ここで、変換前パッチから抽出され、ダウンサイズされた特徴量テンソルの要素をＡとし、変換後パッチから抽出され、ダウンサイズされた特徴量テンソルの対応する要素をＢとする。制御部２０は、ダウンサイズした特徴量テンソル同士の差分である差分テンソルの要素を、変換処理による元の特徴量からの変化の大きさを示す値である｜（Ｂ－Ａ）／Ａ｜とする。すなわち、制御部２０は、差分テンソルの要素として、要素Ａと要素Ｂとの絶対的な差分値（Ｂ－Ａ）の要素Ａに対する割合の絶対値を求める。このように、制御部２０は、ダウンサイズした特徴量テンソル同士の差分をとり、差分を示すテンソルを求める。以下では、ダウンサイズした特徴量テンソル同士の差分を示すテンソルを差分テンソルとする。
【0034】
制御部２０は、既定のプーリング処理により、差分テンソルの第１次元×第２次元の領域を１×１にダウンサイズする。本実施形態では、制御部２０は、既定のプーリング処理として、以下の処理を行う。すなわち、制御部２０は、差分テンソルの第１次元×第２次元の８×８の領域について、要素の最大値をとることで、１×１のサイズにダウンサイズする処理を行う。ただし、制御部２０は、既定のプーリング処理として、他の処理を行ってもよい。例えば、制御部２０は、差分テンソルの第１次元×第２次元の領域について、要素の中央値、平均値等をとることで、１×１のサイズにダウンサイズする処理を行ってもよい。
これにより、制御部２０は、１×１×２０のサイズのテンソルすなわち、２０次元のベクトルを、学習器３０ｃに入力されるデータとして取得する。以下では、このベクトルを、特徴ベクトルとする。
これにより、制御部２０は、１×１×２０のサイズのテンソルすなわち、２０次元のベクトルを、学習器３０ｃに入力されるデータとして取得する。以下では、このベクトルを、特徴ベクトルとする。
【0035】
制御部２０は、特定した組それぞれについて、特徴ベクトルを抽出する。
制御部２０は、公知の手法により、抽出した複数の特徴ベクトルを再帰的に分割する複数の決定木をアイソレーションフォレストとして機械学習する。制御部２０は、機械学習したアイソレーションフォレストの情報を、学習器３０ｃとして記憶媒体３０に記憶する。
この機械学習は、ラベル付きのデータを要さない教師なし学習であり、ラベル付けの手間を要さず行うことができる。学習器３０ｃは、入力されたデータが、どの深さのノードに到達したかを示す情報を出力するモデルである。本実施形態では、学習器３０ｃは、アイソレーションフォレストにおける各決定木それぞれについて、入力されたデータが、どの深さのノードに到達したかを特定し、特定した深さの平均値を示す情報を出力するモデルである。アイソレーションフォレストにおいて、異常なデータほど、すぐに分割されるため、浅いノードに到達する傾向がある。そこで、学習器３０ｃから出力される深さが既定の閾値よりも浅い場合、フレーム画像内に異常、すなわち乱れが生じている可能性があると判断できる。
制御部２０は、公知の手法により、抽出した複数の特徴ベクトルを再帰的に分割する複数の決定木をアイソレーションフォレストとして機械学習する。制御部２０は、機械学習したアイソレーションフォレストの情報を、学習器３０ｃとして記憶媒体３０に記憶する。
この機械学習は、ラベル付きのデータを要さない教師なし学習であり、ラベル付けの手間を要さず行うことができる。学習器３０ｃは、入力されたデータが、どの深さのノードに到達したかを示す情報を出力するモデルである。本実施形態では、学習器３０ｃは、アイソレーションフォレストにおける各決定木それぞれについて、入力されたデータが、どの深さのノードに到達したかを特定し、特定した深さの平均値を示す情報を出力するモデルである。アイソレーションフォレストにおいて、異常なデータほど、すぐに分割されるため、浅いノードに到達する傾向がある。そこで、学習器３０ｃから出力される深さが既定の閾値よりも浅い場合、フレーム画像内に異常、すなわち乱れが生じている可能性があると判断できる。
【0036】
推定部２１ｃは、対象動画像内のフレーム画像におけるパッチと、変換済対象動画像内の対応するフレーム画像における対応するパッチと、のそれぞれから抽出された周波数特徴量に基づいて、変換済対象動画像内のパッチにおける乱れに対する評価値を推定する機能である。
【0037】
制御部２０は、推定部２１ｃの機能により、対象動画像、及び、変換済対象動画像から抽出された対応するパッチから抽出された特徴量テンソルを用いて、学習器３０ｃに入力する入力データを取得する。以下、推定部２１ｃの機能による処理の詳細を説明する。
【0038】
制御部２０は、対象動画像、及び、変換済対象動画像における対応するパッチから抽出された特徴量テンソルの組を特定する。制御部２０は、特定した特徴量テンソルの組から、学習器３０ｃの入力データとなるデータを生成する。具体的には、制御部２０は、特定した特徴量テンソルについて、学習部２１ｂの機能で説明した方法と同様の処理を行う。
すなわち、制御部２０は、特定した組に含まれる特徴量テンソルそれぞれを、第１次元×第２次元の領域について既定のプーリング処理を行うことで、８×８×２０にダウンサイズする。そして、制御部２０は、ダウンサイズした特徴量テンソル同士の相対的な差分をとり、差分テンソルを取得する。制御部２０は、既定のプーリング処理により、差分テンソルの第１次元×第２次元の領域を１×１にダウンサイズすることで、特徴ベクトルを取得する。
すなわち、制御部２０は、特定した組に含まれる特徴量テンソルそれぞれを、第１次元×第２次元の領域について既定のプーリング処理を行うことで、８×８×２０にダウンサイズする。そして、制御部２０は、ダウンサイズした特徴量テンソル同士の相対的な差分をとり、差分テンソルを取得する。制御部２０は、既定のプーリング処理により、差分テンソルの第１次元×第２次元の領域を１×１にダウンサイズすることで、特徴ベクトルを取得する。
【0039】
制御部２０は、取得した特徴ベクトルと、学習器３０ｃと、を用いて、変換済対象動画像の対象のパッチに変換処理により生じる乱れの評価値を推定する。より具体的には、制御部２０は、取得した特徴ベクトルを学習器３０ｃに入力した場合における出力データであるノードの深さを示す情報を乱れの評価値として取得する。
【0040】
評価値表示制御部２１ｄは、推定部２１ｃの機能により推定された評価値をＵＩ部４０の表示部に表示させる機能である。
制御部２０は、評価値表示制御部２１ｄの機能により、乱れの評価対象である変換済対象動画像のフレーム画像に、推定部２１ｃの機能により評価値が推定されたパッチの領域を示すオブジェクト（本実施形態では、矩形オブジェクト）を重畳して、ＵＩ部４０に表示させる。制御部２０は、各パッチのオブジェクトを、対応する評価値に応じた色で表示する。本実施形態では、制御部２０は、対応する評価値が示すノードの深さの値が小さいほど、すなわち、乱れの度合いが大きいほど、濃い色で表示するように、各パッチのオブジェクトを表示する。図７に各パッチのオブジェクトの表示態様の一例を示す。図７には、乱れの度合いが大きいパッチを示すオブジェクトほど、濃い色で表示されている様子が示されている。このように、本実施形態では、制御部２０は、各パッチの乱れの評価値を示す情報として、評価値に応じた色のオブジェクトを表示する。ただし、制御部２０は、各パッチの乱れの評価値を示す情報として、他の情報を表示してもよい。例えば、制御部２０は、どのフレーム画像におけるどのパッチの評価値がいくつであるかを示すテキスト情報をＵＩ部４０に表示してもよい。また、制御部２０は、各パッチを示すオブジェクトであって、対応する評価値の値が重畳されたオブジェクトを表示してもよい。
これにより、制御部２０は、乱れの評価値をユーザに提示できる。
制御部２０は、評価値表示制御部２１ｄの機能により、乱れの評価対象である変換済対象動画像のフレーム画像に、推定部２１ｃの機能により評価値が推定されたパッチの領域を示すオブジェクト（本実施形態では、矩形オブジェクト）を重畳して、ＵＩ部４０に表示させる。制御部２０は、各パッチのオブジェクトを、対応する評価値に応じた色で表示する。本実施形態では、制御部２０は、対応する評価値が示すノードの深さの値が小さいほど、すなわち、乱れの度合いが大きいほど、濃い色で表示するように、各パッチのオブジェクトを表示する。図７に各パッチのオブジェクトの表示態様の一例を示す。図７には、乱れの度合いが大きいパッチを示すオブジェクトほど、濃い色で表示されている様子が示されている。このように、本実施形態では、制御部２０は、各パッチの乱れの評価値を示す情報として、評価値に応じた色のオブジェクトを表示する。ただし、制御部２０は、各パッチの乱れの評価値を示す情報として、他の情報を表示してもよい。例えば、制御部２０は、どのフレーム画像におけるどのパッチの評価値がいくつであるかを示すテキスト情報をＵＩ部４０に表示してもよい。また、制御部２０は、各パッチを示すオブジェクトであって、対応する評価値の値が重畳されたオブジェクトを表示してもよい。
これにより、制御部２０は、乱れの評価値をユーザに提示できる。
【0041】
以上、本実施形態の構成により、情報処理装置１０は、対象動画像のパッチと、変換済対象動画像の対応するパッチと、から周波数特徴量を抽出し、抽出した周波数特徴量と、学習器３０ｃと、を用いて、変換済対象動画像のパッチ内の乱れの評価値を推定する。変換処理により変換対象画像内に乱れが発生する場合、乱れが生じた箇所では、元の画像と比べて周波数成分に変動が生じる。そのため、変換前の対象動画像のパッチの周波数特徴量と、変換後の変換済対象動画像の対応するパッチの周波数特徴量と、には、変換処理の前後における周波数成分の変動が現れているとみなすことができる。そこで、情報処理装置１０は、これらのパッチの周波数特徴量から、変換済対象動画像内のパッチにおける乱れに対する評価値を推定することで、変換処理により動画像に生じる乱れを評価できる。
【0042】
また、本実施形態では、情報処理装置１０は、機械学習された学習器３０ｃを用いて、乱れの評価値の推定を行う。これにより、情報処理装置１０は、乱れが発生していることを判断するための条件を人手で設計することなく、変換済対象動画像の乱れを評価できる。
【0043】
また、本実施形態では、学習器３０ｃは、教師なし学習で機械学習されるアイソレーションフォレストである。これにより、情報処理装置１０は、ラベル付きの教師データを要せず、教師なしで機械学習できるため、ラベル付きの教師データを用意する手間を軽減できる。
【0044】
（１－２）推定処理：
図８を用いて、情報処理装置１０が実行する推定処理を説明する。
制御部２０は、ＵＩ部４０を介して処理の開始の指示を受け付けた場合、図８の処理を開始する。なお、制御部２０は、図８の処理の開始前に、学習部２１ｂの機能により、学習器３０ｃの機械学習を予め行っている。
図８を用いて、情報処理装置１０が実行する推定処理を説明する。
制御部２０は、ＵＩ部４０を介して処理の開始の指示を受け付けた場合、図８の処理を開始する。なお、制御部２０は、図８の処理の開始前に、学習部２１ｂの機能により、学習器３０ｃの機械学習を予め行っている。
【0045】
ステップＳ１００において、制御部２０は、抽出部２１ａの機能により、対象動画像からフレーム画像を抽出画像として抽出する。また、制御部２０は、変換済対象動画像における抽出画像に対応するフレーム画像を変換抽出画像として抽出する。
そして、制御部２０は、抽出画像、変換抽出画像それぞれを複数のパッチに分割する。そして、制御部２０は、抽出画像が分割された複数の変換前パッチのうち、第１の条件、第２の条件の少なくとも１つを満たさない変換前パッチを特定する。制御部２０は、特定した変換前パッチと、対応する変換後パッチと、を乱れの評価対象から除外されるパッチとして特定する。制御部２０は、ステップＳ１００の処理の完了後に、処理をステップＳ１０５に進める。
そして、制御部２０は、抽出画像、変換抽出画像それぞれを複数のパッチに分割する。そして、制御部２０は、抽出画像が分割された複数の変換前パッチのうち、第１の条件、第２の条件の少なくとも１つを満たさない変換前パッチを特定する。制御部２０は、特定した変換前パッチと、対応する変換後パッチと、を乱れの評価対象から除外されるパッチとして特定する。制御部２０は、ステップＳ１００の処理の完了後に、処理をステップＳ１０５に進める。
【0046】
ステップＳ１０５において、制御部２０は、抽出部２１ａの機能により、ステップＳ１００で除外されたパッチ以外のパッチから、対応する変換前パッチと変換後パッチとの組を１つ抽出する。制御部２０は、ステップＳ１０５の処理の完了後に、処理をステップＳ１１０に進める。
【0047】
ステップＳ１１０において、制御部２０は、抽出部２１ａの機能により、直前のステップＳ１０５で抽出した変換前パッチと、変換後パッチと、から周波数特徴量として特徴量テンソルを抽出する。ステップＳ１１０は、抽出ステップの一例である。制御部２０は、ステップＳ１１０の処理の完了後に、処理をステップＳ１１５に進める。
【0048】
ステップＳ１１５において、制御部２０は、推定部２１ｃの機能により、直前のステップＳ１１０で変換前パッチと変換後パッチとから抽出された特徴量テンソルを用いて、特徴ベクトルを取得する。制御部２０は、取得した特徴ベクトルを学習器３０ｃに入力し、学習器３０ｃからの出力として、直前のステップＳ１０５で抽出された変換後パッチの乱れの評価値を取得する。このようにして、制御部２０は、変換後パッチの乱れの評価値を推定する。ステップＳ１１５の処理は、推定ステップの一例である。制御部２０は、ステップＳ１１５の処理の完了後に、処理をステップＳ１２０に進める。
【0049】
ステップＳ１２０において、制御部２０は、抽出部２１ａの機能により、抽出画像、及び、変換抽出画像のパッチのうち、Ｓ１００で特定されたパッチ以外のパッチが全てステップＳ１０５で抽出されたか否かを判定する。制御部２０は、Ｓ１００で特定されたパッチ以外のパッチが全てステップＳ１０５で抽出されたと判定した場合、処理をステップＳ１２５に進める。また、制御部２０は、Ｓ１００で特定されたパッチ以外のパッチのうち、ステップＳ１０５で抽出されていないパッチが存在すると判定した場合、処理をステップＳ１０５に進める。
【0050】
ステップＳ１２５において、制御部２０は、評価値表示制御部２１ｄの機能により、変換抽出画像に、ステップＳ１０５で抽出された変換後パッチの領域を示すオブジェクト（本実施形態では、矩形オブジェクト）を重畳して、ＵＩ部４０に表示させる。制御部２０は、各変換後パッチのオブジェクトを、ステップＳ１１５で推定された対応する評価値に応じた色で表示する。
【0051】
（２）第２の実施形態：
図９に、本実施形態の情報処理装置１０の構成を示す。本実施形態の情報処理装置１０は、推定プログラム２１を実行することで、特徴量表示制御部２１ｅとしても機能する点で第１の実施形態と異なる。本実施形態の情報処理装置１０の機能及び、処理のうち、第１の実施形態と異なる点を説明する。
図９に、本実施形態の情報処理装置１０の構成を示す。本実施形態の情報処理装置１０は、推定プログラム２１を実行することで、特徴量表示制御部２１ｅとしても機能する点で第１の実施形態と異なる。本実施形態の情報処理装置１０の機能及び、処理のうち、第１の実施形態と異なる点を説明する。
【0052】
本実施形態の抽出部２１ａの機能に係る処理を説明する。
制御部２０は、抽出部２１ａの機能により、動画像３０ａからフレーム画像を抽出する。以下、本実施形態では、ここで抽出された画像を抽出画像とする。また、制御部２０は、変換動画像３０ｂから抽出画像に対応するフレーム画像を抽出する。以下、本実施形態では、ここで抽出された画像を変換抽出画像とする。本実施形態では、抽出画像、及び、変換抽出画像のうち、周波数特徴量の抽出対象となる領域は、画像全域であるとするが、第１の実施形態で説明したパッチ等の他の領域であってもよい。
制御部２０は、抽出部２１ａの機能により、動画像３０ａからフレーム画像を抽出する。以下、本実施形態では、ここで抽出された画像を抽出画像とする。また、制御部２０は、変換動画像３０ｂから抽出画像に対応するフレーム画像を抽出する。以下、本実施形態では、ここで抽出された画像を変換抽出画像とする。本実施形態では、抽出画像、及び、変換抽出画像のうち、周波数特徴量の抽出対象となる領域は、画像全域であるとするが、第１の実施形態で説明したパッチ等の他の領域であってもよい。
【0053】
制御部２０は、抽出画像の各行について、複数（本実施形態では、３３個）のウェーブレットフィルタそれぞれと、内積をとり、内積値を抽出画像の各行の周波数特徴量として取得する。この複数のウェーブレットフィルタは、予め記憶媒体３０に記憶されている。この複数のウェーブレットフィルタは、それぞれ、メキシカンハット型のウェーブレットが中心に位置する波形を、抽出画像の行の画素数で離散化した数列である。複数のウェーブレットフィルタは、それぞれ、幅が異なるウェーブレットを示す。以下では、この複数のウェーブレットフィルタを、第１のフィルタ群とする。なお、第１のフィルタ群の各ウェーブレットフィルタは、対応するウェーブレットの幅に応じて連番で番号付けされている。
【0054】
また、制御部２０は、抽出画像の各列について、複数（本実施形態では、３３個）のウェーブレットフィルタそれぞれと、内積をとり、内積値を抽出画像の各列の周波数特徴量として取得する。この複数のウェーブレットフィルタは、予め記憶媒体３０に記憶されている。この複数のウェーブレットフィルタは、それぞれ、メキシカンハット型のウェーブレットが中心に位置する波形を、抽出画像の列の画素数で離散化した数列である。複数のウェーブレットフィルタは、それぞれ、幅が異なるウェーブレットを示す。以下では、この複数のウェーブレットフィルタを、第２のフィルタ群とする。なお、第２のフィルタ群の各ウェーブレットフィルタは、対応するウェーブレットの幅に応じて連番で番号付けされている。
【0055】
また、制御部２０は、変換抽出画像の各行について、複数（本実施形態では、３３個）のウェーブレットフィルタそれぞれと、内積をとり、内積値を抽出画像の各行の周波数特徴量として取得する。この複数のウェーブレットフィルタは、予め記憶媒体３０に記憶されている。この複数のウェーブレットフィルタは、第１のフィルタ群と同様の波形を、変換抽出画像の行の画素数で離散化した数列である。そのため、抽出画像と変換抽出画像の行方向の画素数が同じである場合、この複数のウェーブレットフィルタは、第１のフィルタ群と同じものとなる。以下では、この複数のウェーブレットフィルタを第３のフィルタ群とする。なお、第３のフィルタ群の各ウェーブレットフィルタは、第１のフィルタ群同様に、番号付けされている。
【0056】
また、制御部２０は、変換抽出画像の各列について、複数（本実施形態では、３３個）のウェーブレットフィルタそれぞれと、内積をとり、内積値を抽出画像の各列の周波数特徴量として取得する。この複数のウェーブレットフィルタは、予め記憶媒体３０に記憶されている。この複数のウェーブレットフィルタは、第２のフィルタ群と同様の波形を、変換抽出画像の列の画素数で離散化した数列である。そのため、抽出画像と変換抽出画像の列方向の画素数が同じである場合、この複数のウェーブレットフィルタは、第２のフィルタ群と同じものとなる。以下では、この複数のウェーブレットフィルタを第４のフィルタ群とする。なお、第４のフィルタ群の各ウェーブレットフィルタは、第２のフィルタ群同様に、番号付けされている。
【0057】
制御部２０は、以上の処理により、抽出画像の各行、各列についての周波数特徴量と、変換抽出画像の各行、各列についての周波数特徴量と、を取得する。
【0058】
特徴量表示制御部２１ｅは、動画像３０ａのフレーム画像から抽出された領域と、変換動画像３０ｂの対応するフレーム画像から抽出された対応する領域と、のそれぞれから抽出された周波数特徴量を並べてＵＩ部４０の表示部に表示させる機能である。
制御部２０は、特徴量表示制御部２１ｅの機能により、抽出画像の各行の周波数特徴量を示すオブジェクト１００を生成する。図１０を用いて、オブジェクト１００を生成する処理を説明する。制御部２０は、各行について、第１のフィルタ群のウェーブレットフィルタそれぞれに基づいて取得した周波数特徴量を示す矩形オブジェクトを生成する。制御部２０は、この矩形オブジェクトの色を、対応する周波数特徴量の値に応じた既定の色にする。本実施形態では、制御部２０は、周波数特徴量の値が高いほど、濃い色となるように、この矩形オブジェクトの色を決定する。そして、制御部２０は、同じ行から複数のウェーブレットフィルタを用いて得られた周波数特徴量を示す矩形オブジェクトを、対応するウェーブレットフィルタの番号順に左から右に横方向に並べて矩形オブジェクト群を生成する。制御部２０は、行の並びに従って、生成した矩形オブジェクト群を上から下に並べることで、オブジェクト１００を生成する。
制御部２０は、特徴量表示制御部２１ｅの機能により、抽出画像の各行の周波数特徴量を示すオブジェクト１００を生成する。図１０を用いて、オブジェクト１００を生成する処理を説明する。制御部２０は、各行について、第１のフィルタ群のウェーブレットフィルタそれぞれに基づいて取得した周波数特徴量を示す矩形オブジェクトを生成する。制御部２０は、この矩形オブジェクトの色を、対応する周波数特徴量の値に応じた既定の色にする。本実施形態では、制御部２０は、周波数特徴量の値が高いほど、濃い色となるように、この矩形オブジェクトの色を決定する。そして、制御部２０は、同じ行から複数のウェーブレットフィルタを用いて得られた周波数特徴量を示す矩形オブジェクトを、対応するウェーブレットフィルタの番号順に左から右に横方向に並べて矩形オブジェクト群を生成する。制御部２０は、行の並びに従って、生成した矩形オブジェクト群を上から下に並べることで、オブジェクト１００を生成する。
【0059】
また、制御部２０は、抽出画像の各列の周波数特徴量を示すオブジェクト１０１を生成する。図１１を用いて、オブジェクト１０１を生成する処理を説明する。制御部２０は、各列について、第２のフィルタ群のウェーブレットフィルタそれぞれに基づいて取得した周波数特徴量を示す矩形オブジェクトを生成する。制御部２０は、この矩形オブジェクトの色を、対応する周波数特徴量の値に応じた既定の色にする。本実施形態では、制御部２０は、周波数特徴量の値が高いほど、濃い色となるように、この矩形オブジェクトの色を決定する。そして、制御部２０は、同じ列から複数のウェーブレットフィルタを用いて得られた周波数特徴量を示す矩形オブジェクトを、対応するウェーブレットフィルタの番号順に縦方向に下から上に並べて矩形オブジェクト群を生成する。制御部２０は、列の並びに従って、生成した矩形オブジェクト群を左から右に並べることで、オブジェクト１０１を生成する。
【0060】
また、制御部２０は、変換抽出画像の各行の周波数特徴量を示すオブジェクト１０２を、オブジェクト１００と同様の方法で生成する。制御部２０は、各行について、第３のフィルタ群のウェーブレットフィルタそれぞれに基づいて取得した周波数特徴量を示す矩形オブジェクトを生成する。制御部２０は、この矩形オブジェクトの色を、対応する周波数特徴量の値に応じた既定の色にする。本実施形態では、制御部２０は、周波数特徴量の値が高いほど、濃い色となるように、この矩形オブジェクトの色を決定する。そして、制御部２０は、同じ行から複数のウェーブレットフィルタを用いて得られた周波数特徴量を示す矩形オブジェクトを、対応するウェーブレットフィルタの番号順に横方向に左から右に並べて矩形オブジェクト群を生成する。制御部２０は、行の並びに従って、生成した矩形オブジェクト群を上から下に並べることで、オブジェクト１０２を生成する。
【0061】
また、制御部２０は、変換抽出画像の各列の周波数特徴量を示すオブジェクト１０３を、オブジェクト１０１と同様の方法で生成する。制御部２０は、各行について、第４のフィルタ群のウェーブレットフィルタそれぞれに基づいて取得した周波数特徴量を示す矩形オブジェクトを生成する。制御部２０は、この矩形オブジェクトの色を、対応する周波数特徴量の値に応じた既定の色にする。本実施形態では、制御部２０は、周波数特徴量の値が高いほど、濃い色となるように、この矩形オブジェクトの色を決定する。そして、制御部２０は、同じ列から複数のウェーブレットフィルタを用いて得られた周波数特徴量を示す矩形オブジェクトを、対応するウェーブレットフィルタの番号順に縦方向に下から上に並べて矩形オブジェクト群を生成する。制御部２０は、列の並びに従って、生成した矩形オブジェクト群を左から右に並べることで、オブジェクト１０３を生成する。
【0062】
制御部２０は、図１２に示すように、変換抽出画像と併せて、オブジェクト１００～１０３をＵＩ部４０に表示させる。制御部２０は、オブジェクト１００、１０２については、変換抽出画像の左側に並べて表示させる。また、制御部２０は、オブジェクト１００、１０２の縦幅を、変換抽出画像の縦幅と同じに調整する。これにより、オブジェクト１００、１０２における各矩形オブジェクトの縦方向の位置は、変換抽出画像における矩形オブジェクトに対応する周波数特徴量を示す行の位置と同じになる。これにより、制御部２０は、変換抽出画像、及び、抽出画像の各行に対応する周波数特徴量がどの程度の値であるかをユーザにより容易に把握可能にできる。
【0063】
また、制御部２０は、オブジェクト１０１、１０３については、変換抽出画像の上側に並べて表示させる。また、制御部２０は、オブジェクト１０１、１０３の横幅を、変換抽出画像の横幅と同じに調整する。これにより、オブジェクト１０１、１０３における各矩形オブジェクトの横方向の位置は、変換抽出画像における矩形オブジェクトに対応する周波数特徴量を示す列の位置と同じになる。これにより、制御部２０は、変換抽出画像、及び、抽出画像の各列に対応する周波数特徴量がどの程度の値であるかをユーザにより容易に把握可能にできる。
特徴量表示制御部２１ｅに係る処理は、特徴量表示制御ステップの一例である。
特徴量表示制御部２１ｅに係る処理は、特徴量表示制御ステップの一例である。
【0064】
以上の構成により、情報処理装置１０は、動画像３０ａから抽出された領域と、変換動画像３０ｂから抽出された対応する領域と、の行方向、及び列方向の周波数特徴量を並べてＵＩ部４０に表示する。これにより、ユーザは、並べて表示された周波数特徴量の違いを把握することで、容易に変換処理による周波数特徴量の変化を把握でき、変換処理による乱れを評価できる。結果として、情報処理装置１０は、変換処理により生じる乱れの評価に寄与できる。
【0065】
（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、情報処理装置１０は、複数の装置により構成され、上述の各実施形態で説明した機能が複数の装置に分散されて実装されてもよい。
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、情報処理装置１０は、複数の装置により構成され、上述の各実施形態で説明した機能が複数の装置に分散されて実装されてもよい。
【0066】
上述の実施形態では、情報処理装置１０は、学習部２１ｂの機能を備え、学習器３０ｃを機械学習するとした。ただし、情報処理装置１０は、学習部２１ｂの機能を備えなくてもよい。その場合、制御部２０は、予め機械学習済みの学習器３０ｃを用いてもよいし、外部の装置に、学習器３０ｃの機械学習を依頼してもよい。
【0067】
また、上述の各実施形態では、制御部２０は、メキシカンハット型のウェーブレットを示すウェーブレットフィルタを用いて、画像の領域から周波数特徴量を抽出するとした。ただし、制御部２０は、モルレー型等の他のタイプのウェーブレットを示すウェーブレットフィルタを用いてもよい。
【0068】
また、上述の各実施形態では、制御部２０は、抽出部２１ａの機能により、周波数特徴量の抽出対象の領域から、行方向、及び、列方向の周波数特徴量を抽出するとした。ただし、制御部２０は、抽出部２１ａの機能により、周波数特徴量の抽出対象の領域から、行方向と列方向との何れか１つの方向の周波数特徴量を抽出してもよい。その場合、第１の実施形態では、制御部２０は、抽出部２１ａの機能により、行特徴テンソルと列特徴テンソルとの何れかを、特徴量テンソルとして取得してもよい。また、第２の実施形態では、制御部２０は、オブジェクト１００及び１０２と、オブジェクト１０１及び１０３と、の何れか一方のみを生成し、表示してもよい。
また、制御部２０は、抽出部２１ａの機能により、行方向、列方向と異なる方向（例えば、斜め方向）の周波数特徴量を抽出して、用いることとしてもよい。
また、制御部２０は、抽出部２１ａの機能により、行方向、列方向と異なる方向（例えば、斜め方向）の周波数特徴量を抽出して、用いることとしてもよい。
【0069】
また、上述の第１の実施形態では、制御部２０は、第１の条件と第２の条件とを満たすパッチを、周波数特徴量の抽出対象（乱れの評価対象）として抽出するとした。ただし、制御部２０は、第１の条件と第２の条件との少なくとも１つを満たすパッチを、乱れの評価対象として抽出してもよい。
【0070】
また、上述の第１の実施形態では、差分テンソルは、変換前パッチから抽出され、ダウンサイズされた特徴量テンソルと、対応する変換後パッチから抽出され、ダウンサイズされた特徴量テンソルと、の相対的な差分を示すテンソルであるとした。ただし、差分テンソルは、他のテンソルであってもよい。例えば、差分テンソルは、変換前パッチから抽出され、ダウンサイズされた特徴量テンソルと、対応する変換後パッチから抽出され、ダウンサイズされた特徴量テンソルと、の絶対的な差分を示すテンソルであってもよい。変換前パッチから抽出され、ダウンサイズされた特徴量テンソルの各要素をＡとおき、変換後パッチから抽出され、ダウンサイズされた特徴量テンソルの各要素をＢとおくと、これらの特徴量テンソルの絶対的な差分を示すテンソルの各要素は、Ｂ－Ａとなる。
【0071】
なお、差分テンソルが特徴量テンソル同士の相対的な差分を示すテンソルとした場合と、差分テンソルが特徴量テンソル同士の絶対的な差分を示すテンソルとした場合と、の比較実験が行われた。この比較実験について説明する。
動画像３０ａと変換動画像３０ｂとから対応するフレーム画像同士を抽出し、抽出したフレーム画像を複数のパッチに分割した。ユーザは、これらのフレーム画像を見比べてどのパッチに乱れが生じたかを特定し、正解データとした。
動画像３０ａと変換動画像３０ｂとから対応するフレーム画像同士を抽出し、抽出したフレーム画像を複数のパッチに分割した。ユーザは、これらのフレーム画像を見比べてどのパッチに乱れが生じたかを特定し、正解データとした。
【0072】
続いて、ユーザは、上述の第１の実施形態と同様に差分テンソルを特徴量テンソル同士の相対的な差分を示すテンソルとして、以下を行った。すなわち、ユーザは、情報処理装置１０を用いて、これらのフレーム画像の変換前パッチと変換後パッチとの組それぞれについて、第１の実施形態と同様の処理で乱れの評価値を推定した。ユーザは、この評価値（ノードの深さ）が既定の値以下である場合に、対応する変換後パッチに乱れが生じていると判断した。そして、ユーザは、判断の結果と、正解データと、を比較した。結果は、正解率９０．４％、適合率４９．０％、再現率６４．６％、Ｆ値５５．７となった。
【0073】
また、ユーザは、上述の第１の実施形態と異なり差分テンソルを特徴量テンソル同士の絶対的な差分を示すテンソルとして、以下を行った。すなわち、ユーザは、情報処理装置１０を用いて、これらのフレーム画像の変換前パッチと変換後パッチとの組それぞれについて、第１の実施形態と同様の処理で乱れの評価値を推定した。ユーザは、この評価値（ノードの深さ）が既定の値以下である場合に、対応する変換後パッチに乱れが生じていると判断した。そして、ユーザは、判断の結果と、正解データと、を比較した。結果は、正解率８５．７％、適合率３４．３％、再現率６５．７％、Ｆ値４５となった。
【0074】
以上より、差分テンソルを特徴量テンソル同士の相対的な差分とすることで、絶対的な差分とする場合に比べて、正解率、適合率、Ｆ値に改善が見られたことが確認できた。
以上が比較実験の説明である。
以上が比較実験の説明である。
【0075】
また、上述の第１の実施形態では、プーリングサイズｓは８であるとした。ただし、プーリングサイズｓは、他の値（７以下、９以上）であってもよい。
【0076】
なお、プーリングサイズｓを種々の値に変更した場合それぞれの比較実験が行われた。この比較実験について説明する。
動画像３０ａと変換動画像３０ｂとから対応するフレーム画像同士を抽出し、抽出したフレーム画像を複数のパッチに分割した。ユーザは、これらのフレーム画像を見比べてどのパッチに乱れが生じたかを特定し、正解データとした。
動画像３０ａと変換動画像３０ｂとから対応するフレーム画像同士を抽出し、抽出したフレーム画像を複数のパッチに分割した。ユーザは、これらのフレーム画像を見比べてどのパッチに乱れが生じたかを特定し、正解データとした。
【0077】
続いて、ユーザは、プーリングサイズｓの値を１、２、４、８、１６、３２として、それぞれの場合で、情報処理装置１０を用いて、これらのフレーム画像の変換前パッチと変換後パッチとの組それぞれについて、第１の実施形態と同様の処理で乱れの評価値を推定した。ユーザは、この評価値（ノードの深さ）が既定の値以下である場合に、対応する変換後パッチに乱れが生じていると判断した。そして、ユーザは、判断の結果と、正解データと、を比較した。結果を図１３に示す。
【0078】
図１３の結果より、プーリングサイズｓ＝４の場合に最も正解率、適合率、再現率、Ｆ値が最も良好となったことが確認できた。また、ｓ＝２、８の場合でもｓ＝４の場合とほぼ同等の結果となっている。このため、ｓの値は、２、４、８が望ましく、特に４が望ましい。
以上が比較実験の説明である。
以上が比較実験の説明である。
【0079】
また、上述の第１の実施形態では、学習器３０ｃは、特徴ベクトルを入力として受け付け、乱れの評価値を出力するアイソレーションフォレストであるとした。ただし、学習器３０ｃは、他のモデルであってもよい。
【0080】
例えば、学習器３０ｃは、特徴ベクトルでなく、変換前パッチと対応する変換後パッチとから抽出された特徴量テンソルを入力として受け付けるモデルであってもよい。その場合、制御部２０は、学習部２１ｂの機能により、学習用動画像、及び変換済学習用動画像における変換前パッチと、対応する変換後パッチと、から抽出された特徴量テンソルを用いて機械学習を行う。
【0081】
また、学習器３０ｃは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等のアイソレーションフォレストと異なるモデルでもよい。例えば、学習器３０ｃは、変換前パッチと、対応する変換後パッチと、から抽出された特徴量テンソルを入力として受け付け、評価値（乱れ発生の確率等）を出力するＣＮＮであってもよい。その場合、制御部２０は、ラベル付きの教師データを用いて、学習器３０ｃの教師あり学習を行ってもよい。
【0082】
また、上述の第１の実施形態では、パッチから周波数特徴量を抽出するために用いられるウェーブレットフィルタの個数は、１０個であるとした。ただし、パッチから周波数特徴量を抽出するために用いられるウェーブレットフィルタの個数は、他の個数（９個以下、１１個以上）でもよい。
【0083】
また、上述の第２の実施形態では、情報処理装置１０は、第１の実施形態と同様の機能（学習部２１ｂ、推定部２１ｃ、評価値表示制御部２１ｄ）についても備えるとした。ただし、情報処理装置１０は、第１の実施形態と同様の機能については備えないこととしてもよい。
【0084】
また、上述の第２の実施形態では、第１のフィルタ群～第４のフィルタ群として、それぞれ３３個のウェーブレットフィルタが用いられるとした。ただし、第１のフィルタ群～第４のフィルタ群として、他の個数（３２個以下、３４個以上）のウェーブレットフィルタが用いられてもよい。第１のフィルタ群～第４のフィルタ群は、それぞれ異なる個数のウェーブレットフィルタを含むとしてもよい。
【0085】
また、上述の実施形態２では、制御部２０は、抽出画像、変換抽出画像の周波数特徴量を示す情報として、オブジェクト１００～１０３を表示するとした。ただし、制御部２０は、抽出画像、変換抽出画像の周波数特徴量を示す情報として、他の情報（抽出画像における行、列の位置と、抽出された周波数特徴量と、を示すテキスト情報等）を表示してもよい。
【0086】
また、以上のような装置、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。さらに、制御部で実行されるプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【符号の説明】
【0087】
１０…情報処理装置、２０…制御部、２１…推定プログラム、２１ａ…抽出部、２１ｂ…学習部、２１ｃ…推定部、２１ｄ…評価値表示制御部、２１ｅ…特徴量表示制御部、３０…記憶媒体、３０ａ…動画像、３０ｂ…変換動画像、３０ｃ…学習器、４０…ＵＩ部、１００…オブジェクト、１０１…オブジェクト、１０２…オブジェクト、１０３…オブジェクト
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】