特開2024-75082 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ エンカレッジ・テクノロジ株式会社の特許一覧

特開2024-75082検出装置、検出方法、およびプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024075082

(43)【公開日】2024-06-03

(54)【発明の名称】検出装置、検出方法、およびプログラム

(51)【国際特許分類】

G01N 21/88 20060101AFI20240527BHJP

【ＦＩ】

G01N21/88 J

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022186262

(22)【出願日】2022-11-22

(71)【出願人】

【識別番号】504169647

【氏名又は名称】エンカレッジ・テクノロジ株式会社

(74)【代理人】

【識別番号】100115749

【弁理士】

【氏名又は名称】谷川英和

(72)【発明者】

【氏名】大川裕貴

(72)【発明者】

【氏名】中西崇文

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA90

2G051AB02

2G051CA04

2G051CB01

2G051EB09

2G051ED08

2G051ED11

2G051ED21

2G051FA01

(57)【要約】

【課題】従来、一のコンピュータに対する操作の画面画像の集合である動画ログを確認する際に、目視で全ての画面画像を確認することの労力が多大であった。
【解決手段】コンピュータに対する操作の切り替わり箇所を検出する条件であり、コンピュータに対する操作の画面のスクリーンショットの画像である画面画像に関する条件である検出条件が格納される条件管理部１１と、一のコンピュータに対する操作の画面画像の集合である動画ログを取得するログ取得部３１と、動画ログの画面画像の中で、検出条件を満たす画面画像を検出する検出部３２と、検出部３２が検出した画面画像の箇所である切替箇所を特定する切替箇所情報を蓄積する箇所蓄積部３３とを具備する検出装置Ａにより、コンピュータに対する操作の切り替わり箇所を検出し、利用することにより、コンピュータに対する操作の画面画像の集合である動画ログの確認の労力を低減できる。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータに対する操作の切り替わり箇所を検出する条件であり、当該コンピュータに対する操作の画面のスクリーンショットの画像である画面画像に関する条件である検出条件が格納される条件管理部と、
一のコンピュータに対する操作の画面画像の集合である動画ログを取得するログ取得部と、
前記動画ログの前記画面画像の中で、前記検出条件を満たす画面画像を検出する検出部と、
前記検出部が検出した前記画面画像の箇所である切替箇所を特定する切替箇所情報を蓄積する箇所蓄積部とを具備する検出装置。

【請求項2】

前記検出条件は、連続する画面画像が類似条件を満たさないことであり、
前記検出部は、
前記動画ログの中で、類似条件を満たさない連続する画面画像を検出し、
前記箇所蓄積部は、
前記類似条件を満たさない前記連続する画面画像の箇所を特定する切替箇所情報を蓄積する請求項１記載の検出装置。

【請求項3】

前記検出条件は、画面画像に関する条件である画像条件を含み、
前記画像条件は、前記動画ログの前記２以上の画面画像のうちの連続する２つの画面画像の１以上の特徴量である画像特徴量集合の類似度が閾値以下または閾値未満であることであり、
前記検出部は、
前記動画ログの２以上の各画面画像の画像特徴量集合を取得する画像特徴量取得手段と、
前記２以上の画面画像の中の連続する２つの画面画像の画像特特徴量集合が前記画像条件を満たす画面画像を検出する検出手段とを具備する請求項２記載の検出装置。

【請求項4】

前記検出条件は、動画ログの中の２以上の各画面画像の中の１以上の文字列を用いた文字列条件を含む、請求項２または請求項３記載の検出装置。

【請求項5】

前記文字列条件は、前記動画ログの前記２以上の画面画像の中の連続する２つの各画面画像の１以上の文字列から取得される１以上の特徴量である文字列特徴量集合の類似度が閾値以下または閾値未満であることであり、
前記検出部は、
前記動画ログの２以上の各画面画像の文字列特徴量集合を取得する文字列特徴量取得手段と、
前記２以上の画面画像の中の連続する２つの画面画像の文字列特特徴量集合が前記文字列条件を満たす画面画像を検出する検出手段とを具備する請求項４記載の検出装置。

【請求項6】

前記検出手段は、
前記画像条件と前記文字列条件とを満たす画面画像を検出する請求項４記載の検出装置。

【請求項7】

前記検出部が検出した１以上の各画面画像を区切りとして、前記動画ログを２以上の画面画像グループに分けるグループ化部と、
前記２以上の各画面画像グループに対する処理を行うグループ処理部とをさらに具備する請求項１記載の検出装置。

【請求項8】

前記グループ処理部は、
前記動画ログの中の画面画像を出力するためのインターフェイスであり、前記２以上の各画面画像グループが区別可能になったインターフェイスを構成するＩＦ構成手段を具備し、
前記インターフェイスを出力するＩＦ出力部をさらに具備する請求項７記載の検出装置。

【請求項9】

前記グループ化部は、
前記２以上の各画面画像グループの特徴量集合であるグループ特徴量集合を取得し、連続する画面画像グループのグループ特徴量集合の類似度を取得し、当該類似度が閾値以上または閾値より大きい連続する画面画像グループを一つのグループにする請求項７または請求項８記載の検出装置。

【請求項10】

前記動画ログを構成する画面画像を出力する画面画像出力部と、
切替箇所情報が示す切替箇所にジャンプする指示であるジャンプ指示を受け付ける指示受付部とをさらに具備し、
前記画面画像出力部は、
前記ジャンプ指示に対応する前記切替箇所情報が示す切替箇所の画面画像を出力する請求項１記載の検出装置。

【請求項11】

コンピュータに対する操作の切り替わり箇所を検出する条件であり、当該コンピュータに対する操作の画面のスクリーンショットの画像である画面画像に関する条件である検出条件が格納される条件管理部と、ログ取得部と、検出部と、箇所蓄積部とにより実現される情報処理方法であって、
前記ログ取得部が、一のコンピュータに対する操作の画面画像の集合である動画ログを取得するログ取得ステップと、
前記検出部が、前記動画ログの前記画面画像の中で、前記検出条件を満たす画面画像を検出する検出ステップと、
前記箇所蓄積部が、前記検出部が検出した前記画面画像の箇所である切替箇所を特定する切替箇所情報を蓄積する箇所蓄積ステップとを具備する情報処理方法。

【請求項12】

コンピュータに対する操作の切り替わり箇所を検出する条件であり、当該コンピュータに対する操作の画面のスクリーンショットの画像である画面画像に関する条件である検出条件が格納される条件管理部にアクセス可能な情報処理装置を、
一のコンピュータに対する操作の画面画像の集合である動画ログを取得するログ取得部と、
前記動画ログの前記画面画像の中で、前記検出条件を満たす画面画像を検出する検出部と、
前記検出部が検出した前記画面画像の箇所である切替箇所を特定する切替箇所情報を蓄積する箇所蓄積部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータに対する操作の画面のスクリーンショット画像の集合である動画ログに対して、操作の切り替わり箇所を検出する検出装置等に関するものである。

【背景技術】

【0002】

従来、情報システムの証跡ログから、不正操作を検出するとともに、システム動作の正当性を確認できる証跡ログ解析システムがあった（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１２／００１７９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術において、コンピュータに対する不正操作を検出する際に、コンピュータの操作画面のスクリーンショットの画像を用いていない。そのため、例えば、従来技術に加えて、コンピュータの操作画面のスクリーンショットの画像を用いて不正操作の検出等を行おうとした場合、目視で全ての画面画像を確認することが必要であり、労力が多大である。

【課題を解決するための手段】

【0005】

本第一の発明の検出装置は、コンピュータに対する操作の切り替わり箇所を検出する条件であり、コンピュータに対する操作の画面のスクリーンショットの画像である画面画像に関する条件である検出条件が格納される条件管理部と、一のコンピュータに対する操作の画面画像の集合である動画ログを取得するログ取得部と、動画ログの画面画像の中で、検出条件を満たす画面画像を検出する検出部と、検出部が検出した画面画像の箇所である切替箇所を特定する切替箇所情報を蓄積する箇所蓄積部とを具備する検出装置である。

【0006】

かかる構成により、コンピュータに対する操作の切り替わり箇所を検出し、利用できる結果、コンピュータに対する操作の画面画像の集合である動画ログの確認の労力を低減できる。

【0007】

また、本第二の発明の検出装置は、第一の発明に対して、検出条件は、連続する画面画像が類似条件を満たさないことであり、検出部は、動画ログの中で、類似条件を満たさない連続する画面画像を検出し、箇所蓄積部は、類似条件を満たさない連続する画面画像の箇所を特定する切替箇所情報を蓄積する検出装置である。

【0008】

かかる構成により、連続する画面画像が類似条件を満たさない箇所を検出し、利用できる結果、動画ログの確認の労力を低減できる。

【0009】

また、本第三の発明の検出装置は、第二の発明に対して、検出条件は、画面画像に関する条件である画像条件を含み、画像条件は、動画ログの２以上の画面画像のうちの連続する２つの画面画像の１以上の特徴量である画像特徴量集合の類似度が閾値以下または閾値未満であることであり、検出部は、動画ログの２以上の各画面画像の画像特徴量集合を取得する画像特徴量取得手段と、２以上の画面画像の中の連続する２つの画面画像の画像特特徴量集合が画像条件を満たす画面画像を検出する検出手段とを具備する検出装置である。

【0010】

かかる構成により、画像条件に基づき、操作の切り替わり箇所を正確に検出できる。

【0011】

また、本第四の発明の検出装置は、第二または第三の発明に対して、検出条件は、動画ログの中の２以上の各画面画像の中の１以上の文字列を用いた文字列条件を含む、検出装置である。

【0012】

かかる構成により、画面画像の中の１以上の文字列を用いた文字列条件に基づき、操作の切り替わり箇所を正確に検出できる。

【0013】

また、本第五の発明の検出装置は、第四の発明に対して、文字列条件は、動画ログの２以上の画面画像の中の連続する２つの各画面画像の１以上の文字列から取得される１以上の特徴量である文字列特徴量集合の類似度が閾値以下または閾値未満であることであり、検出部は、動画ログの２以上の各画面画像の文字列特徴量集合を取得する文字列特徴量取得手段と、２以上の画面画像の中の連続する２つの画面画像の文字列特特徴量集合が文字列条件を満たす画面画像を検出する検出手段とを具備する検出装置である。

【0014】

かかる構成により、画面画像の中の１以上の文字列から取得される文字列特徴量集合を用いた文字列条件に基づき、操作の切り替わり箇所を正確に検出できる。

【0015】

また、本第六の発明の検出装置は、第四の発明に対して、検出手段は、画像条件と文字列条件とを満たす画面画像を検出する検出装置である。

【0016】

かかる構成により、画像条件と文字列条件との両方を満たす画面画像を検出する結果、操作の切り替わり箇所をより正確に検出できる。

【0017】

また、本第七の発明の検出装置は、第一から第六いずれか１つの発明に対して、検出部が検出した１以上の各画面画像を区切りとして、動画ログを２以上の画面画像グループに分けるグループ化部と、２以上の各画面画像グループに対する処理を行うグループ処理部とをさらに具備する検出装置である。

【0018】

かかる構成により、動画ログを２以上の画面画像グループに分けて、処理できる。

【0019】

また、本第八の発明の検出装置は、第七の発明に対して、グループ処理部は、動画ログの中の画面画像を出力するためのインターフェイスであり、２以上の各画面画像グループが区別可能になったインターフェイスを構成するＩＦ構成手段を具備し、インターフェイスを出力するＩＦ出力部をさらに具備する検出装置である。

【0020】

かかる構成により、動画ログを２以上の画面画像のグループに分けて、各画面画像グループを明示したインターフェイスを提供できる。

【0021】

また、本第九の発明の検出装置は、第七または第八の発明に対して、グループ化部は、２以上の各画面画像グループの特徴量集合であるグループ特徴量集合を取得し、連続する画面画像グループのグループ特徴量集合の類似度を取得し、類似度が閾値以上または閾値より大きい連続する画面画像グループを一つのグループにする検出装置である。

【0022】

かかる構成により、動画ログを構成する２以上の画面画像グループをさらに纏めることができる。

【0023】

また、本第十の発明の検出装置は、第一から第九いずれか１つの発明に対して、動画ログを構成する画面画像を出力する画面画像出力部と、切替箇所情報が示す切替箇所にジャンプする指示であるジャンプ指示を受け付ける指示受付部とをさらに具備し、画面画像出力部は、ジャンプ指示に対応する切替箇所情報が示す切替箇所の画面画像を出力する検出装置である。

【0024】

かかる構成により、コンピュータに対する操作の切り替わり箇所にジャンプできることにより、コンピュータに対する操作の画面画像の集合である動画ログの確認の労力を低減できる。

【発明の効果】

【0025】

本発明による検出装置によれば、コンピュータに対する操作の切り替わり箇所を検出し、利用することにより、コンピュータに対する操作の画面画像の集合である動画ログの確認の労力を低減できる。

【図面の簡単な説明】

【0026】

【図1】実施の形態１における検出装置Ａのブロック図

【図2】同検出装置Ａの動作例について説明するフローチャート

【図3】同検出処理の例について説明するフローチャート

【図4】同画像特徴量集合取得処理の例について説明するフローチャート

【図5】同文字列特徴量集合取得処理の例について説明するフローチャート

【図6】同グループ化処理の例についてフローチャート

【図7】同上位グループ化処理の例について説明するフローチャート

【図8】同画面構成処理の例について説明するフローチャート

【図9】同動画ログの例を示す図

【図10】同画面例を示す図

【図11】同画面例を示す図

【図12】同画面例を示す図

【図13】同検出装置Ａの実験結果を示す図

【図14】同コンピュータシステムの概観図

【図15】同コンピュータシステムのブロック図

【発明を実施するための形態】

【0027】

以下、検出装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

【0028】

（実施の形態１）
本実施の形態において、動画ログの中の１以上の箇所であり、検出条件を満たす１以上の箇所を検出する検出装置について説明する。検出装置は、主に、コンピュータに対する不正な操作の検出を支援する装置である。ただし、検出装置は、不正検知以外のために用いられても良い。

【0029】

動画ログとは、画面画像の集合である。動画ログは、コンピュータの画面の時間的な推移を示す情報である。動画ログは、コンピュータに対するユーザの操作を受け付けている間のコンピュータの画面の画像の集合である。動画ログは、例えば、ログインからログアウトまでの間の画面画像の集合であり、時間の経過の順に画面画像が配置された動画である。画面画像とは、コンピュータの操作画面のスクリーンショット画像である。画面画像は、通常、コンピュータの画面全体のスクリーンショットの画像であるが、画面の一部の領域の画像でも良い。画面の一部の領域の画像は、例えば、一ウィンドウの画像である。また、コンピュータは、例えば、パーソナルコンピュータ、タブレット等であるが、ユーザの操作の対象であれば良い、と考えても良い。動画ログは、時系列の画面画像の集合である。なお、動画ログのフレームレートは問わない。動画ログのフレームレートは、例えば、「１フレームレート／秒」「３０フレーム／秒」「６０フレーム／秒」である。また、動画ログに含まれる隣接する画面画像の時間間隔は一定でなくても良い。

【0030】

また、本実施の形態において、動画ログを、操作の切り替わり箇所を区切りにした２以上のグループに分けて、各グループごとに処理を行う検出装置について説明する。

【0031】

また、本実施の形態において、操作の切り替わり箇所を区切りにした２以上のグループを、さらに纏める処理を行う検出装置について説明する。

【0032】

さらに、本実施の形態において、ユーザの指示により、動画ログの中のグループの区切りの箇所にジャンプして、ジャンプ先の画面画像を出力する検出装置について説明する。

【0033】

図１は、本実施の形態における検出装置Ａのブロック図である。検出装置Ａは、格納部１、受付部２、処理部３、および出力部４を備える。格納部１は、条件管理部１１を備える。受付部２は、指示受付部２１を備える。処理部３は、ログ取得部３１、検出部３２、箇所蓄積部３３、グループ化部３４、およびグループ処理部３５を備える。検出部３２は、画像特徴量取得手段３２１、文字列特徴量取得手段３２２、および検出手段３２３を備える。グループ処理部３５は、ＩＦ構成手段３５１を備える。出力部４は、ＩＦ出力部４１、および画面画像出力部４２を備える。

【0034】

検出装置Ａを構成する格納部１には、各種の情報が格納される。各種の情報は、例えば、後述する検出条件、動画ログ、後述する操作ログである。

【0035】

条件管理部１１には、１または２以上の検出条件が格納される。検出条件とは、動画ログに対して、操作の切り替わり箇所を検出する条件である。検出条件は、動画ログを構成する画面画像を用いた条件である。

【0036】

検出条件は、例えば、動画ログの中の連続する２つの画面画像が類似条件を満たさないことである。検出条件は、例えば、動画ログの中のグループの切れ目であることである。類似条件は、動画ログの中の連続する２つの画面画像が類似すると判断されるための条件である。

【0037】

検出条件は、画像条件を含むことは好適である。検出条件は、例えば、文字列条件を含む。検出条件は、画像条件と文字列条件の両方を含むことは好適である。

【0038】

画像条件とは、画面画像に関する条件である。画像条件は、例えば、画面画像の特徴量に関する条件である。画像条件は、例えば、動画ログの２以上の画面画像のうちの連続する２つの画面画像の画像特徴量集合の類似度が閾値以下または閾値未満であることである。なお、画像特徴量集合とは、画面画像の１以上の画像特徴量である。画像特徴量は、画像から取得される特徴量である。画像特徴量集合を構成する画像特徴量は、例えば、ImageNet（インターネットＵＲＬ「https://image-net.org/index」「https://ja.wikipedia.org/wiki/ImageNet」参照）を事前学習させている深層学習モデルと画面画像とを予測モジュールに与え、当該予測モジュールを実行させることにより取得された特徴量である。ただし、画面画像から取得される画像特徴量は問わない。画像特徴量は、画面画像の特徴を表す情報であれば良い。なお、画像から１以上の画像特徴量を取得する技術は、種々の公知技術が利用可能である。画像特徴量は、例えば、画素値の平均値、ＳＩＦＴ特徴量、ＨｏＧ特徴量である。

【0039】

文字列条件とは、２以上の各画面画像の中の１以上の文字列に関する条件である。文字列条件は、２以上の各画面画像に対して文字認識処理が行われ取得された１以上の文字列に関する条件である。文字列条件は、例えば、動画ログの中の連続する２つの各画面画像から取得される文字列特徴量集合の類似度が閾値以下または閾値未満であることである。文字列特徴量集合とは、１以上の文字列特徴量の集合である。文字列特徴量とは、１以上の文字列から取得される特徴量である。文字列特徴量集合は、例えば、画面画像から取得される１以上の文字列から取得されるベクトルである。かかるベクトルは、例えば、画面画像から取得される１以上の文字列に含まれる２以上の各単語の出現回数を要素とするベクトルである。文字列特徴量集合は、例えば、画面画像ごとに画面画像から取得される１以上の文字列に含まれる各単語ごとにＴＦ／ＩＤＦの値を算出し、単語ごとのＴＦ／ＩＤＦの値を要素とするベクトルである。文字列特徴量集合は、例えば、画面画像ごとに画面画像から取得される１以上の文字列に含まれる各単語ごとにＴＦ／ＩＤＦの値を算出し、ＴＦ／ＩＤＦの値が閾値以上または閾値より大きい１または２以上の単語（画面画像において特徴的な単語）のみを取得し、当該１以上の単語の集合から取得したベクトルである。単語の集合から取得したベクトルは、例えば、１以上の単語の集合を構成する各単語に対応する要素を「１」としたベクトルである。

【0040】

受付部２は、各種の指示や情報を受け付ける。各種の指示や情報は、例えば、後述する検出指示等の各種の指示、動画ログ、操作ログである。

【0041】

受付部２は、例えば、ユーザの操作を受け付ける。かかる場合、検出装置Ａは、ユーザの操作対象のコンピュータである。なお、操作対象のコンピュータは、操作対象の装置であれば良く、いわゆるパーソナルコンピュータやタブレットやスマートフォン等の汎用機だけではなく、専用機も含む。

【0042】

操作ログとは、コンピュータに対するユーザの１または２以上の操作のログである。操作ログは、１または２以上の操作情報を有する。操作情報は、ユーザの操作を特定する情報である。操作情報は、ユーザの操作により発生する内部イベントでも良い。内部イベントとは、ユーザの操作により、コンピュータの内部で行われる処理を特定する情報である。操作ログは、通常、当該操作を行った画面の画面画像に対応付いている。

【0043】

各種の指示や情報の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。

【0044】

指示受付部２１は、各種の指示を受け付ける。各種の指示は、例えば、検出指示、画像指示、ジャンプ指示、次指示である。検出指示とは、動画ログの中の切り替わりの箇所を検出する指示である。検出指示は、例えば、切り替わりの箇所を検出する対象の動画ログの識別子を有する。画像指示とは、動画ログの一の画面画像の出力の指示である。画像指示は、例えば、動画ログのバーの中の一の位置の指示である。ジャンプ指示とは、切替箇所情報が示す箇所にジャンプする指示である。ジャンプ指示は、例えば、切替箇所情報に対する指示、または「ジャンプ」ボタンに対する指示である。次指示とは、出力されている画面画像の次の画面画像の出力の指示である。次指示は、例えば、「次」ボタンに対する指示である。

【0045】

受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。

【0046】

処理部３は、各種の処理を行う。各種の処理とは、例えば、ログ取得部３１、検出部３２、箇所蓄積部３３、グループ化部３４、グループ処理部３５が行う処理である。

【0047】

ログ取得部３１は、一のコンピュータに対する操作の画面画像の集合である動画ログを取得する。

【0048】

ログ取得部３１は、例えば、検出装置Ａに対して行われた操作を反映した検出装置Ａの画面のスクリーンショット画像の集合である動画ログを取得する。ログ取得部３１は、例えば、動画ログに対応付けて、操作ログをも取得することは好適である。

【0049】

ログ取得部３１は、例えば、受付部２が受け付けた動画ログを取得する。ログ取得部３１は、例えば、操作ログに対応付いている動画ログを取得する。

【0050】

ログ取得部３１は、例えば、検出指示により識別される動画ログを取得する。ログ取得部３１は、例えば、格納部１に格納されている動画ログを取得する。かかる動画ログには、操作ログが対応付いていることは好適である。なお、動画ログに操作ログが対応付いていることは、通常、動画ログを構成する画面画像に、当該画面画像に対応する画面に対して行われた操作の操作ログが対応付いていることである。

【0051】

検出部３２は、動画ログを用いて、コンピュータに対する操作の切り替わり箇所を検出する。検出部３２は、動画ログの画面画像の中で、検出条件を満たす画面画像を検出する。検出部３２は、例えば、動画ログの中で、類似条件を満たさない連続する画面画像を検出する。

【0052】

検出部３２は、例えば、動画ログを構成する連続する２つの画面画像の組を、順に、変更しながら、画面画像の各組に含まれる２つの画面画像が類似するか否かを判断する。そして、検出部３２は、例えば、類似しない画面画像の組を検出する。

【0053】

検出部３２は、例えば、２つの画面画像の組が類似するか否かは、後述するように、画像特徴量集合と文字列特徴量集合のうちの１または２種類の情報を用いることは好適である。

【0054】

ただし、検出部３２は、例えば、２つの画面画像の組が類似するか否かを、機械学習の予測モジュールを用いて決定しても良い。つまり、検出部３２は、画面画像の組と学習モデルとを予測モジュールに与え、当該予測モジュールを実行し、２つの画面画像が類似するか否かの予測結果を取得する。なお、学習モデルは、画面画像の組と２つの画面画像が類似するか否かを示す情報とを有する２以上の教師データを学習モジュールに与え、当該学習モジュールを実行し、得られた情報である。なお、機械学習は、深層学習が好適であるが、ランダムフォレスト、決定木、ＳＶＭ等でも良く、そのアルゴリズムは問わない。

【0055】

例えば、画像特徴量取得手段３２１と文字列特徴量取得手段３２２のうちの１以上の構成が取得した特徴量の集合を用いて、検出手段３２３が、動画ログから、検出条件を満たす画面画像を検出する。

【0056】

画像特徴量取得手段３２１は、動画ログの２以上の各画面画像の画像特徴量集合を取得する。画像特徴量取得手段３２１は、動画ログの２以上の各画面画像から、画面画像ごとに、画像特徴量集合を取得する。

【0057】

画像特徴量取得手段３２１は、例えば、動画ログの２以上の各画面画像と、ImageNetを事前学習させている深層学習モデルとを、深層学習の予測モジュールに与え、当該予測モジュールを実行し、１または２以上の画像特徴量である画像特徴量集合を取得する。なお、画面画像から画像特徴量集合を取得する処理は、種々の公知技術が利用可能である。また、機械学習を利用する場合、ランダムフォレスト、決定木等の深層学習以外のアルゴリズムを用いても良い。

【0058】

画像特徴量取得手段３２１は、例えば、動画ログの２以上の各画面画像に対して、公知の画像解析処理を行い、画像特徴量集合を取得しても良い。

【0059】

文字列特徴量取得手段３２２は、動画ログの２以上の各画面画像の文字列特徴量集合を取得する。

【0060】

文字列特徴量取得手段３２２は、例えば、動画ログの２以上の各画面画像に対して、文字認識処理を行い、画面画像ごとに１以上の文字列を取得する。次に、文字列特徴量取得手段３２２は、例えば、画面画像ごとに、取得した１以上の文字列を単語に分割し、各単語の出現回数を要素とするベクトルである文字列特徴量集合を取得する。

【0061】

文字列特徴量取得手段３２２は、例えば、動画ログの２以上の各画面画像に対して、文字認識処理を行い、画面画像ごとに１以上の文字列を取得する。次に、文字列特徴量取得手段３２２は、例えば、画面画像ごとに取得した１以上の文字列を単語に分割し、画面画像ごと、単語ごとにＴＦ／ＩＤＦ値を算出する。次に、文字列特徴量取得手段３２２は、例えば、画面画像ごとに、ＴＦ／ＩＤＦ値が閾値以上または閾値より大きい単語（特徴単語）のみを用いて、ベクトルである文字列特徴量集合を取得する。なお、特徴単語のみを用いたベクトルは、例えば、１または２以上の各特徴単語の出現回数を要素とするベクトルである。特徴単語のみを用いたベクトルは、例えば、１または２以上の各特徴単語の対応する要素を「１」、特徴単語に対応しない要素を「０」とするベクトルである。

【0062】

なお、文字列特徴量取得手段３２２は、画面画像ごとに、単語ごとのＴＦ／ＩＤＦ値を要素とするベクトルである文字列特徴量集合を取得しても良い。また、文字列特徴量取得手段３２２は、画面画像ごとに、各画面画像に出現する１以上の各単語の出現回数を要素とするベクトルである文字列特徴量集合を取得しても良い。つまり、文字列特徴量取得手段３２２は、画面画像ごとに、各画面画像の１以上の文字列を用いて、文字列特徴量集合を取得すれば良く、文字列特徴量集合の構造や作成のアルゴリズムは問わない。

【0063】

検出部３２は、画面画像ごとに、画像特徴量集合を有する特徴量集合を取得することは好適である。また、検出部３２は、画面画像ごとに、画像特徴量集合と文字列特徴量集合の両方を有する特徴量集合を取得しても良い。

【0064】

検出手段３２３は、２以上の画面画像の中の連続する２つの画面画像の画像特特徴量集合が画像条件を満たす画面画像を検出する。画像条件は、例えば、動画ログの２以上の画面画像のうちの連続する２つの画面画像の画像特徴量集合の類似度が閾値以下または閾値未満であることである。なお、画像特徴量集合は、通常、ベクトルである。そして、２つのベクトルの類似度を算出する処理は公知の処理である。

【0065】

検出手段３２３は、２以上の画面画像の中の連続する２つの画面画像の文字列特特徴量集合が文字列条件を満たす画面画像を検出する。文字列条件は、例えば、動画ログの２以上の画面画像の中の連続する２つの各画面画像の文字列特徴量集合の類似度が閾値以下または閾値未満であることである。なお、文字列特徴量集合は、通常、ベクトルである。

【0066】

検出手段３２３は、画像条件と文字列条件との両方を満たす画面画像を検出することは好適である。

【0067】

検出手段３２３は、画像条件を満たす連続する２つの画面画像を検出する。そして、検出手段３２３は、当該２つの画面画像のうち、後の画面画像を特定する箇所情報を取得することは好適である。ただし、検出手段３２３は、当該２つの画面画像のうち、前の画面画像を特定する箇所情報を取得しても良いし、当該２つの画面画像を特定する箇所情報を取得しても良い。なお、箇所情報とは、操作の切り替わり箇所を特定する情報である。箇所情報は、例えば、画面画像のフレームＩＤ、画面画像そのものである。

【0068】

箇所蓄積部３３は、検出部３２が検出した画面画像の箇所を特定する１または２以上の箇所情報を蓄積する。箇所蓄積部３３は、例えば、検出手段３２３が取得した１または２以上の箇所情報を蓄積する。

【0069】

箇所蓄積部３３は、類似条件を満たさない連続する画面画像の箇所を特定する１または２以上の箇所情報を蓄積する。

【0070】

グループ化部３４は、検出部３２が検出した１以上の各画面画像を区切りとして、動画ログを２以上の画面画像グループに分ける。グループ化部３４は、例えば、１以上の各箇所情報が示す箇所を区切りとして、動画ログを２以上の画面画像グループに分ける。

【0071】

グループ化部３４は、例えば、画面画像グループを特定するグループ情報を取得する。グループ情報は、例えば、グループの最初の画面画像の識別子と最後の画面画像の識別子である。画面画像の識別子は、例えば、フレームＩＤである。

【0072】

グループ化部３４は、２以上の各画面画像グループの特徴量集合であるグループ特徴量集合を取得し、連続する画面画像グループのグループ特徴量集合の類似度を取得し、類似度が閾値以上または閾値より大きい連続する画面画像グループを一つのグループにする。

【0073】

グループ処理部３５は、グループ化部３４が分けた、２以上の各画面画像グループに対する処理を行う。画面画像グループに対する処理は、例えば、後述するＩＦ構成手段３５１が行う処理である。

【0074】

ＩＦ構成手段３５１は、グループ動画ログの中の画面画像を出力するためのインターフェイスであり、２以上の各画面画像グループが区別可能になったインターフェイスを構成する。ＩＦ構成手段３５１は、例えば、動画ログの中の画面画像が選択可能なインターフェイスであり、箇所情報を明示したインターフェイスである。

【0075】

出力部４は、各種の情報を出力する。各種の情報は、例えば、インターフェイス、動画ログ、操作ログ、箇所情報、画面画像グループである。

【0076】

ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。

【0077】

ＩＦ出力部４１は、ＩＦ構成手段３５１が構成したインターフェイスを出力する。

【0078】

画面画像出力部４２は、動画ログを構成する画面画像を出力する。画面画像出力部４２は、ジャンプ指示に対応する箇所情報が示す箇所の画面画像を出力する。

【0079】

格納部１、および条件管理部１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。

【0080】

格納部１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部１等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部１等で記憶されるようになってもよい。

【0081】

受付部２、指示受付部２１は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

【0082】

処理部３、ログ取得部３１、検出部３２、箇所蓄積部３３、グループ化部３４、グループ処理部３５、画像特徴量取得手段３２１、文字列特徴量取得手段３２２、検出手段３２３、およびＩＦ構成手段３５１は、通常、ＭＰＵやメモリ等から実現され得る。処理部３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

【0083】

出力部４、ＩＦ出力部４１、および画面画像出力部４２は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

【0084】

次に、検出装置Ａの動作例について、図２のフローチャートを用いて説明する。

【0085】

（ステップＳ２０１）指示受付部２１は、検出指示を受け付けたか否かを判断する。検出指示を受け付けた場合はステップＳ２０２に行き、検出指示を受け付けなかった場合はステップＳ２０７に行く。

【0086】

（ステップＳ２０２）ログ取得部３１は、検出指示に対応する動画ログ等を取得する。ログ取得部３１は、例えば、検出指示に対応する動画ログ等を、格納部１から読み出す。なお、動画ログ等は、動画ログと操作ログとを有することは好適であるが、動画ログだけでも良い。

【0087】

（ステップＳ２０３）検出部３２は、動画ログの中の切り替え箇所の検出を行う。かかる検出処理の例について、図３のフローチャートを用いて説明する。なお、切り替え箇所は、通常、動画ログの中で画面画像が大きく変化する箇所である。

【0088】

（ステップＳ２０４）グループ化部３４は、ステップＳ２０３で切り替え箇所が検出された当該動画ログに対するグループ化処理を行う。グループ化処理の例について、図６のフローチャートを用いて説明する。

【0089】

（ステップＳ２０５）ＩＦ構成手段３５１等は、出力する画面を構成する。かかる画面構成処理の例について、図８のフローチャートを用いて説明する。

【0090】

（ステップＳ２０６）出力部４は、ステップＳ２０５で構成された画面を出力する。ステップＳ２０１に戻る。なお、この段階でのカレント箇所情報は、動画ログの中の最初の画面画像（１番目のフレーム）である。カレント箇所情報とは、着目している画面画像を特定する情報である。

【0091】

（ステップＳ２０７）指示受付部２１は、画像指示を受け付けたか否かを判断する。画像指示を受け付けた場合はステップＳ２０８に行き、画像指示を受け付けなかった場合はステップＳ２１３に行く。

【0092】

（ステップＳ２０８）処理部３は、画像指示に対応する箇所の箇所情報を取得する。処理部３は、当該箇所情報をカレント箇所情報として、図示しないバッファに蓄積する。

【0093】

（ステップＳ２０９）処理部３は、カレント箇所情報に対応する画面画像を取得する。

【0094】

（ステップＳ２１０）処理部３は、ステップＳ２０９で取得した画面画像と対になる操作ログを取得する。

【0095】

（ステップＳ２１１）画面画像出力部４２が、ステップＳ２０９で取得された画面画像を出力する。

【0096】

（ステップＳ２１２）出力部４は、ステップＳ２１０で取得された操作ログを出力する。ステップＳ２０１に戻る。

【0097】

（ステップＳ２１３）指示受付部２１は、ジャンプ指示を受け付けたか否かを判断する。ジャンプ指示を受け付けた場合はステップＳ２１４に行き、ジャンプ指示を受け付けなかった場合はステップＳ２１６に行く。

【0098】

（ステップＳ２１４）処理部３は、図示しないバッファからカレント箇所情報を取得する。

【0099】

（ステップＳ２１５）処理部３は、カレント箇所情報が示す箇所から、時間的に先の画面画像の箇所情報であり、最初に出現する切替箇所情報を取得する。処理部３は、かかる切替箇所情報をカレント箇所情報として、図示しないバッファに蓄積する。ステップＳ２０９に行く。

【0100】

（ステップＳ２１６）指示受付部２１は、次指示を受け付けたか否かを判断する。次指示を受け付けた場合はステップＳ２１７に行き、次指示を受け付けなかった場合はステップＳ２０１に戻る。

【0101】

（ステップＳ２１７）処理部３は、図示しないバッファからカレント箇所情報を取得する。

【0102】

（ステップＳ２１８）処理部３は、カレント箇所情報が示す画面画像の次の画面画像の箇所情報を取得する。処理部３は、取得した箇所情報を、カレント箇所情報として、図示しないバッファに蓄積する。ステップＳ２０９に行く。

【0103】

なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

【0104】

次に、ステップＳ２０３の検出処理の例について、図３のフローチャートを用いて説明する。

【0105】

（ステップＳ３０１）検出部３２は、カウンタｉに１を代入する。

【0106】

（ステップＳ３０２）検出部３２は、切り替え箇所の検出対象の動画ログの中に、ｉ番目の画面画像が存在するか否かを判断する。ｉ番目の画面画像が存在する場合はステップＳ３０３に行き、存在しない場合はステップＳ３０６に行く。

【0107】

（ステップＳ３０３）画像特徴量取得手段３２１は、ｉ番目の画面画像に対して画像特徴量集合取得処理を行う。画像特徴量集合取得処理の例について、図４のフローチャートを用いて説明する。なお、画像特徴量集合取得処理とは、画面画像から画像特徴量集合を取得する処理である。

【0108】

（ステップＳ３０４）文字列特徴量取得手段３２２は、ｉ番目の画面画像に対して文字認識処理を行い、１以上の文字列を取得し、当該１以上の文字列をｉ番目の画面画像に対応付ける。また、文字列特徴量取得手段３２２は、当該１以上の文字列に対して、形態素解析し、１以上の単語を取得する。また、文字列特徴量取得手段３２２は、１以上の各単語の出現概数を取得する。ここで、文字列特徴量取得手段３２２が取得する単語は、通常、自立語である。

【0109】

（ステップＳ３０５）検出部３２は、カウンタｉを１、インクリメントする。ステップＳ３０２に戻る。

【0110】

（ステップＳ３０６）検出部３２は、カウンタｉに１を代入する。

【0111】

（ステップＳ３０７）検出部３２は、検出対象の動画ログの中に、ｉ番目の画面画像が存在するか否かを判断する。ｉ番目の画面画像が存在する場合はステップＳ３０８に行き、存在しない場合はステップＳ３１０に行く。

【0112】

（ステップＳ３０８）文字列特徴量取得手段３２２は、ステップＳ３０４で取得した１以上の文字列を用いて、ｉ番目の画面画像に対して文字列特徴量集合取得処理を行う。文字列特徴量集合取得処理の例について、図５のフローチャートを用いて説明する。なお、文字列特徴量集合取得処理とは、画面画像の１以上の文字列を用いて、文字列特徴量集合を取得する処理である。

【0113】

（ステップＳ３０９）検出部３２は、カウンタｉを１、インクリメントする。ステップＳ３０７に戻る。

【0114】

（ステップＳ３１０）検出部３２は、カウンタｊに１を代入する。

【0115】

（ステップＳ３１１）検出部３２は、検出対象の動画ログの中に、ｊ番目の画面画像と（ｊ＋１）番目の画面画像が存在するか否かを判断する。２つの画面画像が存在する場合はステップＳ３１２に行き、存在しない場合は上位処理にリターンする。

【0116】

（ステップＳ３１２）検出部３２は、ｊ番目の画面画像の画像特徴量集合と、（ｊ＋１）番目の画面画像の画像特徴量集合とを取得する。次に、検出部３２は、２つの画像特徴量集合の類似度を取得する。

【0117】

（ステップＳ３１３）検出部３２は、ステップＳ３１２で取得した類似度が画像条件を満たすか否かを判断する。画像条件を満たす場合はステップＳ３１４に行き、画像条件を満たさない場合はステップＳ３１５に行く。なお、画像条件は、２つの画面画像が切り替えの箇所であるための画像特徴量集合に関する条件であり、例えば、２つの画像特徴量集合の類似度が閾値未満または閾値以下であることである。

【0118】

（ステップＳ３１４）箇所蓄積部３３は、ｊ番目の画面画像と（ｊ＋１）番目の画面画像に対応する画像切替箇所情報を取得し、図示しないバッファに一時蓄積する。なお、画像切替箇所情報は、画像特徴量集合を用いて取得された切替箇所情報である。画像切替箇所情報は、例えば、（ｊ＋１）番目の画面画像の識別子（例えば、フレームＩＤ）である。

【0119】

（ステップＳ３１５）検出部３２は、ｊ番目の画面画像の文字列特徴量集合と、（ｊ＋１）番目の画面画像の文字列特徴量集合とを取得する。次に、検出部３２は、２つの文字列特徴量集合の類似度を取得する。

【0120】

（ステップＳ３１６）検出部３２は、ステップＳ３１５で取得した類似度が文字列条件を満たすか否かを判断する。文字列条件を満たす場合はステップＳ３１７に行き、画像条件を満たさない場合はステップＳ３１８に行く。なお、文字列条件は、２つの画面画像が切り替えの箇所であるための文字列特徴量集合に関する条件であり、例えば、２つの文字列特徴量集合の類似度が閾値未満または閾値以下であることである。

【0121】

（ステップＳ３１７）箇所蓄積部３３は、ｊ番目の画面画像と（ｊ＋１）番目の画面画像に対応する文字列切替箇所情報を取得し、図示しないバッファに一時蓄積する。なお、文字列切替箇所情報は、文字列特徴量集合を用いて取得された切替箇所情報である。文字列切替箇所情報は、例えば、（ｊ＋１）番目の画面画像の識別子（例えば、フレームＩＤ）である。

【0122】

（ステップＳ３１８）検出部３２は、ｊ番目の画面画像と（ｊ＋１）番目の画面画像が検出条件を満たすか否かを判断する。検出条件を満たす場合はステップＳ３１９に行き、検出条件を満たさない場合はステップＳ３２０に行く。

【0123】

なお、検出条件は、例えば、「画像条件を満たすＡＮＤ文字列条件を満たす」、または「画像条件を満たすＯＲ文字列条件を満たす」である。

【0124】

（ステップＳ３１９）箇所蓄積部３３は、ｊ番目の画面画像と（ｊ＋１）番目の画面画像に対応する切替箇所情報を取得し、図示しないバッファに一時蓄積する。なお、切替箇所情報は、例えば、（ｊ＋１）番目の画面画像の識別子である。

【0125】

（ステップＳ３２０）検出部３２は、カウンタｉを１、インクリメントする。ステップＳ３１１に戻る。

【0126】

なお、図３のフローチャートにおいて、１または２以上の画像切替箇所情報、１または２以上の文字列切替箇所情報、および１または２以上の切替箇所情報が蓄積された。

【0127】

次に、ステップＳ３０３の画像特徴量集合取得処理の例について、図４のフローチャートを用いて説明する。

【0128】

（ステップＳ４０１）画像特徴量取得手段３２１は、格納部１から学習モデルを取得する。なお、学習モデルは、例えば、ImageNetを事前学習させた深層学習モデルである。

【0129】

（ステップＳ４０２）画像特徴量取得手段３２１は、処理対象の画面画像と学習モデルとを予測モジュールに与える。なお、処理対象の画面画像は、ステップＳ３０２のｉ番目の画面画像である。

【0130】

（ステップＳ４０３）画像特徴量取得手段３２１は、当該予測モジュールを実行し、１以上の画像特徴量を取得する。

【0131】

（ステップＳ４０４）画像特徴量取得手段３２１は、ステップＳ４０３で取得した１以上の画像特徴量を有する画像特徴量集合を構成する。なお、画像特徴量集合は、１または２以上の各画像特徴量を要素とするベクトルである。

【0132】

（ステップＳ４０５）画像特徴量取得手段３２１は、処理対象の画面画像に対応付けて、ステップＳ４０４で構成した画像特徴量集合を蓄積する。上位処理にリターンする。

【0133】

次に、ステップＳ３０８の文字列特徴量集合取得処理の例について、図５のフローチャートを用いて説明する。

【0134】

（ステップＳ５０１）文字列特徴量取得手段３２２は、処理対象の画面画像に対する文字認識処理の結果である１以上の文字列を取得する。

【0135】

（ステップＳ５０２）文字列特徴量取得手段３２２は、ステップＳ５０１で取得した１以上の文字列に対する形態素解析の結果である１以上の単語を取得する。なお、単語は、通常、自立語である。

【0136】

（ステップＳ５０３）文字列特徴量取得手段３２２は、カウンタｉに１を代入する。

【0137】

（ステップＳ５０４）文字列特徴量取得手段３２２は、ステップＳ５０２で取得した１以上の単語の中に、ｉ番目の単語が存在するか否かを判断する。ｉ番目の単語が存在する場合はステップＳ５０５に行き、存在しない場合はステップＳ５０７に行く。

【0138】

（ステップＳ５０５）文字列特徴量取得手段３２２は、処理対象の画面画像におけるｉ番目の単語の出現回数を取得する。また、文字列特徴量取得手段３２２は、動画ログの全画面画像の中におけるｉ番目の単語の出現回数を取得する。次に、文字列特徴量取得手段３２２は、ｉ番目の単語のＴＦ／ＩＤＦ値を算出する。

【0139】

（ステップＳ５０６）文字列特徴量取得手段３２２は、カウンタｉをｐ１、インクリメントする。ステップＳ５０４に戻る。

【0140】

（ステップＳ５０７）文字列特徴量取得手段３２２は、ステップＳ５０５で算出した各単語のＴＦ／ＩＤＦ値を用いて、処理対象の画面画像における文字列からみた特徴を示す文字列特徴量集合を構成する。

【0141】

（ステップＳ５０８）文字列特徴量取得手段３２２は、ステップＳ５０７で構成した文字列特徴量集合を、処理対象の画面画像に対応付けて蓄積する。上位処理にリターンする。

【0142】

次に、ステップＳ２０４のグループ化処理の例について、図６のフローチャートを用いて説明する。

【0143】

（ステップＳ６０１）グループ化部３４は、カウンタｉに１を代入する。

【0144】

（ステップＳ６０２）グループ化部３４は、処理対象の動画ログにおいて、ｉ番目の切替箇所情報が存在するか否かを判断する。ｉ番目の切替箇所情報が存在する場合はステップＳ６０３に行き、存在しない場合はステップＳ６０５に行く。

【0145】

（ステップＳ６０３）グループ化部３４は、処理対象の動画ログにおける最初の画面画像または（ｉ－１）番目の切替箇所情報に対する画面画像から、ｉ番目の切替箇所情報に対する画面画像の直前の画面画像までの画面画像集合の情報であるｉ番目のグループ情報を取得する。ここでのグループ情報は、例えば、グループを構成する最初の画面画像の識別子と、最後の画面画像の識別子である。なお、かかる画面画像集合を、適宜、画面画像グループと言う。画面画像グループは、通常、操作の切り替わりが発生していない画面画像の集合であり、時間的に連続する２以上の画面画像の集合である。

【0146】

（ステップＳ６０４）グループ化部３４は、カウンタｉを１、インクリメントする。ステップＳ６０２に戻る。

【0147】

（ステップＳ６０５）グループ化部３４は、処理対象の動画ログにおける最後の切替箇所情報に対する画面画像から、当該動画ログにおける最後の画面画像までの画面画像グループの情報である最後のグループ情報を取得する。

【0148】

（ステップＳ６０６）グループ化部３４は、さらに上位階層のグループ化を行うか否かを判断する。上位階層のグループ化を行う場合はステップＳ６０７に行き、行わない場合は上位処理にリターンする。なお、さらに上位階層のグループ化を行うか否かは、例えば、予め決められている。例えば、グループの階層数は、予め決められている。

【0149】

（ステップＳ６０７）グループ化部３４は、上位グループ化処理を行う。上位グループ化処理の例について、図７のフローチャートを用いて説明する。

【0150】

次に、ステップＳ６０７の上位グループ化処理の例について、図７のフローチャートを用いて説明する。

【0151】

（ステップＳ７０１）グループ化部３４は、カウンタｉに１を代入する。

【0152】

（ステップＳ７０２）グループ化部３４は、対象の動画ログの中の切替箇所情報を参照し、対象の動画ログの中に、ｉ番目のグループが存在するか否かを判断する。ｉ番目のグループが存在する場合はステップＳ７０３に行き、存在しない場合はステップＳ７０６に行く。

【0153】

（ステップＳ７０３）グループ化部３４は、ｉ番目のグループの各画面画像の特徴量集合を取得する。

【0154】

（ステップＳ７０４）グループ化部３４は、ステップＳ７０３で取得したｉ番目のグループの各画面画像の特徴量集合の代表値を取得する。なお、各画面画像の特徴量集合の代表値は、例えば、各画面画像の特徴量集合であるベクトルの各要素の代表値（例えば、平均値、中央値）を要素とするベクトルである。また、ここでの特徴量集合は、画像特徴量集合と文字列特徴量集合の両方を有する情報であることは好適であるが、画像特徴量集合のみであっても良い。

【0155】

（ステップＳ７０５）グループ化部３４は、カウンタｉを１、インクリメントする。ステップＳ７０２に戻る。

【0156】

（ステップＳ７０６）グループ化部３４は、カウンタｊに１を代入する。

【0157】

（ステップＳ７０７）グループ化部３４は、（ｊ＋１）番目のグループが存在するか否かを判断する。（ｊ＋１）番目のグループが存在する場合はステップＳ７０８に行き、存在しない場合は上位処理にリターンする。

【0158】

（ステップＳ７０８）グループ化部３４は、ｊ番目のグループの特徴量集合の代表値と（ｊ＋１）番目のグループの特徴量集合の代表値との類似度を算出する。

【0159】

（ステップＳ７０９）グループ化部３４は、ステップＳ７０８で算出した類似度がグループ条件を満たすか否かを判断する。グループ条件を満たす場合はステップＳ７１０に行き、満たさない場合はステップＳ７１１に行く。なお、グループ条件は、例えば、「２つのグループの特徴量集合の代表値の類似度が閾値以上、または閾値より大きいこと」である。

【0160】

（ステップＳ７１０）グループ化部３４は、（ｊ＋１）番目のグループを、ｊ番目のグループが属する上位グループに含めるための処理を行い、上位のグループのグループ情報を取得し、当該グループ情報をグループ識別子と対にして蓄積する。なお、グループ識別子とは、グループを識別する情報であり、例えば、ＩＤである。また、上位のグループのグループ情報は、例えば、ｊ番目のグループが属する上位グループの最初の画面画像の識別子と、（ｊ＋１）番目のグループの最後の画面画像の識別子とを有する。

【0161】

（ステップＳ７１１）グループ化部３４は、カウンタｊを１、インクリメントする。ステップＳ７０７に戻る。

【0162】

次に、ステップＳ２０５の画面構成処理の例について、図８のフローチャートを用いて説明する。

【0163】

（ステップＳ８０１）処理部３は、カウンタｉに１を代入する。

【0164】

（ステップＳ８０２）処理部３は、対象の動画ログの中に、ｉ番目のグループが存在するか否かを判断する。ｉ番目のグループが存在する場合はステップＳ８０３に行き、存在しない場合はステップＳ８０９に行く。

【0165】

（ステップＳ８０３）ＩＦ構成手段３５１は、対象の動画ログの中のｉ番目のグループに属する画面画像の数（フレーム数）を取得する。

【0166】

（ステップＳ８０４）ＩＦ構成手段３５１は、ｉ番目のグループに対応するバーであり、フレーム数が示す長さのバーを構成する。なお、バーは、例えば、矩形であり、当該バーの各箇所が選択可能である。かかるバーの選択は、例えば、画像指示の入力である。

【0167】

（ステップＳ８０５）ＩＦ構成手段３５１は、出力する画面情報の雛形の中であり、バーを配置する位置に、ｉ番目のグループのバーを追加して配置する。

【0168】

（ステップＳ８０６）ＩＦ構成手段３５１は、ｉ番目のグループに対応するｉ番目のインデックスを構成する。なお、ｉ番目のインデックスは、例えば、ｉ番目のグループの最初の画面画像と当該画面画像と対になる操作ログとを有する。グループの最初の画面画像は、操作が切り替わった最初の画面の画像である。操作が切り替わった最初の画面の画像は、例えば、新たなウィンドウがオープンされた画面の画像である。

【0169】

（ステップＳ８０７）ＩＦ構成手段３５１は、出力する画面情報の雛形の中であり、インデックスを配置する位置に、ｉ番目のグループのインデックスを追加して配置する。

【0170】

（ステップＳ８０８）処理部３は、カウンタｉを１、インクリメントする。ステップＳ８０２に戻る。

【0171】

（ステップＳ８０９）処理部３は、検査対象の動画ログの最初の画面画像を、出力する画面情報の雛形の中であり、着目する画面画像を配置する位置に配置する。

【0172】

（ステップＳ８１０）処理部３は、バー、インデックス、および最初の画面画像を有する画面であり、出力する画面を構成する。上位処理にリターンする。

【0173】

以下、本実施の形態における検出装置Ａの具体的な動作について説明する。

【0174】

今、格納部１には、一の操作者Ｘがコンピュータを用いて作業を行っていた間のスクリーンショットの画面の集合である動作ログが格納されている、とする。かかる動画ログの例は、図９である。動画ログは、例えば、２フレーム／秒のフレームレートで、画面全体の画像のスクリーンショットが取得されたものである。また、当該動作ログに含まれる２以上の各画面画像には、当該操作者Ｘの操作により取得された操作ログが対応付いて、当該操作ログも格納部１に格納されている、とする。

【0175】

また、条件管理部１１には、画像条件「画像特徴量集合の類似度＜＝０．８」、文字列条件「文字列特徴量集合の類似度＜＝０．７」、検出条件「画像条件を満たすＡＮＤ文字列条件を満たす」が格納されている、とする。

【0176】

かかる状況において、操作者Ｘが行った操作に不正がなかったか否かを検出する検査者Ｉは、検出装置Ａに検出指示を入力した、とする。

【0177】

次に、検出装置Ａの指示受付部２１は、検出指示を受け付ける。次に、ログ取得部３１は、格納部１から、操作者Ｘの操作に基づく動作ログと操作ログとを格納部１から取得する。

【0178】

次に、検出部３２は、以下のように動画ログの中の切り替え箇所の検出を行う。つまり、画像特徴量取得手段３２１は、動作ログに含まれる各画面画像から、図４のフローチャートを用いて説明した処理により、画面画像ごとに、画像特徴量集合を取得し、当該画像特徴量集合を、画面画像識別子（ここでは、フレームＩＤ）に対応付けて、図示しないバッファに一時蓄積する。また、フレームＩＤは、例えば、動画ログを構成する画面画像の順番であり、動画ログがＮ枚の画面画像を有する場合、各画面画像のフレームＩＤは、「１」「２」・・・「Ｎ」である、とする。

【0179】

また、文字列特徴量取得手段３２２は、動作ログに含まれる各画面画像に対して、文字認識処理を行い、画面画像ごとに、文字認識処理の結果である１以上の文字列を取得し、当該１以上の文字列を、画面画像識別子に対応付けて、図示しないバッファに一時蓄積する。

【0180】

また、文字列特徴量取得手段３２２は、画面画像ごとに、対応付く１以上の文字列に含まれる各単語のＴＦ／ＩＤＦ値を算出する。そして、文字列特徴量取得手段３２２は、画面画像ごとに、各単語のＴＦ／ＩＤＦ値を用いて、文字列特徴量集合を取得し、当該文字列特徴量集合を、画面画像識別子に対応付けて、図示しないバッファに一時蓄積する。

【0181】

次に、検出部３２は、連続する２つの画面画像の組ごとに、画像特徴量集合の類似度を算出し、当該類似度が画像条件「画像特徴量集合の類似度＜＝０．８」を満たすか否かを判断する。そして、検出部３２は、画像条件を満たす画面画像の組の中の後の画面画像の画面画像識別子（ここでは、フレームＩＤ）を画像切替箇所情報として取得し、当該画像切替箇所情報を図示しないバッファに蓄積する。

【0182】

また、検出部３２は、連続する２つの画面画像の組ごとに、文字列特徴量集合の類似度を算出し、当該類似度が文字列条件「文字列特徴量集合の類似度＜＝０．７」を満たすか否かを判断する。そして、検出部３２は、文字列条件を満たす画面画像の組の中の後の画面画像の画面画像識別子（ここでは、フレームＩＤ）を文字列切替箇所情報として取得し、当該文字列切替箇所情報を図示しないバッファに蓄積する。

【0183】

次に、検出部３２は、１以上の画像切替箇所情報の中に含まれる切替箇所情報であり、１以上の文字列切替箇所情報の中に含まれる切替箇所情報を、検出条件を満たす切替箇所情報として取得し、図示しないバッファに蓄積する。

【0184】

次に、グループ化部３４は、図６のフローチャートで説明した処理により、切替箇所情報を用いて、切り替え箇所が検出された当該動画ログに対するグループ化処理を行う。

【0185】

次に、ＩＦ構成手段３５１等は、図８のフローチャートで説明した処理により、出力する画面を構成する。次に、出力部４は、当該画面を出力する。かかる画面例は図１０である。

【0186】

図１０において、１００１の各矩形は画像切替箇所情報に基づく各グループであり、１００２の各矩形は文字列切替箇所情報に基づく各グループであり、１００３は切替箇所情報に基づく各グループである。また、１００４は、各グループの先頭の画面画像である。１００５は、各グループの先頭の画面画像に対応付く操作ログである。

【0187】

次に、検査者Ｉが、図１０の１００６を指示した、とする。なお、１００６は、切替箇所情報が示す切替箇所である。すると、検査装置Ａの指示受付部２１は、ジャンプ指示を受け付ける。次に、処理部３は、１００６の切替箇所情報に対応する画面画像識別子を取得する。次に、処理部３は、当該画面画像識別子で識別される画面画像を動画ログから取得する。次に、画面画像出力部４２が、当該画面画像を１００７の領域に出力する。そして、図１０の画面例は、図１１のようになる。図１１の１１０１は、１００６の切替箇所情報に対応する画面画像である。

【0188】

以上、本実施の形態によれば、コンピュータに対する操作の切り替わり箇所を検出し、利用することにより、コンピュータに対する操作の画面画像の集合である動画ログの確認の労力を低減できる。

【0189】

また、本実施の形態によれば、動画ログの中で類似条件を満たさない連続する２つの画面画像を検出し、利用できる結果、動画ログの確認の労力を低減できる。なお、利用とは、例えば、当該連続する２つの画面画像へのジャンプである。

【0190】

また、本実施の形態によれば、画像条件と文字列条件との両方を満たす画面画像を検出する結果、操作の切り替わり箇所をより正確に検出できる。

【0191】

また、本実施の形態によれば、動画ログを２以上の画面画像グループに分けて、処理できる。例えば、動画ログを２以上の画面画像のグループに分けて、各画面画像グループを明示したインターフェイスを提供できる（図１０参照）。

【0192】

さらに、本実施の形態によれば、動画ログを構成する２以上の画面画像グループをさらに纏めることができる。

【0193】

なお、本実施の形態において、検出装置Ａの画面は、図１２のような画面でも良い。図１２において、１２０１は、検査対象の動画ログの中の着目している画面画像である。１２０２は、画像条件を満たした箇所である。１２０３は、文字列条件を満たした箇所である。１２０４は、検出条件を満たした箇所である。なお、ここでの検出条件は、画像条件と文字列条件の両方を満たすことである。そして、図１２において、検査者Ｉは、１２０４等の箇所を指示することにより、グループの切り替わりの箇所の画面画像に一挙にジャンプできる。その結果、検査者Ｉが検査対象の動画ログの全画面画像を見る場合と比較して、操作者Ｘの操作の不正を検査する際の労力が削減できる。検査者Ｉは、例えば、各グループの先頭の画面画像だけを見ていって、不正が起こりえる画面画像のグループのみを、精査すれば良くなる。なお、図１２の１２０５は、画面画像識別子であり、動画ログの中の画面画像（静止画）のフレームＩＤである。また、１２０６は、カレントの画面画像（１２０１）の、動画ログ内での位置を示す。

【0194】

また、本実施の形態の検出装置Ａの精度の実験結果を図１３に示す。本実験は、あるユーザの一のコンピュータに対する５日分の画面画像の集合である動画ログを用いた。図１３において、８９３６枚の画面画像を有する動画ログにおいて、画像条件のみで切替箇所を検出した場合、文字列条件のみで切替箇所を検出した場合、画像条件と文字列条件の両方で切替箇所を検出した場合の再現率、適合率、Ｆ値を示す。本実験では、当該動画ログに対して、２回の検査（モニタ）を行った。

【0195】

本実験によれば、画像の特徴量を使用することにより、操作の切れ目の再現率が９８％以上で検出できた。また、操作の切れ目を検出することで８９３６枚の画像から２２７３枚まで確認すべき対象が絞られた（約１／４削減）。また、画像とテキストの特徴量を使用することにより、操作の切れ目や似た操作の検出が可能になることが判明した。

【0196】

また、本実施の形態において、検出装置Ａは、スタンドアロンの装置として説明したが、サーバでも良い。検出装置Ａがサーバである場合、検出装置Ａは、図示しない端末から検出指示等の各種の指示を受信し、処理結果（例えば、図１０の画面）を端末に送信する。

【0197】

さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ－ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における検出装置Ａを実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに対する操作の切り替わり箇所を検出する条件であり、当該コンピュータに対する操作の画面のスクリーンショットの画像である画面画像に関する条件である検出条件が格納される条件管理部にアクセス可能な情報処理装置を、一のコンピュータに対する操作の画面画像の集合である動画ログを取得するログ取得部と、前記動画ログの前記画面画像の中で、前記検出条件を満たす画面画像を検出する検出部と、前記検出部が検出した前記画面画像の箇所である切替箇所を特定する切替箇所情報を蓄積する箇所蓄積部として機能させるためのプログラムである。

【0198】

また、図１４は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の検出装置Ａ等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１４は、このコンピュータシステム３００の概観図であり、図１５は、システム３００のブロック図である。

【0199】

図１４において、コンピュータシステム３００は、ＣＤ－ＲＯＭドライブを含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。

【0200】

図１５において、コンピュータ３０１は、ＣＤ－ＲＯＭドライブ３０１２に加えて、ＭＰＵ３０１３と、ＣＤ－ＲＯＭドライブ３０１２等に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。

【0201】

コンピュータシステム３００に、上述した実施の形態の検出装置Ａ等の機能を実行させるプログラムは、ＣＤ－ＲＯＭ３１０１に記憶されて、ＣＤ－ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ－ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。

【0202】

プログラムは、コンピュータ３０１に、上述した実施の形態の検出装置Ａ等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。

【0203】

なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。

【0204】

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

【0205】

また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。

【0206】

また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

【0207】

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

【産業上の利用可能性】

【0208】