特許 7722026 評価支援プログラム、評価支援方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-08-04

(45)【発行日】2025-08-13

(54)【発明の名称】評価支援プログラム、評価支援方法および情報処理装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20250805BHJP

   G06N 5/045 20230101ALI20250805BHJP

   G06T 7/00 20170101ALI20250805BHJP

   G06V 10/776 20220101ALI20250805BHJP

【ＦＩ】

G06N20/00

G06N5/045

G06T7/00 350B

G06V10/776

【請求項の数】 7

(21)【出願番号】P 2021127527

(22)【出願日】2021-08-03

(65)【公開番号】P2023022585

(43)【公開日】2023-02-15

【審査請求日】2024-05-09

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】多々納 壮

【審査官】大倉 崚吾

(56)【参考文献】

【文献】特開２０２１－０６０６９２（ＪＰ，Ａ）

【文献】特開２０２０－００９１４１（ＪＰ，Ａ）

【文献】国際公開第２０１９／１７６８２６（ＷＯ，Ａ１）

【文献】特開２０１１－１８０８４５（ＪＰ，Ａ）

【文献】特開２００４－１７３９１０（ＪＰ，Ａ）

【文献】国際公開第２０２０／０２６６４３（ＷＯ，Ａ１）

【文献】特開２００６－２３６３６７（ＪＰ，Ａ）

【文献】米国特許第１０２４２０３５（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １８／００－１８／４０

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／７７６

Ｇ０６Ｖ ２０／７０

(57)【特許請求の範囲】

【請求項1】

複数の第１データと前記複数の第１データのクラスとの関係を定義した学習データセットを用いて機械学習を実行した学習モデルに、解析対象となる動画データである複数の第２データを入力し、前記第２データの表示が一時停止された場合に、前記複数の第２データのうちの先頭フレームから前記一時停止された前記第２データのフレームまでの解析結果をそれぞれ特定し、
前記複数の第２データのうち、いずれかの第２データの選択を受け付けると、選択された第２データに類似する第１データを、前記学習データセットから検索し、
選択された第２データの解析結果と、検索した第１データに関する情報とを合わせて出力する
処理をコンピュータに実行させることを特徴とする評価支援プログラム。

【請求項2】

選択された第２データの特徴を可視化した第２特徴可視化画像を生成する処理を更に実行し、前記学習データセットの複数の第１データは、前記第１データの特徴を可視化した第１特徴可視化画像に対応付けられ、前記検索する処理は、前記第１特徴可視化画像と、前記第２特徴可視化画像との類似度を更に用いて、前記第２データに類似する第１データを、前記学習データセットから検索することを特徴とする請求項１に記載の評価支援プログラム。

【請求項3】

前記出力する処理は、前記第１データに関する情報として、前記第１データの第１特徴可視化画像と、前記第１データのクラスの情報とを表示し、前記第２データの解析結果として、前記第２データの第２特徴可視化画像と、前記第２データのクラスの情報とを表示することを特徴とする請求項２に記載の評価支援プログラム。

【請求項4】

前記学習モデルは、出力結果のクラスの信頼度を更に出力するように学習され、前記出力する処理は、前記第２データに関する情報として、前記信頼度を更に含めることを特徴とする請求項３に記載の評価支援プログラム。

【請求項5】

前記複数の第２データのうち、先頭の第２データから、選択された第２データまでの解析結果を蓄積した情報を、更に表示することを特徴とする請求項１に記載の評価支援プログラム。

【請求項6】

複数の第１データと前記複数の第１データのクラスとの関係を定義した学習データセットを用いて機械学習を実行した学習モデルに、解析対象となる動画データである複数の第２データを入力し、前記第２データの表示が一時停止された場合に、前記複数の第２データのうちの先頭フレームから前記一時停止された前記第２データのフレームまでの解析結果をそれぞれ特定し、
前記複数の第２データのうち、いずれかの第２データの選択を受け付けると、選択された第２データに類似する第１データを、前記学習データセットから検索し、
選択された第２データの解析結果と、検索した第１データに関する情報とを合わせて出力する
処理をコンピュータが実行することを特徴とする評価支援方法。

【請求項7】

複数の第１データと前記複数の第１データのクラスとの関係を定義した学習データセットを用いて機械学習を実行した学習モデルに、解析対象となる動画データである複数の第２データを入力し、前記第２データの表示が一時停止された場合に、前記複数の第２データのうちの先頭フレームから前記一時停止された前記第２データのフレームまでの解析結果をそれぞれ特定する特定部と、
前記複数の第２データのうち、いずれかの第２データの選択を受け付けると、選択された第２データに類似する第１データを、前記学習データセットから検索し、選択された第２データの解析結果と、検索した第１データに関する情報とを合わせて出力する画面情報生成部と
を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、評価支援プログラム等に関する。

【背景技術】

【0002】

近年、画像認識を行う場合に、ＮＮ（Neural Network）等の学習モデルが用いられている。学習モデルを利用して画像認識を行う場合には、準備段階として、学習データを用いた教師あり機械学習を実行する。以下の説明では、教師あり機械学習を単に、機械学習と表記する。

【0003】

また、機械学習を行った学習済みの学習モデルを用いて実際に運用を行う前に、作業員によって、学習モデルの性能評価が行われている。たとえば、作業員は、解析対象となる複数のデータを学習モデルに入力して、解析結果をそれぞれ取得し、解析対象となる複数のデータと、各解析結果とを照らし合わせることで、学習モデルを評価する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－２０１５４３号公報

【文献】国際公開第２０１０／１１９６１５号

【文献】特開２０２０－０３９８５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、解析対象となる複数のデータと、各解析結果とを照らし合わせることで、学習モデルを評価する作業は効率が悪く、作業員に係る負担が大きい。このため、学習モデルを評価する作業を支援することが求められている。

【0006】

１つの側面では、本発明は、学習モデルを評価する作業を支援することができる評価支援プログラム、評価支援方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

第１の案では、コンピュータに次の処理を実行させる。コンピュータは、複数の第１データと複数の第１データのクラスとの関係を定義した学習データセットを用いて機械学習を実行した学習モデルに、解析対象となる複数の第２データを入力することで、複数の第２データの解析結果をそれぞれ特定する。コンピュータは、複数の第２データのうち、いずれかの第２データの選択を受け付けると、選択された第２データに類似する第１データを、学習データセットから検索する。コンピュータは、選択された第２データの解析結果と、検索した第１データに関する情報とを合わせて出力する。

【発明の効果】

【0008】

学習モデルを評価する作業を支援することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、解析画面の一例を示す図である。

【図2】図２は、詳細解析画面の一例を示す図である。

【図3】図３は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。

【図4】図４は、学習データテーブルのデータ構造の一例を示す図である。

【図5】図５は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。

【図6】図６は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0010】

以下に、本願の開示する評価支援プログラム、評価支援方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例】

【0011】

本実施例に係る情報処理装置は、事前に、学習データセットを用いて、機械学習が実行された学習モデルを保持しており、かかる学習モデルの性能を評価する利用者の作業を支援する。

【0012】

情報処理装置は、解析対象となる動画データを学習モデルに入力し、各画像フレームの解析結果を基にして、解析画面を生成する。動画データは、時系列の複数の画像フレームからなるデータである。各画像フレームには、時系列にフレーム番号が付与されているものとする。

【0013】

ここで、情報処理装置が保持する学習モデルは、画像フレームが入力されると、画像フレームの解析結果として、画像フレームの属する各クラスの尤度が出力される。たとえば、各クラスは、自動車、船、飛行機の種類等に対応する。本実施例では、便宜的に、各クラスを「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」とする。

【0014】

学習モデルは、各クラスの尤度を出力する場合に、信頼度を出力する。たとえば、入力された画像フレームがいずれのクラスに分類されるのかが明確なものであるほど、信頼度が大きくなる。

【0015】

情報処理装置が生成する解析画面の一例について説明する。図１は、解析画面の一例を示す図である。解析画面１０には、画像表示領域１１ａ、シークバー１１ｂ、コントロールボタン１１ｃ、累積結果表示領域１２、フレーム解析結果表示領域１３、信頼度表示領域１４が含まれる。

【0016】

画像表示領域１１ａは、解析対象となる動画データを表示する領域である。画像表示領域１１ａに表示される動画データの再生位置は、シークバー１１ｂのアイコン９によって示される。利用者は、入力部（後述する入力部１２０）を操作することで、アイコン９の位置をシークバー１１ｂ上の任意の位置に移動させることが可能である。

【0017】

シークバー１１ｂでは、シークバー１１ｂ上の位置と、時系列の画像データの各フレーム番号とを対応付けられる。シークバー１１ｂの左端が、動画データの先頭の画像データのフレーム番号に対応し、シークバー１１ｂ上のアイコン９の位置が右に移行するほど、フレーム番号が大きい番号となる。シークバー１１の右端が、動画データの最後の画像データのフレーム番号に対応する。アイコン９の位置に対応するフレーム番号の画像フレームが、画像表示領域１１ａに表示される。アイコン９は、動画データの再生位置を示す。

【0018】

コントロールボタン１１ｃは、動画データの再生をコントロールするためのボタンである。利用者は、入力部を操作し、コントロールボタン１１ｃを押下することで、動画データの再生、一時停止、停止等を行うことができる。本実施例では、利用者は、動画データを再生して、画像表示領域１１ａを参照し、分析したいタイミングで、コントロールボタン１１ｃを押下して、動画データを一時停止させる。かかる利用者の操作によって、動画データが一次停止されると、詳細解析画面が表示（ポップアップで表示）される。詳細解析画面については後述する。

【0019】

累積結果表示領域１２は、動画データの先頭の画像フレーム（先頭のフレーム番号の画像フレーム）から、アイコン９で指定されるフレーム番号の画像フレームまでの各画像フレームに基づいて、特定される動画データのクラスの解析結果を示す領域である。以下の説明では、動画データの先頭の画像フレームを「先頭フレーム」と表記し、アイコン９で指定されるフレーム番号の画像フレームを「現フレーム」と表記する。

【0020】

たとえば、情報処理装置は、先頭フレームから、現フレームまでの各画像フレームを学習モデルに入力した場合の各クラスの尤度を平均化した値を、累積結果とする。図１に示す例では、クラス「ＣＣＣ」の累積結果が８５．０７％となる。クラス「ＡＡＡ」の累積結果が８．６％となる。クラス「ＢＢＢ」の累積結果が６．３３％となる。すなわち、アイコン９の位置まで再生した動画データのクラスは、クラス「ＣＣＣ」である可能性が最も高いことを、学習モデルの出力結果から特定することができる。

【0021】

累積結果表示領域１２に示すグラフ１２Ｇは、各クラスの累積結果の時系列変化を示すグラフである。グラフ１２Ｇにおいて、縦軸は尤度を示す軸であり、横軸はフレーム番号（時間）に対応する軸である。グラフ１２Ｇでは、先頭フレームから、現フレームにおいて、学習モデルから出力される各クラスの尤度の累積結果を、フレーム番号と対応付けて表示する。たとえば、線１ａは、クラス「ＣＣＣ」の累積結果の時系列変化を示す。線１ｂは、クラス「ＡＡＡ」の累積結果の時系列変化を示す。線１ｃは、クラス「ＢＢＢ」の累積結果の時系列変化を示す。

【0022】

フレーム解析結果表示領域１３は、現フレームを学習モデルに入力した場合の各クラスの尤度を表示する領域である。図１に示す例では、クラス「ＣＣＣ」の尤度が４５．０３％となる。クラス「ＡＡＡ」の尤度が３７．９４％となる。クラス「ＢＢＢ」の尤度が１７．０３％となる。すなわち、現フレーム単独では、クラス「ＣＣＣ」である可能性が最も高いことを、学習モデルの出力結果から特定することができる。

【0023】

フレーム解析結果表示領域１３に示すグラフ１３Ｇは、画像フレーム単位で、各クラスの尤度の時系列変化を示すグラフである。グラフ１３Ｇにおいて、縦軸は各クラスの尤度を示す軸であり、横軸はフレーム番号に対応する軸である。グラフ１３Ｇでは、先頭フレームから、現フレームまでの各画像フレームについて、学習モデルから出力される各クラスの尤度（画像フレームの単位の尤度）を、フレーム番号と対応付けて表示する。たとえば、線２ａは、クラス「ＣＣＣ」の尤度の時系列変化を示す。線２ｂは、クラス「ＡＡＡ」の尤度の時系列変化を示す。線１ｃは、クラス「ＢＢＢ」の尤度の時系列変化を示す。

【0024】

信頼度表示領域１４は、先頭フレームから、現フレームまでの各画像フレームに基づいて特定される信頼度の情報を示す領域である。信頼度表示領域１４に示す動画信頼度は、先頭フレームから、現フレームまでの各画像フレームを学習モデルに入力した場合の各信頼度を平均化した値を示す。信頼度表示領域１４に示す画像信頼度は、現フレームを学習モデルに入力した場合の信頼度を示す。

【0025】

信頼度表示領域１４に示すグラフ１４Ｇは、動画信頼度および画像信頼度の時系列変化を示すグラフである。グラフ１４Ｇにおいて、縦軸は信頼度を示す軸であり、横軸はフレーム番号に対応する軸である。たとえば、線３ａは、動画信頼度の時系列変化を示す。線３ｂは、画像信頼度の時系列変化を示す。グラフ１４Ｇには、信頼度の閾値Ｔｈが設定される。たとえば、情報処理装置は、信頼度の閾値Ｔｈを下回る領域４に、動画信頼度が含まれた場合に、未学習対象なる警告画面を表示する。

【0026】

続いて、情報処理装置が表示する詳細解析画面の一例について説明する。情報処理装置は、利用者によってコントロールボタン１１ｃが操作され、動画データの再生が一時停止された場合に、詳細解析画面を表示する（ポップアップで表示する）。なお、情報処理装置は、解析画面１０において、図示しない詳細解析ボタンの押下を受け付けた場合に、詳細解析画面を表示させてもよい。

【0027】

図２は、詳細解析画面の一例を示す図である。詳細解析画面２０には、表示領域２０Ａ，２０Ｂ，２０Ｃが含まれる。

【0028】

表示領域２０Ａには、現フレームに関する情報が表示される。たとえば、表示領域２０Ａでは、画像２１ａ、特徴可視化画像２１ｂ、重畳画像２１ｃが表示される。画像２１ａは、現フレームに対応する画像である。特徴可視化画像２１ｂは、画像２１ａの特徴量を可視化した画像である。ここでは、画像２１ａに船の画像が含まれる場合を例にして、特徴可視化画像２１ｂについて説明する。情報処理装置は、画像２１ａを解析して、画像２１ａに含まれる画像の特徴部分の位置を特定する。たとえば、画像の特徴部分を船の先端部分、マスト部分、後端部分等の特徴部分の位置を特定する。特徴部分はその他の部分であってもよい。情報処理装置は、特徴部分の位置を色分けして、縦線で表示することで、特徴可視化画像２１ｂが生成される。重畳画像２１ｃは、画像２１ａと特徴可視化画像２１ｂとを重畳した画像である。

【0029】

表示領域２０Ｂには、図１の累積結果表示領域１２に示した各クラスの尤度の累積結果が表示される。また、表示領域２０Ｂには、図１の信頼度表示領域１４に示した動画信頼度が表示される。情報処理装置は、表示領域２０Ｂに、フレーム解析結果表示領域１３の情報や、画像信頼度を更に表示させてもよい。

【0030】

表示領域２０Ｃには、類似学習データテーブル２２が表示される。類似学習データテーブル２２は、類似学習データの情報が含まれる。類似学習データは、学習モデルを機械学習する場合に用いた学習データセットに含まれる複数の学習データのうち、現フレームに類似する学習データを示す。

【0031】

類似学習データテーブル２２は、項番と、クラスと、データ類似度と、可視化類似度と、可視化結果とを対応付ける。項番は、類似学習データテーブルのレコードを区別する番号である。クラスは、類似学習データに設定された正解ラベルを示す。本実施例では、クラスとして、「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」のいずれかが設定される。

【0032】

データ類似度は、現フレームと、学習データ（類似学習データ）との類似度の具合を示す。可視化類似度は、現フレームの特徴可視化画像と、学習データ（類似学習データ）との類似度の具合を示す。可視化結果は、類似学習データ毎に、３種類の画像が設定される。たとえば、可視化結果には、類似学習データの画像、類似学習データの特徴可視化画像、画像と特徴可視化画像の重畳画像とが設定される。類似学習データテーブル２２のレコードは、データ類似度および可視化類似度が大きいほど、数値の小さい項番が設定される。

【0033】

上記のように、情報処理装置は、学習モデルに入力した解析対象の現フレームに類似する類似学習データを、学習データセットから検索し、解析対象のデータの解析結果と、検索した類似学習データの情報を合わせて出力する。これによって、機械学習を実行した学習モデルを利用者が評価する作業を支援することができる。

【0034】

たとえば、情報処理装置は、詳細解析画面２０を表示する。利用者は、詳細解析画面２０を参照することで、表示領域２０Ａ，２０Ｂに表示される解析結果と、表示領域２０Ｃに表示される類似学習データとを比較し、解析結果の妥当性を判断することができる。表示領域２０Ｂに示される各クラスのうち、尤度が最も高いクラスと、類似学習データのクラスとが一致する場合には、解析結果が妥当であると判断することができる。

【0035】

また、利用者は、詳細解析画面２０を参照することで、現フレームの特徴可視化画像と、類似学習データの特徴可視化画像とを比較し、画像だけでは判断しづらい、特徴部分の観点から、妥当性を判断することもできる。すなわち、特徴部分が類似しており、かつ、尤度が最も高いクラスと、類似学習データのクラスとが一致する場合には、解析結果が妥当であると判断することができる。

【0036】

次に、本実施例に係る情報処理装置１００の構成の一例について説明する。図３は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図３に示すように、この情報処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

【0037】

通信部１１０は、有線又は無線で外部装置等に接続され、外部装置等との間で情報の送受信を行う。たとえば、通信部１１０は、ＮＩＣ（Network Interface Card）等によって実現される。

【0038】

入力部１２０は、各種の情報を、情報処理装置１００に入力する入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。たとえば、利用者は、入力部１２０を用いて、学習モデル１４２の解析指示を行う。また、利用者は、入力部１２０を用いて、表示部１３０に表示される解析画面１０のアイコン９、コントロールボタン１１ｃ、詳細解析画面２０の各種情報を操作する。

【0039】

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、タッチパネル等に対応する。たとえば、表示部１３０は、解析画面１０、詳細解析画面２０を表示する。

【0040】

記憶部１４０は、学習データテーブル１４１、学習モデル１４２、解析対象データ１４３を有する。記憶部１４０は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

【0041】

学習データテーブル１４１は、学習モデル１４２の機械学習に用いられた学習データセットや、学習データを基にして生成された特徴可視化画像のデータ等を有する。図４は、学習データテーブルのデータ構造の一例を示す図である。図４に示すように、この学習データテーブル１４１は、項番と、学習データ（画像フレーム）と、正解ラベル（クラス）と、特徴可視化画像とを対応付ける。

【0042】

項番は、学習データテーブル１４１のレコードを区別する番号である。学習データおよび正解ラベルの組は、学習モデル１４２の機械学習を実行する場合に用いられるデータである。たとえば、学習データを学習モデル１４２に入力した場合の出力が、正解ラベルに近づくように、学習モデル１４２のパラメータが調整される。また、学習データが、いずれのクラスに分類されるのかが明確なものであるほど（信頼度が高いほど）より、出力結果が、正解ラベルに近づくように、パラメータの調整がなされる。

【0043】

特徴可視化画像は、学習データの特徴量を可視化した画像である。特徴可視化画像に関する説明は、図２で説明した特徴可視化画像に関する説明と同様である。

【0044】

学習モデル１４２は、学習データテーブル１４１に含まれる学習データセットを基にして機械学習を実行した学習モデルである。学習モデル１４２は、ＮＮ（Neural Network）等に対応する。

【0045】

解析対象データ１４３は、解析対象となる動画データを示す。動画データは、時系列の画像フレームを有し、各動画フレームには、時系列にフレーム番号が付与される。

【0046】

図３の説明に戻る。制御部１５０は、取得部１５１と、特定部１５２と、画面情報生成部１５３とを有する。制御部１５０は、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）により実現される。また、制御部１５０は、例えばＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実行されてもよい。

【0047】

取得部１５１は、通信部１１０、入力部１２０から、学習データテーブル１４１のデータ、学習モデル１４２のデータ、解析対象データを取得し、記憶部１４０に格納する。

【0048】

特定部１５２は、入力部１２０を操作する利用者から、学習モデル１４２の解析指示を受け付けると、解析対象データに含まれる動画データの各画像フレームを、学習モデル１４２に入力し、解析結果を、画面情報生成部１５３に出力する。たとえば、解析結果には、画像フレームのフレーム番号、各クラスの尤度、信頼度が含まれる。

【0049】

特定部１５２は、解析対象データに含まれる先頭の画像フレームから、最後の画像フレームまでの全画像フレームに関する解析結果をまとめて、画面情報生成部１５３に出力する。なお、特定部１５２は、先頭から画像フレームを順に、学習モデル１４２に入力して得られる解析結果を逐次、画面情報生成部１５３に出力してもよい。

【0050】

画面情報生成部１５３は、解析対象データ１４３の解析結果を基にして、解析画面１０、詳細解析画面２０を生成し、表示部１３０に出力して表示させる。

【0051】

画面情報生成部１５３が生成する解析画面１０は、図１で説明した解析画面１０に対応する。画面情報生成部１５３は、解析対象データ１４３に含まれる動画データを、画像表示領域１１ａに表示させる。画面情報生成部１５３は、コントロールボタン１１ｃの押下に応じて、動画データの再生、一時停止、停止を制御する。また、動画データの再生に応じて、シークバー１１ｂ上のアイコン９を移動させる。

【0052】

また、画面情報生成部１５３は、解析対象データ１４３の解析結果を基にして、累積結果表示領域１２、フレーム解析結果表示領域１３、信頼度表示領域１４の情報を生成し、解析画面１０に表示させる。

【0053】

画面情報生成部１５３は、累積結果表示領域１２のデータを生成する場合には、現フレームまでの各画像フレームを学習モデルに入力した場合の各クラスの尤度を平均化した値を、累積結果として算出する。画面情報生成部１５３は、尤度の大きさを基にしたランキング結果を、累積結果表示領域１２に表示させる。画面情報生成部１５３は、グラフ１２Ｇのデータを生成し、累積結果表示領域１２に表示させる。

【0054】

画面情報生成部１５３は、フレーム解析結果表示領域１３のデータを生成する場合には、現フレームの解析結果から各クラスの尤度を特定する。画面情報生成部１５３は、尤度の大きさを基にしたランキング結果を、フレーム解析結果表示領域１３に表示させる。画面情報生成部１５３は、グラフ１３Ｇのデータを生成し、フレーム解析結果表示領域１３に表示させる。

【0055】

画面情報生成部１５３は、信頼度表示領域１４のデータを生成する場合には、先頭フレームから、現フレームまでの各画像フレームを学習モデルに入力した場合の各信頼度を平均化した値を、動画信頼度として算出する。また、画面情報生成部１５３は、現フレームの解析結果から画像信頼度を特定する。画面情報生成部１５３は、動画信頼度および画像信頼度を、信頼度表示領域１４に表示させる。画面情報生成部１５３は、グラフ１４Ｇのデータを生成し、信頼度表示領域１４に表示させる。画面情報生成部１５３は、信頼度の閾値Ｔｈを下回る領域４に、動画信頼度が含まれた場合に、未学習対象なる警告画面を表示する。閾値Ｔｈは事前に設定された値である。利用者は、入力部１２０を操作して、閾値Ｔｈを調整してもよい。

【0056】

画面情報生成部１５３は、解析画面１０のコントロールボタン１１ｃが利用者によって操作され、動画データの再生が一時停止された場合には、詳細解析画面２０の情報を生成し、表示部１３０に出力して表示させる。画面情報生成部１５３は、一時停止を受け付けたタイミングにおいて、画像表示領域１１ａに表示中の画像フレームを、現フレームとして取り扱う。

【0057】

画面情報生成部１５３が生成する詳細解析画面２０は、図２で説明した詳細解析画面２０に対応する。図２で説明したように、詳細解析画面２０には、表示領域２０Ａ，２０Ｂ，２０Ｃが含まれる。

【0058】

画面情報生成部１５３は、現フレームを解析して、特徴部分の位置を特定し、特徴可視画像を生成する。画面情報生成部１５３は、特徴可視画像を生成する場合、特徴部分の種別と色とを事前に取り決めておき、複数の特徴部分のうち、重要な特徴部分を赤色等で強調表示してもよい。画面情報生成部１５３は、画像２１ａと、特徴可視化画像２１ｂと、重畳画像２１ｃとを表示領域２０Ａに設定する。

【0059】

画面情報生成部１５３は、解析画面１０の累積結果表示領域１２に示した各クラスの尤度の累積結果、信頼度表示領域１４に示した動画信頼度の情報を、表示領域２０Ｂに設定する。

【0060】

画面情報生成部１５３は、現フレームと、学習データテーブル１４１の各学習データとを比較して、データ類似度をそれぞれ算出する。たとえば、画面情報生成部１５３は、現フレームおよび学習データを部分領域に分割し、部分領域の輝度値や画素値の一致具合を、データ類似度として算出する。

【0061】

画面情報生成部１５３は、現フレームの特徴可視画像と、学習データテーブル１４１の各特徴可視画像とを比較して、可視化類似度を算出する。たとえば、画面情報生成部１５３は、特徴部分に割り当てられた色および範囲の一致具合を、可視化類似度として算出する。

【0062】

画面情報生成部１５３は、データ類似度、可視化類似度を算出する処理を、学習データテーブル１４１のレコード毎に実行する。たとえば、学習データテーブル１４１の項番１に対応する学習データと現フレームとを比較して、データ類似度を算出し、項番１に対応する特徴可視化画像と現フレームの可視化画像とを比較して、可視化類似度を算出する。他のレコードについても同様である。

【0063】

画面情報生成部１５３は、データ類似度と可視化類似度との合計値を、各項番のレコードについて算出し、合計値が大きいレコードの順にソートする。画面情報生成部１５３は、ソートしたレコードのうち、上位ｎ個のレコードを基にして、類似学習データテーブル２２を生成し、表示領域２０ｃに設定する。画面情報生成部１５３は、先頭から項番を振りなおし、クラス、データ類似度、可視化類似度、可視化結果を対応付けて類似学習データテーブル２２に設定する。画面情報生成部１５３は、合計値を算出する場合には、データ類似度と可視化類似度とのうち一方に重みをつけて、合計値を算出してもよい。

【0064】

上記のように、画面情報生成部１５３は、解析画面１０を表示し、解析画面１０のコントロールボタン１１ｃが利用者によって操作され、動画データの再生が一時停止された場合には、詳細解析画面２０の情報を生成し、表示部１３０にポップアップ表示させる。画面情報生成部１５３は、利用者が異なるタイミングで、一時停止させた場合には、各タイミングに基づく詳細解析画面２０をそれぞれ生成し、複数の詳細解析画面２０をポップアップ表示する。

【0065】

次に、本実施例に係る情報処理装置１００の処理手順の一例について説明する。図５は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図５に示すように、情報処理装置１００の取得部１５１は、学習データテーブル１４１、学習モデル１４２、解析対象データ１４３を取得し、記憶部１４０に登録する（ステップＳ１０１）。

【0066】

情報処理装置１００の特定部１５２は、入力部１２０を操作する利用者から、解析指示を受け付ける（ステップＳ１０２）。特定部１５２は、解析対象データ１４３を学習モデル１４２に入力することで、解析結果を特定する（ステップＳ１０３）。

【0067】

情報処理装置１００の画面情報生成部１５３は、解析結果を基にして、解析画面１０を生成して、表示部１３０に表示させる（ステップＳ１０４）。画面情報生成部１５３は、動画データ（解析対象データ）の再生を開始する（ステップＳ１０５）。

【0068】

画面情報生成部１５３は、一時停止指示を受け付けた場合に、詳細解析画面を生成し、表示部１３０にポップアップで表示する（ステップＳ１０６）。

【0069】

次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、学習モデル１４２に入力した解析対象の現フレームに類似する類似学習データを、学習データテーブル１４１から検索し、解析対象のデータの解析結果と、検索した類似学習データの情報を合わせて出力する。これによって、機械学習を実行した学習モデルを利用者が評価する作業を支援することができる。

【0070】

たとえば、情報処理装置１００は、詳細解析画面２０を表示する。利用者は、詳細解析画面２０を参照することで、表示領域２０Ａ，２０Ｂに表示される解析結果と、表示領域２０Ｃに表示される類似学習データとを比較し、解析結果の妥当性を判断することができる。表示領域２０Ｂに示される各クラスのうち、尤度が最も高いクラスと、類似学習データのクラスとが一致する場合には、解析結果が妥当であると判断することができる。

【0071】

また、利用者は、詳細解析画面２０を参照することで、現フレームの特徴可視化画像と、類似学習データの特徴可視化画像とを比較し、画像だけでは判断しづらい、特徴部分の観点から、妥当性を判断することもできる。すなわち、特徴部分が類似しており、かつ、尤度が最も高いクラスと、類似学習データのクラスとが一致する場合には、解析結果が妥当であると判断することができる。

【0072】

情報処理装置１００は、データ類似度と、可視化類似度とを基にして、現フレームに類似度する学習データを、学習データテーブル１４１から検索する。このため、現フレームの解析結果の根拠となる学習データの情報を表示できる。

【0073】

情報処理装置１００は、先頭フレームから、現フレームまでの各画像フレームを学習モデルに入力した場合の各クラスの尤度に基づいた累積結果を生成し、表示する。これによって、利用者は、先頭フレームから、現フレームまでの総合的な解析結果を容易に確認することができる。

【0074】

次に、上記実施例に示した情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図６は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0075】

図６に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行う通信装置２０４と、インタフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。

【0076】

ハードディスク装置２０７は、取得プログラム２０７ａ、特定プログラム２０７ｂ、画面情報生成プログラム２０７ｃを有する。また、ＣＰＵ２０１は、各プログラム２０７ａ～２０７ｃを読み出してＲＡＭ２０６に展開する。

【0077】

取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。特定プログラム２０７ｂは、特定プロセス２０６ｂとして機能する。画面情報生成プログラム２０７ｃは、画面情報生成プロセス２０６ｃとして機能する。

【0078】

取得プロセス２０６ａの処理は、取得部１５１の処理に対応する。特定プロセス２０６ｂの処理は、特定部１５２の処理に対応する。画面情報生成プロセス２０６ｃの処理は、画面情報生成部１５３の処理に対応する。

【0079】

なお、各プログラム２０７ａ～２０７ｃについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｃを読み出して実行するようにしてもよい。

【0080】

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0081】

（付記１）複数の第１データと前記複数の第１データのクラスとの関係を定義した学習データセットを用いて機械学習を実行した学習モデルに、解析対象となる複数の第２データを入力することで、前記複数の第２データの解析結果をそれぞれ特定し、
前記複数の第２データのうち、いずれかの第２データの選択を受け付けると、選択された第２データに類似する第１データを、前記学習データセットから検索し、
選択された第２データの解析結果と、検索した第１データに関する情報とを合わせて出力する
処理をコンピュータに実行させることを特徴とする評価支援プログラム。

【0082】

（付記２）選択された第２データの特徴を可視化した第２特徴可視化画像を生成する処理を更に実行し、前記学習データセットの複数の第１データは、前記第１データの特徴を可視化した第１特徴可視化画像に対応付けられ、前記検索する処理は、前記第１特徴可視化画像と、前記第２特徴可視化画像との類似度を更に用いて、前記第２データに類似する第１データを、前記学習データセットから検索することを特徴とする付記１に記載の評価支援プログラム。

【0083】

（付記３）前記出力する処理は、前記第１データに関する情報として、前記第１データの第１特徴可視化画像と、前記第１データのクラスの情報とを表示し、前記第２データの解析結果として、前記第２データの第２特徴可視化画像と、前記第２データのクラスの情報とを表示することを特徴とする付記２に記載の評価支援プログラム。

【0084】

（付記４）前記学習モデルは、出力結果のクラスの信頼度を更に出力するように学習され、前記出力する処理は、前記第２データに関する情報として、前記信頼度を更に含めることを特徴とする付記３に記載の評価支援プログラム。

【0085】

（付記５）前記複数の第２データのうち、先頭の第２データから、選択された第２データまでの解析結果を蓄積した情報を、更に表示することを特徴とする付記１に記載の評価支援プログラム。

【0086】

（付記６）複数の第１データと前記複数の第１データのクラスとの関係を定義した学習データセットを用いて機械学習を実行した学習モデルに、解析対象となる複数の第２データを入力することで、前記複数の第２データの解析結果をそれぞれ特定し、
前記複数の第２データのうち、いずれかの第２データの選択を受け付けると、選択された第２データに類似する第１データを、前記学習データセットから検索し、
選択された第２データの解析結果と、検索した第１データに関する情報とを合わせて出力する
処理をコンピュータが実行することを特徴とする評価支援方法。

【0087】

（付記７）選択された第２データの特徴を可視化した第２特徴可視化画像を生成する処理を更に実行し、前記学習データセットの複数の第１データは、前記第１データの特徴を可視化した第１特徴可視化画像に対応付けられ、前記検索する処理は、前記第１特徴可視化画像と、前記第２特徴可視化画像との類似度を更に用いて、前記第２データに類似する第１データを、前記学習データセットから検索することを特徴とする付記６に記載の評価支援方法。

【0088】

（付記８）前記出力する処理は、前記第１データに関する情報として、前記第１データの第１特徴可視化画像と、前記第１データのクラスの情報とを表示し、前記第２データの解析結果として、前記第２データの第２特徴可視化画像と、前記第２データのクラスの情報とを表示することを特徴とする付記７に記載の評価支援方法。

【0089】

（付記９）前記学習モデルは、出力結果のクラスの信頼度を更に出力するように学習され、前記出力する処理は、前記第２データに関する情報として、前記信頼度を更に含めることを特徴とする付記８に記載の評価支援方法。

【0090】

（付記１０）前記複数の第２データのうち、先頭の第２データから、選択された第２データまでの解析結果を蓄積した情報を、更に表示することを特徴とする付記６に記載の評価支援方法。

【0091】

（付記１１）複数の第１データと前記複数の第１データのクラスとの関係を定義した学習データセットを用いて機械学習を実行した学習モデルに、解析対象となる複数の第２データを入力することで、前記複数の第２データの解析結果をそれぞれ特定する特定部と、
前記複数の第２データのうち、いずれかの第２データの選択を受け付けると、選択された第２データに類似する第１データを、前記学習データセットから検索し、選択された第２データの解析結果と、検索した第１データに関する情報とを合わせて出力する画面情報生成部と
を有することを特徴とする情報処理装置。

【0092】

（付記１２）前記学習データセットの複数の第１データは、前記第１データの特徴を可視化した第１特徴可視化画像に対応付けられ、前記画面情報生成部は、選択された第２データの特徴を可視化した第２特徴可視化画像を生成する処理を更に実行し、前記第１特徴可視化画像と、前記第２特徴可視化画像との類似度を更に用いて、前記第２データに類似する第１データを、前記学習データセットから検索することを特徴とする付記１１に記載の情報処理装置。

【0093】

（付記１３）前記画面情報生成部は、前記第１データに関する情報として、前記第１データの第１特徴可視化画像と、前記第１データのクラスの情報とを表示し、前記第２データの解析結果として、前記第２データの第２特徴可視化画像と、前記第２データのクラスの情報とを表示することを特徴とする付記１２に記載の情報処理装置。

【0094】

（付記１４）前記学習モデルは、出力結果のクラスの信頼度を更に出力するように学習され、前記画面情報生成部は、前記第２データに関する情報として、前記信頼度を更に含めることを特徴とする付記１３に記載の情報処理装置。

【0095】

（付記１５）前記画面情報生成部は、前記複数の第２データのうち、先頭の第２データから、選択された第２データまでの解析結果を蓄積した情報を、更に表示することを特徴とする付記１１に記載の情報処理装置。

【符号の説明】

【0096】

１００ 情報処理装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 学習データテーブル
１４２ 学習モデル
１４３ 解析対象データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】