(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-12
(45)【発行日】2023-12-20
(54)【発明の名称】類別プログラム、類別装置及び類別方法
(51)【国際特許分類】
G01S 13/90 20060101AFI20231213BHJP
G06T 7/00 20170101ALI20231213BHJP
G06V 10/762 20220101ALI20231213BHJP
G06V 20/54 20220101ALI20231213BHJP
【ＦＩ】
G01S13/90 191
G01S13/90 164
G06T7/00 350B
G06T7/00 640
G06V10/762
G06V20/54
【請求項の数】
9
(21)【出願番号】P 2019216809
(22)【出願日】2019-11-29
(65)【公開番号】P2021085833
(43)【公開日】2021-06-03
【審査請求日】2022-08-09
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100094525
【弁理士】
【氏名又は名称】土井 健二
(74)【代理人】
【識別番号】100094514
【弁理士】
【氏名又は名称】林 恒徳
(72)【発明者】
【氏名】多々納 壮
(72)【発明者】
【氏名】森本 広志
(72)【発明者】
【氏名】山田 睦男
【審査官】山下 雅人
(56)【参考文献】
【文献】特開２０１８－０５５１９５（ＪＰ，Ａ）
【文献】特開２０１９－１３９３８６（ＪＰ，Ａ）
【文献】特開２０１８－１５６３１６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ ７／００－１７／９５
Ｇ０６Ｔ ７／００－ ７／９０
Ｇ０６Ｖ１０／００－２０／９０
Ｇ０６Ｎ２０／００
(57)【特許請求の範囲】
【請求項1】
動画像を取得し、学習用画像に含まれる対象物の種類を学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像のそれぞれに含まれる対象物の種類についての類別結果を取得し、
前記学習用画像に含まれる対象物の種類についての学習用類別結果が正解を示しているか否かを学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれについての前記類別結果の正解精度を取得し、
前記複数の画像ごとに、各画像に含まれる対象物の画像上における第１サイズから、各画像に含まれる対象物についての現実のサイズの推定値である第２サイズを算出し、
前記複数の画像ごとに、各画像に対応する前記正解精度及び前記第２サイズに基づいて補正した前記類別結果を出力する、
処理をコンピュータに実行させることを特徴とする類別プログラム。
【請求項2】
請求項１において、さらに、前記類別結果を取得する処理の前に、前記学習用画像と前記学習用画像に含まれる対象物の種類を示す情報とをそれぞれ含む複数の第１学習データの学習を行うことにより、前記第１学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする類別プログラム。
【請求項3】
請求項２において、さらに、前記正解精度を取得する処理の前に、前記第１学習モデルを用いることによって、前記複数の第１学習データに含まれる前記学習用画像ごとに、各学習用画像に含まれる対象物の種類が複数の種類候補のそれぞれである確率を各学習用画像に対応する前記学習用類別結果として取得し、
前記学習用画像と前記学習用画像に対応する前記学習用類別結果が正解を示しているか否かを示す正誤情報とをそれぞれ含む複数の第２学習データの学習を行うことにより、前記第２学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする類別プログラム。
【請求項4】
請求項３において、さらに、前記複数の第１学習データごとに、各学習データに含まれる前記学習用画像についての前記学習用類別結果を出力し、
出力した前記学習用類別結果のそれぞれに対応する前記正誤情報の入力を受け付ける、
処理をコンピュータに実行させ、
前記第２学習モデルを生成する処理では、入力を受け付けた前記正誤情報をそれぞれ含む前記複数の第２学習データの学習を行う、
ことを特徴とする類別プログラム。
【請求項5】
請求項１において、前記出力する処理では、前記複数の画像ごとに、各画像に対応する前記正解精度と前記類別結果との乗算結果を出力する、
ことを特徴とする類別プログラム。
【請求項6】
請求項１において、前記出力する処理では、
前記複数の画像ごとに、各画像に対応する前記正解精度が所定の閾値以上であるか否か
を判定し、
前記複数の画像のうち、前記正解精度が前記所定の閾値を上回る画像について、各画像に対応する前記類別結果を出力し、前記複数の画像のうち、前記正解精度が前記所定の閾値を上回らない画像について、各画像に対応する前記類別結果よりも小さい値を出力する、
ことを特徴とする類別プログラム。
【請求項7】
請求項１において、前記出力する処理では、
前記複数の画像ごとに、各画像に対応する前記正解精度と前記類別結果との乗算結果を算出し、
各対象物の現実のサイズである第３サイズを記憶した記憶部を参照し、前記複数の画像ごとに、各画像に含まれる対象物に対応する前記第２サイズと前記第３サイズとの差異が所定の閾値を上回るか否かを判定し、前記差異が前記所定の閾値を上回ると判定した場合、各画像に対応する前記乗算結果を出力し、前記差異が前記所定の閾値を下回ると判定した場合、各画像に対応する前記乗算結果よりも小さい値を出力する、
ことを特徴とする類別プログラム。
【請求項8】
動画像を取得する情報取得部と、学習用画像に含まれる対象物の種類を学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像のそれぞれに含まれる対象物の種類についての類別結果を取得する結果取得部と、
前記学習用画像に含まれる対象物の種類についての学習用類別結果が正解を示しているか否かを学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれについての前記類別結果の正解精度を取得する精度取得部と、
前記複数の画像ごとに、各画像に含まれる対象物の画像上における第１サイズから、各画像に含まれる対象物についての現実のサイズの推定値である第２サイズを算出する結果補正部と、
前記複数の画像ごとに、各画像に対応する前記正解精度及び前記第２サイズに基づいて補正した前記類別結果を出力する結果出力部と、を有する、
ことを特徴とする類別装置。
【請求項9】
動画像を取得し、学習用画像に含まれる対象物の種類を学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像のそれぞれに含まれる対象物の種類についての類別結果を取得し、
前記学習用画像に含まれる対象物の種類についての学習用類別結果が正解を示しているか否かを学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれについての前記類別結果の正解精度を取得し、
前記複数の画像ごとに、各画像に含まれる対象物の画像上における第１サイズから、各画像に含まれる対象物についての現実のサイズの推定値である第２サイズを算出し、
前記複数の画像ごとに、各画像に対応する前記正解精度及び前記第２サイズに基づいて補正した前記類別結果を出力する、
処理をコンピュータに実行させることを特徴とする類別方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、類別プログラム、類別装置及び類別方法に関する。
【背景技術】
【0002】
近年、海上哨戒や沿岸監視等の分野では、ＩＳＡＲ（Ｉｎｖｅｒｓｅ Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）を用いることによる監視が行われている。具体的に、各監視を行う作業者（以下、単に作業者とも呼ぶ）は、例えば、ＩＳＡＲによって取得された動画の内容を目視で確認することによって、動画に映る対象物についての種類の特定等を行う（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００５－０８３９０９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、上記のような種類の特定を行う場合、作業者は、例えば、ＩＳＡＲによって取得された動画を構成する複数の画像の中から、対象物の特徴を多く含む画像の抽出を行う。そして、作業者は、抽出した画像を分析することによって対象物についての種類の特定を行う。
【0005】
そのため、例えば、対象物の特徴を多く含む画像の抽出数が少ない場合、作業者は、対象物についての種類の特定を適切に行うことができない。
【0006】
また、ＩＳＡＲによって取得された動画に含まれる各画像は、動画の取得時における飛行機の飛行状況や電波状態等によってノイズや欠陥を多く含んでいる可能性がある。そのため、作業者は、上記のような画像を学習データとする機械学習処理を行う場合、認識率の高い学習モデルを生成することが困難であり、この場合においても、対象物についての種類の特定を適切に行うことができない。
【0007】
そこで、一つの側面では、本発明は、対象物についての種類の特定を適切に行うことを可能とする類別プログラム、類別装置及び類別方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
実施の形態の一態様では、動画像を取得し、画像に含まれる対象物の種類を学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像のそれぞれに含まれる対象物の種類についての類別結果を取得し、前記第１学習モデルにおける前記類別結果の精度を学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれについての前記類別結果の正解精度を取得し、前記複数の画像ごとに、各画像に対応する前記正解精度に基づいて補正した前記類別結果を出力する、処理をコンピュータに実行させる。
【発明の効果】
【0009】
一つの側面によれば、対象物についての種類の特定を適切に行う。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
［情報処理システムの構成］
初めに、情報処理システム１０の構成について説明を行う。図１は、情報処理システム１０の構成について説明する図である。
初めに、情報処理システム１０の構成について説明を行う。図１は、情報処理システム１０の構成について説明する図である。
【0012】
図１に示す情報処理システム１０は、情報処理装置１と、操作端末３とを有する。操作端末３は、例えば、作業者が必要な情報の入力等を行うＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であって、インターネット等のネットワークＮＷを介して情報処理装置１とアクセスが可能である。
【0013】
情報処理装置１は、各画像データに含まれる対象物の種類を学習した学習モデル（以下、第１学習モデルとも呼ぶ）と、第１学習モデルにおける類別結果の精度を学習した学習モデル（以下、第２学習モデルとも呼ぶ）とを用いることにより、ＩＳＡＲによって取得された動画データを構成する複数の画像データのそれぞれに含まれる対象物の種類についての類別結果を出力する。
【0014】
具体的に、情報処理装置１は、第１学習モデルを用いることによって、ＩＳＡＲによって取得された動画データを構成する複数の画像データのそれぞれに含まれる対象物の種類についての類別結果を取得する。そして、情報処理装置１は、第２学習モデルを用いることによって、複数の画像データのそれぞれについての類別結果の正解精度を取得する。その後、情報処理装置１は、複数の画像データごとに、正解精度に基づいて補正を行った類別結果を出力する。
【0015】
すなわち、情報処理装置１は、第２学習モデルの学習時において、対象物を含む学習用の画像データ（以下、単に学習用画像データとも呼ぶ）の入力に伴って第１学習モデルから出力された類別結果を、第２学習モデルの学習データの一部として用いる。そして、情報処理装置１は、新たな画像データ（ＩＳＡＲによって取得された動画データを構成する画像データ）に含まれる対象物の種類についての推論時において、新たな画像データの入力に伴って第１学習モデルから出力された類別結果に対し、新たな画像データの入力に伴って第２学習モデルから出力された類別結果の正解精度に基づいた補正を行う。
【0016】
これにより、情報処理装置１は、対象物の種類についての誤認識の発生を抑制することが可能な学習モデルを生成することが可能になる。そのため、情報処理装置１は、対象物についての種類の特定を適切に行うことが可能になる。
【0017】
また、情報処理装置１は、学習モデルを用いることによって対象物についての種類の特定を行うことで、作業者の作業負担を抑制することが可能になる。
【0018】
［情報処理システムのハードウエア構成］
次に、情報処理システム１０のハードウエア構成について説明する。図２は、情報処理装置１のハードウエア構成を説明する図である。
次に、情報処理システム１０のハードウエア構成について説明する。図２は、情報処理装置１のハードウエア構成を説明する図である。
【0019】
情報処理装置１は、図２に示すように、プロセッサであるＣＰＵ１０１と、メモリ１０２と、通信装置１０３と、記憶媒体１０４とを有する。各部は、バス１０５を介して互いに接続される。
【0020】
記憶媒体１０４は、例えば、各画像データに含まれる対象物についての種類の類別を行う処理（以下、類別処理とも呼ぶ）を行うためのプログラム１１０を記憶するプログラム格納領域（図示しない）を有する。また、記憶媒体１０４は、例えば、類別処理を行う際に用いられる情報を記憶する記憶部１３０（以下、情報格納領域１３０とも呼ぶ）を有する。なお、記憶媒体１０４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）であってよい。
【0021】
ＣＰＵ１０１は、記憶媒体１０４からメモリ１０２にロードされたプログラム１１０を実行して類別処理を行う。
【0022】
また、通信装置１０３は、例えば、ネットワークＮＷを介して操作端末３との通信を行う。
【0023】
［情報処理システムの機能］
次に、情報処理システム１０の機能について説明を行う。図３は、情報処理装置１の機能のブロック図である。
次に、情報処理システム１０の機能について説明を行う。図３は、情報処理装置１の機能のブロック図である。
【0024】
情報処理装置１は、図３に示すように、例えば、ＣＰＵ１０１やメモリ１０２等のハードウエアとプログラム１１０とが有機的に協働することにより、情報受信部１１１（以下、情報取得部１１１とも呼ぶ）と、情報管理部１１２と、第１モデル生成部１１３と、結果取得部１１４と、結果出力部１１５と、第２モデル生成部１１６と、精度取得部１１７と、結果補正部１１８とを含む各種機能を実現する。
【0025】
また、情報処理装置１は、例えば、図３に示すように、第１学習データ１３１と、第２学習データ１３２と、動画データ１３３と、類別結果情報１３４と、正解精度情報１３５と、サイズ情報１３６とを情報格納領域１３０に記憶する。
【0026】
情報受信部１１１は、例えば、作業者が操作端末３を介して入力した各種情報を受信する。具体的に、情報受信部１１１は、例えば、第１学習モデルの生成に用いられる第１学習データ１３１を受信する。第１学習データ１３１は、学習用画像とその学習用画像に含まれる対象物の種類を示す情報とを含む学習データである。また、情報受信部１１１は、例えば、ＩＳＡＲによって取得された動画データ１３３を受信する。そして、情報管理部１１２は、例えば、情報受信部１１１が受信した第１学習データ１３１や動画データ１３３を情報格納領域１３０に記憶する。
【0027】
なお、情報受信部１１１は、例えば、操作端末３に対して自発的にアクセスを行うことにより、操作端末３の情報格納領域（図示しない）に記憶された各種情報を取得するものであってもよい。また、情報受信部１１１は、例えば、ＩＳＡＲに対して自発的にアクセスを行うことにより、ＩＳＡＲの情報格納領域（図示しない）に記憶された動画データ１３３を取得するものであってもよい。
【0028】
第１モデル生成部１１３は、情報格納領域１３０に記憶された第１学習データ１３１の学習を行うことによって、第１学習モデルを生成する。
【0029】
結果取得部１１４は、第１モデル生成部１１３が生成した第１学習モデルを用いることによって、第１学習データ１３１に含まれる学習用画像についての類別結果（以下、学習用類別結果とも呼ぶ）を取得する。具体的に、結果取得部１１４は、第１学習モデルに対する学習用画像の入力に伴って出力された学習用類別結果を取得する。
【0030】
結果出力部１１５は、例えば、結果取得部１１４が取得した学習用類別結果を操作端末３に出力する。
【0031】
そして、情報受信部１１１は、例えば、第２学習モデルの生成に用いられる第２学習データ１３２を受信する。具体的に、情報受信部１１１は、例えば、作業者が操作端末３を介して入力した第２学習データ１３２を受信する。第２学習データ１３２は、学習用画像とその学習用画像に対応する学習用類別結果が正解を示しているか否かを示す情報とを含む学習データである。すなわち、第２学習データ１３２は、例えば、結果出力部１１５が出力した学習用類別結果を用いることによって生成された学習データである。その後、情報管理部１１２は、例えば、情報受信部１１１が受信した第２学習データ１３２を情報格納領域１３０に記憶する。
【0032】
第２モデル生成部１１６は、情報格納領域１３０に記憶された第２学習データ１３２の学習を行うことによって、第２学習モデルを生成する。
【0033】
そして、結果取得部１１４は、情報格納領域１３０に記憶された動画データ１３３を取得する。さらに、結果取得部１１４は、第１モデル生成部１１３が生成した第１学習モデルを用いることによって、動画データ１３３を構成する複数の画像データのそれぞれに含まれる対象物の種類についての類別結果を取得する。具体的に、結果取得部１１４は、第１学習モデルに対する複数の画像データの入力に伴って出力される類別結果を取得する。その後、情報管理部１１２は、結果取得部１１４が取得した類別結果を示す類別結果情報１３４を生成して情報格納領域１３０に記憶する。
【0034】
精度取得部１１７は、第２モデル生成部１１６が生成した第２学習モデルを用いることによって、動画データ１３３を構成する複数の画像データのそれぞれに含まれる対象物の種類についての類別結果の正解精度を取得する。具体的に、精度取得部１１７は、第２学習モデルに対する複数の画像データの入力に伴って出力される類別結果の正解精度を取得する。その後、情報管理部１１２は、精度取得部１１７が取得した正解精度を示す正解精度情報１３５を生成して情報格納領域１３０に記憶する。
【0035】
結果補正部１１８は、動画データ１３３を構成する複数の画像データごとに、精度取得部１１７が取得した正解精度に基づいて結果取得部１１４が取得した類別結果を補正する。
【0036】
そして、結果出力部１１５は、例えば、結果補正部１１８が補正した類別結果を操作端末３に出力する。サイズ情報１３６の説明については後述する。
【0037】
［第１の実施の形態の概略］
次に、第１の実施の形態の概略について説明する。図４は、第１の実施の形態における類別処理の概略を説明するフローチャート図である。
次に、第１の実施の形態の概略について説明する。図４は、第１の実施の形態における類別処理の概略を説明するフローチャート図である。
【0038】
情報処理装置１は、図４に示すように、類別タイミングになるまで待機する（Ｓ１のＮＯ）。類別タイミングは、例えば、作業者が操作端末を介して類別処理を行う旨の情報を入力したタイミングであってよい。
【0039】
そして、類別タイミングになった場合（Ｓ１のＹＥＳ）、情報処理装置１は、動画データ１３３を取得する（Ｓ２）。具体的に、情報処理装置１は、例えば、情報格納領域１３０に記憶された動画データ１３３を取得する。また、情報処理装置１は、例えば、外部の記憶装置（図示しない）に記憶された動画データ１３３を取得する。
【0040】
続いて、情報処理装置１は、画像データに含まれる対象物の種類を学習した第１学習モデルを用いることによって、Ｓ２の処理で取得した動画データを構成する複数の画像データのそれぞれに含まれる対象物の種類についての類別結果を取得する（Ｓ３）。
【0041】
さらに、情報処理装置１は、第１学習モデルにおける類別結果の精度を学習した第２学習モデルを用いることによって、Ｓ３の処理で取得した複数の画像のそれぞれについての類別結果の正解精度を取得する（Ｓ４）。
【0042】
その後、情報処理装置１は、複数の画像ごとに、Ｓ４の処理で取得した正解精度に基づいて補正した類別結果を出力する（Ｓ５）。具体的に、情報処理装置１は、例えば、正解精度に基づいて補正した類別結果を操作端末３に出力する。
【0043】
これにより、情報処理装置１は、例えば、動画データの取得時における飛行機の飛行状況や電波状態等が良好でない場合であっても、対象物の種類についての誤認識の発生を抑制することが可能になる。そのため、情報処理装置１は、対象物についての種類の特定を適切に行うことが可能になる。
【0044】
また、情報処理装置１は、学習モデルを用いることによって対象物についての種類の特定を行うことで、作業者の作業負担を抑制することが可能になる。
【0045】
［第１の実施の形態の詳細］
次に、第１の実施の形態の詳細について説明する。図５から図１４は、第１の実施の形態における類別処理の詳細を説明するフローチャート図である。また、図１５から図３１は、第１の実施の形態における類別処理の詳細を説明する図である。
次に、第１の実施の形態の詳細について説明する。図５から図１４は、第１の実施の形態における類別処理の詳細を説明するフローチャート図である。また、図１５から図３１は、第１の実施の形態における類別処理の詳細を説明する図である。
【0046】
［第１学習データ記憶処理］
初めに、類別処理のうち、第１学習データ１３１の記憶を行う処理（以下、第１学習データ記憶処理とも呼ぶ）について説明を行う。図５は、第１学習データ記憶処理を説明するフローチャート図である。
初めに、類別処理のうち、第１学習データ１３１の記憶を行う処理（以下、第１学習データ記憶処理とも呼ぶ）について説明を行う。図５は、第１学習データ記憶処理を説明するフローチャート図である。
【0047】
情報処理装置１の情報受信部１１１は、図５に示すように、例えば、操作端末３から送信された複数の第１学習データ１３１を受信するまで待機する（Ｓ１１のＮＯ）。すなわち、情報受信部１１１は、例えば、作業者によって生成された第１学習データ１３１が操作端末３を介して送信されるまで待機する。
【0048】
そして、複数の第１学習データ１３１を受信した場合（Ｓ１１のＹＥＳ）、情報処理装置１の情報管理部１１２は、Ｓ１１の処理で受信した複数の第１学習データ１３１を情報格納領域１３０に記憶する（Ｓ１２）。以下、第１学習データ１３１の具体例について説明を行う。
【0049】
［第１学習データの具体例］
図１５は、第１学習データ１３１の具体例について説明する図である。
図１５は、第１学習データ１３１の具体例について説明する図である。
【0050】
図１５に示す第１学習データ１３１は、第１学習データ１３１のそれぞれの識別情報を示す「項番」と、各学習用画像データのそのものを示す「画像データ」と、各学習用画像データに含まれる対象物の種類を示す「対象物」とを含む。なお、以下、「対象物」には、「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」及び「ＥＥＥ」のうちのいずれかが設定されるものとして説明を行う。
【0051】
具体的に、図１５における「項番」が「１」である第１学習データ１３１は、名称が「ＩＭＡＧＥａ１」である学習用画像データを含み、かつ、「対象物」が「ＡＡＡ」である学習データである。
【0052】
また、図１５における「項番」が「２」である第１学習データ１３１は、名称が「ＩＭＡＧＥａ２」である学習用画像データを含み、かつ、「対象物」が「ＡＡＡ」である学習データである。図１５に含まれる他の第１学習データ１３１については説明を省略する。
【0053】
［第１モデル生成処理］
次に、類別処理のうち、第１モデルの生成を行う処理（以下、第１モデル生成処理とも呼ぶ）について説明を行う。図６は、第１モデル生成処理を説明するフローチャート図である。
次に、類別処理のうち、第１モデルの生成を行う処理（以下、第１モデル生成処理とも呼ぶ）について説明を行う。図６は、第１モデル生成処理を説明するフローチャート図である。
【0054】
情報処理装置１の第１モデル生成部１１３は、図６に示すように、例えば、第１モデル生成タイミングになるまで待機する（Ｓ２１のＮＯ）。第１モデル生成タイミングは、例えば、作業者が第１モデルの生成を行う旨の情報を情報処理装置１に入力したタイミングであってよい。
【0055】
そして、第１モデル生成タイミングになった場合（Ｓ２１のＹＥＳ）、第１モデル生成部１１３は、情報格納領域１３０に記憶された複数の第１学習データ１３１の学習を行うことにより、第１学習モデルを生成する（Ｓ２２）。
【0056】
［第２学習データ記憶処理］
次に、類別処理のうち、第２学習データ１３２の記憶を行う処理（以下、第２学習データ記憶処理とも呼ぶ）について説明を行う。図７は、第２学習データ記憶処理を説明するフローチャート図である。
次に、類別処理のうち、第２学習データ１３２の記憶を行う処理（以下、第２学習データ記憶処理とも呼ぶ）について説明を行う。図７は、第２学習データ記憶処理を説明するフローチャート図である。
【0057】
情報処理装置１の結果取得部１１４は、Ｓ２２の処理で生成した第１学習モデルを用いることによって、情報格納領域１３０に記憶された複数の第１学習データ１３１ごとに、学習用画像に含まれる対象物の種類についての学習用類別結果を取得する（Ｓ３２）。具体的に、結果取得部１１４は、複数の第１学習データ１３１の入力に伴って第１学習モデルから出力された複数の学習用類別結果を取得する。
【0058】
そして、情報処理装置１の結果出力部１１５は、Ｓ３２の処理で取得した第１学習データ１３１ごとの学習用類別結果を操作端末３に出力する（Ｓ３３）。
【0059】
その後、情報受信部１１１は、例えば、操作端末３から送信された複数の第２学習データ１３２を受信するまで待機する（Ｓ３４のＮＯ）。すなわち、情報受信部１１１は、作業者によって生成された第２学習データ１３２が操作端末３を介して送信されるまで待機する。
【0060】
そして、複数の第２学習データ１３２を受信した場合（Ｓ３４のＹＥＳ）、情報管理部１１２は、Ｓ３４の処理で受信した複数の第２学習データ１３２を情報格納領域１３０に記憶する（Ｓ３５）。以下、第２学習データ１３２の具体例について説明を行う。
【0061】
［第２学習データの具体例（１）］
図１６から図１８は、第２学習データ１３２の具体例について説明を行う図である。以下、名称が「ＩＭＡＧＥａ１」である学習用画像データを学習用画像データＩＭＡＧＥａ１とも呼び、名称が「ＩＭＡＧＥａ２」である学習用画像データを学習用画像データＩＭＡＧＥａ２とも呼ぶ。
図１６から図１８は、第２学習データ１３２の具体例について説明を行う図である。以下、名称が「ＩＭＡＧＥａ１」である学習用画像データを学習用画像データＩＭＡＧＥａ１とも呼び、名称が「ＩＭＡＧＥａ２」である学習用画像データを学習用画像データＩＭＡＧＥａ２とも呼ぶ。
【0062】
【0063】
例えば、図１６に示す例において、第１学習モデルＭＤ０１は、種類が「ＡＡＡ」である対象物を含む学習用画像データＩＭＡＧＥａ１の入力に応じて、学習用画像データＩＭＡＧＥａ１に含まれる対象物の種類が「ＡＡＡ」である確率が「０．４」であり、「ＢＢＢ」である確率が「０．１」であり、「ＣＣＣ」である確率が「０．２」であり、「ＤＤＤ」である確率が「０．２」であり、「ＥＥＥ」である確率が「０．１」であることを示す学習用類別結果ＤＴａ０１１を出力している（Ｓ３２）。
【0064】
すなわち、図１６に示す例は、第１学習モデルが学習用画像データＩＭＡＧＥａ１に含まれる対象物の種類として最も確率が高いと判定した種類（ＡＡＡ）と、学習用画像データＩＭＡＧＥａ１に含まれる対象物の実際の種類（ＡＡＡ）とが一致した場合を示している。
【0065】
そのため、作業者は、例えば、学習用画像データＩＭＡＧＥａ１に対応する学習用類別結果ＤＴａ０１１が正解を示しているか否かを示す情報ＤＴａ０１２（以下、正誤情報ＤＴａ０１２とも呼び）として、正解を示す「１」を特定する。そして、作業者は、例えば、この場合、学習用画像データＩＭＡＧＥａ１と、「１」を示す正誤情報ＤＴａ０１２とを含む第２学習データ１３２を生成する。
【0066】
なお、作業者は、例えば、第１学習モデルが学習用画像データＩＭＡＧＥａ１に含まれる対象物の種類として最も確率が高いと判定した種類の確率が所定の割合（例えば、０．９）を超えた場合に限り、正解を示す正誤情報ＤＴａ０１２の特定を行うものであってよい。
【0067】
また、例えば、図１７に示す例において、第１学習モデルＭＤ０１は、種類が「ＡＡＡ」である対象物を含む学習用画像データＩＭＡＧＥａ２の入力に応じて、学習用画像データＩＭＡＧＥａ２に含まれる対象物の種類が「ＡＡＡ」である確率が「０．２」であり、「ＢＢＢ」である確率が「０．５」であり、「ＣＣＣ」である確率が「０．１」であり、「ＤＤＤ」である確率が「０．１」であり、「ＥＥＥ」である確率が「０．１」であることを示す学習用類別結果ＤＴａ０２１を出力している（Ｓ３２）。
【0068】
すなわち、図１７に示す例は、第１学習モデルが学習用画像データＩＭＡＧＥａ２に含まれる対象物の種類として最も確率が高いと判定した種類（ＢＢＢ）と、学習用画像データＩＭＡＧＥａ２に含まれる対象物の実際の種類（ＡＡＡ）とが一致しない場合を示している。
【0069】
そのため、作業者は、例えば、学習用画像データＩＭＡＧＥａ２に対応する正誤情報ＤＴａ０２２として、不正解を示す「０」を特定する。そして、作業者は、例えば、この場合、学習用画像データＩＭＡＧＥａ２と、「０」を示す正誤情報とを含む第２学習データ１３２を生成する。
【0070】
次に、第２学習データ１３２の具体例について説明を行う。図１８は、第２学習データ１３２の具体例について説明する図である。
【0071】
図１８に示す第２学習データ１３２は、第２学習データ１３２のそれぞれの識別情報を示す「項番」と、各学習用画像データのそのものを示す「画像データ」と、各学習用画像データに対応する正誤情報を示す「正誤情報」とを含む。なお、以下、第２学習データ１３２に含まれる各学習用画像データが第１学習データ１３１に含まれる各学習用画像データと同一のものである場合について説明を行うが、第２学習データ１３２に含まれる各学習用画像データは、第１学習データ１３１に含まれる各学習用画像データと異なるものであってもよい。
【0072】
具体的に、図１８における「項番」が「１」である第２学習データ１３２は、名称が「ＩＭＡＧＥａ１」である学習用画像データを含み、かつ、「正誤情報」が「１」である学習データである。
【0073】
また、図１８における「項番」が「２」である第２学習データ１３２は、名称が「ＩＭＡＧＥａ２」である学習用画像データを含み、かつ、「正誤情報」が「０」である学習データである。図１８に含まれる他の第２学習データ１３２については説明を省略する。
【0074】
なお、作業者は、Ｓ３３の処理が行われた場合、各学習用類別結果から正誤情報を特定する処理を操作端末３に実行させるものであってもよい。また、作業者は、各学習用画像データと各学習用画像データに対応する正誤情報とを対応付けて第２学習データ１３２を生成する処理を操作端末３に実行させるものであってもよい。
【0075】
これにより、作業者は、第２学習データ１３２の生成を自動的に行うことが可能になり、第２学習データ１３２の生成に伴う作業負担を軽減させることが可能になる。
【0076】
【0077】
【0078】
作業者は、例えば、第１学習モデルＭＤ０１から学習用類別結果ＤＴａ０１１が出力された場合、図１９に示すように、正誤情報を対象物の種類ごとに特定するものであってもよい。
【0079】
具体的に、図１６に示す例において、対象物の種類である「ＡＡＡ」は、学習用類別結果ＤＴａ０１１における確率が最も高い種類であり、かつ、学習用画像データＩＭＡＧＥａ１に含まれる対象物の実際の種類（ＡＡＡ）と一致する種類である。そのため、作業者は、この場合、図１９に示すように、例えば、学習用類別結果ＤＴａ０１１における確率が最も高い種類であり、かつ、学習用画像データＩＭＡＧＥａ１に含まれる対象物の実際の種類と一致する種類である「ＡＡＡ」に設定される情報が「１」であり、「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」、「ＥＥＥ」及び「Ｉｍｐｏｓｓｉｂｌｅ」に設定される情報が「０」である正誤情報ＤＴａ０１３を特定するものであってもよい。
【0080】
また、図１７に示す例において、対象物の種類である「ＢＢＢ」は、学習用類別結果ＤＴａ０１１における確率が最も高い種類であるが、学習用画像データＩＭＡＧＥａ２に含まれる対象物の実際の種類（ＡＡＡ）と一致しない種類である。そのため、作業者は、この場合、図２０に示すように、例えば、学習用類別結果ＤＴａ０１１における確率が最も高い種類であり、かつ、学習用画像データＩＭＡＧＥａ１に含まれる対象物の実際の種類と一致する種類が存在しない場合に対応する「Ｉｍｐｏｓｓｉｂｌｅ」に設定される情報が「１」であり、「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」及び「ＥＥＥ」に設定される情報が「０」である正誤情報ＤＴａ０２３を特定する。
【0081】
次に、第２学習データ１３２の他の具体例について説明を行う。図２１は、第２学習データ１３２の他の具体例について説明する図である。
【0082】
図２１に示す第２学習データ１３２は、第２学習データ１３２のそれぞれの識別情報を示す「項番」と、各学習用画像データのそのものを示す「画像データ」と、各学習用画像データに対応する正誤情報を示す「正誤情報」とを含む。
【0083】
具体的に、図２１における「項番」が「１」である第２学習データ１３２は、名称が「ＩＭＡＧＥａ１」である学習用画像データを含み、かつ、「正誤情報」が「１，０，０，０，０，０」である学習データである。すなわち、この場合、「正誤情報」は、「ＡＡＡ」に対応する情報が「１」であり、「ＡＡＡ」以外に対応する情報が「０」であることを示している。
【0084】
また、図２１における「項番」が「２」である第２学習データ１３２は、名称が「ＩＭＡＧＥａ２」である学習用画像データを含み、かつ、「正誤情報」が「０，０，０，０，０，１」である学習データである。すなわち、この場合、「正誤情報」は、「Ｉｍｐｏｓｓｉｂｌｅ」に対応する情報が「１」であり、「Ｉｍｐｏｓｓｉｂｌｅ」以外に対応する情報が「０」であることを示している。図２１に含まれる他の第２学習データ１３２については説明を省略する。
【0085】
［第２モデル生成処理］
次に、類別処理のうち、第２モデルの生成を行う処理（以下、第２モデル生成処理とも呼ぶ）について説明を行う。図８は、第２モデル生成処理を説明するフローチャート図である。
次に、類別処理のうち、第２モデルの生成を行う処理（以下、第２モデル生成処理とも呼ぶ）について説明を行う。図８は、第２モデル生成処理を説明するフローチャート図である。
【0086】
情報処理装置１の第２モデル生成部１１６は、図８に示すように、例えば、第２モデル生成タイミングになるまで待機する（Ｓ４１のＮＯ）。第２モデル生成タイミングは、例えば、作業者が第２モデルの生成を行う旨の情報を情報処理装置１に入力したタイミングであってよい。
【0087】
そして、第２モデル生成タイミングになった場合（Ｓ４１のＹＥＳ）、第２モデル生成部１１６は、情報格納領域１３０に記憶された複数の第２学習データ１３２の学習を行うことにより、第２学習モデルを生成する（Ｓ４２）。
【0088】
【0089】
情報処理装置１の第２モデル生成部１１６は、図９に示すように、例えば、類別タイミングになるまで待機する（Ｓ５１のＮＯ）。
【0090】
そして、類別タイミングになった場合（Ｓ５１のＹＥＳ）、結果取得部１１４は、情報格納領域１３０に記憶された動画データ１３３を取得する（Ｓ５２）。
【0091】
続いて、結果取得部１１４は、Ｓ２２の処理で生成した第１学習モデルを用いることによって、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとに、各画像データに含まれる対象物の種類が複数の種類候補に含まれる各候補である確率をそれぞれ取得する（Ｓ５３）。
【0092】
具体的に、結果取得部１１４は、図１６及び図１７で説明した場合と同様に、Ｓ５２の処理で取得した動画データ１３３に含まれる各画像データを第１学習モデルに入力することに伴って出力された種類候補ごとの確率を取得する。
【0093】
そして、情報管理部１１２は、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとに、Ｓ５３の処理で取得した種類候補ごとの確率を含む情報を類別結果情報１３４として生成する（Ｓ５４）。以下、類別結果情報１３４の具体例について説明を行う。
【0094】
［類別結果情報の具体例］
図２２、図２５、図２６、図２７及び図２９は、類別結果情報１３４の具体例について説明する図である。以下、対象物の種類候補が「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」及び「ＥＥＥ」であるものとする。また、以下、名称が「ＩＭＡＧＥｂ１」である画像データを画像データＩＭＡＧＥｂ１とも呼び、名称が「ＩＭＡＧＥｂ２」である画像データを画像データＩＭＡＧＥｂ２とも呼ぶ。
図２２、図２５、図２６、図２７及び図２９は、類別結果情報１３４の具体例について説明する図である。以下、対象物の種類候補が「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」及び「ＥＥＥ」であるものとする。また、以下、名称が「ＩＭＡＧＥｂ１」である画像データを画像データＩＭＡＧＥｂ１とも呼び、名称が「ＩＭＡＧＥｂ２」である画像データを画像データＩＭＡＧＥｂ２とも呼ぶ。
【0095】
図２２等に示す類別結果情報１３４は、各類別結果情報１３４のそれぞれの識別情報を示す「項番」と、動画データ１３３に含まれる各画像データの名称が設定される「画像データ名」と、Ｓ５３の処理で取得した確率が設定される「確率」とを項目として有する。
【0096】
具体的に、例えば、画像データＩＭＡＧＥｂ１の入力に伴って第１学習モデルから出力された確率がそれぞれ「０．５」、「０．１」、「０．１」、「０．１」及び「０．２」である場合、情報管理部１１２は、図２２に示す類別結果情報１３４における１行目の情報（「項番」が「１」である情報）に示すように、「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」及び「ＥＥＥ」のそれぞれに対応する確率として「０．５」、「０．１」、「０．１」、「０．１」及び「０．２」のそれぞれを設定する。
【0097】
また、例えば、画像データＩＭＡＧＥｂ２の入力に伴って第１学習モデルから出力された確率がそれぞれ「０．６」、「０．１」、「０．１」、「０．１」及び「０．１」である場合、情報管理部１１２は、図２２に示す類別結果情報１３４における２行目の情報（「項番」が「２」である情報）に示すように、「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」及び「ＥＥＥ」のそれぞれに対応する確率として「０．６」、「０．１」、「０．１」、「０．１」及び「０．１」のそれぞれを設定する。図２２に含まれる他の情報についての説明は省略する。
【0098】
図１０に戻り、情報処理装置１の精度取得部１１７は、Ｓ４２の処理で生成した第２学習モデルを用いることによって、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとに、Ｓ５３の処理で取得した種類候補ごとの確率の正解精度を取得する（Ｓ６１）。
【0099】
具体的に、精度取得部１１７は、Ｓ５２の処理で取得した動画データ１３３に含まれる各画像データを第２学習モデルに入力することに伴って出力された確率を正解精度として取得する。
【0100】
そして、情報管理部１１２は、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとに、Ｓ５３の処理で取得した種類候補ごとの確率の正解精度を含む情報を正解精度情報１３５として生成する（Ｓ６２）。以下、正解精度情報１３５の具体例について説明を行う。
【0101】
【0102】
図２３等に示す正解精度情報１３５は、各正解精度情報１３５のそれぞれの識別情報を示す「項番」と、動画データ１３３に含まれる各画像データの名称が設定される「画像データ名」と、Ｓ６１の処理で取得した正解精度に対応する確率が設定される「正解精度」とを項目として有する。
【0103】
具体的に、例えば、画像データＩＭＡＧＥｂ１の入力に伴って第２学習モデルから出力された確率が「０．８」である場合、情報管理部１１２は、図２３に示す正解精度情報１３５における１行目の情報（「項番」が「１」である情報）に示すように、「正解精度」として「０．８」を設定する。
【0104】
また、例えば、画像データＩＭＡＧＥｂ２の入力に伴って第２学習モデルから出力された確率が「０．７」である場合、情報管理部１１２は、図２３に示す正解精度情報１３５における２行目の情報（「項番」が「２」である情報）に示すように、「正解精度」として「０．７」を設定する。図２３に含まれる他の情報についての説明は省略する。
【0105】
なお、図２１で説明した第２学習データを用いることによって第２学習モデルの生成が行われた場合、第２学習モデルは、例えば、画像データＩＭＡＧＥｂ１の入力に伴う正解精度の出力を種類候補ごとに行う。
【0106】
そのため、例えば、画像データＩＭＡＧＥｂ１の入力に伴って第２学習モデルから出力された正解精度が「０．８１」、「０．０１」、「０．０１」、「０．０２」、「０．０１」及び「０．０１」である場合、情報管理部１１２は、図２４に示す正解精度情報１３５における１行目の情報（「項番」が「１」である情報）に示すように、「正解精度」として「０．８１」、「０．０１」、「０．０１」、「０．０２」、「０．０１」及び「０．０１」を設定する。
【0107】
また、例えば、画像データＩＭＡＧＥｂ２の入力に伴って第２学習モデルから出力された正解精度が「０．６９」、「０．０２」、「０．０３」、「０．０１」、「０．０１」及び「０．０１」である場合、情報管理部１１２は、図２４に示す正解精度情報１３５における２行目の情報（「項番」が「２」である情報）に示すように、「正解精度」として「０．６９」、「０．０２」、「０．０３」、「０．０１」、「０．０１」及び「０．０１」を設定する。図２４に含まれる他の情報についての説明は省略する。
【0108】
図１０に戻り、情報処理装置１の結果補正部１１８は、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとに、Ｓ６２の処理で生成した正解精度情報１３５に基づいて、Ｓ５４の処理で生成した類別結果情報１３４を補正する（Ｓ６３）。
【0109】
その後、結果出力部１１５は、例えば、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとに、Ｓ６３の処理で補正した類別結果情報１３４を操作端末３に出力する（Ｓ６４）。以下、Ｓ６３及びＳ６４の処理の第１の詳細について説明を行う。
【0110】
［Ｓ６３及びＳ６４の処理の詳細（１）］
図１１は、Ｓ６３及びＳ６４の処理の第１の詳細について説明する図である。
図１１は、Ｓ６３及びＳ６４の処理の第１の詳細について説明する図である。
【0111】
結果補正部１１８は、図１１に示すように、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとに、Ｓ５４の処理で生成した類別結果情報１３４が示す値と、Ｓ６２の処理で生成した正解精度情報１３５が示す値とを乗算する（Ｓ７１）。
【0112】
具体的に、図２２に示す類別結果情報１３４における１行目の情報（「画像データ名」が「ＩＭＡＧＥｂ１」である情報）には、「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」及び「ＥＥＥ」のそれぞれに対応する確率として「０．５」、「０．１」、「０．１」、「０．１」及び「０．２」のそれぞれが設定されている。また、図２３に示す正解精度情報１３５における１行目の情報（「画像データ名」が「ＩＭＡＧＥｂ１」である情報）には、「正解精度」として「０．８」が設定されている。
【0113】
そのため、結果補正部１１８は、例えば、「０．５」、「０．１」、「０．１」、「０．１」及び「０．２」のそれぞれと「０．８」とを乗算することによって、「０．４」、「０．０８」、「０．０８」、「０．０８」及び「０．１６」を算出する。
【0114】
そして、情報管理部１１２は、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データに対応する類別結果情報１３４が示す値を、Ｓ７１の処理で算出した値に補正（更新）する（Ｓ７２）。
【0115】
具体的に、情報管理部１１２は、例えば、図２５に示す類別結果情報１３４における１行目の情報（「項番」が「１」である情報）に示すように、「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」及び「ＥＥＥ」のそれぞれに対応する確率として「０．４」、「０．０８」、「０．０８」、「０．０８」及び「０．１６」のそれぞれを設定する。
【0116】
その後、結果出力部１１５は、例えば、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとに、Ｓ７２の処理で補正した類別結果情報１３４が示す値を操作端末３に出力する（Ｓ７３）。
【0117】
具体的に、結果出力部１１５は、例えば、図２５に示す類別結果情報１３４が示す値を操作端末５に出力する。
【0118】
これにより、作業者は、例えば、操作端末３に出力された類別結果情報１３４を参照することで、動画データ１３３（動画データ１３３を構成する各画像データ）に含まれる対象物の種類についての特定を行うことが可能になる。
【0119】
なお、図２４に示す正解精度情報１３５における１行目の情報（「画像データ名」が「ＩＭＡＧＥｂ１」である情報）には、「正解精度」として「０．８１」、「０．０１」、「０．０１」、「０．０２」、「０．０１」及び「０．０１」が設定されている。
【0120】
そのため、結果補正部１１８は、図２４で説明した正解精度情報１３５が用いられる場合、例えば、「０．５」、「０．１」、「０．１」、「０．１」及び「０．２」のそれぞれと、「Ｉｍｐｏｓｓｉｂｌｅ」以外に対応する「正解精度」である「０．８１」、「０．０１」、「０．０１」、「０．０２」及び「０．０１」のそれぞれとを乗算することによって、「０．４２」、「０．０００１」、「０．０００１」、「０．０００２」及び「０．０００２」を算出する（Ｓ７１）。
【0121】
そして、情報管理部１１２は、この場合、例えば、図２６に示す類別結果情報１３４における１行目の情報（「項番」が「１」である情報）に示すように、「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」及び「ＥＥＥ」のそれぞれに対応する確率として「０．４２」、「０．０００１」、「０．０００１」、「０．０００２」及び「０．０００２」のそれぞれを設定する。
【0122】
［Ｓ６３及びＳ６４の処理の詳細（２）］
次に、Ｓ６３及びＳ６４の処理の第２の詳細について説明を行う。図１２は、Ｓ６３及びＳ６４の処理の第２の詳細について説明する図である。
次に、Ｓ６３及びＳ６４の処理の第２の詳細について説明を行う。図１２は、Ｓ６３及びＳ６４の処理の第２の詳細について説明する図である。
【0123】
結果補正部１１８は、図１２に示すように、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとに、Ｓ６２の処理で生成した正解精度情報１３５が示す値が所定の閾値以上であるか否かを判定する（Ｓ８１）。
【0124】
そして、情報管理部１１２は、例えば、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データのうち、Ｓ６１の処理で生成した正解精度情報１３５が示す値が所定の閾値以上でない画像データに対応する類別結果情報１３４が示す値を、Ｓ５４の処理で生成した類別結果情報１３４が示す値のそれぞれが示す値よりも小さい値（例えば、０）に補正する（Ｓ８２）。
【0125】
具体的に、図２３に示す正解精度情報１３５には、例えば、「画像データ名」が「ＩＭＡＧＥｂ１」、「ＩＭＡＧＥｂ２」、「ＩＭＡＧＥｂ３」、「ＩＭＡＧＥｂ４」、「ＩＭＡＧＥｂ５」及び「ＩＭＡＧＥｂ６」のそれぞれに対応する「正解精度」として「０．８」、「０．７」、「０．１」、「０．２」、「０．９」及び「０．４」のそれぞれが設定されている。
【0126】
そのため、例えば、所定の閾値が「０．３」である場合、情報管理部１１２は、図２７に示す類別結果情報１３４における３行目の情報（「項番」が「３」である情報）に示すように、「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」及び「ＥＥＥ」の全てに対応する確率として「０」を設定する。
【0127】
同様に、情報管理部１１２は、この場合、例えば、図２７に示す類別結果情報１３４における４行目の情報（「項番」が「４」である情報）に示すように、「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」及び「ＥＥＥ」の全てに対応する確率として「０」を設定する。
【0128】
その後、結果出力部１１５は、例えば、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとに、Ｓ５４の処理で生成した類別結果情報１３４が示す値またはＳ８２の処理で補正した類別結果情報１３４が示す値を操作端末３に出力する（Ｓ８３）。
【0129】
具体的に、結果出力部１１５は、例えば、図２７に示す類別結果情報１３４が示す値を操作端末５に出力する。
【0130】
【0131】
結果補正部１１８は、図１３に示すように、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとに、各画像データに含まれる対象物の画像データ上におけるサイズ（以下、第１サイズとも呼ぶ）から、各画像データに含まれる対象物の現実のサイズの推定値（以下、第２サイズとも呼ぶ）を算出する（Ｓ９１）。
【0132】
具体的に、例えば、動画データ１３３の取得時におけるＩＳＡＲの各種設定パラメータ（例えば、動画データ１３３の取得時における対象物の拡大率）と第１サイズとを用いることにより、各対象物の第２サイズの算出を行う。
【0133】
また、結果補正部１１８は、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとに、Ｓ５４の処理で生成した類別結果情報１３４が示す値と、Ｓ６２の処理で生成した正解精度情報１３５が示す値とを乗算する（Ｓ９２）。
【0134】
具体的に、図２２に示す類別結果情報１３４における１行目の情報（「画像データ名」が「ＩＭＡＧＥｂ１」である情報）には、「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」、「ＤＤＤ」及び「ＥＥＥ」のそれぞれに対応する確率として「０．５」、「０．１」、「０．１」、「０．１」及び「０．２」のそれぞれが設定されている。また、図２３に示す正解精度情報１３５における１行目の情報（「画像データ名」が「ＩＭＡＧＥｂ１」である情報）には、「正解精度」として「０．８」が設定されている。
【0135】
そのため、結果補正部１１８は、例えば、「０．５」、「０．１」、「０．１」、「０．１」及び「０．２」のそれぞれと「０．８」とを乗算することによって、「０．４」、「０．０８」、「０．０８」、「０．０８」及び「０．１６」を算出する。
【0136】
そして、結果補正部１１８は、各対象物の種類候補についての現実のサイズ（以下、第３サイズとも呼ぶ）を示すサイズ情報１３６を参照し、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとであって各種類候補ごとに、各画像データに含まれる対象物に対応する第２サイズと各種類候補に対応する第３サイズとの差異（差異の絶対値）を算出する（Ｓ９３）。以下、サイズ情報１３６の具体例について説明を行う。
【0137】
［サイズ情報の具体例］
図２８は、サイズ情報１３６の具体例について説明する図である。
図２８は、サイズ情報１３６の具体例について説明する図である。
【0138】
図２８に示すサイズ情報１３６は、サイズ情報１３６に含まれる各情報の識別情報が設定される「項番」と、各対象物の種類が設定される「対象物」と、各対象物の現実のサイズ（第３サイズ）が設定される「サイズ」とを項目として有する。
【0139】
具体的に、図２８に示すサイズ情報１３６において、「項番」が「１」である情報には、「対象物」として「ＡＡＡ」が設定され、「サイズ」として「２２０（ｍ）」が設定されている。
【0140】
また、図２８に示すサイズ情報１３６において、「項番」が「２」である情報には、「対象物」として「ＢＢＢ」が設定され、「サイズ」として「３１０（ｍ）」が設定されている。
【0141】
同様に、図２８に示すサイズ情報１３６において、「対象物」に「ＣＣＣ」、「ＤＤＤ」及び「ＥＥＥ」が設定された情報（「項番」に「３」、「４」及び「５」が設定された情報）の「サイズ」には、「１２０（ｍ）」、「３３０（ｍ）」及び「１４０（ｍ）」がそれぞれ設定されている。
【0142】
そして、例えば、画像データＩＭＡＧＥｂ１に含まれる対象物の第２サイズが「３００（ｍ）」である場合、結果補正部１１８は、Ｓ９３の処理において、「８０（ｍ）」、「１０（ｍ）」、「１８０（ｍ）」、「３０（ｍ）」及び「１６０（ｍ）」をそれぞれ算出する。
【0143】
図１３に戻り、結果補正部１１８は、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとであって各種類候補ごとに、Ｓ９３の処理で算出した差異が所定の閾値を上回るか否かを判定する（Ｓ９４）。
【0144】
そして、情報管理部１１２は、図１４に示すように、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとに、各画像データに対応する類別結果情報１３４のうち、Ｓ９４の処理で差異が所定の閾値を上回ると判定した種類候補に対応する類別結果情報１３４が示す値を、Ｓ５４の処理で生成した類別結果情報１３４が示す値のそれぞれが示す値よりも小さい値（例えば、０）に補正する（Ｓ１０１）。
【0145】
また、情報管理部１１２は、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとに、各画像データに対応する類別結果情報１３４のうち、Ｓ９４の処理で差異が所定の閾値を上回らないと判定した種類候補に対応する類別結果情報１３４が示す値を、Ｓ９２の処理で算出した値に補正する（Ｓ１０２）。
【0146】
具体的に、画像データＩＭＡＧＥｂ１についてＳ９３の処理で算出した差異のそれぞれが「２０（ｍ）」、「１１０（ｍ）」、「８０（ｍ）」、「１３０（ｍ）」及び「６０（ｍ）」であって、所定の閾値が「１００（ｍ）」である場合、結果補正部１１８は、Ｓ９４の処理において、「１１０（ｍ）」及び「１３０（ｍ）」（「ＢＢＢ」及び「ＤＤＤ」に対応する差異）が所定の閾値を上回っていると判定し、「２０（ｍ）」、「８０（ｍ）」及び「６０（ｍ）」（「ＡＡＡ」、「ＣＣＣ」及び「ＥＥＥ」に対応する差異）が所定の閾値を上回っていないと判定する。
【0147】
そのため、情報管理部１１２は、Ｓ１０１の処理において、例えば、図２９に示すように、画像データＩＭＡＧＥｂ１に対応する類別結果情報１３４のうち、「ＢＢＢ」及び「ＤＤＤ」に対応する類別結果情報１３４を「０」に補正（更新）する。また、情報管理部１１２は、Ｓ１０２の処理において、例えば、図２９に示すように、画像データＩＭＡＧＥｂ１に対応する類別結果情報１３４のうち、「ＡＡＡ」、「ＣＣＣ」及び「ＥＥＥ」に対応する類別結果情報１３４を、Ｓ９２の処理で算出した値である「０．４」、「０．０８」及び「０．１６」に更新する。
【0148】
これにより、情報処理装置１は、画像データに含まれる対象物のサイズに基づいて対象物の種類として明らかに該当しないと判断できる種類候補についての情報を類別結果情報１３４に反映させることが可能になる。そのため、情報処理装置１は、例えば、作業者が閲覧する類別結果情報１３４に含まれる内容の精度より向上させることが可能になる。
【0149】
そして、結果出力部１１５は、例えば、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとに、Ｓ１０１の処理で補正した類別結果情報１３４が示す値またはＳ１０２の処理で補正した類別結果情報１３４が示す値を操作端末３に出力する（Ｓ１０３）。
【0150】
具体的に、結果出力部１１５は、例えば、図２９に示す類別結果情報１３４が示す値を操作端末５に出力する。
【0151】
なお、結果出力部１１５は、例えば、Ｓ６４の処理において、Ｓ６３の処理で補正した類別結果情報１３４に含まれる確率のそれぞれを、種類候補ごとに累積してから出力するものであってもよい。以下、累積後の類別結果情報１３４の具体例について説明を行う。
【0152】
［累積後の類別結果情報の具体例（１）］
図３０は、累積後の類別結果情報１３４の具体例について説明する図である。
図３０は、累積後の類別結果情報１３４の具体例について説明する図である。
【0153】
図３０に示す類別結果情報１３４は、各類別結果情報１３４のそれぞれの識別情報を示す「項番」と、Ｓ５３の処理で取得した確率の種類候補ごとの累積値が設定される「累積値」とを項目として有する。
【0154】
具体的に、例えば、図２５で説明した類別結果情報１３４に含まれる確率のうち、「ＡＡＡ」に対応する「確率」である「０．４」、「０．４２」、「０．０２」、「０．０２」、「０．２７」及び「０．０４」等の合計値が「３２．４」である場合、結果出力部１１５は、図３０に示すように、「ＡＡＡ」に対応する「累積値」として「３２．４」を設定する。
【0155】
また、例えば、図２５で説明した類別結果情報１３４に含まれる確率のうち、「ＢＢＢ」に対応する「確率」である「０．０８」、「０．０７」、「０．０４」、「０．０６」、「０．２７」及び「０．０８」等の合計値が「１．２」である場合、結果出力部１１５は、図３０に示すように、「ＢＢＢ」に対応する「累積値」として「１．２」を設定する。図３０に含まれる他の情報についての説明は省略する。
【0156】
そして、結果出力部１１５は、この場合、例えば、図３０に示す類別結果情報１３４が示す値を操作端末５に出力する。
【0157】
これにより、情報処理装置１は、作業者が閲覧する類別結果情報１３４のロバスト性を向上させることが可能になる。
【0158】
［累積後の類別結果情報の具体例（２）］
次に、累積後の類別結果情報１３４の他の具体例について説明する。図３１は、累積後の類別結果情報１３４の他の具体例について説明する図である。
次に、累積後の類別結果情報１３４の他の具体例について説明する。図３１は、累積後の類別結果情報１３４の他の具体例について説明する図である。
【0159】
図３１に示す類別結果情報１３４は、図３０で説明した累積結果情報１３２における「累積値」に代えて、Ｓ５３の処理で取得した確率の総和に対するＳ５３の処理で取得した確率の種類候補ごとの累積値の割合が設定される「累積確率」を項目として有する。
【0160】
具体的に、図３０で説明した類別結果情報１３４において、「項番」が「１」である情報には、「ＡＡＡ」に対応する「累積値」として「３２．４」が設定され、「ＢＢＢ」に対応する「累積値」として「１．２」が設定され、「ＣＣＣ」に対応する「累積値」として「０．８」が設定され、「ＤＤＤ」に対応する「累積値」として「０．４」が設定され、「ＥＥＥ」に対応する「累積値」として「１．２」が設定されている。
【0161】
そのため、結果出力部１１５は、例えば、Ｓ５３の処理で取得した確率の総和として、「３２．４」、「１．２」、「０．８」、「０．４」及び「１．２」の合計値である「３６．０」を算出する。
【0162】
そして、結果出力部１１５は、図３１に示すように、例えば、「ＡＡＡ」に対応する「累積確率」として、「３２．４」を「３６．０」で除算することによって算出された「０．９」を設定する。また、結果出力部１１５は、図３１に示すように、例えば、「ＢＢＢ」に対応する「累積確率」として、「１．２」を「３６．０」で除算することによって算出された値の小数点第３位を四捨五入した値である「０．０３」を設定する。図３１に含まれる他の情報についての説明は省略する。
【0163】
このように、情報処理装置１は、第１学習モデルを用いることによって、動画データ１３３を構成する複数の画像データのそれぞれに含まれる対象物の種類についての類別結果を取得する。そして、情報処理装置１は、第２学習モデルを用いることによって、複数の画像データのそれぞれについての類別結果の正解精度を取得する。その後、情報処理装置１は、複数の画像データごとに、正解精度に基づいて補正を行った類別結果を出力する。
【0164】
すなわち、情報処理装置１は、第２学習モデルの学習時において、学習用画像データの入力に伴って第１学習モデルから出力された類別結果を、第２学習モデルの学習データの一部として用いる。そして、情報処理装置１は、新たな画像データ（ＩＳＡＲによって取得された動画データを構成する画像データ）に含まれる対象物の種類についての推論時において、新たな画像データの入力に伴って第１学習モデルから出力された類別結果に対し、新たな画像データの入力に伴って第２学習モデルから出力された類別結果の正解精度に基づいた補正を行う。
【0165】
これにより、情報処理装置１は、動画データの取得時における飛行機の飛行状況や電波状態等が良好でない場合であっても、対象物の種類についての誤認識の発生を抑制することが可能になる。そのため、情報処理装置１は、対象物についての種類の特定を適切に行うことが可能になる。
【0166】
また、情報処理装置１は、学習モデルを用いることによって対象物についての種類の特定を行うことで、作業者の作業負担を抑制することが可能になる。
【0167】
以上の実施の形態をまとめると、以下の付記のとおりである。
【0168】
（付記１）
動画像を取得し、
画像に含まれる対象物の種類を学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像のそれぞれに含まれる対象物の種類についての類別結果を取得し、
前記第１学習モデルにおける前記類別結果の精度を学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれについての前記類別結果の正解精度を取得し、
前記複数の画像ごとに、各画像に対応する前記正解精度に基づいて補正した前記類別結果を出力する、
処理をコンピュータに実行させることを特徴とする類別プログラム。
動画像を取得し、
画像に含まれる対象物の種類を学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像のそれぞれに含まれる対象物の種類についての類別結果を取得し、
前記第１学習モデルにおける前記類別結果の精度を学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれについての前記類別結果の正解精度を取得し、
前記複数の画像ごとに、各画像に対応する前記正解精度に基づいて補正した前記類別結果を出力する、
処理をコンピュータに実行させることを特徴とする類別プログラム。
【0169】
（付記２）
付記１において、さらに、
前記類別結果を取得する処理の前に、対象物を含む学習用画像と前記学習用画像に含まれる前記対象物の種類を示す情報とをそれぞれ含む複数の第１学習データの学習を行うことにより、前記第１学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする類別プログラム。
付記１において、さらに、
前記類別結果を取得する処理の前に、対象物を含む学習用画像と前記学習用画像に含まれる前記対象物の種類を示す情報とをそれぞれ含む複数の第１学習データの学習を行うことにより、前記第１学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする類別プログラム。
【0170】
（付記３）
付記２において、さらに、
前記正解精度を取得する処理の前に、前記第１学習モデルを用いることによって、前記学習用画像についての類別結果である学習用類別結果を前記複数の第１学習データに含まれる前記学習用画像ごとに取得し、
前記学習用画像と前記学習用画像に対応する前記学習用類別結果が正解を示しているか否かを示す正誤情報とをそれぞれ含む複数の第２学習データの学習を行うことにより、前記第２学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする類別プログラム。
付記２において、さらに、
前記正解精度を取得する処理の前に、前記第１学習モデルを用いることによって、前記学習用画像についての類別結果である学習用類別結果を前記複数の第１学習データに含まれる前記学習用画像ごとに取得し、
前記学習用画像と前記学習用画像に対応する前記学習用類別結果が正解を示しているか否かを示す正誤情報とをそれぞれ含む複数の第２学習データの学習を行うことにより、前記第２学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする類別プログラム。
【0171】
（付記４）
付記３において、さらに、
前記第１学習データに含まれる前記学習用画像ごとの前記学習用類別結果を出力し、
出力した前記学習用類別結果のそれぞれに対応する前記正誤情報の入力を受け付ける、
処理をコンピュータに実行させ、
前記第２学習モデルを生成する処理では、入力を受け付けた前記正誤情報をそれぞれ含む前記複数の第２学習データの学習を行う、
ことを特徴とする類別プログラム。
付記３において、さらに、
前記第１学習データに含まれる前記学習用画像ごとの前記学習用類別結果を出力し、
出力した前記学習用類別結果のそれぞれに対応する前記正誤情報の入力を受け付ける、
処理をコンピュータに実行させ、
前記第２学習モデルを生成する処理では、入力を受け付けた前記正誤情報をそれぞれ含む前記複数の第２学習データの学習を行う、
ことを特徴とする類別プログラム。
【0172】
（付記５）
付記３において、
前記学習用類別結果を取得する処理では、前記第１学習モデルを用いることによって、前記複数の第１学習データに含まれる前記学習用画像ごとに、各学習用画像に含まれる対象物の種類が複数の種類候補のそれぞれである確率を各学習用画像の類別結果として取得する、
ことを特徴とする類別プログラム。
付記３において、
前記学習用類別結果を取得する処理では、前記第１学習モデルを用いることによって、前記複数の第１学習データに含まれる前記学習用画像ごとに、各学習用画像に含まれる対象物の種類が複数の種類候補のそれぞれである確率を各学習用画像の類別結果として取得する、
ことを特徴とする類別プログラム。
【0173】
（付記６）
付記１において、
前記出力する処理では、前記複数の画像ごとに、各画像に対応する前記正解精度と前記類別結果との乗算結果を出力する、
ことを特徴とする類別プログラム。
付記１において、
前記出力する処理では、前記複数の画像ごとに、各画像に対応する前記正解精度と前記類別結果との乗算結果を出力する、
ことを特徴とする類別プログラム。
【0174】
（付記７）
付記１において、
前記出力する処理では、
前記複数の画像ごとに、各画像に対応する前記正解精度が所定の閾値以上であるか否かを判定し、
前記複数の画像のうち、前記正解精度が前記所定の閾値を上回る画像について、各画像に対応する前記類別結果を出力し、前記複数の画像のうち、前記正解精度が前記所定の閾値を上回らない画像について、各画像に対応する前記類別結果よりも小さい値を出力する、
ことを特徴とする類別プログラム。
付記１において、
前記出力する処理では、
前記複数の画像ごとに、各画像に対応する前記正解精度が所定の閾値以上であるか否かを判定し、
前記複数の画像のうち、前記正解精度が前記所定の閾値を上回る画像について、各画像に対応する前記類別結果を出力し、前記複数の画像のうち、前記正解精度が前記所定の閾値を上回らない画像について、各画像に対応する前記類別結果よりも小さい値を出力する、
ことを特徴とする類別プログラム。
【0175】
（付記８）
付記１において、さらに、
前記複数の画像ごとに、各画像に含まれる対象物の画像上における第１サイズから、各画像に含まれる対象物についての現実のサイズの推定値である第２サイズを算出する、
処理をコンピュータに実行させ、
前記出力する処理では、前記複数の画像ごとに、各画像に対応する前記正解精度及び前記第２サイズに基づいて補正した前記類別結果を出力する、
ことを特徴とする類別プログラム。
付記１において、さらに、
前記複数の画像ごとに、各画像に含まれる対象物の画像上における第１サイズから、各画像に含まれる対象物についての現実のサイズの推定値である第２サイズを算出する、
処理をコンピュータに実行させ、
前記出力する処理では、前記複数の画像ごとに、各画像に対応する前記正解精度及び前記第２サイズに基づいて補正した前記類別結果を出力する、
ことを特徴とする類別プログラム。
【0176】
（付記９）
付記８において、
前記出力する処理では、
前記複数の画像ごとに、各画像に対応する前記正解精度と前記類別結果との乗算結果を算出し、
各対象物の現実のサイズである第３サイズを記憶した記憶部を参照し、前記複数の画像ごとに、各画像に含まれる対象物に対応する前記第２サイズと前記第３サイズとの差異が所定の閾値を上回るか否かを判定し、前記差異が前記所定の閾値を上回ると判定した場合、各画像に対応する前記乗算結果を出力し、前記差異が前記所定の閾値を下回ると判定した場合、各画像に対応する前記乗算結果よりも小さい値を出力する、
ことを特徴とする類別プログラム。
付記８において、
前記出力する処理では、
前記複数の画像ごとに、各画像に対応する前記正解精度と前記類別結果との乗算結果を算出し、
各対象物の現実のサイズである第３サイズを記憶した記憶部を参照し、前記複数の画像ごとに、各画像に含まれる対象物に対応する前記第２サイズと前記第３サイズとの差異が所定の閾値を上回るか否かを判定し、前記差異が前記所定の閾値を上回ると判定した場合、各画像に対応する前記乗算結果を出力し、前記差異が前記所定の閾値を下回ると判定した場合、各画像に対応する前記乗算結果よりも小さい値を出力する、
ことを特徴とする類別プログラム。
【0177】
（付記１０）
動画像を取得する情報取得部と、
画像に含まれる対象物の種類を学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像のそれぞれに含まれる対象物の種類についての類別結果を取得する結果取得部と、
前記第１学習モデルにおける前記類別結果の精度を学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれについての前記類別結果の正解精度を取得する精度取得部と、
前記複数の画像ごとに、各画像に対応する前記正解精度に基づいて補正した前記類別結果を出力する結果出力部と、を有する、
ことを特徴とする類別装置。
動画像を取得する情報取得部と、
画像に含まれる対象物の種類を学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像のそれぞれに含まれる対象物の種類についての類別結果を取得する結果取得部と、
前記第１学習モデルにおける前記類別結果の精度を学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれについての前記類別結果の正解精度を取得する精度取得部と、
前記複数の画像ごとに、各画像に対応する前記正解精度に基づいて補正した前記類別結果を出力する結果出力部と、を有する、
ことを特徴とする類別装置。
【0178】
（付記１１）
付記１０において、さらに、
対象物を含む学習用画像と前記学習用画像に含まれる前記対象物の種類を示す情報とをそれぞれ含む複数の第１学習データの学習を行うことにより、前記第１学習モデルを生成する第１モデル生成部を有する、
ことを特徴とする類別装置。
付記１０において、さらに、
対象物を含む学習用画像と前記学習用画像に含まれる前記対象物の種類を示す情報とをそれぞれ含む複数の第１学習データの学習を行うことにより、前記第１学習モデルを生成する第１モデル生成部を有する、
ことを特徴とする類別装置。
【0179】
（付記１２）
付記１１において、さらに、
前記第１学習モデルを用いることによって、前記学習用画像についての類別結果である学習用類別結果を前記複数の第１学習データに含まれる前記学習用画像ごとに取得し、前記学習用画像と前記学習用画像に対応する前記学習用類別結果が正解を示しているか否かを示す正誤情報とをそれぞれ含む複数の第２学習データの学習を行うことにより、前記第２学習モデルを生成する第２学習モデル生成部を有する、
ことを特徴とする類別装置。
付記１１において、さらに、
前記第１学習モデルを用いることによって、前記学習用画像についての類別結果である学習用類別結果を前記複数の第１学習データに含まれる前記学習用画像ごとに取得し、前記学習用画像と前記学習用画像に対応する前記学習用類別結果が正解を示しているか否かを示す正誤情報とをそれぞれ含む複数の第２学習データの学習を行うことにより、前記第２学習モデルを生成する第２学習モデル生成部を有する、
ことを特徴とする類別装置。
【0180】
（付記１３）
付記１２において、
結果取得部は、
前記第１学習モデルを用いることによって、前記複数の第１学習データに含まれる前記学習用画像ごとに、各学習用画像に含まれる対象物の種類が複数の種類候補に含まれる各種類候補である確率をそれぞれ取得し、
前記複数の第１学習データに含まれる前記学習用画像ごとに、各学習用画像に対応する前記確率が最も大きい種類候補を各学習用画像の類別結果として特定する、
ことを特徴とする類別装置。
付記１２において、
結果取得部は、
前記第１学習モデルを用いることによって、前記複数の第１学習データに含まれる前記学習用画像ごとに、各学習用画像に含まれる対象物の種類が複数の種類候補に含まれる各種類候補である確率をそれぞれ取得し、
前記複数の第１学習データに含まれる前記学習用画像ごとに、各学習用画像に対応する前記確率が最も大きい種類候補を各学習用画像の類別結果として特定する、
ことを特徴とする類別装置。
【0181】
（付記１４）
動画像を取得し、
画像に含まれる対象物の種類を学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像のそれぞれに含まれる対象物の種類についての類別結果を取得し、
前記第１学習モデルにおける前記類別結果の精度を学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれについての前記類別結果の正解精度を取得し、
前記複数の画像ごとに、各画像に対応する前記正解精度に基づいて補正した前記類別結果を出力する、
処理をコンピュータに実行させることを特徴とする類別方法。
動画像を取得し、
画像に含まれる対象物の種類を学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像のそれぞれに含まれる対象物の種類についての類別結果を取得し、
前記第１学習モデルにおける前記類別結果の精度を学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれについての前記類別結果の正解精度を取得し、
前記複数の画像ごとに、各画像に対応する前記正解精度に基づいて補正した前記類別結果を出力する、
処理をコンピュータに実行させることを特徴とする類別方法。
【0182】
（付記１５）
付記１４において、さらに、
前記類別結果を取得する処理の前に、対象物を含む学習用画像と前記学習用画像に含まれる前記対象物の種類を示す情報とをそれぞれ含む複数の第１学習データの学習を行うことにより、前記第１学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする類別方法。
付記１４において、さらに、
前記類別結果を取得する処理の前に、対象物を含む学習用画像と前記学習用画像に含まれる前記対象物の種類を示す情報とをそれぞれ含む複数の第１学習データの学習を行うことにより、前記第１学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする類別方法。
【0183】
（付記１６）
付記１５において、さらに、
前記正解精度を取得する処理の前に、前記第１学習モデルを用いることによって、前記学習用画像についての類別結果である学習用類別結果を前記複数の第１学習データに含まれる前記学習用画像ごとに取得し、
前記学習用画像と前記学習用画像に対応する前記学習用類別結果が正解を示しているか否かを示す正誤情報とをそれぞれ含む複数の第２学習データの学習を行うことにより、前記第２学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする類別方法。
付記１５において、さらに、
前記正解精度を取得する処理の前に、前記第１学習モデルを用いることによって、前記学習用画像についての類別結果である学習用類別結果を前記複数の第１学習データに含まれる前記学習用画像ごとに取得し、
前記学習用画像と前記学習用画像に対応する前記学習用類別結果が正解を示しているか否かを示す正誤情報とをそれぞれ含む複数の第２学習データの学習を行うことにより、前記第２学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする類別方法。
【0184】
（付記１７）
付記１６において、
前記学習用類別結果を取得する処理では、
前記第１学習モデルを用いることによって、前記複数の第１学習データに含まれる前記学習用画像ごとに、各学習用画像に含まれる対象物の種類が複数の種類候補に含まれる各種類候補である確率をそれぞれ取得し、
前記複数の第１学習データに含まれる前記学習用画像ごとに、各学習用画像に対応する前記確率が最も大きい種類候補を各学習用画像の類別結果として特定する、
ことを特徴とする類別方法。
付記１６において、
前記学習用類別結果を取得する処理では、
前記第１学習モデルを用いることによって、前記複数の第１学習データに含まれる前記学習用画像ごとに、各学習用画像に含まれる対象物の種類が複数の種類候補に含まれる各種類候補である確率をそれぞれ取得し、
前記複数の第１学習データに含まれる前記学習用画像ごとに、各学習用画像に対応する前記確率が最も大きい種類候補を各学習用画像の類別結果として特定する、
ことを特徴とする類別方法。
【符号の説明】
【0185】
１：情報処理装置 ３：操作端末
１０：情報処理システム ＮＷ：ネットワーク
１０：情報処理システム ＮＷ：ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】