特許 7436801 情報出力プログラム、情報出力装置及び情報出力方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-14

(45)【発行日】2024-02-22

(54)【発明の名称】情報出力プログラム、情報出力装置及び情報出力方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240215BHJP

   G08B 25/00 20060101ALI20240215BHJP

【ＦＩ】

G06T7/00 350C

G08B25/00 510M

【請求項の数】 10

(21)【出願番号】P 2020000996

(22)【出願日】2020-01-07

(65)【公開番号】P2021111027

(43)【公開日】2021-08-02

【審査請求日】2022-09-08

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100094525

【弁理士】

【氏名又は名称】土井 健二

(74)【代理人】

【識別番号】100094514

【弁理士】

【氏名又は名称】林 恒徳

(72)【発明者】

【氏名】八木橋 美穂

(72)【発明者】

【氏名】森本 広志

(72)【発明者】

【氏名】平嶋 亮啓

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１９－０２１３１３（ＪＰ，Ａ）

【文献】特開２０１６－０７６０７３（ＪＰ，Ａ）

【文献】特開２０１８－１５２１０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

動画像を取得し、
画像に含まれる対象物の種類候補と前記対象物の種類が前記種類候補である確度とを学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像に含まれる対象物のそれぞれの種類についての類別結果と、前記類別結果の確度を示す第１確度とを取得し、
画像における対象物の位置情報を学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれに対象物が存在する確度を示す第２確度を取得し、
前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記第１確度が第２条件を満たすか否かを判定し、かつ、各対象物に対応する前記第２確度が第３条件を満たすか否かを判定し、
前記複数の画像に含まれる対象物のうち、前記第１確度が前記第２条件を満たさず、かつ、前記第２確度が前記第３条件を満たす対象物が未学習であることを示す情報を出力する、
処理をコンピュータに実行させることを特徴とする情報出力プログラム。

【請求項2】

請求項１において、
前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記類別結果と前記第１確度とに基づいて、各対象物が所定の条件を満たすか否かの判定を行い、
前記複数の画像に含まれる対象物のうち、前記所定の条件を満たすと判定した対象物が監視対象であることを示す情報を出力する、
処理をコンピュータに実行させることを特徴とする情報出力プログラム。

【請求項3】

請求項２において、さらに、
前記類別結果と前記第１確度とを取得する処理の前に、対象物を含む学習用画像と前記学習用画像に含まれる前記対象物の種類候補を示す情報とをそれぞれ含む複数の第１学習データの学習を行うことにより、前記第１学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする情報出力プログラム。

【請求項4】

請求項２において、
前記判定を行う処理では、前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記類別結果が第１条件を満たすか否か、及び、各対象物に対応する前記第１確度が第２条件を満たすか否かを判定し、
前記出力する処理では、前記複数の画像に含まれる対象物のうち、前記類別結果が前記第１条件を満たすと判定した対象物と前記第１確度が前記第２条件を満たすと判定した対象物とについてのアラートを出力する、
ことを特徴とする情報出力プログラム。

【請求項5】

請求項４において、
前記判定を行う処理では、各対象物が所定の属性を有する対象物であることを前記類別結果が示している場合、各対象物に対応する前記類別結果が前記第１条件を満たしていると判定する、
ことを特徴とする情報出力プログラム。

【請求項6】

請求項４において、
前記判定を行う処理では、各対象物に対応する前記第１確度が第１閾値よりも大きい場合、各対象物に対応する前記第１確度が前記第２条件を満たしていると判定する、
ことを特徴とする情報出力プログラム。

【請求項7】

請求項１において、さらに、
前記第２確度を取得する処理の前に、対象物を含む学習用画像と前記学習用画像における前記対象物の位置情報とをそれぞれ含む複数の第２学習データの学習を行うことにより、前記第２学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする情報出力プログラム。

【請求項8】

請求項１において、
前記判定を行う処理では、各対象物に対応する前記第２確度が第２閾値よりも大きい場合、各対象物に対応する前記第２確度が前記第３条件を満たしていると判定する、
ことを特徴とする情報出力プログラム。

【請求項9】

動画像を取得する情報取得部と、
画像に含まれる対象物の種類候補と前記対象物の種類が前記種類候補である確度とを学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像に含まれる対象物のそれぞれの種類についての類別結果と、前記類別結果の確度を示す第１確度とを取得し、さらに、画像における対象物の位置情報を学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれに対象物が存在する確度を示す第２確度を取得する結果取得部と、
前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記第１確度が第２条件を満たすか否かを判定し、かつ、各対象物に対応する前記第２確度が第３条件を満たすか否かを判定する第２条件判定部と、
前記複数の画像に含まれる対象物のうち、前記第１確度が前記第２条件を満たさず、かつ、前記第２確度が前記第３条件を満たす対象物が未学習であることを示す情報を出力する結果取得部を有する、
ことを特徴とする情報出力装置。

【請求項10】

動画像を取得し、
画像に含まれる対象物の種類候補と前記対象物の種類が前記種類候補である確度とを学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像に含まれる対象物のそれぞれの種類についての類別結果と、前記類別結果の確度を示す第１確度とを取得し、
画像における対象物の位置情報を学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれに対象物が存在する確度を示す第２確度を取得し、
前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記第１確度が第２条件を満たすか否かを判定し、かつ、各対象物に対応する前記第２確度が第３条件を満たすか否かを判定し、
前記複数の画像に含まれる対象物のうち、前記第１確度が前記第２条件を満たさず、かつ、前記第２確度が前記第３条件を満たす対象物が未学習であることを示す情報を出力する、
処理をコンピュータに実行させることを特徴とする情報出力方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報出力プログラム、情報出力装置及び情報出力方法に関する。

【背景技術】

【0002】

例えば、海上哨戒や沿岸監視等の分野では、監視領域において撮影された動画像の内容を作業者が確認することにより、動画像に映る対象物（例えば、不審船等）の検出や種類の特定等を行う。具体的に、作業者は、例えば、撮影された動画像において複数の対象物を検出した場合、それぞれの対象物についての種類の特定等を目視によって行う（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１８／１７３８００号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、検出された対象物の全てを監視対象として出力してしまうと、動画像に映る対象物の監視を効率的に行うことができないといった問題がある。

【0005】

そこで、一つの側面では、本発明は、動画像に映る対象物の監視を効率的に行うことを可能とする情報出力プログラム、情報出力装置及び情報出力方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

実施の形態の一態様では、動画像を取得し、画像に含まれる対象物の種類候補と前記対象物の種類が前記種類候補である確度とを学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像に含まれる対象物のそれぞれの種類についての類別結果と、前記類別結果の確度を示す第１確度とを取得し、前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記類別結果と前記第１確度とに基づいて、各対象物が所定の条件を満たすか否かの判定を行い、前記複数の画像に含まれる対象物のうち、前記所定の条件を満たすと判定した対象物が監視対象であることを示す情報を出力する。

【発明の効果】

【0007】

一つの側面によれば、動画に映る対象物の監視を効率的に行うことを可能とする。

【図面の簡単な説明】

【0008】

【図1】図１は、情報処理システム１０の構成について説明する図である。

【図2】図２は、情報処理装置１のハードウエア構成を説明する図である。

【図3】図３は、情報処理装置１の機能のブロック図である。

【図4】図４は、第１の実施の形態における情報出力処理の概略を説明するフローチャート図である。

【図5】図５は、第１の実施の形態における情報出力処理の詳細を説明するフローチャート図である。

【図6】図６は、第１の実施の形態における情報出力処理の詳細を説明するフローチャート図である。

【図7】図７は、第１の実施の形態における情報出力処理の詳細を説明するフローチャート図である。

【図8】図８は、第１の実施の形態における情報出力処理の詳細を説明するフローチャート図である。

【図9】図９は、第１の実施の形態における情報出力処理の詳細を説明するフローチャート図である。

【図10】図１０は、第１の実施の形態における情報出力処理の詳細を説明するフローチャート図である。

【図11】図１１は、第１の実施の形態における情報出力処理の詳細を説明するフローチャート図である。

【図12】図１２は、第１学習データ１３１の具体例について説明する図である。

【図13】図１３は、Ｓ２２の処理の具体例について説明を行う。

【図14】図１４は、第２学習データ１３２の具体例について説明する図である。

【図15】図１５は、Ｓ４２の処理の具体例について説明する図である。

【図16】図１６は、Ｓ５３の処理の具体例について説明する図である。

【図17】図１７は、検出結果情報１３５の具体例について説明する図である。

【図18】図１８は、Ｓ６１の処理の具体例について説明する図である。

【図19】図１９は、類別結果情報１３４の具体例について説明する図である。

【図20】図２０は、Ｓ６４の処理の具体例について説明する図である。

【図21】図２１は、Ｓ７２の処理の具体例について説明する図である。

【発明を実施するための形態】

【0009】

［情報処理システムの構成］
初めに、情報処理システム１０の構成について説明を行う。図１は、情報処理システム１０の構成について説明する図である。

【0010】

図１に示す情報処理システム１０は、情報処理装置１と、操作端末３とを有する。操作端末３は、例えば、作業者が必要な情報の入力等を行うＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であって、インターネット等のネットワークＮＷを介して情報処理装置１とアクセスが可能である。

【0011】

情報処理装置１は、例えば、監視領域において撮影された動画像（以下、動画データとも呼ぶ）を構成する各画像（以下、画像データとも呼ぶ）に含まれる対象物の種類の候補（以下、種類候補とも呼ぶ）と、その種類候補が対象物の種類として正解である確度（例えば、確率）とを学習した学習モデル（以下、第１学習モデルとも呼ぶ）を用いることにより、各画像データに含まれる対象物のうち、作業者が目視で確認を行う必要がある対象物の特定を行う。

【0012】

具体的に、情報処理装置１は、例えば、第１学習モデルを用いることによって、複数の画像データに含まれる対象物のそれぞれの種類についての類別結果と、その類別結果の確度とを取得する。そして、情報処理装置１は、複数の画像データに含まれる対象物ごとに、各対象物に対応する類別結果と確度とに基づいて、各対象物が所定の条件を満たすか否かの判定を行う。その後、情報処理装置１は、複数の画像データに含まれる対象物のうち、所定の条件を満たすと判定した対象物が監視対象であることを示す情報を出力する。

【0013】

すなわち、従来では、例えば、対象物の検出等を行う必要がある動画像が頻繁に発生する場合、対象物の検出等に伴う作業者の負担が増大する可能性があった。また、例えば、確認を行う必要がある対象物の数が今後さらに増大する場合、必要な数の作業者の確保が将来的に困難になる可能性がある。

【0014】

そこで、本実施の形態における情報処理装置１は、例えば、第１学習モデルによって出力された類別結果に対応する種類が監視対象の種類に含まれていない対象物であって、第１学習モデルによって出力された類別結果の確度が所定の閾値よりも高い対象物が存在する場合、存在した対象物についての監視を行う必要がないと判断する。また、例えば、第１学習モデルによって出力された類別結果に対応する種類が監視対象の種類に含まれている対象物や、第１学習モデルによって出力された類別結果の確度が所定の閾値よりも低い対象物が存在する場合、情報処理装置１は、存在した対象物についての監視を行う必要があると判断する。

【0015】

そして、情報処理装置１は、例えば、監視を行う必要があると判断した対象物についての情報のみを操作端末３に出力する。その後、作業者は、例えば、操作端末３に情報が出力された対象物についての種類の特定等を目視によって行う。

【0016】

これにより、情報処理装置１は、対象物の監視に伴う作業者の負担を抑制することが可能になる。

【0017】

［情報処理システムのハードウエア構成］
次に、情報処理システム１０のハードウエア構成について説明する。図２は、情報処理装置１のハードウエア構成を説明する図である。

【0018】

情報処理装置１は、図２に示すように、プロセッサであるＣＰＵ１０１と、メモリ１０２と、通信装置１０３と、記憶媒体１０４とを有する。各部は、バス１０５を介して互いに接続される。

【0019】

記憶媒体１０４は、例えば、作業者が監視を行う必要がある対象物を示す情報を出力する処理（以下、情報出力処理とも呼ぶ）を行うためのプログラム１１０を記憶するプログラム格納領域（図示しない）を有する。また、記憶媒体１０４は、例えば、情報出力処理を行う際に用いられる情報を記憶する記憶部１３０（以下、情報格納領域１３０とも呼ぶ）を有する。なお、記憶媒体１０４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）であってよい。

【0020】

ＣＰＵ１０１は、記憶媒体１０４からメモリ１０２にロードされたプログラム１１０を実行して情報出力処理を行う。

【0021】

また、通信装置１０３は、例えば、ネットワークＮＷを介して操作端末３との通信を行う。

【0022】

［情報処理システムの機能］
次に、情報処理システム１０の機能について説明を行う。図３は、情報処理装置１の機能のブロック図である。

【0023】

情報処理装置１は、図３に示すように、例えば、ＣＰＵ１０１やメモリ１０２等のハードウエアとプログラム１１０とが有機的に協働することにより、情報受信部１１１（以下、情報取得部１１１とも呼ぶ）と、情報管理部１１２と、第１モデル生成部１１３と、第２モデル生成部１１４と、結果取得部１１５と、第１条件判定部１１６と、第２条件判定部１１７と、結果出力部１１８と、を含む各種機能を実現する。

【0024】

また、情報処理装置１は、例えば、図３に示すように、第１学習データ１３１と、第２学習データ１３２と、動画データ１３３と、類別結果情報１３４と、検出結果情報１３５とを情報格納領域１３０に記憶する。

【0025】

情報受信部１１１は、例えば、作業者が操作端末３を介して入力した各種情報を受信する。具体的に、情報受信部１１１は、例えば、第１学習モデルの生成に用いられる第１学習データ１３１を受信する。第１学習データ１３１は、例えば、対象物を含む学習用画像と、その学習用画像に含まれる対象物の種類を示す情報とをそれぞれ含む学習データである。

【0026】

また、情報受信部１１１は、例えば、第２学習モデルの生成に用いられる第２学習データ１３２を受信する。第２学習データ１３２は、例えば、対象物を含む学習用画像と、その学習用画像に含まれる対象物の位置情報とをそれぞれ含む学習データである。

【0027】

さらに、情報受信部１１１は、例えば、海上における対象物の撮影を行うカメラ等の撮影装置（図示しない）によって取得された動画データ１３３を受信する。そして、情報管理部１１２は、例えば、情報受信部１１１が受信した第１学習データ１３１、第２学習データ１３２及び動画データ１３３を情報格納領域１３０に記憶する。

【0028】

なお、情報受信部１１１は、例えば、操作端末３に対して自発的にアクセスを行うことによって、操作端末３の情報格納領域（図示しない）に記憶された各種情報を取得するものであってもよい。また、情報受信部１１１は、例えば、撮像装置に対して自発的にアクセスを行うことにより、撮像装置の情報格納領域（図示しない）に記憶された動画データ１３３を取得するものであってもよい。

【0029】

第１モデル生成部１１３は、情報格納領域１３０に記憶された第１学習データ１３１の学習を行うことによって、第１学習モデルを生成する。

【0030】

第２モデル生成部１１４は、情報格納領域１３０に記憶された第２学習データ１３２の学習を行うことによって、第２学習モデルを生成する。

【0031】

結果取得部１１５は、情報格納領域１３０に記憶された動画データ１３３を取得する。そして、結果取得部１１５は、第２モデル生成部１１４が生成した第２学習モデルを用いることによって、動画データ１３３を構成する複数の画像データのそれぞれに対象物が存在する確度を示す確度（以下、第２確度とも呼ぶ）を取得する。具体的に、結果取得部１１５は、第２学習モデルに対する複数の画像データの入力に伴って出力される第２確度を取得する。その後、情報管理部１１２は、例えば、結果取得部１１５が取得した第２確度を示す検出結果情報１３５を生成して情報格納領域１３０に記憶する。

【0032】

また、結果取得部１１５は、動画データ１３３を構成する複数の画像データに含まれる対象物のそれぞれについての複数の部分画像データを取得する。具体的に、結果取得部１１５は、例えば、情報格納領域１３０に記憶された検出結果情報１３５を参照することにより、動画データ１３３を構成する複数の画像データから複数の部分画像データを取得（抽出）する。そして、結果取得部１１５は、第１モデル生成部１１３が生成した第１学習モデルを用いることによって、複数の部分画像データに含まれる対象物のそれぞれの種類についての類別結果と、その類別結果の確度（以下、第１確度とも呼ぶ）とを取得する。具体的に、結果取得部１１５は、第１学習モデルに対する複数の画像データの入力に伴って出力される類別結果と第１確度とを取得する。その後、情報管理部１１２は、例えば、結果取得部１１５が取得した類別結果と第１確度とを示す類別結果情報１３４を生成して情報格納領域１３０に記憶する。

【0033】

第１条件判定部１１６は、例えば、情報格納領域１３０に記憶された類別結果情報１３４を参照し、複数の部分画像データごとに、各対象物に対応する類別結果が第１条件を満たすか否か、及び、各対象物に対応する第１確度が第２条件を満たすか否かを判定する。具体的に、第１条件判定部１１６は、例えば、各対象物が所定の属性（例えば、軍艦）を有する対象物であることを類別結果が示している場合、各対象物に対応する類別結果が第１条件を満たしていると判定する。また、第１条件判定部１１６は、例えば、各対象物に対応する第１確度が閾値（以下、第１閾値とも呼ぶ）よりも大きい場合、各対象物に対応する第１確度が第２条件を満たしていると判定する。

【0034】

第２条件判定部１１７は、例えば、情報格納領域１３０に記憶された類別結果情報１３４及び検出結果情報１３５を参照し、複数の部分画像データごとに、各対象物に対応する第１確度が第２条件を満たすか否かを判定し、かつ、各対象物に対応する第２確度が第３条件を満たすか否かを判定する。具体的に、第２条件判定部１１７は、例えば、各対象物に対応する第２確度が閾値（以下、第２閾値とも呼ぶ）よりも大きい場合、各対象物に対応する第２確度が第３条件を満たしていると判定する。

【0035】

結果出力部１１８は、複数の部分画像データに含まれる各対象物のうち、類別結果が第１条件を満たすと判定した対象物と、第１確度が第２条件を満たすと判定した対象物とを示す情報（例えば、アラート）を出力する。

【0036】

また、結果出力部１１８は、複数の部分画像データに含まれる各対象物のうち、第１確度が第２条件を満たし、かつ、第２確度が第３条件を満たす対象物が未学習であることを示す情報を出力する。

【0037】

［第１の実施の形態の概略］
次に、第１の実施の形態の概略について説明する。図４は、第１の実施の形態における情報出力処理の概略を説明するフローチャート図である。

【0038】

情報処理装置１は、図４に示すように、情報出力タイミングになるまで待機する（Ｓ１のＮＯ）。情報出力タイミングは、例えば、作業者が海上における対象物の監視を開始する旨の情報を入力したタイミングであってよい。

【0039】

そして、情報出力タイミングになった場合（Ｓ１のＹＥＳ）、情報処理装置１は、動画データ１３３を取得する（Ｓ２）。具体的に、情報処理装置１は、例えば、情報格納領域１３０に記憶された動画データ１３３を取得する。また、情報処理装置１は、例えば、外部の記憶装置（図示しない）に記憶された動画データ１３３を取得する。

【0040】

続いて、情報処理装置１は、画像データに含まれる対象物の種類候補と、その種類候補が対象物の種類として正解である確度とを学習した第１学習モデルを用いることによって、Ｓ２の処理で取得した動画データを構成する複数の画像データに含まれる対象物のそれぞれの種類についての類別結果と、その類別結果の確度を示す第１確度とを取得する（Ｓ３）。

【0041】

次に、情報処理装置１は、Ｓ２の処理で取得した動画データを構成する複数の画像データに含まれる対象物ごとに、Ｓ３の処理で取得した類別結果と第１確度とに基づいて、各対象物が所定の条件を満たすか否かの判定を行う（Ｓ４）。

【0042】

その後、情報処理装置１は、Ｓ２の処理で取得した動画データを構成する複数の画像データに含まれる対象物のうち、Ｓ４の処理において所定の条件を満たすと判定した対象物が監視対象であることを示す情報を出力する（Ｓ５）。

【0043】

これにより、情報処理装置１は、第１学習モデルを用いることで、作業者が目視による確認を行う必要がある対象物を特定することが可能になる。そのため、情報処理装置１は、対象物の監視に伴う作業者の負担を抑制することが可能になる。

【0044】

［第１の実施の形態の詳細］
次に、第１の実施の形態の詳細について説明する。図５から図１１は、第１の実施の形態における情報出力処理の詳細を説明するフローチャート図である。また、図１２から図２１は、第１の実施の形態における情報出力処理の詳細を説明する図である。

【0045】

［第１学習データ記憶処理］
初めに、情報出力処理のうち、第１学習データ１３１の記憶を行う処理（以下、第１学習データ記憶処理とも呼ぶ）について説明を行う。図５は、第１学習データ記憶処理を説明するフローチャート図である。

【0046】

情報処理装置１の情報受信部１１１は、図５に示すように、例えば、操作端末３から送信された複数の第１学習データ１３１を受信するまで待機する（Ｓ１１のＮＯ）。すなわち、情報受信部１１１は、例えば、作業者によって生成された第１学習データ１３１が操作端末３を介して送信されるまで待機する。

【0047】

そして、複数の第１学習データ１３１を受信した場合（Ｓ１１のＹＥＳ）、情報処理装置１の情報管理部１１２は、Ｓ１１の処理で受信した複数の第１学習データ１３１を情報格納領域１３０に記憶する（Ｓ１２）。以下、第１学習データ１３１の具体例について説明を行う。

【0048】

［第１学習データの具体例］
図１２は、第１学習データ１３１の具体例について説明する図である。

【0049】

図１２に示す第１学習データ１３１は、第１学習データ１３１のそれぞれの識別情報を示す「項番」と、各学習用画像データのそのものを示す「画像データ」と、各学習用画像データに含まれる対象物の種類（正解の種類）を示す「種類」とを含む。なお、以下、「種類」には、「ＡＡＡ」、「ＢＢＢ」及び「ＣＣＣ」のうちのいずれかが設定されるものとして説明を行う。

【0050】

具体的に、図１２における「項番」が「１」である第１学習データ１３１は、名称が「ＩＭＡＧＥａ１」である学習用画像データを含み、かつ、「種類」が「ＡＡＡ」である学習データである。

【0051】

また、図１２における「項番」が「２」である第１学習データ１３１は、名称が「ＩＭＡＧＥａ２」である学習用画像データを含み、かつ、「種類」が「ＢＢＢ」である学習データである。図１２に含まれる他の第１学習データ１３１については説明を省略する。

【0052】

［第１モデル生成処理］
次に、情報出力処理のうち、第１モデルの生成を行う処理（以下、第１モデル生成処理とも呼ぶ）について説明を行う。図６は、第１モデル生成処理を説明するフローチャート図である。

【0053】

情報処理装置１の第１モデル生成部１１３は、図６に示すように、例えば、第１モデル生成タイミングになるまで待機する（Ｓ２１のＮＯ）。第１モデル生成タイミングは、例えば、作業者が第１モデルの生成を行う旨の情報を情報処理装置１に入力したタイミングであってよい。

【0054】

そして、第１モデル生成タイミングになった場合（Ｓ２１のＹＥＳ）、第１モデル生成部１１３は、情報格納領域１３０に記憶された複数の第１学習データ１３１の学習を行うことにより、第１学習モデルを生成する（Ｓ２２）。以下、Ｓ２２の処理の具体例について説明を行う。

【0055】

［Ｓ２２の処理の具体例］
図１３は、Ｓ２２の処理の具体例について説明を行う。

【0056】

第１モデル生成部１１３は、図１３に示すように、例えば、対象物の種類候補のそれぞれに対応する複数の出力ニューロン（以下、第１出力ニューロンとも呼ぶ）ＮＥ１１と、第１確度に対応する１の出力ニューロン（以下、第２出力ニューロンとも呼ぶ）ＮＥ１２とを有する第１モデルＭＤ０１を生成する。図１３に示す例において、第１出力ニューロンＮＥ１１には、種類候補である「ＡＡＡ」、「ＢＢＢ」及び「ＣＣＣ」のそれぞれに対応する第１出力ニューロンＮＥ１１ａ、ＮＥ１１ｂ及びＮＥ１１ｃが含まれている。

【0057】

そして、例えば、図１２で説明した第１学習データ１３１における「項番」が「１」である情報には、「画像データ」として「ＩＭＡＧＥａ１」が設定され、「種類」として「ＡＡＡ」が設定されている。そのため、第１モデル生成部１１３は、例えば、名称が「ＩＭＡＧＥａ１」である画像データの特徴量が入力ニューロンＮＥ１３から入力された場合、第１出力ニューロンＮＥ１１のそれぞれから出力される値と、「ＡＡＡ」に対応する正解値（「１」、「０」及び「０」）との差が小さくなるように、第１学習モデルにおける各重みに対応する値の更新を行う。具体的に、第１モデル生成部１１３は、この場合、第１出力ニューロンＮＥ１１ａから出力される値と「１」との差、第１出力ニューロンＮＥ１１ｂから出力される値と「０」との差、及び、第１出力ニューロンＮＥ１１ｃから出力される値と「０」との差のそれぞれが小さくなるように、第１学習モデルにおける各重みに対応する値の更新を行う。

【0058】

また、例えば、図１２で説明した第１学習データ１３１における「項番」が「２」である情報には、「画像データ」として「ＩＭＡＧＥａ２」が設定され、「種類」として「ＢＢＢ」が設定されている。そのため、第１モデル生成部１１３は、例えば、名称が「ＩＭＡＧＥａ２」である画像データまたはその特徴量が入力ニューロンＮＥ１３から入力された場合、第１出力ニューロンＮＥ１１のそれぞれから出力される値と、「ＢＢＢ」に対応する正解値（「０」、「１」及び「０」）との差が小さくなるように、第１学習モデルにおける各重みに対応する値の更新を行う。具体的に、第１モデル生成部１１３は、この場合、第１出力ニューロンＮＥ１１ａから出力される値と「０」との差、第１出力ニューロンＮＥ１１ｂから出力される値と「１」との差、及び、第１出力ニューロンＮＥ１１ｃから出力される値と「０」との差のそれぞれが小さくなるように、第１学習モデルにおける各重みに対応する値の更新を行う。

【0059】

なお、第１モデル生成部１１３は、第１出力ニューロンＮＥ１１からの出力値と正解値との比較を行う前に、第１出力ニューロンＮＥ１１からの出力値を第２出力ニューロンＮＥ１２からの出力値によって補正を行うものであってもよい。

【0060】

具体的に、第１モデル生成部１１３は、この場合、第２出力ニューロンＮＥ１２からの出力値が「０」に近いほど、第１出力ニューロンＮＥ１１からの出力値が正解値に近づくように補正を行う。一方、第１モデル生成部１１３は、第２出力ニューロンＮＥ１２からの出力値が「１」に近いほど、第１出力ニューロンＮＥ１１からの出力値の補正幅を小さくする。また、第１モデル生成部１１３は、この場合、第１出力ニューロンＮＥ１１からの出力値の補正幅が大きいほど大きい値のペナルティ値を設定する。そして、第１モデル生成部１１３は、第１出力ニューロンＮＥ１１からの出力値（補正後の値）と正解値との差及びペナルティ値の両方が小さくなるように、第１学習モデルにおける各重みに対応する値の更新を行う。

【0061】

［第２学習データ記憶処理］
次に、情報出力処理のうち、第２学習データ１３２の記憶を行う処理（以下、第２学習データ記憶処理とも呼ぶ）について説明を行う。図７は、第２学習データ記憶処理を説明するフローチャート図である。

【0062】

情報受信部１１１は、図７に示すように、例えば、操作端末３から送信された複数の第２学習データ１３２を受信するまで待機する（Ｓ３１のＮＯ）。すなわち、情報受信部１１１は、例えば、作業者によって生成された第２学習データ１３２が操作端末３を介して送信されるまで待機する。

【0063】

そして、複数の第１学習データ１３１を受信した場合（Ｓ３１のＹＥＳ）、情報管理部１１２は、Ｓ３１の処理で受信した複数の第２学習データ１３２を情報格納領域１３０に記憶する（Ｓ３２）。以下、第２学習データ１３２の具体例について説明を行う。

【0064】

［第２学習データの具体例］
図１４は、第２学習データ１３２の具体例について説明する図である。

【0065】

図１４に示す第２学習データ１３２は、第２学習データ１３２のそれぞれの識別情報を示す「項番」と、各学習用画像データのそのものを示す「画像データ」と、各学習用画像データに含まれる対象物（対象物を含む枠）の左上の位置を示す「位置」と、各学習用画像データに含まれる対象物（対象物を含む枠）の幅を示す「幅」と、各学習用画像データに含まれる対象物（対象物を含む枠）の高さを示す「高さ」とを項目として有する。

【0066】

具体的に、図１４における「項番」が「１」である第２学習データ１３２は、名称が「ＩＭＡＧＥｂ１」である学習用画像データを含み、さらに、「位置」が「１０，３２」であって「幅」が「１０」であって「高さ」が「８」である対象物についての情報と、「位置」が「２４，３０」であって「幅」が「４」であって「高さ」が「２」である対象物についての情報と、「位置」が「２８，２０」であって「幅」が「８」であって「高さ」が「６」である対象物についての情報とを含む学習データである。すなわち、図１４における「項番」が「１」である第２学習データ１３２は、名称が「ＩＭＡＧＥｂ１」である学習用画像データに含まれる３つの対象物についての情報を含んでいる。

【0067】

また、図１４における「項番」が「２」である第２学習データ１３２は、名称が「ＩＭＡＧＥｂ２」である学習用画像データを含み、さらに、「位置」が「３４，３６」であって「幅」が「４」であって「高さ」が「２」である対象物についての情報と、「位置」が「１０，１２」であって「幅」が「１２」であって「高さ」が「６」である対象物についての情報とを含む学習データである。すなわち、図１４における「項番」が「２」である第２学習データ１３２は、名称が「ＩＭＡＧＥｂ２」である学習用画像データに含まれる２つの対象物についての情報を含んでいる。図１４に含まれる他の第２学習データ１３２についての説明は省略する。

【0068】

［第２モデル生成処理］
次に、情報出力処理のうち、第２モデルの生成を行う処理（以下、第２モデル生成処理とも呼ぶ）について説明を行う。図８は、第２モデル生成処理を説明するフローチャート図である。

【0069】

情報処理装置１の第１モデル生成部１１３は、図８に示すように、例えば、第２モデル生成タイミングになるまで待機する（Ｓ４１のＮＯ）。第２モデル生成タイミングは、例えば、作業者が第２モデルの生成を行う旨の情報を情報処理装置１に入力したタイミングであってよい。また、第２モデル生成タイミングは、例えば、第１モデルが生成された直後のタイミングであってよい。

【0070】

そして、第２モデル生成タイミングになった場合（Ｓ４１のＹＥＳ）、第２モデル生成部１１４は、情報格納領域１３０に記憶された複数の第２学習データ１３２の学習を行うことにより、第２学習モデルを生成する（Ｓ４２）。以下、Ｓ４２の処理の具体例について説明を行う。

【0071】

［Ｓ４２の処理の具体例］
図１５は、Ｓ４２の処理の具体例について説明する図である。

【0072】

第２モデル生成部１１４は、図１５に示すように、例えば、学習用画像データを分割した複数の分割画像データのそれぞれに対応する複数の出力ニューロンＮＥ２１を有する第２モデルＭＤ０２を生成する。図１５に示す例において、出力ニューロンＮＥ２１には、学習用画像データを分割した１６個の分割画像データのそれぞれに対応する出力ニューロンＮＥ２１ａ、ＮＥ２１ｂ、ＮＥ２１ｃ、ＮＥ２１ｄ、ＮＥ２１ｅ、ＮＥ２１ｆ、ＮＥ２１ｇ、ＮＥ２１ｈ、ＮＥ２１ｉ、ＮＥ２１ｊ、ＮＥ２１ｋ、ＮＥ２１ｌ、ＮＥ２１ｍ、ＮＥ２１ｎ、ＮＥ２１о及びＮＥ２１ｐのそれぞれが含まれている。

【0073】

そして、例えば、図１４で説明した第２学習データ１３２における「項番」が「３」である情報には、「画像データ」として「ＩＭＡＧＥｂ３」が設定され、「位置」、「幅」及び「高さ」として１つの対象物についての情報が設定されている。そのため、第２モデル生成部１１４は、例えば、名称が「ＩＭＡＧＥｂ３」である画像データの分割画像データのうち、出力ニューロンＮＥ２１ｄに対応する分割画像データに対象物が含まれている場合において、名称が「ＩＭＡＧＥｂ３」である画像データの特徴量が入力ニューロンＮＥ２３から入力された場合、出力ニューロンＮＥ２１ｄからの出力値と「１」との差、及び、出力ニューロンＮＥ２１ｄ以外の出力ニューロンＮＥ２１のそれぞれからの出力値と「０」との差がそれぞれ小さくなるように、第２学習モデルにおける各重みに対応する値の更新を行う。

【0074】

また、例えば、図１４で説明した第２学習データ１３２における「項番」が「２」である情報には、「画像データ」として「ＩＭＡＧＥｂ２」が設定され、「位置」、「幅」及び「高さ」として２つの対象物についての情報が設定されている。そのため、第２モデル生成部１１４は、例えば、名称が「ＩＭＡＧＥｂ２」である画像データの分割画像データのうち、出力ニューロンＮＥ２１ｆ及びＮＥ２１ｍに対応する分割画像データのそれぞれに対象物が含まれている場合において、名称が「ＩＭＡＧＥｂ２」である画像データの特徴量が入力ニューロンＮＥ２３から入力された場合、出力ニューロンＮＥ２１ｆ及びＮＥ２１ｍのそれぞれからの出力値と「１」との差、及び、これら以外の出力ニューロンＮＥ２１のそれぞれからの出力値と「０」との差がそれぞれ小さくなるように、第２学習モデルにおける各重みに対応する値の更新を行う。

【0075】

［情報出力処理のメイン処理］
次に、情報出力処理のメイン処理について説明を行う。図９から図１１は、情報出力処理のメイン処理を説明するフローチャート図である。

【0076】

情報処理装置１の結果取得部１１５は、図９に示すように、例えば、情報出力タイミングになるまで待機する（Ｓ５１のＮＯ）。情報出力タイミングは、例えば、作業者が海上における対象物の監視を開始する旨の情報を入力したタイミングであってよい。

【0077】

そして、情報出力タイミングになった場合（Ｓ５１のＹＥＳ）、結果取得部１１５は、動画データ１３３を取得する（Ｓ５２）。

【0078】

続いて、結果取得部１１５は、Ｓ４２の処理で生成した第２学習モデルを用いることによって、Ｓ５２の処理で取得した動画データ１３３に含まれる複数の画像データごとに、各画像データに対象物が存在する確度を示す第２確度を取得する（Ｓ５３）。以下、Ｓ５３の処理の具体例について説明を行う。

【0079】

［Ｓ５３の処理の具体例］
図１６は、Ｓ５３の処理の具体例について説明する図である。

【0080】

結果取得部１１５は、図１６に示すように、例えば、動画データ１３３に含まれる画像データＩＭＡＧＥｃ１を第２学習モデルＭＤ０２に入力する。そして、結果取得部１１５は、例えば、画像データＩＭＡＧＥｃ１の入力に伴って第２学習モデルＭＤ０２の出力ニューロンＮＥ２１のそれぞれから出力された値を取得する。

【0081】

その後、結果取得部１１５は、例えば、第２学習モデルＭＤ０２から取得された値のそれぞれから、画像データＩＭＡＧＥｃ１に含まれる対象物の位置の特定を行う。具体的に、結果取得部１１５は、図１６に示すように、例えば、画像データＩＭＡＧＥｃ１に含まれる対象物を含む部分画像データとして、部分画像データＩＭＡＧＥｄ１、部分画像データＩＭＡＧＥｄ２及び部分画像データＩＭＡＧＥｄ３のそれぞれの位置の特定を行う。

【0082】

また、結果取得部１１５は、例えば、特定した対象物ごとに、第２学習モデルＭＤ０２の出力ニューロンＮＥ２のそれぞれから出力された値のうち、各対象物の位置に対応する値の最大値を第２確度として取得する。

【0083】

なお、画像データＩＭＡＧＥｃ１に含まれる対象物の位置及び第２確度は、第２モデルＭＤ０２から出力されるものであってもよい。そして、結果取得部１１５は、この場合、第２モデルＭＤ０２から出力された各情報を取得するものであってもよい。

【0084】

図９に戻り、情報管理部１１２は、例えば、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データごとに、Ｓ５３の処理で取得した第２確度を含む検出結果情報１３５を生成する（Ｓ５４）。そして、情報管理部１１２は、生成した検出結果情報１３５を情報格納領域１３０に記憶する。以下、検出結果情報１３５の具体例について説明を行う。

【0085】

［検出結果情報の具体例］
図１７は、検出結果情報１３５の具体例について説明する図である。

【0086】

図１７に示す検出結果情報１３５は、検出結果情報１３５に含まれる各情報を示す「項番」と、各対象物を含む部分画像データの識別情報を示す「部分画像データ」と、各対象物に対応する第２確度を示す「第２確度」とを項目として有する。

【0087】

具体的に、図１７に示す検出結果情報１３５において、「項番」が「１」である情報には、「部分画像データ」として「ＩＭＡＧＥｄ１」が設定され、「第２確度」として「０．９」が設定されている。

【0088】

また、図１７に示す検出結果情報１３５において、「項番」が「２」である情報には、「部分画像データ」として「ＩＭＡＧＥｄ２」が設定され、「第２確度」として「０．７」が設定されている。図１７に含まれる他の情報についての説明は省略する。

【0089】

なお、検出結果情報１３５は、Ｓ５３の処理で特定した部分画像データの位置を示す情報を含むものであってもよい。

【0090】

図９に戻り、情報管理部１１２は、Ｓ５２の処理で取得した動画データ１３３に含まれる画像データから、各画像データに含まれる対象物を含む部分画像データを取得する（Ｓ５５）。

【0091】

具体的に、情報管理部１１２は、例えば、Ｓ５３の処理で特定した部分画像データの位置を参照することによって、Ｓ５２の処理で取得した動画データ１３３に含まれる各画像データから部分画像データの取得を行う。

【0092】

なお、Ｓ５３の処理で特定した部分画像データの位置を示す情報が検出結果情報１３５に含まれる場合、情報管理部１１２は、情報格納領域１３０に記憶された検出結果情報１３５を参照することによって、部分画像データの取得を行うものであってもよい。

【0093】

そして、結果取得部１１５は、図１０に示すように、Ｓ２２の処理で生成した第１学習モデルを用いることによって、Ｓ５５の処理で取得した部分画像データごとに、各部分画像データに含まれる対象物の種類の類別結果と、その類別結果の確度を示す第１確度とを取得する（Ｓ６１）。以下、Ｓ６１の処理の具体例について説明を行う。

【0094】

［Ｓ６１の処理の具体例］
図１８は、Ｓ６１の処理の具体例について説明する図である。

【0095】

結果取得部１１５は、図１８に示すように、例えば、Ｓ５５の処理で取得した部分画像データＩＭＡＧＥｄ１を第１学習モデルＭＤ０１に入力する。そして、結果取得部１１５は、例えば、部分画像データＩＭＡＧＥｄ１の入力に伴って第１学習モデルＭＤ０１の出力ニューロンＮＥ１１及び出力ニューロンＮＥ１２のそれぞれから出力された値と取得する。

【0096】

具体的に、結果取得部１１５は、図１８に示すように、例えば、部分画像データＩＭＡＧＥｄ１に含まれる対象物の種類が「ＡＡＡ」である確度が「０．６」であり、「ＢＢＢ」である確度が「０．３」であり、「ＣＣＣ」である確度が「０．１」であることを示す情報を類別結果として取得する。

【0097】

また、結果取得部１１５は、図１８に示すように、例えば、部分画像データＩＭＡＧＥｄ１に含まれる対象物の種類についての類別結果の第１確度として「０．９」を取得する。

【0098】

図１０に戻り、情報管理部１１２は、例えば、Ｓ５５の処理で取得した部分画像データごとに、Ｓ６１の処理で取得した類別結果と第１確度を含む類別結果情報１３４を生成する（Ｓ６２）。そして、情報管理部１１２は、生成した類別結果情報１３４を情報格納領域１３０に記憶する。以下、類別結果情報１３４の具体例について説明を行う。

【0099】

［類別結果情報の具体例］
図１９は、類別結果情報１３４の具体例について説明する図である。

【0100】

図１９に示す類別結果情報１３４は、類別結果情報１３４に含まれる各情報を示す「項番」と、各対象物を含む部分画像データの識別情報を示す「部分画像データ」と、各対象物の種類の類別結果を示す「類別結果」と、各対象物の種類についての類別結果の第１確度を示す「第１確度」とを項目として有する。

【0101】

具体的に、図１９に示す類別結果情報１３４において、「項番」が「１」である情報には、「部分画像データ」として「ＩＭＡＧＥｄ１」が設定されている。また、図１９に示す類別結果情報１３４において、「項番」が「１」である情報には、「類別結果」として、部分画像データＩＭＡＧＥｄ１に含まれる対象物の種類が「ＡＡＡ」、「ＢＢＢ」及び「ＣＣＣ」のそれぞれである確度が「０．６」、「０．３」及び「０．１」である情報が設定されている。さらに、図１９に示す類別結果情報１３４において、「項番」が「１」である情報には、「第１確度」として「０．８」が設定されている。

【0102】

また、図１９に示す類別結果情報１３４において、「項番」が「２」である情報には、「部分画像データ」として「ＩＭＡＧＥｄ２」が設定されている。また、図１９に示す類別結果情報１３４において、「項番」が「２」である情報には、「類別結果」として、部分画像データＩＭＡＧＥｄ２に含まれる対象物の種類が「ＡＡＡ」、「ＢＢＢ」及び「ＣＣＣ」のそれぞれである確度が「０．２」、「０．７」及び「０．１」である情報が設定されている。さらに、図１９に示す類別結果情報１３４において、「項番」が「２」である情報には、「第１確度」として「０．９」が設定されている。図１９に含まれる他の情報についての説明は省略する。

【0103】

図１０に戻り、情報処理装置１の第２条件判定部１１７は、Ｓ５５の処理で取得した部分画像データごとに、各部分画像データに対応する類別結果が第１条件を満たすか否か、及び、各部分画像データに対応する第１確度が第２条件を満たすか否かを判定する（Ｓ６３）。

【0104】

具体的に、第１条件判定部１１６は、例えば、各対象物が所定の属性（例えば、軍艦）を有する対象物であることを類別結果が示している場合、各対象物に対応する類別結果が第１条件を満たしていると判定する。また、第１条件判定部１１６は、例えば、各対象物に対応する第１確度が第１閾値よりも大きい場合、各対象物に対応する第１確度が第２条件を満たしていると判定する。

【0105】

そして、情報処理装置１の結果出力部１１８は、Ｓ５５の処理で取得した部分画像データのうち、Ｓ６１の処理で取得した類別結果が第１条件を満たすと判定した部分画像データのそれぞれに含まれる対象物と、Ｓ６１の処理で取得した第１確度が第２条件を満たすと判定した部分画像データのそれぞれに含まれる対象物とについてのアラートを操作端末３に出力する（Ｓ６４）。以下、Ｓ６４の処理の具体例について説明を行う。

【0106】

［Ｓ６４の処理の具体例］
図２０は、Ｓ６４の処理の具体例について説明する図である。

【0107】

図２０に示す情報のうちの「項番」が「１」である情報は、第１確度が第１閾値より高く、かつ、対象物が監視を要するものである場合、アラートの出力が行われることを示している。また、図２０に示す情報のうちの「項番」が「３」である情報は、第１確度が第１閾値より低く、かつ、対象物が監視を要するものである場合、アラートの出力が行われることを示している。さらに、図２０に示す情報のうちの「項番」が「４」である情報は、第１確度が第１閾値より低く、かつ、対象物が監視を要するものでない場合、アラートの出力が行われることを示している。

【0108】

一方、図２０に示す情報のうちの「項番」が「２」である情報は、第１確度が第１閾値より高く、かつ、対象物が監視を要するものでない場合、アラートの出力が行われないことを示している。

【0109】

すなわち、第１確度が高く、かつ、監視を要しない種類の対象物は、作業者が検知を行う必要がない対象物（作業者が対処を行う必要がない対象物）である可能性が極めて高いと判断できる。そのため、結果出力部１１８は、第１確度が高く、かつ、監視を要しない種類の対象物を検出した場合、作業者に対する通知（アラートの出力）を行わない。

【0110】

これにより、情報処理装置１は、例えば、海上における対象物の監視に伴う作業の作業負担を軽減させることが可能になる。

【0111】

また、情報処理装置１の第１条件判定部１１６は、図１１に示すように、Ｓ５５の処理で取得した部分画像データごとに、各部分画像データに対応する第１確度が第２条件を満たすか否か、及び、各部分画像データに対応する第２確度が第３条件を満たすか否かを判定する（Ｓ７１）。

【0112】

具体的に、第２条件判定部１１７は、例えば、各対象物に対応する第２確度が第２閾値よりも大きい場合、各対象物に対応する第２確度が第３条件を満たしていると判定する。

【0113】

そして、結果出力部１１８は、Ｓ５５の処理で取得した部分画像データのうち、Ｓ６１の処理で取得した第１確度が第２条件を満たさず、かつ、Ｓ５３の処理で取得した第２確度が第３条件を満たす部分画像データに含まれる対象物が未学習であることを示す情報を出力する（Ｓ７２）。以下、Ｓ７２の処理の具体例について説明を行う。

【0114】

［Ｓ７２の処理の具体例］
図２１は、Ｓ７２の処理の具体例について説明する図である。図２１に示すグラフでは、横軸が第１確度に対応し、縦軸が第２確度に対応する。

【0115】

図２１に示すグラフは、例えば、第１確度が第１閾値を上回る対象物が第１学習モデル及び第２学習モデルにおいて既に学習済の対象物であると判定されることを示している。

【0116】

また、図２１に示すグラフは、例えば、第１確度が第１閾値を下回る対象物が第１学習モデル及び第２学習モデルにおいて未学習である可能性がある対象物であると判定されることを示している。

【0117】

さらに、図２１に示すグラフは、第１確度が第１閾値を下回り、かつ、第２閾値が第２閾値を下回る対象物が、学習済の対象物であるが動画データ１３３に含まれるノイズ等の影響によって種類の判断が困難な対象物であると判定されることを示している。また、図２１に示すグラフは、第１確度が第１閾値を下回り、かつ、第２閾値が第２閾値を上回る対象物が、未学習の対象物であると判定されることを示している。

【0118】

すなわち、第１確度が低く、かつ、第２確度が高い対象物は、第１学習モデル及び第２学習モデルにおいてまで学習されていない対象物である可能性が極めて高いと判断できる。そのため、結果出力部１１８は、第１確度が低く、かつ、第２確度が高い対象物が存在する場合、その対象物を未学習の対象物として特定する。

【0119】

これにより、情報処理装置１は、第１確度が低い対象物のそれぞれを、学習済の対象物と未学習の対象物とのいずれかに分類することが可能になる。そして、作業者は、例えば、未学習の対象物として特定した対象物のみを第１学習モデル及び第２学習モデルに学習させることで、各学習モデルの精度を高めることが可能になる。

【0120】

このように、本実施の形態における情報処理装置１は、第１学習モデルを用いることによって、動画データ１３３を構成する複数の画像データに含まれる対象物のそれぞれの種類についての類別結果と、その類別結果の第１確度とを取得する。そして、情報処理装置１は、複数の画像データに含まれる対象物ごとに、各対象物に対応する類別結果と第１確度とに基づいて、各対象物が所定の条件を満たすか否かの判定を行う。その後、情報処理装置１は、複数の画像データに含まれる対象物のうち、所定の条件を満たすと判定した対象物が監視対象であることを示す情報を出力する。

【0121】

すなわち、例えば、第１学習モデルによって出力された類別結果に対応する種類が監視対象の種類（例えば、予め定められた監視対象の種類）に含まれていない対象物であって、第１学習モデルによって出力された類別結果の確度が所定の閾値（例えば、予め定められた閾値）よりも高い対象物が存在する場合、情報処理装置１は、存在した対象物についての監視を行う必要がないと判断する。一方、例えば、第１学習モデルによって出力された類別結果に対応する種類が監視対象の種類に含まれている対象物や、第１学習モデルによって出力された類別結果の確度が所定の閾値よりも低い対象物が存在する場合、情報処理装置１は、存在した対象物についての監視を行う必要があると判断する。

【0122】

これにより、情報処理装置１は、第１学習モデルを用いることで、作業者が目視による監視を行う必要がある対象物を特定することが可能になる。そのため、情報処理装置１は、対象物の監視に伴う作業者の負担を抑制することが可能になる。

【0123】

以上の実施の形態をまとめると、以下の付記のとおりである。

【0124】

（付記１）
動画像を取得し、
画像に含まれる対象物の種類候補と前記対象物の種類が前記種類候補である確度とを学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像に含まれる対象物のそれぞれの種類についての類別結果と、前記類別結果の確度を示す第１確度とを取得し、
前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記類別結果と前記第１確度とに基づいて、各対象物が所定の条件を満たすか否かの判定を行い、
前記複数の画像に含まれる対象物のうち、前記所定の条件を満たすと判定した対象物が監視対象であることを示す情報を出力する、
処理をコンピュータに実行させることを特徴とする情報出力プログラム。

【0125】

（付記２）
付記１において、さらに、
前記類別結果と前記第１確度とを取得する処理の前に、対象物を含む学習用画像と前記学習用画像に含まれる前記対象物の種類候補を示す情報とをそれぞれ含む複数の第１学習データの学習を行うことにより、前記第１学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする情報出力プログラム。

【0126】

（付記３）
付記１において、
前記判定を行う処理では、前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記類別結果が第１条件を満たすか否か、及び、各対象物に対応する前記第１確度が第２条件を満たすか否かを判定し、
前記出力する処理では、前記複数の画像に含まれる対象物のうち、前記類別結果が前記第１条件を満たすと判定した対象物と前記第１確度が前記第２条件を満たすと判定した対象物とについてのアラートを出力する、
ことを特徴とする情報出力プログラム。

【0127】

（付記４）
付記３において、
前記判定を行う処理では、各対象物が所定の属性を有する対象物であることを前記類別結果が示している場合、各対象物に対応する前記類別結果が前記第１条件を満たしていると判定する、
ことを特徴とする情報出力プログラム。

【0128】

（付記５）
付記３において、
前記判定を行う処理では、各対象物に対応する前記第１確度が第１閾値よりも大きい場合、各対象物に対応する前記第１確度が前記第２条件を満たしていると判定する、
ことを特徴とする情報出力プログラム。

【0129】

（付記６）
付記３において、さらに、
画像における対象物の位置情報を学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれに対象物が存在する確度を示す第２確度を取得する、
処理をコンピュータに実行させ、
前記判定を行う処理では、前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記第１確度が前記第２条件を満たすか否かを判定し、かつ、各対象物に対応する前記第２確度が第３条件を満たすか否かを判定し、
前記出力する処理では、前記複数の画像に含まれる対象物のうち、前記第１確度が前記第２条件を満たさず、かつ、前記第２確度が前記第３条件を満たす対象物が未学習であることを示す情報を出力する、
ことを特徴とする情報出力プログラム。

【0130】

（付記７）
付記６において、さらに、
前記第２確度を取得する処理の前に、対象物を含む学習用画像と前記学習用画像における前記対象物の位置情報とをそれぞれ含む複数の第２学習データの学習を行うことにより、前記第２学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする情報出力プログラム。

【0131】

（付記８）
付記６において、
前記判定を行う処理では、各対象物に対応する前記第２確度が第２閾値よりも大きい場合、各対象物に対応する前記第２確度が前記第３条件を満たしていると判定する、
ことを特徴とする情報出力プログラム。

【0132】

（付記９）
動画像を取得し、
画像に含まれる対象物の種類候補と前記対象物の種類が前記種類候補である確度とを学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像に含まれる対象物のそれぞれの種類についての類別結果と、前記類別結果の確度を示す第１確度とを取得し、
画像における対象物の位置情報を学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれに対象物が存在する確度を示す第２確度を取得し、
前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記第１確度が条件を満たすか否かを判定し、かつ、各対象物に対応する前記第２確度が他の条件を満たすか否かを判定し、
前記複数の画像に含まれる対象物のうち、前記第１確度が前記条件を満たさず、かつ、前記第２確度が前記他の条件を満たす対象物が未学習であることを示す情報を出力する、
処理をコンピュータに実行させることを特徴とする情報出力プログラム。

【0133】

（付記１０）
動画像を取得する情報取得部と、
画像に含まれる対象物の種類候補と前記対象物の種類が前記種類候補である確度とを学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像に含まれる対象物のそれぞれの種類についての類別結果と、前記類別結果の確度を示す第１確度とを取得する結果取得部と、
前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記類別結果と前記第１確度とに基づいて、各対象物が所定の条件を満たすか否かの判定を行う第１条件判定部と、
前記複数の画像に含まれる対象物のうち、前記所定の条件を満たすと判定した対象物が監視対象であることを示す情報を出力する結果出力部と、を有する、
ことを特徴とする情報出力装置。

【0134】

（付記１１）
付記１０において、
前記第１条件判定部は、前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記類別結果が第１条件を満たすか否か、及び、各対象物に対応する前記第１確度が第２条件を満たすか否かを判定し、
前記結果出力部は、前記複数の画像に含まれる対象物のうち、前記類別結果が前記第１条件を満たすと判定した対象物と前記第１確度が前記第２条件を満たすと判定した対象物とについてのアラートを出力する、
ことを特徴とする情報出力装置。

【0135】

（付記１２）
付記１１において、
前記結果取得部は、画像における対象物の位置情報を学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれに対象物が存在する確度を示す第２確度を取得し、さらに、
前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記第１確度が前記第２条件を満たすか否かを判定し、かつ、各対象物に対応する前記第２確度が第３条件を満たすか否かを判定する第２条件判定部を有し、
前記結果出力部は、前記複数の画像に含まれる対象物のうち、前記第１確度が前記第２条件を満たさず、かつ、前記第２確度が前記第３条件を満たす対象物が未学習であることを示す情報を出力する、
ことを特徴とする情報出力装置。

【0136】

（付記１３）
動画像を取得する情報取得部と、
画像に含まれる対象物の種類候補と前記対象物の種類が前記種類候補である確度とを学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像に含まれる対象物のそれぞれの種類についての類別結果と、前記類別結果の確度を示す第１確度とを取得し、さらに、画像における対象物の位置情報を学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれに対象物が存在する確度を示す第２確度を取得する結果取得部と、
前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記第１確度が条件を満たすか否かを判定し、かつ、各対象物に対応する前記第２確度が他の条件を満たすか否かを判定する第２条件判定部と、
前記複数の画像に含まれる対象物のうち、前記第１確度が前記条件を満たさず、かつ、前記第２確度が前記他の条件を満たす対象物が未学習であることを示す情報を出力する結果取得部を有する、
ことを特徴とする情報出力装置。

【0137】

（付記１４）
動画像を取得し、
画像に含まれる対象物の種類候補と前記対象物の種類が前記種類候補である確度とを学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像に含まれる対象物のそれぞれの種類についての類別結果と、前記類別結果の確度を示す第１確度とを取得し、
前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記類別結果と前記第１確度とに基づいて、各対象物が所定の条件を満たすか否かの判定を行い、
前記複数の画像に含まれる対象物のうち、前記所定の条件を満たすと判定した対象物が監視対象であることを示す情報を出力する、
処理をコンピュータに実行させることを特徴とする情報出力方法。

【0138】

（付記１５）
付記１４において、
前記判定を行う処理では、前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記類別結果が第１条件を満たすか否か、及び、各対象物に対応する前記第１確度が第２条件を満たすか否かを判定し、
前記出力する処理では、前記複数の画像に含まれる対象物のうち、前記類別結果が前記第１条件を満たすと判定した対象物と前記第１確度が前記第２条件を満たすと判定した対象物とについてのアラートを出力する、
ことを特徴とする情報出力方法。

【0139】

（付記１６）
付記１５において、さらに、
画像における対象物の位置情報を学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれに対象物が存在する確度を示す第２確度を取得する、
処理をコンピュータに実行させ、
前記判定を行う処理では、前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記第１確度が前記第２条件を満たすか否かを判定し、かつ、各対象物に対応する前記第２確度が第３条件を満たすか否かを判定し、
前記出力する処理では、前記複数の画像に含まれる対象物のうち、前記第１確度が前記第２条件を満たさず、かつ、前記第２確度が前記第３条件を満たす対象物が未学習であることを示す情報を出力する、
ことを特徴とする情報出力方法。

【0140】

（付記１７）
動画像を取得し、
画像に含まれる対象物の種類候補と前記対象物の種類が前記種類候補である確度とを学習した第１学習モデルを用いることによって、前記動画像を構成する複数の画像に含まれる対象物のそれぞれの種類についての類別結果と、前記類別結果の確度を示す第１確度とを取得し、
画像における対象物の位置情報を学習した第２学習モデルを用いることによって、前記複数の画像のそれぞれに対象物が存在する確度を示す第２確度を取得し、
前記複数の画像に含まれる対象物ごとに、各対象物に対応する前記第１確度が条件を満たすか否かを判定し、かつ、各対象物に対応する前記第２確度が他の条件を満たすか否かを判定し、
前記複数の画像に含まれる対象物のうち、前記第１確度が前記条件を満たさず、かつ、前記第２確度が前記他の条件を満たす対象物が未学習であることを示す情報を出力する、
処理をコンピュータに実行させることを特徴とする情報出力方法。

【符号の説明】

【0141】

１：情報処理装置 ３：操作端末
１０：情報処理システム ＮＷ：ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】