特許 7507957 画像解析システム及び機械学習モデルの更新方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-20

(45)【発行日】2024-06-28

(54)【発明の名称】画像解析システム及び機械学習モデルの更新方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240621BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 9

(21)【出願番号】P 2023505174

(86)(22)【出願日】2022-01-19

(86)【国際出願番号】 JP2022001751

(87)【国際公開番号】W WO2022190655

(87)【国際公開日】2022-09-15

【審査請求日】2023-06-01

(31)【優先権主張番号】P 2021039112

(32)【優先日】2021-03-11

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100093104

【弁理士】

【氏名又は名称】船津 暢宏

(72)【発明者】

【氏名】長谷川 圭吾

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０２０－０４６９２８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ ー ７／９０

Ｖ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

撮影された画像を解析する画像解析サーバを有する画像解析システムであって、
前記画像解析サーバは、
学習済の運用中モデルで画像解析の推論を行い、対象物を検知する第１の推論部と、
再学習を行い、再学習済モデルを生成する再学習部と、
前記再学習済モデルで画像解析の推論を行い、対象物を検知する第２の推論部と、
前記第１の推論部と前記第２の推論部の実行結果を比較し、前記運用中モデルから前記再学習済モデルに更新するか否かを判定する比較部とを有し、
前記運用中モデルから前記再学習済モデルに更新するための判定条件は、対象物が映る領域において、前記運用中モデルで正検知されず、かつ、前記再学習済モデルで正検知された対象物の数が、前記再学習済モデルで正検知されず、かつ、前記運用中モデルで正検知された対象物の数より大きいことを第１の条件とすることを特徴とする画像解析システム。

【請求項2】

撮影された画像を解析する画像解析サーバを有する画像解析システムであって、
前記画像解析サーバは、
学習済の運用中モデルで画像解析の推論を行い、対象物を検知する第１の推論部と、
再学習を行い、再学習済モデルを生成する再学習部と、
前記再学習済モデルで画像解析の推論を行い、対象物を検知する第２の推論部と、
前記第１の推論部と前記第２の推論部の実行結果を比較し、前記運用中モデルから前記再学習済モデルに更新するか否かを判定する比較部とを有し、
前記運用中モデルから前記再学習済モデルに更新するための判定条件は、対象物が存在しない領域において、前記再学習済モデルで誤検知されず、かつ、前記運用中モデルで誤検知された対象物の数が、前記運用中モデルで誤検知されず、かつ、前記再学習済モデルで誤検知された対象物の数より大きいことを第２の条件とすることを特徴とする画像解析システム。

【請求項3】

前記画像解析サーバには、第１の推論部の推論結果と第２の推論部の推論結果を表示し、画像解析で検知された検知結果についての正否情報と正解情報の入力を行う操作端末が接続されていることを特徴とする請求項１又は２記載の画像解析システム。

【請求項4】

前記画像解析サーバは、第１の推論部の推論結果及び第２の推論部の推論結果と、操作端末からの正否情報と正解情報と、運用中モデルと再学習済モデルの画像解析結果の一致又は不一致の情報を記憶するデータベース部を備えることを特徴とする請求項３記載の画像解析システム。

【請求項5】

運用中モデルから再学習済モデルに更新するための判定条件は、前記運用中モデルで正検知され、前記再学習済モデルでは正検知されなかった対象物に、見逃してはならないものが含まれていないことを第３の条件とすることを特徴とする請求項１乃至４のいずれか記載の画像解析システム。

【請求項6】

運用中モデルから再学習済モデルに更新するための判定条件は、前記運用中モデルでは誤検知されず、前記再学習済モデルで誤検知された対象物に、誤検知してはならないものが含まれていないことを第４の条件とすることを特徴とする請求項１乃至５のいずれか記載の画像解析システム。

【請求項7】

運用中モデルから再学習済モデルに更新するための判定条件は、前記運用中モデルで正検知された数に対して、前記運用中モデルと前記再学習済モデルで共に正検知された数が、特定割合以上であることを第５の条件とすることを特徴とする請求項１乃至６のいずれか記載の画像解析システム。

【請求項8】

撮影された画像を解析する画像解析サーバで用いられる機械学習モデルの更新方法であって、
前記画像解析サーバが、
学習済の運用中モデルで画像解析して対象物を検知する第１の推論を行い、
再学習済モデルで画像解析して対象物を検知する第２の推論を行い、
前記第１の推論と前記第２の推論の実行結果を比較し、前記運用中モデルから前記再学習済モデルに更新するか否かを判定するものであり、
前記運用中モデルから前記再学習済モデルに更新するための判定条件は、対象物が映る領域において、前記運用中モデルで正検知されず、かつ、前記再学習済モデルで正検知された対象物の数が、前記再学習済モデルで正検知されず、かつ、前記運用中モデルで正検知された対象物の数より大きいことを第１の条件とすることを特徴とする機械学習モデルの更新方法。

【請求項9】

撮影された画像を解析する画像解析サーバで用いられる機械学習モデルの更新方法であって、
前記画像解析サーバが、
学習済の運用中モデルで画像解析して対象物を検知する第１の推論を行い、
再学習済モデルで画像解析して対象物を検知する第２の推論を行い、
前記第１の推論と前記第２の推論の実行結果を比較し、前記運用中モデルから前記再学習済モデルに更新するか否かを判定するものであり、
前記運用中モデルから前記再学習済モデルに更新するための判定条件は、対象物が存在しない領域において、前記再学習済モデルで誤検知されず、かつ、前記運用中モデルで誤検知された対象物の数が、前記運用中モデルで誤検知されず、かつ、前記再学習済モデルで誤検知された対象物の数より大きいことを第２の条件とすることを特徴とする機械学習モデルの更新方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像解析を行う画像解析システムに係り、特に、運用中の学習済モデルと再学習済モデルの検知精度の変化を比較して学習モデルの更新を適切に行う画像解析システム及び機械学習モデルの更新方法に関する。

【背景技術】

【0002】

［従来の技術］
近年注目を集めている人工知能（ＡＩ：Artificial Intelligence）のディープラーニングなどの機械学習の多くは、教師あり学習と呼ばれる方法で学習が行われ、学習済モデルを生成する。

【0003】

例えば、監視カメラ映像から侵入者や侵入車両を検知するような特定物体を検知する場合、以下の５つのステップでシステムが構築される。
第１のステップは、学習データの取得であり、様々な撮影条件（天候・昼夜などが異なる条件）で撮影された人物を含む画像を用意する。
第２のステップは、正解付け（アノテーション、ラベル付け）であり、画像と対象物が映る領域（座標など）と属性（人、車など）で紐づけることにより学習データを生成する。

【0004】

第３のステップは、モデルの学習であり、学習データを用いて計算機上で学習する。
第４のステップは、テストデータによる評価であり、学習データとは別に用意したテストデータを使って対象物の検知精度を評価する。
第５のステップは、デプロイ（運用開始）であり、システムに実装して運用を行う。

【0005】

そして、運用開始後に検知精度をさらに向上させたい場合や、例えば、建物が建つ、樹木が伸びる、学習されていない天候（データは夏であるが冬になると雪が降る）等の背景が変化したり、また、カメラ画質の設定変更を行ったりすることで検知精度が劣化した場合などはモデルの再学習を行う必要がある。

【0006】

［関連技術］
尚、関連する先行技術として、国際公開第２０２０／０５３９５３号「照合システム及び照合サーバ」（特許文献１）がある。
特許文献１には、検出器により取得された検出データを予め登録された登録データと照合する照合システムが示されている。

【先行技術文献】

【特許文献】

【0007】

【文献】国際公開第２０２０／０５３９５３号

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、従来の技術では、一度運用を開始したシステムのモデルを再学習済モデルに変更すると、検知精度が向上したとしても、それまで検知できていた人物が検知できなくなる可能性があり、システムを利用する警備員はシステムの特性を理解して業務を行うことも多いため、システムの特性が変わることは、必ずしも検知精度向上が運用上良いことにならないという問題点があった。

【0009】

尚、特許文献１には、運用中の学習済モデルと再学習済モデルの検知精度の変化を比較して学習モデルの更新を行うことについての記載がない。

【0010】

本発明は上記実情に鑑みて為されたもので、運用中の学習済モデルと再学習済モデルの検知精度の変化を比較することで学習モデルの更新を適切に行う画像解析システム及び機械学習モデルの更新方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

上記従来例の問題点を解決するための本発明は、撮影された画像を解析する画像解析サーバを有する画像解析システムであって、画像解析サーバは、学習済の運用中モデルで画像解析の推論を行い、対象物を検知する第１の推論部と、再学習を行い、再学習済モデルを生成する再学習部と、再学習済モデルで画像解析の推論を行い、対象物を検知する第２の推論部と、第１の推論部と第２の推論部の実行結果を比較し、運用中モデルから再学習済モデルに更新するか否かを判定する比較部とを有し、運用中モデルから再学習済モデルに更新するための判定条件は、対象物が映る領域において、運用中モデルで正検知されず、かつ、再学習済モデルで正検知された対象物の数が、再学習済モデルで正検知されず、かつ、運用中モデルで正検知された対象物の数より大きいことを第１の条件とすることを特徴とする。

【0012】

本発明は、撮影された画像を解析する画像解析サーバを有する画像解析システムであって、画像解析サーバは、学習済の運用中モデルで画像解析の推論を行い、対象物を検知する第１の推論部と、再学習を行い、再学習済モデルを生成する再学習部と、再学習済モデルで画像解析の推論を行い、対象物を検知する第２の推論部と、第１の推論部と第２の推論部の実行結果を比較し、運用中モデルから再学習済モデルに更新するか否かを判定する比較部とを有し、運用中モデルから再学習済モデルに更新するための判定条件は、対象物が存在しない領域において、再学習済モデルで誤検知されず、かつ、運用中モデルで誤検知された対象物の数が、運用中モデルで誤検知されず、かつ、再学習済モデルで誤検知された対象物の数より大きいことを第２の条件とすることを特徴とする。

【0013】

本発明は、上記画像解析システムにおいて、画像解析サーバには、第１の推論部の推論結果と第２の推論部の推論結果を表示し、画像解析で検知された検知結果についての正否情報と正解情報の入力を行う操作端末が接続されていることを特徴とする。

【0014】

本発明は、上記画像解析システムにおいて、画像解析サーバは、第１の推論部の推論結果及び第２の推論部の推論結果と、操作端末からの正否情報と正解情報と、運用中モデルと再学習済モデルの画像解析結果の一致又は不一致の情報を記憶するデータベース部を備えることを特徴とする。

【0016】

本発明は、上記画像解析システムにおいて、運用中モデルから再学習済モデルに更新するための判定条件は、運用中モデルで正検知され、再学習済モデルでは正検知されなかった対象物に、見逃してはならないものが含まれていないことを第３の条件とすることを特徴とする。

【0017】

本発明は、上記画像解析システムにおいて、運用中モデルから再学習済モデルに更新するための判定条件は、運用中モデルでは誤検知されず、再学習済モデルで誤検知された対象物に、誤検知してはならないものが含まれていないことを第４の条件とすることを特徴とする。

【0018】

本発明は、上記画像解析システムにおいて、運用中モデルから再学習済モデルに更新するための判定条件は、運用中モデルで正検知された数に対して、運用中モデルと再学習済モデルで共に正検知された数が、特定割合以上であることを第５の条件とすることを特徴とする。

【0019】

本発明は、撮影された画像を解析する画像解析サーバで用いられる機械学習モデルの更新方法であって、画像解析サーバが、学習済の運用中モデルで画像解析して対象物を検知する第１の推論を行い、再学習済モデルで画像解析して対象物を検知する第２の推論を行い、第１の推論と第２の推論の実行結果を比較し、運用中モデルから再学習済モデルに更新するか否かを判定するものであり、運用中モデルから再学習済モデルに更新するための判定条件は、対象物が映る領域において、運用中モデルで正検知されず、かつ、再学習済モデルで正検知された対象物の数が、再学習済モデルで正検知されず、かつ、運用中モデルで正検知された対象物の数より大きいことを第１の条件とすることを特徴とする。
本発明は、撮影された画像を解析する画像解析サーバで用いられる機械学習モデルの更新方法であって、画像解析サーバが、学習済の運用中モデルで画像解析して対象物を検知する第１の推論を行い、再学習済モデルで画像解析して対象物を検知する第２の推論を行い、記第１推論と第２の推論の実行結果を比較し、運用中モデルから再学習済モデルに更新するか否かを判定するものであり、運用中モデルから再学習済モデルに更新するための判定条件は、対象物が存在しない領域において、再学習済モデルで誤検知されず、かつ、運用中モデルで誤検知された対象物の数が、運用中モデルで誤検知されず、かつ、再学習済モデルで誤検知された対象物の数より大きいことを第２の条件とすることを特徴とする。

【発明の効果】

【0020】

本発明によれば、撮影された画像を解析する画像解析サーバを有する画像解析システムが、学習済の運用中モデルで画像解析の推論を行い、対象物を検知する第１の推論部と、再学習を行い、再学習済モデルを生成する再学習部と、再学習済モデルで画像解析の推論を行い、対象物を検知する第２の推論部と、第１の推論部と第２の推論部の実行結果を比較し、運用中モデルから再学習済モデルに更新するか否かを判定する比較部とを有し、運用中モデルから再学習済モデルに更新するための判定条件は、対象物が映る領域において、運用中モデルで正検知されず、かつ、再学習済モデルで正検知された対象物の数が、再学習済モデルで正検知されず、かつ、運用中モデルで正検知された対象物の数より大きいことを第１の条件とする画像解析システムとしているので、運用中モデルと再学習済モデルの実行結果を比較することで運用中モデルから再学習済モデルへの更新を適切に行うことができる効果がある。

【図面の簡単な説明】

【0021】

【図1】本システムの構成概略図である。

【図2】本システムのモデルの更新処理を示すフロー図である。

【図3】運用中モデルと再学習済モデルの推論結果の組み合わせを集合関係で表す図である。

【図4】図３における各ケースの性能変化を示す説明図である。

【図5】操作端末における表示例を示す概略図である。

【発明を実施するための形態】

【0022】

本発明の実施の形態について図面を参照しながら説明する。
［実施の形態の概要］
本発明の実施の形態に係る画像解析システム（本システム）は、撮影された画像を解析する画像解析サーバが、学習済の運用中モデルで推論を行う第１の推論部と、再学習を行い、再学習済モデルを生成する再学習部と、再学習済モデルで推論を行う第２の推論部と、第１の推論部と第２の推論部の実行結果を比較し、運用中モデルから再学習済モデルへの更新を判定する比較部とを有するものであり、運用中モデルと再学習済モデルの実行結果を比較することで運用中モデルから再学習済モデルへの更新を適切に行うことができるものである。

【0023】

［本システム：図１］
本システムの構成について図１を参照しながら説明する。図１は、本システムの構成概略図である。
本システムは、図１に示すように、画像解析サーバ１と、操作端末（監視卓）２と、映像取得装置３とから構成されている。
図１では、画像解析サーバ１に操作端末２と映像取得装置３が接続しているが、各装置がネットワークを介して接続する構成であってもよい。

【0024】

［本システムの各部］
［画像解析サーバ１］
画像解析サーバ１は、例えば高性能なコンピュータなどによって実現され、第１の推論部１１と、第２の推論部１２と、データベース部１３と、再学習部１４と、比較部１５とから構成されている。
画像解析サーバ１における各部の機能の詳細は後述する。

【0025】

［映像取得装置３］
映像取得装置３は、例えば、ネットワークカメラ３１によって実現され、撮影した映像を画像解析サーバ１の第１の推論部１１と第２の推論部１２に出力する。

【0026】

［操作端末（監視卓）２］
操作端末（監視卓）２は、例えばパーソナルコンピュータ（ＰＣ）などによって実現され、画像解析サーバ１の第１の推論部１１と第２の推論部１２の推論（画像解析）結果を表示する手段（表示部）と、推論結果の正否を入力する手段（入力部）と、再学習のための正解を入力する手段（入力部）とを備える。
図１では、表示を行う画面のインタフェースと入出力を行う入出力のインタフェースをまとめて画面／入力インタフェース（画面／入力ＩＦ）２１として示している。

【0027】

また、操作端末２は、画像解析サーバ１の第１の推論部１１と第２の推論部１２の推論結果を入力し、その推論結果を表示部に表示させ、入力部から入力された推論結果の正否（単に「推論結果」ということがある）及び再学習のための正解（判定結果）を画像解析サーバ１のデータベース部１３に出力する制御手段（制御部）を有している。

【0028】

［画像解析サーバ１の各部］
画像解析サーバ１の各部について具体的に説明する。
［第１の推論部１１］
第１の推論部１１は、映像取得装置３から映像データを入力し、運用中のモデル（学習済モデル）１１１で推論（画像解析）を行い、推論結果（第１の推論結果）を操作端末２の画面／入力ＩＦ２１に出力する。
また、第１の推論部１１は、後述する条件を満たすと運用中モデル１１１が再学習部１４で再学習されたモデル１４２で更新される。

【0029】

［第２の推論部１２］
第２の推論部１２は、映像取得装置３から映像データを入力し、再学習済モデル１２１で推論（画像解析）を行い、推論結果（第２の推論結果）を操作端末２の画面／入力ＩＦ２１に出力する。
また、第２の推論部１２は、後述する条件を満たすと再学習済モデル１２１が再学習部１４で再学習されたモデル１４２で更新される。

【0030】

尚、第１の推論部１１と第２の推論部１２は、映像取得装置３で取得された映像データを入力するようにしているが、既に撮影された映像データを記憶する別の記憶部から映像データを入力するようにしてもよい。

【0031】

［データベース部１３］
データベース部１３は、第１の推論部１１と第２の推論部１２の推論結果と、操作端末２で入力された推論結果の正否（正検知・誤検知・見逃し）と、操作端末２で作成された正解情報と、運用中モデル１１１と再学習済モデル１２１の画像解析結果の一致又は不一致の情報とを保持する。

【0032】

具体的には、データベース部１３は、以下のキーを持つレコードで構成される。キーとしては、検知ＩＤ（識別情報）、モデルＩＤ、フレームＩＤ、座標、クラスＩＤ、比較結果である。
検知ＩＤは、検知結果毎の固有ＩＤであり、主キーとなるものである。
モデルＩＤは、検知に使用したモデル（運用中・再学習済・過去のモデル等の固有に割り当てられたＩＤで、モデルを識別する。尚、モデルＩＤには、正解付け完了情報が紐付けられる。正解付け完了情報は、操作端末２で正解付けが完了しているか否かを示す情報である。

【0033】

フレームＩＤは、検知結果がどの画像フレームに対するものであるかを区別するためのフレーム固有のＩＤである。
座標は、検知した物体の領域を表し、例えば、矩形領域の場合は、矩形の左上のｘ座標、ｙ座標、幅、高さの情報となる。
クラスＩＤは、検知した物体の属性（人、車など）を示すＩＤである。
比較結果は、運用中モデル１１１と再学習済モデル１２１の比較結果（一致／不一致）の情報である。完全に領域が一致していなくても一定の面積以上の重複がある場合には一致しているものとみなしてもよい。

【0034】

［再学習部１４］
再学習部１４は、データベース部１３に保持されているデータの中から必要な学習データを使って再学習を行う手段（再学習実行部１４１）と、再学習で生成されたモデル（再学習生成モデル１４２）を保持する手段とを備えている。

【0035】

再学習生成モデル１４２は、再学習が完了すると、第２の推論部１２に再学習済モデル１２１として組み込まれる。
また、再学習生成モデル１４２は、比較部１５で学習モデルの更新条件に合致すると判定され、モデル更新命令が入力されると、運用中モデル１１１を再学習生成モデル１４２に置き換え（組み替え）る。
これは、再学習生成モデル１４２は再学習済モデル１２１と同じであるので、運用中モデル１１１を再学習済モデル１２１で更新したことになる。

【0036】

［比較部１５］
比較部１５は、第１の推論部１１と第２の推論部１２の画像解析結果をデータベース部１３から取得して比較し、解析結果の一致又は不一致を判定する手段（結果比較部１５１）を備えている。

【0037】

また、結果比較部１５１は、後述するモデル更新の条件に合致する場合には、再学習部１４の再学習生成モデル１４２にモデル更新命令を出力し、再学習済の再学習生成モデル１４２を運用中モデル１１１に組み込んで、運用中モデル１１１から再学習済モデル１２１への更新を行う。

【0038】

［モデルの更新処理：図２］
次に、本システムにおける推論を行うモデルの更新処理について図２を参照しながら説明する。図２は、本システムのモデルの更新処理を示すフロー図である。
本システムで更新の処理が開始されると、まず、学習データを使って既に学習が行われたモデル（運用中モデル１１１)による推論が開始される（Ｓ１）。

【0039】

次に、第１の推論部１１による推論結果を操作端末２が入力して表示部に表示する（Ｓ２）。通常の監視業務の場合、推論結果を確認することによって、侵入者などをいち早く発見することができる。
図２の更新処理では、操作端末２に推論結果の表示を行うだけでなく、侵入者など特定物体を検知した通知結果に対して、正誤の入力を操作端末２の入力部から行う。画面内に複数の物体を検知した場合には、検知結果毎に正誤の入力を行う。また、見逃しに気づいた場合にも見逃しがあったことを入力する。

【0040】

次に、処理Ｓ２で入力された情報（正誤、見逃しの情報）と、対応する映像データ（画像データ）を学習データとしてデータベース部１３に保存して、学習データの蓄積を行う（Ｓ３）。
この情報は、再学習を行う際に例えば、誤検知したものや見逃しのあったものを学習データに加えることで、効率的に学習を行うことができる。

【0041】

次に、データベース部１３に保存されている画像データを使って再学習を実行する（Ｓ４）。このとき、正解付けがなされていない場合には、学習が可能となるように正解付けを行った上で、再学習する。正解付けは、例えば、物体の矩形領域情報（左上座標と幅と高さ）と属性（人、車などの種別）などの情報を画像データ毎に紐づける。

【0042】

そして、処理Ｓ４で生成された再学習済モデルの検証を行うため、第２の推論部１２で推論を行う。つまり、再学習済モデル１２１を仮運用するものである（Ｓ５）。
第２の推論部１２での推論結果は、第１の推論部１１の推論結果とともに操作端末２に表示される。

【0043】

処理Ｓ２と同様に、第１の推論部１１と第２の推論部１２のそれぞれの結果に対して、正誤の入力が行われ、処理Ｓ３と同様にデータベース部１３に推論結果が保存される。
尚、処理Ｓ４での再学習済モデルの検証では、最新の撮影環境に合わせるため、運用中のデータを用いているが、過去に蓄積されたテスト用のデータも合わせて検証に用いてもよい。ただし、適切な評価を行うためテストデータは再学習用のデータとしては用いない。

【0044】

次に、比較部１５は、データベース部１３に保存されている運用中モデル１１１と再学習済モデル１２１の推論結果の一致又は不一致について判定を行う。その結果を基に、モデル更新条件を満たすかどうかの判定を行う（Ｓ６）。判定条件の詳細は後述する。
更新条件を満たさない場合（Ｎｏの場合）は、処理Ｓ３に戻り再学習を継続する。再学習継続時のデータ選択方法については後述する。

【0045】

再学習を行うときの元となるモデルは運用中モデル１１１でも再学習済モデル１２１でもよく、両方に対して再学習を行うこととして、処理Ｓ３～処理Ｓ６を実行して最良のモデルを更新用の再学習済モデルとして選定してもよい。

【0046】

比較部１５は、判定処理Ｓ６で、モデル更新条件を満たす場合（Ｙｅｓの場合）には、モデル更新を行い（Ｓ７）、第１の推論部１１で使用されている運用中モデル１１１を再学習済モデル１２１と置き換える。
本システムにおいて、再学習を終了する場合（更新終了する場合／Ｙｅｓ場合）には、再学習は本処理を終了し、再学習を継続する場合（更新終了しない場合／Ｎｏの場合）には、処理Ｓ３に戻る。尚、再学習を再開する場合には処理Ｓ１に戻ることになる。

【0047】

［モデル更新判定条件：図３，４］
次に、比較部１５におけるモデル更新判定の条件について図３及び図４を参照しながら説明する。図３は、運用中モデルと再学習済モデルの推論結果の組み合わせを集合関係で表す図であり、図４は、図３における各ケースの性能変化を示す説明図である。
運用中モデル１１１と再学習済モデル１２１の推論結果の組み合わせをケースＡ～Ｇの７種類について集合関係がある。

【0048】

あらゆる画像は、対象物が映る領域と、背景が映る領域の２つに分類される。対象物が映る領域で検知されたものは「正検知」であり、検知されない場合は「見逃し」である。また、背景が映る領域で検知されたものは「誤検知」である。

【0049】

運用中モデル１１１と再学習済モデル１２１のそれぞれについて、正検知と誤検知が異なって発生するので、本実施の形態では、その関係を基に精度が改善することを保証するための第１の条件と第２の条件を設ける。

【0050】

［第１の条件：Ｂ－Ｃ＞第１の閾値］
再学習済モデル１２１が新たに正検知した数（Ｂ）が、再学習によって検知しなくなった数（Ｃ）よりも大きい場合は、検知率（再現率）が向上したことになるため、第１の閾値以上であることを第１の条件とする。つまり、検知率向上の第１の条件を満たす場合は、モデル更新を行うと判定する。
これは、再学習済モデル１２１が正検知した数（Ａ＋Ｂ）と運用中モデル１１１が正検知した数（Ａ＋Ｃ）の差分を第１の閾値と比較することと等価である。

【0051】

［第２の条件：Ｅ－Ｆ＞第２の閾値］
再学習済モデル１２１では検知しなくなった誤検知した数（Ｅ）が、再学習によって新たに誤検知した数（Ｆ）よりも大きい場合、誤検知が減少（適合率が向上）したことになるため、第２の閾値以上であることを第２の条件とする。つまり、誤検知減少の第２の条件を満たす場合は、モデル更新を行うと判定する。
これは、運用中モデル１１１が誤検知した数（Ｅ＋Ｇ）と再学習済モデル１２１が誤検知した数（Ｆ＋Ｇ）の差分を第２の閾値と比較することと等価である。
また、以下の第３の条件、第４の条件、第５の条件を加えてもよい。

【0052】

［第３の条件］
再学習によって検知しなくなった対象（Ｃ）の中に見逃してはならない事象（対象物）が含まれていないことを第３の条件とする。つまり、運用中モデル１１１は正検知したが、再学習済モデル１２１が正検知しなかった事象の中に、見逃してはならない事象が含まれている場合には、モデル更新を行わないと判定する。

【0053】

［第４の条件］
再学習によって新たに誤検知した対象（Ｆ）の中に誤検知してはいけない事象が含まれていないことを第４の条件とする。つまり、再学習済モデル１２１で誤検知した事象の中に、誤検知してはいけない事象が含まれている場合には、モデル更新は行わないと判定する。

【0054】

［第５の条件：Ａ／（Ａ＋Ｃ）＞第３の閾値］
再学習前（運用中）モデル１１１が検知できる対象を一定の割合以上で検知できていることを第５の条件とする。つまり、再学習済モデル１２１が、運用中モデル１１１が正検知した事項を特定割合以上含む（重複する）場合には、モデル更新を行うと判定する。

【0055】

これらの条件は、運用中モデル１１１と再学習済モデル１２１の検知結果のみを用いることを特徴としており、全ての映像を確認して見逃しの事象についての検証を行う必要がないため、効率的な方法である。

【0056】

［再学習時のデータの選択方法］
再学習に好適なデータの例として、再学習によって検知しなくなった対象（Ｃ）、再学習によって新たに誤検知した対象（Ｆ）について学習データに追加することで効率的に学習が可能となる。
これら対象（Ｃ）（Ｆ）のデータは、全画像に対して正解付けの処理を行う必要がなく、自動で選定された少数の画像であるため、正解付けを短時間で行うことが可能となる。当然に、見逃しが発生した画像に対しても正解付けを行うことで精度を改善することができる。

【0057】

［操作端末２の表示例：図５］
次に、操作端末２における表示部での表示例について図５を参照しながら説明する。図５は、操作端末における表示例を示す概略図である。
操作端末２は、図５に示すように、運用中モデル１１１とテスト運用中のモデル（再学習済モデル１２１）の画像解析結果を表示する機能を備えており、同一画像に対する解析結果を並べて確認できる。

【0058】

また、各結果に対して、入力部のマウス操作で検知枠を選択することで「正検知」（Ac
cept）又は「誤検知」（Reject）を入力する機能を備えている。
また、Ｄｒａｗ機能によって、見逃しに対して矩形を描画することで正解付けを行う機能を備えている。
また、２つの解析結果画面は過去のデータに入れ替えることも可能であり、正解付けがなされた学習データセットや、テストデータセットについての表示を行ってもよい。

【0059】

［実施の形態の効果］
本システムによれば、撮影された画像を解析する画像解析サーバ１で、第１の推論部１１が学習済の運用中モデル１１１で推論を行い、再学習部１４が再学習を行い、再学習済モデルを生成し、第２の推論部１２が再学習済モデル１２１で推論を行い、比較部１５が第１の推論部１１と第２の推論部１２の実行結果を比較し、運用中モデル１１１から再学習済モデル１２１への更新を判定するようにしているので、運用中モデル１１１と再学習済モデル１２１の実行結果を比較することで運用中モデル１１１から再学習済モデル１２１への更新を適切に行うことができる効果がある。

【産業上の利用可能性】

【0060】

本発明は、運用中のモデルと再学習モデルの検知精度の変化を比較することで学習モデルの更新を適切に行う画像解析システム及び機械学習モデルの更新方法に好適である。

【符号の説明】

【0061】

１…画像解析サーバ、 ２…操作端末（監視卓）、 ３…映像取得装置、 １１…第１の推論部、 １２…第２の推論部、 １３…データベース部、 １４…再学習部、 １５…比較部、 ２１…画像／ＩＦ部、 ３１…カメラ、 １１１…運用中モデル、 １２１…再学習済モデル、 １４１…再学習実行部、 １４２…再学習生成モデル、 １５１…結果比較部

【図1】

【図2】

【図3】

【図4】

【図5】