特開 2024-135855 学習データ生成方法、学習方法、学習データ生成プログラム、学習データ生成装置、車載装置、および、学習システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024135855

(43)【公開日】2024-10-04

(54)【発明の名称】学習データ生成方法、学習方法、学習データ生成プログラム、学習データ生成装置、車載装置、および、学習システム

(51)【国際特許分類】

   G06V 10/774 20220101AFI20240927BHJP

   G06T 7/00 20170101ALI20240927BHJP

   G06N 20/00 20190101ALI20240927BHJP

   G06T 7/246 20170101ALI20240927BHJP

   G06N 3/0895 20230101ALI20240927BHJP

【ＦＩ】

G06V10/774

G06T7/00 350B

G06N20/00 130

G06T7/246

G06N3/0895

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023046742

(22)【出願日】2023-03-23

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】木戸 豊茂

(72)【発明者】

【氏名】飯野 賢吾

(72)【発明者】

【氏名】石田 泰久

(72)【発明者】

【氏名】加藤 拓

(72)【発明者】

【氏名】片山 雄喜

(72)【発明者】

【氏名】清水 翔太

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA04

5L096CA04

5L096DA02

5L096KA04

5L096MA07

(57)【要約】

【課題】学習済みモデルの再学習を効率良く行うことができる技術を提供する。
【解決手段】例示的な学習データ生成方法は、装置が実行する学習データ生成方法であって、前記装置に時系列で入力された複数の入力画像における識別対象物を、トレースするトレース対象物として検出し、前記複数の入力画像における前記トレース対象物に対してクラス分類を推定し、前記クラス分類の推定結果に基づき、前記トレース対象物のクラス分類が不明確と推定された前記トレース対象物の画像に対して、クラス分類が明確と推定された前記トレース対象物のクラス分類を正解データとして付与して学習データを生成する。
【選択図】図６

【特許請求の範囲】

【請求項1】

装置が実行する学習データ生成方法であって、
前記装置に時系列で入力された複数の入力画像における識別対象物を、トレースするトレース対象物として検出し、
前記複数の入力画像における前記トレース対象物に対してクラス分類を推定し、
前記クラス分類の推定結果に基づき、前記トレース対象物のクラス分類が不明確と推定された前記トレース対象物の画像に対して、クラス分類が明確と推定された前記トレース対象物のクラス分類を正解データとして付与して学習データを生成する、
学習データ生成方法

【請求項2】

前記クラス分類の推定結果に基づき、前記クラス分類が不明確である識別対象物を前記トレース対象物として検出する、請求項１に記載の学習データ生成方法。

【請求項3】

前記トレース対象物の検出により、前記トレース対象物を含む入力画像に対する前記学習データの候補画像としての保持が開始される、請求項２に記載の学習データ生成方法。

【請求項4】

前記トレース対象物の明確性の判定の時間的経過に伴う変化を検出し、
前記正解データは、前記トレース対象物の前記クラス分類が不明確から明確へと変わった後における前記クラス分類の推定結果である、請求項３に記載の学習データ生成方法。

【請求項5】

前記クラス分類の推定の結果に基づき、前記クラス分類が明確である識別対象物を前記トレース対象物として検出する、請求項１に記載の学習データ生成方法。

【請求項6】

前記トレース対象物の明確性の判定の時間的経過に伴う変化を検出し、
前記正解データは、前記トレース対象物の前記クラス分類が明確から不明確へと変わる前における前記クラス分類の推定結果である、請求項５に記載の学習データ生成方法。

【請求項7】

前記トレース対象物の前記クラス分類が明確から不明確となったとの判定により、前記トレース対象物を含む入力画像に対する学習データの候補画像としての保持が開始される、請求項６に記載の学習データ生成方法。

【請求項8】

入力画像から検出された識別対象物を、順次入力される入力画像に対してトレースし、
クラス分類推定モデルを用いてトレース対象物に対してクラス分類を推定し、
前記トレース対象物のクラス分類が不明確と判定された前記入力画像に対して、前記トレース対象物のクラス分類が明確と判定されたクラス分類を正解データとして付与して学習データを生成し、
生成した前記学習データを用いて、前記クラス分類推定モデルの再学習を行う、
学習方法。

【請求項9】

入力画像から検出された識別対象物を、順次入力される入力画像に対してトレースすることと、
トレース対象物に対してクラス分類を推定することと、
前記トレース対象物のクラス分類が不明確と判定された前記入力画像に対して、前記トレース対象物のクラス分類が明確と判定されたクラス分類を正解データとして付与した学習データを生成することと、
をコンピュータに実行させる、学習データ生成プログラム。

【請求項10】

入力画像から検出された識別対象物を、順次入力される入力画像に対してトレースし、
トレース対象物に対してクラス分類を推定し、
前記トレース対象物のクラス分類が不明確と判定された前記入力画像に対して、前記トレース対象物のクラス分類が明確と判定されたクラス分類を正解データとして付与した学習データを生成する、
学習データ生成装置。

【請求項11】

撮影画像から物体を検出し、当該検出物体のクラス分類を行うクラス分類推定モデルを有し、前記クラス分類推定モデルの推定結果を車両制御に用いる車載装置であって、
入力画像から検出された前記物体を、順次入力される入力画像に対してトレースし、
前記クラス分類推定モデルを用いてトレース対象物に対してクラス分類を推定し、
前記トレース対象物のクラス分類が不明確と判定された前記入力画像に対して、前記トレース対象物のクラス分類が明確と判定されたクラス分類を正解データとして付与した学習データを生成する、
車載装置。

【請求項12】

サーバ装置と、前記サーバ装置と通信可能に設けられる端末装置と、
を備える学習システムであって、
前記端末装置は、取得した撮影画像を前記サーバ装置に送信し、
前記サーバ装置は、
前記端末装置から前記撮影画像を受信し、
受信した前記撮影画像から検出された識別対象物を、順次受信された前記撮影画像に対してトレースし、
前記トレース対象物に対してクラス分類を推定し、
前記トレース対象物のクラス分類が不明確と判定された前記撮影画像に対して、前記トレース対象物のクラス分類が明確と判定されたクラス分類を正解データとして付与した学習データを生成する、
学習システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習済みモデルの再学習を行うための技術に関する。

【背景技術】

【0002】

従来、学習済みのニューラルネットワーク（学習済みモデル）に基づいて、画像に写る物体を検出する技術が知られる（例えば特許文献１参照）。

【0003】

また、従来、再学習を行って、より適切な推論モデル（学習済みモデル）を生成することが知られる（例えば特許文献２参照）。特許文献２においては、まず、第１教師データを作成し、この第１教師データを用いて深層学習を行うことにより、第１推論モデルを生成する。そして、この第１推論モデルを用いて、画像を推論し、推論が失敗した場合の画像をテストデータ候補とする。テストデータ候補が所定数に達すると、このデータを用いて教師データを再作成し、この再作成した教師データを用いて第２推論モデルを生成する。このように、再作成した教師データを用いて、再学習するようにしているので、信頼性の高い推論を行うことができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－０７９３２５号公報

【特許文献2】特開２０２０－１１９３２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献２においては、ユーザが第１推論モデルの推論結果が正しいか否かを判定し、推論結果が正しくない場合に、テストデータ候補とする構成となっている。また、再学習用の教師データを作成するにあたって、テストデータ候補の類似画像を教師データ化する構成となっている。

【0006】

再学習用の教師データを作成する場合に、学習済みモデルの推論結果が正しいか否かをユーザが判定する構成では、ユーザの負担が増大する可能性がある。また、テストデータ候補の類似画像を教師データ化する構成の場合、類似画像を作成する必要があり、再学習用の教師データを作成する負担が大きくなる可能性がある。

【0007】

本発明は、上述の点に鑑み、学習済みモデルの再学習を効率良く行うことができる技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

例示的な本発明の学習データ生成方法は、装置が実行する学習データ生成方法であって、前記装置に時系列で入力された複数の入力画像における識別対象物を、トレースするトレース対象物として検出し、前記複数の入力画像における前記トレース対象物に対してクラス分類を推定し、前記クラス分類の推定結果に基づき、前記トレース対象物のクラス分類が不明確と推定された前記トレース対象物の画像に対して、クラス分類が明確と推定された前記トレース対象物のクラス分類を正解データとして付与して学習データを生成する。

【発明の効果】

【0009】

例示的な本発明によれば、学習済みモデルの再学習を効率良く行うことができる。

【図面の簡単な説明】

【0010】

【図1】学習システムの概要を示す図

【図2】学習システムによって実行される学習方法の一例を示すフローチャート

【図3】学習データ生成装置の構成を示すブロック図

【図4A】学習済みモデルに入力される前の画像を模式的に示す図

【図4B】学習済みモデルを用いた推論結果の出力例を模式的に示す図

【図5】トレース対象のクラス分類が不明確から明確へと変わる例について説明するための図

【図6】学習データ生成方法の流れを例示するフローチャート

【図7】生成される学習データのイメージを説明するための図

【図8】変形例の適用シーンを模式的に示す図

【図9】変形例に係る学習データ生成方法の流れを示すフローチャート

【発明を実施するための形態】

【0011】

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

【0012】

＜１．学習方法の概要＞
［１－１．学習システム］
図１は、本発明の実施形態に係る学習方法を実行する学習システム１００の概要を示す図である。学習システム１００は、サーバ装置１と、端末装置２とを備える。学習システム１００は、カメラ３を更に備える。

【0013】

サーバ装置１は、コンピュータ装置によって構成される。サーバ装置１は、物理サーバであっても、クラウドサーバであってもよい。サーバ装置１は、インターネットや電話回線網等の通信ネットワーク４に、有線又は無線によって接続可能に設けられる。

【0014】

端末装置２は、サーバ装置１と通信可能に設けられる。詳細には、端末装置２は、通信ネットワーク４に、有線又は無線によって接続可能に設けられる。端末装置２は、通信ネットワーク４を介してサーバ装置１と通信を行う。端末装置２は、例えば、商業施設等の施設に配置されるパーソナルコンピュータ（ＰＣ）、或いは、車両等の移動体に配置される車載装置であってよい。車載装置は、車両を制御する構成であってよい。また、端末装置２は、例えば、スマートフォンやタブレット端末等の携帯端末であってもよい。

【0015】

なお、図１においては、通信ネットワーク４を介してサーバ装置１と接続可能な端末装置２の数は１つであるが、これは例示にすぎない。通信ネットワーク４を介してサーバ装置１と接続可能な端末装置２の数は、複数であることが好ましい。

【0016】

カメラ３は、時間的に連続して画像を撮影可能に設けられる。つまり、カメラ３は、所謂、動画を撮影可能である。カメラ３は、端末装置２と有線又は無線により接続される。通信ネットワーク４と繋がる端末装置２が複数である場合、端末装置２毎にカメラ３が設けられる。カメラ３は、撮影した画像（画像データ）を端末装置２に送信する。詳細には、カメラ３は、時間的に連続して画像を撮影し、周期的に画像を端末装置２に送信する。カメラ３は、例えば、１秒間に３０枚や６０枚等の時間間隔で画像を端末装置２に送信する。カメラ３は、端末装置２とは別の装置でもよいが、端末装置２と組になって１つの装置５を構成してもよい。端末装置２とカメラ３とが組になった装置５は、例えば、車両の前方や後方の映像を記録するドライブレコーダであってよい。なお、車両の前方や後方の映像は、周囲画像の一例である。

【0017】

［１－２．学習方法］
図２は、本発明の実施形態に係る学習システム１００によって実行される学習方法の一例を示すフローチャートである。

【0018】

ステップＳ１では、端末装置２が、メモリに記憶された学習済みモデルを用いた推論を行う。なお、学習済みモデルは、一例として、サーバ装置１から通信ネットワーク４を介して端末装置２へ配信されたものであってよい。学習済みモデルは、ある入力データに対して適切な出力データが得られるように、予め機械学習により学習されたモデルである。学習済みモデルは、少なくとも、入力データから出力データを得るまでの演算を行うプログラムと、当該演算に用いられる重み付け係数（パラメータ）とを備える。

【0019】

詳細には、端末装置２がカメラ３から取得した画像（データ）が、学習済みモデルに入力される。学習済みモデルは、画像の入力により推論を行って推論結果を出力する。詳細には、学習済みモデルは、推論結果として識別対象（詳細には識別対象物、より詳細には物体）の認識結果を出力する。学習済みモデルには、カメラ３から取得された画像が順次入力される。学習済みモデルは、順次入力される各画像に対して推論結果を出力する。学習済みモデルを用いた推論の結果を利用して、ステップＳ２の処理が行われる。

【0020】

ステップＳ２では、端末装置２が、ステップＳ１で得られた推論結果を利用して学習データの生成を行う。端末装置２は、推論結果に基づき、学習済みモデルが認識を苦手とする識別対象が存在する画像を苦手画像（学習候補画像）として自動的に抽出する。そして、端末装置２は、抽出した苦手画像に正解データを自動的に付与して学習データを生成する。すなわち、生成される学習データは、画像に正解ラベルが付された教師データである。なお、学習データの生成手法の詳細については後述する。

【0021】

端末装置２は、学習済みモデルを用いた推論が実行されている間、推論結果を利用した学習データの生成を続ける。端末装置２は、学習済みモデルを用いた推論の実行が終了すると、学習データの生成処理を完了する。学習データの生成処理が完了すると、次のステップＳ３に処理が進められる。

【0022】

ステップＳ３では、端末装置２が生成した学習データをサーバ装置１に送信する。学習データは、通信ネットワーク４を介してサーバ装置１へ送信される。学習データのサーバ装置１への送信が完了すると、次のステップＳ４に処理が進められる。

【0023】

なお、学習システム１００が備える端末装置２の数が複数である場合、端末装置２ごとに、以上のステップＳ１～ステップＳ３の処理が実行される。また、以上に説明したステップＳ３では、学習済みモデルを用いた推論の実行が終了するまで学習データを蓄積し、蓄積した学習データを纏めてサーバ装置１に送信する構成としたが、これは例示である。学習データが生成されるごとに、サーバ装置１へ学習データが送信されてもよい。

【0024】

ステップＳ４では、サーバ装置１が、学習済みモデルの再学習を行う。なお、サーバ装置１が学習済みモデルを配信する構成の場合、サーバ装置１は学習済みモデル（又はその情報）を既に有している。サーバ装置１が学習済みモデルを有していない場合には、端末装置２からサーバ装置１へ学習済みモデルが送信される構成としてもよい。

【0025】

サーバ装置１は、端末装置２から送信された学習データを学習データセットに組み込み、当該学習データセットを使用した再学習を行う。学習データセットは、教師データの集合体である。再学習は、誤差逆伝播法等の公知の学習手法を用いて行われ、再学習によって学習済みモデルのパラメータの更新が行われる。再学習が完了すると、次のステップＳ５に処理が進められる。

【0026】

ステップＳ５では、サーバ装置１が、再学習により得られた学習済みモデルを端末装置２へ送信する。端末装置２は、既存の学習済みモデルを新たに送信された学習済みモデルに変更する。すなわち、学習済みモデルの更新が行われる。端末装置２のメモリに記憶される学習済みモデルが苦手画像を用いて再学習を行った学習済みモデルに更新されるために、端末装置２で行われる学習済みモデルを用いた推論の信頼性を向上することができる。再学習後の学習済みモデルについて、再度、以上に説明した処理を繰り返すことによって、より信頼性の高い学習済みモデルを取得する構成としてよい。

【0027】

なお、以上に示した実施形態においては、サーバ装置１は、モデルを学習する学習装置を含む。また、端末装置２は、学習データを生成する学習データ生成装置を含む。すなわち,以上に説明した学習システム１００では、学習装置と学習データ生成装置とが別々の装置で構成される。ただし、これは例示にすぎず、学習装置と学習データ生成装置とは、１つの装置で構成されてもよい。

【0028】

例えば、サーバ装置が、学習装置と学習データ生成装置とを含む構成としてもよい。すなわち、学習システム１００において、本発明の学習データ生成方法は、サーバ装置又は端末装置が行ってよい。サーバ装置が学習装置と学習データ生成装置とを含む構成の一例では、ドライブレコーダ（端末装置）が、記録した画像（映像）データを、通信ネットワーク４を介してサーバ装置へと送信する。サーバ装置は、ドライブレコーダから受信した画像データを用いて、学習データの生成と、生成した学習データを用いた再学習とを実行する。

【0029】

また、学習装置と学習データ生成装置とが１つの装置である構成は、サーバ装置以外によって実現されてもよい。例えば、ドライブレコーダが、学習データの生成と、生成した学習データを用いたモデルの再学習とを実行する構成としてもよい。このような学習システムでは、サーバ装置は不要とされてよい。

【0030】

また、学習装置と学習データ生成装置とが別々の装置である場合において、学習装置はサーバ装置でなく、学習データ生成装置は端末装置でなくてもよい。このような構成では、学習データ生成装置（ドライブレコーダ等に含まれる）によって生成された学習データを可搬型のメモリ（ＵＳＢメモリ等）に記憶し、学習装置が生成された学習データを可搬型のメモリから読み出す構成としてよい。そして、学習装置は、読み出した学習データを用いて学習済みモデルの再学習を行う構成としてよい。

【0031】

＜２．学習データ生成方法の詳細＞
［２－１．学習データ生成装置］
図３は、本発明の実施形態に係る学習データ生成装置２０の構成を示すブロック図である。なお、本実施形態では、学習データ生成装置２０は、端末装置２（図１参照）に含まれる。端末装置２がドライブレコーダを構成する場合、学習データ生成装置２０は、ドライブレコーダに含まれる。

【0032】

学習データ生成装置２０は、コンピュータ装置によって構成される。図３に示すように、学習データ生成装置２０は、コントローラ２１を備える。学習データ生成装置２０は、メモリ部２２および通信部２３をさらに備える。なお、学習データ生成装置２０は、キーボード等の入力装置や、ディスプレイ等の出力装置を備える構成であってもよい。

【0033】

コントローラ２１は、演算処理を行う演算回路を含んで構成される。コントローラ２１は、詳細には演算処理等を行うプロセッサを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を含んで構成される。コントローラ２１は、１つのプロセッサで構成されてもよいし、複数のプロセッサで構成されてもよい。複数のプロセッサで構成される場合には、それらのプロセッサは互いに通信可能に接続されればよい。

【0034】

メモリ部２２は、揮発性メモリおよび不揮発性メモリを含んで構成される。揮発性メモリには、例えばＲＡＭ（Random Access Memory）が含まれてよい。不揮発性メモリには、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、又は、ハードディスドライブが含まれてよい。不揮発性メモリには、コンピュータにより読み取り可能なプログラムおよびデータが格納される。なお、本実施形態においては、メモリ部２２には、学習済みモデル２２１が格納される。

【0035】

通信部２３は、通信ネットワーク４に接続するためのインターフェース回路を有する通信インターフェースとして構成される。通信部２３は、必須の構成要素ではない。

【0036】

コントローラ２１は、その機能として、画像取得部２１１と、推論部２１２と、トレース対象検出部２１３と、候補画像保持部２１４と、変化検出部２１５と、データ生成部２１６とを備える。本実施形態においては、コントローラ２１の機能は、メモリ部２２に記憶されるプログラムにしたがった演算処理をプロセッサが実行することによって実現される。コントローラ２１の機能を実現するプログラムの数は、単数でも複数でもよい。

【0037】

なお、本実施形態の範囲には、学習データ生成装置２０の少なくとも一部の機能をコンピュータに実現させるコンピュータプログラムが含まれてよい。また、本実施形態の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれてよい。不揮発性記録媒体は、例えば、上述の不揮発性メモリの他、光記録媒体（例えば光ディスク）、光磁気記録媒体（例えば光磁気ディスク）、ＵＳＢメモリ、又は、ＳＤカード等であってよい。

【0038】

また、各機能部２１１～２１６は、１つのプログラムにより実現されてもよいが、例えば機能部ごとに別々のプログラムにより実現される等、複数のプログラムにより実現されてもよい。また、各機能部２１１～２１６が別々の装置として実現されてもよい。また、各機能部２１１～２１６は、上述のように、プロセッサにプログラムを実行させること、すなわちソフトウェアにより実現されてよいが、他の手法により実現されてもよい。各機能部２１１～２１６は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等を用いて実現されてもよい。すなわち、各機能部２１１～２１６は、専用のＩＣ等を用いてハードウェアにより実現されてもよい。また、各機能部２１１～２１６は、ソフトウェアおよびハードウェアを併用して実現されてもよい。また、各機能部２１１～２１６は、概念的な構成要素である。１つの構成要素が実行する機能が、複数の構成要素に分散されてよい。また、複数の構成要素が有する機能が１つの構成要素に統合されてもよい。

【0039】

画像取得部２１１は、カメラ３から周期的に送信される撮影画像（データ）を順次取得する。画像取得部２１１は、取得した画像に対して画像処理を適宜実行する。また、画像取得部２１１は、取得した画像をメモリ部２２に適宜記憶する。

【0040】

推論部２１２は、学習済みモデル２２１を用いた推論を行う。画像取得部２１１で取得された画像が、学習済みモデル２２１に順次入力される。学習済みモデルは、入力された画像ごとに推論を行う。すなわち、コントローラ２１は、入力された画像に対して学習済みモデル２２１を用いた推論を行う。端末装置２は、入力された画像に対して学習済みモデル２２１を用いた推論を行う。

【0041】

学習済みモデル２２１を用いた推論は、詳細には、公知の物体検出（識別対象の認識）のアルゴリズムを用いた推論であってよい。公知の物体検出のアリゴリズムは、例えば、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＹＯＬＯ、または、ＳＳＤ等であってよい。本実施形態では、学習済みモデル２２１は、物体検出のアルゴリズムとしてＹＯＬＯを用いる。学習済みモデル２２１は、入力された画像から、予め識別対象に定められた物体の位置（領域）、および、種類（クラス）を特定する処理を行う。識別対象に定められる物体の種類は、物体検出の目的に応じて適宜決められる。本実施形態における学習済みモデルは、検出物体のクラス分類を行うクラス分類推定モデルと言うことができる。また、例えば、端末装置２０が車載装置である場合、クラス分類推定モデルの推定結果は、車両制御に用いられてよい。

【0042】

図４Ａおよび図４Ｂは、本実施形態の学習済みモデル２２１を用いた推論の具体例を説明するための図である。図４Ａは、学習済みモデル２２１に入力される前の画像を模式的に示す図である。図４Ｂは、学習済みモデル２２１を用いた推論結果の出力例を模式的に示す図である。なお、本例では、識別対象に定められた物体の種類（認識クラス）は、「ｃａｒ」、「ｔｒａｃｋ」、「ｂｕｓ」である。

【0043】

本例では、推論結果として、以下のフォーマット（ｆｏｒｍａｔ）の情報が出力される。
ｆｏｒｍａｔ ［ｘ，ｙ，ｗ，ｈ，car_conf，track_conf，bus_conf ］
ｘ、ｙ ：バウンディングボックスの中心座標
ｗ ：バウンディングボックスの横方向（ｘ方向）の長さ
ｈ ：バウンディングボックスの縦方向（ｙ方向）の長さ
car_conf ：クラス「ｃａｒ」の推論値（confidence値）
track_conf：クラス「ｔｒａｃｋ」の推論値（confidence値）
bus_conf ：クラス「ｂｕｓ」の推論値（confidence値）

【0044】

フォーマット中のｘ、ｙ、ｗ、および、ｈは、識別対象の領域を特定する情報である。また、推論値（confidence値）は、物体の存在確率を示す信頼度スコア（信頼度情報）である。信頼度スコアは、例えば、０以上１以下の数値であり、その値が「１」に近づくほど信頼度が高いことを示す。

【0045】

図４Ｂに示す例では、信頼度スコアが予め設定された表示閾値を超える識別対象に対して、識別対象の領域情報であるバウンディングボックスＢＢＸ、および、クラスの表示が行われる。信頼度スコアが低い識別対象については、クラス分類の信頼性が低いために表示しない。なお、表示閾値は、例えば０．４等であってよいが、実験やシミュレーション等を行うことによって適切な値を決定することが好ましい。図４Ｂに示す例では、推論の結果として２つの識別対象が認識され、それぞれの領域がバウンディングボックスＢＢＸで示されている。そして、２つの識別対象のうちの一方（右側の車両）のクラスが「ｃａｒ」で、他方（左側の車両）のクラスが「ｔｒａｃｋ」であることが示されている。

【0046】

トレース対象検出部２１３は、学習済みモデル２２１を用いた推論の結果に基づき画像内からトレース対象（詳細にはトレース対象物）を検出する。すなわち、コントローラ２１は、推論の結果に基づき画像内からトレース対象とする識別対象の画像を検出する。端末装置２は、推論の結果に基づき画像内からトレース対象を検出する。トレース対象は、各画像から必ず検出されるものではなく、推論の結果に応じて、検出される場合と、検出されない場合とがある。なお、トレース対象となった識別対象については、複数の画像に跨って継続的に、当該識別対象の画像に対して取得された推論結果に対する所定の処理が行われる。所定の処理は、学習データの生成に関わる処理である。

【0047】

本実施形態では、トレース対象の検出は、推論の結果に基づき、クラス分類が不明確である識別対象を検出することである。このようにしてトレース対象を検出すると、学習候補画像を収集する処理を行い易くすることができる。クラス分類が不明確であるとは、推論値（confidence値）の大きさが少なくとも上位２つのクラスについて、推論値の大きさが近い状態にあり、クラスの分類を明確に行うことができない状態である。推論値が最大となっているクラスの推論値（最大推論値）と、推論値が２番目となっているクラスの推論値（２番目推論値）との差が、予め設定されたクラス分類閾値よりも小さい状態である。

【0048】

クラス分類が不明確であるか否かは、最大推論値と２番目推論値との絶対差を利用して判定してもよいが、相対的な差を利用して判定することが好ましい。例えば、最大推論値と２番目推論値との絶対差を最大推論値で除して得られる百分率の値が３０％（クラス分類閾値）よりも小さい場合に、クラス分類が不明確であると判定してよい。なお、クラス分類閾値は、例えば実験やシミュレーション等を利用して決定されればよい。トレース対象検出部２１３は、推論の結果から、クラス分類が不明確である識別対象を検出すると、当該識別対象をトレース対象とする。

【0049】

例えば、画像内において識別された或る識別対象の推論値（confidence値）として以下の式（１）で示す値が得られ、当該識別対象は最大推論値であるクラス「ｃａｒ」に分類されているとする。
［car_conf，track_conf，bus_conf］＝［０．４３，０．４１,０．１６］・・・（１）
このような例の場合、クラスが「ｃａｒ」に分類されているが、クラス「ｃａｒ」とクラス「ｔｒａｃｋ」との推論値の差がクラス分類閾値より小さく、クラス分類の信頼性は低いと言える。すなわち、学習済みモデル２２１は、当該識別対象の識別を苦手としていると判断できる。本実施形態のトレース対象検出部２１３は、推論値の比較により、このようなクラス分類が苦手だと判定される識別対象をトレース対象として検出する。

【0050】

なお、複数のクラスの推論値の差が小さくても、これらの推論値の大きさが非常に小さい場合には、そもそも、識別対象を「ｃａｒ」、「ｔｒａｃｋ」、および、「ｂｕｓ」のいずれかのクラスに分類することは適切でないと言える。すなわち、このような場合には、複数のクラスの推論値の差が小さくても、トレース対象として検出することは好ましくない。したがって、本実施形態では、トレース対象を検出するために行われるクラス分類が不明確と明確とのいずれであるかの判定は、推論値が予め設定された判定許可閾値（例えば０．４等）以下である場合には、実施しない構成となっている。

【0051】

候補画像保持部２１４は、トレース対象を含む画像を学習候補画像として保持する。すなわち、コントローラ２１は、トレース対象を含む画像を学習候補画像として保持する。端末装置２は、トレース対象を含む画像を学習候補画像として保持する。学習候補画像として保持することには、画像を保持することに加えて、保持対象の画像に対する推論によって出力された出力値（バウンディングボックスの領域、および、各クラスの推論値（confidence値））を保持することを含む。保持とは、データのメモリ部２２への記憶である。これらの保持されたデータは、学習データの生成や、トレースの判断に利用される。

【0052】

本実施形態では、学習候補画像の保持は、トレース対象の検出により開始される。上述のように、本実施形態では、トレース対象は、クラス分類が不明確な識別対象である。このために、トレース対象の検出に応じて、トレース対象を含む学習候補画像の保持を開始することによって、クラス分類の信頼性が低い識別対象（苦手オブジェクト）が写る画像の収集を適切に開始することができる。

【0053】

変化検出部２１５は、トレース対象に対する推論の結果の時間経過に伴う変化を検出する。すなわち、コントローラ２１は、トレース対象に対する推論の結果の時間経過に伴う変化を検出する。つまり、端末装置２は、トレース対象に対する推論の結果の時間経過に伴う変化を検出する。

【0054】

本実施形態では、詳細には、上述した推論の結果の時間経過に伴う変化は、学習候補画像の保持の開始後に生じる変化である。これにより、学習候補画像の収集を適切なタイミングで終了させることができる。

【0055】

また、本実施形態では、上述した推論の結果の時間経過に伴う変化は、トレース対象のクラス分類が不明確から明確へと変わることである。すなわち、変化検出部２１５は、トレース対象の明確性の判定の時間的経過に伴う変化を検出する。クラス分類が明確であるとは、推論値（confidence値）の大きさが最上位となるクラスが１つであって、当該最上位のクラスの推論値が、他のクラスの推論値と明確に差がある状態である。別の言い方をすると、推論値が最大となっているクラスの推論値（最大推論値）と、推論値が２番目となっているクラスの推論値（２番目推論値）との差が、上述したクラス分類閾値以上である状態である。

【0056】

図５は、トレース対象のクラス分類が不明確から明確へと変わる例について説明するための図である。図５において、上段の画像が取得された時刻は、下段の画像が取得された時刻に比べて早い。図５に示す例では、時間の経過に伴い、カメラ３の位置が識別対象に接近している。なお、図５に示す例では、画像に写る２つの車両のうち、左側の車両のみがトレース対象である。

【0057】

図５に示す例では、上段の画像におけるトレース対象の推論結果は、上述の式（１）で示される出力値と同じである。すなわち、クラス「ｃａｒ」の推論値は０．４３、クラス「ｔｒａｃｋ」の推論値は０．４１、クラス「ｂｕｓ」の推論値は０．１６である。最大推論値（０．４３）と２番目推論値（０．４１）との絶対差を最大推論値で除して得られる百分率の値（約５％）は、クラス分類閾値（３０％）よりも小さい。すなわち、クラス「ｃａｒ」とクラス「ｔｒａｃｋ」とのクラス分類は不明確（曖昧）であると言える。

【0058】

一方、下段の画像におけるトレース対象の推論結果は、次のようである。クラス「ｃａｒ」の推論値は０．１０、クラス「ｔｒａｃｋ」の推論値は０．８１、クラス「ｂｕｓ」の推論値は０．０９である。最大推論値（０．８１）と２番目推論値（０．１０）との絶対差を最大推論値で除して得られる百分率の値（約８８％）は、クラス分類閾値（３０％）よりも大きい。すなわち、クラスを「ｔｒａｃｋ」とするクラス分類は明確（信頼性が高い）と言える。図５に示す例では、時間経過に伴って、トレース対象のクラス分類が不明確から明確へと変わっている。そして、推論結果として得られるクラスが、「ｃａｒ」から「ｔｒａｃｋ」に変わっている。

【0059】

なお、図５に示す例は、カメラ３と識別対象と間の距離の時間変化によって、推論結果が時間経過に伴い変化を生じる例である。ただし、推論結果が時間経過に伴い変化を生じる例は、これに限られない。例えば、推論結果が時間経過に伴い変化を生じる例として、カメラ３と識別対象との間の角度変化が生じる場合が挙げられる。

【0060】

データ生成部２１６は、学習データを生成する。学習データは、画像に正解ラベルが付与された教師データである。詳細には、データ生成部２１６は、上述した推論の結果の時間経過に伴う変化の検出に応じて、学習候補画像に推論の結果を正解データとして付与した学習データを生成する。すなわち、コントローラ２１は、変化の検出に応じて学習候補画像に推論の結果を正解データとして付与した学習データを生成する。端末装置２は、変化の検出に応じて学習候補画像に推論の結果を正解データとして付与した学習データを生成する。

【0061】

本実施形態によれば、学習済みモデルを用いた推論を行いながら、正解ラベル付き学習データである教師データを自動的に生成することができる。本実施形態によれば、学習済みモデルを用いた推論を行う際に入力される画像をそのまま用いて学習データを自動的に生成することができる。本実施形態では、例えばドライブレコーダを実際に使用した際に得られる画像をそのまま用いて、学習データを自動的に得ることができる。本実施形態によれば、学習データの生成を効率良く行うことができ、それに伴い、モデルの学習効率の向上を図ることができる。

【0062】

詳細には、正解データは、上述の変化を検出した画像の推論の結果を用いて付与される。上述のように、本実施形態では、推論の結果の時間変化に伴う変化は、クラス分類が不明確から明確となることで検出される。すなわち、変化を検出した画像に対するクラス分類は明確であり、推論により得られたクラスは信頼性が高いと言える。この点を考慮して、本実施形態では、クラス分類が明確となった時点で得られたクラスをトレース対象のクラスの正解データと判断する構成となっている。そして、トレース対象に関し、クラス分類が不明確であった学習候補画像におけるトレース対象の画像に、この正解データと判断されたクラスを付与する。本実施形態によれば、正解ラベルの付与を自動で適切に行うことができる。

【0063】

［２－２．学習データ生成の流れ］
次に、以上のように構成される学習データ生成装置２０を用いて、学習データを生成する手順について説明する。図６は、本発明の実施形態に係る学習データ生成方法の流れを例示するフローチャートである。

【0064】

ステップＳ１１では、推論部２１２が、装置２０に入力された画像に対して推論を行う。すなわち、本実施形態の学習データ生成方法は、入力された画像に対して推論を行うことを備える。推論が行われることにより、推論の結果として、識別対象（物体）の画像内における領域、および、予め設定されたクラス毎の推論値（confidence値）が得られる。推論の結果が得られると、次のステップＳ１２に処理が進められる。

【0065】

なお、ステップＳ１１の推論によって、識別対象が１つだけでなく、複数の識別対象が認識されることもある。複数の識別対象が認識された場合には、各識別対象について、ステップＳ１２以降の処理が行われる。図６のフローチャートの説明にあたっては、理解を容易とするために、１つの識別対象の処理に絞って説明を行う。

【0066】

また、推論の結果として得られるクラスの種類は、一例として、「ｃａｒ」、「ｔｒａｃｋ」、および、「ｂｕｓ」とする。

【0067】

ステップＳ１２では、トレース対象検出部２１３が、認識された識別対象に対して既にトレースが開始されているか否かを判定する。認識された識別対象のトレースが開始されていない場合（ステップＳ１２でＮｏ）は、次のステップＳ１３に処理が進められる。認識された識別対象のトレースが開始されている場合（ステップＳ１２でＹｅｓ）、ステップＳ１５に処理が進められる。

【0068】

ステップＳ１３では、トレース対象検出部２１３が、認識対象がトレース対象としての要件を満たすか否かを判定する。本実施形態では、当該要件を満たすか否かは、推論の結果に基づいて判定される。詳細には、当該要件を満たすには、各クラスの推論値のうち、少なくとも１つが上述した判定許可閾値を超えることが必要とされる。また、当該要件を満たすには、最大推論値と２番目推論値との差が、上述したクラス分類閾値よりも小さいことが必要とされる。推論結果が当該２つの要件を満たす場合に、トレース対象検出部２１３は、当該要件２つの要件を満たす識別対象をトレース対象として検出する。すなわち、本実施形態の学習データ生成方法は、推論の結果に基づき画像内からトレース対象を検出することを備える。トレース対象が検出された場合（ステップＳ１３でＹｅｓ）、次のステップＳ１４に処理が進められる。トレース対象が検出されなかった場合（ステップＳ１３でＮｏ）、ステップＳ１１に処理が戻される。

【0069】

なお、上述した図５の上段に示す状態は、ステップＳ１３でトレース対象が検出された状態に該当する。トレース対象は、クラス「ｃａｒ」と分類された車両である。クラス分類は不明確である。

【0070】

ステップＳ１４では、トレースが開始される。なお、トレース対象のトレース（時間的に連続した各画像におけるトレース対象の有無判断、位置の追跡）は、トレース対象の画像認識処理等により行うことが可能である。また、候補画像保持部２１４が学習候補画像の保持を開始する。候補画像保持部２１４は、トレース対象を検出した画像を学習候補画像として保持する。すなわち、本実施形態の学習データ生成方法は、トレース対象を含む画像を学習候補画像として保持することを備える。なお、上述のように、学習候補画像の保持には、推論の結果（座標、クラス、confidence値）も含まれる。トレースおよび学習候補画像の保持が開始されると、一旦、ステップＳ１１の処理に戻され、学習済みモデル２２１を用いて次の画像の推論が行われる。

【0071】

ステップＳ１５は、画像から認識された識別対象のトレースが開始されている場合の処理である。ステップＳ１５では、変化検出部２１５が、現在推論の対象となっている画像におけるトレース対象に対する推論の結果に基づき、クラス分類が明確であるか否かを判定する。クラス分類が明確か否かは、上述のようにクラス分類閾値を用いて判定される。トレース対象は、トレースの開始時点において、クラス分類が不明確である。このために、ステップＳ１５の処理は、トレース対象に対する推論の結果の時間経過に伴う変化を検出することと言い換えることができる。すなわち、本実施形態の学習データ生成方法は、トレース対象に対する推論の結果の時間経過に伴う変化を検出することを備える。本実施形態では、トレース対象に対する推論の結果の時間経過に伴う変化は、トレース対象のクラス分類が不明確から明確に変わることである。

【0072】

トレース対象のクラス分類が明確であると判定された場合（ステップＳ１５でＹｅｓ）、推論の結果の時間経過に伴う変化が検出されたと判断され、次のステップＳ１６に処理が進められる。トレース対象のクラス分類が不明確であると判定された場合（ステップＳ１５でＮｏ）、推論の結果の時間経過に伴う変化が検出されていないと判断されて、ステップＳ１１に処理が戻される。ステップＳ１１に処理が戻される場合には、今回の推論結果を得た画像が学習候補画像として保持される。すなわち、ステップＳ１５からステップＳ１１に処理が戻される度に、保持される学習候補画像の数は増加する。

【0073】

なお、上述した図５の下段に示す状態は、ステップＳ１５でクラス分類が明確となった状態に該当する。トレース対象のクラスは、「ｔｒａｃｋ」で確定されている。

【0074】

ステップＳ１６では、データ生成部２１６が、学習候補画像を学習データ化する。詳細には、データ生成部２１６は、トレース対象のクラス分類が明確であると判定した画像の推論により得られたクラスを、トレース対象のクラスの正解値とする。そして、データ生成部２１６は、保持されている学習候補画像に正解データを付与する。保持されている学習候補画像が複数である場合には、それぞれに正解データが付与される。

【0075】

図７は、生成される学習データのイメージを説明するための図である。図７に示すように、図６に示す学習データ生成方法によれば、正解ラベル付きの学習データＤＡの束ＢＯＤが得られる。例えば、カメラ３から学習データ生成装置２０に１秒間に３０枚の画像が送信されるとする。そして、図５の上段の状態から下段の状態となるまでに１５秒を要したする。この場合、おおよそ４５０（＝３０×１５）枚の学習データが得られる。なお、撮影時刻が近い画像の学習データについては、類似度の高いデータであり学習効率の点では低くなるとも考えられるので、適当な時間間隔の撮影画像の学習データとなるように、適当に間引く（例えば、上述の例では１秒間隔の撮影画像の学習データ１５枚とする）処理を行っても良い。

【0076】

以上の説明からわかるように、本実施形態の学習データ生成方法は、推論結果の時間変化に伴う変化の検出に応じて、学習候補画像に推論の結果を正解データとして付与した学習データを生成する。これによれば、学習済みモデルを用いた推論を行いながら、正解ラベル付き学習データである教師データを自動的に生成することができる。また、学習済みモデルを用いた推論を行う際に入力される画像をそのまま用いて学習データを自動的に生成することができる。ドライブレコーダ等の製品に適用することにより、実際に製品を使用した際に得られる画像をそのまま用いて、学習データを自動的に得ることができる。本実施形態によれば、学習データの生成を効率良く行うことができ、それに伴い、モデルの学習効率の向上を図ることができる。

【0077】

なお、上述した本実施形態の学習方法は、以上に示した学習データ生成方法と、当該学習データ生成方法で得られた学習データを用いて学習済みモデル２２１の再学習を行うことを備える方法である。認識が苦手であると推定される画像から自動的に作成された正解ラベル付き学習データを得て、効率良く学習済みモデルの性能を向上する再学習を行うことができる。

【0078】

＜３．変形例＞
以上に示した実施形態では、学習済みモデルを用いた推論により得られるクラス分類が不明確から明確に変化する現象を利用して正解ラベル付き学習データを生成する構成とした。ただし、これは例示にすぎない。学習済みモデルを用いた推論により得られるクラス分類が明確から不明確に変化する現象を利用して正解ラベル付き学習データを生成してもよい。以下に説明する変形例は、クラス分類が明確から不明確に変化する現象を利用して学習データを生成する。

【0079】

なお、以上に示した実施形態の適用例として、図５で説明したように、識別対象がカメラ３に近づくシーンが想定された。以下に説明する変形例は、例えば、図８に示すような、識別対象がカメラ３から遠ざかるシーンへの適用が考えられる。なお、図８は、変形例の適用シーンを模式的に示す図である。図８において、上段の画像が取得された時刻が最も早く、下段の画像が取得された時刻が最も遅い。すなわち、画像が取得された時刻は、上段、中段、下段の順に遅くなる。なお、図８に示す例では、説明の便宜上、画像に写る２つの車両のうち、左側の車両のみが認識されている。

【0080】

また、変形例の学習データ生成方法を実現する学習データ生成装置の構成は、機能の内容の一部に差があるが、概ね上述した実施形態の学習データ生成装置２０の構成と同様である。このために、図３で示す符号を利用して説明する。

【0081】

図９は、本発明の変形例に係る学習データ生成方法の流れを例示するフローチャートである。

【0082】

ステップＳ２１では、推論部２１２が、装置２０に入力された画像に対して推論を行う。この点は、上述した実施形態と同様である。推論の結果が得られると、次のステップＳ２２に処理が進められる。

【0083】

なお、上述の実施形態と同様に、ステップＳ２１の推論によって、識別対象が１つだけでなく、複数の識別対象が認識されることもある。ここでは、理解を容易とするために、１つの識別対象の処理に絞って説明を行う。また、本例でも、推論の結果として得られるクラスの種類は、一例として、「ｃａｒ」、「ｔｒａｃｋ」、および、「ｂｕｓ」である。

【0084】

ステップＳ２２では、上述の実施形態の場合と同様に、トレース対象検出部２１３が、認識された識別対象に対して既にトレースが開始されているか否かを判定する。トレースが開始されていない場合（ステップＳ２２でＮｏ）は、次のステップＳ２３に処理が進められる。トレースが開始されている場合（ステップＳ２２でＹｅｓ）、ステップＳ２５に処理が進められる。

【0085】

ステップＳ２３では、トレース対象検出部２１３が、識別対象がトレース対象としての要件を満たすか否かを、推論の結果に基づいて判定する。この点は、上述の実施形態と同様である。ただし、本変形例では、当該要件は、識別対象のクラス分類が明確であることが要件とされる。すなわち、本変形例では、トレース対象の検出は、推論の結果に基づきクラス分類が明確である識別対象を検出することである。この点、上述した実施形態と異なる。このような構成でも、正解ラベル付きの学習データを自動的に生成することができる。トレース対象が検出された場合（ステップＳ２３でＹｅｓ）、次のステップＳ２４に処理が進められる。トレース対象が検出されなかった場合（ステップＳ２３でＮｏ）、ステップＳ２１に処理が戻される。

【0086】

なお、上述した図８の上段に示す状態は、ステップＳ２３でトレース対象が検出された状態に該当する。トレース対象は、クラス「ｔｒａｃｋ」と分類された車両である。クラス分類は明確であり、クラスの正解データは「ｔｒａｃｋ」と判断できる。

【0087】

ステップＳ２４では、トレースが開始される。トレースが開始されると、一旦、ステップＳ２１の処理に戻され、学習済みモデル２２１を用いて次の画像の推論が行われる。なお、本変形例では、トレース対象の検出に応じて学習候補画像の保持は開始されない。この点、上述した実施形態と異なる。

【0088】

ステップＳ２５は、画像から認識された識別対象のトレースが開始されている場合の処理である。ステップＳ２５では、現在推論の対象となっている画像におけるトレース対象に対する推論の結果に基づき、クラス分類が明確であるか否かが判定される。トレース対象のクラス分類が明確であると判定された場合（ステップＳ２５でＹｅｓ）、ステップＳ２１に処理が戻される。トレース対象のクラス分類が不明確であると判定された場合（ステップＳ２５でＮｏ）、次のステップＳ２６に処理が進められる。

【0089】

なお、上述した図８の中段に示す状態は、ステップＳ２５でクラス分類が不明確となった状態に該当する。トレース対象のクラスは、「ｔｒａｃｋ」ではなく「ｃａｒ」となっている。なお、クラスが「ｔｒａｃｋ」のままでも、クラス分類が不明確であると判定されることがある。

【0090】

ステップＳ２６では、候補画像保持部２１４が、学習候補画像の保持を開始する。すなわち、本変形例では、学習候補画像の保持は、推論の結果に基づき、トレース対象のクラス分類が明確から不明確となったと判定されることにより開始される。この点、上述した実施形態と異なる。適切なタイミングで学習候補画像の保持を開始することにより、学習済みモデル２２１が認識を苦手とする識別対象が存在する画像を適切に収集することができる。学習候補画像の保持が開始されると、次のステップＳ２７に処理が進められる。

【0091】

ステップＳ２７では、変化検出部２１５が、現在推論の対象となっている画像におけるトレース対象に対する推論の結果に基づき、トレース要件を満たしているか否かを判定する。すなわち、本変形例では、トレース対象に対する推論の結果の時間経過に伴う変化は、推論の結果に基づき、トレース対象がトレース要件を満たさなくなったと判定されることにより検出される。詳細には、推論の結果から、各クラスの推論値（confidence値）が上述した判定許可閾値以下となった場合に、トレース要件を満たしていないと判定される。また、トレース中の識別対象が認識されなくなった場合も、トレース要件を満たさなくなったと判定される。

【0092】

トレース要件を満たしていないと判定された場合（ステップＳ２７でＮｏ）、次のステップＳ２８に処理が進められる。トレース要件を満たしていると判定された場合（ステップＳ２７でＹｅｓ）、ステップＳ２１に処理が戻される。なお、ステップＳ２１に処理が戻される場合、今回の推論結果を得た画像が学習候補画像として保持される。すなわち、ステップＳ２７からステップＳ１１に処理が戻される度に、保持される学習候補画像の数は増加する。また、ステップＳ２１に処理を戻した後に行われる処理では、ステップＳ２５でクラス分類が不明確であると判定された場合（ステップＳ２５でＮｏ）、ステップＳ２６の処理はスキップしてステップＳ２７の処理が進められる。また、ステップＳ２５でクラス分類が明確であると判定された場合（ステップＳ２５でＹｅｓ）、ステップＳ２１に戻るのではなく、以下に説明するステップＳ２８に処理が進められる。

【0093】

なお、上述した図８の下段に示す状態は、ステップＳ２７でトレース要件を満たさなくなった状態に該当する。トレース要件を満たさない状態では、推論の結果として得られる各クラスのconfidence値が小さいために、クラス分類の結果が示されない。

【0094】

ステップＳ２８では、データ生成部２１６が、学習候補画像を学習データ化する。詳細には、データ生成部２１６は、トレース対象のクラス分類が明確であると判定された画像において得られたクラスを、トレース対象のクラスの正解値とする。そして、データ生成部２１６は、保持されている学習候補画像のそれぞれに、正解データを付与する。すなわち、本変形例では、正解データは、トレース対象のクラス分類が明確であると判定された画像における推論の結果を用いて付与される。トレース対象のクラス分類が明確であると判定された画像は、例えば、トレース対象を最初に検出した画像であってよい。この場合、トレース対象を最初に検出した画像における推論の結果は、当該推論の結果を取得した時点で保持しておく必要がある。

【0095】

本変形例でも、学習済みモデルを用いた推論を行いながら、正解ラベル付き学習データである教師データを自動的に生成することができる。また、学習済みモデルを用いた推論を行う際に入力される画像をそのまま用いて、学習データを自動的に生成することができる。

【0096】

なお、変形例の構成では、クラス分類が明確から不明確となった判定された時点（ステップＳ２５でＹｅｓ）において、学習候補画像の保持と、当該学習候補画像に推論の結果を正解データとして付与した学習データの生成とを、同時に行ってよい。このような構成も、本発明の範囲に含まれる。このような構成では、本発明における、トレース対象に対する推論結果の時間経過に伴う変化は、クラス分類が明確から不明確に変化することに該当する。

【0097】

＜４．留意事項等＞
本明細書の、発明を実施するための形態に開示される種々の技術的特徴は、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書の、発明を実施するための形態に開示される複数の実施形態および変形例は可能な範囲で組み合わせて実施されてよい。

【符号の説明】

【0098】

１・・・サーバ装置
２・・・端末装置
２０・・・学習データ生成装置
２１・・・コントローラ
１００・・・学習システム
２２１・・・学習済みモデル

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】