IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 住友電気工業株式会社の特許一覧

特開2024-70072学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラム
<>
  • 特開-学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラム 図1
  • 特開-学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラム 図2
  • 特開-学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラム 図3
  • 特開-学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラム 図4
  • 特開-学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラム 図5
  • 特開-学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラム 図6
  • 特開-学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラム 図7
  • 特開-学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラム 図8
  • 特開-学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラム 図9
  • 特開-学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラム 図10
  • 特開-学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラム 図11
  • 特開-学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラム 図12
  • 特開-学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024070072
(43)【公開日】2024-05-22
(54)【発明の名称】学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラム
(51)【国際特許分類】
   G06V 10/70 20220101AFI20240515BHJP
   G06T 7/00 20170101ALI20240515BHJP
【FI】
G06V10/70
G06T7/00 350B
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022180446
(22)【出願日】2022-11-10
(71)【出願人】
【識別番号】000002130
【氏名又は名称】住友電気工業株式会社
(74)【代理人】
【識別番号】110000682
【氏名又は名称】弁理士法人ワンディ-IPパ-トナ-ズ
(72)【発明者】
【氏名】川口 宗
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096CA04
5L096CA05
5L096KA04
(57)【要約】      (修正有)
【課題】各対象地点における教師データを容易に取得しつつ、教師データの信頼度を高める学習モデル生成装置を提供する。
【解決手段】検出システム301において、検出装置101の学習モデル生成装置10は、第1の画像データと第1の対象地点における第1の検出対象に関する第1の検出情報とが対応付けられた第1の教師データを用いて生成された第1の教師データ用モデルへ、第2の画像データを入力し、第1の教師データ用モデルから出力される出力データであって、第2の画像データと第2の対象地点における第2の検出対象に関する第2の検出情報とが対応付けられた出力データである第2の教師データを取得する取得部12と、第2の教師データおよび第1の教師データ用モデルを用いて、第2の教師データ用モデルを生成する第2の生成部13と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
対象地点において撮影された画像データと前記対象地点における検出対象に関する情報である検出情報とが対応付けられた教師データを出力する学習モデルである教師データ用モデルを生成する学習モデル生成装置であって、
第1の対象地点において撮影された第1の画像データと前記第1の対象地点における第1の検出対象に関する第1の検出情報とが対応付けられた第1の教師データを用いて生成された第1の教師データ用モデルへ、第2の対象地点において撮影された第2の画像データを入力し、前記第1の教師データ用モデルから出力される出力データであって、前記第2の画像データと前記第2の対象地点における第2の検出対象に関する第2の検出情報とが対応付けられた前記出力データである第2の教師データを取得する取得部と、
前記取得部によって取得された前記第2の教師データ、および前記第1の教師データ用モデルを用いて、第2の教師データ用モデルを生成する生成部とを備える、学習モデル生成装置。
【請求項2】
前記取得部は、時系列の前記第2の画像データが入力された前記第1の教師データ用モデルから出力される複数の前記出力データのうち、前記第2の教師データを取得し、かつ前記第2の教師データに対応する前記第2の画像データと時間的に連続して前記第2の対象地点において撮影された画像データである関連画像データを含む関連教師データであって前記関連画像データと前記第2の検出情報とが対応付けられた前記関連教師データを取得する、請求項1に記載の学習モデル生成装置。
【請求項3】
前記取得部は、時系列の前記第2の画像データが入力された前記第1の教師データ用モデルから出力される複数の前記出力データのうち、前記第2の検出情報が所定条件を満たす前記第2の教師データを取得する、請求項1に記載の学習モデル生成装置。
【請求項4】
前記学習モデル生成装置は、さらに、
前記取得部によって取得された前記第2の教師データを所定条件に従って修正する修正部を備え、
前記生成部は、前記修正部による修正後の前記第2の教師データおよび前記第1の教師データ用モデルを用いて、前記第2の教師データ用モデルを生成する、請求項1または請求項2に記載の学習モデル生成装置。
【請求項5】
前記学習モデル生成装置は、さらに、
前記第1の教師データを用いて生成された前記第1の教師データ用モデルを記憶する記憶部を備え、
前記生成部は、前記記憶部に保存されている前記第1の教師データ用モデルを、生成した前記第2の教師データ用モデルに更新し、
前記取得部は、更新後の前記第1の教師データ用モデルへ、前記第2の画像データを入力し、更新後の前記第1の教師データ用モデルから出力される前記出力データのうち、前記第2の教師データを新たに取得し、
前記生成部は、前記取得部によって新たに取得された前記第2の教師データ、および更新後の前記第1の教師データ用モデルを用いて、前記第2の教師データ用モデルを新たに生成する、請求項1または請求項2に記載の学習モデル生成装置。
【請求項6】
前記第2の検出対象の種類は、前記第1の検出対象の種類と同じである、請求項1から請求項3のいずれか1項に記載の学習モデル生成装置。
【請求項7】
対象地点において撮影された画像データと前記対象地点における検出対象に関する情報である検出情報とが対応付けられた教師データを出力する学習モデルである教師データ用モデルを生成する学習モデル生成方法であって、
第1の対象地点において撮影された第1の画像データと前記第1の対象地点における第1の検出対象に関する第1の検出情報とが対応付けられた第1の教師データを用いて生成された第1の教師データ用モデルへ、第2の対象地点において撮影された第2の画像データを入力し、前記第1の教師データ用モデルから出力される出力データであって、前記第2の画像データと前記第2の対象地点における第2の検出対象に関する第2の検出情報とが対応付けられた前記出力データである第2の教師データを取得するステップと、
取得した前記第2の教師データ、および前記第1の教師データ用モデルを用いて、第2の教師データ用モデルを生成するステップとを含む、学習モデル生成方法。
【請求項8】
請求項7に記載の学習モデル生成方法によって生成された前記第2の教師データ用モデルである、学習モデル。
【請求項9】
対象地点において撮影された画像データと前記対象地点における検出対象に関する情報である検出情報とが対応付けられた教師データを出力する学習モデルである教師データ用モデルを生成する学習モデル生成装置において用いられる学習モデル生成プログラムであって、
コンピュータを、
第1の対象地点において撮影された第1の画像データと前記第1の対象地点における第1の検出対象に関する第1の検出情報とが対応付けられた第1の教師データを用いて生成された第1の教師データ用モデルへ、第2の対象地点において撮影された第2の画像データを入力し、前記第1の教師データ用モデルから出力される出力データであって、前記第2の画像データと前記第2の対象地点における第2の検出対象に関する第2の検出情報とが対応付けられた前記出力データである第2の教師データを取得する取得部と、
前記取得部によって取得された前記第2の教師データ、および前記第1の教師データ用モデルを用いて、第2の教師データ用モデルを生成する生成部、
として機能させるための、学習モデル生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラムに関する。
【背景技術】
【0002】
対象地点において撮影された画像データと当該対象地点における検出対象に関する情報とが対応付けられた教師データを用いて学習モデルを生成する技術が開発されている。
【0003】
たとえば、特許文献1(特開2020-187071号公報)には、以下のような技術が開示されている。すなわち、画像検査装置は、撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置において、前記画像検査装置のモードを、当該画像検査装置の設定を行う設定モードと、検査を実行する運転モードとに切り替えるモード切替手段と、前記設定モード時に前記撮像手段の撮像条件の設定を受け付ける撮像設定手段と、前記設定モード時に、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録手段と、前記設定モード時に、前記学習画像登録手段で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成手段と、前記運転モードにおいて、前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定手段と、前記運転モードにおいて、前記検査対象画像を前記良否判定手段による良否判定結果とともに運転モード画面に表示する表示手段と、前記運転モード画面に表示された前記検査対象画像を良品画像又は不良品画像として追加学習させるか否かの指定を受け付ける追加学習画像指定手段とを備え、前記識別器生成手段は、前記追加学習画像指定手段により追加学習対象として指定された前記検査対象画像を良品画像又は不良品画像として追加学習し、前記識別器を更新するように構成されていることを特徴とする。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2020-187071号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
複数の対象地点において検出処理を行う場合、各対象地点において撮影された画像の背景等が異なる可能性があるため、各対象地点における教師データを取得する必要がある。特許文献1に記載の技術では、ユーザが、各対象地点における教師データを作成するため、各対象地点における教師データの取得に要する手間およびコストが増加し、かつ教師データの信頼度が低下する可能性がある。
【0006】
本開示は、上述の課題を解決するためになされたもので、その目的は、各対象地点における教師データを容易に取得しつつ、教師データの信頼度を高めることが可能な学習モデル生成装置、学習モデル生成方法、学習モデルおよび学習モデル生成プログラムを提供することである。
【課題を解決するための手段】
【0007】
本開示の学習モデル生成装置は、対象地点において撮影された画像データと前記対象地点における検出対象に関する情報である検出情報とが対応付けられた教師データを出力する学習モデルである教師データ用モデルを生成する学習モデル生成装置であって、第1の対象地点において撮影された第1の画像データと前記第1の対象地点における第1の検出対象に関する第1の検出情報とが対応付けられた第1の教師データを用いて生成された第1の教師データ用モデルへ、第2の対象地点において撮影された第2の画像データを入力し、前記第1の教師データ用モデルから出力される出力データであって、前記第2の画像データと前記第2の対象地点における第2の検出対象に関する第2の検出情報とが対応付けられた前記出力データである第2の教師データを取得する取得部と、前記取得部によって取得された前記第2の教師データ、および前記第1の教師データ用モデルを用いて、第2の教師データ用モデルを生成する生成部とを備える。
【0008】
本開示の一態様は、このような特徴的な処理部を備える学習モデル生成装置として実現され得るだけでなく、学習モデル生成装置の一部または全部を実現する半導体集積回路として実現され得たり、学習モデル生成装置を含むシステムとして実現され得る。
【0009】
本開示によれば、各対象地点における教師データを容易に取得しつつ、教師データの信頼度を高めることができる。
【図面の簡単な説明】
【0010】
図1図1は、本開示の実施の形態に係る検出システムの構成を示す図である。
図2図2は、本開示の実施の形態に係る検出装置における検出部から出力される検出結果の一例を示す図である。
図3図3は、本開示の実施の形態に係る学習モデル生成装置の構成を示す図である。
図4図4は、本開示の実施の形態に係る学習モデル生成装置による、教師データ用モデルの生成方法を説明するための図である。
図5図5は、本開示の実施の形態に係る学習モデル生成装置が保持するモデルテーブルの一部を示す図である。
図6図6は、本開示の実施の形態に係る学習モデル生成装置において、更新処理が行われた後におけるモデルテーブルの一部を示す図である。
図7図7は、本開示の実施の形態に係る学習モデル生成装置が教師データ用モデルを生成する際の動作手順を定めたフローチャートである。
図8図8は、本開示の実施の形態に係る検出装置の検出処理部による、検出処理の動作手順を定めたフローチャートである。
図9図9は、本開示の実施の形態に係る学習モデル生成装置の変形例1において、第1の教師データ用モデルから出力される複数の出力データの一例を示す図である。
図10図10は、本開示の実施の形態に係る学習モデル生成装置の変形例1において、取得部が取得する第2の教師データおよび関連教師データの一例を示す図である。
図11図11は、本開示の実施の形態に係る学習モデル生成装置の変形例1において、取得部が取得する第2の教師データおよび関連教師データの他の例を示す図である。
図12図12は、本開示の実施の形態に係る学習モデル生成装置の変形例2において、第1の教師データ用モデルから出力される第2の教師データの一例を示す図である。
図13図13は、本開示の実施の形態に係る学習モデル生成装置の変形例3の構成を示す図である。
【発明を実施するための形態】
【0011】
最初に、本開示の実施の形態の内容を列記して説明する。
(1)本開示の実施の形態に係る学習モデル生成装置は、対象地点において撮影された画像データと前記対象地点における検出対象に関する情報である検出情報とが対応付けられた教師データを出力する学習モデルである教師データ用モデルを生成する学習モデル生成装置であって、第1の対象地点において撮影された第1の画像データと前記第1の対象地点における第1の検出対象に関する第1の検出情報とが対応付けられた第1の教師データを用いて生成された第1の教師データ用モデルへ、第2の対象地点において撮影された第2の画像データを入力し、前記第1の教師データ用モデルから出力される出力データであって、前記第2の画像データと前記第2の対象地点における第2の検出対象に関する第2の検出情報とが対応付けられた前記出力データである第2の教師データを取得する取得部と、前記取得部によって取得された前記第2の教師データ、および前記第1の教師データ用モデルを用いて、第2の教師データ用モデルを生成する生成部とを備える。
【0012】
このように、教師データを出力する第1の教師データ用モデルへ、第2の対象地点において撮影された第2の画像データを入力することにより、第1の教師データ用モデルから出力される第2の教師データを第2の対象地点における教師データとして自動的に取得することができる。また、第2の教師データおよび第1の教師データ用モデルを用いて、第2の教師データ用モデルを生成することにより、第2の教師データ用モデルから出力される出力結果に、第1の対象地点における第1の教師データおよび第2の対象地点における第2の教師データを反映させることができるため、第2の教師データ用モデルから出力される教師データの信頼度を高めることができる。したがって、各対象地点における教師データを容易に取得しつつ、教師データの信頼度を高めることができる。
【0013】
(2)上記(1)において、前記取得部は、時系列の前記第2の画像データが入力された前記第1の教師データ用モデルから出力される複数の前記出力データのうち、前記第2の教師データを取得し、かつ前記第2の教師データに対応する前記第2の画像データと時間的に連続して前記第2の対象地点において撮影された画像データである関連画像データを含む関連教師データであって前記関連画像データと前記第2の検出情報とが対応付けられた前記関連教師データを取得してもよい。
【0014】
このような構成により、第1の教師データ用モデルが出力する出力データに、検出情報が漏れた出力データが含まれる場合でも、当該検出情報が漏れた出力データに第2の検出情報を対応付けた関連教師データを取得することができるため、第2の教師データ用モデルを生成するための機械学習において学習効率を高めることができる。
【0015】
(3)上記(1)において、前記取得部は、時系列の前記第2の画像データが入力された前記第1の教師データ用モデルから出力される複数の前記出力データのうち、前記第2の検出情報が所定条件を満たす前記第2の教師データを取得してもよい。
【0016】
このような構成により、たとえば、検出対象を含まない第2の画像データと第2の検出情報とを対応付けた第2の教師データを第2の教師データ用モデルの生成に用いることを抑制することができるため、第2の教師データ用モデルを生成するための機械学習において学習効率を高めることができる。
【0017】
(4)上記(1)から(3)のいずれかにおいて、前記学習モデル生成装置は、さらに、前記取得部によって取得された前記第2の教師データを所定条件に従って修正する修正部を備えてもよく、前記生成部は、前記修正部による修正後の前記第2の教師データおよび前記第1の教師データ用モデルを用いて、前記第2の教師データ用モデルを生成してもよい。
【0018】
このような構成により、たとえば、取得した第2の教師データの信頼度が低い場合であっても、修正部による修正後の第2の教師データおよび第1の教師データ用モデルを用いて第2の教師データ用モデルが生成されるため、第2の教師データ用モデルから出力される教師データの信頼度をより高めることができる。
【0019】
(5)上記(1)から(4)のいずれかにおいて、前記学習モデル生成装置は、さらに、前記第1の教師データを用いて生成された前記第1の教師データ用モデルを記憶する記憶部を備えてもよく、前記生成部は、前記記憶部に保存されている前記第1の教師データ用モデルを、生成した前記第2の教師データ用モデルに更新してもよく、前記取得部は、更新後の前記第1の教師データ用モデルへ、前記第2の画像データを入力し、更新後の前記第1の教師データ用モデルから出力される前記出力データのうち、前記第2の教師データを新たに取得してもよく、前記生成部は、前記取得部によって新たに取得された前記第2の教師データ、および更新後の前記第1の教師データ用モデルを用いて、前記第2の教師データ用モデルを新たに生成してもよい。
【0020】
このように、更新後の第1の教師データ用モデルから出力される出力データから第2の教師データを新たに取得することにより、第2の教師データの信頼度をより高めることができる。また、新たに取得した第2の教師データ、および更新後の第1の教師データ用モデルを用いて、第2の教師データ用モデルを新たに生成することにより、第2の教師データ用モデルの信頼度をより高めることができる。
【0021】
(6)上記(1)から(5)のいずれかにおいて、前記第2の検出対象の種類は、前記第1の検出対象の種類と同じであってもよい。
【0022】
このような構成により、第2の検出対象と同じ種類の第1の検出対象に関する検出情報を含む第1の教師データを、第2の教師データ用モデルを生成する際に用いることができるため、第2の教師データ用モデルから出力される第2の教師データの信頼度をより高めることができる。
【0023】
(7)本開示の実施の形態に係る学習モデル生成方法は、対象地点において撮影された画像データと前記対象地点における検出対象に関する情報である検出情報とが対応付けられた教師データを出力する学習モデルである教師データ用モデルを生成する学習モデル生成方法であって、第1の対象地点において撮影された第1の画像データと前記第1の対象地点における第1の検出対象に関する第1の検出情報とが対応付けられた第1の教師データを用いて生成された第1の教師データ用モデルへ、第2の対象地点において撮影された第2の画像データを入力し、前記第1の教師データ用モデルから出力される出力データであって、前記第2の画像データと前記第2の対象地点における第2の検出対象に関する第2の検出情報とが対応付けられた前記出力データである第2の教師データを取得するステップと、取得した前記第2の教師データ、および前記第1の教師データ用モデルを用いて、第2の教師データ用モデルを生成するステップとを含む。
【0024】
このように、教師データを出力する第1の教師データ用モデルへ、第2の対象地点において撮影された第2の画像データを入力することにより、第1の教師データ用モデルから出力される第2の教師データを第2の対象地点における教師データとして自動的に取得することができる。また、第2の教師データおよび第1の教師データ用モデルを用いて、第2の教師データ用モデルを生成することにより、第2の教師データ用モデルから出力される出力結果に、第1の対象地点における第1の教師データおよび第2の対象地点における第2の教師データを反映させることができるため、第2の教師データ用モデルから出力される教師データの信頼度を高めることができる。したがって、各対象地点における教師データを容易に取得しつつ、教師データの信頼度を高めることができる。
【0025】
(8)本開示の実施の形態に係る学習モデルは、上記(7)における学習モデル生成方法によって生成された前記第2の教師データ用モデルである。
【0026】
このような構成により、信頼度の高い教師データを自動的に出力する学習モデルを提供することができる。
【0027】
(9)本開示の実施の形態に係る学習モデル生成プログラムは、対象地点において撮影された画像データと前記対象地点における検出対象に関する情報である検出情報とが対応付けられた教師データを出力する学習モデルである教師データ用モデルを生成する学習モデル生成装置において用いられる学習モデル生成プログラムであって、コンピュータを、第1の対象地点において撮影された第1の画像データと前記第1の対象地点における第1の検出対象に関する第1の検出情報とが対応付けられた第1の教師データを用いて生成された第1の教師データ用モデルへ、第2の対象地点において撮影された第2の画像データを入力し、前記第1の教師データ用モデルから出力される出力データであって、前記第2の画像データと前記第2の対象地点における第2の検出対象に関する第2の検出情報とが対応付けられた前記出力データである第2の教師データを取得する取得部と、前記取得部によって取得された前記第2の教師データ、および前記第1の教師データ用モデルを用いて、第2の教師データ用モデルを生成する生成部、として機能させるためのプログラムである。
【0028】
このように、教師データを出力する第1の教師データ用モデルへ、第2の対象地点において撮影された第2の画像データを入力することにより、第1の教師データ用モデルから出力される第2の教師データを第2の対象地点における教師データとして自動的に取得することができる。また、第2の教師データおよび第1の教師データ用モデルを用いて、第2の教師データ用モデルを生成することにより、第2の教師データ用モデルから出力される出力結果に、第1の対象地点における第1の教師データおよび第2の対象地点における第2の教師データを反映させることができるため、第2の教師データ用モデルから出力される教師データの信頼度を高めることができる。したがって、各対象地点における教師データを容易に取得しつつ、教師データの信頼度を高めることができる。
【0029】
以下、本開示の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。また、以下に記載する実施の形態の少なくとも一部を任意に組み合わせてもよい。
【0030】
[検出システム]
図1は、本開示の実施の形態に係る検出システムの構成を示す図である。
【0031】
図1を参照して、検出システム301は、検出装置101と、複数のカメラ201とを備える。
【0032】
検出装置101は、対象地点(Target Place)における検出対象Mを検出する検出処理を行う。検出装置101は、複数の対象地点において検出処理を行う。検出装置101は、たとえば工場内に設置され、工場内の対象地点における人または車両等を、検出対象Mとして検出する。検出装置101は、たとえばサーバである。
【0033】
複数のカメラ201は、対象地点ごとに設けられる。カメラ201は、撮像装置の一例であり、たとえば、対象地点を定期的に撮影する。各カメラ201は、たとえばネットワーク経由で検出装置101と接続されている。各カメラ201は、たとえば、IDを有し、自己のIDを含む画像データDを、ネットワークを介して検出装置101へ送信する。
【0034】
[検出装置]
検出装置101は、学習モデル生成装置10と、検出処理部20と、画像取得部30と、設定部40とを備える。画像取得部30および設定部40のいずれか一方または両方は、たとえば、1または複数のプロセッサを含む第1の処理回路により実現される。
【0035】
学習モデル生成装置10は、第1の生成部11と、取得部12と、第2の生成部13と、記憶部14とを含む。第1の生成部11、取得部12および第2の生成部13の一部または全部は、たとえば、1または複数のプロセッサを含む第2の処理回路により実現される。記憶部14は、たとえば上記第2の処理回路に含まれる不揮発性メモリである。
【0036】
検出処理部20は、検出用モデル生成部21と、検出部22と、記憶部23とを含む。検出用モデル生成部21および検出部22のいずれか一方または両方は、たとえば、1または複数のプロセッサを含む第3の処理回路により実現される。記憶部23は、たとえば上記第3の処理回路に含まれる不揮発性メモリである。
【0037】
画像取得部30は、画像データDを取得する。より詳細には、画像取得部30は、たとえば、ネットワークを介してカメラ201から画像データDを受信し、受信した画像データDを記憶部14および記憶部23に保存する。画像取得部30は、たとえば、時系列の画像データDを取得する。
【0038】
なお、各カメラ201は、対象地点において撮影した画像データDを、ネットワークを介して検出装置101へ送信する構成に限らず、たとえば、メモリカードおよびUSB(Universal Serial Bus)(登録商標)等の記録媒体に書き込む構成であってもよい。この場合、画像取得部30は、当該記録媒体から画像データDを取得してもよい。
【0039】
また、画像取得部30は、取得した画像データDに対して所定の加工処理を行ってもよい。たとえば、画像取得部30は、取得した画像データDから所定サイズの画像データを切り出し、切り出した画像データを記憶部14および記憶部23に保存してもよい。
【0040】
検出処理部20における検出部22は、記憶部23に保存されている画像データDと、学習モデルの一例である検出用モデルKとを用いて、検出処理を行う。検出用モデルKは、対象地点における検出対象Mに関する検出結果を出力する学習モデルである。
【0041】
より詳細には、検出部22は、検出用モデルKへ、対象地点において撮影された画像データDを入力し、検出用モデルKから出力される検出結果を当該対象地点における検出結果として取得する。検出部22は、たとえば取得した検出結果を、図示しない表示装置に表示する。
【0042】
図2は、本開示の実施の形態に係る検出装置における検出部から出力される検出結果の一例を示す図である。
【0043】
図1および図2を参照して、設定部40は、検出処理を行う対象地点を示す検出地点情報の入力を受け付ける。設定部40は、たとえば、マウスまたはキーボード等の入力装置を介してユーザにより入力された検出地点情報を記憶部23に保存する。
【0044】
検出用モデル生成部21は、検出地点情報が記憶部23に保存されたことを確認した場合、教師あり学習により検出用モデルKを生成する。具体的には、検出用モデル生成部21は、対象地点において撮影された画像データDと当該対象地点における検出情報Gとが対応付けられた教師データTを用いて、検出用モデルKを生成する。教師データTは、記憶部23に保存されている。
【0045】
検出部22は、検出用モデルKが検出用モデル生成部21によって生成された後、検出地点情報が示す対象地点に設けられたカメラ201のIDを含む画像データDを記憶部23から読み出す。検出部22は、読み出した画像データDが入力された検出用モデルKから出力される出力結果を検出結果として表示装置へ出力する。たとえば、検出部22は、読み出した画像データDに検出対象Mが含まれる場合、検出枠Eが設定された画像データDと、検出対象Mに関する情報である検出情報Gとを検出結果として表示装置へ出力する。
【0046】
検出枠Eは、画像データDに含まれる検出対象Mを示す枠である。検出情報Gは、たとえば、検出対象Mの種類を示す種類情報、検出枠Eの位置を示す位置情報、検出枠Eのサイズを示すサイズ情報および検出結果の正解率を示す信頼度情報を含む。検出結果の正解率は、検出用モデルKの精度を判断するための指標である。検出部22は、たとえば、検出用モデルKから出力される出力データと、記憶部23に保存されている教師データTとに基づいて、検出結果の正解率を算出する。
【0047】
[課題の説明]
各対象地点において撮影された画像データDの背景、および各対象地点における検出対象Mが互いに異なる場合が考えられる。この場合、検出装置101は、検出対象Mの検出精度を高めるために、対象地点ごとに教師データTを取得する必要がある。そのため、教師データTを作成する作業、すなわちアノテーション作業の効率化が求められている。
【0048】
たとえば、特許文献1には、ユーザが、装置の画面に表示される複数の画像データから、検出対象が含まれる画像データを選択し、選択した画像データに含まれる検出対象に関する情報を入力する技術が開示されている。すなわち、特許文献1に記載の技術では、教師データTは、ユーザにより作成されている。
【0049】
このように、特許文献1に記載の技術では、各対象地点における教師データがユーザにより作成されているため、教師データの取得に要する時間がユーザに応じて異なる。また、特許文献1に記載の技術では、各対象地点における教師データの取得に要する手間およびコストが増加し、かつ教師データの信頼度が低下する可能性がある。
【0050】
これに対して、本開示の実施の形態に係る学習モデル生成装置では、以下のような構成および動作により、上記課題を解決する。
【0051】
[学習モデル生成装置]
図3は、本開示の実施の形態に係る学習モデル生成装置の構成を示す図である。
【0052】
図1および図3を参照して、学習モデル生成装置10は、教師データTを出力する学習モデルである教師データ用モデルRを生成する。
【0053】
図4は、本開示の実施の形態に係る学習モデル生成装置による、教師データ用モデルの生成方法を説明するための図である。図4において、「地点P1」は第1の対象地点の一例であり、「地点P2」は第2の対象地点の一例であり、「地点P3」は第3の対象地点の一例である。ここでは、地点P2における検出対象Mおよび地点P3における検出対象Mは、たとえば地点P1における検出対象Mと同じである。なお、「第1の」、「第2の」および「第3の」の記載は、優先順位を意味するものではない。
【0054】
図3および図4を参照して、学習モデル生成装置10は、教師あり学習により教師データ用モデルRを生成する。まず、学習モデル生成装置10は、たとえばユーザの操作に従って、地点P1における教師データTを用いて、教師データ用モデルRを生成するモデル生成処理ST1を行う。
【0055】
より詳細には、検出装置101における設定部40は、地点P1において撮影された第1の画像データD1と地点P1における第1の検出情報とが対応付けられた第1の教師データT1の入力を受け付ける。設定部40は、ユーザにより入力された第1の教師データT1を記憶部14に保存する。第1の教師データT1は、たとえば、予めユーザにより作成されている。
【0056】
第1の生成部11は、記憶部14に保存されている第1の教師データT1を用いて、教師データTを出力する第1の教師データ用モデルR1を生成する。
【0057】
第1の生成部11は、たとえばディープラーニング(Deep Learning)の手法に沿って、多層化したニューラルネットワークへ第1の教師データT1を入力する。
【0058】
そして、第1の生成部11は、多層化したニューラルネットワークに対して検出情報Gを含む教師データTを出力できるように機械学習させることにより、第1の教師データ用モデルR1を生成する。第1の生成部11は、生成した第1の教師データ用モデルR1を記憶部14に保存する。すなわち、記憶部14は、第1の生成部11によって生成された第1の教師データ用モデルR1を記憶する。
【0059】
次に、学習モデル生成装置10は、ユーザの操作に従い、地点P1以外の対象地点における教師データTを取得する。
【0060】
より詳細には、設定部40は、教師データTを取得する対象地点を示す対象地点情報等の入力を受け付ける。設定部40は、たとえば、入力装置を介してユーザにより入力された対象地点情報を記憶部14に保存する。図4に示す例では、ユーザが、第1の教師データ用モデルR1が生成された後、「地点P2」を示す対象地点情報を設定部40へ入力し、設定部40が当該対象地点情報を記憶部14に保存したものとする。
【0061】
取得部12は、地点P2を示す対象地点情報が記憶部14に保存されたことを確認した場合、対象地点情報が示す地点P2において撮影された第2の画像データD2を記憶部14から取得する。より詳細には、取得部12は、地点P2に設けられたカメラ201のIDを含む第2の画像データD2を記憶部14から取得する。
【0062】
取得部12は、記憶部14から第2の画像データD2を取得すると、第1の生成部11によって生成された第1の教師データ用モデルR1へ、第2の画像データD2を入力する。より詳細には、取得部12は、第1の教師データ用モデルR1を記憶部14から読み出し、読み出した第1の教師データ用モデルR1へ、記憶部14から取得した第2の画像データD2を入力する。
【0063】
そして、取得部12は、第2の画像データD2が入力された第1の教師データ用モデルR1から出力される出力データである第2の教師データT2を取得する。第2の教師データT2は、第2の画像データD2と地点P2における検出対象Mに関する検出情報Gとが対応付けられた出力データである。取得部12は、取得した第2の教師データT2を記憶部14に保存する。また、取得部12は、取得した第2の教師データT2を検出処理部20の記憶部23に保存する。
【0064】
第2の生成部13は、取得部12によって取得された第2の教師データT2、および記憶部14に保存されている第1の教師データ用モデルR1を用いて、教師データTを出力する第2の教師データ用モデルR2を生成する。
【0065】
より詳細には、第2の生成部13は、第2の教師データT2および第1の教師データ用モデルR1を記憶部14から読み出し、読み出した第2の教師データT2および第1の教師データ用モデルR1を用いて、第2の教師データ用モデルR2を生成するモデル生成処理ST2を行う。
【0066】
第2の生成部13は、第1の教師データ用モデルR1へ第2の教師データT2を入力することにより、第2の教師データ用モデルR2を生成する。第2の生成部13は、たとえばディープラーニングの手法に沿って、第1の教師データ用モデルR1へ第2の教師データT2を入力する。
【0067】
そして、第2の生成部13は、第1の教師データ用モデルR1に対して機械学習させることにより、第2の教師データ用モデルR2を生成する。第2の生成部13は、生成した第2の教師データ用モデルR2を記憶部14に保存する。
【0068】
次に、学習モデル生成装置10は、ユーザの操作に従い、地点P1および地点P2以外の対象地点における教師データTを取得する。図4に示す例では、ユーザが、第2の教師データ用モデルR2が生成された後、「地点P3」を示す対象地点情報を設定部40へ入力し、設定部40が当該対象地点情報を記憶部14に保存したものとする。
【0069】
取得部12は、地点P3を示す対象地点情報が記憶部14に保存されたことを確認した場合、対象地点情報が示す地点P3において撮影された第3の画像データD3を記憶部14から取得する。より詳細には、取得部12は、地点P3に設けられたカメラ201のIDを含む第3の画像データD3を記憶部14から取得する。
【0070】
取得部12は、第3の画像データD3を記憶部14から取得すると、第2の生成部13によって生成された第2の教師データ用モデルR2へ、第3の画像データD3を入力する。より詳細には、取得部12は、第2の教師データ用モデルR2を記憶部14から読み出し、読み出した第2の教師データ用モデルR2へ、記憶部14から取得した第3の画像データD3を入力する。
【0071】
そして、取得部12は、第3の画像データD3が入力された第2の教師データ用モデルR2から出力される第3の教師データT3を取得する。第3の教師データT3は、第3の画像データD3と地点P3における検出対象Mに関する検出情報Gとが対応付けられた教師データTである。取得部12は、取得した第3の教師データT3を記憶部14に保存する。また、取得部12は、取得した第3の教師データT3を検出処理部20の記憶部23に保存する。
【0072】
第2の生成部13は、取得部12によって取得された第3の教師データT3、および記憶部14に保存されている第2の教師データ用モデルR2を用いて、第3の教師データ用モデルR3を生成する。
【0073】
より詳細には、第2の生成部13は、第3の教師データT3および第2の教師データ用モデルR2を記憶部14から読み出し、読み出した第3の教師データT3および第2の教師データ用モデルR2を用いて、教師データTを出力する第3の教師データ用モデルR3を生成するモデル生成処理ST3を行う。
【0074】
第2の生成部13は、たとえばディープラーニングの手法に沿って、多層化したニューラルネットワークへ、第3の教師データT3および第2の教師データ用モデルR2を入力する。
【0075】
そして、第2の生成部13は、多層化したニューラルネットワークに対して検出情報Gを含む教師データTを出力できるように機械学習させることにより、第3の教師データ用モデルR3を生成する。第2の生成部13は、生成した第3の教師データ用モデルR3を記憶部14に保存する。
【0076】
次に、ユーザが、教師データTを取得する対象地点として、図示しない第4の対象地点を示す対象地点情報を入力した場合、取得部12は、第2の生成部13によって生成された第3の教師データ用モデルR3を用いて、第4の対象地点における第4の教師データT4を取得する。
【0077】
第2の生成部13は、たとえば、取得部12によって取得された第4の教師データT4と、記憶部14に保存されている第2の教師データT2および第3の教師データT3のいずれか一方または両方と、ならびに記憶部14に保存されている第3の教師データ用モデルR3とを用いて、第4の対象地点における第4の教師データ用モデルR4を生成する。
【0078】
このように、学習モデル生成装置10は、第1の教師データ用モデルR1を生成した後、ユーザから対象地点情報が入力される度に、対象地点情報が示す対象地点における教師データTを取得する教師データ取得処理と、教師データ用モデルRを新たに生成するモデル生成処理とを行う。
【0079】
(教師データ用モデルの更新)
記憶部14は、対象地点と教師データ用モデルRとの対応関係を示すモデルテーブルTbを記憶する。
【0080】
より詳細には、モデルテーブルTbは、対象地点と当該対象地点における教師データTを取得するために用いる教師データ用モデルRの種類との対応関係を示す。
【0081】
取得部12は、たとえば、地点P1以外の対象地点において教師データTを取得した後、当該教師データTを取得するために用いた教師データ用モデルRと対象地点との対応関係を記憶部14に登録する。
【0082】
図5は、本開示の実施の形態に係る学習モデル生成装置が保持するモデルテーブルの一部を示す図である。
【0083】
図5を参照して、モデルテーブルTbでは、対象地点「地点P2」と「第1の教師データ用モデルR1」とが対応付けられ、対象地点「地点P3」と「第2の教師データ用モデルR2」とが対応づけられている。
【0084】
第2の生成部13は、記憶部14に保存されている第1の教師データ用モデルR1を、生成した第2の教師データ用モデルR2に更新する更新処理を行う。
【0085】
図6は、本開示の実施の形態に係る学習モデル生成装置において、更新処理が行われた後におけるモデルテーブルの一部を示す図である。
【0086】
図5および図6を参照して、第2の生成部13は、記憶部14に保存されているモデルテーブルTbを参照し、対象地点「地点P2」に対応する「第1の教師データ用モデルR1」を、「第2の教師データ用モデルR2」に書き換える更新処理を行う。すなわち、図6に示すモデルテーブルTbでは、対象地点「地点P2」と「第2の教師データ用モデルR2」とが対応付けられている。
【0087】
図3および図4を参照して、取得部12は、地点P2における次回の教師データ取得処理において、更新後の第1の教師データ用モデルR1、すなわち第2の教師データ用モデルR2へ、第2の画像データD2を入力する。
【0088】
より詳細には、取得部12は、地点P2を示す対象地点情報が記憶部14に新たに保存されたことを確認した場合、記憶部14に保存されている第2の画像データD2を取得する。取得部12は、更新後の第1の教師データ用モデルR1を記憶部14から読み出し、読み出した更新後の第1の教師データ用モデルR1へ、記憶部14から新たに取得した第2の画像データD2を入力する。
【0089】
そして、取得部12は、第2の教師データ用モデルR2から出力される第2の教師データT2を新たに取得する。取得部12は、新たに取得した第2の教師データT2を記憶部14に保存する。
【0090】
第2の生成部13は、取得部12によって新たに取得された第2の教師データT2、および更新後の第1の教師データ用モデルR1を用いて、第2の教師データ用モデルR2を新たに生成する。
【0091】
より詳細には、第2の生成部13は、第2の教師データT2および更新後の第1の教師データ用モデルR1を記憶部14から読み出し、読み出した第2の教師データT2および更新後の第1の教師データ用モデルR1を用いて、第2の教師データ用モデルR2を新たに生成する。第2の生成部13は、新たに生成した第2の教師データ用モデルR2を記憶部14に保存する。また、第2の生成部13は、記憶部14に保存されているモデルテーブルTbを参照し、新たに生成した第2の教師データ用モデルR2を対象地点「地点P2」および「地点P3」と対応付ける。
【0092】
なお、第2の生成部13は、図4に示す第3の教師データ用モデルR3を生成した後、記憶部14に保存されている第2の教師データ用モデルR2を、生成した第3の教師データ用モデルR3に更新する更新処理を行ってもよい。また、第2の生成部13は、更新処理を行わない構成であってもよい。
【0093】
[検出処理部]
以下、ユーザが、地点P2を示す検出地点情報を入力し、検出処理部20が地点P2における検出処理を行う例について説明する。
【0094】
図1を参照して、検出用モデル生成部21は、地点P2を示す検出地点情報が記憶部23に保存されたことを確認した場合、地点P2に設けられたカメラ201のIDを含む第2の画像データに対応する第2の教師データT2が記憶部23に保存されているか否かを確認する。
【0095】
検出用モデル生成部21は、第2の教師データT2が記憶部23に保存されていることを確認した場合、第2の教師データT2に加えて、第1の教師データT1を記憶部23から取得し、取得した第1の教師データT1および第2の教師データT2を用いて、検出用モデルKを生成する。
【0096】
より詳細には、検出用モデル生成部21は、たとえばディープラーニングの手法に沿って、多層化したニューラルネットワークへ、第1の教師データT1および第2の教師データT2を入力する。
【0097】
そして、検出用モデル生成部21は、多層化したニューラルネットワークに対して検出情報Gを含むデータを検出結果として出力できるように機械学習させることにより、検出用モデルKを生成する。検出用モデル生成部21は、生成した検出用モデルKを記憶部23に保存する。検出用モデル生成部21は、検出用モデルKを生成した旨を検出部22に通知する。
【0098】
検出部22は、検出用モデル生成部21から検出用モデルKを生成した旨の通知を受けた場合、記憶部23に保存されている検出地点情報を参照する。検出部22は、参照した検出地点情報が示す地点P2において撮影された第2の画像データD2を記憶部23から取得する。より詳細には、検出部22は、地点P2に設けられたカメラ201のIDを含む第2の画像データD2を記憶部23から取得する。
【0099】
そして、検出部22は、検出用モデル生成部21によって生成された検出用モデルKへ、記憶部23から取得した第2の画像データD2を入力する。より詳細には、検出部22は、記憶部23から検出用モデルKを読み出し、読み出した検出用モデルKへ、記憶部23から取得した第2の画像データD2を入力する。そして、検出部22は、検出用モデルKから出力される検出結果を、地点P2における検出結果として取得し、当該検出結果を表示装置に表示する。
【0100】
なお、本開示の実施の形態に係る検出装置101では、第1の生成部11、第2の生成部13および検出用モデル生成部21は、ディープラーニングに従った機械学習を用いる構成であるとしたが、これに限定するものではない。第1の生成部11、第2の生成部13および検出用モデル生成部21は、たとえばディープラーニング以外のニューラルネットワークを用いる構成であってもよい。あるいは、第1の生成部11、第2の生成部13および検出用モデル生成部21は、サポートベクターマシン、C4.5、CART(Classification and Regression Tree)、ランダムフォレスト、バギング、決定木、ナイーブベイズ、adaboostおよびk近傍法(kNN:k-nearest neighbor algorithm)等の教師あり学習を用いる構成であってもよい。また、第1の生成部11、第2の生成部13および検出用モデル生成部21は、互いに異なる手法に沿って学習モデルを生成してもよい。
【0101】
[設定部]
図1および図3を参照して、検出処理部20における記憶部23は、検出用モデルKのパラメータを示す設定ファイル(以下、「検出用設定ファイル」とも称する。)を記憶する。学習モデル生成装置10における記憶部14は、教師データ用モデルRのパラメータを示す設定ファイル(以下、「教師データ用設定ファイル」とも称する。)を記憶する。
【0102】
設定部40は、たとえば、入力装置を介してユーザから検出用モデルKのパラメータおよび教師データ用モデルRのパラメータの入力を受け付ける。そして、設定部40は、ユーザにより入力された検出用モデルKのパラメータを示す検出用設定ファイルを作成し、作成した検出用設定ファイルを記憶部23に保存する。また、設定部40は、ユーザにより入力された教師データ用モデルRのパラメータを示す教師データ用設定ファイルを作成し、作成した教師データ用設定ファイルを記憶部23に保存する。
【0103】
より詳細には、ユーザは、たとえば検出用モデルKが生成されるまでの学習時間を、検出用モデルKのパラメータとして設定部40へ入力し、教師データ用モデルRが生成されるまでの学習時間を、教師データ用モデルRのパラメータとして設定部40へ入力する。なお、ユーザは、教師データ用モデルRから出力される教師データTの信頼度が高まるように、教師データ用モデルRが生成されるまでの学習時間の入力値を調整してもよい。
【0104】
あるいは、ユーザは、たとえば検出用モデルKが生成されるまでの学習回数に関するパラメータ(以下、「検出用の学習回数パラメータ」とも称する。)を、検出用モデルKのパラメータとして設定部40へ入力する。また、ユーザは、たとえば教師データ用モデルRが生成されるまでの学習回数に関するパラメータを(以下、「教師データ用の学習回数パラメータ」とも称する。)、教師データ用モデルRのパラメータとして設定部40へ入力する。具体的には、ユーザは、検出用の学習回数パラメータおよび教師データ用の学習回数パラメータとして、バッチサイズおよびエポック数のうちの少なくともいずれか一方を設定部40へ入力する。なお、ユーザは、教師データ用モデルRから出力される教師データTの信頼度が高まるように、教師データ用の学習回数パラメータの入力値を調整してもよい。
【0105】
ここで、バッチサイズは、検出用モデルKまたは教師データ用モデルRを生成する処理における1回の学習時に用いられる教師データTの数を意味する。以下、検出用モデルKまたは教師データ用モデルRを生成する処理において用いられる、すべての教師データTをまとめて教師データセットとも称する。
【0106】
エポック数は、検出用モデルKまたは教師データ用モデルRを生成する処理において教師データセットを学習する回数を意味する。具体的には、1エポックは、検出用モデルKまたは教師データ用モデルRを生成する処理において教師データセットを1回学習することを意味する。
【0107】
ここで、上述したように、検出装置101における検出結果は、表示装置に表示される。これにより、ユーザは、表示装置に表示された検出結果に含まれる信頼度情報を参照して、検出用の学習回数パラメータの値を変更することができる。たとえば、ユーザは、図2に示す信頼度情報における検出結果の正解率が所定の閾値よりも小さい場合、検出用の学習回数パラメータの一例であるバッチサイズを設定部40へ入力する際に、当該バッチサイズの入力値を大きくする。
【0108】
また、ユーザは、たとえば検出用モデルKを生成する手法の種類を、検出用モデルKのパラメータとして設定部40へ入力し、および教師データ用モデルRを生成する手法の種類を、教師データ用モデルRのパラメータとして設定部40へ入力する。ここで、教師データ用モデルRは、検出処理において用いられる学習モデルではない。そのため、教師データ用モデルRを生成するにあたって、教師データ用モデルRから出力される出力データ、すなわち教師データTの信頼度を高めることが、教師データ用モデルRにおける入力データの処理速度を速くすることよりも重視される。そこで、ユーザは、たとえば、教師データ用モデルRを生成する手法の種類として、教師データ用モデルRにおける入力データの処理速度が検出用モデルKにおける入力データの処理速度よりも遅くなったとしても教師データTの信頼度を高めることが可能な手法を設定部40へ入力する。
【0109】
[動作の流れ]
図7は、本開示の実施の形態に係る学習モデル生成装置が教師データ用モデルを生成する際の動作手順を定めたフローチャートである。図7に示す例では、学習モデル生成装置10が、図4に示す第2の教師データT2および第3の教師データT3を取得するまでの動作手順について説明する。
【0110】
図7を参照して、まず、第1の生成部11は、ユーザにより予め作成された第1の教師データT1を用いて第1の教師データ用モデルR1を生成する。第1の生成部11は、生成した第1の教師データ用モデルR1を記憶部14に保存する(ステップS11)。
【0111】
次に、取得部12は、地点P2を示す対象地点情報が記憶部14に保存されるまで待機する(ステップS12においてNO)。
【0112】
次に、取得部12は、地点P2を示す対象地点情報が記憶部14に保存されたことを確認した場合(ステップS12においてYES)、対象地点情報が示す地点P2において撮影された第2の画像データD2を記憶部14から取得する(ステップS13)。
【0113】
次に、取得部12は、第1の教師データ用モデルR1を記憶部14から読み出し、読み出した第1の教師データ用モデルR1へ、記憶部14から取得した第2の画像データD2を入力する。そして、取得部12は、第1の教師データ用モデルR1から出力される第2の教師データT2を取得する。取得部12は、取得した第2の教師データT2を記憶部14に保存する。また、取得部12は、取得した第2の教師データT2を検出処理部20の記憶部23に保存する(ステップS14)。
【0114】
次に、第2の生成部13は、取得部12によって取得された第2の教師データT2、および第1の生成部11によって生成された第1の教師データ用モデルR1を用いて、第2の教師データ用モデルR2を生成する。第2の生成部13は、生成した第2の教師データ用モデルR2を記憶部14に保存する(ステップS15)。
【0115】
次に、取得部12は、地点P3を示す対象地点情報が記憶部14に保存されるまで待機する(ステップS16においてNO)。
【0116】
次に、取得部12は、地点P3を示す対象地点情報が記憶部14に保存されたことを確認した場合(ステップS16においてYES)、対象地点情報が示す地点P3において撮影された第3の画像データD3を記憶部14から取得する(ステップS17)。
【0117】
次に、取得部12は、第2の教師データ用モデルR2を記憶部14から読み出し、読み出した第2の教師データ用モデルR2へ、記憶部14から取得した第3の画像データD3を入力する。そして、取得部12は、第2の教師データ用モデルR2から出力される第3の教師データT3を取得する。取得部12は、取得した第3の教師データT3を記憶部14に保存する。また、取得部12は、取得した第3の教師データT3を検出処理部20の記憶部23に保存する(ステップS18)。
【0118】
また、第2の生成部13は、第2の教師データ用モデルR2を生成した後、記憶部14に保存されている第1の教師データ用モデルR1を、生成した第2の教師データ用モデルR2に更新する。より詳細には、上述したように、第2の生成部13は、記憶部14に保存されているモデルテーブルTbを参照し、対象地点「地点P2」に対応する「第1の教師データ用モデルR1」を、「第2の教師データ用モデルR2」に書き換える更新処理を行う(ステップS19)。
【0119】
そして、取得部12は、地点P2を示す対象地点情報が記憶部14に新たに保存されたことを確認した場合(ステップS12においてYES)、記憶部14に保存されている第2の画像データD2を取得する(ステップS13)。
【0120】
次に、取得部12は、更新後の第1の教師データ用モデルR1を記憶部14から読み出し、読み出した更新後の第1の教師データ用モデルR1へ、記憶部14から新たに取得した第2の画像データD2を入力する。そして、取得部12は、更新後の第1の教師データ用モデルR1から出力される出力データのうち、第2の教師データT2を新たに取得する。取得部12は、新たに取得した第2の教師データT2を記憶部14に保存する(ステップS14)。
【0121】
次に、第2の生成部13は、新たに取得した第2の教師データT2、および更新後の第1の教師データ用モデルR1を用いて、第2の教師データ用モデルR2を新たに生成するたとえば、第2の生成部13は、上述したように、第2の教師データT2および更新後の第1の教師データ用モデルR1を記憶部14から読み出し、読み出した第2の教師データT2および更新後の第1の教師データ用モデルR1を用いて、第2の教師データ用モデルR2を新たに生成する。第2の生成部13は、新たに生成した第2の教師データ用モデルR2を記憶部14に保存する(ステップS15)。
【0122】
図8は、本開示の実施の形態に係る検出装置の検出処理部による、検出処理の動作手順を定めたフローチャートである。図8に示す例では、検出処理部20が、図4に示す「地点P2」における検出処理を行う例について説明する。
【0123】
図8を参照して、まず、検出用モデル生成部21は、地点P2を示す検出地点情報が記憶部23に保存されるまで待機する(ステップS21においてNO)。
【0124】
次に、検出用モデル生成部21は、地点P2を示す検出地点情報が記憶部23に保存されたことを確認した場合(ステップS21においてYES)、第2の教師データT2が記憶部23に保存されるまで待機する(ステップS22においてNO)。
【0125】
次に、検出用モデル生成部21は、第2の教師データT2が記憶部23に保存されていることを確認した場合(ステップS22においてYES)、第1の教師データT1および第2の教師データT2を用いて、検出用モデルKを生成する。検出用モデル生成部21は、生成した検出用モデルKを記憶部23に保存する。また、検出用モデル生成部21は、検出用モデルKを生成した旨を検出部22に通知する(ステップS23)。
【0126】
次に、検出部22は、検出用モデル生成部21から検出用モデルKを生成した旨の通知を受けた場合、記憶部23に保存されている検出地点情報を参照する。検出部22は、参照した検出地点情報が示す地点P2において撮影された第2の画像データD2を記憶部23から取得する(ステップS24)。
【0127】
次に、検出部22は、検出用モデル生成部21によって生成された検出用モデルKへ、記憶部23から取得した第2の画像データD2を入力する。たとえば、検出部22は、上述したように、記憶部23から検出用モデルKを読み出し、読み出した検出用モデルKへ、記憶部23から取得した第2の画像データD2を入力する。そして、検出部22は、検出部22は、第2の画像データD2が入力された検出用モデルKから出力される検出結果を、地点P2における検出結果として取得する。検出部22は、取得した検出結果を記憶部23に保存する(ステップS25)。
【0128】
次に、検出部22は、取得した検出結果を表示装置に表示する(ステップS26)。
【0129】
なお、本開示の実施の形態に係る学習モデル生成装置10において、第2の生成部13は、取得部12によって取得された第2の教師データT2、および第1の教師データ用モデルR1を用いて、第2の教師データ用モデルR2を生成する構成であるとしたが、これに限定するものではない。第2の生成部13は、第1の教師データ用モデルR1へ、第1の教師データT1および取得部12によって取得された第2の教師データT2を入力することにより、第2の教師データ用モデルR2を生成してもよい。
【0130】
また、本開示の実施の形態に係る学習モデル生成装置10では、第1の生成部11が第1の教師データ用モデルR1を生成する構成であるとしたが、これに限定するものではない。学習モデル生成装置10は、他の装置によって生成された第1の教師データ用モデルR1を記憶部14に保存する構成であってもよい。すなわち、学習モデル生成装置10は、第1の生成部11を備えない構成であってもよい。
【0131】
また、本開示の実施の形態に係る学習モデル生成装置10において、図4に示す地点P2における検出対象Mの種類および地点P3における検出対象Mの種類が、地点P1における検出対象Mの種類と同じであるとしたが、これに限定するものではない。地点P2における検出対象Mの種類および地点P3における検出対象Mの種類は、地点P1における検出対象Mの種類と異なってもよい。すなわち、地点P1以外の対象地点における検出対象Mの種類は、地点P1における検出対象Mの種類と異なってもよい。
【0132】
また、本開示の実施の形態に係る検出システム301では、記憶部14および記憶部23は、検出装置101に設けられる構成であるとしたが、これに限定するものではない。記憶部14および記憶部23のいずれか一方または両方が、検出装置101以外の外部装置に設けられる構成であってもよい。
【0133】
また、本開示の実施の形態に係る検出装置101の機能の一部または全部が、クラウドコンピューティングによって提供されてもよい。すなわち、本開示の実施の形態に係る検出装置101が、複数のサーバによって構成されるクラウドサーバであってもよい。
【0134】
[教師データの変形例]
本開示の実施の形態に係る学習モデル生成装置10では、取得部12は、たとえば、第1の教師データ用モデルR1から出力される第2の教師データT2をそのまま、第2の教師データ用モデルR2を生成するモデル生成処理ST2に用いる教師データとして取得する構成であるとしたが、これに限定するものではない。取得部12は、時系列の第2の画像データD2が入力された第1の教師データ用モデルR1から出力される複数の出力データのうち、モデル生成処理ST2に用いる出力データを選択してもよい(変形例1および変形例2)。また、学習モデル生成装置10は、第1の教師データ用モデルR1から出力される第2の教師データT2を修正し、修正した第2の教師データT2をモデル生成処理ST2に用いてもよい(変形例3)。
【0135】
(変形例1)
図9は、本開示の実施の形態に係る学習モデル生成装置の変形例1において、第1の教師データ用モデルから出力される複数の出力データの一例を示す図である。なお、図9において、時刻t1,t2,t3,t4,t5は、第2の画像データD21,D22,D23,D24,D25がそれぞれ撮影された時刻である。以下、第2の画像データD21,D22,D23,D24,D25は、この順で撮影されているものとする。
【0136】
図4および図9を参照して、時系列の第2の画像データD21,D22,D23,D24,D25が入力された第1の教師データ用モデルR1は、検出情報Gを含む第2の教師データT21,T22,T24,T25を出力する一方で、検出情報Gを含まない出力データを第2の教師データT23として出力する可能性がある
【0137】
より詳細には、第1の教師データ用モデルR1は、第2の画像データD21,D22,D24,D25に対して検出枠E1,E2,E4,E5をそれぞれ設定し、検出情報Gを含む第2の教師データT21,T22,T24,T25を出力する。第1の教師データ用モデルR1の信頼度が低い場合、第1の教師データ用モデルR1は、検出対象Mを含む第2の画像データD23において、検出枠Eを設定しない可能性がある。言い換えれば、第1の教師データ用モデルR1は、検出情報Gが漏れた出力データを出力する可能性がある。
【0138】
変形例1では、取得部12は、時系列の第2の画像データD2が入力された第1の教師データ用モデルR1から出力される複数の第2の教師データT2のうち、第2の教師データT2に加えて、第2の教師データT2に対応する第2の画像データD2と時間的に連続して地点P2において撮影された画像データD(以下、「関連画像データ」とも称する。)を含む関連教師データを取得する。関連教師データは、関連画像データと、地点P2における検出対象Mに関する検出情報とが対応付けられたデータである。
【0139】
図10は、本開示の実施の形態に係る学習モデル生成装置の変形例1において、取得部が取得する第2の教師データおよび関連教師データの一例を示す図である。
【0140】
図10を参照して、取得部12は、たとえば、図9に示す複数の出力データのうち、第2の教師データT24に加えて、第2の教師データT24に対応する第2の画像データD24と時間的に連続して撮影された関連画像データD123,D125にそれぞれ対応する関連教師データT123,T125を取得する抽出処理を行う。
【0141】
関連画像データD123は、第2の画像データD24よりも時間的に前に撮影されており、関連画像データD125は、第2の画像データD24よりも時間的に後に撮影されている。
【0142】
取得部12は、関連画像データD125に対して検出枠E5を設定する。そして、取得部12は、関連画像データD125と、検出枠E5に関する検出情報Gとが対応付けられた関連教師データT125を取得する。
【0143】
また、取得部12は、検出枠Eが設定されていない関連画像データD123に対して、予想検出枠Fを設定する。そして、取得部12は、関連画像データD123と、予想検出枠Fに関する情報である予想検出情報Hとが対応付けられた関連教師データT123を取得する。予想検出情報Hは、たとえば、検出情報Gと同様に、種類情報、位置情報、サイズ情報および信頼度情報を含む。
【0144】
より詳細には、取得部12は、たとえば、関連画像データD123と時間的に連続して撮影された第2の画像データD22,D24に設定された検出枠E2,E4における4つの頂点の座標に基づいて、関連画像データD123に予想検出枠Fを設定する。
【0145】
取得部12は、たとえば、検出枠E2における左上の頂点の座標と検出枠E4の左上の頂点の座標との平均値を、予想検出枠Fにおける左上の頂点の座標として算出する。取得部12は、同様の方法により、予想検出枠Fの左下、右上、右下の頂点の座標を算出し、算出した4つの頂点の座標を示す位置情報を作成する。
【0146】
図9および図10において、紙面左右方向を「x軸方向」および紙面上下方向を「y軸方向」とした場合、取得部12は、算出した4つの頂点の座標に基づいて、予想検出枠Fのx軸方向の長さおよび予想検出枠Fのy軸方向の長さを示すサイズ情報を作成する。そして、取得部12は、作成した位置情報およびサイズ情報に基づいて、関連画像データD123に予想検出枠Fを設定する。
【0147】
なお、取得部12は、検出枠E2,E4における1つの頂点の座標、検出枠E2,E4のx軸方向の長さ、および検出枠E2,E4のy軸方向の長さに基づいて、関連画像データD123に予想検出枠Fを設定してもよい。たとえば、取得部12は、検出枠E2の左下の頂点の座標と検出枠E4の左下の頂点の座標との平均値を、予想検出枠Fの左下の頂点の座標として算出し、算出した左下の頂点の座標を示す位置情報を作成する。
【0148】
また、取得部12は、検出枠E2のx軸方向の長さと検出枠E4のx軸方向の長さとの平均値を、予想検出枠Fのx軸方向の長さとして算出し、検出枠E2のy軸方向の長さと検出枠E4のy軸方向の長さとの平均値を、予想検出枠Fのy軸方向の長さとして算出する。取得部12は、算出した予想検出枠Fのx軸方向の長さおよび予想検出枠Fのy軸方向の長さを示すサイズ情報を作成する。そして、取得部12は、作成した位置情報およびサイズ情報に基づいて、関連画像データD123に予想検出枠Fを設定する。
【0149】
図10において、第2の生成部13は、取得部12によって取得された第2の教師データT24および関連教師データT123,T125、ならびに第1の教師データ用モデルR1を用いて、第2の教師データ用モデルR2を生成する。より詳細には、第2の生成部13は、第1の教師データ用モデルR1へ、取得部12によって取得された第2の教師データT24および関連教師データT123,T125を入力することにより、第2の教師データ用モデルR2を生成する。
【0150】
図1に示す設定部40は、予想検出枠Fの表示処理に関する表示設定内容を受け付ける。設定部40は、たとえば、入力装置を介してユーザにより入力された表示設定内容を示す表示設定情報を記憶部14に保存する。取得部12は、記憶部14に保存された表示設定内容に基づいて、予想検出枠Fの表示および非表示を切り替える。
【0151】
図11は、本開示の実施の形態に係る学習モデル生成装置の変形例1において、取得部が取得する第2の教師データおよび関連教師データの他の例を示す図である。
【0152】
図11を参照して、取得部12は、たとえば、図9に示す複数の出力データのうち、検出情報Gを含む第2の教師データT22に加えて、第2の教師データT22に対応する第2の画像データD22より時間的に後に撮影された関連画像データD123および第2の画像データD24にそれぞれ対応する関連教師データT123および第2の教師データT24を取得する抽出処理を行う。
【0153】
図11において、取得部12は、図10と同様に、検出枠Eが設定されていない関連画像データD123に対して、予想検出枠Fを設定する。そして、取得部12は、関連画像データD123と予想検出情報Hとが対応付けられた関連教師データT123を取得する。
【0154】
第2の生成部13は、取得部12によって取得された第2の教師データT22,T24および関連教師データT123、ならびに第1の教師データ用モデルR1を用いて、第2の教師データ用モデルR2を生成する。より詳細には、第2の生成部13は、第1の教師データ用モデルR1へ、取得部12によって取得された第2の教師データT22,T24および関連教師データT123を入力することにより、第2の教師データ用モデルR2を生成する。
【0155】
なお、変形例1において、取得部12が、検出枠E2,E4における4つの頂点の座標に基づいて予想検出枠Fを設定する構成、または、取得部12が、検出枠E2,E4における1つの頂点の座標、検出枠E2,E4のx軸方向の長さ、および検出枠E2,E4のy軸方向の長さに基づいて予想検出枠Fを設定する構成であるとしたが、これに限定するものではない。取得部12は、たとえば、検出枠E2,E4のいずれか一方における各頂点の座標と同じ座標の頂点を有する予想検出枠Fを、第2の画像データD2に設定してもよい。
【0156】
また、変形例1において、取得部12は、時間的に連続する3つの第2の画像データD22,D23,D24にそれぞれ対応する3つの出力データを取得する構成であるとしたが、これに限定するものではない。取得部12は、時間的に連続する2つ以上の第2の画像データD2に対応する出力データを取得する構成であればよい。
【0157】
(変形例2)
図12は、本開示の実施の形態に係る学習モデル生成装置の変形例2において、第1の教師データ用モデルから出力される第2の教師データの一例を示す図である。
【0158】
図4および図12を参照して、時系列の第2の画像データD2が入力された第1の教師データ用モデルR1は、検出対象Mを含まない第2の画像データD23,D25に検出枠E1,E2を設定し、第2の画像データD23,D25を、検出情報Gを含む第2の教師データT23,T25として出力する場合がある。
【0159】
より詳細には、第1の教師データ用モデルR1は、たとえば、第1の教師データ用モデルR1の信頼度が低い場合、検出対象Mを含まない第2の画像データD23,D25に検出枠E3,E5を誤って設定する場合がある。
【0160】
変形例2では、取得部12は、時系列の第2の画像データD2が入力された第1の教師データ用モデルR1から出力される複数の出力データのうち、検出情報Gが所定条件を満たす第2の教師データT2を取得する。
【0161】
より詳細には、取得部12は、第1の教師データ用モデルR1から出力される複数の出力データのうち、検出情報Gに対応する検出枠Eが所定条件(以下、「条件1」とも称する。)を満たす第2の教師データT2を取得する抽出処理を行う。
【0162】
たとえば、取得部12は、第1の教師データ用モデルR1から出力される複数の出力データのうち、検出枠Eが設定され、かつ時間的に連続して撮影された複数の第2の画像データD2のそれぞれに対応する複数の第2の教師データT2を取得する。
【0163】
図12に示す例では、検出枠E3が設定された第2の画像データD23と時間的に連続して撮影された第2の画像データD22,D24には、検出枠Eが設定されていない。そのため、取得部12は、第2の画像データD23に対応する第2の教師データT23を取得しない。
【0164】
たとえば、取得部12は、第1の教師データ用モデルR1から出力される複数の出力データのうち、検出情報Gに含まれるサイズ情報が所定条件(以下、「条件2」とも称する。)を満たす第2の教師データT2を取得する抽出処理を行う。
【0165】
取得部12は、たとえば、検出枠Eのy軸方向の長さが所定の閾値より大きく、かつ検出枠Eのx軸方向の長さが所定の閾値より大きいと判定した場合、当該検出枠Eが設定された第2の画像データD2に対応する第2の教師データT2を取得する。条件2は、たとえば、y軸方向の長さが100ピクセルより大きく、かつx軸方向の長さが50ピクセルより大きいことである。図10に示す例では、検出枠E5は条件2を満たさないため、取得部12は、検出枠E5が設定された第2の画像データD25に対応する第2の教師データT25を取得しない。
【0166】
このように、変形例2において、取得部12は、抽出処理として、第1の教師データ用モデルR1から出力される複数の出力データのうち、検出情報Gが所定条件を満たす第2の教師データT2を取得するフィルタ処理を行う。なお、変形例2において、取得部12は、抽出処理を行うにあたって、条件1および条件2に優先順位を定めてもよい。取得部12は、たとえば、第1の教師データ用モデルR1から出力される複数の第2の教師データT2に対して、条件2に従って抽出処理を行った後、条件1に従って抽出処理を行ってもよい。
【0167】
また、取得部12は、第1の教師データ用モデルR1から出力される複数の出力データのうち、検出情報Gに含まれる位置情報が所定条件(以下、「位置条件」とも称する。)を満たす第2の教師データT2を取得する抽出処理を行ってもよい。
【0168】
より詳細には、設定部40は、位置条件に関する入力を受け付ける。設定部40は、たとえば、入力装置を介してユーザにより入力された位置条件を示す位置設定情報を記憶部14に保存する。ユーザは、第2の画像データD2が示す画像における所定の領域の座標を位置条件として入力する。ユーザは、たとえば、対象地点の遠方に位置する検出対象Mの検出を検出装置101に要求する場合、第2の画像データD2が示す画像における隅部の座標を位置条件として入力する。
【0169】
取得部12は、記憶部14に保存されている位置設定情報を参照する。取得部12は、時系列の第2の画像データD2が入力された第1の教師データ用モデルR1から出力される複数の出力データのうち、検出情報Gの位置情報が位置設定情報と同じである第2の教師データT2を取得する。
【0170】
また、変形例1および変形例2において、取得部12は、第1の教師データ用モデルR1の信頼度の判定結果に基づいて、抽出処理を行ってもよい。たとえば、取得部12は、第1の教師データ用モデルR1の信頼度が所定の閾値より小さいと判定した場合、抽出処理を行ってもよい。また、取得部12は、ユーザの操作に従い、抽出処理を行ってもよい。たとえば、ユーザは、第1の教師データ用モデルR1の信頼度が低いと判断した場合、取得部12による抽出処理の実行を指示する操作を検出装置101に対して行ってもよい。
【0171】
(変形例3)
図13は、本開示の実施の形態に係る学習モデル生成装置の変形例3の構成を示すブロック図である。
【0172】
図13を参照して、学習モデル生成装置10の変形例3は、図3に示す学習モデル生成装置10と比べて、さらに、修正部15を備える。
【0173】
修正部15は、取得部12によって取得された第2の教師データT2を所定条件に従って修正する。
【0174】
より詳細には、修正部15は、取得部12によって取得された第2の教師データT2を、図示しない表示装置に表示する。ユーザは、たとえば、表示された第2の教師データT2における検出枠Eの位置が検出対象Mに対してずれていると判断した場合、検出枠Eのずれを修正する操作を、学習モデル生成装置10に対して行う。ユーザは、たとえば、入力装置を操作して、検出枠Eのずれを修正する。
【0175】
修正部15は、ユーザの操作内容を示す操作情報を取得する。修正部15は、取得した操作情報に基づいて、検出枠Eの位置を移動する方向および検出枠Eの移動量を含む修正情報を作成する。修正部15は、作成した修正情報に基づいて、検出枠Eのずれを修正する。修正部15は、修正した検出枠Eが設定された第2の画像データD2に対応する第2の教師データT2を、記憶部14および記憶部23に保存する。
【0176】
第2の生成部13は、修正部15による修正後の第2の教師データT2および第1の教師データ用モデルR1を用いて、第2の教師データ用モデルR2を生成する。より詳細には、第2の生成部13は、修正後の第2の教師データT2および第1の教師データ用モデルR1を記憶部14から読み出し、読み出した修正後の第2の教師データT2および第1の教師データ用モデルR1を用いて、第2の教師データ用モデルR2を生成する。第2の生成部13は、生成した第2の教師データ用モデルR2を記憶部14に保存する。
【0177】
図1に示す検出用モデル生成部21は、第1の教師データT1および修正部15による修正後の第2の教師データT2を用いて、検出用モデルKを生成する。より詳細には、検出用モデル生成部21は、第2の教師データT2が記憶部23に保存されたことを確認した場合、第2の教師データT2に加えて、第1の教師データT1を記憶部23から取得し、取得した第1の教師データT1および第2の教師データT2を用いて、検出用モデルKを生成する。検出用モデル生成部21は、生成した検出用モデルKを記憶部23に保存する。
【0178】
上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【0179】
上述の実施形態の各処理(各機能)は、1または複数のプロセッサを含む処理回路(Circuitry)により実現される。上記処理回路は、上記1または複数のプロセッサに加え、1または複数のメモリ、各種アナログ回路、各種デジタル回路が組み合わされた集積回路等で構成されてもよい。上記1または複数のメモリは、上記各処理を上記1または複数のプロセッサに実行させるプログラム(命令)を格納する。上記1または複数のプロセッサは、上記1または複数のメモリから読み出した上記プログラムに従い上記各処理を実行してもよいし、予め上記各処理を実行するように設計された論理回路に従って上記各処理を実行してもよい。上記プロセッサは、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、およびASIC(Application Specific Integrated Circuit)等、コンピュータの制御に適合する種々のプロセッサであってよい。なお、物理的に分離した上記複数のプロセッサが互いに協働して上記各処理を実行してもよい。たとえば、物理的に分離した複数のコンピュータのそれぞれに搭載された上記プロセッサがLAN(Local Area Network)、WAN (Wide Area Network)、およびインターネット等のネットワークを介して互いに協働して上記各処理を実行してもよい。上記プログラムは、外部のサーバ装置等から上記ネットワークを介して上記メモリにインストールされても構わないし、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disk Read Only Memory)、および半導体メモリ等の記録媒体に格納された状態で流通し、上記記録媒体から上記メモリにインストールされても構わない。
【0180】
以上の説明は、以下に付記する特徴を含む。
[付記1]
対象地点において撮影された画像データと前記対象地点における検出対象に関する情報である検出情報とが対応付けられた教師データを出力する学習モデルである教師データ用モデルを生成する学習モデル生成装置であって、
第1の前記対象地点において撮影された第1の前記画像データと前記第1の対象地点における第1の前記検出対象に関する第1の検出情報とが対応付けられた第1の前記教師データを用いて、第1の前記教師データ用モデルを生成する第1の生成部と、
第1の対象地点において撮影された第1の画像データと前記第1の対象地点における第1の検出対象に関する第1の検出情報とが対応付けられた第1の教師データを用いて生成された第1の教師データ用モデルへ、第2の対象地点において撮影された第2の画像データを入力し、前記第1の教師データ用モデルから出力される第1の出力データであって、前記第2の画像データと前記第2の対象地点における第2の検出対象に関する第2の検出情報とが対応付けられた前記第1の出力データである第2の教師データを取得する取得部と、
前記取得部によって取得された前記第2の教師データおよび前記第1の生成部によって生成された前記第1の教師データ用モデルを用いて、第2の教師データ用モデルを生成する第2の生成部とを備え、
前記取得部は、前記第2の生成部によって生成された前記第2の教師データ用モデルへ、第3の対象地点において撮影された第3の画像データを入力し、前記第2の教師データ用モデルから出力される第2の出力データであって、前記第3の画像データと前記第3の対象地点における第3の検出対象に関する第3の検出情報とが対応付けられた前記第2の出力データである第3の教師データを取得する、学習モデル生成装置。
【0181】
[付記2]
検出装置であって、対象地点において撮影された画像データと前記対象地点における前記検出対象に関する情報とが対応付けられた教師データを出力する学習モデルである教師データ用モデルを生成する学習モデル生成装置を備え、
前記学習モデル生成装置は、
第1の対象地点において撮影された第1の画像データと前記第1の対象地点における第1の検出対象に関する第1の検出情報とが対応付けられた第1の教師データを用いて生成された第1の教師データ用モデルへ、第2の対象地点において撮影された第2の画像データを入力し、前記第1の教師データ用モデルから出力される出力データであって、前記第2の画像データと前記第2の対象地点における第2の検出対象に関する第2の検出情報とが対応付けられた前記出力データである第2の教師データを取得する取得部と、
前記取得部によって取得された前記第2の教師データ、および前記第1の教師データ用モデルを用いて、第2の教師データ用モデルを生成する生成部とを含み、
前記検出装置は、さらに、
前記第1の教師データおよび前記取得部によって取得された前記第2の教師データを用いて、対象地点における検出対象に関する検出結果を出力する学習モデルである検出用モデルを生成する検出用モデル生成部と、
前記検出用モデル生成部によって生成された前記検出用モデルへ、前記第2の対象地点において撮影された前記第2の画像データを入力し、前記検出用モデルから出力される前記検出結果を前記第2の対象地点における検出結果として取得する検出部とを備える、検出装置。
【0182】
[付記3]
対象地点において撮影された画像データと前記対象地点における検出対象に関する情報である検出情報とが対応付けられた教師データを出力する学習モデルである教師データ用モデルを生成する学習モデル生成装置であって、
処理回路を備え、
前記処理回路は、
第1の対象地点において撮影された第1の画像データと前記第1の対象地点における第1の検出対象に関する第1の検出情報とが対応付けられた第1の教師データを用いて生成された第1の教師データ用モデルへ、第2の対象地点において撮影された第2の画像データを入力し、前記第1の教師データ用モデルから出力される出力データであって、前記第2の画像データと前記第2の対象地点における第2の検出対象に関する第2の検出情報とが対応付けられた前記出力データである第2の教師データを取得し、
取得した前記第2の教師データ、および前記第1の教師データ用モデルを用いて、第2の教師データ用モデルを生成する、学習モデル生成装置。
【符号の説明】
【0183】
10 学習モデル生成装置
11 第1の生成部
12 取得部
13 第2の生成部
14,23 記憶部
15 修正部
20 検出処理部
21 検出用モデル生成部
22 検出部
30 画像取得部
40 設定部
101 検出装置
201 カメラ
301 検出システム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13