ホーム > 特許ランキング > 株式会社 ミックウェア
知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社 ミックウェアの特許一覧 ▶ ノアソリューション株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025021064
(43)【公開日】2025-02-13
(54)【発明の名称】教師データ生成プログラムなど
(51)【国際特許分類】
G06V 10/774 20220101AFI20250205BHJP
G06T 7/00 20170101ALI20250205BHJP
【ＦＩ】
G06V10/774
G06T7/00 350C
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023124769
(22)【出願日】2023-07-31
(71)【出願人】
【識別番号】504050275
【氏名又は名称】株式会社 ミックウェア
(71)【出願人】
【識別番号】515085451
【氏名又は名称】ノアソリューション株式会社
(74)【代理人】
【識別番号】100183564
【弁理士】
【氏名又は名称】西村 伸也
(72)【発明者】
【氏名】鈴江 秀介
(72)【発明者】
【氏名】坂部 由典
(72)【発明者】
【氏名】唐 鵬貴
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096DA01
5L096GA19
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
【課題】運用時の背景画像を有しなくても、教師データを生成する技術を提供する。
【解決手段】教師データ生成プログラム３６、３６ａは、ターゲット画像１３に対応するターゲット１２を含む画像１１の画像データを入力するとターゲットを識別した結果を出力する学習モデル１０を生成するための教師データ１７を生成するプログラムであって、コンピュータに、複数種のターゲット画像１３が用意された画像群１４から第１ターゲット画像１３ａを選択し、変形処理をして背景画像１５を生成させ、画像群１４から第２ターゲット画像１３ｂを選択し、背景画像１５に第２ターゲット画像１３ｂを合成する合成処理をして教師データ１７を生成させることを特徴としている。
【選択図】図１
【解決手段】教師データ生成プログラム３６、３６ａは、ターゲット画像１３に対応するターゲット１２を含む画像１１の画像データを入力するとターゲットを識別した結果を出力する学習モデル１０を生成するための教師データ１７を生成するプログラムであって、コンピュータに、複数種のターゲット画像１３が用意された画像群１４から第１ターゲット画像１３ａを選択し、変形処理をして背景画像１５を生成させ、画像群１４から第２ターゲット画像１３ｂを選択し、背景画像１５に第２ターゲット画像１３ｂを合成する合成処理をして教師データ１７を生成させることを特徴としている。
【選択図】図１
【特許請求の範囲】
【請求項1】
ターゲット画像に対応するターゲットを含む画像の画像データを入力すると前記ターゲットを識別した結果を出力する学習モデルを生成するための教師データを生成するプログラムであって、
コンピュータに、
複数種の前記ターゲット画像が用意された画像群から第１ターゲット画像を選択し、変形処理をして背景画像を生成させ、
前記画像群から第２ターゲット画像を選択し、前記背景画像に前記第２ターゲット画像を合成する合成処理をして教師データを生成させる、教師データ生成プログラム。
コンピュータに、
複数種の前記ターゲット画像が用意された画像群から第１ターゲット画像を選択し、変形処理をして背景画像を生成させ、
前記画像群から第２ターゲット画像を選択し、前記背景画像に前記第２ターゲット画像を合成する合成処理をして教師データを生成させる、教師データ生成プログラム。
【請求項2】
前記変形処理が、前記第１ターゲット画像を分割した画像について施される、請求項１記載の教師データ生成プログラム。
【請求項3】
ターゲット画像に対応するターゲットを含む画像の画像データを入力すると前記ターゲットを識別した結果を出力する学習モデルを生成するための教師データを生成する方法であって、
コンピュータが、
複数種の前記ターゲット画像が用意された画像群から第１ターゲット画像を選択し、変形処理をして背景画像を生成し、
前記画像群から第２ターゲット画像を選択し、前記背景画像に前記第２ターゲット画像を合成する合成処理をして教師データを生成する、教師データ生成方法。
コンピュータが、
複数種の前記ターゲット画像が用意された画像群から第１ターゲット画像を選択し、変形処理をして背景画像を生成し、
前記画像群から第２ターゲット画像を選択し、前記背景画像に前記第２ターゲット画像を合成する合成処理をして教師データを生成する、教師データ生成方法。
【請求項4】
ターゲット画像に対応するターゲットを含む画像の画像データを入力すると前記ターゲットを識別した結果を出力する学習モデルを生成するための教師データを生成する装置であって、
複数種の前記ターゲット画像が用意された画像群から第１ターゲット画像を選択し、変形処理をして背景画像を生成する背景画像生成部と、
前記画像群から第２ターゲット画像を選択し、前記背景画像に前記第２ターゲット画像を合成する合成処理をして教師データを生成する教師データ生成部とからなる、教師データ生成装置。
複数種の前記ターゲット画像が用意された画像群から第１ターゲット画像を選択し、変形処理をして背景画像を生成する背景画像生成部と、
前記画像群から第２ターゲット画像を選択し、前記背景画像に前記第２ターゲット画像を合成する合成処理をして教師データを生成する教師データ生成部とからなる、教師データ生成装置。
【請求項5】
複数種のターゲット画像が用意された画像群から第１ターゲット画像を選択し、変形処理をして背景画像を生成する背景画像生成部と、
前記画像群から第２ターゲット画像を選択し、前記背景画像に前記第２ターゲット画像を合成する合成処理をして、複数の教師データを生成する教師データ生成部と、
複数の前記教師データを用いて、前記ターゲット画像に対応するターゲットを含む画像の画像データを入力すると前記ターゲットを識別した結果を出力する学習モデルを生成する学習モデル生成部とからなる、学習装置。
前記画像群から第２ターゲット画像を選択し、前記背景画像に前記第２ターゲット画像を合成する合成処理をして、複数の教師データを生成する教師データ生成部と、
複数の前記教師データを用いて、前記ターゲット画像に対応するターゲットを含む画像の画像データを入力すると前記ターゲットを識別した結果を出力する学習モデルを生成する学習モデル生成部とからなる、学習装置。
【請求項6】
ターゲット画像に対応するターゲットを含む画像の画像データを入力すると前記ターゲットを識別した結果を出力する学習モデルを生成するための教師画像の画像データを有する教師データのデータ構造であって、
前記教師画像が、
前記学習モデルにより相互に識別すべき前記ターゲットに対応する複数の前記ターゲット画像の画像群から選択された第２ターゲット画像と、
前記第２ターゲット画像の周囲に配置される背景画像とからなり、
前記背景画像が、前記画像群から選択された第１ターゲット画像を変形処理した変形画像を用いて形成されている、教師データのデータ構造。
前記教師画像が、
前記学習モデルにより相互に識別すべき前記ターゲットに対応する複数の前記ターゲット画像の画像群から選択された第２ターゲット画像と、
前記第２ターゲット画像の周囲に配置される背景画像とからなり、
前記背景画像が、前記画像群から選択された第１ターゲット画像を変形処理した変形画像を用いて形成されている、教師データのデータ構造。
【請求項7】
前記第２ターゲット画像の前記背景画像に対する位置情報をさらに備えている、請求項６記載の教師データのデータ構造。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像から検出したいターゲットを検出する技術に関する。
【背景技術】
【0002】
近年、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、ＳＳＤ（Ｓｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）等の物体検出アルゴリズムを用いて、ターゲットを検出することが、様々な事業分野で行われている。これらの物体検出のための学習モデルでは、ターゲットを正しく検出するために、質の良い、ある程度の数量の教師データを用意して学習させる必要がある。
【0003】
また教師データの画像に対して、平行移動、拡大縮小、回転、ノイズの付与などの処理を加えることで、データ数を人為的に水増しするデータオーグメンテーション（データ拡張）という技術が知られている。
【0004】
例えば、データオーグメンテーションに関連する技術として、特許文献１がある。特許文献１には、機械学習に適した画像を選別するための情報処理装置が開示されている。その情報処理装置は、対象要素が写る複数の要素画像を背景画像の上に配置して作成された合成画像が、要素画像の重なりを含む場合、重なりにおいて背面に配置されている第１の要素画像が、重なりにおいて前面に配置されている第２の要素画像によって遮蔽される度合いを表す遮蔽度合いを特定する特定部と、遮蔽度合いが、第１の要素画像の複雑さに応じて特定される上限値以下の場合、対象要素を検出する認識モデルを生成するための機械学習で用いる教師データとして合成画像を選別する選別部と、を含む、というものである。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２２－２６４５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
物体検出のＡＩは、背景画像とターゲットが混在している画像からターゲットを分離する。機械学習においては、ターゲットの特徴と共に、背景画像に関する情報（知識）も重要である。理想的には、学習した背景画像の知識と実際の運用時の背景画像の知識とを一致させるのが好ましい。しかし運用時の背景画像は入手できないことがある。
【0007】
そこで本発明は、一側面として、運用時の背景画像を有しなくても、教師データを生成する技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
（１）本発明の一つの態様の教師データ生成プログラムは、ターゲット画像に対応するターゲットを含む画像の画像データを入力すると前記ターゲットを識別した結果を出力する学習モデルを生成するための教師データを生成するプログラムであって、コンピュータに、複数種の前記ターゲット画像が用意された画像群から第１ターゲット画像を選択し、変形処理をして背景画像を生成させ、前記画像群から第２ターゲット画像を選択し、前記背景画像に前記第２ターゲット画像を合成する合成処理をして教師データを生成させることを特徴としている。
【0009】
（２）このような教師データ生成プログラムは、前記変形処理が、前記第１ターゲット画像を分割した画像について施されるのが好ましい。
【0010】
（３）本発明の他の態様の教師データ生成方法は、ターゲット画像に対応するターゲットを含む画像の画像データを入力すると前記ターゲットを識別した結果を出力する学習モデルを生成するための教師データを生成する方法であって、コンピュータが、複数種の前記ターゲット画像が用意された画像群から第１ターゲット画像を選択し、変形処理をして背景画像を生成し、前記画像群から第２ターゲット画像を選択し、前記背景画像に前記第２ターゲット画像を合成する合成処理をして教師データを生成することを特徴としている。
【0011】
（４）本発明の他の態様の教師データ生成装置は、ターゲット画像に対応するターゲットを含む画像の画像データを入力すると前記ターゲットを識別した結果を出力する学習モデルを生成するための教師データを生成する装置であって、複数種の前記ターゲット画像が用意された画像群から第１ターゲット画像を選択し、変形処理をして背景画像を生成する背景画像生成部と、前記画像群から第２ターゲット画像を選択し、前記背景画像に前記第２ターゲット画像を合成する合成処理をして教師データを生成する教師データ生成部とからなることを特徴としている。
【0012】
（５）本発明の他の態様の学習装置は、複数種のターゲット画像が用意された画像群から第１ターゲット画像を選択し、変形処理をして背景画像を生成する背景画像生成部と、前記画像群から第２ターゲット画像を選択し、前記背景画像に前記第２ターゲット画像を合成する合成処理をして、複数の教師データを生成する教師データ生成部と、複数の前記教師データを用いて、前記ターゲット画像に対応するターゲットを含む画像の画像データを入力すると前記ターゲットを識別した結果を出力する学習モデルを生成する学習モデル生成部とからなることを特徴としている。
【0013】
（６）本発明の他の態様の教師データのデータ構造は、ターゲット画像に対応するターゲットを含む画像の画像データを入力すると前記ターゲットを識別した結果を出力する学習モデルを生成するための教師画像の画像データを有する教師データのデータ構造であって、前記教師画像が、前記学習モデルにより相互に識別すべき前記ターゲットに対応する複数の前記ターゲット画像の画像群から選択された第２ターゲット画像と、前記第２ターゲット画像の周囲に配置される背景画像とからなり、前記背景画像が、前記画像群から選択された第１ターゲット画像を変形処理した変形画像を用いて形成されているのを特徴としている。
【0014】
（７）このような教師データのデータ構造は、前記第２ターゲット画像の前記背景画像に対する位置情報をさらに備えているのが好ましい。
【発明の効果】
【0015】
教師データなどを効率的に生成できる。
【図面の簡単な説明】
【0016】
【図1】学習モデル生成装置の一実施形態を示す機能ブロック図である。
【図2】ターゲットを識別する処理の流れの一実施形態を示すフローチャートである。
【図3】ハードウェア構成の一例を示す概略図である。
【図4】ターゲット画像の生成の処理の流れの一実施形態を示すフローチャートである。
【図5】背景画像の生成の処理の流れの一実施形態を示すフローチャートである。
【図6】教師データのデータ構造の一実施形態を示す概略図である。
【図7】教師データセットのデータベースのデータ構造の一例を示す概略図である。
【図8】学習モデルによるターゲットの検出結果の一例を示す概略図である。
【図9】比較例１の画像を示す概略図である。
【図10】比較例１及び比較例２の画像を示す概略図である。
【図11】教師データの教師画像の他の実施形態を示す概略図である。
【図12】教師データの教師画像の他の実施形態を示す概略図である。
【図13】教師データの教師画像の他の実施形態を示す概略図である。
【発明を実施するための形態】
【0017】
［１．概略説明］
（はじめに）
本実施形態で生成する教師データ（図６参照）は、背景画像に特徴を有する。前記背景画像は、認識の目的（ターゲット）となるターゲット画像を変形処理した画像から生成されている。前記背景画像は、ターゲット画像に似た紛らわしい画像であるから、豊な背景情報を学習モデルに与え、学習の効率を高める。
（はじめに）
本実施形態で生成する教師データ（図６参照）は、背景画像に特徴を有する。前記背景画像は、認識の目的（ターゲット）となるターゲット画像を変形処理した画像から生成されている。前記背景画像は、ターゲット画像に似た紛らわしい画像であるから、豊な背景情報を学習モデルに与え、学習の効率を高める。
【0018】
例えば、アプリに表示されている複数種のボタン／アイコンがある。ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ユーザインターフェイス）／ＵＸ（Ｕｓｅｒ Ｅｘｐｅｒｏｅｎｃｅ：ユーザエクスペリエンス）の観点から、複数種のボタン／アイコンのスタイル（色、パターン）は、ボタン／アイコンを含む表示部の全体の背景も含めたスタイルと近似する傾向にある。このため、複数種のアイコンで生成した背景画像は、アプリの背景の特徴（色の分布、パータンなど）を反映しやすく、学習の効率が高い。
【0019】
（学習モデル１０）
まず図２を用いて、本実施形態の教師データを機械学習して生成される学習モデルを説明する。図に示している学習モデル１０は、画像１１の画像データを入力すると、ターゲット１２を識別した結果を出力する、というものである。
学習モデル１０としては、例えば、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、ＳＳＤ（Ｓｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）等の物体検出アルゴリズムが用いられる。
まず図２を用いて、本実施形態の教師データを機械学習して生成される学習モデルを説明する。図に示している学習モデル１０は、画像１１の画像データを入力すると、ターゲット１２を識別した結果を出力する、というものである。
学習モデル１０としては、例えば、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、ＳＳＤ（Ｓｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）等の物体検出アルゴリズムが用いられる。
【0020】
（画像１１）
画像１１は、学習モデル１０により認識すべきターゲット１２を含む画像である。静止画でも動画でもよい。動画の場合は所定時間毎の画像でもよい。例えば、画面に表示した画像のキャプチャーや、カメラ、車載カメラ、監視カメラなどで撮像した画像が相当する。
画像１１は、学習モデル１０により認識すべきターゲット１２を含む画像である。静止画でも動画でもよい。動画の場合は所定時間毎の画像でもよい。例えば、画面に表示した画像のキャプチャーや、カメラ、車載カメラ、監視カメラなどで撮像した画像が相当する。
【0021】
（ターゲット）
ターゲットは、画像１１に含まれる検知すべき対象である。ターゲットは、学習モデルによって検知されると、例えば、周囲を枠（図示せず）で囲って示される。その他、矢印で指したり、色を付したりして、他の部分と識別できるように表示される。
ターゲットは、画像１１に含まれる検知すべき対象である。ターゲットは、学習モデルによって検知されると、例えば、周囲を枠（図示せず）で囲って示される。その他、矢印で指したり、色を付したりして、他の部分と識別できるように表示される。
【0022】
（教師データ生成装置１、学習装置４）
図１を用いて教師データ生成装置を説明する。図に示している教師データ生成装置１は、背景画像生成部２と、教師データ生成部３とからなる。
学習装置４は、教師データ生成装置１と、学習モデル生成部５とからなる。
図１を用いて教師データ生成装置を説明する。図に示している教師データ生成装置１は、背景画像生成部２と、教師データ生成部３とからなる。
学習装置４は、教師データ生成装置１と、学習モデル生成部５とからなる。
【0023】
［２．各構成］
（背景画像生成部２）
背景画像生成部２は、複数種のターゲット画像１３が用意された画像群１４から第１ターゲット画像１３ａを選択し、拡大、縮小、回転若しくは反転などを含む変形処理をして背景画像１５を生成する。
（背景画像生成部２）
背景画像生成部２は、複数種のターゲット画像１３が用意された画像群１４から第１ターゲット画像１３ａを選択し、拡大、縮小、回転若しくは反転などを含む変形処理をして背景画像１５を生成する。
【0024】
（ターゲット画像１３、１３ａ）
ターゲット画像１３は、画像１１に含まれるターゲットに対応する画像である。
第１ターゲット画像１３ａは、背景画像１５の生成のために用いられる１つ以上のターゲット画像１３からなる。
ターゲット画像１３は、画像１１に含まれるターゲットに対応する画像である。
第１ターゲット画像１３ａは、背景画像１５の生成のために用いられる１つ以上のターゲット画像１３からなる。
【0025】
（画像群１４）
画像群１４は識別すべき複数のターゲット画像１３からなる。画像群１４のターゲット画像１３は、学習モデル１０により相互に識別されるべき画像からなる。画像群１４は後述する記憶部３１に記憶されている。なお外部のサーバに記憶させてもよい。
画像群１４は識別すべき複数のターゲット画像１３からなる。画像群１４のターゲット画像１３は、学習モデル１０により相互に識別されるべき画像からなる。画像群１４は後述する記憶部３１に記憶されている。なお外部のサーバに記憶させてもよい。
【0026】
（背景画像１５）
背景画像１５は変形画像１６を背景枠１５ａに配置して生成される。本実施形態では背景枠１５ａが埋まるまでランダムに変形画像１６が配置される。配置に際し、変形画像１６同士は重なってもよいし、重ならないように配置してもよい。背景枠１５ａ中の符号１６で示されている四角形は、変形画像１６が配置されている様子の一部を示している。
背景画像１５は変形画像１６を背景枠１５ａに配置して生成される。本実施形態では背景枠１５ａが埋まるまでランダムに変形画像１６が配置される。配置に際し、変形画像１６同士は重なってもよいし、重ならないように配置してもよい。背景枠１５ａ中の符号１６で示されている四角形は、変形画像１６が配置されている様子の一部を示している。
【0027】
（変形画像１６、変形処理）
変形画像１６は、画像群１４から選択された第１ターゲット画像１３ａを、拡大、縮小、回転、上下反転、左右反転などの変形処理をして生成される。その他、ノイズの付与、射影変換などの処理をしてもよい。その他、例えば、一般的なデータオーグメンテーション（データ拡張）による手法を用いてもよい。
なお変形処理は、後述する図５の工程Ｒ２、Ｒ３が相当する。
変形画像１６は、画像群１４から選択された第１ターゲット画像１３ａを、拡大、縮小、回転、上下反転、左右反転などの変形処理をして生成される。その他、ノイズの付与、射影変換などの処理をしてもよい。その他、例えば、一般的なデータオーグメンテーション（データ拡張）による手法を用いてもよい。
なお変形処理は、後述する図５の工程Ｒ２、Ｒ３が相当する。
【0028】
（教師データ生成部３）
教師データ生成部３は、画像群１４から第２ターゲット画像１３ａを選択し、背景画像１５に前記第２ターゲット画像１３ｂを合成する合成処理をして教師データ１７（図６参照）を生成させる。
教師データ生成部３は、画像群１４から第２ターゲット画像１３ａを選択し、背景画像１５に前記第２ターゲット画像１３ｂを合成する合成処理をして教師データ１７（図６参照）を生成させる。
【0029】
（第２ターゲット画像１３ｂ）
第２ターゲット画像１３ｂは、背景画像１５に合成するために用いられる１つ以上のターゲット画像１３からなる。
第２ターゲット画像１３ｂは、背景画像１５に合成するために用いられる１つ以上のターゲット画像１３からなる。
【0030】
（教師データ１７）
教師データ１７は、機械学習における教師あり学習に用いられるデータである。本実施形態では、教師データ１７は、背景画像１５、ターゲット画像１３および位置情報１８を含む。なお、教師データ１７については、図６の説明において詳述する。
教師データ１７は、機械学習における教師あり学習に用いられるデータである。本実施形態では、教師データ１７は、背景画像１５、ターゲット画像１３および位置情報１８を含む。なお、教師データ１７については、図６の説明において詳述する。
【0031】
［３．ハードウェア構成］
次に図３を用いて、教師データ生成装置１、学習装置４のハードウェア構成を説明する。
次に図３を用いて、教師データ生成装置１、学習装置４のハードウェア構成を説明する。
【0032】
（教師データ生成装置１、学習装置４のハードウェア構成）
教師データ生成装置１のハードウェア構成を説明する。学習装置４のハードウェア構成は教師データ生成装置１のハードウェア構成とほぼ同じであるので、説明を省略する。
教師データ生成装置１のハードウェア構成を説明する。学習装置４のハードウェア構成は教師データ生成装置１のハードウェア構成とほぼ同じであるので、説明を省略する。
【0033】
図３に示すように、本実施形態の教師データ生成装置１は、ＣＰＵ（またはＧＰＵ）３０を備えたコンピュータである。そのＣＰＵ３０には、例えば、メモリ（以下、記憶部という。）３１と、記憶デバイス３２などを接続／読み込むための接続ポート３３と、ネットワークを介して外部と通信するための通信回路３４とがバスライン３５を介して接続されている。
【0034】
記憶部３１には、教師データの生成および学習モデルの生成の処理をするためのプログラム３６、３６ａがそれぞれ記憶されている。またブラウザプログラム３７、さらにはＯＳ３８（オペレーティングシステム）が記憶されていてもよい。プログラム３６、３６ａは、例えば、記憶デバイス３２によりインストールされる。また本実施形態では、記憶部３１に、ターゲット画像１３（画像群１４）、教師データ１７および学習モデル１０が記憶されているが、外部のサーバ装置に記憶させてもよい。
【0035】
本実施形態では、プログラム３６、３６ａは、それぞれＯＳ３８およびブラウザプログラム３７の機能を利用して協働して動作してもよい。なおプログラム３６、３６ａとして、それぞれブラウザプログラム３７、ＯＳ３８を利用せず、単独で動作するようにしてもよい。
【0036】
上述したプログラム３６、３６ａのハードウェア構成では、図１の機能ブロック図に示す機能を、例えば、ＣＰＵ３０とプログラム３６、３６ａを用いて実現するようにしているが、その一部または全部をマイコンなどの論理回路、あるいは、ＰＬＣ（プログラマブルロジックコントローラ）を用いてシーケンス制御してもよい。
【0037】
［４．プログラム］
（教師データの生成処理を示すフローチャート）
図４は、教師データ生成装置１で用いられるプログラム３６、３６ａの処理の一実施形態を示すフローチャートである。
以下のフローチャートは１つの教師データ１７を生成するものである。実際には、以下のフローチャートを用いて、異なる種類の教師データ１７を大量に生成する。生成する際には、並列処理により複数の教師データ１７を同時に生成するようにしてもよい。
（教師データの生成処理を示すフローチャート）
図４は、教師データ生成装置１で用いられるプログラム３６、３６ａの処理の一実施形態を示すフローチャートである。
以下のフローチャートは１つの教師データ１７を生成するものである。実際には、以下のフローチャートを用いて、異なる種類の教師データ１７を大量に生成する。生成する際には、並列処理により複数の教師データ１７を同時に生成するようにしてもよい。
【0038】
（Ｓ０：前処理工程）
図示していない前処理工程Ｓ０では、プログラム３６で処理するためのターゲット画像１３の画像データのファイル形式を所定の形式に整える。
図示していない前処理工程Ｓ０では、プログラム３６で処理するためのターゲット画像１３の画像データのファイル形式を所定の形式に整える。
【0039】
（Ｓ１：背景画像の生成）
教師データ生成装置１のＣＰＵ３０（図３参照）は、背景画像１５を生成する。
教師データ生成装置１のＣＰＵ３０（図３参照）は、背景画像１５を生成する。
【0040】
【0041】
（Ｒ１：ターゲット画像の選択）
画像群１４（図１参照）から第１ターゲット画像１３ａをランダムに選択する。
画像群１４（図１参照）から第１ターゲット画像１３ａをランダムに選択する。
【0042】
（Ｒ２：切り取り）
選択された第１ターゲット画像１３ａについて縦方向／横方向のいずれか１つの方向をランダムに選択する。縦／横の方向は、ターゲット画像１３ごとに定められている。３、４若しくは５分割のいずれかをランダムに選択する。選択された分割数で、前記選択された方向と平行に分割する。分割により形成された３～５個の画像から１つの画像をランダムに選択する。
選択された第１ターゲット画像１３ａについて縦方向／横方向のいずれか１つの方向をランダムに選択する。縦／横の方向は、ターゲット画像１３ごとに定められている。３、４若しくは５分割のいずれかをランダムに選択する。選択された分割数で、前記選択された方向と平行に分割する。分割により形成された３～５個の画像から１つの画像をランダムに選択する。
【0043】
（Ｒ３：変形処理）
選択された前記分割された画像を変形処理して変形画像１６（図６参照）を生成する。予め複数種の変形処理を登録しておき、それらの中からランダムに変形処理が選択される。本実施形態では、回転／反転のみ、拡大／縮小のみ、拡大／縮小＋回転／反転の登録した変形処理からいずれか１つの変形をランダムに選択している。背景枠１５ａ中の符号１６で示されている四角形は、変形画像１６が配置されている様子の一部を示している。
選択された前記分割された画像を変形処理して変形画像１６（図６参照）を生成する。予め複数種の変形処理を登録しておき、それらの中からランダムに変形処理が選択される。本実施形態では、回転／反転のみ、拡大／縮小のみ、拡大／縮小＋回転／反転の登録した変形処理からいずれか１つの変形をランダムに選択している。背景枠１５ａ中の符号１６で示されている四角形は、変形画像１６が配置されている様子の一部を示している。
【0044】
（Ｒ４：背景枠に配置する）
背景枠１５ａに変形画像１６を配置する。本実施形態では、背景枠１５ａにランダムに配置している。本実施形態では、変形画像１６同士が重なってもよい。また後から配置される変形画像１６が上に表示される。
背景枠１５ａに変形画像１６を配置する。本実施形態では、背景枠１５ａにランダムに配置している。本実施形態では、変形画像１６同士が重なってもよい。また後から配置される変形画像１６が上に表示される。
【0045】
（Ｒ５：背景枠が埋まっているか？）
背景枠１５ａが変形画像１６で埋まっている場合は次工程に進み、埋まっていない場合は工程Ｒ１に戻る。なお背景枠１５ａを全て埋めなくても、所定量が埋まれば、次工程に進むようにしてもよい。所定量としては、例えば、背景枠１５ａ内の面積の９０～９５％である。
背景枠１５ａが変形画像１６で埋まっている場合は次工程に進み、埋まっていない場合は工程Ｒ１に戻る。なお背景枠１５ａを全て埋めなくても、所定量が埋まれば、次工程に進むようにしてもよい。所定量としては、例えば、背景枠１５ａ内の面積の９０～９５％である。
【0046】
（Ｒ６：背景完成）
背景画像１５が完成する。
背景画像１５が完成する。
【0047】
（Ｓ２：第２ターゲット画像を選択）
図４に戻って、第２ターゲット画像１３ｂをランダムに選択する。なお第１ターゲット画像１３ａで選択される画像の全部／一部の画像を含むようにしてもよい。
選択する際に、既に特定の第２ターゲット画像１３ｂが他の教師データ１７で多量に選択されている場合、選択される確率を低減するように調整する。一方で、少量しか選択されていない場合、選択される確率を増加させるように調整する。教師データセット２０において、選択される各第２ターゲット画像１３ｂが同数／ほぼ同数となるように調節する。
本実施形態では、例えば、ルーレット選択方式を採用して、第２ターゲット画像１３ｂの選択される数を調節しているが、他の公知の手法を採用してもよい。
また教師データ１７の生成が、並列的に処理されている場合は、各処理における特定の第２ターゲット画像１３ｂの数を合計し、各処理の次の選択において、選択の確率を増加／減少させて、動的に各第２ターゲット画像１３ｂの選択される確率が均衡するように調整する。
図４に戻って、第２ターゲット画像１３ｂをランダムに選択する。なお第１ターゲット画像１３ａで選択される画像の全部／一部の画像を含むようにしてもよい。
選択する際に、既に特定の第２ターゲット画像１３ｂが他の教師データ１７で多量に選択されている場合、選択される確率を低減するように調整する。一方で、少量しか選択されていない場合、選択される確率を増加させるように調整する。教師データセット２０において、選択される各第２ターゲット画像１３ｂが同数／ほぼ同数となるように調節する。
本実施形態では、例えば、ルーレット選択方式を採用して、第２ターゲット画像１３ｂの選択される数を調節しているが、他の公知の手法を採用してもよい。
また教師データ１７の生成が、並列的に処理されている場合は、各処理における特定の第２ターゲット画像１３ｂの数を合計し、各処理の次の選択において、選択の確率を増加／減少させて、動的に各第２ターゲット画像１３ｂの選択される確率が均衡するように調整する。
【0048】
（Ｓ３：合成する）
完成した背景画像１５に第２ターゲット画像１３ｂをランダムに配置する。第２ターゲット画像１３ｂが背景画像１５の上に表示されるように合成する。
また第２ターゲット画像１３ｂの背景枠１５ａに対する位置情報１８を記憶する。位置情報１８に対応する第２ターゲット画像１３ｂの起点となる位置は、中心、重心または矩形状の角などが設定されている。
第２ターゲット画像１３ｂに関する情報として、例えば、正方形、長方形、円形などの形状や、例えば、辺の長さ、直径などの大きさなどを位置情報１８と共に記憶してもよい。
完成した背景画像１５に第２ターゲット画像１３ｂをランダムに配置する。第２ターゲット画像１３ｂが背景画像１５の上に表示されるように合成する。
また第２ターゲット画像１３ｂの背景枠１５ａに対する位置情報１８を記憶する。位置情報１８に対応する第２ターゲット画像１３ｂの起点となる位置は、中心、重心または矩形状の角などが設定されている。
第２ターゲット画像１３ｂに関する情報として、例えば、正方形、長方形、円形などの形状や、例えば、辺の長さ、直径などの大きさなどを位置情報１８と共に記憶してもよい。
【0049】
（Ｓ４：ターゲット画像が適切な表示か？）
合成した第２ターゲット画像１３ｂが背景画像１５に適切に表示されているか判断する。例えば、以下の（ａ、ｂ、ｃ）のいずれにも該当しない場合は、適切であり、次工程に進む。
（ａ）複数の第２ターゲット画像１３ｂが重なり合っている
（ｂ）第２ターゲット画像１３ｂが背景枠１５ａよりも大きい
（ｃ）第２ターゲット画像１３ｂが背景枠１５ａからはみ出している
上記（ａ、ｂ、ｃ）のいずれかに該当する場合、工程Ｓ３の合成をキャンセルし、工程Ｓ２に戻る。
合成した第２ターゲット画像１３ｂが背景画像１５に適切に表示されているか判断する。例えば、以下の（ａ、ｂ、ｃ）のいずれにも該当しない場合は、適切であり、次工程に進む。
（ａ）複数の第２ターゲット画像１３ｂが重なり合っている
（ｂ）第２ターゲット画像１３ｂが背景枠１５ａよりも大きい
（ｃ）第２ターゲット画像１３ｂが背景枠１５ａからはみ出している
上記（ａ、ｂ、ｃ）のいずれかに該当する場合、工程Ｓ３の合成をキャンセルし、工程Ｓ２に戻る。
【0050】
（Ｓ５：位置情報を紐付ける）
背景画像１５に合成した第２ターゲット画像１３ｂの位置情報１８を紐付けて、記憶部３１に記憶する。
背景画像１５に合成した第２ターゲット画像１３ｂの位置情報１８を紐付けて、記憶部３１に記憶する。
【0051】
（Ｓ６：ターゲット画像の数が適切か？）
第２ターゲット画像１３ｂの数が、所定数に満たない場合は工程Ｓ２に戻り、所定数である場合は処理を終了する。
本実施形態では、第２ターゲット画像１３ｂの数は１０～２０個の範囲でランダムに決定されている。第２ターゲット画像１３ｂの数は、工程Ｓ１と工程Ｓ２の間で決定されている。なお他の工程で決定してもよい。
第２ターゲット画像１３ｂの数が、所定数に満たない場合は工程Ｓ２に戻り、所定数である場合は処理を終了する。
本実施形態では、第２ターゲット画像１３ｂの数は１０～２０個の範囲でランダムに決定されている。第２ターゲット画像１３ｂの数は、工程Ｓ１と工程Ｓ２の間で決定されている。なお他の工程で決定してもよい。
【0052】
（その他の処理）
上述した処理において、ランダムで選択または配置する処理の一部または全部を予め設定した選択順または配置順としてもよい。
さらにＲ２の切り取り工程を削除してもよい。この場合、識別すべき第２ターゲット画像１３ｂと背景画像の変形画像１６との区別を付けるのが困難になる可能性を考慮して、拡大／縮小のみ、回転／反転のみの変形処理をしないようにしてもよい。
背景画像の生成において変形画像１６同士が重ならないように配置してもよい。
上述した処理において、ランダムで選択または配置する処理の一部または全部を予め設定した選択順または配置順としてもよい。
さらにＲ２の切り取り工程を削除してもよい。この場合、識別すべき第２ターゲット画像１３ｂと背景画像の変形画像１６との区別を付けるのが困難になる可能性を考慮して、拡大／縮小のみ、回転／反転のみの変形処理をしないようにしてもよい。
背景画像の生成において変形画像１６同士が重ならないように配置してもよい。
【0053】
（教師データ１７）
図６は教師データのデータ構造の一例を示す概略図である。図に示す教師データ１７は、前述の教師データ生成装置１で説明したのと同じ構成を含んでいるから、同じ構成には同じ符号を付して、その説明を省略する。
図に示す教師データ１７は、ターゲット画像１３に対応するターゲット１２を含む画像１１の画像データを入力するとターゲット１２を識別した結果を出力する学習モデル１０を生成するための機械学習に用いられる。教師データ１７は、教師画像１９と、位置情報１８とからなる。
図６は教師データのデータ構造の一例を示す概略図である。図に示す教師データ１７は、前述の教師データ生成装置１で説明したのと同じ構成を含んでいるから、同じ構成には同じ符号を付して、その説明を省略する。
図に示す教師データ１７は、ターゲット画像１３に対応するターゲット１２を含む画像１１の画像データを入力するとターゲット１２を識別した結果を出力する学習モデル１０を生成するための機械学習に用いられる。教師データ１７は、教師画像１９と、位置情報１８とからなる。
【0054】
（教師画像１９）
教師画像１９は、学習モデル１０により相互に識別すべきターゲット１２に対応する複数のターゲット画像１３の画像群１４から選択された第２ターゲット画像１３ｂと、第２ターゲット画像１３ｂの周囲に配置される背景画像１５とからなる。背景画像１５は、画像群１４から選択された第１ターゲット画像１３ａを変形処理した変形画像１６から形成されている。
教師画像１９は、学習モデル１０により相互に識別すべきターゲット１２に対応する複数のターゲット画像１３の画像群１４から選択された第２ターゲット画像１３ｂと、第２ターゲット画像１３ｂの周囲に配置される背景画像１５とからなる。背景画像１５は、画像群１４から選択された第１ターゲット画像１３ａを変形処理した変形画像１６から形成されている。
【0055】
（教師データセット）
図７は教師データセットのデータ構造の一例を示す概略図である。図に示す教師データセット２０は、教師データ１７と、ターゲット画像１３とからなる。例えば、教師データＴ１はターゲット画像Ｌ１を機械学習で学習するものである。
図７は教師データセットのデータ構造の一例を示す概略図である。図に示す教師データセット２０は、教師データ１７と、ターゲット画像１３とからなる。例えば、教師データＴ１はターゲット画像Ｌ１を機械学習で学習するものである。
【0056】
（機械学習）
図１に戻って、学習モデル生成部５は、記憶部３１に格納されている教師データセット２０に基づいて、繰り返し学習により、学習モデル１０を生成する。なお、学習モデル１０の生成手法については、種々の手法を用いることができる。学習モデル生成部５は、生成した学習モデル１０を記憶部３１に記憶させる。
図１に戻って、学習モデル生成部５は、記憶部３１に格納されている教師データセット２０に基づいて、繰り返し学習により、学習モデル１０を生成する。なお、学習モデル１０の生成手法については、種々の手法を用いることができる。学習モデル生成部５は、生成した学習モデル１０を記憶部３１に記憶させる。
【0057】
（検出結果２１）
図８は学習モデルによるターゲット１２の検出結果の一例を示す概略図である。図に示す検出結果２１は、検出Ｎｏ、背景１～４、生成画像数、Ｅｐｏｃｈ数、学習時間、正しく検出されたターゲット数、未検出ターゲット数、誤検出ターゲット数からなる。なお検出すべきターゲットの総数は２０個である。
図８は学習モデルによるターゲット１２の検出結果の一例を示す概略図である。図に示す検出結果２１は、検出Ｎｏ、背景１～４、生成画像数、Ｅｐｏｃｈ数、学習時間、正しく検出されたターゲット数、未検出ターゲット数、誤検出ターゲット数からなる。なお検出すべきターゲットの総数は２０個である。
【0058】
表中のＮｏは教師データセット２０を識別する番号である。生成画像数は教師データセット２０における教師データの数である。Ｅｐｏｃｈ数は繰り返し学習の回数である。学習時間は学習モデルを生成するために要した時間である。正しく検出されたターゲット数は、正しくターゲットを検出できた数である。未検出ターゲット数は、検出できなかったターゲットの数である。誤検出ターゲット数は、ターゲットでないのに間違って検出した数である。
【0059】
（背景１）
背景１は本実施形態の方法で生成した背景画像１５（図６参照）である。
背景１は本実施形態の方法で生成した背景画像１５（図６参照）である。
【0060】
（背景２：比較例１）
図９は比較例１の画像を示す概略図である。図に示している教師画像２１の背景画像２１ａはオープンデータの画像などの情報の多い画像である。図８の背景２に相当する。符号１３はターゲット画像である。
図９は比較例１の画像を示す概略図である。図に示している教師画像２１の背景画像２１ａはオープンデータの画像などの情報の多い画像である。図８の背景２に相当する。符号１３はターゲット画像である。
【0061】
（背景３：比較例２、背景４：比較例３）
図１０は比較例２、３の画像を示す概略図である。図に示している比較例２の教師画像２２の背景画像２２ａはノイズ画像からなる。図８の背景３に相当する。図に示している比較例３の教師画像２３の背景画像２３ａは薄い緑色の単一色からなる。図８の背景４に相当する。符号１３はターゲット画像である。背景３の生成方法として、例えば、背景に配置したいターゲットを先に数個を選び、選んだターゲットの色分布を統計的に計算する。次いで、前記色分布の平均値又は中央値を単一色とした背景を生成する。
図１０は比較例２、３の画像を示す概略図である。図に示している比較例２の教師画像２２の背景画像２２ａはノイズ画像からなる。図８の背景３に相当する。図に示している比較例３の教師画像２３の背景画像２３ａは薄い緑色の単一色からなる。図８の背景４に相当する。符号１３はターゲット画像である。背景３の生成方法として、例えば、背景に配置したいターゲットを先に数個を選び、選んだターゲットの色分布を統計的に計算する。次いで、前記色分布の平均値又は中央値を単一色とした背景を生成する。
【0062】
図８に戻って、検出Ｎｏ１では、背景１、２、３、４の背景画像の学習データをそれぞれ２００個用意し、合計８００個の教師データを学習させている。
また検出Ｎｏ２では、背景１の背景画像の学習データを８００個用意して学習させている。検出Ｎｏ２と同様に、検出Ｎｏ３、４、５は、それぞれ背景２、３、４の背景画像の学習データをそれぞれ８００個用意して学習させている。
また検出Ｎｏ６では、背景１、２の背景画像の学習データをそれぞれ４００個用意し、合計８００個の教師データを学習させている。検出Ｎｏ６と同様に、検出Ｎｏ７、８、９のそれぞれは、背景１、２の学習データをそれぞれ４００個用意し、それぞれ合計８００個の教師データを学習させている。
また検出Ｎｏ２では、背景１の背景画像の学習データを８００個用意して学習させている。検出Ｎｏ２と同様に、検出Ｎｏ３、４、５は、それぞれ背景２、３、４の背景画像の学習データをそれぞれ８００個用意して学習させている。
また検出Ｎｏ６では、背景１、２の背景画像の学習データをそれぞれ４００個用意し、合計８００個の教師データを学習させている。検出Ｎｏ６と同様に、検出Ｎｏ７、８、９のそれぞれは、背景１、２の学習データをそれぞれ４００個用意し、それぞれ合計８００個の教師データを学習させている。
【0063】
正しく検出されたターゲットの数は、検出Ｎｏ２、３のデータによると、背景１または背景２を学習データとした場合に良好な結果となっている。すなわち本実施形態の背景画像１５は、オープンデータを背景画像とする場合と同程度の結果を得ることができる。
【0064】
また検出Ｎｏ６－９のデータによると、背景１および背景２を学習データとした場合に良好な結果となっている。すなわち背景１および背景２を学習データとすれば、正しくターゲットを検出できた数が向上する。
【0065】
（背景画像のその他）
教師データ１７において、背景画像１５を形成するターゲット画像１３はランダムに選択され、拡大などの変形処理がランダムに施される。このため背景枠１５ａ内に配置される背景画像１５に利用される変形画像１６の数に幅がある。図１１、図１２、図１３に、それぞれ変形画像１６が少ない例と、平均的な例と、多い例を示す。
教師データ１７において、背景画像１５を形成するターゲット画像１３はランダムに選択され、拡大などの変形処理がランダムに施される。このため背景枠１５ａ内に配置される背景画像１５に利用される変形画像１６の数に幅がある。図１１、図１２、図１３に、それぞれ変形画像１６が少ない例と、平均的な例と、多い例を示す。
【0066】
図１１は、教師データ１７の他の実施形態を示す概略図である。図に示している教師画像２４の背景画像２４ａは、背景枠１５ａ内に配置される変形画像１６の数が教師データセット２０において平均より少ない。
【0067】
図１２は、教師データ１７の教師画像１５の他の実施形態を示す概略図である。図に示している教師画像２５の背景画像２５ａは、背景枠１５ａ内に配置される変形画像１６の数が教師データセット２０において平均的な数である。
【0068】
図１３は、教師データ１７の教師画像１５の他の実施形態を示す概略図である。図に示している教師画像２６の背景画像２６ａは、背景枠１５ａ内に配置される変形画像１６の数が教師データセット２０において平均よりも多い。
【0069】
［５．他の実施形態］
次に他の実施形態を説明する。以下に説明する変形例は、前述した教師データ１７とほぼ同様であるので、同じ部分には同じ符号を付して、その説明を省略する。
次に他の実施形態を説明する。以下に説明する変形例は、前述した教師データ１７とほぼ同様であるので、同じ部分には同じ符号を付して、その説明を省略する。
【0070】
（変形例）
変形例の背景画像は、ターゲット画像１３に加え、ターゲット画像以外の画像を用いている。
変形例の背景画像は、ターゲット画像１３に加え、ターゲット画像以外の画像を用いている。
【0071】
［６．その他］
前述の実施形態に、その他として記載した事項を、それぞれを適宜に組み合わせて用いることができる。
前述の実施形態に、その他として記載した事項を、それぞれを適宜に組み合わせて用いることができる。
【0072】
［７．まとめ］
（１）教師データ生成プログラム３６、３６ａ（教師データ生成方法２７、教師データ生成装置１）は、ターゲット画像１３に対応するターゲット１２を含む画像１１の画像データを入力するとターゲット１２を識別した結果を出力する学習モデル１０を生成するための教師データ１７を生成するプログラムであって、コンピュータに、複数種のターゲット画像１３が用意された画像群１４から第１ターゲット画像１３ａを選択し、変形処理をして背景画像１５を生成させ、画像群１４から第２ターゲット画像１３ｂを選択し、背景画像１５に前記第２ターゲット画像１３ｂを合成する合成処理をして教師データ１７を生成させるとこを特徴としている。
（１）教師データ生成プログラム３６、３６ａ（教師データ生成方法２７、教師データ生成装置１）は、ターゲット画像１３に対応するターゲット１２を含む画像１１の画像データを入力するとターゲット１２を識別した結果を出力する学習モデル１０を生成するための教師データ１７を生成するプログラムであって、コンピュータに、複数種のターゲット画像１３が用意された画像群１４から第１ターゲット画像１３ａを選択し、変形処理をして背景画像１５を生成させ、画像群１４から第２ターゲット画像１３ｂを選択し、背景画像１５に前記第２ターゲット画像１３ｂを合成する合成処理をして教師データ１７を生成させるとこを特徴としている。
【0073】
背景画像１５は、ターゲット画像１３に似た紛らわしい画像であるから、豊な背景情報を学習モデルに与え、学習の効率を高めることができる。またオープンデータを準備しなくても、ターゲット画像１３から背景画像１５を生成することができる。
【0074】
（２）このような教師データ生成プログラム３６、３６ａにおいて、前記変形処理が、前記第１ターゲット画像１３ａを分割し、分割した画像について施されるので、人為的に学習データ１７を容易に増やすことができる。
【0075】
（３）教師画像データ１７のデータ構造は、ターゲット画像１３に対応するターゲット１２を含む画像１１の画像データを入力するとターゲット１２を識別した結果を出力する学習モデル１０を生成するための教師画像１９の画像データを有する教師データ１７のデータ構造であって、教師画像１９が、学習モデル１０により相互に識別すべきターゲット１２に対応する複数のターゲット画像１３の画像群１４から選択された第２ターゲット画像１３ｂと、第２ターゲット画像１３ｂの周囲に配置される背景画像１５とからなり、背景画像１５が、画像群１４から選択された第１ターゲット画像１３ａを変形処理した変形画像１６を用いて形成されていることを特徴としている。
【0076】
ターゲット画像１３で生成した背景画像１５を用いた教師データ１７から生成された学習モデルは、オープンデータで生成された背景画像２１ａを用いた教師データにより生成された学習モデルと、同程度のターゲット１２の検知能力を得ることができる。
【0077】
（４）このような教師データのデータ構造は、第２ターゲット画像１３ｂの背景画像１５に対する位置情報１８をさらに備えているので、教師データ１７として利用することができる。
【0078】
（５）学習モデル１０は、コンピュータが、複数種のターゲット画像１３が用意された画像群１４から第１ターゲット画像１３ａを選択し、変形処理をして背景画像１５を生成し、画像群１４から第２ターゲット画像１３ｂを選択し、背景画像１５に前記第２ターゲット画像１３ｂを合成する合成処理をして複数の教師データ１７を生成し、複数の教師データ１７を用いて生成した学習モデル１０であって、ターゲット画像１３に対応するターゲット１２を含む画像１１の画像データを入力するとターゲット１２を識別した結果を出力することを特徴としている。
【0079】
学習モデル１０は、オープンデータで生成された背景画像２１ａを用いた教師データにより生成された学習モデルと、同程度のターゲット１２の検知能力を得ることができる。
【符号の説明】
【0080】
１ 教師データ生成装置
２ 背景画像生成部
３ 教師データ生成部
４ 学習装置
５ 学習モデル生成部
１０ 学習モデル
１１ 撮像画像
１２ ターゲット
１３ ターゲット画像
１３ａ 第１ターゲット画像
１３ｂ 第２ターゲット画像
１４ 画像群
１５ 背景画像
１５ａ 背景枠
１６ 変形画像
１７ 教師データ
１８ 位置情報
１９ 教師画像
２０ 教師データセット
２１ 教師画像
２１ａ 背景画像
２２ 教師画像
２２ａ 背景画像
２３ 教師画像
２３ａ 背景画像
２４ 教師画像
２４ａ 背景画像
２５ 教師画像
２５ａ 背景画像
２６ 教師画像
２６ａ 背景画像
２７ 教師データ生成方法
３０ ＣＰＵ
３１ メモリ
３２ 記録デバイス
３３ 接続ポート
３４ 通信回路
３５ バスライン
３６、３６ａ プログラム
３７ ブラウザプログラム
３８ ＯＳ
２ 背景画像生成部
３ 教師データ生成部
４ 学習装置
５ 学習モデル生成部
１０ 学習モデル
１１ 撮像画像
１２ ターゲット
１３ ターゲット画像
１３ａ 第１ターゲット画像
１３ｂ 第２ターゲット画像
１４ 画像群
１５ 背景画像
１５ａ 背景枠
１６ 変形画像
１７ 教師データ
１８ 位置情報
１９ 教師画像
２０ 教師データセット
２１ 教師画像
２１ａ 背景画像
２２ 教師画像
２２ａ 背景画像
２３ 教師画像
２３ａ 背景画像
２４ 教師画像
２４ａ 背景画像
２５ 教師画像
２５ａ 背景画像
２６ 教師画像
２６ａ 背景画像
２７ 教師データ生成方法
３０ ＣＰＵ
３１ メモリ
３２ 記録デバイス
３３ 接続ポート
３４ 通信回路
３５ バスライン
３６、３６ａ プログラム
３７ ブラウザプログラム
３８ ＯＳ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【手続補正書】
【提出日】2024-07-30
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【0016】
【図1】学習モデル生成装置の一実施形態を示す機能ブロック図である。
【図2】ターゲットを識別する処理の流れの一実施形態を示すフローチャートである。
【図3】ハードウェア構成の一例を示す概略図である。
【図4】ターゲット画像の生成の処理の流れの一実施形態を示すフローチャートである。
【図5】背景画像の生成の処理の流れの一実施形態を示すフローチャートである。
【図6】教師データのデータ構造の一実施形態を示す概略図である。
【図7】教師データセットのデータベースのデータ構造の一例を示す概略図である。
【図8】学習モデルによるターゲットの検出結果の一例を示す概略図である。
【図9】比較例１の画像を示す概略図である。
【図10】比較例２及び比較例３の画像を示す概略図である。
【図11】教師データの教師画像の他の実施形態を示す概略図である。
【図12】教師データの教師画像の他の実施形態を示す概略図である。
【図13】教師データの教師画像の他の実施形態を示す概略図である。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【0018】
例えば、アプリに表示されている複数種のボタン／アイコンがある。ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ユーザインターフェイス）／ＵＸ（Ｕｓｅｒ Ｅｘｐｅｒｏｅｎｃｅ：ユーザエクスペリエンス）の観点から、複数種のボタン／アイコンのスタイル（色、パターン）は、ボタン／アイコンを含む表示部の全体の背景も含めたスタイルと近似する傾向にある。このため、複数種のアイコンで生成した背景画像は、アプリの背景の特徴（色の分布、パターンなど）を反映しやすく、学習の効率が高い。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【0028】
（教師データ生成部３）
教師データ生成部３は、画像群１４から第２ターゲット画像１３ｂを選択し、背景画像１５に前記第２ターゲット画像１３ｂを合成する合成処理をして教師データ１７（図６参照）を生成させる。
教師データ生成部３は、画像群１４から第２ターゲット画像１３ｂを選択し、背景画像１５に前記第２ターゲット画像１３ｂを合成する合成処理をして教師データ１７（図６参照）を生成させる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【0061】
（背景３：比較例２、背景４：比較例３）
図１０は比較例２、３の画像を示す概略図である。図に示している比較例２の教師画像２２の背景画像２２ａはノイズ画像からなる。図８の背景３に相当する。図に示している比較例３の教師画像２３の背景画像２３ａは薄い緑色の単一色からなる。図８の背景４に相当する。符号１３はターゲット画像である。背景４の生成方法として、例えば、背景に配置したいターゲットを先に数個を選び、選んだターゲットの色分布を統計的に計算する。次いで、前記色分布の平均値又は中央値を単一色とした背景を生成する。
図１０は比較例２、３の画像を示す概略図である。図に示している比較例２の教師画像２２の背景画像２２ａはノイズ画像からなる。図８の背景３に相当する。図に示している比較例３の教師画像２３の背景画像２３ａは薄い緑色の単一色からなる。図８の背景４に相当する。符号１３はターゲット画像である。背景４の生成方法として、例えば、背景に配置したいターゲットを先に数個を選び、選んだターゲットの色分布を統計的に計算する。次いで、前記色分布の平均値又は中央値を単一色とした背景を生成する。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【0062】
図８に戻って、検出Ｎｏ１では、背景１、２、３、４の背景画像の学習データをそれぞれ２００個用意し、合計８００個の教師データを学習させている。
また検出Ｎｏ２では、背景１の背景画像の学習データを８００個用意して学習させている。検出Ｎｏ２と同様に、検出Ｎｏ３、４、５は、それぞれ背景２、３、４の背景画像の学習データをそれぞれ８００個用意して学習させている。
また検出Ｎｏ６では、背景１、２の背景画像の学習データをそれぞれ４００個用意し、合計８００個の教師データを学習させている。検出Ｎｏ６と同様に、検出Ｎｏ８、９のそれぞれは、背景１、２の学習データをそれぞれ４００個用意し、それぞれ合計８００個の教師データを学習させている。
また検出Ｎｏ２では、背景１の背景画像の学習データを８００個用意して学習させている。検出Ｎｏ２と同様に、検出Ｎｏ３、４、５は、それぞれ背景２、３、４の背景画像の学習データをそれぞれ８００個用意して学習させている。
また検出Ｎｏ６では、背景１、２の背景画像の学習データをそれぞれ４００個用意し、合計８００個の教師データを学習させている。検出Ｎｏ６と同様に、検出Ｎｏ８、９のそれぞれは、背景１、２の学習データをそれぞれ４００個用意し、それぞれ合計８００個の教師データを学習させている。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【0072】
［７．まとめ］
（１）教師データ生成プログラム３６、３６ａ（教師データ生成方法２７、教師データ生成装置１）は、ターゲット画像１３に対応するターゲット１２を含む画像１１の画像データを入力するとターゲット１２を識別した結果を出力する学習モデル１０を生成するための教師データ１７を生成するプログラムであって、コンピュータに、複数種のターゲット画像１３が用意された画像群１４から第１ターゲット画像１３ａを選択し、変形処理をして背景画像１５を生成させ、画像群１４から第２ターゲット画像１３ｂを選択し、背景画像１５に前記第２ターゲット画像１３ｂを合成する合成処理をして教師データ１７を生成させることを特徴としている。
（１）教師データ生成プログラム３６、３６ａ（教師データ生成方法２７、教師データ生成装置１）は、ターゲット画像１３に対応するターゲット１２を含む画像１１の画像データを入力するとターゲット１２を識別した結果を出力する学習モデル１０を生成するための教師データ１７を生成するプログラムであって、コンピュータに、複数種のターゲット画像１３が用意された画像群１４から第１ターゲット画像１３ａを選択し、変形処理をして背景画像１５を生成させ、画像群１４から第２ターゲット画像１３ｂを選択し、背景画像１５に前記第２ターゲット画像１３ｂを合成する合成処理をして教師データ１７を生成させることを特徴としている。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【0074】
（２）このような教師データ生成プログラム３６、３６ａにおいて、前記変形処理が、前記第１ターゲット画像１３ａを分割し、分割した画像について施されるので、人為的に教師データ１７を容易に増やすことができる。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【0075】
（３）教師データ１７のデータ構造は、ターゲット画像１３に対応するターゲット１２を含む画像１１の画像データを入力するとターゲット１２を識別した結果を出力する学習モデル１０を生成するための教師画像１９の画像データを有する教師データ１７のデータ構造であって、教師画像１９が、学習モデル１０により相互に識別すべきターゲット１２に対応する複数のターゲット画像１３の画像群１４から選択された第２ターゲット画像１３ｂと、第２ターゲット画像１３ｂの周囲に配置される背景画像１５とからなり、背景画像１５が、画像群１４から選択された第１ターゲット画像１３ａを変形処理した変形画像１６を用いて形成されていることを特徴としている。
【手続補正9】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図4】
【手続補正10】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図9】
【手続補正11】
【補正対象書類名】図面
【補正対象項目名】図１０
【補正方法】変更
【補正の内容】
【図10】
