▶ 田中 成典の特許一覧 ▶ 中村 健二の特許一覧 ▶ 山本 雄平の特許一覧 ▶ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｔｙｌｅ株式会社の特許一覧 ▶ アジア航測株式会社の特許一覧 ▶ クロスセンシング株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023051195
(43)【公開日】2023-04-11
(54)【発明の名称】対象物検出装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20230404BHJP
【ＦＩ】
G06T7/00 350C
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2021161727
(22)【出願日】2021-09-30
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ２０２１年９月２８日に第４６回土木情報学シンポジウム（ウエブ開催）にて発表
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ２０２１年９月２２日に第４６回土木情報学シンポジウムの講演集（ウエブサイト）にて発表
(71)【出願人】
【識別番号】500063228
【氏名又は名称】田中 成典
(71)【出願人】
【識別番号】502235692
【氏名又は名称】中村 健二
(71)【出願人】
【識別番号】517305883
【氏名又は名称】山本 雄平
(71)【出願人】
【識別番号】519113745
【氏名又は名称】Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｔｙｌｅ株式会社
(71)【出願人】
【識別番号】591074161
【氏名又は名称】アジア航測株式会社
(71)【出願人】
【識別番号】521429018
【氏名又は名称】クロスセンシング株式会社
(74)【代理人】
【識別番号】100092956
【弁理士】
【氏名又は名称】古谷 栄男
(74)【代理人】
【識別番号】100101018
【弁理士】
【氏名又は名称】松下 正
(72)【発明者】
【氏名】田中 成典
(72)【発明者】
【氏名】中村 健二
(72)【発明者】
【氏名】山本 雄平
(72)【発明者】
【氏名】姜 文渊
(72)【発明者】
【氏名】鳴尾 丈司
(72)【発明者】
【氏名】田中 ちひろ
(72)【発明者】
【氏名】坂本 一磨
(72)【発明者】
【氏名】政木 英一
(72)【発明者】
【氏名】松林 豊
(72)【発明者】
【氏名】新名 恭仁
(72)【発明者】
【氏名】山田 貴之
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096EA39
5L096FA18
5L096GA08
5L096HA03
5L096HA11
5L096KA04
5L096KA15
(57)【要約】 （修正有）
【課題】学習が容易な対象物検出装置を提供する。
【解決手段】新規モデル生成装置において、対象物抽出既存モデル４は、背景中に一以上の対象物を有する対象物画像から、対象物を抽出するように学習されたニューラル・ネットワーク・モデルである。抽出対象物取得手段２は、異なる背景の対象物画像（異背景対象物画像）を取得する。これを、対象物抽出既存モデル４に与えて、対象物を抽出させて、抽出された対象物情報を得る。学習データ生成手段６は、異背景対象物画像と対象物情報に基づいて、学習データを生成する。追加学習手段８は、生成された学習データに基づいて、対象物抽出既存モデル４を追加学習する。このようにして、学習データを人手によって作成することなく、異背景対象物画像についても精度よく対象物を抽出することのできる対象物抽出新規モデルを生成することができる。
【選択図】図１
【解決手段】新規モデル生成装置において、対象物抽出既存モデル４は、背景中に一以上の対象物を有する対象物画像から、対象物を抽出するように学習されたニューラル・ネットワーク・モデルである。抽出対象物取得手段２は、異なる背景の対象物画像（異背景対象物画像）を取得する。これを、対象物抽出既存モデル４に与えて、対象物を抽出させて、抽出された対象物情報を得る。学習データ生成手段６は、異背景対象物画像と対象物情報に基づいて、学習データを生成する。追加学習手段８は、生成された学習データに基づいて、対象物抽出既存モデル４を追加学習する。このようにして、学習データを人手によって作成することなく、異背景対象物画像についても精度よく対象物を抽出することのできる対象物抽出新規モデルを生成することができる。
【選択図】図１
【特許請求の範囲】
【請求項1】
背景中に少なくとも一つの対象物を有する対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに基づいて、前記背景とは異なる背景中に少なくとも一つの対象物を有する異背景対象物画像から対象物を抽出することのできる対象物抽出新規モデルを生成する装置であって、
前記異背景対象物画像を、前記対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、
前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、
前記対象物抽出既存モデルを前記生成した学習データに基づいて追加学習し、対象物抽出新規モデルを生成する追加学習手段と、
を備えた新規モデル生成装置。
前記異背景対象物画像を、前記対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、
前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、
前記対象物抽出既存モデルを前記生成した学習データに基づいて追加学習し、対象物抽出新規モデルを生成する追加学習手段と、
を備えた新規モデル生成装置。
【請求項2】
背景中に少なくとも一つの対象物を有する対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに基づいて、前記背景とは異なる背景中に少なくとも一つの対象物を有する異背景対象物画像から対象物を抽出することのできる対象物抽出新規モデルを生成する装置をコンピュータによって実現するための新規モデル生成プログラムであって、コンピュータを、
前記異背景対象物画像を、前記対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、
前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、
前記対象物抽出既存モデルを前記生成した学習データに基づいて追加学習し、対象物抽出新規モデルを生成する追加学習手段として機能させるための新規モデル生成プログラム。
前記異背景対象物画像を、前記対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、
前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、
前記対象物抽出既存モデルを前記生成した学習データに基づいて追加学習し、対象物抽出新規モデルを生成する追加学習手段として機能させるための新規モデル生成プログラム。
【請求項3】
背景中に少なくとも一つの対象物を有する対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに基づいて、追加学習のための学習データを生成する学習データ生成装置であって、
前記対象物抽出既存モデルの学習に用いた対象物画像の背景とは異なる背景中に少なくとも一つの対象物を有する異背景対象物画像を、前記対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、
前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、
を備えた学習データ生成装置。
前記対象物抽出既存モデルの学習に用いた対象物画像の背景とは異なる背景中に少なくとも一つの対象物を有する異背景対象物画像を、前記対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、
前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、
を備えた学習データ生成装置。
【請求項4】
背景中に少なくとも一つの対象物を有する対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに基づいて、追加学習のための学習データを生成する学習データ生成装置をコンピュータによって実現するための学習データ生成プログラムであって、コンピュータを、
前記対象物抽出既存モデルの学習に用いた対象物画像の背景とは異なる背景中に少なくとも一つの対象物を有する異背景対象物画像を、前記対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、
前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段として機能させるための学習データ生成プログラム。
前記対象物抽出既存モデルの学習に用いた対象物画像の背景とは異なる背景中に少なくとも一つの対象物を有する異背景対象物画像を、前記対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、
前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段として機能させるための学習データ生成プログラム。
【請求項5】
請求項１の新規モデル生成装置または請求項３の学習データ生成装置において、
前記新規モデル生成装置または前記学習データ生成装置は、ネットワークを介して端末装置からアクセス可能なサーバ装置として構成されていることを特徴とする新規モデル生成装置または学習データ生成装置。
前記新規モデル生成装置または前記学習データ生成装置は、ネットワークを介して端末装置からアクセス可能なサーバ装置として構成されていることを特徴とする新規モデル生成装置または学習データ生成装置。
【請求項6】
請求項１～５のいずれかの装置またはプログラムにおいて、
前記学習データ生成手段は、
前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報を取得する取得手段と、
前記異背景対象物画像に対し背景差分法によって背景ではない非背景部を抽出する非背景抽出手段と、
前記抽出対象物取得手段によって抽出された対象物のうち、対応する前記非背景部がない対象物の情報を学習データから排除する誤検出対応手段と、
を備えていることを特徴とする装置またはプログラム。
前記学習データ生成手段は、
前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報を取得する取得手段と、
前記異背景対象物画像に対し背景差分法によって背景ではない非背景部を抽出する非背景抽出手段と、
前記抽出対象物取得手段によって抽出された対象物のうち、対応する前記非背景部がない対象物の情報を学習データから排除する誤検出対応手段と、
を備えていることを特徴とする装置またはプログラム。
【請求項7】
請求項１～５のいずれかの装置またはプログラムにおいて、
前記学習データ生成手段は、
前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報を取得する取得手段と、
前記異背景対象物画像に対し背景差分法によって背景ではない非背景部を抽出する非背景抽出手段と、
前記非背景部に対応して、前記対象物が抽出対象物取得手段によって抽出されない領域があれば、前記異背景対象物画像中の当該領域を無特徴化した画像にして学習データとする検出漏対応手段と、
を備えていることを特徴とする装置またはプログラム。
前記学習データ生成手段は、
前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報を取得する取得手段と、
前記異背景対象物画像に対し背景差分法によって背景ではない非背景部を抽出する非背景抽出手段と、
前記非背景部に対応して、前記対象物が抽出対象物取得手段によって抽出されない領域があれば、前記異背景対象物画像中の当該領域を無特徴化した画像にして学習データとする検出漏対応手段と、
を備えていることを特徴とする装置またはプログラム。
【請求項8】
請求項１～７のいずれかの装置またはプログラムにおいて、
前記対象物は、運動選手、歩行者、自動車、動物、ボールのいずれか一つを含む移動物であることを特徴とする装置またはプログラム。
前記対象物は、運動選手、歩行者、自動車、動物、ボールのいずれか一つを含む移動物であることを特徴とする装置またはプログラム。
【請求項9】
新規モデル生成サーバ装置と、当該新規モデル生成サーバ装置と通信可能に構成された端末装置とを備え、背景中に少なくとも一つの対象物を有する対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに基づいて、前記背景とは異なる背景中に少なくとも一つの対象物を有する異背景対象物画像から対象物を抽出することのできる新規モデル生成システムであって、
前記新規モデル生成サーバ装置は、
前記端末装置から送信されてきた前記異背景対象物画像および前記対象物抽出既存モデルの少なくとも重みパラメータを受信するサーバ側受信手段と、
前記異背景対象物画像を、前記対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、
前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、
当該学習データによって、前記対象物抽出既存モデルの少なくとも重みパラメータを追加学習して対象物抽出新規モデルの少なくとも重みパラメータを生成する追加学習手段と、
生成された対象物抽出新規モデルの少なくとも重みパラメータを前記端末装置に送信するサーバ側送信手段と、を備え、
前記端末装置は、
記録されている前記対象物抽出既存モデルの少なくとも重みパラメータを取得する取得手段と、
前記異背景対象物画像および前記対象物抽出既存モデルの少なくとも重みパラメータを前記新規モデル生成サーバ装置に送信する端末側送信手段と、
前記サーバ装置から送信されてきた前記対象物抽出新規モデルの少なくとも重みパラメータを受信する端末側受信手段と、
前記対象物抽出既存モデルについて、受信した前記少なくとも重みパラメータに置き換えて、対象物抽出新規モデルを生成する新規モデル生成手段と、
を備えた新規モデル生成システム。
前記新規モデル生成サーバ装置は、
前記端末装置から送信されてきた前記異背景対象物画像および前記対象物抽出既存モデルの少なくとも重みパラメータを受信するサーバ側受信手段と、
前記異背景対象物画像を、前記対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、
前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、
当該学習データによって、前記対象物抽出既存モデルの少なくとも重みパラメータを追加学習して対象物抽出新規モデルの少なくとも重みパラメータを生成する追加学習手段と、
生成された対象物抽出新規モデルの少なくとも重みパラメータを前記端末装置に送信するサーバ側送信手段と、を備え、
前記端末装置は、
記録されている前記対象物抽出既存モデルの少なくとも重みパラメータを取得する取得手段と、
前記異背景対象物画像および前記対象物抽出既存モデルの少なくとも重みパラメータを前記新規モデル生成サーバ装置に送信する端末側送信手段と、
前記サーバ装置から送信されてきた前記対象物抽出新規モデルの少なくとも重みパラメータを受信する端末側受信手段と、
前記対象物抽出既存モデルについて、受信した前記少なくとも重みパラメータに置き換えて、対象物抽出新規モデルを生成する新規モデル生成手段と、
を備えた新規モデル生成システム。
【請求項10】
背景中に少なくとも一つの対象物を有する対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに基づいて、前記背景とは異なる背景中に少なくとも一つの対象物を有する異背景対象物画像から対象物を抽出することのできる対象物抽出新規モデルの少なくとも重みパラメータを生成するサーバ装置であって、
前記端末装置から送信されてきた前記異背景対象物画像および前記対象物抽出既存モデルの少なくとも重みパラメータを受信するサーバ側受信手段と、
前記異背景対象物画像を、前記対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、
前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、
当該学習データによって、前記対象物抽出既存モデルの少なくとも重みパラメータを追加学習して対象物抽出新規モデルの少なくとも重みパラメータを生成する追加学習手段と、
生成された対象物抽出新規モデルの少なくとも重みパラメータを前記端末装置に送信するサーバ側送信手段と、
を備えたパラメータ生成サーバ装置。
前記端末装置から送信されてきた前記異背景対象物画像および前記対象物抽出既存モデルの少なくとも重みパラメータを受信するサーバ側受信手段と、
前記異背景対象物画像を、前記対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、
前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、
当該学習データによって、前記対象物抽出既存モデルの少なくとも重みパラメータを追加学習して対象物抽出新規モデルの少なくとも重みパラメータを生成する追加学習手段と、
生成された対象物抽出新規モデルの少なくとも重みパラメータを前記端末装置に送信するサーバ側送信手段と、
を備えたパラメータ生成サーバ装置。
【請求項11】
新規モデル生成サーバ装置と、当該新規モデル生成サーバ装置と通信可能に構成された端末装置とを備え、背景中に少なくとも一つの対象物を有する対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに基づいて、前記背景とは異なる背景中に少なくとも一つの対象物を有する異背景対象物画像から対象物を抽出することのできる新規モデル生成システムを構成する端末装置であって、
記録されている前記対象物抽出既存モデルの少なくとも重みパラメータを取得する取得手段と、
前記異背景対象物画像および前記対象物抽出既存モデルの少なくとも重みパラメータを前記新規モデル生成サーバ装置に送信する端末側送信手段と、
前記対象物抽出既存モデルによって前記異背景対象物画像から抽出された対象物の情報に基づいて生成された学習データによって、前記対象物抽出既存モデルの少なくとも重みパラメータを追加学習を行った新規モデル生成サーバ装置から送信されてきた前記対象物抽出新規モデルの少なくとも重みパラメータを受信する端末側受信手段と、
前記対象物抽出既存モデルについて、受信した前記少なくとも重みパラメータに置き換えて、対象物抽出新規モデルを生成する新規モデル生成手段と、
を備えた端末装置。
記録されている前記対象物抽出既存モデルの少なくとも重みパラメータを取得する取得手段と、
前記異背景対象物画像および前記対象物抽出既存モデルの少なくとも重みパラメータを前記新規モデル生成サーバ装置に送信する端末側送信手段と、
前記対象物抽出既存モデルによって前記異背景対象物画像から抽出された対象物の情報に基づいて生成された学習データによって、前記対象物抽出既存モデルの少なくとも重みパラメータを追加学習を行った新規モデル生成サーバ装置から送信されてきた前記対象物抽出新規モデルの少なくとも重みパラメータを受信する端末側受信手段と、
前記対象物抽出既存モデルについて、受信した前記少なくとも重みパラメータに置き換えて、対象物抽出新規モデルを生成する新規モデル生成手段と、
を備えた端末装置。
【請求項12】
新規モデル生成サーバ装置と、当該新規モデル生成サーバ装置と通信可能に構成された端末装置とを備え、背景中に少なくとも一つの対象物を有する対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに基づいて、前記背景とは異なる背景中に少なくとも一つの対象物を有する異背景対象物画像から対象物を抽出することのできる新規モデル生成システムを構成する端末装置を、コンピュータによって実現するための端末プログラムであって、コンピュータを、
記録されている前記対象物抽出既存モデルの少なくとも重みパラメータを取得する取得手段と、
前記異背景対象物画像および前記対象物抽出既存モデルの少なくとも重みパラメータを前記新規モデル生成サーバ装置に送信する端末側送信手段と、
前記対象物抽出既存モデルによって前記異背景対象物画像から抽出された対象物の情報に基づいて生成された学習データによって、前記対象物抽出既存モデルの少なくとも重みパラメータを追加学習を行った新規モデル生成サーバ装置から送信されてきた前記対象物抽出新規モデルの少なくとも重みパラメータを受信する端末側受信手段と、
前記対象物抽出既存モデルについて、受信した前記少なくとも重みパラメータに置き換えて、対象物抽出新規モデルを生成する新規モデル生成手段として機能させるための端末プログラム。
記録されている前記対象物抽出既存モデルの少なくとも重みパラメータを取得する取得手段と、
前記異背景対象物画像および前記対象物抽出既存モデルの少なくとも重みパラメータを前記新規モデル生成サーバ装置に送信する端末側送信手段と、
前記対象物抽出既存モデルによって前記異背景対象物画像から抽出された対象物の情報に基づいて生成された学習データによって、前記対象物抽出既存モデルの少なくとも重みパラメータを追加学習を行った新規モデル生成サーバ装置から送信されてきた前記対象物抽出新規モデルの少なくとも重みパラメータを受信する端末側受信手段と、
前記対象物抽出既存モデルについて、受信した前記少なくとも重みパラメータに置き換えて、対象物抽出新規モデルを生成する新規モデル生成手段として機能させるための端末プログラム。
【請求項13】
対象物を撮像した対象物動画から対象物を抽出する対象物抽出装置であって、
前記対象物動画の一部を、対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、
前記対象物動画の一部および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、
前記対象物抽出既存モデルを前記生成した学習データに基づいて追加学習し、対象物抽出新規モデルを生成する追加学習手段と、
前記対象物抽出新規モデルに基づいて、前記対象物動画の少なくとも一部以外の部分について、対象物を抽出する対象物抽出手段と、
を備えた対象物抽出装置。
前記対象物動画の一部を、対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、
前記対象物動画の一部および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、
前記対象物抽出既存モデルを前記生成した学習データに基づいて追加学習し、対象物抽出新規モデルを生成する追加学習手段と、
前記対象物抽出新規モデルに基づいて、前記対象物動画の少なくとも一部以外の部分について、対象物を抽出する対象物抽出手段と、
を備えた対象物抽出装置。
【請求項14】
対象物を撮像した対象物動画から対象物を抽出する対象物抽出装置をコンピュータによって実現するための対象物抽出プログラムであって、コンピュータを、
前記対象物動画の一部を、対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、
前記対象物動画の一部および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、
前記対象物抽出既存モデルを前記生成した学習データに基づいて追加学習し、対象物抽出新規モデルを生成する追加学習手段と、
前記対象物抽出新規モデルに基づいて、前記対象物動画の少なくとも一部以外の部分について、対象物を抽出する対象物抽出手段として機能させるための対象物抽出プログラム。
前記対象物動画の一部を、対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、
前記対象物動画の一部および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、
前記対象物抽出既存モデルを前記生成した学習データに基づいて追加学習し、対象物抽出新規モデルを生成する追加学習手段と、
前記対象物抽出新規モデルに基づいて、前記対象物動画の少なくとも一部以外の部分について、対象物を抽出する対象物抽出手段として機能させるための対象物抽出プログラム。
【請求項15】
新規モデル生成サーバ装置と、当該新規モデル生成サーバ装置と通信可能に構成された端末装置とを備え、背景中に少なくとも一つの対象物を有する対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに基づいて、前記背景とは異なる背景中に少なくとも一つの対象物を有する異背景対象物画像から対象物を抽出することのできる新規モデル生成システムであって、
前記新規モデル生成サーバ装置は、
前記端末装置から送信されてきた前記異背景対象物画像を受信するサーバ側受信手段と、
受信した異背景対象物画像に基づいて追加学習データを生成する追加学習データ生成手段と、
当該追加学習データによって、前記対象物抽出既存モデルを追加学習して対象物抽出新規モデルを生成する追加学習手段と、
生成された対象物抽出新規モデルもしくはそのパラメータを前記端末装置に送信するサーバ側送信手段と、
前記対象物抽出新規モデルを、対象物抽出既存モデルとして記録するモデル更新手段と、を備え、
前記端末装置は、
前記異背景対象物画像を前記新規モデル生成サーバ装置に送信する端末側送信手段と、
前記サーバ装置から送信されてきた前記対象物抽出新規モデルまたはそのパラメータを受信する端末側受信手段と、
を備えた新規モデル生成システム。
前記新規モデル生成サーバ装置は、
前記端末装置から送信されてきた前記異背景対象物画像を受信するサーバ側受信手段と、
受信した異背景対象物画像に基づいて追加学習データを生成する追加学習データ生成手段と、
当該追加学習データによって、前記対象物抽出既存モデルを追加学習して対象物抽出新規モデルを生成する追加学習手段と、
生成された対象物抽出新規モデルもしくはそのパラメータを前記端末装置に送信するサーバ側送信手段と、
前記対象物抽出新規モデルを、対象物抽出既存モデルとして記録するモデル更新手段と、を備え、
前記端末装置は、
前記異背景対象物画像を前記新規モデル生成サーバ装置に送信する端末側送信手段と、
前記サーバ装置から送信されてきた前記対象物抽出新規モデルまたはそのパラメータを受信する端末側受信手段と、
を備えた新規モデル生成システム。
【請求項16】
背景中に少なくとも一つの対象物を有する対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに基づいて、前記背景とは異なる背景中に少なくとも一つの対象物を有する異背景対象物画像から対象物を抽出することのできる対象物抽出新規モデルを生成するための新規モデル生成サーバ装置であって、
前記端末装置から送信されてきた前記異背景対象物画像を受信するサーバ側受信手段と、
受信した異背景対象物画像に基づいて追加学習データを生成する追加学習データ生成手段と、
当該追加学習データによって、前記対象物抽出既存モデルを追加学習して対象物抽出新規モデルを生成する追加学習手段と、
生成された対象物抽出新規モデルもしくはそのパラメータを前記端末装置に送信するサーバ側送信手段と、
前記対象物抽出新規モデルを、対象物抽出既存モデルとして記録するモデル更新手段と、
を備えた新規モデル生成サーバ装置。
前記端末装置から送信されてきた前記異背景対象物画像を受信するサーバ側受信手段と、
受信した異背景対象物画像に基づいて追加学習データを生成する追加学習データ生成手段と、
当該追加学習データによって、前記対象物抽出既存モデルを追加学習して対象物抽出新規モデルを生成する追加学習手段と、
生成された対象物抽出新規モデルもしくはそのパラメータを前記端末装置に送信するサーバ側送信手段と、
前記対象物抽出新規モデルを、対象物抽出既存モデルとして記録するモデル更新手段と、
を備えた新規モデル生成サーバ装置。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、画像中から対象物を抽出する技術に関するものである。
【背景技術】
【0002】
ＣＮＮ（コンボリューショナル・ニューラル・ネットワーク）などのニューラルネットワークを学習させることにより、画像中から人物などの対象物を抽出することが行われている。
【0003】
たとえば、YOLO(You Only Look Once)のような物体検出モデルによって、撮像画像に映し出された対象物を認識し、バウンダリーボックスにて当該対象物を囲って出力することができる。
【0004】
このような物体検出モデルを用いることにより、たとえば、フィールドを動き回る選手を撮像した画像から選手を抽出したり、公道を通過する自動車を撮像した画像から自動車を抽出したりして、選手の動きや自動車の動きを解析するためのデータを生成することができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２０－１６０８０４
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、このようなモデルを精度よく動作させるためには、十分な学習を行うことが必要である。すなわち、大量の学習データを用意しなければならないという問題があった。
【0007】
上記のような物体検出モデルにおいては、映し出されたものが背景であるのか対象物であるのかの推定を行っている。特定の背景を有する画像によって学習したモデルでは、当該背景中に対象物が存在する画像について、高精度で対象物を抽出することができる。しかし、異なる背景中に対象物が存在する画像については、高い精度を期待することはできなかった。高精度の抽出を行うのであれば、当該異なる背景中に対象物が存在する画像による学習データを生成して学習を行う必要があり、手間がかかっていた。
【0008】
この発明は、上記のような問題点を解決して、学習が容易な対象物検出装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
この発明の独立して適用可能な特徴を以下に列挙する。
【0010】
(1)(2)(3)(4)この発明に係る新規モデル生成装置は、背景中に少なくとも一つの対象物を有する対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに基づいて、前記背景とは異なる背景中に少なくとも一つの対象物を有する異背景対象物画像から対象物を抽出することのできる対象物抽出新規モデルを生成する装置であって、前記異背景対象物画像を、前記対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、前記対象物抽出既存モデルを前記生成した学習データに基づいて追加学習し、対象物抽出新規モデルを生成する追加学習手段とを備えている。
【0011】
したがって、所望の背景によって撮像した対象物を精度よく抽出することのできるモデルを容易に作成することができる。
【0012】
(5)この発明に係る新規モデル生成装置は、前記新規モデル生成装置または前記学習データ生成装置が、ネットワークを介して端末装置からアクセス可能なサーバ装置として構成されていることを特徴としている。
【0013】
したがって、端末装置からアクセスすることで、新規モデルを得ることができる。
【0014】
(6)この発明に係る新規モデル生成装置は、学習データ生成手段が、前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報を取得する取得手段と、前記異背景対象物画像に対し背景差分法によって背景ではない非背景部を抽出する非背景抽出手段と、前記抽出対象物取得手段によって抽出された対象物のうち、対応する前記非背景部がない対象物の情報を学習データから排除する誤検出対応手段とを備えている。
【0015】
したがって、既存モデルによる誤判定に対応して、より適切な学習データを生成することができる。
【0016】
(7)この発明に係る新規モデル生成装置は、学習データ生成手段が、前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報を取得する取得手段と、前記異背景対象物画像に対し背景差分法によって背景ではない非背景部を抽出する非背景抽出手段と、前記非背景部に対応して、前記対象物が抽出対象物取得手段によって抽出されない領域があれば、前記異背景対象物画像中の当該領域を無特徴化した画像にして学習データとする検出漏対応手段とを備えている。
【0017】
したがって、既存モデルによる誤判定に対応して、より適切な学習データを生成することができる。
【0018】
(8)この発明に係る新規モデル生成装置は、対象物が、運動選手、歩行者、自動車、動物、ボールのいずれか一つを含む移動物であることを特徴としている。
【0019】
したがって、これらを対象物として新規モデルを生成することができる。
【0020】
(9)-(12)この発明に係る新規モデル生成システムは、新規モデル生成サーバ装置と、当該新規モデル生成サーバ装置と通信可能に構成された端末装置とを備え、背景中に少なくとも一つの対象物を有する対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに基づいて、前記背景とは異なる背景中に少なくとも一つの対象物を有する異背景対象物画像から対象物を抽出することのできる新規モデル生成システムであって、
前記新規モデル生成サーバ装置は、前記端末装置から送信されてきた前記異背景対象物画像および前記対象物抽出既存モデルの少なくとも重みパラメータを受信するサーバ側受信手段と、前記異背景対象物画像を、前記対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、当該学習データによって、前記対象物抽出既存モデルの少なくとも重みパラメータを追加学習して対象物抽出新規モデルの少なくとも重みパラメータを生成する追加学習手段と、生成された対象物抽出新規モデルの少なくとも重みパラメータを前記端末装置に送信するサーバ側送信手段と、を備え、
前記端末装置は、記録されている前記対象物抽出既存モデルの少なくとも重みパラメータを取得する取得手段と、前記異背景対象物画像および前記対象物抽出既存モデルの少なくとも重みパラメータを前記新規モデル生成サーバ装置に送信する端末側送信手段と、前記サーバ装置から送信されてきた前記対象物抽出新規モデルの少なくとも重みパラメータを受信する端末側受信手段と、前記対象物抽出既存モデルについて、受信した前記少なくとも重みパラメータに置き換えて、対象物抽出新規モデルを生成する新規モデル生成手段とを備えている。
前記新規モデル生成サーバ装置は、前記端末装置から送信されてきた前記異背景対象物画像および前記対象物抽出既存モデルの少なくとも重みパラメータを受信するサーバ側受信手段と、前記異背景対象物画像を、前記対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、前記異背景対象物画像および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、当該学習データによって、前記対象物抽出既存モデルの少なくとも重みパラメータを追加学習して対象物抽出新規モデルの少なくとも重みパラメータを生成する追加学習手段と、生成された対象物抽出新規モデルの少なくとも重みパラメータを前記端末装置に送信するサーバ側送信手段と、を備え、
前記端末装置は、記録されている前記対象物抽出既存モデルの少なくとも重みパラメータを取得する取得手段と、前記異背景対象物画像および前記対象物抽出既存モデルの少なくとも重みパラメータを前記新規モデル生成サーバ装置に送信する端末側送信手段と、前記サーバ装置から送信されてきた前記対象物抽出新規モデルの少なくとも重みパラメータを受信する端末側受信手段と、前記対象物抽出既存モデルについて、受信した前記少なくとも重みパラメータに置き換えて、対象物抽出新規モデルを生成する新規モデル生成手段とを備えている。
【0021】
したがって、所望の背景によって撮像した対象物を精度よく抽出することのできるモデルを容易に作成することができる。
【0022】
(13)(14)この発明に係る対象物抽出装置は、対象物を撮像した対象物動画から対象物を抽出する対象物抽出装置であって、前記対象物動画の一部を、対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに与えて、抽出された対象物の情報を取得する抽出対象物取得手段と、前記対象物動画の一部および抽出対象物取得手段によって抽出された対象物の情報に基づいて学習データを生成する学習データ生成手段と、前記対象物抽出既存モデルを前記生成した学習データに基づいて追加学習し、対象物抽出新規モデルを生成する追加学習手段と、前記対象物抽出新規モデルに基づいて、前記対象物動画の少なくとも一部以外の部分について、対象物を抽出する対象物抽出手段とを備えている。
【0023】
したがって、学習データを自動的に生成して、対象物を抽出しようとする動画に適した対象物抽出新規モデルを形成し、精度良く対象物を抽出することができる。
【0024】
(15)(16)この発明に係る新規モデル生成システムは、新規モデル生成サーバ装置と、当該新規モデル生成サーバ装置と通信可能に構成された端末装置とを備え、背景中に少なくとも一つの対象物を有する対象物画像から対象物を抽出するように学習された対象物抽出既存モデルに基づいて、前記背景とは異なる背景中に少なくとも一つの対象物を有する異背景対象物画像から対象物を抽出することのできる新規モデル生成システムであって、
前記新規モデル生成サーバ装置は、前記端末装置から送信されてきた前記異背景対象物画像を受信するサーバ側受信手段と、受信した異背景対象物画像に基づいて追加学習データを生成する追加学習データ生成手段と、当該追加学習データによって、前記対象物抽出既存モデルを追加学習して対象物抽出新規モデルを生成する追加学習手段と、生成された対象物抽出新規モデルもしくはそのパラメータを前記端末装置に送信するサーバ側送信手段と、前記対象物抽出新規モデルを、対象物抽出既存モデルとして記録するモデル更新手段と、を備え、
前記端末装置は、前記異背景対象物画像を前記新規モデル生成サーバ装置に送信する端末側送信手段と、前記サーバ装置から送信されてきた前記対象物抽出新規モデルまたはそのパラメータを受信する端末側受信手段とを備えている。
前記新規モデル生成サーバ装置は、前記端末装置から送信されてきた前記異背景対象物画像を受信するサーバ側受信手段と、受信した異背景対象物画像に基づいて追加学習データを生成する追加学習データ生成手段と、当該追加学習データによって、前記対象物抽出既存モデルを追加学習して対象物抽出新規モデルを生成する追加学習手段と、生成された対象物抽出新規モデルもしくはそのパラメータを前記端末装置に送信するサーバ側送信手段と、前記対象物抽出新規モデルを、対象物抽出既存モデルとして記録するモデル更新手段と、を備え、
前記端末装置は、前記異背景対象物画像を前記新規モデル生成サーバ装置に送信する端末側送信手段と、前記サーバ装置から送信されてきた前記対象物抽出新規モデルまたはそのパラメータを受信する端末側受信手段とを備えている。
【0025】
したがって、サーバ装置に記録される既存モデルが使用されるたびに更新されて精度がよくなり、これに基づいて生成された新規モデルの精度が高くなる。
【0026】
「抽出対象物取得手段」は、実施形態においては、ステップＳ３がこれに対応する。
【0027】
「学習データ生成手段」は、実施形態においては、ステップＳ１０がこれに対応する。
【0028】
「サーバ側受信手段」は、実施形態においては、ステップＳ２１がこれに対応する。
【0029】
「追加学習手段」は、実施形態においては、ステップＳ１１がこれに対応する。
【0030】
「サーバ側送信手段」は、実施形態においては、ステップＳ２３がこれに対応する。
【0031】
「端末側受信手段」は、実施形態においては、ステップＳ５４がこれに対応する。
【0032】
「新規モデル生成手段」は、実施形態においては、ステップＳ５５がこれに対応する。
【0033】
「モデル更新手段」は、実施形態においては、ステップＳ２５がこれに対応する。
【0034】
「装置」とは、１台のコンピュータによって構成されるものだけでなく、ネットワークなどを介して接続された複数のコンピュータによって構成されるものも含む概念である。したがって、本発明の手段（あるいは手段の一部でもよい）が複数のコンピュータに分散されている場合、これら複数のコンピュータが装置に該当する。
【0035】
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【図面の簡単な説明】
【0036】
【図1】この発明の一実施形態による新規モデル生成装置の機能構成図である。
【図2】新規モデル生成装置のハードウエア構成である。
【図3】ＹＯＬＯモデルのアーキテクチャである。
【図4】新規モデル生成プログラムのフローチャートである。
【図5】新規モデル生成プログラムのフローチャートである。
【図6】既存モデルの学習に用いたフレーム画像の例である。
【図7】異背景フレーム画像（異背景対象物画像）の例である。
【図10】既存モデルにて抽出できなかった選手の領域を無特徴化（黒塗り）した画像である。
【図11】第２の実施形態による新規モデル生成システムの機能構成図である。
【図12】新規モデル生成システムのシステム構成である。
【図13】新規パラメータ生成サーバ装置のハードウエア構成である。
【図14】端末プログラム、サーバプログラムのフローチャートである。
【図15】端末プログラム、サーバプログラムのフローチャートである。
【図16】第３の実施形態による対象物抽出装置の機能構成図である。
【図17】対象物抽出プログラムのフローチャートである。
【図18】対象物抽出プログラムのフローチャートである。
【図19】第４の実施形態による新規モデル生成システムの機能構成図である。
【図20】新規モデル生成システムのシステム構成である。
【図21】端末プログラム、サーバプログラムのフローチャートである。
【図22】端末プログラム、サーバプログラムのフローチャートである。
【発明を実施するための形態】
【0037】
１．第１の実施形態
1.1機能構成
図１に、この発明の一実施形態による新規モデル生成装置の機能構成を示す。対象物抽出既存モデル４は、背景中に一以上の対象物を有する対象物画像から、対象物を抽出するように学習されたニューラル・ネットワーク・モデルである。
1.1機能構成
図１に、この発明の一実施形態による新規モデル生成装置の機能構成を示す。対象物抽出既存モデル４は、背景中に一以上の対象物を有する対象物画像から、対象物を抽出するように学習されたニューラル・ネットワーク・モデルである。
【0038】
この実施形態による新規モデル生成装置は、この対象物抽出既存モデルに基づいて、異なる背景の対象物画像についても精度よく対象物を抽出することのできる対象物抽出新規モデルを得ることを目的としている。
【0039】
抽出対象物取得手段２は、異なる背景の対象物画像（異背景対象物画像）を取得する。これを、対象物抽出既存モデル４に与えて、対象物を抽出させて、抽出された対象物情報を得る。
【0040】
学習データ生成手段６は、異背景対象物画像と対象物情報に基づいて、学習データを生成する。追加学習手段６は、生成された学習データに基づいて、対象物抽出既存モデル４を追加学習する。
【0041】
このようにして、学習データを人手によって作成することなく、異背景対象物画像についても精度よく対象物を抽出することのできる対象物抽出新規モデルを生成することができる。
【0042】
1.2ハードウエア構成
図２に、新規モデル生成装置のハードウエア構成を示す。ＣＰＵ１０には、メモリ１２、ディスプレイ１４、ＳＳＤ１６、ＤＶＤ－ＲＯＭドライブ１８、キーボード／マウス２０、通信回路２２が接続されている。
図２に、新規モデル生成装置のハードウエア構成を示す。ＣＰＵ１０には、メモリ１２、ディスプレイ１４、ＳＳＤ１６、ＤＶＤ－ＲＯＭドライブ１８、キーボード／マウス２０、通信回路２２が接続されている。
【0043】
通信回路２２は、インターネットに接続するための回路である。ＳＳＤ１６には、オペレーティングシステム３０、新規モデル生成プログラム３２が記録されている。新規モデル生成プログラム３２は、オペレーティングシステム３０と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ－ＲＯＭ３６に記録されていたものを、ＤＶＤ－ＲＯＭドライブ１８を介してＳＳＤ１６にインストールしたものである。また、ＳＳＤ１６には、対象物抽出既存モデル３４も記録されている。
【0044】
1.3新規モデル生成処理
この実施形態では、物体検出モデルとしてＹＯＬＯを用いている。ＹＯＬＯのアーキテクチャを図３に示す。コンボリューション層、マックスプーリング層を複数層経た後、全結合層によって、検出した物体の領域を示す矩形の情報（たとえば、左上、右下の２点の座標）、物体のラベル（物体の種類）およびラベルの確度を出力するものである。
この実施形態では、物体検出モデルとしてＹＯＬＯを用いている。ＹＯＬＯのアーキテクチャを図３に示す。コンボリューション層、マックスプーリング層を複数層経た後、全結合層によって、検出した物体の領域を示す矩形の情報（たとえば、左上、右下の２点の座標）、物体のラベル（物体の種類）およびラベルの確度を出力するものである。
【0045】
この実施形態では、選手を検出対象とする物体としている。ＹＯＬＯでは、予め、人を含む様々な物体を区別して検出するように学習されたモデルが用意されている。この学習済モデルをベースとして、様々なフィールドを背景とした選手、様々なアングルにて撮像された選手などの学習データに基づいて、追加学習を行う。
【0046】
図６に、既存モデルの学習に用いる学習データの例を示す。図６Ａに示すように、フィールド上の選手を撮像した動画像から、フレーム画像を所定枚数間隔で抽出し（たとえば、１０フレームごとに１枚のフレーム画像を間引いて抽出する）、人手によって選手の領域をバウンダリーボックスで囲う。これにより、フレーム画像と選手・コーチなどの位置を示すバウンダリーボックスの座標位置（左上と右下の座標）が記録される。これが、学習データとなる。多数のフレームについて上記の処理を行って学習データを得る。
【0047】
また、図６Ｂに示すように、異なるフィールドにおけるフレーム画像も学習データとして用意する。
【0048】
図６Ａや図６Ｂに示す学習データに基づいて、ＹＯＬＯモデルを学習する。これにより、基本となる選手検出の学習済モデル（選手検出の既存モデル）を得ることができる。なお、ＹＯＬＯの学習済モデルを用いることなく、上記の学習データにて未学習のＹＯＬＯモデルを学習するようにしてもよい。
【0049】
図４に、新規モデル生成プログラムのフローチャートを示す。ＣＰＵ１０は、上記の学習に用いた背景とは異なる背景にて撮像された選手の連続画像（フレーム画像）を取得する（ステップＳ１）。ここで、「異なる背景にて撮像された」とは、異なるフィールドで撮像された選手の画像や、同じフィールドで撮像され異なる撮像アングルにて撮像された選手の画像などをいうものである。
【0050】
たとえば、図７に示すようなフレーム画像を用いる。この実施形態においては、撮像した動画データからフレーム画像を間引いて抽出し（たとえば１０枚ごとに１枚のフレーム画像を取り出す）、ＣＰＵ１０はこれらを取得する。この実施形態では、数分程度の動画からフレーム画像を取り出すようにしている。
【0051】
次に、ＣＰＵ１０は、前記フレーム画像のうちの先頭の１枚を対象フレーム画像とし、以下の処理を行う。選手検出の学習済の既存モデル３４を用いて、対象フレーム画像について、選手の検出を行わせる。これにより、フレーム画像上における、選手やコーチなどを取り囲むバウンダリーボックスの座標（左上と右下の点の座標）を得ることができる。
【0052】
得られたバウンダリーボックスの下辺の中点の座標を求め、これが画像に写ったフィールドを囲う線４５の内側にあるか否かを判断する。内側であれば、フィールド内の選手であると判断できる。外側であれば、控え選手やコーチなどであると判断できるので、そのバウンダリーボックスを削除する。
【0053】
これを画像として表示すると、図８に示すように、検出した選手をバウンダリーボックスで囲ったフレーム画像となる。なお、フィールドを囲う線４５は、操作者がフレーム画像をディスプレイに表示しながら、マウスによって予め指定したものである。
【0054】
次に、ＣＰＵ１０は、対象フレーム画像について、背景差分法により背景以外の物体画像を抽出する（ステップＳ４）。なお、陰の無い時間帯の背景を用いて、陰のある時間帯の画像について背景差分を適用すると、陰を物体画像として抽出してしまうことになる。そこで、この実施形態では、混合正規分布による動的背景差分法（ＭＯＧ２）を用いて背景差分画像を得るようにしている。
【0055】
動的背景差分法は、対象フレームの前後所定フレーム（たとえば、前後１００フレーム）にわたって、各画素の代表値を算出し、これら代表値によって背景画像を生成している。したがって、陰のある時間帯であれば、陰も含めた背景画像が得られ、陰自体を物体として抽出することが無くなる。
【0056】
このようにして得られた物体画像の中には、選手ではない小さなノイズが含まれている。そこで、この実施形態では、図９に示すＹ方向に応じて選手の標準高さＨ（Ｙ軸方向の長さ）を決めておき（奥に行くほど選手が小さく映し出されるので）、この標準高さＨの１／３以下の高さしかない物体は、選手では無いとして削除している。
【0057】
また、画像として得られた物体を取り囲む矩形を生成し、その下辺の中点の座標が、フィールドを囲う線５４の内側にある物体のみを残すようにしている。これにより、フィールド内の選手の画像のみを得ることができる。図９に、図７の対象フレーム画像についての背景差分画像を示す。
【0058】
次に、ＣＰＵ１０は、既存の選手検出モデルにて検出された選手のバウンダリーボックスがあるにも拘わらず、対応する位置に、差分として検出された物体画像がない箇所を選択する（ステップＳ５）。たとえば、図８の選手検出画像においては、バウンダリーボックス４０として選手が検出されているが、図９の背景差分画像においては、対応する位置に物体が現れていない。したがって、ＣＰＵ１０は、このバウンダリーボックス４０を選択することになる。
【0059】
続いて、ＣＰＵ１０は、選択したバウンダリーボックス４０を削除する（ステップＳ６）。すなわち、選手としての検出がなかったものとする。背景差分画像に物体が現れていないにも拘わらず、選手として検出するということは、誤って検出した可能性が高い。したがって、これを学習データとして採用することは好ましくないためである。
【0060】
図８の例では、１箇所のバウンダリーボックス４０のみが該当したが、複数箇所のバウンダリーボックスが該当する場合には、これら全てのバウンダリーボックスを削除する。
【0061】
次に、ＣＰＵ１０は、図９の背景差分画像に物体があるにも拘わらず、図８の選手検出画像においてバウンダリーボックスが現れていない箇所を選択する（ステップＳ７）。たとえば、図９の背景差分画像においては物体（選手）５０が現れているが、図８の選手検出画像においては対応する位置にバウンダリーボックスが現れていない。したがって、ＣＰＵ１０は、選手５０を選択することになる。
【0062】
ＣＰＵ１０は、図１０に示すように、対象フレーム画像において選手５０を囲う選手領域６５（ここでは矩形領域であるが選手を囲う領域であればその他の形状でもよい）を設定し、この領域を黒塗りする（ステップＳ８）。すなわち、その領域には選手はいなかったものとする。背景差分画像において物体（選手）が現れているにも拘わらずこれを選手として検出できなかったのであるから、当該物体（選手）の画像が検出には適さない画像である可能性が高い。したがって、当該物体（選手）の画像を対象フレーム画像からなくすために、上記のように黒塗りにする。黒塗りにすることによって、その領域における画像的な特徴を無くすようにしている。
【0063】
なお、黒塗りでは無く、所定の色で一色に塗りつぶすようにしてもよい。また、物体（選手）の領域に背景画像を填め込むようにしてもよい。
【0064】
図１０の例では、１箇所の選手領域６５のみが該当したが、複数箇所の領域が該当する場合には、これら全ての領域を黒塗りする。
【0065】
以上のようにして、ステップＳ７、Ｓ８の処理を経た対象フレーム画像に、選手として検出されたバウンダリーボックス（ステップＳ６で削除されたものは除く）の座標情報を付加して、学習データとする。
【0066】
上記のように、対象フレーム画像に基づいて学習データを生成すると、ＣＰＵ１０は、次のフレームを対象フレームとして、ステップＳ３～Ｓ８の処理を繰り返す（ステップＳ２、Ｓ９）。全てのフレーム画像について処理を終えると、追加学習のための学習データが得られることになる（ステップＳ１０）。
【0067】
生成した学習データは、既存モデルの学習データの背景には含まれていなかった、新たな背景を有する。したがって、この学習データによって、既存モデルを追加学習することで、新たな背景についても精度よく判定を行うことのできるモデルを得ることができる。
【0068】
ＣＰＵ１０は、このようにして生成した学習データ用いて、既存モデル３４を追加学習する（ステップＳ１１）。これにより、新たな背景にも対応して精度よく選手を検出できる検出モデルを得ることができる。
【0069】
1.4その他
(1)上記実施形態では、選手のみを検出対象としている。しかし、選手に代えてあるいは選手に加えてボール、コーチ、控え選手などを検出対象としてもよい。
(1)上記実施形態では、選手のみを検出対象としている。しかし、選手に代えてあるいは選手に加えてボール、コーチ、控え選手などを検出対象としてもよい。
【0070】
また、選手だけでなく歩行者などの人物や自動車などの移動物全般に適用することができる。
【0071】
(2)上記実施形態では、競技エリア内の人物（選手）を検出対象としている。しかし、競技エリア外の人物（選手）も検出対象としてもよい。
【0072】
(3)上記実施形態では、生成した学習データを用いて所定の背景にて学習された既存モデルを追加学習している。しかし、生成した学習データを用いて未学習のモデル（あるいは、ＹＯＬＯにて提供されている学習済モデル）を学習するようにしてもよい。
【0073】
(4)上記実施形態では、フレーム画像を用いて学習データを生成している。しかし、フレーム画像以外の静止画像を用いて学習データを生成するようにしてもよい。
【0074】
(5)上記実施形態では、ステップＳ８において、対象フレーム画像の選手を黒塗りするようにしている。しかし、対象フレーム画像はそのままにして、当該選手を囲うようにバウンダリーボックスを追加するようにしてもよい。
【0075】
(6)この実施形態では、YOLO(You Only Look Onece)による物体検出のモデルを用いて、撮像画像から対象物（選手）の位置と領域を認識し、バウンダリーボックスにて対象物を囲って出力するようにしている。なお、YOLO以外の、SSD(Single Shot MultiBox Detector)、R-CNN(Regions with CNN features)などの物体検出(Object Detection)のアルゴリズムを用いてもよい。また、Mask R-CNNやYOLACTなどのインスタンス・セグメンテーション(Instande Segmentation)を用いてもよい。
【0076】
(7)上記変形例は、その本質に反しない限り、他の実施形態においても適用することができる。
【0077】
【0078】
端末装置８０には、所定の背景中に少なくとも一つの対象物を有する対象物画像に基づいて学習された、対象物抽出既存モデル８４が記録されている。この実施形態では、第１の実施形態と同じようにＹＯＬＯをモデルとして用いている。したがって、対象物抽出既存モデル８４は、ＹＯＬＯプログラム、ハイパーパラメーター（コンボリューションをいくつ用意するか、ニューラルネットワークの層の数、正規化の係数など）、各ノード間を結合する重みのパラメータを備えて構築されている。
【0079】
このシステムは、端末装置８０に記録されている対象物抽出既存モデル８４を、新たな背景の画像（異背景対象物画像）に対応して対象物を検出するように追加学習するシステムである。
【0080】
端末装置８０の取得手段８２は、対象物抽出既存モデル８４の重みパラメータを取得する。端末側送信手段８６は、この重みパラメータおよび異背景対象物画像８８をサーバ装置６０に送信する。この実施形態では、ハイパーパラメータは予め固定されたものを用いるようにしているので、サーバ装置６０には送信しない。
【0081】
サーバ側受信手段６２は、これを受信する。抽出対象物取得手段６４は、受信した重みパラメータに基づいて対象物既存モデル７０を構築し、これに受信した異背景対象物画像８８を与えて、対象物を検出させる。抽出対象物取得手段６４は、検出された対象物の情報（バウンダリーボックスの座標）を取得する。
【0082】
学習データ生成手段６６は、端末装置からの異背景対象物画像８８と検出された対象物の情報とに基づいて、学習データを生成する。追加学習手段８８は、対象物既存モデル７０を、生成した学習データにより追加学習し、新規重みパラメータ７２を得る。
【0083】
サーバ側送信手段７４は、新規重みパラメータ７２を端末装置に送信する。端末側受信手段９４は、新規重みパラメータ７２を受信する。新規モデル生成手段９０は、対象物抽出既存モデル８４の重みパラメータを、受信した新規重みパラメータに置き換えて、対象物抽出新規モデル９２を生成する。
【0084】
以上のようにして、端末装置８０の側から重みパラメータと異背景対象物画像をサーバ装置６０に送信することで、新規重みパラメータを得て、対象物抽出新規モデル９２を生成することができる。
【0085】
2.2システム構成・ハードウエア構成
図１２に、新規モデル生成システムのシステム構成を示す。パラメータ生成サーバ装置６０は、インターネット上のサーバ装置として構築されている。端末装置８０ａ、８０ｂ・・・８０ｘは、インターネットを介してパラメータ生成サーバ装置６０と通信可能である。
図１２に、新規モデル生成システムのシステム構成を示す。パラメータ生成サーバ装置６０は、インターネット上のサーバ装置として構築されている。端末装置８０ａ、８０ｂ・・・８０ｘは、インターネットを介してパラメータ生成サーバ装置６０と通信可能である。
【0086】
端末装置８０のハードウエア構成は、第１の実施形態において示した図２と同様である。ただし、ＳＳＤ１６には、新規モデル生成プログラム３２に代えて、端末プログラムが記録されている。
【0087】
図１３に、パラメータ生成サーバ装置６０のハードウエア構成を示す。ＣＰＵ１１０には、メモリ１１２、ＳＳＤ１１４、ＤＶＤ－ＲＯＭドライブ１１６、通信回路１１８が接続されている。通信回路１１８は、インターネットに接続するための回路である。
【0088】
ＳＳＤ１１４には、オペレーティングシステム１２０、サーバプログラム１２２、対象物抽出未学習モデル１２４が記録されている。これらプログラムは、ＤＶＤ－ＲＯＭ１２６に記録されていたものを、ＤＶＤ－ＲＯＭドライブ１１６を介してＳＳＤ１１４にインストールしたものである。なお、インターネットを介して他のサーバ装置からインストールしてもよい。
【0089】
【0090】
端末装置８０のＳＳＤ１６には、ＹＯＬＯなどによって構築された対象物抽出既存モデル３４が記録されている。この対象物抽出既存モデル３４は、第１の実施形態と同じように、様々な背景にて撮像された選手の画像（たとえば図６Ａや図６Ｂのような画像）にて学習されたものである。
【0091】
端末装置８０のＣＰＵ１０（以下、端末装置８０と省略することがある）は、上記の学習に用いた背景とは異なる背景にて撮像された選手の連続画像（フレーム画像）を取得する（ステップＳ５１）。ここで、「異なる背景にて撮像された」とは、異なるフィールドで撮像された選手の画像や、同じフィールドで撮像され異なる撮像アングルにて撮像された選手の画像などをいうものである。
【0092】
たとえば、図７に示すようなフレーム画像を用いる。この実施形態においては、撮像した動画データからフレーム画像を間引いて抽出し（たとえば１０枚ごとに１枚のフレーム画像を取り出す）、端末装置８０はこれらを取得する。この実施形態では、数分程度の動画からフレーム画像を取り出すようにしている。
【0093】
次に、端末装置８０は、ＳＳＤ１６に記録されている学習済の対象物抽出既存モデル３４の重みパラメータを取得する（ステップＳ５２）。続いて、端末装置８０は、ステップＳ５１において取得した異背景のフレーム画像群と、ステップＳ５２において取得した重みパラメータを、パラメータ生成サーバ装置６０に送信する（ステップＳ５３）。
【0094】
パラメータ生成サーバ装置６０のＣＰＵ１１０（以下、パラメータ生成サーバ装置６０と省略することがある）は、異背景のフレーム画像群および既存モデルの重みパラメータを受信する（ステップＳ２１）。続いて、パラメータ生成サーバ装置６０は、ＳＳＤ１１４に記録されている未学習の対象物抽出モデル１２４を読み出して、その未学習パラメータを、受信した既存モデルの重みパラメータで置き換えて、対象物抽出既存モデルを生成する（ステップＳ２２）。
【0095】
次に、パラメータ生成サーバ装置６０は、受信した異背景フレーム画像のうちの先頭の１枚を対象フレーム画像とし、以下の処理を行う。ステップＳ２２にて生成した対象物抽出既存モデルを用いて、対象フレーム画像について、選手の検出を行わせる（ステップＳ３）。これにより、フレーム画像上における、選手やコーチなどを取り囲むバウンダリーボックスの座標（左上と右下の点の座標）を得ることができる。第１の実施形態と同じようにして、フィールド内の選手のバウンダリーボックスのみを残す。これを画像として表示すると、図８に示すように、検出した選手をバウンダリーボックスで囲ったフレーム画像となる。
【0096】
次に、パラメータ生成サーバ装置６０は、対象フレーム画像について、背景差分法により背景以外の物体画像を抽出する（ステップＳ４）。第１の実施形態と同じように、混合正規分布による動的背景差分法（ＭＯＧ２）を用いて背景差分画像を得るようにしている。また、Ｙ軸方向の長さによって小さなノイズを削除する方法も第１の実施形態と同じである。さらに、第１の実施形態と同じようにして、図９に示すように、フィールド内の選手の画像のみを得るようにしている。
【0097】
次に、パラメータ生成サーバ装置６０は、既存の選手検出モデルにて検出された選手のバウンダリーボックスがあるにも拘わらず、対応する位置に、差分として検出された物体画像がない箇所を選択する（ステップＳ５）。たとえば、図８の選手検出画像においては、バウンダリーボックス４０として選手が検出されているが、図９の背景差分画像においては、対応する位置に物体が現れていない。したがって、パラメータ生成サーバ装置６０は、このバウンダリーボックス４０を選択することになる。
【0098】
続いて、パラメータ生成サーバ装置６０は、選択したバウンダリーボックス４０を削除する（ステップＳ６）。すなわち、選手としての検出がなかったものとする。背景差分画像に物体が現れていないにも拘わらず、選手として検出するということは、誤って検出した可能性が高い。したがって、これを学習データとして採用することは好ましくないためである。
【0099】
図８の例では、１箇所のバウンダリーボックス４０のみが該当したが、複数箇所のバウンダリーボックスが該当する場合には、これら全てのバウンダリーボックスを削除する。
【0100】
次に、パラメータ生成サーバ装置６０は、図９の背景差分画像に物体があるにも拘わらず、図８の選手検出画像においてバウンダリーボックスが現れていない箇所を選択する（ステップＳ７）。たとえば、図９の背景差分画像においては物体（選手）５０が現れているが、図８の選手検出画像においては対応する位置にバウンダリーボックスが現れていない。したがって、パラメータ生成サーバ装置６０は、選手５０を選択することになる。
【0101】
パラメータ生成サーバ装置６０は、図１０に示すように、対象フレーム画像において選手５０を囲う選手領域６５を設定し、この領域を黒塗りする（ステップＳ８）。すなわち、その領域には選手はいなかったものとする。背景差分画像において物体（選手）が現れているにも拘わらずこれを選手として検出できなかったのであるから、当該物体（選手）の画像が検出には適さない画像である可能性が高い。したがって、当該物体（選手）の画像を対象フレーム画像からなくすために、上記のように黒塗りにする。黒塗りにすることによって、その領域における画像的な特徴を無くすようにしている。
【0102】
なお、黒塗りでは無く、所定の色で一色に塗りつぶすようにしてもよい。また、物体（選手）の領域に背景画像を填め込むようにしてもよい。
【0103】
図１０の例では、１箇所の選手領域６５のみが該当したが、複数箇所の領域が該当する場合には、これら全ての領域を黒塗りする。
【0104】
以上のようにして、ステップＳ７、Ｓ８の処理を経た対象フレーム画像に、選手として検出されたバウンダリーボックス（ステップＳ６で削除されたものは除く）の座標情報を付加して、学習データとする。
【0105】
上記のように、対象フレーム画像に基づいて学習データを生成すると、パラメータ生成サーバ装置６０は、次のフレームを対象フレームとして、ステップＳ３～Ｓ８の処理を繰り返す（ステップＳ２、Ｓ９）。全てのフレーム画像について処理を終えると、追加学習のための学習データが得られることになる（ステップＳ１０）。
【0106】
生成した学習データは、既存モデルの学習データの背景には含まれていなかった、新たな背景を有する。したがって、この学習データによって、既存モデルを追加学習することで、新たな背景についても精度よく判定を行うことのできるモデルを得ることができる。
【0107】
パラメータ生成サーバ装置６０は、このようにして生成した学習データ用いて、ステップＳ２２にて生成した既存モデルを追加学習する（ステップＳ１１）。これにより、新たな背景にも対応して精度よく選手を検出できる検出モデルを得ることができる。
【0108】
パラメータ生成サーバ装置６０は、このようにして追加学習したモデルの重みパラメータを取得し、端末装置８０に送信する（ステップＳ２３）。
【0109】
端末装置８０は、パラメータ生成サーバ装置６０から送信されてきた重みパラメータを受信する（ステップＳ５４）。端末装置８０は、ＳＳＤ１６に記録されている対象物抽出既存モデル３４のパラメータを、受信した重みパラメータにて置き換えて、対象物抽出新規モデルを生成する（ステップＳ５５）。上記のようにして、端末装置８０から、既存モデルの重みパラメータ、異背景対象物画像を、パラメータ生成サーバ装置６０に送信することで、追加学習されたパラメータを得て、対象物抽出新規モデルを生成することができる。
【0110】
2.4その他
(1)上記実施形態では、既存モデルの重みパラメータを、端末装置８０からサーバ装置６０に送信するようにしている。しかし、重みパラメータだけでなく、ハイパーパラメータも送信するようにしてもよい。この場合、パラメータ生成サーバ装置６０は、重みパラメータだけでなくハイパーパラメータも追加学習し、端末装置８０に送信する。端末装置８０は、これを受けて、重みパラメータ、ハイパーパラメータに基づいて、対象物抽出新規モデルを生成する。
(1)上記実施形態では、既存モデルの重みパラメータを、端末装置８０からサーバ装置６０に送信するようにしている。しかし、重みパラメータだけでなく、ハイパーパラメータも送信するようにしてもよい。この場合、パラメータ生成サーバ装置６０は、重みパラメータだけでなくハイパーパラメータも追加学習し、端末装置８０に送信する。端末装置８０は、これを受けて、重みパラメータ、ハイパーパラメータに基づいて、対象物抽出新規モデルを生成する。
【0111】
(2)上記実施形態では、端末装置８０からサーバ装置６０に対して、重みパラメータを送信している。しかし、対象物抽出既存モデル全体をサーバ装置６０に送信し、サーバ装置６０において追加学習をして、対象物抽出新規モデルを返信してもらうようにしてもよい。
【0112】
(3)上記変形例は、その本質に反しない限り、他の実施形態においても適用することができる。
【0113】
【0114】
対象物抽出既存モデル４は、対象物動画を構成する各対象物画像（静止画）から、対象物を抽出するように学習されたニューラル・ネットワーク・モデルである。
【0115】
抽出対象物取得手段２は、対象物動画（対象物抽出既存モデル４の学習に用いた対象物動画とは異なるもの）の一部（たとえば開始数百フレームの動画）を取得する。これを、対象物抽出既存モデル４に与えて、対象物を抽出させて、抽出された対象物情報を得る。
【0116】
学習データ生成手段６は、対象物動画と対象物情報に基づいて、学習データを生成する。追加学習手段６は、生成された学習データに基づいて、対象物抽出既存モデル４を追加学習する。対象物抽出手段７は、対象物動画を対象物抽出新規モデル９に与えて、対象物動画から対象物を抽出する。
【0117】
このように、学習データを人手によって作成することなく、対象物を抽出しようとする対象物動画についても精度良く対象物を抽出することのできる対象物抽出新規モデル９を得て、対象物を抽出することができる。
【0118】
3.2ハードウエア構成
ハードウエア構成は、第１の実施形態と同様である。ただし、ＳＳＤ１６には、新規モデル生成プログラム３２に代えて、対象物抽出プログラムが記録されている。
ハードウエア構成は、第１の実施形態と同様である。ただし、ＳＳＤ１６には、新規モデル生成プログラム３２に代えて、対象物抽出プログラムが記録されている。
【0119】
3.3対象物抽出処理
図１７、図１８に、対象物抽出プログラムのフローチャートを示す。ＣＰＵ１０は、選手を抽出しようとする動画の開始から所定フレーム（たとえば１０００フレーム）を取得する（ステップＳ１）。選手を抽出しようとする動画は、当然ではあるが、既存モデル３４を学習する際に用いた動画とは異なる動画である（異なる背景の場合や背景が同じで選手が異なる場合などを含む）。
図１７、図１８に、対象物抽出プログラムのフローチャートを示す。ＣＰＵ１０は、選手を抽出しようとする動画の開始から所定フレーム（たとえば１０００フレーム）を取得する（ステップＳ１）。選手を抽出しようとする動画は、当然ではあるが、既存モデル３４を学習する際に用いた動画とは異なる動画である（異なる背景の場合や背景が同じで選手が異なる場合などを含む）。
【0120】
次に、ＣＰＵ１０は、前記フレーム画像のうちの先頭の１枚を対象フレーム画像とし、以下の処理を行う。選手検出の学習済の既存モデル３４を用いて、対象フレーム画像について、選手の検出を行わせる。これにより、フレーム画像上における、選手やコーチなどを取り囲むバウンダリーボックスの座標（左上と右下の点の座標）を得ることができる。
【0121】
得られたバウンダリーボックスの下辺の中点の座標を求め、これが画像に写ったフィールドを囲う線４５の内側にあるか否かを判断する。内側であれば、フィールド内の選手であると判断できる。外側であれば、控え選手やコーチなどであると判断できるので、そのバウンダリーボックスを削除する。
【0122】
これを画像として表示すると、図８に示すように、検出した選手をバウンダリーボックスで囲ったフレーム画像となる。なお、フィールドを囲う線４５は、操作者がフレーム画像をディスプレイに表示しながら、マウスによって予め指定したものである。
【0123】
次に、ＣＰＵ１０は、対象フレーム画像について、背景差分法により背景以外の物体画像を抽出する（ステップＳ４）。この処理は、第1の実施形態と同じである。
【0124】
次に、ＣＰＵ１０は、既存の選手検出モデルにて検出された選手のバウンダリーボックスがあるにも拘わらず、対応する位置に、差分として検出された物体画像がない箇所を選択する（ステップＳ５）。たとえば、図８の選手検出画像においては、バウンダリーボックス４０として選手が検出されているが、図９の背景差分画像においては、対応する位置に物体が現れていない。したがって、ＣＰＵ１０は、このバウンダリーボックス４０を選択することになる。
【0125】
続いて、ＣＰＵ１０は、選択したバウンダリーボックス４０を削除する（ステップＳ６）。すなわち、選手としての検出がなかったものとする。背景差分画像に物体が現れていないにも拘わらず、選手として検出するということは、誤って検出した可能性が高い。したがって、これを学習データとして採用することは好ましくないためである。
【0126】
図８の例では、１箇所のバウンダリーボックス４０のみが該当したが、複数箇所のバウンダリーボックスが該当する場合には、これら全てのバウンダリーボックスを削除する。
【0127】
次に、ＣＰＵ１０は、図９の背景差分画像に物体があるにも拘わらず、図８の選手検出画像においてバウンダリーボックスが現れていない箇所を選択する（ステップＳ７）。たとえば、図９の背景差分画像においては物体（選手）５０が現れているが、図８の選手検出画像においては対応する位置にバウンダリーボックスが現れていない。したがって、ＣＰＵ１０は、選手５０を選択することになる。
【0128】
ＣＰＵ１０は、図１０に示すように、対象フレーム画像において選手５０を囲う選手領域６５（ここでは矩形領域であるが選手を囲う領域であればその他の形状でもよい）を設定し、この領域を黒塗りする（ステップＳ８）。すなわち、その領域には選手はいなかったものとする。背景差分画像において物体（選手）が現れているにも拘わらずこれを選手として検出できなかったのであるから、当該物体（選手）の画像が検出には適さない画像である可能性が高い。したがって、当該物体（選手）の画像を対象フレーム画像からなくすために、上記のように黒塗りにする。黒塗りにすることによって、その領域における画像的な特徴を無くすようにしている。
【0129】
なお、黒塗りでは無く、所定の色で一色に塗りつぶすようにしてもよい。また、物体（選手）の領域に背景画像を填め込むようにしてもよい。
【0130】
図１０の例では、１箇所の選手領域６５のみが該当したが、複数箇所の領域が該当する場合には、これら全ての領域を黒塗りする。
【0131】
以上のようにして、ステップＳ７、Ｓ８の処理を経た対象フレーム画像に、選手として検出されたバウンダリーボックス（ステップＳ６で削除されたものは除く）の座標情報を付加して、学習データとする。
【0132】
上記のように、対象フレーム画像に基づいて学習データを生成すると、ＣＰＵ１０は、次のフレームを対象フレームとして、ステップＳ３～Ｓ８の処理を繰り返す（ステップＳ２、Ｓ９）。取得した全てのフレーム画像について処理を終えると、追加学習のための学習データが得られることになる（ステップＳ１０）。
【0133】
生成した学習データは、既存モデルの学習データとは異なり、これから選手を抽出しようとする動画の一部を用いて生成したものである。したがって、この学習データによって、既存モデルを追加学習することで、新たな動画についても精度よく判定を行うことのできる新規モデルを得ることができる。
【0134】
ＣＰＵ１０は、このようにして生成した学習データ用いて、既存モデル３４を追加学習する（ステップＳ１１）。これにより、新たな動画にも対応して精度よく選手を検出できる新規モデルを得ることができる。
【0135】
次に、ＣＰＵ１０は、動画の全てのフレームを取得する（ステップＳ１２）。次に、上記で生成した新規モデルを用いて、動画の全フレームについて選手検出を行う（ステップＳ１４）。これにより、選手の追跡などを行うことができる。
【0136】
3.4その他
(1)上記実施形態では、動画の最初の部分のフレームを用いて学習データを生成している。しかし、動画の他の一部を用いて学習データを生成するようにしてもよい。
(1)上記実施形態では、動画の最初の部分のフレームを用いて学習データを生成している。しかし、動画の他の一部を用いて学習データを生成するようにしてもよい。
【0137】
(2)上記実施形態では、動画の全フレームについて新規モデルによって選手検出を行うようにしている。しかし、動画の一部については既存モデルによる選手検出結果（学習データ作成の際の検出結果）を用いて、他の部分については新規モデルによる選手検出結果を用いるようにしてもよい。
【0138】
(3)上記変形例は、その本質に反しない限り、他の実施形態においても適用することができる。
【0139】
４．第３の実施形態
4.1機能構成
図１９に、第４の実施形態による新規モデル生成システムの機能構成を示す。端末側送信手段８６は、対象物画像（先の実施形態における異背景対象物画像に対応する）を、新規モデル生成サーバ装置９０に送信する。サーバ側受信手段６２はこれを受信する。学習データ生成手段６６は、この対象物画像に基づいて追加学習のための学習データを生成する。追加学習手段６８は、対象物抽出既存モデル７０を、この学習データによって追加学習し、対象物抽出新規モデル７６を得る。
4.1機能構成
図１９に、第４の実施形態による新規モデル生成システムの機能構成を示す。端末側送信手段８６は、対象物画像（先の実施形態における異背景対象物画像に対応する）を、新規モデル生成サーバ装置９０に送信する。サーバ側受信手段６２はこれを受信する。学習データ生成手段６６は、この対象物画像に基づいて追加学習のための学習データを生成する。追加学習手段６８は、対象物抽出既存モデル７０を、この学習データによって追加学習し、対象物抽出新規モデル７６を得る。
【0140】
サーバ側送信手段７４は、生成された対象物抽出新規モデル７６を、端末装置８０に送信する。端末側受信手段９４は、この対象物抽出新規モデル７６を受信する。
【0141】
以上のようにして、任意の背景を持つ対象物画像について、精度よく対象物を抽出できるモデル７６を得ることができる。
【0142】
なお、更新手段７８は、生成された対象物抽出新規モデル７６を、対象物抽出既存モデル７０として更新する。これにより、次に、対象物画像が送られてきたときには、追加学習された対象物抽出モデルに基づいて、さらなる追加学習を行うことができる。よって、新規モデル生成サーバ装置９０の利用が増えるとともに、ベースとなる対象物抽出既存モデル７０の精度が高くなり、これを追加学習したモデルの精度も高くなる。
【0143】
4.2システム構成・ハードウエア構成
図２０に、新規モデル生成システムのシステム構成を示す。新規モデル生成サーバ装置９０は、インターネット上のサーバ装置として構築されている。端末装置８０ａ、８０ｂ・・・８０ｘは、インターネットを介して新規モデル生成サーバ装置９０と通信可能である。
図２０に、新規モデル生成システムのシステム構成を示す。新規モデル生成サーバ装置９０は、インターネット上のサーバ装置として構築されている。端末装置８０ａ、８０ｂ・・・８０ｘは、インターネットを介して新規モデル生成サーバ装置９０と通信可能である。
【0144】
端末装置８０のハードウエア構成は、第１の実施形態において示した図２と同様である。ただし、ＳＳＤ１６には、新規モデル生成プログラム３２に代えて、端末プログラムが記録されている。
【0145】
新規モデル生成サーバ装置９０のハードウエア構成は、第２の実施形態において示した図１３と同様である。ただし、ＳＳＤ１１４には、対象物抽出未学習モデル１２４に代えて、対象物抽出既存モデル７６が記録されている。
【0146】
【0147】
新規モデル生成サーバ装置９０のＳＳＤ１１４には、ＹＯＬＯなどによって構築された対象物抽出既存モデル３４が記録されている。この対象物抽出既存モデル３４は、第１の実施形態と同じように、様々な背景にて撮像された選手の画像（たとえば図６Ａや図６Ｂのような画像）にて学習されたものである。
【0148】
端末装置８０は、上記の学習に用いた背景とは異なる背景にて撮像された選手の連続画像（フレーム画像）を取得する（ステップＳ５１）。
【0149】
端末装置８０は、操作者の操作を受けて、この異背景対象物画像（フレーム画像群）を新規モデル生成サーバ装置６０に送信する（ステップＳ５３）。新規モデル生成サーバ装置９０は、このフレーム画像群を受信する（ステップＳ２１）。
【0150】
次に、新規モデル生成サーバ装置９０は、受信した異背景フレーム画像のうちの先頭の１枚を対象フレーム画像とし、以下の処理を行う。記録されている対象物抽出既存モデルを用いて、対象フレーム画像について、選手の検出を行わせる（ステップＳ３）。これにより、フレーム画像上における、選手やコーチなどを取り囲むバウンダリーボックスの座標（左上と右下の点の座標）を得ることができる。第１の実施形態と同じようにして、フィールド内の選手のバウンダリーボックスのみを残す。これを画像として表示すると、図８に示すように、検出した選手をバウンダリーボックスで囲ったフレーム画像となる。
【0151】
次に、新規モデル生成サーバ装置９０は、対象フレーム画像について、背景差分法により背景以外の物体画像を抽出する（ステップＳ４）。第１の実施形態と同じように、混合正規分布による動的背景差分法（ＭＯＧ２）を用いて背景差分画像を得るようにしている。また、Ｙ軸方向の長さによって小さなノイズを削除する方法も第１の実施形態と同じである。さらに、第１の実施形態と同じようにして、図９に示すように、フィールド内の選手の画像のみを得るようにしている。
【0152】
次に、新規モデル生成サーバ装置９０は、既存の選手検出モデルにて検出された選手のバウンダリーボックスがあるにも拘わらず、対応する位置に、差分として検出された物体画像がない箇所を選択する（ステップＳ５）。たとえば、図８の選手検出画像においては、バウンダリーボックス４０として選手が検出されているが、図９の背景差分画像においては、対応する位置に物体が現れていない。したがって、新規モデル生成サーバ装置９０は、このバウンダリーボックス４０を選択することになる。
【0153】
続いて、新規モデル生成サーバ装置９０は、選択したバウンダリーボックス４０を削除する（ステップＳ６）。
【0154】
図８の例では、１箇所のバウンダリーボックス４０のみが該当したが、複数箇所のバウンダリーボックスが該当する場合には、これら全てのバウンダリーボックスを削除する。
【0155】
次に、新規モデル生成サーバ装置９０は、図９の背景差分画像に物体があるにも拘わらず、図８の選手検出画像においてバウンダリーボックスが現れていない箇所を選択する（ステップＳ７）。たとえば、図９の背景差分画像においては物体（選手）５０が現れているが、図８の選手検出画像においては対応する位置にバウンダリーボックスが現れていない。したがって、新規モデル生成サーバ装置９０は、選手５０を選択することになる。
【0156】
新規モデル生成サーバ装置９０は、図１０に示すように、対象フレーム画像において選手５０を囲う選手領域６５を設定し、この領域を黒塗りする（ステップＳ８）。すなわち、その領域には選手はいなかったものとする。
【0157】
図１０の例では、１箇所の選手領域６５のみが該当したが、複数箇所の領域が該当する場合には、これら全ての領域を黒塗りする。
【0158】
以上のようにして、ステップＳ７、Ｓ８の処理を経た対象フレーム画像に、選手として検出されたバウンダリーボックス（ステップＳ６で削除されたものは除く）の座標情報を付加して、学習データとする。
【0159】
上記のように、対象フレーム画像に基づいて学習データを生成すると、新規モデル生成サーバ装置９０は、次のフレームを対象フレームとして、ステップＳ３～Ｓ８の処理を繰り返す（ステップＳ２、Ｓ９）。全てのフレーム画像について処理を終えると、追加学習のための学習データが得られることになる（ステップＳ１０）。
【0160】
生成した学習データは、既存モデルの学習データの背景には含まれていなかった、新たな背景を有する。したがって、この学習データによって、既存モデルを追加学習することで、新たな背景についても精度よく判定を行うことのできるモデルを得ることができる。
【0161】
新規モデル生成サーバ装置９０は、記録されている既存モデルを追加学習する（ステップＳ１１）。これにより、新たな背景にも対応して精度よく選手を検出できる検出モデルを得ることができる。
【0162】
新規モデル生成サーバ装置９０は、このようにして既存モデルを追加学習して得られた新規モデルを、端末装置８０に送信する（ステップＳ２３）。
【0163】
端末装置８０は、新規モデル生成サーバ装置９０から送信されてきた新規モデルを受信する（ステップＳ５４）。端末装置８０は、この新規モデルをＳＳＤ１６に記録する。
【0164】
以上のようにして、所望の背景を有する対象物画像について、既存モデルをべースとして追加学習された新規モデルを得ることができる。
【0165】
4.4その他
(1)上記実施形態では、生成された新規モデルを端末装置８０に送信するようにしている。しかし、端末装置８０の側において基本となるモデル（未学習や既学習のモデル）があれば、新規モデルの重みパラメータのみを送信するようにしてもよい。端末装置８０の側にて、新規モデルを構築できるからである。
(1)上記実施形態では、生成された新規モデルを端末装置８０に送信するようにしている。しかし、端末装置８０の側において基本となるモデル（未学習や既学習のモデル）があれば、新規モデルの重みパラメータのみを送信するようにしてもよい。端末装置８０の側にて、新規モデルを構築できるからである。
【0166】
(2)上記実施形態では、重みパラメータを追加学習するようにしている。しかし、ハイパーパラメータも追加学習するようにしてもよい。
【0167】
(3)上記実施形態においては、追加学習データの生成、追加学習の方法は、第１、第２の実施形態と同様であるものとした。しかし、その他の、追加学習の方法を用いるようにしてもよい。たとえば、端末装置８０において生成した学習データをサーバ装置９０に送信して、追加学習を行うようにしてもよい。
【0168】
(4)上記変形例は、その本質に反しない限り、他の実施形態においても適用することができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
