知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024088190
(43)【公開日】2024-07-02
(54)【発明の名称】モデル生成装置、モデル生成方法およびプログラム
(51)【国際特許分類】
G06V 10/70 20220101AFI20240625BHJP
G06T 7/00 20170101ALI20240625BHJP
G06N 3/045 20230101ALI20240625BHJP
G06N 20/00 20190101ALI20240625BHJP
【ＦＩ】
G06V10/70
G06T7/00 350B
G06N3/045
G06N20/00 160
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022203246
(22)【出願日】2022-12-20
(71)【出願人】
【識別番号】000135771
【氏名又は名称】株式会社パスコ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100180806
【弁理士】
【氏名又は名称】三浦 剛
(74)【代理人】
【氏名又は名称】阿形 直起
(72)【発明者】
【氏名】大津 光巧
(72)【発明者】
【氏名】中村 翔
(72)【発明者】
【氏名】冨田 茂
(72)【発明者】
【氏名】洲濱 智幸
(72)【発明者】
【氏名】島崎 康信
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096BA03
5L096EA39
5L096GA26
5L096GA34
5L096GA51
5L096HA11
5L096JA11
5L096JA18
5L096KA04
5L096LA05
5L096MA07
(57)【要約】
【課題】異なる画素数の画像を用いて画像分類モデルを効率的に学習させることを可能とするモデル生成装置等を提供する。
【解決手段】モデル生成装置は、第１の画素数を有する第１画像を分割して生成された、それぞれが第１の画素数よりも小さい第２の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第１抽出器を含む第１学習モデルを、複数の分割画像が入力された場合に第１画像のクラスを出力するように学習させる第１学習部と、第１学習モデルを用いて、第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、第２画像が入力された場合に第２画像のクラスを出力するように学習させる第２学習部と、学習された第２学習モデルを出力する出力部と、を有する。
【選択図】図２
【解決手段】モデル生成装置は、第１の画素数を有する第１画像を分割して生成された、それぞれが第１の画素数よりも小さい第２の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第１抽出器を含む第１学習モデルを、複数の分割画像が入力された場合に第１画像のクラスを出力するように学習させる第１学習部と、第１学習モデルを用いて、第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、第２画像が入力された場合に第２画像のクラスを出力するように学習させる第２学習部と、学習された第２学習モデルを出力する出力部と、を有する。
【選択図】図２
【特許請求の範囲】
【請求項1】
第１の画素数を有する第１画像を分割して生成された、それぞれが前記第１の画素数よりも小さい第２の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第１抽出器を含む第１学習モデルを、前記複数の分割画像が入力された場合に前記第１画像のクラスを出力するように学習させる第１学習部と、
前記第１学習モデルを用いて、前記第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、前記第２画像が入力された場合に前記第２画像のクラスを出力するように学習させる第２学習部と、
前記学習された第２学習モデルを出力する出力部と、
を有することを特徴とするモデル生成装置。
前記第１学習モデルを用いて、前記第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、前記第２画像が入力された場合に前記第２画像のクラスを出力するように学習させる第２学習部と、
前記学習された第２学習モデルを出力する出力部と、
を有することを特徴とするモデル生成装置。
【請求項2】
前記第２学習部は、前記第１学習部により学習された第１抽出器のパラメータを前記第２抽出器の初期パラメータとして設定する、
請求項１に記載のモデル生成装置。
請求項１に記載のモデル生成装置。
【請求項3】
前記第１学習モデルは、前記複数の分割画像の特徴量を集約する集約器をさらに含み、
前記第２学習部は、入力された特徴量が前記集約器により集約された特徴量であるか否かを識別するように学習された識別器に、前記第２抽出器により抽出された特徴量が入力された場合に、前記第２抽出器により抽出された特徴量が前記集約器により集約された特徴量であると識別されるように前記第２抽出器を学習させる、
請求項１に記載のモデル生成装置。
前記第２学習部は、入力された特徴量が前記集約器により集約された特徴量であるか否かを識別するように学習された識別器に、前記第２抽出器により抽出された特徴量が入力された場合に、前記第２抽出器により抽出された特徴量が前記集約器により集約された特徴量であると識別されるように前記第２抽出器を学習させる、
請求項１に記載のモデル生成装置。
【請求項4】
前記第１学習モデルは、前記集約器により集約された特徴量に基づいて前記第１画像のクラスを出力する第１分類器をさらに含み、
前記第２学習モデルは、前記第２抽出器により抽出された特徴量に基づいて前記第２画像のクラスを出力する第２分類器をさらに含み、
前記第２学習部は、前記第１学習部により学習された第１分類器のパラメータを前記第２分類器の初期パラメータとして設定する、
請求項３に記載のモデル生成装置。
前記第２学習モデルは、前記第２抽出器により抽出された特徴量に基づいて前記第２画像のクラスを出力する第２分類器をさらに含み、
前記第２学習部は、前記第１学習部により学習された第１分類器のパラメータを前記第２分類器の初期パラメータとして設定する、
請求項３に記載のモデル生成装置。
【請求項5】
前記第２学習部は、前記集約器により集約された特徴量と前記第２抽出器により抽出された特徴量とを用いて前記識別器を学習させる第１学習と、前記第２画像を用いて前記第２抽出器を学習させる第２学習とを交互に実行する、
請求項３に記載のモデル生成装置。
請求項３に記載のモデル生成装置。
【請求項6】
前記第１画像および前記第２画像は、同一の受容野を有する画像である、
請求項１に記載のモデル生成装置。
請求項１に記載のモデル生成装置。
【請求項7】
モデル生成装置によって実行されるモデル生成方法であって、
第１の画素数を有する第１画像を分割して生成された、それぞれが前記第１の画素数よりも小さい第２の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第１抽出器を含む第１学習モデルを、前記複数の分割画像が入力された場合に前記第１画像のクラスを出力するように学習させ、
前記第１学習モデルを用いて、前記第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、前記第２画像が入力された場合に前記第２画像のクラスを出力するように学習させ、
前記学習された第２学習モデルを出力する、
ことを含むことを特徴とするモデル生成方法。
第１の画素数を有する第１画像を分割して生成された、それぞれが前記第１の画素数よりも小さい第２の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第１抽出器を含む第１学習モデルを、前記複数の分割画像が入力された場合に前記第１画像のクラスを出力するように学習させ、
前記第１学習モデルを用いて、前記第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、前記第２画像が入力された場合に前記第２画像のクラスを出力するように学習させ、
前記学習された第２学習モデルを出力する、
ことを含むことを特徴とするモデル生成方法。
【請求項8】
第１の画素数を有する第１画像を分割して生成された、それぞれが前記第１の画素数よりも小さい第２の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第１抽出器を含む第１学習モデルを、前記複数の分割画像が入力された場合に前記第１画像のクラスを出力するように学習させ、
前記第１学習モデルを用いて、前記第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、前記第２画像が入力された場合に前記第２画像のクラスを出力するように学習させ、
前記学習された第２学習モデルを出力する、
ことをコンピュータに実行させることを特徴とするプログラム。
前記第１学習モデルを用いて、前記第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、前記第２画像が入力された場合に前記第２画像のクラスを出力するように学習させ、
前記学習された第２学習モデルを出力する、
ことをコンピュータに実行させることを特徴とするプログラム。
【請求項9】
第１の画素数を有する第１画像の特徴量を抽出する第１抽出器を含む第１学習モデルを、前記第１画像が入力された場合に前記第１画像のクラスを出力するように学習させる第１学習部と、
前記第１学習モデルを用いて、前記第１の画素数よりも大きい第２の画素数を有する第２画像を分割して生成された、それぞれが前記第１の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第２抽出器を含む第２学習モデルを、前記複数の分割画像が入力された場合に前記第２画像のクラスを出力するように学習させる第２学習部と、
前記学習された第２学習モデルを出力する出力部と、
を有することを特徴とするモデル生成装置。
前記第１学習モデルを用いて、前記第１の画素数よりも大きい第２の画素数を有する第２画像を分割して生成された、それぞれが前記第１の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第２抽出器を含む第２学習モデルを、前記複数の分割画像が入力された場合に前記第２画像のクラスを出力するように学習させる第２学習部と、
前記学習された第２学習モデルを出力する出力部と、
を有することを特徴とするモデル生成装置。
【請求項10】
モデル生成装置によって実行されるモデル生成方法であって、
第１の画素数を有する第１画像の特徴量を抽出する第１抽出器を含む第１学習モデルを、前記第１画像が入力された場合に前記第１画像のクラスを出力するように学習させ、
前記第１学習モデルを用いて、前記第１の画素数よりも大きい第２の画素数を有する第２画像を分割して生成された、それぞれが前記第１の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第２抽出器を含む第２学習モデルを、前記複数の分割画像が入力された場合に前記第２画像のクラスを出力するように学習させ、
前記学習された第２学習モデルを出力する、
ことを含むことを特徴とするモデル生成方法。
第１の画素数を有する第１画像の特徴量を抽出する第１抽出器を含む第１学習モデルを、前記第１画像が入力された場合に前記第１画像のクラスを出力するように学習させ、
前記第１学習モデルを用いて、前記第１の画素数よりも大きい第２の画素数を有する第２画像を分割して生成された、それぞれが前記第１の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第２抽出器を含む第２学習モデルを、前記複数の分割画像が入力された場合に前記第２画像のクラスを出力するように学習させ、
前記学習された第２学習モデルを出力する、
ことを含むことを特徴とするモデル生成方法。
【請求項11】
第１の画素数を有する第１画像の特徴量を抽出する第１抽出器を含む第１学習モデルを、前記第１画像が入力された場合に前記第１画像のクラスを出力するように学習させ、
前記第１学習モデルを用いて、前記第１の画素数よりも大きい第２の画素数を有する第２画像を分割して生成された、それぞれが前記第１の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第２抽出器を含む第２学習モデルを、前記複数の分割画像が入力された場合に前記第２画像のクラスを出力するように学習させ、
前記学習された第２学習モデルを出力する、
ことをコンピュータに実行させることを特徴とするプログラム。
前記第１学習モデルを用いて、前記第１の画素数よりも大きい第２の画素数を有する第２画像を分割して生成された、それぞれが前記第１の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第２抽出器を含む第２学習モデルを、前記複数の分割画像が入力された場合に前記第２画像のクラスを出力するように学習させ、
前記学習された第２学習モデルを出力する、
ことをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、モデル生成装置、モデル生成方法およびプログラムに関する。
【背景技術】
【0002】
画像分類モデルを用いて、地上を撮影した衛星画像をその土地被覆の種類等に応じて分類する技術が注目されている。衛星画像の画像分類モデルを学習させるためには、同一の画素数を有する多数の衛星画像が教師データとして必要となるが、衛星ごとに空間分解能が異なる場合があるため、そのような衛星画像の収集は容易ではない。そこで、異なる画素数の画像を用いた学習を可能とすることが求められる。
【0003】
非特許文献１には、ＡＤＤＡ（Adversarial Discriminative Domain Adaptation）と呼ばれるドメイン適応手法が記載されている。ＡＤＤＡによれば、学習用データの分布と分類対象データの分布とが異なる場合でも、学習用データを用いて学習した結果を画像分類モデルの学習に利用することが可能となる。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Adversarial Discriminative Domain Adaptation, E. Tzeng, Judy Hoffman, Kate Saenko, and Trevor Darrell, Proceedings of IEEE conference on computer vision and pattern recognition, 2007
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、異なる画素数の画像からは異なるスケールの特徴量が抽出されるため、ＡＤＤＡを衛星画像の画像分類モデルに適用しても十分な効果が得られない場合がある。
【0006】
本発明は、上述の課題を解決するためになされたものであり、異なる画素数の画像を用いて学習モデルを効率的に学習させることを可能とするモデル生成装置、モデル生成方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の実施形態に係るモデル生成装置は、第１の画素数を有する第１画像を分割して生成された、それぞれが第１の画素数よりも小さい第２の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第１抽出器を含む第１学習モデルを、複数の分割画像が入力された場合に第１画像のクラスを出力するように学習させる第１学習部と、第１学習モデルを用いて、第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、第２画像が入力された場合に第２画像のクラスを出力するように学習させる第２学習部と、学習された第２学習モデルを出力する出力部と、を有することを特徴とする。
【0008】
また、第２学習部は、第１学習部により学習された第１抽出器のパラメータを第２抽出器の初期パラメータとして設定することが好ましい。
【0009】
また、第１学習モデルは、複数の分割画像の特徴量を集約する集約器をさらに含み、第２学習部は、入力された特徴量が集約器により集約された特徴量であるか否かを識別するように学習された識別器に、第２抽出器により抽出された特徴量が入力された場合に、第２抽出器により抽出された特徴量が集約器により集約された特徴量であると識別されるように第２抽出器を学習させることが好ましい。
【0010】
また、第１学習モデルは、集約器により集約された特徴量に基づいて第１画像のクラスを出力する第１分類器をさらに含み、第２学習モデルは、第２抽出器により抽出された特徴量に基づいて第２画像のクラスを出力する第２分類器をさらに含み、第２学習部は、第１学習部により学習された第１分類器のパラメータを第２分類器の初期パラメータとして設定することが好ましい。
【0011】
また、第２学習部は、集約器により集約された特徴量と第２抽出器により抽出された特徴量とを用いて識別器を学習させる第１学習と、第２画像を用いて第２抽出器を学習させる第２学習とを交互に実行することが好ましい。
【0012】
また、第１画像および第２画像は、同一の受容野を有する画像であることが好ましい。
【0013】
本発明の実施形態に係るモデル生成方法は、モデル生成装置によって実行されるモデル生成方法であって、第１の画素数を有する第１画像を分割して生成された、それぞれが第１の画素数よりも小さい第２の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第１抽出器を含む第１学習モデルを、複数の分割画像が入力された場合に第１画像のクラスを出力するように学習させ、第１学習モデルを用いて、第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、第２画像が入力された場合に第２画像のクラスを出力するように学習させ、学習された第２学習モデルを出力する、ことを含むことを特徴とする。
【0014】
本発明の実施形態に係るプログラムは、第１の画素数を有する第１画像を分割して生成された、それぞれが第１の画素数よりも小さい第２の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第１抽出器を含む第１学習モデルを、複数の分割画像が入力された場合に第１画像のクラスを出力するように学習させ、第１学習モデルを用いて、第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、第２画像が入力された場合に第２画像のクラスを出力するように学習させ、学習された第２学習モデルを出力する、ことをコンピュータに実行させることを特徴とする。
【0015】
本発明の実施形態に係るモデル生成装置は、第１の画素数を有する第１画像の特徴量を抽出する第１抽出器を含む第１学習モデルを、第１画像が入力された場合に第１画像のクラスを出力するように学習させる第１学習部と、第１学習モデルを用いて、第１の画素数よりも大きい第２の画素数を有する第２画像を分割して生成された、それぞれが第１の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第２抽出器を含む第２学習モデルを、複数の分割画像が入力された場合に第２画像のクラスを出力するように学習させる第２学習部と、学習された第２学習モデルを出力する出力部と、を有することを特徴とする。
【0016】
本発明の実施形態に係るモデル生成方法は、モデル生成装置によって実行されるモデル生成方法であって、第１の画素数を有する第１画像の特徴量を抽出する第１抽出器を含む第１学習モデルを、第１画像が入力された場合に第１画像のクラスを出力するように学習させ、第１学習モデルを用いて、第１の画素数よりも大きい第２の画素数を有する第２画像を分割して生成された、それぞれが第１の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第２抽出器を含む第２学習モデルを、複数の分割画像が入力された場合に第２画像のクラスを出力するように学習させ、学習された第２学習モデルを出力する、ことを含むことを特徴とする。
【0017】
本発明の実施形態に係るプログラムは、第１の画素数を有する第１画像の特徴量を抽出する第１抽出器を含む第１学習モデルを、第１画像が入力された場合に第１画像のクラスを出力するように学習させ、第１学習モデルを用いて、第１の画素数よりも大きい第２の画素数を有する第２画像を分割して生成された、それぞれが第１の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第２抽出器を含む第２学習モデルを、複数の分割画像が入力された場合に第２画像のクラスを出力するように学習させ、学習された第２学習モデルを出力する、ことをコンピュータに実行させることを特徴とする。
【発明の効果】
【0018】
本発明に係るモデル生成装置、モデル生成方法およびプログラムは、異なる画素数の画像を用いて学習モデルを効率的に学習させることを可能とする。
【図面の簡単な説明】
【0019】
【図1】画像分類システム１の機能ブロック図である。
【図2】学習モデルの例について説明するための模式図である。
【図3】第１モデル生成処理の流れの例を示すフロー図である。
【図4】第１事前学習処理の流れの例を示すフロー図である。
【図5】第１識別学習処理の流れの例を示すフロー図である。
【図6】抽出学習処理の流れの例を示すフロー図である。
【図7】学習モデルの例について説明するための模式図である。
【図8】第２モデル生成処理の流れの例を示すフロー図である。
【図9】第２事前学習処理の流れの例を示すフロー図である。
【図10】第２識別学習処理の流れの例を示すフロー図である。
【図11】抽出集約学習処理の流れの例を示すフロー図である。
【図12】画像分類処理の流れの例を示すフロー図である。
【発明を実施するための形態】
【0020】
以下、図面を参照しつつ、本発明の様々な実施形態について説明する。本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明及びその均等物に及ぶ点に留意されたい。
【0021】
図１は、本発明の実施形態に係る画像分類システム１の機能ブロック図である。画像分類システム１は、画像の分類モデルを学習させて学習済みモデルを生成するともに、生成された学習済みモデルを用いて画像を分類する。画像分類システム１は、モデル生成装置２および画像分類装置３を有する。モデル生成装置２および画像分類装置３は、ネットワークＮを介して相互に通信する。
【0022】
モデル生成装置２は、ＰＣ（Personal Computer）、サーバ、携帯電話機、スマートフォン、タブレット端末、ゲーム機等の情報処理端末である。モデル生成装置２は、第１の画素数の画像を用いて、第１の画素数とは異なる第２の画素数の画像の分類モデルを学習させ、学習済みモデルを出力する。モデル生成装置２は、記憶部２１、通信部２２および処理部２３を有する。
【0023】
記憶部２１は、プログラムおよびデータを記憶するための構成であり、例えば半導体メモリを備える。記憶部２１は、プログラムとして、処理部２３による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等を記憶する。プログラムは、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）等のコンピュータ読取可能かつ非一時的な可搬型記憶媒体から記憶部２１にインストールされる。
【0024】
通信部２２は、モデル生成装置２を他の装置と通信可能にする構成であり、通信インタフェース回路を備える。通信部２２が備える通信インタフェース回路は、有線ＬＡＮ（Local Area Network）又は無線ＬＡＮ等の通信インタフェース回路である。通信部２２は、データを他の装置から受信して処理部２３に供給するとともに、処理部２３から供給されたデータを他の装置に送信する。
【0025】
処理部２３は、モデル生成装置２の動作を統括的に制御する構成であり、一つまたは複数のプロセッサおよびその周辺回路を備える。処理部２３は、例えば、ＣＰＵ（Central Processing Unit）を備える。処理部２３は、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等を備えてもよい。処理部２３は、記憶部２１に記憶されているプログラムに基づいてモデル生成装置２の各種処理が適切な手順で実行されるように、各構成の動作を制御するとともに、各種の処理を実行する。
【0026】
処理部２３は、第１学習部２３１、第２学習部２３２および出力部２３３を機能ブロックとして有する。これらの各部は、処理部２３がプログラムを実行することによって実現される機能モジュールである。これらの各部は、ファームウェアとしてモデル生成装置２に実装されてもよい。
【0027】
モデル生成装置２は、大きい画素数を有する画像を用いて小さい画素数を有する画像の分類モデルを学習させる第１モデル生成処理、および小さい画素数を有する画像を用いて大きい画素数を有する画像の分類モデルを学習させる第２モデル生成処理のうちの少なくとも一方を実行する。
【0028】
画像分類装置３は、ＰＣ、サーバ、携帯電話機、スマートフォン、タブレット端末、ゲーム機等の情報処理端末である。画像分類装置３は、第１モデル生成処理または第２モデル生成処理を実行したモデル生成装置２によって生成された学習済みモデルを用いて画像を分類する。画像分類装置３は、記憶部３１、通信部３２および処理部３３を有する。
【0029】
記憶部３１は、プログラムおよびデータを記憶するための構成であり、例えば半導体メモリを備える。記憶部３１は、プログラムとして、処理部３３による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等を記憶する。プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読取可能かつ非一時的な可搬型記憶媒体から記憶部３１にインストールされる。
【0030】
通信部３２は、画像分類装置３を他の装置と通信可能にする構成であり、通信インタフェース回路を備える。通信部３２が備える通信インタフェース回路は、有線ＬＡＮ（Local Area Network）又は無線ＬＡＮ等の通信インタフェース回路である。通信部３２は、データを他の装置から受信して処理部３３に供給するとともに、処理部３３から供給されたデータを他の装置に送信する。
【0031】
処理部３３は、画像分類装置３の動作を統括的に制御する構成であり、一つまたは複数のプロセッサおよびその周辺回路を備える。処理部３３は、例えば、ＣＰＵを備える。処理部３３は、ＧＰＵ、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等を備えてもよい。処理部３３は、記憶部３１に記憶されているプログラムに基づいて画像分類装置３の各種処理が適切な手順で実行されるように、各構成の動作を制御するとともに、各種の処理を実行する。
【0032】
処理部３３は、取得部３３１、分類部３３２および出力部２３３を機能ブロックとして有する。これらの各部は、処理部３３がプログラムを実行することによって実現される機能モジュールである。これらの各部は、ファームウェアとして画像分類装置３に実装されてもよい。
【0033】
図２は、第１モデル生成処理を実行するモデル生成装置２の記憶部２１に記憶される学習モデルの例について説明するための模式図である。記憶部２１は、第１の画素数を有する第１画像ＩＭ１のクラスを出力する第１学習モデルＬＭ１、第１の画素数よりも小さい第２の画素数を有する第２画像ＩＭ２のクラスを出力する第２学習モデルＬＭ２、および識別器ＤＣを記憶する。画像のクラスは、例えば、樹木が枯死している領域が画像に含まれているか否かを示す２要素のone-hotベクトルである。第１画像および第２画像は、同一の広さの受容野を有する。すなわち、第１画像および第２画像が衛星画像である場合、第１画像および第２画像は同一の広さの地理的領域の状態を示す画像であり、第１画像の空間分解能が第２画像の空間分解能よりも高い。モデル生成装置２は、第１モデル生成処理において、第２学習モデルＬＭ２を学習させて出力する。
【0034】
第１学習モデルＬＭ１は、第１抽出器ＥＸ１、集約器ＡＧおよび第１分類器ＣＬ１を有する。第１抽出器ＥＸ１は、第１画像ＩＭ１を分割して生成された、第２の画素数を有する複数の分割画像ＳＧのそれぞれの特徴量を抽出する。第１抽出器ＥＸ１は、例えば畳み込みニューラルネットワークである。集約器ＡＧは、複数の分割画像ＳＧの特徴量を集約する。集約器ＡＧは、例えば複数の分割画像ＳＧのそれぞれの特徴量を重み付けして加算する。第１分類器ＣＬ１は、集約された特徴量に基づいて、複数の分割画像ＳＧの分割元である第１画像ＩＭ１のクラスを出力する。第１分類器ＣＬ１は、例えば人工ニューラルネットワークである。
【0035】
第２学習モデルＬＭ２は、第２抽出器ＥＸ２および第２分類器ＣＬ２を有し、第１学習モデルを用いて学習される。第２抽出器ＥＸ２は、第２画像ＩＭ２の特徴量を抽出する。第２抽出器ＥＸ２は、第１抽出器ＥＸ１のパラメータを転移可能なモデルであり、例えば第１抽出器ＥＸ１と同一の層構成を有する畳み込みニューラルネットワークである。第２分類器ＣＬ２は、抽出された特徴量に基づいて、第２画像ＩＭ２のクラスを出力する。第２分類器ＣＬ２は、第１分類器ＣＬ１のパラメータを転移可能なモデルであり、例えば第１分類器ＣＬ１と同一の層構成を有する人工ニューラルネットワークである。
【0036】
識別器ＤＣは、入力された特徴量が集約器ＡＧによって集約された複数の分割画像ＳＧの特徴量、および第２抽出器ＥＸ２によって抽出された第２画像ＩＭ２の特徴量のいずれであるかを識別して識別結果を出力する。識別器ＤＣは、例えば人工ニューラルネットワークである。識別結果は、例えば、特徴量が集約器ＡＧによって集約されたものであるか否かを示す２要素のone-hotベクトルである。
【0037】
図３は、モデル生成装置２によって実行される第１モデル生成処理の流れの例を示すフロー図である。第１モデル生成処理は、第１学習モデルＬＭ１を用いて第２学習モデルＬＭ２を学習させる処理である。第１モデル生成処理は、記憶部２１に記憶されたプログラムに基づいて、処理部２３がモデル生成装置２の他の構成と協働することにより実現される。
【0038】
最初に、第１学習部２３１は、複数の分割画像ＳＧが入力された場合に第１画像ＩＭ１のクラスを出力するように第１学習モデルＬＭ１の第１抽出器ＥＸ１、集約器ＡＧおよび第１分類器ＣＬ１を学習させる第１事前学習処理を実行する（ステップＳ１０１）。第１事前学習処理の詳細は後述する。
【0039】
次に、ステップＳ１０２－Ｓ１０５において、第２学習部２３２は、第１学習モデルを用いて、第２画像ＩＭ２が入力された場合に第２画像ＩＭ２のクラスを出力するように第２学習モデルＬＭ２を学習させる。
【0040】
まず、第２学習部２３２は、第２抽出器ＥＸ２および第２分類器ＣＬ２の初期パラメータを設定する（ステップＳ１０２）。第２学習部２３２は、第１事前学習処理において学習された第１抽出器ＥＸ１のパラメータを第２抽出器ＥＸ２の初期パラメータとして設定する。また、第２学習部２３２は、第１事前学習処理において学習された第１分類器ＣＬ１のパラメータを第２分類器ＣＬ２のパラメータとして設定する。
【0041】
次に、第２学習部２３２は、入力された特徴量が集約器ＡＧにより集約された特徴量であるか否かを識別するように識別器ＤＣを学習させる第１識別学習処理を実行する（ステップＳ１０３）。第１識別学習処理の詳細は後述する。
【0042】
次に、第２学習部２３２は、第２抽出器ＥＸ２を学習させる抽出学習処理を実行する（ステップＳ１０４）。第２抽出器ＥＸ２は、第２画像ＩＭ２が入力された場合に第２画像ＩＭ２の特徴量を抽出するとともに、抽出された特徴量が集約器ＡＧによって集約された特徴量であると識別器ＤＣが誤って識別するように学習される。抽出学習処理の詳細は後述する。
【0043】
次に、第２学習部２３２は、第２学習モデルＬＭ２の学習の終了条件が満たされたか否かを判定する（ステップＳ１０５）。終了条件は、例えば所定回数だけ第１識別学習処理および抽出学習処理が実行されたことである。終了条件は、第１識別学習処理または抽出学習処理におけるパラメータの変化量が閾値未満であることでもよい。終了条件は、上述した複数の条件のうちの少なくとも一つが満たされること、または全てが満たされることでもよい。
【0044】
終了条件が満たされていない場合（ステップＳ１０５－Ｎｏ）、第１モデル生成処理はステップＳ１０３に戻る。すなわち、第２学習部２３２は、第１識別学習処理と抽出学習処理とを交互に実行する。第１識別学習処理および抽出学習処理は、それぞれ第１学習および第２学習の一例である。なお、ステップＳ１０３より前にステップＳ１０４が実行されてもよい。
【0045】
終了条件が満たされた場合（ステップＳ１０５－Ｙｅｓ）、出力部２３３は学習された第２学習モデルＬＭ２を出力する（ステップＳ１０６）。例えば、出力部２３３は、通信部２２を介して、第２学習モデルを画像分類装置３に送信する。以上で、第１モデル生成処理が終了する。
【0046】
図４は、第１事前学習処理の流れの例を示すフロー図である。第１事前学習処理は、第１モデル生成処理のステップＳ１０１において実行される。
【0047】
最初に、第１学習部２３１は、教師データを取得する（ステップＳ２０１）。第１事前学習処理における教師データは、複数の第１画像ＩＭ１と各第１画像ＩＭ１のクラスとが関連付けられたデータである。第１学習部２３１は、あらかじめ記憶部２１に記憶された教師データを取得する。第１学習部２３１は、通信部２２を介して他の装置から教師データを取得してもよい。
【0048】
次に、第１学習部２３１は、取得した教師データに含まれる第１画像ＩＭ１を分割して、それぞれが第２の画素数を有する複数の分割画像ＳＧを生成する（ステップＳ２０２）。複数の分割画像ＳＧは、第１画像ＩＭ１の全ての画素に対応する画素が少なくとも一つの分割画像ＳＧに含まれるように生成される。すなわち、第１画像ＩＭ１の全ての領域が少なくとも一つの分割画像に含まれる。また、各分割画像ＳＧに対応する領域の一部は相互に重なっていてもよい。
【0049】
次に、第１学習部２３１は、第１抽出器ＥＸ１に各分割画像ＳＧを入力することにより、各分割画像ＳＧの特徴量を抽出する（ステップＳ２０３）。第１学習部２３１は、複数の分割画像ＳＧを第１抽出器ＥＸ１に入力し、第１抽出器ＥＸ１によって抽出された特徴量を取得する。第１学習部２３１は、複数の分割画像ＳＧと抽出された特徴量とを関連付ける。
【0050】
次に、第１学習部２３１は、抽出された複数の分割画像ＳＧの特徴量を集約器ＡＧに入力することにより集約する（ステップＳ２０４）。例えば、集約器ＡＧは、複数の分割画像ＳＧの特徴量を重み付けして加算することにより集約する。第１学習部２３１は、集約器ＡＧによって集約された特徴量を取得する。
【0051】
次に、第１学習部２３１は、集約された特徴量を第１分類器ＣＬ１に入力することにより第１画像ＩＭ１のクラスを出力する（ステップＳ２０５）。例えば、第１分類器ＣＬ１は、各要素の値が０以上１以下である２要素のベクトルをクラスとして出力する。第１分類器ＣＬ１は、要素の値が０以上１以下である１要素のベクトル（スカラー値）をクラスとして出力してもよい。
【0052】
次に、第１学習部２３１は、教師データに含まれる第１画像ＩＭ１のクラスと、第１分類器ＣＬ１から出力されたクラスとに基づいて、損失を算出する（ステップＳ２０６）。損失は、教師データに含まれる第１画像ＩＭ１のクラスと、第１分類器ＣＬ１から出力されたクラスとの間の差異の大きさを示す値であり、例えばクロスエントロピー誤差である。
【0053】
次に、第１学習部２３１は、第１学習モデルＬＭ１のパラメータを更新する（ステップＳ２０７）。第１学習部２３１は、第１学習モデルＬＭ１の第１抽出器ＥＸ１、集約器ＡＧおよび第１分類器ＣＬ１のうちの少なくとも一つのパラメータを更新する。パラメータは、ステップＳ２０６で算出される損失が小さくなるように更新される。パラメータは、例えば誤差逆伝搬法、および最急降下法または確率的勾配降下法等の勾配降下法によって更新される。
【0054】
次に、第１学習部２３１は、第１学習モデルＬＭ１の学習の終了条件が満たされているか否かを判定する（ステップＳ２０８）。終了条件は、例えばパラメータの更新が所定回数だけ行われたことである。終了条件は、パラメータの更新による変化量が閾値未満であることでもよい。終了条件は、上述した複数の条件のうちの少なくとも一つが満たされること、または全てが満たされることでもよい。
【0055】
終了条件が満たされていない場合（ステップＳ２０８－Ｎｏ）、第１事前学習処理はステップＳ２０１に戻り、第１学習部２３１は再び教師データを取得する。
【0056】
終了条件が満たされた場合（ステップＳ２０８－Ｙｅｓ）、第１事前学習処理が終了する。
【0057】
なお、上述した説明では、第１事前学習処理は一つの教師データが入力されるごとにパラメータが更新される、いわゆるオンライン学習の処理であるものとしたが、このような例に限られない。第１事前学習処理は、複数の教師データが入力されるごとにパラメータが更新される、いわゆるミニバッチ学習またはバッチ学習の処理でもよい。この場合、ステップＳ２０１－Ｓ２０５の処理がバッチサイズに相当する回数だけ繰り返された後にステップＳ２０６－Ｓ２０８の処理が実行される。
【0058】
図５は、第１識別学習処理の流れの例を示すフロー図である。第１識別学習処理は、第１モデル生成処理のステップＳ１０３において実行される。
【0059】
最初に、第２学習部２３２は、教師データを取得する（ステップＳ３０１）。第１識別学習処理における教師データは、特徴量とラベルとが関連付けられたデータである。ラベルは、特徴量が集約器ＡＧによって集約されたものであるか否かを示す要素と、第２抽出器ＥＸ２によって出力された特徴量であるか否かを示す要素とを含む２要素のベクトルである。
【0060】
教師データに含まれる特徴量は、第１学習モデルＬＭ１および第２学習モデルＬＭ２にそれぞれ第１画像ＩＭ１および第２画像ＩＭ２を入力することにより取得される。集約器ＡＧによって集約された特徴量は、第１事前学習処理によってパラメータが更新された第１抽出器ＥＸ１および集約器ＡＧを用いて取得される。第２抽出器ＥＸ２によって抽出された特徴量は、第１事前学習処理によって更新された第１抽出器ＥＸ１のパラメータを初期パラメータとして設定された第２抽出器ＥＸ２を用いて取得される。
【0061】
なお、特徴量を取得するために用いられる第１画像ＩＭ１は、第１事前学習処理において教師データに含まれる第１画像ＩＭ１と同一の画像でもよく、異なる画像でもよい。また、特徴量を取得するために用いられる第２画像ＩＭ２は、後述する抽出学習処理において教師データに含まれる第２画像ＩＭ２と同一の画像でもよく、異なる画像でもよい。
【0062】
次に、第２学習部２３２は、教師データに含まれる特徴量を識別器ＤＣに入力することにより、識別結果を出力する（ステップＳ３０２）。例えば、識別器ＤＣは、各要素の値が０以上１以下である２要素のベクトルを識別結果として出力する。
【0063】
次に、第２学習部２３２は、教師データに含まれるラベルと、識別器ＤＣから出力された識別結果とに基づいて、損失を算出する（ステップＳ３０３）。損失は、教師データに含まれるラベルと、識別器ＤＣから出力された識別結果との間の差異の大きさを示す値であり、例えばクロスエントロピー誤差である。
【0064】
次に、第２学習部２３２は、識別器ＤＣのパラメータを更新する（ステップＳ３０４）。パラメータは、ステップＳ３０３で算出される損失が小さくなるように更新される。パラメータは、例えば誤差逆伝搬法、および最急降下法または確率的勾配降下法等の勾配降下法によって更新される。
【0065】
次に、第２学習部２３２は、識別器ＤＣの学習の終了条件が満たされているか否かを判定する（ステップＳ３０５）。終了条件は、例えばパラメータの更新が所定回数だけ行われたことである。終了条件は、パラメータの更新による変化量が閾値未満であることでもよい。終了条件は、上述した複数の条件のうちの少なくとも一つが満たされること、または全てが満たされることでもよい。
【0066】
終了条件が満たされていない場合（ステップＳ３０５－Ｎｏ）、第１識別学習処理はステップＳ３０１に戻り、第２学習部２３２は再び教師データを取得する。
【0067】
終了条件が満たされた場合（ステップＳ３０５－Ｙｅｓ）、第１識別学習処理が終了する。
【0068】
なお、上述した説明では、第１識別学習処理はいわゆるオンライン学習の処理であるものとしたが、第１識別学習処理はいわゆるミニバッチ学習またはバッチ学習の処理でもよい。この場合、ステップＳ３０１－Ｓ３０２の処理がバッチサイズに相当する回数だけ繰り返された後にステップＳ３０３－Ｓ３０５の処理が実行される。
【0069】
図６は、抽出学習処理の流れの例を示すフロー図である。抽出学習処理は、第１モデル生成処理のステップＳ１０４において実行される。
【0070】
最初に、第２学習部２３２は、教師データを取得する（ステップＳ４０１）。抽出学習処理における教師データは、複数の第２画像ＩＭ２と各第２画像ＩＭ２のクラスとが関連付けられたデータである。第２学習部２３２は、あらかじめ記憶部２１に記憶された教師データを取得する。第２学習部２３２は、通信部２２を介して他の装置から教師データを取得してもよい。
【0071】
次に、第２学習部２３２は、第２抽出器ＥＸ２に第２画像ＩＭ２を入力することにより、第２画像ＩＭ２の特徴量を抽出する（ステップＳ４０２）。第２学習部２３２は、第２画像ＩＭ２を第２抽出器ＥＸ２に入力し、第２抽出器ＥＸ２によって抽出された特徴量を取得する。
【0072】
次に、第２学習部２３２は、抽出された特徴量を第２分類器ＣＬ２に入力することにより第２画像ＩＭ２のクラスを出力する（ステップＳ４０３）。例えば、第２分類器ＣＬ２は、各要素の値が０以上１以下である２要素のベクトルをクラスとして出力する。第２分類器ＣＬ２は、要素の値が０以上１以下である１要素のベクトル（スカラー値）をクラスとして出力してもよい。
【0073】
次に、第２学習部２３２は、抽出された特徴量を識別器ＤＣに入力することにより、識別結果を出力する（ステップＳ４０４）。例えば、識別器ＤＣは、各要素の値が０以上１以下である２要素のベクトルを識別結果として出力する。
【0074】
次に、第２学習部２３２は、教師データに含まれる第２画像ＩＭ２のクラス、第２分類器ＣＬ２から出力されたクラス、および識別器ＤＣから出力された識別結果に基づいて、損失を算出する（ステップＳ４０５）。損失は、第１損失および第２損失を含み、例えば第１損失および第２損失の重み付け和である。
【0075】
第１損失は、教師データに含まれる第２画像ＩＭ２のクラスと第２分類器ＣＬ２から出力されたクラスとの間の差異の大きさを示す値であり、例えばクロスエントロピー誤差である。第２損失は、識別器ＤＣから出力された識別結果の誤差が小さいほど大きくなる値である。抽出学習処理における特徴量は第２抽出器ＥＸ２によって抽出されたものであるため、集約器ＡＧによって集約された特徴量であることを示す識別結果についての第２損失は小さくなり、第２抽出器ＥＸ２によって抽出された特徴量であることを示す識別結果についての第２損失は大きくなる。すなわち、第２損失は、第２抽出器ＥＸ２が抽出した特徴量が識別器ＤＣをどの程度欺くことができているかを示す、いわゆる敵対損失である。第２損失は、例えばクロスエントロピー誤差の負値である。
【0076】
次に、第２学習部２３２は、第２抽出器ＥＸ２のパラメータを更新する（ステップＳ４０６）。パラメータは、ステップＳ４０５で算出される損失が小さくなるように更新される。パラメータは、例えば誤差逆伝搬法、および最急降下法または確率的勾配降下法等の勾配降下法によって更新される。
【0077】
次に、第２学習部２３２は、第２抽出器ＥＸ２の学習の終了条件が満たされているか否かを判定する（ステップＳ４０７）。終了条件は、例えばパラメータの更新が所定回数だけ行われたことである。終了条件は、パラメータの更新による変化量が閾値未満であることでもよい。終了条件は、上述した複数の条件のうちの少なくとも一つが満たされること、または全てが満たされることでもよい。
【0078】
終了条件が満たされていない場合（ステップＳ４０７－Ｎｏ）、抽出学習処理はステップＳ４０１に戻り、第２学習部２３２は再び教師データを取得する。
【0079】
終了条件が満たされた場合（ステップＳ４０７－Ｙｅｓ）、抽出学習処理が終了する。
【0080】
なお、上述した説明では、抽出学習処理はいわゆるオンライン学習の処理であるものとしたが、抽出学習処理はいわゆるミニバッチ学習またはバッチ学習の処理でもよい。この場合、ステップＳ４０１－Ｓ４０４の処理がバッチサイズに相当する回数だけ繰り返された後にステップＳ４０５－Ｓ４０７の処理が実行される。
【0081】
以上説明したように、モデル生成装置２は、第１学習モデルを、第１の画素数を有する第１画像を分割して生成された、それぞれが第２の画素数を有する複数の分割画像が入力された場合に第１画像のクラスを出力するように学習させる。また、モデル生成装置２は、第１学習モデルを用いて、第２学習モデルを、第２画像が入力された場合に第２画像のクラスを出力するように学習させる。第１画像を第２の画素数を有する複数の分割画像に分割して学習させることにより、第１学習モデルに含まれる第１抽出器と第２学習モデルに含まれる第２抽出器とに同一の構成の学習モデルを用いることができる。したがって、モデル生成装置２は、異なる画素数の画像を用いて画像分類モデルを効率的に学習させることを可能とする。
【0082】
また、モデル生成装置２は、学習された第１抽出器のパラメータを第２抽出器の初期パラメータとして設定する。これにより、モデル生成装置２は、第１抽出器のパラメータを第２抽出器に転移して、画像分類モデルをより効率的に学習させることを可能とする。
【0083】
また、モデル生成装置２は、集約器により集約された特徴量と第２抽出器により抽出された特徴量とを用いて識別器を学習させる識別学習処理と、第２画像を用いて第２抽出器を学習させる抽出学習処理とを交互に実行する。高い画素数を有する第１画像から抽出された特徴量は、低い画素数を有する第２画像から抽出された特徴量よりも画像の特徴を適切に反映していると考えられる。モデル生成装置２は、第２画像から抽出された特徴量が第１画像から抽出された特徴量に近づくように第２抽出器を学習させることにより、画像分類モデルの分類精度を高めることを可能とする。
【0084】
また、第１画像および第２画像は、同一の広さの受容野を有する。これにより、樹木が枯死している領域のように、画像を分類するときに着目すべき領域が同一のスケールで画像に表示されるようになるため、パラメータが転移された第２抽出器が第２画像から特徴量を適切に抽出できるようになる。第１画像および第２画像が同一の広さの受容野を有することにより、モデル生成装置２は第２抽出器の初期パラメータを適切に設定し、第２抽出器を効率的に学習させることを可能とする。
【0085】
図７は、第２モデル生成処理を実行するモデル生成装置２の記憶部２１に記憶される学習モデルの例について説明するための模式図である。記憶部２１は、第３の画素数を有する第３画像のクラスを出力する第３学習モデルＬＭ３、第３の画素数よりも大きい第４の画素数を有する第４画像のクラスを出力する第４学習モデルＬＭ４、および識別器ＤＣを記憶する。第３画像および第４画像は、同一の広さの受容野を有する。モデル生成装置２は、第２モデル生成処理において、第４学習モデルＬＭ４を学習させて出力する。
【0086】
第３学習モデルＬＭ３は、第３抽出器ＥＸ３および第３分類器ＣＬ３を有する。第３抽出器ＥＸ３は、第３画像ＩＭ３の特徴量を抽出する。第３抽出器ＥＸ３は、例えば畳み込みニューラルネットワークである。第３分類器ＣＬ３は、抽出された特徴量に基づいて、第３画像ＩＭ３のクラスを出力する。第３分類器ＣＬ３は、例えば人工ニューラルネットワークである。
【0087】
第４学習モデルＬＭ４は、第４抽出器ＥＸ４、集約器ＡＧおよび第４分類器ＣＬ４を有する。第４抽出器ＥＸ４は、第４画像ＩＭ４を分割して生成された、第３の画素数を有する複数の分割画像ＳＧのそれぞれの特徴量を抽出する。第４抽出器ＥＸ４は、第３抽出器ＥＸ３のパラメータを転移可能なモデルであり、例えば第３抽出器ＥＸ３と同一の層構成を有する畳み込みニューラルネットワークである。集約器ＡＧは、複数の分割画像ＳＧの特徴量を集約する。第４分類器ＣＬ４は、集約された特徴量に基づいて、複数の分割画像ＳＧの分割元である第４画像ＩＭ４のクラスを出力する。第４分類器ＣＬ４は、第３分類器ＣＬ３のパラメータを転移可能なモデルであり、例えば第３分類器ＣＬ３と同一の層構成を有する人工ニューラルネットワークである。
【0088】
識別器ＤＣは、入力された特徴量が第３抽出器ＥＸ３によって抽出された第３画像ＩＭ３の特徴量、および集約器ＡＧによって集約された複数の分割画像ＳＧの特徴量のいずれであるかを識別して識別結果を出力する。
【0089】
図８は、モデル生成装置２によって実行される第２モデル生成処理の流れの例を示すフロー図である。第２モデル生成処理は、第３学習モデルＬＭ３を用いて第４学習モデルＬＭ４を学習させる処理である。第２モデル生成処理は、記憶部２１に記憶されたプログラムに基づいて、処理部２３がモデル生成装置２の他の構成と協働することにより実現される。
【0090】
最初に、第１学習部２３１は、第３画像ＩＭ３が入力された場合に第３画像ＩＭ３のクラスを出力するように第３学習モデルＬＭ３の第３抽出器ＥＸ３および第３分類器ＣＬ３を学習させる第２事前学習処理を実行する（ステップＳ５０１）。第２事前学習処理の詳細は後述する。
【0091】
次に、ステップＳ５０２－Ｓ５０５において、第２学習部２３２は、第３学習モデルＬＭ３を用いて、第４画像ＩＭ４が入力された場合に第４画像ＩＭ４のクラスを出力するように第４学習モデルＬＭ４を学習させる。
【0092】
まず、第２学習部２３２は、第４抽出器ＥＸ４および第４分類器ＣＬ４の初期パラメータを設定する（ステップＳ５０２）。第２学習部２３２は、第２事前学習処理において学習された第３抽出器ＥＸ３のパラメータを第４抽出器ＥＸ４の初期パラメータとして設定する。また、第２学習部２３２は、第２事前学習処理において学習された第３分類器ＣＬ３のパラメータを第４分類器ＣＬ４のパラメータとして設定する。
【0093】
次に、第２学習部２３２は、入力された特徴量が第３抽出器ＥＸ３により抽出された特徴量であるか否かを識別するように識別器ＤＣを学習させる第２識別学習処理を実行する（ステップＳ５０３）。第２識別学習処理の詳細は後述する。
【0094】
次に、第２学習部２３２は、第４抽出器ＥＸ４および集約器ＡＧを学習させる抽出集約学習処理を実行する（ステップＳ５０４）。第４抽出器ＥＸ４および集約器ＡＧは、第４画像ＩＭ４の分割画像ＳＧが入力された場合に各分割画像ＳＧの特徴量を抽出して集約するとともに、集約された特徴量が第３抽出器ＥＸ３によって抽出された特徴量であると識別器ＤＣが誤って識別するように学習される。抽出集約学習処理の詳細は後述する。
【0095】
次に、第２学習部２３２は、第４学習モデルＬＭ４の学習の終了条件が満たされたか否かを判定する（ステップＳ５０５）。終了条件は、例えば所定回数だけ第２識別学習処理および抽出集約学習処理が実行されたことである。終了条件は、第２識別学習処理または抽出集約学習処理におけるパラメータの変化量が閾値未満であることでもよい。終了条件は、上述した複数の条件のうちの少なくとも一つが満たされること、または全てが満たされることでもよい。
【0096】
終了条件が満たされていない場合（ステップＳ５０５－Ｎｏ）、第２モデル生成処理はステップＳ５０３に戻る。すなわち、第２学習部２３２は、第２識別学習処理と抽出集約学習処理とを交互に実行する。第２識別学習処理および抽出集約学習処理は、それぞれ第１学習および第２学習の他の一例である。なお、ステップＳ５０３より前にステップＳ５０４が実行されてもよい。
【0097】
終了条件が満たされた場合（ステップＳ５０５－Ｙｅｓ）、出力部２３３は学習された第４学習モデルＬＭ４を出力する（ステップＳ５０６）。例えば、出力部２３３は、通信部２２を介して、第４学習モデルを画像分類装置３に送信する。以上で、第２モデル生成処理が終了する。
【0098】
図９は、第２事前学習処理の流れの例を示すフロー図である。第２事前学習処理は、第２モデル生成処理のステップＳ５０１において実行される。
【0099】
最初に、第１学習部２３１は、教師データを取得する（ステップＳ６０１）。第２事前学習処理における教師データは、複数の第３画像ＩＭ３と各第３画像ＩＭ３のクラスとが関連付けられたデータである。
【0100】
次に、第１学習部２３１は、第３抽出器ＥＸ３に第３画像ＩＭ３を入力することにより、第３画像ＩＭ３の特徴量を抽出する（ステップＳ６０２）。
【0101】
次に、第１学習部２３１は、抽出された特徴量を第３分類器ＣＬ３に入力することにより第３画像ＩＭ３のクラスを出力する（ステップＳ６０３）。例えば、第３分類器ＣＬ３は、各要素の値が０以上１以下である２要素のベクトルをクラスとして出力する。第３分類器ＣＬ３は、要素の値が０以上１以下である１要素のベクトル（スカラー値）をクラスとして出力してもよい。
【0102】
次に、第１学習部２３１は、教師データに含まれる第３画像ＩＭ３のクラスと、第３分類器ＣＬ３から出力されたクラスとに基づいて、損失を算出する（ステップＳ６０４）。損失は、教師データに含まれる第３画像ＩＭ３のクラスと、第３分類器ＣＬ３から出力されたクラスとの間の差異の大きさを示す値であり、例えばクロスエントロピー誤差である。
【0103】
次に、第１学習部２３１は、第３学習モデルＬＭ３のパラメータを更新する（ステップＳ６０５）。第１学習部２３１は、第３学習モデルＬＭ３の第３抽出器ＥＸ３および第３分類器ＣＬ３のうちの少なくとも一つのパラメータを更新する。パラメータは、ステップＳ６０４で算出される損失が小さくなるように更新される。パラメータは、例えば誤差逆伝搬法、および最急降下法または確率的勾配降下法等の勾配降下法によって更新される。
【0104】
次に、第１学習部２３１は、第３学習モデルＬＭ３の学習の終了条件が満たされているか否かを判定する（ステップＳ６０６）。終了条件は、例えばパラメータの更新が所定回数だけ行われたことである。終了条件は、パラメータの更新による変化量が閾値未満であることでもよい。終了条件は、上述した複数の条件のうちの少なくとも一つが満たされること、または全てが満たされることでもよい。
【0105】
終了条件が満たされていない場合（ステップＳ６０６－Ｎｏ）、第２事前学習処理はステップＳ６０１に戻り、第１学習部２３１は再び教師データを取得する。
【0106】
終了条件が満たされた場合（ステップＳ６０６－Ｙｅｓ）、第２事前学習処理が終了する。
【0107】
なお、上述した説明では、第２事前学習処理はいわゆるオンライン学習の処理であるものとしたが、第２事前学習処理はいわゆるミニバッチ学習またはバッチ学習の処理でもよい。この場合、ステップＳ６０１－Ｓ６０３の処理がバッチサイズに相当する回数だけ繰り返された後にステップＳ６０４－Ｓ６０５の処理が実行される。
【0108】
図１０は、第２識別学習処理の流れの例を示すフロー図である。第２識別学習処理は、第２モデル生成処理のステップＳ５０３において実行される。
【0109】
最初に、第２学習部２３２は、教師データを取得する（ステップＳ７０１）。第２識別学習処理における教師データは、特徴量とラベルとが関連付けられたデータである。第１識別学習処理における教師データは、特徴量とラベルとが関連付けられたデータである。ラベルは、特徴量が第３抽出器ＥＸ３によって集約されたものであるか否かを示す要素と、集約器ＡＧによって出力された特徴量であるか否かを示す要素とを含む２要素のベクトルである。
【0110】
教師データに含まれる特徴量は、第３学習モデルＬＭ３および第４学習モデルＬＭ４にそれぞれ第３画像ＩＭ３および第４画像ＩＭ４を入力することにより取得される。第３抽出器ＥＸ３によって抽出された特徴量は、第２事前学習処理によってパラメータが更新された第３抽出器ＥＸ３を用いて取得される。集約器ＡＧによって集約された特徴量は、第２事前学習処理によって更新された第３抽出器ＥＸ３のパラメータを初期パラメータとして設定された第４抽出器ＥＸ４および集約器ＡＧを用いて取得される。集約器ＡＧの初期パラメータは、既定値であってもよく、ランダムに設定されてもよい。
【0111】
なお、特徴量を取得するために用いられる第３画像ＩＭ３は、第２事前学習処理において教師データに含まれる第３画像ＩＭ３と同一の画像でもよく、異なる画像でもよい。また、特徴量を取得するために用いられる第４画像ＩＭ４は、後述する抽出集約学習処理において教師データに含まれる第４画像ＩＭ４と同一の画像でもよく、異なる画像でもよい。
【0112】
次に、第２学習部２３２は、教師データに含まれる特徴量を識別器ＤＣに入力することにより、識別結果を出力する（ステップＳ７０２）。例えば、識別器ＤＣは、各要素の値が０以上１以下である２要素のベクトルを識別結果として出力する。
【0113】
次に、第２学習部２３２は、教師データに含まれるラベルと、識別器ＤＣから出力された識別結果とに基づいて、損失を算出する（ステップＳ７０３）。損失は、教師データに含まれるラベルと、識別器ＤＣから出力された識別結果との間の差異の大きさを示す値であり、例えばクロスエントロピー誤差である。
【0114】
次に、第２学習部２３２は、識別器ＤＣのパラメータを更新する（ステップＳ７０４）。パラメータは、ステップＳ７０３で算出される損失が小さくなるように更新される。パラメータは、例えば誤差逆伝搬法、および最急降下法または確率的勾配降下法等の勾配降下法によって更新される。
【0115】
次に、第２学習部２３２は、識別器ＤＣの学習の終了条件が満たされているか否かを判定する（ステップＳ７０５）。終了条件は、例えばパラメータの更新が所定回数だけ行われたことである。終了条件は、パラメータの更新による変化量が閾値未満であることでもよい。終了条件は、上述した複数の条件のうちの少なくとも一つが満たされること、または全てが満たされることでもよい。
【0116】
終了条件が満たされていない場合（ステップＳ７０５－Ｎｏ）、第２識別学習処理はステップＳ７０１に戻り、第２学習部２３２は再び教師データを取得する。
【0117】
終了条件が満たされた場合（ステップＳ７０５－Ｙｅｓ）、第２識別学習処理が終了する。
【0118】
なお、上述した説明では、第２識別学習処理はいわゆるオンライン学習の処理であるものとしたが、第２識別学習処理はいわゆるミニバッチ学習またはバッチ学習の処理でもよい。この場合、ステップＳ７０１－Ｓ７０２の処理がバッチサイズに相当する回数だけ繰り返された後にステップＳ７０３－Ｓ７０５の処理が実行される。
【0119】
図１１は、抽出集約学習処理の流れの例を示すフロー図である。抽出集約学習処理は、第２モデル生成処理のステップＳ５０４において実行される。
【0120】
最初に、第２学習部２３２は、教師データを取得する（ステップＳ８０１）。抽出集約学習処理における教師データは、複数の第４画像ＩＭ４と各第４画像ＩＭ４のクラスとが関連付けられたデータである。
【0121】
次に、第２学習部２３２は、取得した教師データに含まれる第４画像ＩＭ４を分割して、それぞれが第３の画素数を有する複数の分割画像ＳＧを生成する（ステップＳ８０２）。
【0122】
次に、第２学習部２３２は、第４抽出器ＥＸ４に各分割画像ＳＧを入力することにより、各分割画像ＳＧの特徴量を抽出する（ステップＳ８０３）。第２学習部２３２は、複数の分割画像ＳＧと抽出された特徴量とを関連付けて記憶する。
【0123】
次に、第２学習部２３２は、抽出された複数の分割画像ＳＧの特徴量を集約器ＡＧに入力することにより集約する（ステップＳ８０４）。第２学習部２３２は、集約器ＡＧによって集約された特徴量を取得する。
【0124】
次に、第２学習部２３２は、集約された特徴量を第４分類器ＣＬ４に入力することにより第４画像ＩＭ４のクラスを出力する（ステップＳ８０５）。例えば、第４分類器ＣＬ４は、各要素の値が０以上１以下である２要素のベクトルをクラスとして出力する。第４分類器ＣＬ４は、要素の値が０以上１以下である１要素のベクトル（スカラー値）をクラスとして出力してもよい。
【0125】
次に、第２学習部２３２は、集約された特徴量を識別器ＤＣに入力することにより、識別結果を出力する（ステップＳ８０６）。
【0126】
次に、第２学習部２３２は、教師データに含まれる第４画像ＩＭ４のクラス、第４分類器ＣＬ４から出力されたクラス、および識別器ＤＣから出力された識別結果に基づいて、損失を算出する（ステップＳ８０７）。損失は、第３損失および第４損失を含み、例えば第３損失および第４損失の重み付け和である。
【0127】
第３損失は、教師データに含まれる第４画像ＩＭ４のクラスと第４分類器ＣＬ４から出力されたクラスとの間の差異の大きさを示す値であり、例えばクロスエントロピー誤差である。第４損失は、識別器ＤＣから出力された識別結果の誤差が小さいほど大きくなる値である。抽出集約学習処理における特徴量は集約器ＡＧによって集約されたものであるため、第３抽出器ＥＸ３によって抽出された特徴量であることを示す識別結果についての第４損失は小さくなり、集約器ＡＧによって集約された特徴量であることを示す識別結果についての第４損失は大きくなる。すなわち、第４損失は、集約器ＡＧが集約した特徴量が識別器ＤＣをどの程度欺くことができているかを示す、いわゆる敵対損失である。第４損失は、例えばクロスエントロピー誤差の負値である。
【0128】
次に、第２学習部２３２は、第４抽出器ＥＸ４および集約器ＡＧのうちの少なくとも一つのパラメータを更新する（ステップＳ８０８）。パラメータは、ステップＳ８０７で算出される損失が小さくなるように更新される。
【0129】
次に、第２学習部２３２は、第４学習モデルＬＭ４の学習の終了条件が満たされているか否かを判定する（ステップＳ８０９）。終了条件は、例えばパラメータの更新が所定回数だけ行われたことである。終了条件は、パラメータの更新による変化量が閾値未満であることでもよい。終了条件は、上述した複数の条件のうちの少なくとも一つが満たされること、または全てが満たされることでもよい。
【0130】
終了条件が満たされていない場合（ステップＳ８０９－Ｎｏ）、抽出集約学習処理はステップＳ８０１に戻り、第２学習部２３２は再び教師データを取得する。
【0131】
終了条件が満たされた場合（ステップＳ８０９－Ｙｅｓ）、抽出集約学習処理が終了する。
【0132】
なお、上述した説明では、抽出集約処理はいわゆるオンライン学習の処理であるものとしたが、このような例に限られない。抽出集約学習処理は、いわゆるミニバッチ学習またはバッチ学習の処理でもよい。この場合、ステップＳ８０１－Ｓ８０６の処理がバッチサイズに相当する回数だけ繰り返された後にステップＳ８０７－Ｓ８０９の処理が実行される。
【0133】
以上説明したように、モデル生成装置２は、第３学習モデルを、第３画像が入力された場合に第３画像のクラスを出力するように学習させる。また、モデル生成装置２は、第３学習モデルを用いて、第４学習モデルを、第４の画素数を有する第４画像を分割して生成された、それぞれが第３の画素数を有する複数の分割画像が入力された場合に第４画像のクラスを出力するように学習させる。第４画像を第３の画素数を有する複数の分割画像に分割して学習させることにより、第３学習モデルに含まれる第３抽出器と第３学習モデルに含まれる第２抽出器とに同一の構成の学習モデルを用いることができる。したがって、モデル生成装置２は、異なる画素数の画像を用いて画像分類モデルを効率的に学習させることを可能とする。
【0134】
図１２は、画像分類装置３によって実行される画像分類処理の流れの例を示すフロー図である。画像分類処理は、第１モデル生成処理において出力された第２学習モデルまたは第２モデル生成処理において出力された第４学習モデルを用いて、画像分類装置３が画像を分類する処理である。画像分類処理は、第２学習モデルまたは第４学習モデルが記憶部３１に記憶された状態で実行される。画像分類処理は、記憶部３１に記憶されたプログラムに基づいて、処理部３３が画像分類装置３の他の構成と協働することにより実現される。
【0135】
最初に、取得部３３１は、分類される画像を取得する（ステップＳ９０１）。分類される画像は、記憶部３１に記憶されている学習モデルに応じた画素数の画像である。すなわち、記憶部３１に第２学習モデルが記憶されている場合には、分類される画像は第２の解像度の画像であり、第４学習モデルが記憶されている場合には、分類される画像は第４の解像度の画像である。取得部３３１は、通信部３２を介して、分類される画像を受信することにより取得する。
【0136】
次に、分類部３３２は、記憶部３１に記憶された学習済みモデルを用いて、取得した画像を分類する（ステップＳ９０２）。分類部３３２は、取得した画像を学習済みモデルに入力し、学習済みモデルから出力されたクラスに基づいて画像を分類する。例えば、分類部３３２は、学習済みモデルから出力されたクラスである２要素のベクトルのうち大きい値を有する要素に対応するクラスに画像を分類する。
【0137】
次に、出力部３３３は、分類結果を出力する（ステップＳ９０３）。出力部３３３は、通信部３２を介して、他の装置に分類結果を送信することにより出力する。分類結果は、学習済みモデルから出力されたクラス自体でもよい。以上で、画像分類処理が終了する。
【0138】
以上説明したように、画像分類装置３は、第１モデル生成処理または第２モデル生成処理において出力された学習済みモデルを記憶し、画像を学習済みモデルに入力することにより画像を分類する。このようにすることで、画像分類装置３は、分類対象の画像とは異なる画素数の画像に基づいて分類対象の画像を適切に分類することを可能とする。
【0139】
画像生成システム１には、次のような変形例が適用されてもよい。
【0140】
上述した説明では、第１モデル生成処理のステップＳ１０２において、第２学習部２３２が第１抽出器および第１分類器のパラメータを第２抽出器および第２分類器の初期パラメータとして設定するものとしたが、このような例に限られない。第２抽出器および第２分類器のパラメータは、第１抽出器および第１分類器のパラメータとは関わりなく既定値に設定されてもよい。このようにしても、第１識別学習処理および抽出学習処理において第２抽出器によって抽出される特徴量が集約器によって集約された特徴量に近づくように第２抽出器が学習されるため、異なる画素数の画像を用いて学習モデルを効率的に学習させることが可能となる。
【0141】
同様に、第４抽出器および第４分類器のパラメータは、第３抽出器および第３分類器のパラメータとは関わりなく既定値に設定されてもよい。このようにしても、異なる画素数の画像を用いて学習モデルを効率的に学習させることが可能となる。
【0142】
上述した説明では、第１抽出器および第２抽出器が同一の構成を有する学習モデルであるものとしたが、このような例に限られない。第１抽出器と第２抽出器とは、異なる構成を有する学習モデルでもよい。例えば、第１抽出器と第２抽出器とは、異なる層数またはノード数を有する畳み込みニューラルネットワークであってよい。この場合、ステップＳ１０２において、第２学習部２３２は、第１抽出器のパラメータの一部を第２抽出器の初期パラメータとして設定し、または第１抽出器のパラメータを第２抽出器の初期パラメータの一部として設定してもよい。
【0143】
同様に、第３抽出器と第４抽出器とは、異なる構成を有する学習モデルでもよい。この場合、第２モデル生成処理のステップＳ５０２において、第２学習部２３２は、第１抽出器のパラメータの一部を第２抽出器の初期パラメータとして設定し、または第１抽出器のパラメータを第２抽出器の初期パラメータの一部として設定してもよい。
【0144】
上述した説明では、第１事前学習処理のステップＳ２０４において、集約器は各分割画像から抽出された特徴量を重み付け加算して集約するものとしたが、このような例に限られない。例えば、集約器は、各分割画像から抽出された特徴量の差分をとることにより特徴量を集約してもよい。また、集約器は、各分割画像から抽出された特徴量を結合することにより集約してもよい。例えば、集約器は、各分割画像から抽出された特徴量ベクトルを複数の分割画像の位置関係に基づいて空間方向に結合する。集約器は、各分割画像から抽出された特徴量ベクトルを各チャネルの特徴量とする複数のチャネルからなる特徴量を算出してもよい。
【0145】
同様に、第２事前学習処理のステップＳ６０４において、集約器は、各分割画像から抽出された特徴量の差分をとることにより特徴量を集約してもよい。また、集約器は、各分割画像から抽出された特徴量を結合することにより集約してもよい。
【0146】
上述した説明では、記憶部２１が識別器ＤＣを記憶するものとしたが、このような例に限られず、記憶部２１は識別器ＤＣを記憶しなくてもよい。この場合、第１モデル生成処理のステップＳ１０３の第１識別学習処理および第２モデル生成処理のステップＳ５０３の第２識別学習処理は省略されてもよい。このようにしても、抽出器のパラメータの転移により、異なる画素数の画像を用いて学習モデルを効率的に学習させることが可能となる。
【0147】
上述した説明では、第１学習モデルＬＭ１および第２学習モデルＬＭ２は、画像のクラスとして、樹木が枯死している領域が画像に含まれているか否かを出力するものとしたが、このような例に限られない。画像のクラスは、任意の基準に基づく画像の分類であってよい。また、３個以上の画像のクラスが設定されてもよい。この場合、第１学習モデルＬＭ１および第２学習モデルＬＭ２は、画像のクラスの個数に等しい要素を有するベクトルを出力する。
【0148】
上述したモデル生成装置２または画像分類装置３の機能は、複数の装置によって実現されてもよい。
【0149】
当業者は、本発明の範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。例えば、上述した実施形態及び変形例は、本発明の範囲において、適宜に組み合わせて実施されてもよい。
【符号の説明】
【0150】
２ モデル生成装置
２３１ 第１学習部
２３２ 第２学習部
２３３ 出力部
２３１ 第１学習部
２３２ 第２学習部
２３３ 出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【手続補正書】
【提出日】2024-04-30
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第１の画素数を有する第１画像を分割して生成された、それぞれが前記第１の画素数よりも小さい第２の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第１抽出器を含む第１学習モデルを、前記複数の分割画像が入力された場合に前記第１画像のクラスを出力するように学習させる第１学習部と、
前記第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、前記第２画像が入力された場合に前記第２画像のクラスを出力するように前記第１学習モデルを用いて学習させる第２学習部と、
前記学習された第２学習モデルを出力する出力部と、を有し、
前記第１学習モデルは、前記複数の分割画像の特徴量を集約する集約器をさらに含み、
前記第２学習部は、入力された特徴量が前記集約器により集約された前記複数の分割画像の特徴量であるか否かを識別するように学習された識別器に、前記第２抽出器により抽出された前記第２画像の特徴量が入力された場合に、前記第２抽出器により抽出された前記第２画像の特徴量が前記集約器により集約された前記複数の分割画像の特徴量であると識別されるように前記第２抽出器を学習させる、
ことを特徴とするモデル生成装置。
前記第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、前記第２画像が入力された場合に前記第２画像のクラスを出力するように前記第１学習モデルを用いて学習させる第２学習部と、
前記学習された第２学習モデルを出力する出力部と、を有し、
前記第１学習モデルは、前記複数の分割画像の特徴量を集約する集約器をさらに含み、
前記第２学習部は、入力された特徴量が前記集約器により集約された前記複数の分割画像の特徴量であるか否かを識別するように学習された識別器に、前記第２抽出器により抽出された前記第２画像の特徴量が入力された場合に、前記第２抽出器により抽出された前記第２画像の特徴量が前記集約器により集約された前記複数の分割画像の特徴量であると識別されるように前記第２抽出器を学習させる、
ことを特徴とするモデル生成装置。
【請求項2】
前記第２学習部は、前記第１学習部により学習された第１抽出器のパラメータを前記第２抽出器の初期パラメータとして設定する、
請求項１に記載のモデル生成装置。
請求項１に記載のモデル生成装置。
【請求項3】
前記第１学習モデルは、前記集約器により集約された特徴量に基づいて前記第１画像のクラスを出力する第１分類器をさらに含み、
前記第２学習モデルは、前記第２抽出器により抽出された特徴量に基づいて前記第２画像のクラスを出力する第２分類器をさらに含み、
前記第２学習部は、前記第１学習部により学習された第１分類器のパラメータを前記第２分類器の初期パラメータとして設定する、
請求項１に記載のモデル生成装置。
前記第２学習モデルは、前記第２抽出器により抽出された特徴量に基づいて前記第２画像のクラスを出力する第２分類器をさらに含み、
前記第２学習部は、前記第１学習部により学習された第１分類器のパラメータを前記第２分類器の初期パラメータとして設定する、
請求項１に記載のモデル生成装置。
【請求項4】
前記第２学習部は、前記集約器により集約された特徴量と前記第２抽出器により抽出された特徴量とを用いて前記識別器を学習させる第１学習と、前記第２画像を用いて前記第２抽出器を学習させる第２学習とを交互に実行する、
請求項１に記載のモデル生成装置。
請求項１に記載のモデル生成装置。
【請求項5】
前記第１画像および前記第２画像は、同一の受容野を有する画像である、
請求項１に記載のモデル生成装置。
請求項１に記載のモデル生成装置。
【請求項6】
モデル生成装置によって実行されるモデル生成方法であって、
第１の画素数を有する第１画像を分割して生成された、それぞれが前記第１の画素数よりも小さい第２の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第１抽出器を含む第１学習モデルを、前記複数の分割画像が入力された場合に前記第１画像のクラスを出力するように学習させ、
前記第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、前記第２画像が入力された場合に前記第２画像のクラスを出力するように前記第１学習モデルを用いて学習させ、
前記学習された第２学習モデルを出力することを含み、
前記第１学習モデルは、前記複数の分割画像の特徴量を集約する集約器をさらに含み、
前記第２学習モデルの学習において、入力された特徴量が前記集約器により集約された前記複数の分割画像の特徴量であるか否かを識別するように学習された識別器に、前記第２抽出器により抽出された前記第２画像の特徴量が入力された場合に、前記第２抽出器により抽出された前記第２画像の特徴量が前記集約器により集約された前記複数の分割画像の特徴量であると識別されるように前記第２抽出器を学習させる、
ことを特徴とするモデル生成方法。
第１の画素数を有する第１画像を分割して生成された、それぞれが前記第１の画素数よりも小さい第２の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第１抽出器を含む第１学習モデルを、前記複数の分割画像が入力された場合に前記第１画像のクラスを出力するように学習させ、
前記第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、前記第２画像が入力された場合に前記第２画像のクラスを出力するように前記第１学習モデルを用いて学習させ、
前記学習された第２学習モデルを出力することを含み、
前記第１学習モデルは、前記複数の分割画像の特徴量を集約する集約器をさらに含み、
前記第２学習モデルの学習において、入力された特徴量が前記集約器により集約された前記複数の分割画像の特徴量であるか否かを識別するように学習された識別器に、前記第２抽出器により抽出された前記第２画像の特徴量が入力された場合に、前記第２抽出器により抽出された前記第２画像の特徴量が前記集約器により集約された前記複数の分割画像の特徴量であると識別されるように前記第２抽出器を学習させる、
ことを特徴とするモデル生成方法。
【請求項7】
第１の画素数を有する第１画像を分割して生成された、それぞれが前記第１の画素数よりも小さい第２の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第１抽出器を含む第１学習モデルを、前記複数の分割画像が入力された場合に前記第１画像のクラスを出力するように学習させ、
前記第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、前記第２画像が入力された場合に前記第２画像のクラスを出力するように前記第１学習モデルを用いて学習させ、
前記学習された第２学習モデルを出力することをコンピュータに実行させ、
前記第１学習モデルは、前記複数の分割画像の特徴量を集約する集約器をさらに含み、
前記第２学習モデルの学習において、入力された特徴量が前記集約器により集約された前記複数の分割画像の特徴量であるか否かを識別するように学習された識別器に、前記第２抽出器により抽出された前記第２画像の特徴量が入力された場合に、前記第２抽出器により抽出された前記第２画像の特徴量が前記集約器により集約された前記複数の分割画像の特徴量であると識別されるように前記第２抽出器を学習させる、
ことを特徴とするプログラム。
前記第２の画素数を有する第２画像の特徴量を抽出する第２抽出器を含む第２学習モデルを、前記第２画像が入力された場合に前記第２画像のクラスを出力するように前記第１学習モデルを用いて学習させ、
前記学習された第２学習モデルを出力することをコンピュータに実行させ、
前記第１学習モデルは、前記複数の分割画像の特徴量を集約する集約器をさらに含み、
前記第２学習モデルの学習において、入力された特徴量が前記集約器により集約された前記複数の分割画像の特徴量であるか否かを識別するように学習された識別器に、前記第２抽出器により抽出された前記第２画像の特徴量が入力された場合に、前記第２抽出器により抽出された前記第２画像の特徴量が前記集約器により集約された前記複数の分割画像の特徴量であると識別されるように前記第２抽出器を学習させる、
ことを特徴とするプログラム。
【請求項8】
第１の画素数を有する第１画像の特徴量を抽出する第１抽出器を含む第１学習モデルを、前記第１画像が入力された場合に前記第１画像のクラスを出力するように学習させる第１学習部と、
前記第１の画素数よりも大きい第２の画素数を有する第２画像を分割して生成された、それぞれが前記第１の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第２抽出器を含む第２学習モデルを、前記複数の分割画像が入力された場合に前記第２画像のクラスを出力するように前記第１学習モデルを用いて学習させる第２学習部と、
前記学習された第２学習モデルを出力する出力部と、
を有し、
前記第２学習モデルは、前記複数の分割画像の特徴量を集約する集約器をさらに含み、
前記第２学習部は、入力された特徴量が前記第１抽出器により抽出された前記第１画像の特徴量であるか否かを識別するように学習された識別器に、前記集約器により集約された前記複数の分割画像の特徴量が入力された場合に、前記集約器により集約された前記複数の分割画像の特徴量が前記第１抽出器により抽出された前記第１画像の特徴量であると識別されるように前記第２抽出器を学習させる、
ことを特徴とするモデル生成装置。
前記第１の画素数よりも大きい第２の画素数を有する第２画像を分割して生成された、それぞれが前記第１の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第２抽出器を含む第２学習モデルを、前記複数の分割画像が入力された場合に前記第２画像のクラスを出力するように前記第１学習モデルを用いて学習させる第２学習部と、
前記学習された第２学習モデルを出力する出力部と、
を有し、
前記第２学習モデルは、前記複数の分割画像の特徴量を集約する集約器をさらに含み、
前記第２学習部は、入力された特徴量が前記第１抽出器により抽出された前記第１画像の特徴量であるか否かを識別するように学習された識別器に、前記集約器により集約された前記複数の分割画像の特徴量が入力された場合に、前記集約器により集約された前記複数の分割画像の特徴量が前記第１抽出器により抽出された前記第１画像の特徴量であると識別されるように前記第２抽出器を学習させる、
ことを特徴とするモデル生成装置。
【請求項9】
モデル生成装置によって実行されるモデル生成方法であって、
第１の画素数を有する第１画像の特徴量を抽出する第１抽出器を含む第１学習モデルを、前記第１画像が入力された場合に前記第１画像のクラスを出力するように学習させ、
前記第１の画素数よりも大きい第２の画素数を有する第２画像を分割して生成された、それぞれが前記第１の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第２抽出器を含む第２学習モデルを、前記複数の分割画像が入力された場合に前記第２画像のクラスを出力するように前記第１学習モデルを用いて学習させ、
前記学習された第２学習モデルを出力することを含み、
前記第２学習モデルは、前記複数の分割画像の特徴量を集約する集約器をさらに含み、
前記第２学習モデルの学習において、入力された特徴量が前記第１抽出器により抽出された前記第１画像の特徴量であるか否かを識別するように学習された識別器に、前記集約器により集約された前記複数の分割画像の特徴量が入力された場合に、前記集約器により集約された前記複数の分割画像の特徴量が前記第１抽出器により抽出された前記第１画像の特徴量であると識別されるように前記第２抽出器を学習させる、
ことを特徴とするモデル生成方法。
第１の画素数を有する第１画像の特徴量を抽出する第１抽出器を含む第１学習モデルを、前記第１画像が入力された場合に前記第１画像のクラスを出力するように学習させ、
前記第１の画素数よりも大きい第２の画素数を有する第２画像を分割して生成された、それぞれが前記第１の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第２抽出器を含む第２学習モデルを、前記複数の分割画像が入力された場合に前記第２画像のクラスを出力するように前記第１学習モデルを用いて学習させ、
前記学習された第２学習モデルを出力することを含み、
前記第２学習モデルは、前記複数の分割画像の特徴量を集約する集約器をさらに含み、
前記第２学習モデルの学習において、入力された特徴量が前記第１抽出器により抽出された前記第１画像の特徴量であるか否かを識別するように学習された識別器に、前記集約器により集約された前記複数の分割画像の特徴量が入力された場合に、前記集約器により集約された前記複数の分割画像の特徴量が前記第１抽出器により抽出された前記第１画像の特徴量であると識別されるように前記第２抽出器を学習させる、
ことを特徴とするモデル生成方法。
【請求項10】
第１の画素数を有する第１画像の特徴量を抽出する第１抽出器を含む第１学習モデルを、前記第１画像が入力された場合に前記第１画像のクラスを出力するように学習させ、
前記第１の画素数よりも大きい第２の画素数を有する第２画像を分割して生成された、それぞれが前記第１の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第２抽出器を含む第２学習モデルを、前記複数の分割画像が入力された場合に前記第２画像のクラスを出力するように前記第１学習モデルを用いて学習させ、
前記学習された第２学習モデルを出力することをコンピュータに実行させ、
前記第２学習モデルは、前記複数の分割画像の特徴量を集約する集約器をさらに含み、
前記第２学習モデルの学習において、入力された特徴量が前記第１抽出器により抽出された前記第１画像の特徴量であるか否かを識別するように学習された識別器に、前記集約器により集約された前記複数の分割画像の特徴量が入力された場合に、前記集約器により集約された前記複数の分割画像の特徴量が前記第１抽出器により抽出された前記第１画像の特徴量であると識別されるように前記第２抽出器を学習させる、
ことを特徴とするプログラム。
前記第１の画素数よりも大きい第２の画素数を有する第２画像を分割して生成された、それぞれが前記第１の画素数を有する複数の分割画像のそれぞれの特徴量を抽出する第２抽出器を含む第２学習モデルを、前記複数の分割画像が入力された場合に前記第２画像のクラスを出力するように前記第１学習モデルを用いて学習させ、
前記学習された第２学習モデルを出力することをコンピュータに実行させ、
前記第２学習モデルは、前記複数の分割画像の特徴量を集約する集約器をさらに含み、
前記第２学習モデルの学習において、入力された特徴量が前記第１抽出器により抽出された前記第１画像の特徴量であるか否かを識別するように学習された識別器に、前記集約器により集約された前記複数の分割画像の特徴量が入力された場合に、前記集約器により集約された前記複数の分割画像の特徴量が前記第１抽出器により抽出された前記第１画像の特徴量であると識別されるように前記第２抽出器を学習させる、
ことを特徴とするプログラム。