ホーム > 特許ランキング > ▲蘇▼州浪潮智能科技有限公司
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-17
(54)【発明の名称】目標検出モデルの自動モデリング方法及び装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20221110BHJP
G06V 10/82 20220101ALI20221110BHJP
G06N 3/04 20060101ALI20221110BHJP
G06N 3/08 20060101ALI20221110BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
G06N3/04
G06N3/08
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022517307
(86)(22)【出願日】2019-12-30
(85)【翻訳文提出日】2022-03-16
(86)【国際出願番号】 CN2019130024
(87)【国際公開番号】W WO2021056914
(87)【国際公開日】2021-04-01
(31)【優先権主張番号】201910912868.1
(32)【優先日】2019-09-25
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】521524346
【氏名又は名称】▲蘇▼州浪潮智能科技有限公司
(74)【代理人】
【識別番号】110002262
【氏名又は名称】ＴＲＹ国際弁理士法人
(72)【発明者】
【氏名】劉 紅麗
(72)【発明者】
【氏名】李 峰
(72)【発明者】
【氏名】劉 ▲しん▼
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096DA02
5L096HA08
5L096HA11
5L096KA04
(57)【要約】
予め定められた第１ニューラルネットワークに基づいてＮＡＳのネットワークモデルを探索するステップＳ１と、訓練セットを用いて第１目標検出モデルを訓練し、訓練回数が第１所定回数に達した後、検証セットを用いて現在の第１目標検出モデルを評価し、評価結果を出力し、ここで、前記第１目標検出モデルは、前記ＮＡＳのネットワークモデルと第２目標検出モデルの検出部分とを融合し得たモデルであるステップＳ２と、前記現在の第１目標検出モデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算するステップＳ３と、前記目標検出タスク報奨であるｒｅｗａｒｄに基づいて前記ＮＡＳのネットワークモデルを探索するためのパラメータを調整するステップＳ４と、ステップＳ１～Ｓ４を第２所定回数で繰り返し、評価結果に基づいて最適な第１目標検出モデルを決定するステップと、を含む標検出モデルの自動モデリング方法。本発明には、自動モデリング装置も開示される。本発明において提供される方法及び装置は、異なるタスクに応じて異なるモデルを探索することができ、目標検出効果を向上させることができる。
【特許請求の範囲】
【請求項1】
目標検出モデルの自動モデリング方法であって、予め定められた第１ニューラルネットワークに基づいて、ニューラルネットワーク構造探索であるＮＡＳのネットワークモデルを探索するステップＳ１と、
訓練セットを用いて第１目標検出モデルを訓練し、訓練回数が第１所定回数に達した後、検証セットを用いて現在の第１目標検出モデルを評価し、評価結果を出力し、ここで、前記第１目標検出モデルは、前記ＮＡＳのネットワークモデルと第２目標検出モデルの検出部分とを融合し得たモデルである、ステップＳ２と、
前記現在の第１目標検出モデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算するステップＳ３と、
前記目標検出タスク報奨であるｒｅｗａｒｄに基づいて前記ＮＡＳのネットワークモデルを探索するためのパラメータを調整するステップＳ４と、
ステップＳ１～Ｓ４を第２所定回数で繰り返し、評価結果に基づいて最適な第１目標検出モデルを決定するステップと、を含むことを特徴とする方法。
【請求項2】
前記第１ニューラルネットワークは、循環ニューラルネットワークであるＲＮＮであり、ステップＳ１は、
予め構成されたハイパーパラメータに基づいて、循環ニューラルネットワークであるＲＮＮのコントローラによって標本抽出し、サブネットワーク構造コードを取得し、ここで、前記ハイパーパラメータは、サブネットワークのハイパーパラメータ、コントローラのハイパーパラメータを含み、サブネットワークのハイパーパラメータは、サブネットワークの層数、セル分岐数、サブネットワーク学習率に関するパラメータ、出力チャネル数を含み、コントローラのハイパーパラメータは、コントローラ学習率に関するパラメータ、オプティマイザの構成パラメータを含むステップＳ１１と、
前記サブネットワーク構造コードをデコーダでデコードし、ＮＡＳのネットワークモデルを出力するステップＳ１２と、を含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記ＮＡＳのネットワークモデルは、完全な接続層を有しないＮＡＳネットワークであり、前記ＮＡＳネットワークと第１目標検出モデルの検出部分との融合は、
前記ＮＡＳのネットワークモデルの複数の異なるスケールの出力端末が、それぞれ１つの１＊１畳み込み層に接続され、前記１＊１畳み込み層の出力を、前記第２目標検出モデルの検出部分の入力とすることを特徴とする請求項２に記載の方法。
【請求項4】
前記評価結果に基づいて最適な第１目標検出モデルを決定した後、訓練セットを用いて評価結果が最適な第１目標検出モデルを訓練し、前記訓練された後の評価結果が最適な第１目標検出モデルをテストセットでテストするステップを含むことを特徴とする請求項１に記載の方法。
【請求項5】
前記第２目標検出モデルは、Ｙｏｌｏを含むことを特徴とする請求項１に記載の方法。
【請求項6】
検証セットを用いて現在の第１目標検出モデルを評価するステップは、検証セットを用いて、現在の第１目標検出モデルに対して平均精度ＭＡＰ評価を行うことを含み、
前記評価結果に基づいて最適な第１目標検出モデルを決定するステップは、
第２所定回数内で最大のＭＡＰに対応する第１目標検出モデルを最適な第１目標検出モデルとして決定することを含むことを特徴とする請求項１に記載の方法。
【請求項7】
前記現在の第１目標検出モデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算するステップは、
【請求項8】
前記ｒｅｗａｒｄに基づいて前記ＮＡＳのネットワークモデルを探索するためのパラメータを調整するステップは、前記ｒｅｗａｒｄを前記ＲＮＮのコントローラにフィードバックし、
【請求項9】
目標検出モデルの自動モデリング装置であって、メモリとプロセッサを含み、前記メモリは、目標検出モデルの自動モデリングためのプログラムを保存するために用いられ、
前記プロセッサは、前記目標検出モデルの自動モデリングためのプログラムを読み取り実行することをために用いられ、以下の動作を実行し、
予め定められた第１ニューラルネットワークに基づいてニューラルネットワーク構造を探索することよりＮＡＳのネットワークモデルを探索するステップＳ１と、
訓練セットを用いて第１目標検出モデルを訓練し、訓練回数が第１所定回数に達した後、検証セットを用いて現在の第１目標検出モデルを評価し、評価結果を出力し、ここで、前記第１目標検出モデルは、前記ＮＡＳのネットワークモデルと第２目標検出モデルの検出部分とを融合し得たモデルである、ステップＳ２と、
前記現在の第１目標検出モデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算するステップＳ３と、
前記目標検出タスク報奨であるｒｅｗａｒｄに基づいて前記ＮＡＳのネットワークモデルを探索するためのパラメータを調整するステップＳ４と、
ステップＳ１～Ｓ４を第２所定回数で繰り返し、評価結果に基づいて最適な第１目標検出モデルを決定するステップと、を含むことを特徴とする装置。
【請求項10】
前記第１ニューラルネットワークは、循環ニューラルネットワークであるＲＮＮであり、ステップＳ１は、
予め構成されたハイパーパラメータに基づいて、循環ニューラルネットワークであるＲＮＮのコントローラによって標本抽出し、サブネットワーク構造コードを取得し、ここで、前記ハイパーパラメータは、サブネットワークのハイパーパラメータ、コントローラのハイパーパラメータを含み、サブネットワークのハイパーパラメータは、サブネットワークの層数、セル分岐数、サブネットワーク学習率に関するパラメータ、出力チャネル数を含み、コントローラのハイパーパラメータは、コントローラ学習率に関するパラメータ、オプティマイザの構成パラメータを含むステップＳ１１と、
前記サブネットワーク構造コードをデコーダでデコードし、ＮＡＳのネットワークモデルを出力するステップＳ１２と、を含むことを特徴とする請求項９に記載の装置。
【請求項11】
前記ＮＡＳのネットワークモデルは、完全な接続層を有しないＮＡＳネットワークであり、前記ＮＡＳネットワークと第１目標検出モデルの検出部分との融合は、
前記ＮＡＳのネットワークモデルの複数の異なるスケールの出力端末が、それぞれ１つの１＊１畳み込み層に接続され、前記１＊１畳み込み層の出力を、前記第２目標検出モデルの検出部分の入力とすることを特徴とする請求項１０に記載の装置。
【請求項12】
前記プロセッサは、前記目標検出モデルの自動モデリングためのプログラムを読み取り実行することをために用いられ、以下の動作を実行し、前記評価結果に基づいて最適な第１目標検出モデルを決定した後、訓練セットを用いて評価結果が最適な第１目標検出モデルを訓練し、前記訓練された後の評価結果が最適な第１目標検出モデルをテストセットでテストすることを特徴とする請求項９に記載の装置。
【請求項13】
前記第２目標検出モデルは、Ｙｏｌｏを含むことを特徴とする請求項９に記載の装置。
【請求項14】
検証セットを用いて現在の第１目標検出モデルを評価するステップは、検証セットを用いて、現在の第１目標検出モデルに対して平均精度ＭＡＰ評価を行うことを含み、
前記評価結果に基づいて最適な第１目標検出モデルを決定するステップは、
第２所定回数内で最大のＭＡＰに対応する第１目標検出モデルを最適な第１目標検出モデルとして決定することを含むことを特徴とする請求項９に記載の装置。
【請求項15】
前記現在の第１目標検出モデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算するステップは、
【請求項16】
前記ｒｅｗａｒｄに基づいて前記ＮＡＳのネットワークモデルを探索するためのパラメータを調整するステップは、前記ｒｅｗａｒｄを前記ＲＮＮのコントローラにフィードバックし、
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０１９年９月２５日に出願された中国特許出願第２０１９１０９１２８６８．１号（発明の名称：目標検出モデルの自動モデリング方法及び装置）に基づく優先権を主張し、引用によりその全ての記載内容が本明細書に組み込まれる。
【0002】
本発明は、目標検出の分野に関し、特に目標検出の分野における自動モデリング方法及び装置に関する。
【背景技術】
【0003】
目標検出は、画像処理やコンピュータビジョン分野における古典的な課題として、交通監視、画像探索、人間とコンピュータの相互作用などに幅広く用いられている。これは、静止画像(又は動画)において、人が興味を持っている目標となる対象物を検出することを目的とする。現在、主流となっているアルゴリズムはＹｏｌｏ、ＳＳＤ、Ｒ－ＣＮＮ系アルゴリズムなどである。しかしながら、従来の目標検出アルゴリズムは、固定ネットワーク構造を用いて画像特徴を抽出し、異なるタスク及びデータ特性に応じて異なるネットワーク構造を用いて最適な画像特徴を抽出することができず、人工的に設計された目標検出モデルは、特定のタスクに対してのみ高い精度を実現することができ、柔軟性に欠ける。
【発明の概要】
【0004】
本発明の課題は、異なるタスクに応じて異なるモデルを探索でき、目標検出効果を向上させることができる目標検出モデルの自動モデリング方法を提供することである。
【0005】
上記課題を解決するために、本発明の実施形態において、
予め定められた第１ニューラルネットワークに基づいて、ニューラルネットワーク構造探索であるＮＡＳのネットワークモデルを探索するステップＳ１と、
訓練セットを用いて第１目標検出モデルを訓練し、訓練回数が第１所定回数に達した後、検証セットを用いて現在の第１目標検出モデルを評価し、評価結果を出力し、ここで、前記第１目標検出モデルは、前記ＮＡＳのネットワークモデルと第２目標検出モデルの検出部分とを融合し得たモデルである、ステップＳ２と、
前記現在の第１目標検出モデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算するステップＳ３と、
前記目標検出タスク報奨であるｒｅｗａｒｄに基づいて前記ＮＡＳのネットワークモデルを探索するためのパラメータを調整するステップＳ４と、
ステップＳ１～Ｓ４を第２所定回数で繰り返し、評価結果に基づいて最適な第１目標検出モデルを決定するステップと、を含む目標検出モデルの自動モデリング方法が提供される。
予め定められた第１ニューラルネットワークに基づいて、ニューラルネットワーク構造探索であるＮＡＳのネットワークモデルを探索するステップＳ１と、
訓練セットを用いて第１目標検出モデルを訓練し、訓練回数が第１所定回数に達した後、検証セットを用いて現在の第１目標検出モデルを評価し、評価結果を出力し、ここで、前記第１目標検出モデルは、前記ＮＡＳのネットワークモデルと第２目標検出モデルの検出部分とを融合し得たモデルである、ステップＳ２と、
前記現在の第１目標検出モデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算するステップＳ３と、
前記目標検出タスク報奨であるｒｅｗａｒｄに基づいて前記ＮＡＳのネットワークモデルを探索するためのパラメータを調整するステップＳ４と、
ステップＳ１～Ｓ４を第２所定回数で繰り返し、評価結果に基づいて最適な第１目標検出モデルを決定するステップと、を含む目標検出モデルの自動モデリング方法が提供される。
【0006】
好ましくは、第１ニューラルネットワークは、循環ニューラルネットワークであるＲＮＮであり、
ステップＳ１は、
予め構成されたハイパーパラメータに基づいて、循環ニューラルネットワークであるＲＮＮのコントローラによって標本抽出し、サブネットワーク構造コードを取得し、ここで、前記ハイパーパラメータは、サブネットワークのハイパーパラメータ、コントローラのハイパーパラメータを含み、サブネットワークのハイパーパラメータは、サブネットワークの層数、セル分岐数、サブネットワーク学習率に関するパラメータ、出力チャネル数を含み、コントローラのハイパーパラメータは、コントローラ学習率に関するパラメータ、オプティマイザの構成パラメータを含むステップＳ１１と、
前記サブネットワーク構造コードをデコーダでデコードし、ＮＡＳのネットワークモデルを出力するステップＳ１２と、を含む。
ステップＳ１は、
予め構成されたハイパーパラメータに基づいて、循環ニューラルネットワークであるＲＮＮのコントローラによって標本抽出し、サブネットワーク構造コードを取得し、ここで、前記ハイパーパラメータは、サブネットワークのハイパーパラメータ、コントローラのハイパーパラメータを含み、サブネットワークのハイパーパラメータは、サブネットワークの層数、セル分岐数、サブネットワーク学習率に関するパラメータ、出力チャネル数を含み、コントローラのハイパーパラメータは、コントローラ学習率に関するパラメータ、オプティマイザの構成パラメータを含むステップＳ１１と、
前記サブネットワーク構造コードをデコーダでデコードし、ＮＡＳのネットワークモデルを出力するステップＳ１２と、を含む。
【0007】
好ましくは、前記ＮＡＳのネットワークモデルは、完全な接続層を有しないＮＡＳネットワークであり、
前記ＮＡＳネットワークと第１目標検出モデルの検出部分との融合は、
前記ＮＡＳのネットワークモデルの複数の異なるスケールの出力端末が、それぞれ１つの１＊１畳み込み層に接続され、前記１＊１畳み込み層の出力を、前記第２目標検出モデルの検出部分の入力とする。
前記ＮＡＳネットワークと第１目標検出モデルの検出部分との融合は、
前記ＮＡＳのネットワークモデルの複数の異なるスケールの出力端末が、それぞれ１つの１＊１畳み込み層に接続され、前記１＊１畳み込み層の出力を、前記第２目標検出モデルの検出部分の入力とする。
【0008】
好ましくは、前記評価結果に基づいて最適な第１目標検出モデルを決定した後、
訓練セットを用いて評価結果が最適な第１目標検出モデルを訓練し、前記訓練された後の評価結果が最適な第１目標検出モデルをテストセットでテストするステップを含む。
訓練セットを用いて評価結果が最適な第１目標検出モデルを訓練し、前記訓練された後の評価結果が最適な第１目標検出モデルをテストセットでテストするステップを含む。
【0009】
好ましくは、前記第２目標検出モデルは、Ｙｏｌｏを含む。
【0010】
検証セットを用いて現在の第１目標検出モデルを評価するステップは、
検証セットを用いて、現在の第１目標検出モデルに対して平均精度ＭＡＰ評価を行うことを含み、
前記評価結果に基づいて最適な第１目標検出モデルを決定するステップは、
第２所定回数内で最大のＭＡＰに対応する第1目標検出モデルを最適な第１目標検出モデルとして決定することを含む。
検証セットを用いて、現在の第１目標検出モデルに対して平均精度ＭＡＰ評価を行うことを含み、
前記評価結果に基づいて最適な第１目標検出モデルを決定するステップは、
第２所定回数内で最大のＭＡＰに対応する第1目標検出モデルを最適な第１目標検出モデルとして決定することを含む。
【0011】
好ましくは、前記現在の第１目標検出モデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算するステップは、
【0012】
好ましくは、前記ｒｅｗａｒｄに基づいて前記ＮＡＳのネットワークモデルを探索するためのパラメータを調整するステップは、
前記ｒｅｗａｒｄを前記ＲＮＮのコントローラにフィードバックし、
前記ｒｅｗａｒｄを前記ＲＮＮのコントローラにフィードバックし、
【0013】
上記課題を解決するために、本発明の実施形態において、目標検出モデルの自動モデリング装置がさらに提供され、目標検出モデルの自動モデリング装置であって、メモリとプロセッサを含み、
前記メモリは、目標検出モデルの自動モデリングためのプログラムを保存するために用いられ、
前記プロセッサは、前記目標検出モデルの自動モデリングためのプログラムを読み取り実行することをために用いられ、以下の動作を実行し、
予め定められた第１ニューラルネットワークに基づいて、ニューラルネットワーク構造探索であるＮＡＳのネットワークモデルを探索するステップＳ１と、
訓練セットを用いて第１目標検出モデルを訓練し、訓練回数が第１所定回数に達した後、検証セットを用いて現在の第１目標検出モデルを評価し、評価結果を出力し、ここで、前記第１目標検出モデルは、前記ＮＡＳのネットワークモデルと第２目標検出モデルの検出部分とを融合し得たモデルである、ステップＳ２と、
前記現在の第１目標検出モデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算するステップＳ３と、
前記目標検出タスク報奨であるｒｅｗａｒｄに基づいて前記ＮＡＳのネットワークモデルを探索するためのパラメータを調整するステップＳ４と、
ステップＳ１～Ｓ４を第２所定回数で繰り返し、評価結果に基づいて最適な第１目標検出モデルを決定するステップと、を含む。
前記メモリは、目標検出モデルの自動モデリングためのプログラムを保存するために用いられ、
前記プロセッサは、前記目標検出モデルの自動モデリングためのプログラムを読み取り実行することをために用いられ、以下の動作を実行し、
予め定められた第１ニューラルネットワークに基づいて、ニューラルネットワーク構造探索であるＮＡＳのネットワークモデルを探索するステップＳ１と、
訓練セットを用いて第１目標検出モデルを訓練し、訓練回数が第１所定回数に達した後、検証セットを用いて現在の第１目標検出モデルを評価し、評価結果を出力し、ここで、前記第１目標検出モデルは、前記ＮＡＳのネットワークモデルと第２目標検出モデルの検出部分とを融合し得たモデルである、ステップＳ２と、
前記現在の第１目標検出モデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算するステップＳ３と、
前記目標検出タスク報奨であるｒｅｗａｒｄに基づいて前記ＮＡＳのネットワークモデルを探索するためのパラメータを調整するステップＳ４と、
ステップＳ１～Ｓ４を第２所定回数で繰り返し、評価結果に基づいて最適な第１目標検出モデルを決定するステップと、を含む。
【0014】
好ましくは、前記第1ニューラルネットワークは、循環ニューラルネットワークであるＲＮＮであり、
ステップＳ１は、
予め構成されたハイパーパラメータに基づいて、循環ニューラルネットワークであるＲＮＮのコントローラによって標本抽出し、サブネットワーク構造コードを取得し、ここで、前記ハイパーパラメータは、サブネットワークのハイパーパラメータ、コントローラのハイパーパラメータを含み、サブネットワークのハイパーパラメータは、サブネットワークの層数、セル分岐数、サブネットワーク学習率に関するパラメータ、出力チャネル数を含み、コントローラのハイパーパラメータは、コントローラ学習率に関するパラメータ、オプティマイザの構成パラメータを含むステップＳ１１と、
前記サブネットワーク構造コードをデコーダでデコードし、ＮＡＳのネットワークモデルを出力するステップＳ１２と、を含む。
ステップＳ１は、
予め構成されたハイパーパラメータに基づいて、循環ニューラルネットワークであるＲＮＮのコントローラによって標本抽出し、サブネットワーク構造コードを取得し、ここで、前記ハイパーパラメータは、サブネットワークのハイパーパラメータ、コントローラのハイパーパラメータを含み、サブネットワークのハイパーパラメータは、サブネットワークの層数、セル分岐数、サブネットワーク学習率に関するパラメータ、出力チャネル数を含み、コントローラのハイパーパラメータは、コントローラ学習率に関するパラメータ、オプティマイザの構成パラメータを含むステップＳ１１と、
前記サブネットワーク構造コードをデコーダでデコードし、ＮＡＳのネットワークモデルを出力するステップＳ１２と、を含む。
【0015】
好ましくは、前記ＮＡＳのネットワークモデルは、完全な接続層を有しないＮＡＳネットワークであり、
前記ＮＡＳネットワークと第１目標検出モデルの検出部分との融合は、
前記ＮＡＳのネットワークモデルの複数の異なるスケールの出力端末が、それぞれ１つの１＊１畳み込み層に接続され、前記１＊１畳み込み層の出力を、前記第２目標検出モデルの検出部分の入力とする。
前記ＮＡＳネットワークと第１目標検出モデルの検出部分との融合は、
前記ＮＡＳのネットワークモデルの複数の異なるスケールの出力端末が、それぞれ１つの１＊１畳み込み層に接続され、前記１＊１畳み込み層の出力を、前記第２目標検出モデルの検出部分の入力とする。
【0016】
好ましくは、前記プロセッサは、前記目標検出モデルの自動モデリングためのプログラムを読み取り実行することをために用いられ、以下の動作を実行し、
前記評価結果に基づいて最適な第１目標検出モデルを決定した後、訓練セットを用いて評価結果が最適な第１目標検出モデルを訓練し、前記訓練された後の評価結果が最適な第１目標検出モデルをテストセットでテストする。
前記評価結果に基づいて最適な第１目標検出モデルを決定した後、訓練セットを用いて評価結果が最適な第１目標検出モデルを訓練し、前記訓練された後の評価結果が最適な第１目標検出モデルをテストセットでテストする。
【0017】
好ましくは、前記第２目標検出モデルは、Ｙｏｌｏを含む。
【0018】
好ましくは、検証セットを用いて現在の第１目標検出モデルを評価するステップは、
検証セットを用いて、現在の第１目標検出モデルに対して平均精度ＭＡＰ評価を行うことを含み、
前記評価結果に基づいて最適な第１目標検出モデルを決定するステップは、
第２所定回数内で最大のＭＡＰに対応する第１目標検出モデルを最適な第１目標検出モデルとして決定することを含む。
検証セットを用いて、現在の第１目標検出モデルに対して平均精度ＭＡＰ評価を行うことを含み、
前記評価結果に基づいて最適な第１目標検出モデルを決定するステップは、
第２所定回数内で最大のＭＡＰに対応する第１目標検出モデルを最適な第１目標検出モデルとして決定することを含む。
【0019】
好ましくは、前記現在の第１目標検出モデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算するステップは、
【0020】
好ましくは、前記ｒｅｗａｒｄに基づいて前記ＮＡＳのネットワークモデルを探索するためのパラメータを調整するステップは、
前記ｒｅｗａｒｄを前記ＲＮＮのコントローラにフィードバックし、
前記ｒｅｗａｒｄを前記ＲＮＮのコントローラにフィードバックし、
【0021】
本発明の実施形態は、目標検出モデルの自動モデリング方法および装置を提供し、異なるタスクに応じて探索された特徴抽出モデルを、従来技術の目標検出モデルと融合して新たな目標検出モデルを形成することにより、目標検出効果を向上させる。
【図面の簡単な説明】
【0022】
【図1】本発明の実施形態に係る目標検出モデルの自動モデリング方法を示す図である。
【図2】本発明の実施形態に係る目標検出モデルの自動モデリングのフローチャートである。
【図3】本発明の実施形態に係るＹｏｌｏ３の原理図である。
【図4】本発明の実施形態に係るＹｏｌｏ３－ＮＡＳモデルの自動モデリングを示す図である。
【図5】本発明の実施形態に係る目標検出モデルの自動モデリング装置を示す図である。
【発明を実施するための形態】
【0023】
本発明の目的、技術的解決策および利点をより明確にするために、以下、添付の図面を参照して本発明の実施形態を詳細に説明する。なお、本出願の実施形態および実施形態の特徴は、矛盾がない限り、任意に互いに組み合わせることができる。
【0024】
【0025】
ステップＳ１：予め定められた第1ニューラルネットワークに基づいてＮＡＳのネットワークモデルを探索する。
【0026】
一例示的な実施形態では、第１ニューラルネットワークは、循環ニューラルネットワークであるＲＮＮであってもよく、ＮＡＳのネットワークモデルは、ニューラルネットワーク構造探索( Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ )ネットワークモデルを意味する。
【0027】
ステップＳ１は、
予め構成されたハイパーパラメータに基づいて、循環ニューラルネットワークであるＲＮＮのコントローラによって標本抽出し、サブネットワーク構造コードを取得し、ここで、前記ハイパーパラメータは、サブネットワークのハイパーパラメータ、コントローラのハイパーパラメータを含み、サブネットワークのハイパーパラメータは、サブネットワークの層数、セル分岐数、サブネットワーク学習率に関するパラメータ、出力チャネル数を含み、コントローラのハイパーパラメータは、コントローラ学習率に関するパラメータ、オプティマイザの構成パラメータを含むステップＳ１１と、
前記サブネットワーク構造コードをデコーダでデコードし、ＮＡＳのネットワークモデルを出力するステップＳ１２と、を含んでもよい。
予め構成されたハイパーパラメータに基づいて、循環ニューラルネットワークであるＲＮＮのコントローラによって標本抽出し、サブネットワーク構造コードを取得し、ここで、前記ハイパーパラメータは、サブネットワークのハイパーパラメータ、コントローラのハイパーパラメータを含み、サブネットワークのハイパーパラメータは、サブネットワークの層数、セル分岐数、サブネットワーク学習率に関するパラメータ、出力チャネル数を含み、コントローラのハイパーパラメータは、コントローラ学習率に関するパラメータ、オプティマイザの構成パラメータを含むステップＳ１１と、
前記サブネットワーク構造コードをデコーダでデコードし、ＮＡＳのネットワークモデルを出力するステップＳ１２と、を含んでもよい。
【0028】
ステップＳ２：訓練セットを用いて第１目標検出モデルを訓練し、訓練回数が第１所定回数に達した後、検証セットを用いて現在の第１目標検出モデルを評価し、評価結果を出力し、ここで、前記第１目標検出モデルは、前記ＮＡＳのネットワークモデルと第２目標検出モデルの検出部分とを融合し得たモデルである。
【0029】
一例示的な実施形態において、ＮＡＳのネットワークモデルは、完全な接続層を有しないＮＡＳネットワークである。
【0030】
一例示的な実施形態において、前記ＮＡＳネットワークと第１目標検出モデルの検出部分との融合は、
前記ＮＡＳのネットワークモデルの複数の異なるスケールの出力端末が、それぞれ１つの１＊１畳み込み層に接続され、前記１＊１畳み込み層の出力を、前記第２目標検出モデルの検出部分の入力とする。
前記ＮＡＳのネットワークモデルの複数の異なるスケールの出力端末が、それぞれ１つの１＊１畳み込み層に接続され、前記１＊１畳み込み層の出力を、前記第２目標検出モデルの検出部分の入力とする。
【0031】
一例示的な実施形態において、検証セットを用いて現在の第１目標検出モデルを評価するステップは、
検証セットを用いて、現在の第１目標検出モデルに対して平均精度ＭＡＰ評価を行うことを含んでもよい。
ここで、前記第２目標検出モデルはＹｏｌｏを含んでもよい。Ｙｏｌｏ （Ｙｏｕ Ｏｎｌｙ Ｌｉｖｅ Ｏｎｃｅ ）は、ディープニューラルネットワークに基づく対象認識及び位置特定のためのアルゴリズムである。それは、ワンステージ（ｏｎｅ－ｓｔａｇｅ）のアルゴリズムに属し、すなわち、入力画像に対して直接にアルゴリズムを適用し、カテゴリおよび対応する位置を出力することである。
検証セットを用いて、現在の第１目標検出モデルに対して平均精度ＭＡＰ評価を行うことを含んでもよい。
ここで、前記第２目標検出モデルはＹｏｌｏを含んでもよい。Ｙｏｌｏ （Ｙｏｕ Ｏｎｌｙ Ｌｉｖｅ Ｏｎｃｅ ）は、ディープニューラルネットワークに基づく対象認識及び位置特定のためのアルゴリズムである。それは、ワンステージ（ｏｎｅ－ｓｔａｇｅ）のアルゴリズムに属し、すなわち、入力画像に対して直接にアルゴリズムを適用し、カテゴリおよび対応する位置を出力することである。
【0032】
一例示的な実施形態において、前記評価結果に基づいて最適な第１目標検出モデルを決定するステップは、
第２所定回数内で最大のＭＡＰに対応する第１目標検出モデルを最適な第１目標検出モデルとして決定することを含んでもよい。
第２所定回数内で最大のＭＡＰに対応する第１目標検出モデルを最適な第１目標検出モデルとして決定することを含んでもよい。
【0033】
ステップＳ３：前記現在の第１目標検出モデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算する。
【0034】
一例示的な実施形態において、前記現在の第１目標検出モデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算するステップは、
【0035】
ステップＳ４：前記目標検出タスク報奨であるｒｅｗａｒｄに基づいて前記ＮＡＳのネットワークモデルを探索するためのパラメータを調整する。
【0036】
一例示的な実施形態において、前記ｒｅｗａｒｄに基づいて前記ＮＡＳのネットワークモデルを探索するためのパラメータを調整するステップは、
前記ｒｅｗａｒｄを前記ＲＮＮのコントローラにフィードバックし、
前記ｒｅｗａｒｄを前記ＲＮＮのコントローラにフィードバックし、
【0037】
ここで、ＮＡＳのネットワークモデルに用いられるパラメータは、ＲＮＮのコントローラの訓練可能なパラメータを含んでもよい。
【0038】
ステップＳ５：ステップＳ１～Ｓ４を第２所定回数で繰り返し、評価結果に基づいて最適な第１目標検出モデルを決定する。
【0039】
一例示的な実施形態において、前記評価結果に基づいて最適な第１目標検出モデルを決定するステップは、
第２所定回数内で最大のＭＡＰに対応する第１目標検出モデルを最適な第１目標検出モデルとして決定することを含んでもよい。
第２所定回数内で最大のＭＡＰに対応する第１目標検出モデルを最適な第１目標検出モデルとして決定することを含んでもよい。
【0040】
一例示的な実施形態において、前記評価結果に基づいて最適な第１目標検出モデルを決定した後、
訓練セットを用いて評価結果が最適な第１目標検出モデルを訓練し、前記訓練された後の評価結果が最適な第１目標検出モデルをテストセットでテストするステップを含んでもよい。
訓練セットを用いて評価結果が最適な第１目標検出モデルを訓練し、前記訓練された後の評価結果が最適な第１目標検出モデルをテストセットでテストするステップを含んでもよい。
【0041】
【0042】
ステップ２０１：入力を初期化する。
【0043】
入力を初期化するステップは、ハイパーパラメータを構成することと、データセットをデータベースに読み込むことと、を含む。ここで、ハイパーパラメータは、サブネットワークのハイパーパラメータとコントローラのハイパーパラメータとを含んでもよい。このうち、サブネットワークのハイパーパラメータは、主に、サブネットワークの層数、セル分岐数、モデル学習率に関連するパラメータ、出力チャネル数などを含む。サブネットワークの層数とはセルの個数であり、サブネットワーク学習率に関するパラメータとは、例えば、指数関数的減衰における減衰率、減衰ステップなどである。上記データセットは、訓練セット、検証セット及びテストセットを含んでよい。
【0044】
ステップ２０２：ＲＮＮネットワークをコントローラとして使用し、サブネットワークの構造コードを標本抽出し出力する。
【0045】
ステップ２０３：デコーダによりＮＡＳのネットワークモデルを出力し、Ｙｏｌｏ３の出力部分を融合し、Ｙｏｌｏ３－ＮＡＳモデルを形成させる。
【0046】
図３に示すように、現在のＹｏｌｏ３はＤａｒｋｎｅｔ－５３であるネットワーク構造を採用して画像特徴を抽出し、検出部分では、ＦＰＮ （ ｆｅａｔｕｒｅ ｐｙｒａｍｉｄ ｎｅｔｗｏｒｋｓ ）の考え方を参考にした。
【0047】
図４に示すように、本発明はＹｏｌｏ３における特徴抽出ネットワークであるＤａｒｋｎｅｔ－５３を自動探索で生成するＮＡＳネットワーク（ ｎｏｒｍａｌ ｃｅｌｌとｒｅｄｕｃｅ ｃｅｌｌとの重ね）に置き替え、ＮＡＳのネットワークモデルの完全な接続層を除去し、ＮＡＳのネットワークモデルの複数の出力端末に１＊１畳み込みを加えることにより、Ｙｏｌｏの検出出力部分と融合してＹｏｌｏ３－ＮＡＳモデルを形成させる。なお、本実施形態では、Ｙｏｌｏ３を基礎として説明するが、実際の応用では、Ｙｏｌｏ３に限定されるものではなく、他の目標検出モデルもこのように変形することができる。
【0048】
ステップ２０４：訓練セットでＹｏｌｏ３－ＮＡＳモデルを訓練し、予め設定された訓練回数に達した後、検証セットを通じてＹｏｌｏ３－ＮＡＳモデルを検証し、評価結果を出力する。
【0049】
ここで、評価結果は、平均精度ＭＡＰを用いて評価することができる。ＭＡＰ評価は従来技術であり、ここでは詳しい説明を省略する。
【0050】
ステップ２０５：Ｙｏｌｏ３－ＮＡＳモデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算する。
【0051】
ここで、報奨（ｒｅｗａｒｄ）の計算式は、
【0052】
ステップ２０６：ｒｅｗａｒｄをコントローラにフィードバックし、当該コントローラの訓練可能パラメータを更新する。
【0053】
【0054】
【0055】
ステップ２０７：上記ステップ２０２～２０６を所定回数繰り返し、該所定回数において、評価結果が最大のものを、探索された最適なサブネットワークモデルとして、即ち、前記ＮＡＳのネットワークモデルと第２目標検出モデルの検出部分とを融合し得たモデルとして、再訓練し、テストセットでその最終的な効果をテストする。
【0056】
本発明は、目標検出を最適なモデルを自動的に探索する方式に変更することにより、異なるタスクに応じて異なるモデルを探索することができ、これにより、対象を絞った方法で検出効果を向上させることができる。
【0057】
図５は、本発明の実施形態に係る目標検出モデルの自動モデリング装置を示す図である。図５に示すように、本実施形態に係る自動モデリング装置は、メモリとプロセッサを含み、
前記メモリは、目標検出モデルの自動モデリングためのプログラムを保存するために用いられ、
前記プロセッサは、前記目標検出モデルの自動モデリングためのプログラムを読み取り実行することをために用いられ、以下の動作を実行し、
予め定められた第１ニューラルネットワークに基づいて、ニューラルネットワーク構造探索であるＮＡＳのネットワークモデルを探索するステップＳ１と、
訓練セットを用いて第１目標検出モデルを訓練し、訓練回数が第１所定回数に達した後、検証セットを用いて現在の第１目標検出モデルを評価し、評価結果を出力し、ここで、前記第１目標検出モデルは、前記ＮＡＳのネットワークモデルと第２目標検出モデルの検出部分とを融合し得たモデルである、ステップＳ２と、
前記現在の第１目標検出モデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算するステップＳ３と、
前記目標検出タスク報奨であるｒｅｗａｒｄに基づいて前記ＮＡＳのネットワークモデルを探索するためのパラメータを調整するステップＳ４と、
ステップＳ１～Ｓ４を第２所定回数で繰り返し、評価結果に基づいて最適な第１目標検出モデルを決定するステップと、を含む。
前記メモリは、目標検出モデルの自動モデリングためのプログラムを保存するために用いられ、
前記プロセッサは、前記目標検出モデルの自動モデリングためのプログラムを読み取り実行することをために用いられ、以下の動作を実行し、
予め定められた第１ニューラルネットワークに基づいて、ニューラルネットワーク構造探索であるＮＡＳのネットワークモデルを探索するステップＳ１と、
訓練セットを用いて第１目標検出モデルを訓練し、訓練回数が第１所定回数に達した後、検証セットを用いて現在の第１目標検出モデルを評価し、評価結果を出力し、ここで、前記第１目標検出モデルは、前記ＮＡＳのネットワークモデルと第２目標検出モデルの検出部分とを融合し得たモデルである、ステップＳ２と、
前記現在の第１目標検出モデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算するステップＳ３と、
前記目標検出タスク報奨であるｒｅｗａｒｄに基づいて前記ＮＡＳのネットワークモデルを探索するためのパラメータを調整するステップＳ４と、
ステップＳ１～Ｓ４を第２所定回数で繰り返し、評価結果に基づいて最適な第１目標検出モデルを決定するステップと、を含む。
【0058】
好ましくは、前記第1ニューラルネットワークは、循環ニューラルネットワークであるＲＮＮである。
【0059】
好ましくは、ステップＳ１は、
予め構成されたハイパーパラメータに基づいて、循環ニューラルネットワークであるＲＮＮのコントローラによって標本抽出し、サブネットワーク構造コードを取得し、ここで、前記ハイパーパラメータは、サブネットワークのハイパーパラメータ、コントローラのハイパーパラメータを含み、サブネットワークのハイパーパラメータは、サブネットワークの層数、セル分岐数、サブネットワーク学習率に関するパラメータ、出力チャネル数を含み、コントローラのハイパーパラメータは、コントローラ学習率に関するパラメータ、オプティマイザの構成パラメータを含む、ステップＳ１１と、
前記サブネットワーク構造コードをデコーダでデコードし、ＮＡＳのネットワークモデルを出力するステップＳ１２と、を含む。
予め構成されたハイパーパラメータに基づいて、循環ニューラルネットワークであるＲＮＮのコントローラによって標本抽出し、サブネットワーク構造コードを取得し、ここで、前記ハイパーパラメータは、サブネットワークのハイパーパラメータ、コントローラのハイパーパラメータを含み、サブネットワークのハイパーパラメータは、サブネットワークの層数、セル分岐数、サブネットワーク学習率に関するパラメータ、出力チャネル数を含み、コントローラのハイパーパラメータは、コントローラ学習率に関するパラメータ、オプティマイザの構成パラメータを含む、ステップＳ１１と、
前記サブネットワーク構造コードをデコーダでデコードし、ＮＡＳのネットワークモデルを出力するステップＳ１２と、を含む。
【0060】
好ましくは、前記ＮＡＳのネットワークモデルは、完全な接続層を有しないＮＡＳネットワークである。
【0061】
好ましくは、前記ＮＡＳネットワークと第１目標検出モデルの検出部分との融合は、
前記ＮＡＳのネットワークモデルの複数の異なるスケールの出力端末が、それぞれ１つの１＊１畳み込み層に接続され、前記１＊１畳み込み層の出力を、前記第２目標検出モデルの検出部分の入力とする。
前記ＮＡＳのネットワークモデルの複数の異なるスケールの出力端末が、それぞれ１つの１＊１畳み込み層に接続され、前記１＊１畳み込み層の出力を、前記第２目標検出モデルの検出部分の入力とする。
【0062】
好ましくは、前記プロセッサは、前記目標検出モデルの自動モデリングためのプログラムを読み取り実行することをために用いられ、以下の動作を実行し、
前記評価結果に基づいて最適な第１目標検出モデルを決定した後、訓練セットを用いて評価結果が最適な第１目標検出モデルを訓練し、前記訓練された後の評価結果が最適な第１目標検出モデルをテストセットでテストする。
前記評価結果に基づいて最適な第１目標検出モデルを決定した後、訓練セットを用いて評価結果が最適な第１目標検出モデルを訓練し、前記訓練された後の評価結果が最適な第１目標検出モデルをテストセットでテストする。
【0063】
好ましくは、前記第２目標検出モデルは、Ｙｏｌｏを含む。
【0064】
好ましくは、検証セットを用いて現在の第１目標検出モデルを評価するステップは、
検証セットを用いて、現在の第１目標検出モデルに対して平均精度ＭＡＰ評価を行うことを含む。
検証セットを用いて、現在の第１目標検出モデルに対して平均精度ＭＡＰ評価を行うことを含む。
【0065】
好ましくは、 前記評価結果に基づいて最適な第１目標検出モデルを決定するステップは、
第２所定回数内で最大のＭＡＰに対応する第１目標検出モデルを最適な第１目標検出モデルとして決定することを含む。
第２所定回数内で最大のＭＡＰに対応する第１目標検出モデルを最適な第１目標検出モデルとして決定することを含む。
【0066】
好ましくは、前記現在の第１目標検出モデルに対応する目標検出タスク報奨であるｒｅｗａｒｄを計算するステップは、
【0067】
好ましくは、前記ｒｅｗａｒｄに基づいて前記ＮＡＳのネットワークモデルを探索するためのパラメータを調整するステップは、
前記ｒｅｗａｒｄを前記ＲＮＮのコントローラにフィードバックし、
前記ｒｅｗａｒｄを前記ＲＮＮのコントローラにフィードバックし、
【0068】
当業者は、上述の方法のステップの全部または一部は、読み取り専用メモリ、磁気ディスク、または光ディスクなどのコンピュータ可読記憶媒体に記憶されてもよいプログラムによって、関連するハードウェアに実行するように命令されてもよいことを理解するであろう。オプションとして、上述の実施形態のステップの全部または一部は、1つまたは複数の集積回路を使用して実施されてもよい。従って、上述の実施形態における各モジュール/ユニットは、ハードウェアの形態で実現されてもよいし、ソフトウェア機能モジュールの形態で実現されてもよい。本発明は、ハードウェアおよびソフトウェアのいずれの特定の形態の組み合わせにも限定されない。
【0069】
以上、本発明の好ましい実施形態のみである。もちろん、本発明は、他にも様々な実施形態を有していてもよく、当業者であれば、本発明の精神及びその本質を逸脱することなく、本発明に応じて様々な変更及び変形を行うことができるが、これらの変更及び変形はすべて本発明に添付された請求項の保護範囲に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【国際調査報告】