(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】ニューラルネットワーク及びその訓練方法
(51)【国際特許分類】
G06N 3/045 20230101AFI20241001BHJP
G06N 3/08 20230101ALI20241001BHJP
G06N 20/00 20190101ALI20241001BHJP
G06T 7/00 20170101ALI20241001BHJP
【ＦＩ】
G06N3/045
G06N3/08
G06N20/00
G06T7/00 350C
【請求項の数】
10
(21)【出願番号】P 2021034929
(22)【出願日】2021-03-05
(65)【公開番号】P2021168114
(43)【公開日】2021-10-21
【審査請求日】2023-11-09
(31)【優先権主張番号】202010271823.3
(32)【優先日】2020-04-08
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】ジャン・ホォイガン
(72)【発明者】
【氏名】汪 留安
(72)【発明者】
【氏名】孫 俊
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０１９－６７４０７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０３４７８２８（ＵＳ，Ａ１）
【文献】中国特許出願公開第１１０９４２４４６（ＣＮ，Ａ）
【文献】中国特許出願公開第１１０９２９６８５（ＣＮ，Ａ）
【文献】中国特許出願公開第１１０８０７３７２（ＣＮ，Ａ）
【文献】福田裕大, 外2名，“単一画像からの深度推定へのＦｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋの導入による精度向上”，映像情報メディア学会技術報告，日本，（一社）映像情報メディア学会，2019年06月06日，第43巻, 第16号，p.23-28
【文献】Golnaz Ghaisi, 外3名，"NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection"，[online]，2019年04月16日， [検索日 2024.08.16], インターネット＜ＵＲＬ：https://arxiv.org/pdf/1904.07392＞
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０４５
Ｇ０６Ｎ ３／０８
Ｇ０６Ｎ ２０／００
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
ニューラルネットワークを訓練する方法であって、前記ニューラルネットワークは、画像中の対象の検出のために用いられ、また、バックボーンネットワーク、特徴ネットワーク及び予測モジュールを含み、
前記特徴ネットワークは、第一モジュール及び第二モジュールを含み、
前記方法は、
前記バックボーンネットワークが、サンプル画像に対して処理を行い、異なるサイズのＮ個の第一特徴を出力し；
前記特徴ネットワークの第一モジュールが、前記バックボーンネットワークから出力される、サイズが最も小さい第一特徴に基づいてＮ－１回の逆畳み込み操作を行い、異なるサイズのＮ個の第二特徴を出力し；
前記特徴ネットワークの第二モジュールが、前記バックボーンネットワークから出力されるＮ個の第一特徴に対して合併処理を行い、異なるサイズのＮ個の第三特徴を出力し；
前記Ｎ個の第二特徴のうちの各々と、前記Ｎ個の第三特徴のうちの、同じサイズを有する対応する１つの第三特徴との組み合わせを行い、異なるサイズのＮ個の第四特徴を生成し、前記Ｎ個の第四特徴に対してそれぞれ異なる回数の畳み込み操作を行い；
前記予測モジュールが、前記Ｎ個の第四特徴に基づいて予測を行い、また、第一損失を計算し；
前記予測モジュールが、畳み込み操作後に得られた特徴に基づいて予測を行い、また、第二損失を計算し；及び
前記第一損失と前記第二損失との組み合わせに基づいて、前記バックボーンネットワーク、前記特徴ネットワーク及び前記予測モジュールの設定を最適化することにより、前記ニューラルネットワークを訓練することを含む、方法。
【請求項2】
請求項１に記載の方法であって、前記特徴ネットワークの第一モジュールにより出力されるＮ個の第二特徴は、サイズが最も小さい前記第一特徴、及び毎回逆畳み込み操作を実行した後に得られた特徴を含む、方法。
【請求項3】
請求項１に記載の方法であって、前記特徴ネットワークの第二モジュールが、ｉ＋１番目の第一特徴に対して、双線形補間及び畳み込み操作を含む処理を行い、また、ｉ番目の第一特徴と処理済みのｉ＋１番目の第一特徴との合併処理を行うことを更に含み、
ここで、ｉ＝１、２、…、Ｎ－１である、方法。
【請求項4】
請求項１に記載の方法であって、前記第四特徴のサイズの増大に伴い、前記第四特徴に対して行われる畳み込み操作の回数が減少する、方法。
【請求項5】
請求項１に記載の方法であって、前記第一損失及び前記第二損失のうちの各々が回帰損失及び分類損失を含む、方法。
【請求項6】
請求項１に記載の方法であって、前記バックボーンネットワークが複数の層を含み、且つ各層のチャネルが、数が等しい２つの部分に分けられ、
前記方法は、
前記２つの部分のうちの各部分のチャネルに対して、畳み込み操作、チャネル拡張及びチャネル減縮を含む処理を行い、また、前記２つの部分の処理済みのチャネルを組み合わせて次の１つの層に入力することを更に含む、方法。
【請求項7】
請求項６に記載の方法であって、各層の各部分のチャネルに対して、処理済みのチャネルと未処理のチャネルとの和を求め、該部分の出力を取得し；及び
前記２つの部分の出力を組み合わせて前記次の１つの層に入力することを更に含む、方法。
【請求項8】
請求項７に記載の方法であって、前記２つの部分のうちの各部分のチャネルに対して行われる処理はＳＥブロック（Ｓｑｕｅｅｚｅ－ａｎｄ－Ｅｘｃｉｔａｔｉｏｎ ｂｌｏｃｋ）の追加を更に含む、方法。
【請求項9】
請求項８に記載の方法であって、前記バックボーンネットワークの各層について、
チャネル拡張倍率、畳み込みカーネルサイズ、処理済みのチャネルと未処理のチャネルとの和を求めるか、及びＳＥブロックを追加するか
のうちの少なくとも１つを設定する、方法。
【請求項10】
請求項６に記載の方法であって、前記バックボーンネットワークの複数の層により、異なるサイズの複数の特徴を生成し；
前記複数の特徴の中のサブセットを選択し、前記サブセットの中の、サイズが最も小さい特定特徴を確定し；
前記特定特徴に対して処理を行い、サイズが前記特定特徴のサイズよりも小さい１つ又は複数の特徴を生成し；及び
前記サブセットの中の特徴、及びサイズが前記特定特徴のサイズよりも小さい前記１つ又は複数の特徴により、前記バックボーンネットワークから出力されるＮ個の第一特徴を構成することを更に含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワーク及びその訓練方法に関し、特に、対象（ｏｂｊｅｃｔ）検出のためのニューラルネットワークモデル及び対応する訓練方法に関する。
【背景技術】
【0002】
今のところ、スマートフォンの普及に伴い、人々が科学技術によってもたらされる利便性を享受しつつある。これはまた、ある程度、人工知能技術の継続的な開発を刺激している。人工智能は、往々にして、特定の効果を達成するために、多くの計算能力を要する。しかし、モバイルプラットフォームのハードウェアの処理能力が通常制限されているから、多くの成熟したアルゴリズムをスマートフォンに展開して適用することができない。
【0003】
そのため、研究者が小さなモデルの実現を探求し始めた。近年、多くの効率的なアーキテクチャ、例えば、非特許文献１に記載のＰｅｌｅｅ、非特許文献２に記載のＳｈｕｆｆｌｅＮｅｔＶ２及び非特許文献３に記載のＭｏｂｉｌｅＮｅｔＶ３が提案されている。これらのモデルは、モバイルプラットフォームのリアルタイム性を満足し得るが、精度を向上させる余地がまだある。特に、検出タスクの場合、小さなモデルの精度損失は、分類タスクの場合の精度損失よりもはるかに大きくなる。
【0004】
周知のように、検出タスクはコンピュータビジョンの基礎研究であり、それは広く研究され、実際に適用されている。従来の大多数のターゲット検出モデルは、画像分類のために設計されるネットワークをバックボーンとして使用し、また、開発者は、検出器について様々な特徴表現を開発している。
【0005】
一般的に言えば、従来の検出モデルは、通常、以下のような欠点がある。
【0006】
１）検出モデルが大量の手作業及び事前知識に依存しており、良好な検出精度が取得され得るが、リアルタイムタスクには適しておらず；
２）人工設計の小さなモデル又は剪定モデルによってリアルタイム問題に対処し得るが、これらのモデルのバックボーンが分類タスクのために設計されるネットワークからのものであるため、精度は往々にして高くない。
２）人工設計の小さなモデル又は剪定モデルによってリアルタイム問題に対処し得るが、これらのモデルのバックボーンが分類タスクのために設計されるネットワークからのものであるため、精度は往々にして高くない。
【先行技術文献】
【非特許文献】
【0007】
【文献】Ｗａｎｇ、Ｒ．Ｊ．，Ｌｉ、Ｘ．，Ａｏ、Ｓ．，Ｌｉｎｇ、Ｃ．Ｘ．：Ｐｅｌｅｅ：Ａ ｒｅａｌ－ｔｉｍｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｓｙｓｔｅｍ ｏｎ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１８０４．０６８８２（２０１８）
【文献】Ｎｉｎｇｎｉｎｇ Ｍａ、Ｘｉａｎｇｙｕ Ｚｈａｎｇ、Ｈａｉ－Ｔａｏ Ｚｈｅｎｇ、ａｎｄ Ｊｉａｎ Ｓｕｎ．Ｓｈｕｆｆｌｅｎｅｔ ｖ２：Ｐｒａｃｔｉｃａｌ ｇｕｉｄｅｌｉｎｅｓ ｆｏｒ ｅｆｆｉｃｉｅｎｔ ｃｎｎ ａｒｃｈｉｔｅｃｔｕｒｅ ｄｅｓｉｇｎ．Ｉｎ ＥＣＣＶ、２０１８
【文献】Ｈｏｗａｒｄ、Ａ．，Ｓａｎｄｌｅｒ、Ｍ．，Ｃｈｕ、Ｇ．，Ｃｈｅｎ、Ｌ．－Ｃ．，Ｃｈｅｎ、Ｂ．，Ｔａｎ、Ｍ．，Ｗａｎｇ、Ｗ．，Ｚｈｕ、Ｙ．，Ｐａｎｇ、Ｒ．，Ｖａｓｕｄｅｖａｎ、Ｖ．，ｅｔ ａｌ．Ｓｅａｒｃｈｉｎｇ ｆｏｒ ｍｏｂｉｌｅｎｅｔｖ３．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１９０５．０２２４４、２０１９
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の発明者は、エンドツーエンドの検出モデルが検出タスクに必要且つ効率的であることを発見した。これに基づいて、本発明の目的は、リソースが限られるプラットフォームに適したエンドツーエンドの検出モデル及び対応する訓練方法を提供することにある。
【課題を解決するための手段】
【0009】
本発明の一側面によれば、ニューラルネットワークを訓練する方法が提供され、そのうち、前記ニューラルネットワークは画像中の対象の検出のために用いられ、且つバックボーンネットワーク、特徴ネットワーク及び予測モジュールを含み、前記特徴ネットワークは第一モジュール及び第二モジュールを含み、前記方法は、
前記バックボーンネットワークがサンプル画像に対して処理を行い、且つ異なるサイズのＮ個の第一特徴を出力し；
前記特徴ネットワークの第一モジュールが、前記バックボーンネットワークから出力される、サイズが最も小さい第一特徴に基づいてＮ－１回の逆畳み込み操作を行い、且つ異なるサイズのＮ個の第二特徴を出力し；
前記特徴ネットワークの第二モジュールが、前記バックボーンネットワークから出力されるＮ個の第一特徴に対して合併を行い、且つ異なるサイズのＮ個の第三特徴を出力し；
前記Ｎ個の第二特徴のうちの各々と、前記Ｎ個の第三特徴のうちの、同じサイズを有する対応する１つとを組み合わせることで異なるサイズのＮ個の第四特徴を生成し、且つ前記Ｎ個の第四特徴に対してそれぞれ異なる回数の畳み込み操作を行い；
前記予測モジュールが前記Ｎ個の第四特徴に基づいて予測を行い、且つ第一損失を計算し；
前記予測モジュールが畳み込み操作後に得られた特徴に基づいて予測を行い、且つ第二損失を計算し；及び
前記第一損失と前記第二損失との組み合わせに基づいて、前記バックボーンネットワーク、前記特徴ネットワーク及び前記予測モジュールの設定を最適化することにより、前記ニューラルネットワークを訓練することを含む。
前記バックボーンネットワークがサンプル画像に対して処理を行い、且つ異なるサイズのＮ個の第一特徴を出力し；
前記特徴ネットワークの第一モジュールが、前記バックボーンネットワークから出力される、サイズが最も小さい第一特徴に基づいてＮ－１回の逆畳み込み操作を行い、且つ異なるサイズのＮ個の第二特徴を出力し；
前記特徴ネットワークの第二モジュールが、前記バックボーンネットワークから出力されるＮ個の第一特徴に対して合併を行い、且つ異なるサイズのＮ個の第三特徴を出力し；
前記Ｎ個の第二特徴のうちの各々と、前記Ｎ個の第三特徴のうちの、同じサイズを有する対応する１つとを組み合わせることで異なるサイズのＮ個の第四特徴を生成し、且つ前記Ｎ個の第四特徴に対してそれぞれ異なる回数の畳み込み操作を行い；
前記予測モジュールが前記Ｎ個の第四特徴に基づいて予測を行い、且つ第一損失を計算し；
前記予測モジュールが畳み込み操作後に得られた特徴に基づいて予測を行い、且つ第二損失を計算し；及び
前記第一損失と前記第二損失との組み合わせに基づいて、前記バックボーンネットワーク、前記特徴ネットワーク及び前記予測モジュールの設定を最適化することにより、前記ニューラルネットワークを訓練することを含む。
【0010】
本発明の他の側面によれば、画像中の対象の検出に用いられるニューラルネットワークが提供され、前記ニューラルネットワークはバックボーンネットワーク、特徴ネットワーク及び予測モジュールを含む。前記特徴ネットワークは第一モジュール及び第二モジュールを含む。前記バックボーンネットワークはサンプル画像に対して処理を行い、且つ異なるサイズのＮ個の第一特徴を出力する。前記特徴ネットワークの第一モジュールは、前記バックボーンネットワークから出力される、サイズが最も小さい第一特徴に基づいて、Ｎ－１回の逆畳み込み操作を行い、且つ異なるサイズのＮ個の第二特徴を出力する。前記特徴ネットワークの第二モジュールは、前記バックボーンネットワークから出力されるＮ個の第一特徴に対して合併を行い、且つ異なるサイズのＮ個の第三特徴を出力する。前記Ｎ個の第二特徴のうちの各々が、前記Ｎ個の第三特徴のうちの、同じサイズを有する対応する１つと組み合わせられ、異なるサイズのＮ個の第四特徴を生成し、前記Ｎ個の第四特徴に対してそれぞれ異なる回数の畳み込み操作が行われる。前記予測モジュールは、前記Ｎ個の第四特徴に基づいて予測を行い、且つ第一損失を計算し、及び、畳み込み操作後に得られた特徴に基づいて予測を行い、且つ第二損失を計算する。前記ニューラルネットワークは、前記第一損失と前記第二損失との組み合わせに基づいて訓練される。
【0011】
本発明の他の側面によれば、ニューラルネットワークを訓練する装置が提供され、そのうち、前記ニューラルネットワークは画像中の対象の検出のために用いられ、且つバックボーンネットワーク、特徴ネットワーク及び予測モジュールを含み、前記特徴ネットワークは第一モジュール及び第二モジュールを含む。前記バックボーンネットワークは、サンプル画像に対して処理を行い、且つ異なるサイズのＮ個の第一特徴を出力する。前記特徴ネットワークの第一モジュールは、前記バックボーンネットワークから出力される、サイズが最も小さい第一特徴に基づいてＮ－１回の逆畳み込み操作を行い、且つ異なるサイズのＮ個の第二特徴を出力する。前記特徴ネットワークの第二モジュールは、前記バックボーンネットワークから出力されるＮ個の第一特徴に対して合併を行い、且つ異なるサイズのＮ個の第三特徴を出力する。前記Ｎ個の第二特徴のうちの各々が、前記Ｎ個の第三特徴のうちの、同じサイズを有する対応する１つと組み合わせられ、異なるサイズのＮ個の第四特徴を生成し、前記Ｎ個の第四特徴に対してそれぞれ異なる回数の畳み込み操作が行われる。前記予測モジュールは、前記Ｎ個の第四特徴に基づいて予測を行い、且つ第一損失を計算し、及び、畳み込み操作後に得られた特徴に基づいて予測を行い、且つ第二損失を計算する。前記装置は、１つ又は複数の処理器を含み、前記処理器は、前記第一損失と前記第二損失との組み合わせに基づいて、前記バックボーンネットワーク、前記特徴ネットワーク及び前記予測モジュールの設定を最適化することにより前記ニューラルネットワークを訓練するように構成される。
【0012】
本発明の他の側面によれば、プログラムを記憶した記憶媒体が提供され、前記プログラムは、実行されるときに、コンピュータに、ニューラルネットワークを訓練するための方法を実行させる。そのうち、前記ニューラルネットワークは画像中の対象の検出のために用いられ、且つバックボーンネットワーク、特徴ネットワーク及び予測モジュールを含み、前記特徴ネットワークは第一モジュール及び第二モジュールを含む。前記バックボーンネットワークはサンプル画像に対して処理を行い、且つ異なるサイズのＮ個の第一特徴を出力する。前記特徴ネットワークの第一モジュールは、前記バックボーンネットワークから出力される、サイズが最も小さい第一特徴に基づいて、Ｎ－１回の逆畳み込み操作を行い、且つ異なるサイズのＮ個の第二特徴を出力する。前記特徴ネットワークの第二モジュールは、前記バックボーンネットワークから出力されるＮ個の第一特徴に対して合併を行い、且つ異なるサイズのＮ個の第三特徴を出力する。前記Ｎ個の第二特徴のうちの各々が、前記Ｎ個の第三特徴のうちの、同じサイズを有する対応する１つと組み合わせられ、異なるサイズのＮ個の第四特徴を生成し、前記Ｎ個の第四特徴に対してそれぞれ異なる回数の畳み込み操作が実行される。前記予測モジュールは、前記Ｎ個の第四特徴に基づいて予測を行い、且つ第一損失を計算し、及び、畳み込み操作後に得られた特徴に基づいて予測を行い、且つ第二損失を計算する。前記方法は、前記第一損失と前記第二損失との組み合わせに基づいて、前記バックボーンネットワーク、前記特徴ネットワーク及び前記予測モジュールの設定を最適化することにより前記ニューラルネットワークを訓練することを含む。
【図面の簡単な説明】
【0013】
【図1】本発明による対象検出モデルのアーキテクチャを示す図である。
【図2】バックボーンネットワークのアーキテクチャを示す図である。
【図3】畳み込みユニットを示す図である。
【図4】特徴ネットワーク及びターゲット予測モジュールのアーキテクチャを示す図である。
【図5】特徴ネットワークの第二モジュールにより実行される合併処理を示す図である。
【図6】本発明の実施例による対象検出モデルの訓練方法のフローチャートである。
【図7】本発明を実現し得るコンピュータハードウェアの例示的なブロック図である。
【発明を実施するための形態】
【0014】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳細に説明する。なお、以下の実施例は、例示に過ぎず、本発明を限定するものでない。
【0015】
図１は、本発明による対象検出モデルのアーキテクチャを示す図である。該対象検出モデルは、ニューラルネットワークにより実現され得る。図１に示すように、対象検出モデルは、バックボーンネットワーク１１０、特徴ネットワーク１２０及び予測モジュール１３０を含む。バックボーンネットワーク１１０は、検出モデルの基礎ネットワークを構成し、特徴ネットワーク１２０は、特徴表現を抽出するために用いられ、ターゲット予測モジュール１３０は、抽出された特徴表現を用いて対象検出を行う。
【0016】
また、検出モデルに入力される画像は、統一したサイズを有するように調整されても良く、例えば、３２０×３２０に調整され得る。予測モジュール１３０は例えば、３×３畳み込み操作からなっても良く、且つ最終的には、境界枠及びクラスラベルが付く出力画像を出力し、境界枠は、検出された対象の位置を指示し、クラスラベルは、該対象の属するクラスを指示する。
【0017】
図２は、バックボーンネットワークのアーキテクチャを例示的に示す図である。図２に示すように、本発明によるバックボーンネットワークは例えば、１７個の層を含むが、本発明はこれに限定されない。第１層がバックボーン層であり、それは所定ステップ長の畳み込み操作を実行し、例えば、ステップ長が２である３×３畳み込み操作を行う。第２層～第１７層のうちの各層がすべて図３に示す畳み込みユニットからなるが、畳み込みユニットの設定の面において第２層～第１７層は互いに異なっても良い。
【0018】
図３に示すように、現在の層が１つ前の層の出力を受信し、且つこれに対してチャネルのランダム混合を行い、その後、チャネルを、数が等しい２つの部分に均等に分け、２つのブランチを形成する。この２つのブランチにおいて同じ処理が行われ、且つ計算を並列して実行することができるので、シングルブランチの畳み込み層に比較して、処理時間を節約することができる。各ブランチでは、次のような操作を順次実行し、即ち、（１）１×１畳み込み操作であり、且つその後、チャネル数に対して所定倍数の増加、即ち、チャネル拡張を行い；（２）Ｋ×Ｋ深層畳み込み操作であり；（３）１×１畳み込み操作であり、且つその後、チャネル数に対して同じ倍数の減少、即ち、チャネル減縮を行うことで、チャネル数が操作（１）における最初の数になるようにさせる。最後に、２つのブランチのそれぞれの出力に対してカスケード接続を行って次の１つの層に出力する。
【0019】
図３に示す畳み込みユニットは、異なる層において異なる設定を有しても良い。具体的に言えば、次のようなもののうちの少なくとも１つが設定されても良く、即ち、チャネル拡張倍率、深層畳み込みのカーネルのサイズ、処理済みのチャネルと未処理のチャネルとの加算（和）を行うか、及びＳＥブロック（Ｓｑｕｅｅｚｅ－ａｎｄ－Ｅｘｃｉｔａｔｉｏｎ ｂｌｏｃｋ）を追加するかである。１つの例として、事前知識に基づいて最適な組み合わせを得ることができる。
【0020】
例えば、チャネル拡大倍率が１、３又は６であり、深層畳み込みのカーネルのサイズが３×３又は５×５であっても良い。また、図３に示されていないが、より高い精度を得るために、或る層又は幾つかの層の畳み込みユニットにＳＥブロックを追加しても良い。このような場合、深層畳み込みと１×１畳み込み（チャネル減縮）との間にＳＥブロックを追加しても良い。
【0021】
また、図３に示すように、各ブランチでは、畳み込みを経たチャネルと、未処理のチャネルとの和を求めることで、該ブランチの出力を生成し、図中の「ショートカット」が付く矢印及び“加算”を示す符号（＋）により示されるようである。しかし、この設定は変えることができる。例えば、現在の層と１つ前の層との間にチャネルの変化又は特徴サイズの変化があったときに、このような加算処理を行わない。言い換えると、このような場合、図３の中の「ショートカット」が付く矢印及び“加算”符号（＋）を除去し、畳み込みを経たチャネルのみを対応するブランチの出力とする。
【0022】
【0023】
図１に示すように、バックボーンネットワーク１１０の出力は特徴ネットワーク１２０の入力である。ＦＰＮ（ｆｅａｔｕｒｅ ｐｙｒａｍｉｄ ｎｅｔｗｏｒｋ）が画像中の異なるサイズの対象の処理に適したので、本発明ではＦＰＮ作を基本特徴構造として使用する。そのため、本発明は、バックボーンネットワーク１１０の各層（第１層～第１７層）の出力に基づいて第一特徴を生成し、該第一特徴は、バックボーンネットワーク１１０の出力として特徴ネットワーク１２０に入力される。
【0024】
以下、１つの例を挙げて第一特徴の生成を説明する。該例では、バックボーンネットワーク１１０の第５層、第１２層、第１７層により出力される特徴を選択し、これらの特徴を｛ｆ１、ｆ２、ｆ３｝と定義する。特徴ｆ１、ｆ２、ｆ３は異なるサイズを有し、例えば、それぞれは４０×４０、２０×２０、１０×１０であり、そのうち、特徴ｆ３のサイズが最も小さい。その後、特徴ｆ３に対してステップ長が２及び４である最大プーリング操作をそれぞれ行うことで、サイズがより小さい別の２つの特徴ｆ４及びｆ５を取得する。取得された５つの異なるサイズの特徴｛ｆ１、ｆ２、ｆ３、ｆ４、ｆ５｝により第一特徴を構成し、そして、特徴ネットワーク１２０に入力する。なお、本発明はこの例に限られず、他の方法を採用して第一特徴を生成することもできる。例えば、第５層、第１２層、第１７層以外の他の層から出力される特徴を選択しても良く、あるいは、第一特徴に含まれる特徴の数を変えても良い。
【0025】
図４は、特徴ネットワーク及びターゲット予測モジュールのアーキテクチャを例示的に示す図である。図４に示すように、特徴ネットワークは第一モジュール４１０及び第二モジュール４２０を含み、且つバックボーンネットワークからの第一特徴Ｆ１を受信する。第一特徴Ｆ１には、異なるサイズのＮ個（図では例示的に５つが示されている）の特徴が含まれる。
【0026】
第一モジュール４１０は、第一特徴Ｆ１の中のサイズが最も小さい特徴ｆ５に基づいてＮ－１回（４回）の逆畳み込み操作を実行し、１組の新しい特徴（第二特徴Ｆ２と表される）を生成する。具体的に言えば、まず、特徴ｆ５に対して第一回の逆畳み込み操作を実行し、その後、第一回の逆畳み込み操作後に得られた特徴に対して第二回の逆畳み込み操作を実行し、このような方式で、トータルでＮ－１回の逆畳み込み操作を実行する。例えば、生成される第二特徴Ｆ２には、特徴ｆ５、及び４回の逆畳み込み操作により生成される４つの特徴が含まれる。
【0027】
第二モジュール４２０は、第一特徴Ｆ１に含まれる複数の特徴に対して合併を行い、１組の新しい特徴（第三特徴Ｆ３と表れる）を生成する。図５は、合併処理を行う方法を示す図である。図５に示すように、ｉ＋１番目の特徴とｉ番目の特徴との合併を実行し、そのうち、ｉ＝１、２、…、Ｎ－１であり、且つｉ＋１番目の特徴のサイズがｉ番目の特徴のサイズよりも小さい。まず、ｉ＋１番目の特徴に対して、双線形補間及び畳み込み操作を含む処理を実行する。双線形補間は、ｉ＋１番目の特徴に対してアップサンプリングを行うことで、そのサイズをｉ番目の特徴と同じように変更するために用いられる。畳み込み操作は、この２つの特徴のチャネルの正規化を実現するために用いられる。それから、ｉ番目の特徴と処理済みのｉ＋１番目の特徴との合併を行い、新しいｉ番目の特徴を取得する。その後、取得された新しいｉ番目の特徴と、オリジナルなｉ－１番目の特徴とに対して図５に示す合併処理を行うことにより、新しいｉ－１番目の特徴を取得する。
【0028】
上述の方式によりＮ－１個の新しい特徴を生成することができる。その後、第二モジュール４２０は、これらの新しい特徴のうちの、サイズが最も小さいＮ－１番目の新しい特徴に対して最大プーリング操作を行い、Ｎ番目の新しい特徴を得る。該Ｎ番目の新しい特徴のサイズがＮ－１番目の新しい特徴のサイズよりも小さい。ここまで、Ｎ個の新しい特徴が生成されており、それらは、第二モジュール４２０の出力、即ち、第三特徴Ｆ３を構成する。
【0029】
第一モジュール４１０及び第二モジュール４２０は、処理を並列して実行することにより、効率を向上させることができる。その後、第一モジュール４１０により出力される第二特徴Ｆ２と、第二モジュール４２０により出力される第三特徴Ｆ３とに対してカスケード接続を行うことで、インハンス（ｅｎｈａｎｃｅ）された多尺度（マルチスケール）特徴、即ち、第四特徴Ｆ４を取得する。より具体的には、第二特徴Ｆ２に含まれる各特徴と、第三特徴Ｆ３の中の同じサイズを有する特徴とのカスケード接続を行うことにより、Ｎ個の特徴を含む第四特徴Ｆ４を生成する。
【0030】
図４は、５つの特徴｛ｐ１、ｐ２、ｐ３、ｐ４、ｐ５｝を含む第四特徴Ｆ４を示す図である。予測モジュール１３０は、第四特徴Ｆ４に基づいて予測を行い、且つ第一損失を計算する。なお、これは当業者にとって既知であるため、本文ではその詳しい処理を省略する。
【0031】
一方、第四特徴Ｆ４に含まれる特徴ｐ１、ｐ２、ｐ３、ｐ４、ｐ５に対してそれぞれ異なる回数の畳み込み操作（例えば、３×３畳み込み）を行い、予測モジュール１３０は、畳み込み操作後に得られた特徴に基づいて予測を行い、且つ第二損失を計算する。より具体的には、特徴のサイズの増大に伴い、それに対して行われる畳み込み操作の回数が減少する。この面において、図４では、サイズが最も大きい特徴ｐ１に対して畳み込み操作を行わず、サイズが次第に減少する特徴ｐ２～ｐ５に対してそれぞれ１回～４回の畳み込みを行うことを例示的に示している。なお、本発明は図４に示す例に限定されない。
【0032】
尺度が比較的大きい特徴に対して畳み込み操作を実行することにより比較的大きい計算量が生じるため、効率の低下を来すことがある。よって、本発明では、比較的大きいサイズの特徴に対して比較的少ない回数の畳み込み計算を行い、比較的小さいサイズの特徴に対して比較的多い回数の畳み込み計算を行うことにより、正確率と効率との間の良好なバランスをとることができる。
【0033】
取得された第一損失及び第二損失は、図１に示す対象検出モデルの訓練に用いられる。具体的に言えば、予測モジュール１３０は例えば、３×３畳み込みを用いてそれぞれ回帰表現及び和分類表現を計算する。モデル評価の面において、例えば、回帰損失法及び焦点損失法を採用することができる。回帰損失（ＲＬＯＳＳ）は、境界枠の検出に関する損失を表し、焦点損失（ＦＬＯＳＳ）は、クラスラベルに関する損失を表す。なお、焦点損失は、分類損失のうちの１つの種類であり、本文では、焦点損失を重点的に説明しているが、本発明では、他の分類損失を使用しても良い。
【0034】
第一損失は回帰損失ＲＬＯＳＳ１及び焦点損失ＦＬＯＳＳ１を含み、第二損失は回帰損失ＲＬＯＳＳ２及び焦点損失ＦＬＯＳＳ２を含む。よって、検出モデルｍに対して訓練を行うときに、以下の式（１）で表す損失関数を採用することができる。
【数1】
【0035】
損失関数ＬＯＳＳ（ｍ）を最小化することにより、バックボーンネットワーク１１０、特徴ネットワーク１２０及び予測モジュール１３０の検出モデルの設定パラメータを最適化し、良好な検出精度を取得することができる。
【0036】
図６は、本発明による対象検出モデルの訓練方法のフローチャート。図６に示すように、ステップＳ６１０において、バックボーンネットワーク１１０が、入力される画像に対して処理を行い、第一特徴Ｆ１を生成して出力する。第一特徴Ｆ１は、異なるサイズのＮ個の特徴、例えば、上述した｛ｆ１、ｆ２、ｆ３、ｆ４、ｆ５｝を含む。
【0037】
ステップＳ６２０において、特徴ネットワーク１２０の第一モジュール４１０が、バックボーンネットワーク１１０により出力される第一特徴Ｆ１のうちの、サイズが最も小さい特徴（例えば、特徴ｆ５）に基づいてＮ－１回の逆畳み込み操作を行い、第二特徴Ｆ２を生成する。第二特徴Ｆ２は、該サイズが最も小さい特徴、及び毎回逆畳み込み操作実行後に得られた特徴を含む。
【0038】
ステップＳ６３０において、特徴ネットワーク１２０の第二モジュール４２０が、バックボーンネットワーク１１０により出力される第一特徴Ｆ１のうちのＮ個の特徴に対して合併を行い、第三特徴Ｆ３を生成する。なお、合併処理の方法については、前述の図５に関する説明を参照することができる。
【0039】
ステップＳ６４０において、サイズの等級（ｇｒａｄｅ）に従って、第二特徴Ｆ２と第三特徴Ｆ３との組み合わせを行い、第四特徴Ｆ４を生成する。第四特徴Ｆ４は、異なるサイズのＮ個の特徴、例えば、上述した｛ｐ１、ｐ２、ｐ３、ｐ４、ｐ５｝を含む。
【0040】
ステップＳ６５０において、第四特徴Ｆ４の中の各特徴に対してそれぞれ異なる回数の畳み込み操作を行う。特に、特徴のサイズの増大に伴い、それに対して行われる畳み込み操作の回数が減少する。
【0041】
ステップＳ６６０において、予測モジュール１３０が、畳み込み操作を経ていない第四特徴Ｆ４に基づいて予測を行い、且つ第一損失を計算する。また、予測モジュール１３０は更に、畳み込み操作後に得られた特徴に基づいて予測を行い、且つ第二損失を計算する。
【0042】
ステップＳ６７０において、上述の式（１）に示す損失関数に基づいて対象検出モデルを訓練し、バックボーンネットワーク１１０、特徴ネットワーク１２０及び予測モジュール１３０の設定を最適化する。
【0043】
以上、具体的な実施例をもとに本発明で提案されるエンドツーエンドの対象検出モデル及びその訓練方法について説明した。従来のモデルに比較して、本発明による検出モデルは少なくとも以下のような利点を有する。
【0044】
・この検出モデルは、小型プラットフォーム上の検出タスクのために特別に設計されるものであり；
・モデルのアーキテクチャの設計では、機器の並列処理能力を十分に考慮しており、データ流を同時に処理することができ；
・バックボーンネットワークの各層（バックボーン層以外の各層）では、畳み込みカーネルのサイズ及びチャネルの数を柔軟に設定している。各層においてすべて固定した畳み込みカーネルサイズ及び固定したチャネル数を用いるモデルに比べて、より高い精度を得ることができ；
・精度と効率との間の良好なバランスを実現することができる。
・モデルのアーキテクチャの設計では、機器の並列処理能力を十分に考慮しており、データ流を同時に処理することができ；
・バックボーンネットワークの各層（バックボーン層以外の各層）では、畳み込みカーネルのサイズ及びチャネルの数を柔軟に設定している。各層においてすべて固定した畳み込みカーネルサイズ及び固定したチャネル数を用いるモデルに比べて、より高い精度を得ることができ；
・精度と効率との間の良好なバランスを実現することができる。
【0045】
上述の実施例に記載の方法は、ソフトウェア、ハードウェア、あるいは、ソフトウェア及びハードウェアの組み合わせにより実現され得る。ソフトウェアに含まれるプログラムは、予め、機器の内部又は外部に設置される記憶媒体に格納することができる。１つの例として、実行時に、これらのプログラムは、ＲＯＭに書き込まれ、且つ処理器（例えば、ＣＰＵ）により実行されることにより、本文に記載の各種の方法及び処理を実現することができる。
【0046】
図７は、プログラムに基づいて、本発明による方法を実行するコンピュータハードウェア（汎用ＰＣ７００）の構成ブロック図である。該コンピュータハードウェアは、本発明における検出モデル訓練用の装置の１つの例である。また、本発明の検出モデルにおけるバックボーンネットワーク、特徴ネットワーク及び予測モジュールは、該コンピュータハードウェアを用いて実現することもできる。
【0047】
汎用ＰＣ７００は、例えば、コンピュータシステムであっても良い。なお、汎用ＰＣ７００は、例示に過ぎず、本発明による方法及び装置の適用範囲又は機能は、これに限定されない。また、汎用ＰＣ７００は、上述の方法及び装置における任意のモジュールやアセンブリなどあるいはその組み合わせにも依存しない。
【0048】
図７では、中央処理装置（ＣＰＵ）７０１は、ＲＯＭ７０２に記憶されているプログラム又は記憶部７０８からＲＡＭ７０３にロッドされているプログラムに基づいて各種の処理を行うことができる。ＲＡＭ７０３では、ニーズに応じて、ＣＰＵ７０１が各種の処理を行うときに必要なデータなどを記憶することもできる。ＣＰＵ７０１、ＲＯＭ７０２及びＲＡＭ７０３は、バス７０４を経由して互いに接続され得る。入力／出力インターフェース７０５もバス７０４に接続され得る。
【0049】
また、入力／出力インターフェース７０５には、さらに、次のような部品が接続され、即ち、キーボードなどを含む入力部７０６、液晶表示器（ＬＣＤ）などのような表示器及びスピーカーなどを含む出力部７０７、ハードディスクなどを含む記憶部７０８、ネットワーク・インターフェース・カード、例えば、ＬＡＮカード、モデムなどを含む通信部７０９である。通信部７０９は、例えば、インターネット、ＬＡＮなどのネットワークを経由して通信処理を行う。ドライブ７１０は、ニーズに応じて、入力／出力インターフェース７０５に接続されても良い。取り外し可能な媒体７１１、例えば、半導体メモリなどは、必要に応じて、ドライブ７１０にセットされることにより、その中から読み取られたコンピュータプログラムを記憶部７０８にインストールすることができる。
【0050】
また、本発明は、さらに、マシン可読指令コードを含むプログラムプロダクトを提供する。このような指令コードは、マシンにより読み取られて実行されるときに、上述の本発明の実施例における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリー（Ｃａｒｒｙ）する、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（ＣＤ－ＲＯＭ及びＤＶＤを含む）、光磁気ディスク（ＭＤ（登録商標）を含む）、及び半導体記憶器などの各種記憶媒体も本発明に含まれる。
【0051】
上述の記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含んでも良いが、これらに限定されない。
【0052】
また、上述の方法における各操作（処理）は、各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムの方式で実現することもできる。
【0053】
また、以上の実施例などに関しては、さらに以下のように付記として開示する。
【0054】
（付記１）
ニューラルネットワークを訓練する方法であって、
前記ニューラルネットワークは画像中の対象の検出のために用いられ、且つバックボーンネットワーク、特徴ネットワーク及び予測モジュールを含み、前記特徴ネットワークは第一モジュール及び第二モジュールを含み、前記方法は、
前記バックボーンネットワークが、サンプル画像に対して処理を行い、且つ異なるサイズのＮ個の第一特徴を出力し；
前記特徴ネットワークの第一モジュールが、前記バックボーンネットワークから出力される、サイズが最も小さい第一特徴に基づいてＮ－１回の逆畳み込み操作を実行し、且つ異なるサイズのＮ個の第二特徴を出力し；
前記特徴ネットワークの第二モジュールが、前記バックボーンネットワークから出力されるＮ個の第一特徴に対して合併を行い、且つ異なるサイズのＮ個の第三特徴を出力し；
前記Ｎ個の第二特徴のうちの各々と、前記Ｎ個の第三特徴のうちの同じサイズを有する対応する１つとを組み合わせることで、異なるサイズのＮ個の第四特徴を生成し、且つ前記Ｎ個の第四特徴に対してそれぞれ異なる回数の畳み込み操作を実行し；
前記予測モジュールが前記Ｎ個の第四特徴に基づいて予測を行い、且つ第一損失を計算し；
前記予測モジュールが畳み込み操作後に得られた特徴に基づいて予測を行い、且つ第二損失を計算し；及び
前記第一損失と前記第二損失との組み合わせに基づいて、前記バックボーンネットワーク、前記特徴ネットワーク及び前記予測モジュールの設定を最適化することにより、前記ニューラルネットワークを訓練することを含む、方法。
ニューラルネットワークを訓練する方法であって、
前記ニューラルネットワークは画像中の対象の検出のために用いられ、且つバックボーンネットワーク、特徴ネットワーク及び予測モジュールを含み、前記特徴ネットワークは第一モジュール及び第二モジュールを含み、前記方法は、
前記バックボーンネットワークが、サンプル画像に対して処理を行い、且つ異なるサイズのＮ個の第一特徴を出力し；
前記特徴ネットワークの第一モジュールが、前記バックボーンネットワークから出力される、サイズが最も小さい第一特徴に基づいてＮ－１回の逆畳み込み操作を実行し、且つ異なるサイズのＮ個の第二特徴を出力し；
前記特徴ネットワークの第二モジュールが、前記バックボーンネットワークから出力されるＮ個の第一特徴に対して合併を行い、且つ異なるサイズのＮ個の第三特徴を出力し；
前記Ｎ個の第二特徴のうちの各々と、前記Ｎ個の第三特徴のうちの同じサイズを有する対応する１つとを組み合わせることで、異なるサイズのＮ個の第四特徴を生成し、且つ前記Ｎ個の第四特徴に対してそれぞれ異なる回数の畳み込み操作を実行し；
前記予測モジュールが前記Ｎ個の第四特徴に基づいて予測を行い、且つ第一損失を計算し；
前記予測モジュールが畳み込み操作後に得られた特徴に基づいて予測を行い、且つ第二損失を計算し；及び
前記第一損失と前記第二損失との組み合わせに基づいて、前記バックボーンネットワーク、前記特徴ネットワーク及び前記予測モジュールの設定を最適化することにより、前記ニューラルネットワークを訓練することを含む、方法。
【0055】
（付記２）
付記１に記載の方法であって、
前記特徴ネットワークの第一モジュールにより出力されるＮ個の第二特徴は、サイズが最も小さい前記第一特徴、及び毎回逆畳み込み操作を実行した後に得られた特徴を含む、方法。
付記１に記載の方法であって、
前記特徴ネットワークの第一モジュールにより出力されるＮ個の第二特徴は、サイズが最も小さい前記第一特徴、及び毎回逆畳み込み操作を実行した後に得られた特徴を含む、方法。
【0056】
（付記３）
付記１に記載の方法であって、更に、
前記特徴ネットワークの第二モジュールが、ｉ＋１番目の第一特徴に対して、双線形補間及び畳み込み操作を含む処理を行い、且つｉ番目の第一特徴と処理済みのｉ＋１番目の第一特徴との合併を行うことを含み、
そのうち、ｉ＝１、２、…、Ｎ－１である、方法。
付記１に記載の方法であって、更に、
前記特徴ネットワークの第二モジュールが、ｉ＋１番目の第一特徴に対して、双線形補間及び畳み込み操作を含む処理を行い、且つｉ番目の第一特徴と処理済みのｉ＋１番目の第一特徴との合併を行うことを含み、
そのうち、ｉ＝１、２、…、Ｎ－１である、方法。
【0057】
（付記４）
付記１に記載の方法であって、更に、
前記特徴ネットワークの第二モジュールが、ｉ＋１番目の第一特徴に対して、双線形補間及び畳み込み操作を含む処理を行い、且つｉ番目の第一特徴と処理済みのｉ＋１番目の第一特徴との合併を行い、ｉ番目の第三特徴を取得し、そのうち、ｉ＝１、２、…、Ｎ－１であり；及び
前記第二モジュールが、Ｎ－１番目の第三特徴に対して最大プーリング操作を行い、Ｎ番目の第三特徴を取得することを含む、方法。
付記１に記載の方法であって、更に、
前記特徴ネットワークの第二モジュールが、ｉ＋１番目の第一特徴に対して、双線形補間及び畳み込み操作を含む処理を行い、且つｉ番目の第一特徴と処理済みのｉ＋１番目の第一特徴との合併を行い、ｉ番目の第三特徴を取得し、そのうち、ｉ＝１、２、…、Ｎ－１であり；及び
前記第二モジュールが、Ｎ－１番目の第三特徴に対して最大プーリング操作を行い、Ｎ番目の第三特徴を取得することを含む、方法。
【0058】
（付記５）
付記１に記載の方法であって、
前記第四特徴のサイズの増大に伴い、それに対して行われる畳み込み操作の回数が減少する、方法。
付記１に記載の方法であって、
前記第四特徴のサイズの増大に伴い、それに対して行われる畳み込み操作の回数が減少する、方法。
【0059】
（付記６）
付記１に記載の方法であって、
前記第一損失及び前記第二損失のうちの各々が回帰損失及び分類損失を含む、方法。
付記１に記載の方法であって、
前記第一損失及び前記第二損失のうちの各々が回帰損失及び分類損失を含む、方法。
【0060】
（付記７）
付記１に記載の方法であって、
前記バックボーンネットワークが複数の層を含み、且つ各層のチャネルが、数が等しい２つの部分に分けられ、
前記方法は、更に
前記２つの部分のうちの各部分のチャネルに対して、畳み込み、チャネル拡張及びチャネル減縮を含む処理を行い、且つ前記２つの部分の処理済みのチャネルを組み合わせて次の１つの層に入力することを含む、方法。
付記１に記載の方法であって、
前記バックボーンネットワークが複数の層を含み、且つ各層のチャネルが、数が等しい２つの部分に分けられ、
前記方法は、更に
前記２つの部分のうちの各部分のチャネルに対して、畳み込み、チャネル拡張及びチャネル減縮を含む処理を行い、且つ前記２つの部分の処理済みのチャネルを組み合わせて次の１つの層に入力することを含む、方法。
【0061】
（付記８）
付記７に記載の方法であって、更に、
各層の各部分のチャネルに対して、処理済みのチャネルと未処理のチャネルとの和を求め、該部分の出力を取得し；及び
前記２つの部分の出力を組み合わせて前記次の１つの層に入力することを含む、方法。
付記７に記載の方法であって、更に、
各層の各部分のチャネルに対して、処理済みのチャネルと未処理のチャネルとの和を求め、該部分の出力を取得し；及び
前記２つの部分の出力を組み合わせて前記次の１つの層に入力することを含む、方法。
【0062】
（付記９）
付記８に記載の方法であって、
前記２つの部分のうちの各部分のチャネルに対して行われる処理は更にＳＥブロックの追加を含む、方法。
付記８に記載の方法であって、
前記２つの部分のうちの各部分のチャネルに対して行われる処理は更にＳＥブロックの追加を含む、方法。
【0063】
（付記１０）
付記９に記載の方法であって、
前記バックボーンネットワークの各層について、チャネル拡張倍率、畳み込みカーネルサイズ、処理済みのチャネルと未処理のチャネルとの和を求めるか、及びＳＥブロックを追加するかのうちの少なくとも１つを設定する、方法。
付記９に記載の方法であって、
前記バックボーンネットワークの各層について、チャネル拡張倍率、畳み込みカーネルサイズ、処理済みのチャネルと未処理のチャネルとの和を求めるか、及びＳＥブロックを追加するかのうちの少なくとも１つを設定する、方法。
【0064】
（付記１１）
付記７に記載の方法であって、更に、
前記バックボーンネットワークの複数の層により異なるサイズの複数の特徴を生成し；
前記複数の特徴の中のサブセットを選択し、且つ前記サブセットの中のサイズが最も小さい特定特徴を確定し；
前記特定特徴に対して処理を行い、サイズが前記特定特徴よりも小さい１つ又は複数の特徴を生成し；及び
前記サブセットの中の特徴、及びサイズが前記特定特徴よりも小さい前記１つ又は複数の特徴により、前記バックボーンネットワークから出力されるＮ個の第一特徴を構成することを含む、方法。
付記７に記載の方法であって、更に、
前記バックボーンネットワークの複数の層により異なるサイズの複数の特徴を生成し；
前記複数の特徴の中のサブセットを選択し、且つ前記サブセットの中のサイズが最も小さい特定特徴を確定し；
前記特定特徴に対して処理を行い、サイズが前記特定特徴よりも小さい１つ又は複数の特徴を生成し；及び
前記サブセットの中の特徴、及びサイズが前記特定特徴よりも小さい前記１つ又は複数の特徴により、前記バックボーンネットワークから出力されるＮ個の第一特徴を構成することを含む、方法。
【0065】
（付記１２）
画像中の対象の検出のために用いられるニューラルネットワークであって、
前記ニューラルネットワークは、
バックボーンネットワークであって、前記バックボーンネットワークがサンプル画像に対して処理を行い、且つ異なるサイズのＮ個の第一特徴を出力する、もの；
特徴ネットワークであって、前記特徴ネットワークが第一モジュール及び第二モジュールを含み、前記第一モジュールが、前記バックボーンネットワークから出力される、サイズが最も小さい第一特徴に基づいてＮ－１回の逆畳み込み操作を実行し、且つ異なるサイズのＮ個の第二特徴を出力し、前記第二モジュールが、前記バックボーンネットワークから出力されるＮ個の第一特徴に対して合併を行い、且つ異なるサイズのＮ個の第三特徴を出力し、そのうち、前記Ｎ個の第二特徴のうちの各々が前記Ｎ個の第三特徴のうちの同じサイズを有する対応する１つと組み合わせられることで、異なるサイズのＮ個の第四特徴を生成し、前記Ｎ個の第四特徴に対してそれぞれ異なる回数の畳み込み操作が行われる、もの；及び
予測モジュールであって、前記予測モジュールが前記Ｎ個の第四特徴に基づいて予測を行い、且つ第一損失を計算し、及び、畳み込み操作後に得られた特徴に基づいて予測を行い、且つ第二損失を計算する、ものを含み、
そのうち、前記ニューラルネットワークは前記第一損失と前記第二損失との組み合わせに基づいて訓練される、ニューラルネットワーク。
画像中の対象の検出のために用いられるニューラルネットワークであって、
前記ニューラルネットワークは、
バックボーンネットワークであって、前記バックボーンネットワークがサンプル画像に対して処理を行い、且つ異なるサイズのＮ個の第一特徴を出力する、もの；
特徴ネットワークであって、前記特徴ネットワークが第一モジュール及び第二モジュールを含み、前記第一モジュールが、前記バックボーンネットワークから出力される、サイズが最も小さい第一特徴に基づいてＮ－１回の逆畳み込み操作を実行し、且つ異なるサイズのＮ個の第二特徴を出力し、前記第二モジュールが、前記バックボーンネットワークから出力されるＮ個の第一特徴に対して合併を行い、且つ異なるサイズのＮ個の第三特徴を出力し、そのうち、前記Ｎ個の第二特徴のうちの各々が前記Ｎ個の第三特徴のうちの同じサイズを有する対応する１つと組み合わせられることで、異なるサイズのＮ個の第四特徴を生成し、前記Ｎ個の第四特徴に対してそれぞれ異なる回数の畳み込み操作が行われる、もの；及び
予測モジュールであって、前記予測モジュールが前記Ｎ個の第四特徴に基づいて予測を行い、且つ第一損失を計算し、及び、畳み込み操作後に得られた特徴に基づいて予測を行い、且つ第二損失を計算する、ものを含み、
そのうち、前記ニューラルネットワークは前記第一損失と前記第二損失との組み合わせに基づいて訓練される、ニューラルネットワーク。
【0066】
（付記１３）
ニューラルネットワークを訓練する装置であって、
前記ニューラルネットワークは画像中の対象の検出のために用いられ、且つバックボーンネットワーク、特徴ネットワーク及び予測モジュールを含み、前記特徴ネットワークは第一モジュール及び第二モジュールを含み、
前記バックボーンネットワークは、サンプル画像に対して処理を行い、且つ異なるサイズのＮ個の第一特徴を出力し、
前記特徴ネットワークの第一モジュールは、前記バックボーンネットワークから出力される、サイズが最も小さい第一特徴に基づいてＮ－１回の逆畳み込み操作を実行し、且つ異なるサイズのＮ個の第二特徴を出力し、
前記特徴ネットワークの第二モジュールは、前記バックボーンネットワークから出力されるＮ個の第一特徴に対して合併を行い、且つ異なるサイズのＮ個の第三特徴を出力し、
前記Ｎ個の第二特徴のうちの各々と、前記Ｎ個の第三特徴のうちの同じサイズを有する対応する１つとの組み合わせを行い、異なるサイズのＮ個の第四特徴を生成し、前記Ｎ個の第四特徴に対してそれぞれ異なる回数の畳み込み操作を行い、
前記予測モジュールは前記Ｎ個の第四特徴に基づいて予測を行い、且つ第一損失を計算し、及び、畳み込み操作後に得られた特徴に基づいて予測を行い、且つ第二損失を計算し、
前記装置は、１つ又は複数の処理器を含み、前記処理器は、前記第一損失と前記第二損失との組み合わせに基づいて、前記バックボーンネットワーク、前記特徴ネットワーク及び前記予測モジュールの設定を最適化することにより、前記ニューラルネットワークを訓練するように構成される、装置。
ニューラルネットワークを訓練する装置であって、
前記ニューラルネットワークは画像中の対象の検出のために用いられ、且つバックボーンネットワーク、特徴ネットワーク及び予測モジュールを含み、前記特徴ネットワークは第一モジュール及び第二モジュールを含み、
前記バックボーンネットワークは、サンプル画像に対して処理を行い、且つ異なるサイズのＮ個の第一特徴を出力し、
前記特徴ネットワークの第一モジュールは、前記バックボーンネットワークから出力される、サイズが最も小さい第一特徴に基づいてＮ－１回の逆畳み込み操作を実行し、且つ異なるサイズのＮ個の第二特徴を出力し、
前記特徴ネットワークの第二モジュールは、前記バックボーンネットワークから出力されるＮ個の第一特徴に対して合併を行い、且つ異なるサイズのＮ個の第三特徴を出力し、
前記Ｎ個の第二特徴のうちの各々と、前記Ｎ個の第三特徴のうちの同じサイズを有する対応する１つとの組み合わせを行い、異なるサイズのＮ個の第四特徴を生成し、前記Ｎ個の第四特徴に対してそれぞれ異なる回数の畳み込み操作を行い、
前記予測モジュールは前記Ｎ個の第四特徴に基づいて予測を行い、且つ第一損失を計算し、及び、畳み込み操作後に得られた特徴に基づいて予測を行い、且つ第二損失を計算し、
前記装置は、１つ又は複数の処理器を含み、前記処理器は、前記第一損失と前記第二損失との組み合わせに基づいて、前記バックボーンネットワーク、前記特徴ネットワーク及び前記予測モジュールの設定を最適化することにより、前記ニューラルネットワークを訓練するように構成される、装置。
【0067】
（付記１４）
プログラムを記憶した記憶媒体であって、
前記プログラムは、実行されるときに、コンピュータに、ニューラルネットワークを訓練するための方法を実行させ、
そのうち、前記ニューラルネットワークは、画像中の対象の検出のために用いられ、且つバックボーンネットワーク、特徴ネットワーク及び予測モジュールを含み、
前記特徴ネットワークは第一モジュール及び第二モジュールを含み、
前記バックボーンネットワークはサンプル画像に対して処理を行い、且つ異なるサイズのＮ個の第一特徴を出力し、
前記特徴ネットワークの第一モジュールは前記バックボーンネットワークから出力される、サイズが最も小さい第一特徴に基づいてＮ－１回の逆畳み込み操作を実行し、且つ異なるサイズのＮ個の第二特徴を出力し、
前記特徴ネットワークの第二モジュールは前記バックボーンネットワークから出力されるＮ個の第一特徴に対して合併を行い、且つ異なるサイズのＮ個の第三特徴を出力し、
前記Ｎ個の第二特徴のうちの各々が、前記Ｎ個の第三特徴のうちの同じサイズを有する対応する１つと組み合わせられ、異なるサイズのＮ個の第四特徴を生成し、前記Ｎ個の第四特徴に対してそれぞれ異なる回数の畳み込み操作が行われ、
前記予測モジュールは、前記Ｎ個の第四特徴に基づいて予測を行い、且つ第一損失を計算し、及び、畳み込み操作後に得られた特徴に基づいて予測を行い、且つ第二損失を計算し、
そのうち、前記方法は、前記第一損失と前記第二損失との組み合わせに基づいて、前記バックボーンネットワーク、前記特徴ネットワーク及び前記予測モジュールの設定を最適化することにより、前記ニューラルネットワークを訓練することを含む、記憶媒体。
プログラムを記憶した記憶媒体であって、
前記プログラムは、実行されるときに、コンピュータに、ニューラルネットワークを訓練するための方法を実行させ、
そのうち、前記ニューラルネットワークは、画像中の対象の検出のために用いられ、且つバックボーンネットワーク、特徴ネットワーク及び予測モジュールを含み、
前記特徴ネットワークは第一モジュール及び第二モジュールを含み、
前記バックボーンネットワークはサンプル画像に対して処理を行い、且つ異なるサイズのＮ個の第一特徴を出力し、
前記特徴ネットワークの第一モジュールは前記バックボーンネットワークから出力される、サイズが最も小さい第一特徴に基づいてＮ－１回の逆畳み込み操作を実行し、且つ異なるサイズのＮ個の第二特徴を出力し、
前記特徴ネットワークの第二モジュールは前記バックボーンネットワークから出力されるＮ個の第一特徴に対して合併を行い、且つ異なるサイズのＮ個の第三特徴を出力し、
前記Ｎ個の第二特徴のうちの各々が、前記Ｎ個の第三特徴のうちの同じサイズを有する対応する１つと組み合わせられ、異なるサイズのＮ個の第四特徴を生成し、前記Ｎ個の第四特徴に対してそれぞれ異なる回数の畳み込み操作が行われ、
前記予測モジュールは、前記Ｎ個の第四特徴に基づいて予測を行い、且つ第一損失を計算し、及び、畳み込み操作後に得られた特徴に基づいて予測を行い、且つ第二損失を計算し、
そのうち、前記方法は、前記第一損失と前記第二損失との組み合わせに基づいて、前記バックボーンネットワーク、前記特徴ネットワーク及び前記予測モジュールの設定を最適化することにより、前記ニューラルネットワークを訓練することを含む、記憶媒体。
【0068】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】