特許 7593532 モデル訓練装置、モデル訓練方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】モデル訓練装置、モデル訓練方法、およびプログラム

(51)【国際特許分類】

   G06N 3/08 20230101AFI20241126BHJP

   G06N 3/0464 20230101ALI20241126BHJP

【ＦＩ】

G06N3/08

G06N3/0464

【請求項の数】 7

(21)【出願番号】P 2024518938

(86)(22)【出願日】2021-10-07

(65)【公表番号】

(43)【公表日】2024-09-20

(86)【国際出願番号】 JP2021037108

(87)【国際公開番号】W WO2023058181

(87)【国際公開日】2023-04-13

【審査請求日】2024-03-26

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】バギャニー ダーシット

【審査官】今城 朋彬

(56)【参考文献】

【文献】ZHAO, Qijie et al.，M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyramid Network，arXiv [online]，2019年01月06日，all 8 pages，https://arxiv.org/pdf/1811.04533

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０８

Ｇ０６Ｎ ３／０４６４

(57)【特許請求の範囲】

【請求項1】

畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練するために過去に使用されたデータセット内のオブジェクトについて、前記オブジェクトを検出するのに必要な前記ＣＮＮモデル内の特徴ピラミッドネットワーク（ＦＰＮ）ブロックの数を計算し、前記オブジェクトについての前記計算されたＦＰＮブロックの数に基づいて、前記ＣＮＮモデル内の前記ＦＰＮブロックの数のパラメータ値を推定するための推定手段と、
前記推定されたパラメータ値を使用することによって前記ＣＮＮモデルを訓練するためのＣＮＮモデル訓練手段と
を備える、モデル訓練装置。

【請求項2】

前記推定手段はさらに、前記ＦＰＮブロックの１つが無効化された状態で前記データセットを前記ＣＮＮモデルに入力することによって、前記オブジェクトが前記ＣＮＮモデルによって検出されるかどうかを決定し、すべての前記ＦＰＮブロックに対して個々に前記決定を実行することによって、前記オブジェクトについての前記ＦＰＮブロックの数を計算する、
請求項１に記載のモデル訓練装置。

【請求項3】

前記推定手段はさらに、前記オブジェクトについての前記ＦＰＮブロックの数の発生率の分布を計算し、前記パラメータ値を推定する、
請求項１または２に記載のモデル訓練装置。

【請求項4】

前記推定手段はさらに、前記分布に基づいて、前記ＦＰＮブロックの数が前記パラメータ値以下である場合、前記オブジェクトが検出される確率を計算し、前記パラメータ値を推定する、
請求項３に記載のモデル訓練装置。

【請求項5】

前記ＣＮＮモデル内の前記ＦＰＮブロックは、前記ＣＮＮモデル内のマルチレベル特徴ピラミッドネットワーク（ＭＬＦＰＮ）ブロックを構成し、
前記推定されたパラメータ値が示すように、前記ＣＮＮモデル訓練手段は、前記ＣＮＮモデル内の前記ＭＬＦＰＮブロックを調整する、
請求項１乃至４のいずれか一項に記載のモデル訓練装置。

【請求項6】

畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練するために過去に使用されたデータセット内のオブジェクトについて、前記オブジェクトを検出するのに必要な前記ＣＮＮモデル内の特徴ピラミッドネットワーク（ＦＰＮ）ブロックの数を計算することと、
前記オブジェクトについての前記計算されたＦＰＮブロックの数に基づいて、前記ＣＮＮモデル内の前記ＦＰＮブロックの数のパラメータ値を推定することと、
前記推定されたパラメータ値を使用することによって前記ＣＮＮモデルを訓練することと
を含む、モデル訓練方法。

【請求項7】

コンピュータに、
畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練するために過去に使用されたデータセット内のオブジェクトについて、前記オブジェクトを検出するのに必要な前記ＣＮＮモデル内の特徴ピラミッドネットワーク（ＦＰＮ）ブロックの数を計算することと、
前記オブジェクトについての前記計算されたＦＰＮブロックの数に基づいて、前記ＣＮＮモデル内の前記ＦＰＮブロックの数のパラメータ値を推定することと、
前記推定されたパラメータ値を使用することによって前記ＣＮＮモデルを訓練することと
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、モデル訓練装置、モデル訓練方法、および非一時的コンピュータ可読媒体に関する。

【背景技術】

【0002】

機械学習の時代において、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）モデルは、視覚解析タスクのための最も顕著な解決策の１つである。大規模な公開データセットに対して高い精度を達成する能力は、ＣＮＮモデルが成功するための重要な理由である。

【0003】

関連技術の例として、特許文献１（ＰＴＬ１）は、ニューラルネットワークの最適解を求めるためのニューラルネットワーク最適化方法を開示しており、ＰＴＬ２は、ニューラルネットワークを使用してディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＮＮ）における認識精度を向上させる演算デバイスを開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２１－１０５９５０号公報

【文献】特開２０２０－１２３２７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特徴ピラミッドネットワーク（Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋ：ＦＰＮ）ブロックは、様々なスケールおよび複雑さのオブジェクトの特徴を抽出することを担当する特徴抽出器ブロックである。いくつかの数のＦＰＮブロックをスタックすることは、高い精度を得るために有益である。しかし、リアルタイムアプリケーションでは、高速を得るために、より少ない数のＦＰＮブロックをスタックすることが有益である。これにより、トレードオフの問題が存在する。

【0006】

本開示の目的は、ＣＮＮモデルの精度と実行速度との間のトレードオフを解決することが可能なモデル訓練装置、モデル訓練方法、および非一時的コンピュータ可読媒体を提供することである。

【課題を解決するための手段】

【0007】

本開示の第１の態様によれば、畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練するために過去に使用されたデータセット内のオブジェクトについて、オブジェクトを検出するのに必要なＣＮＮモデル内の特徴ピラミッドネットワーク（ＦＰＮ）ブロックの数を計算し、オブジェクトについての計算されたＦＰＮブロックの数に基づいて、ＣＮＮモデル内のＦＰＮブロックの数のパラメータ値を推定するための推定手段と、推定されたパラメータ値を使用することによってＣＮＮモデルを訓練するためのＣＮＮモデル訓練手段とを含む、モデル訓練装置が存在する。

【0008】

本開示の第２の態様によれば、畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練するために過去に使用されたデータセット内のオブジェクトについて、オブジェクトを検出するのに必要なＣＮＮモデル内の特徴ピラミッドネットワーク（ＦＰＮ）ブロックの数を計算することと、オブジェクトについての計算されたＦＰＮブロックの数に基づいて、ＣＮＮモデル内のＦＰＮブロックの数のパラメータ値を推定することと、推定されたパラメータ値を使用することによってＣＮＮモデルを訓練することとを含む、モデル訓練方法が存在する。

【0009】

本開示の第３の態様によれば、コンピュータに、畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練するために過去に使用されたデータセット内のオブジェクトについて、オブジェクトを検出するのに必要なＣＮＮモデル内の特徴ピラミッドネットワーク（ＦＰＮ）ブロックの数を計算することと、オブジェクトについての計算されたＦＰＮブロックの数に基づいて、ＣＮＮモデル内のＦＰＮブロックの数のパラメータ値を推定することと、推定されたパラメータ値を使用することによってＣＮＮモデルを訓練することとを実行させるためのプログラムを記憶する、非一時的コンピュータ可読媒体が提供される。

【発明の効果】

【0010】

本開示によれば、ＣＮＮモデルの精度と実行速度との間のトレードオフを解決することが可能なモデル訓練装置、モデル訓練方法、および非一時的コンピュータ可読媒体を提供することができる。

【図面の簡単な説明】

【0011】

【図1】第１の実施の形態によるモデル訓練装置のブロック図の一例を示す図である。

【図2】第１の実施の形態によるモデル訓練装置の方法の一例を示すフローチャートである。

【図3】第２の実施の形態によるＣＮＮモデル訓練システムのブロック図の一例を示す図である。

【図4】第２の実施の形態によるＣＮＮモデルのブロック図の一例を示す図である。

【図5】第２の実施の形態によるＦＰＮブロックの一例を示す図である。

【図6】第２の実施の形態による設計空間縮小器（Ｄｅｓｉｇｎ Ｓｐａｃｅ Ｒｅｄｕｃｅｒ：ＤＳＲ）ユニットのブロック図の一例を示す図である。

【図7A】第２の実施の形態によるＦＰＮ＿１を無効としたＣＮＮモデルのブロック図の一例を示す図である。

【図7B】第２の実施の形態によるＦＰＮ＿ｎを無効としたＣＮＮモデルのブロック図の一例を示す図である。

【図8】第２の実施の形態によるサーベイテーブルの一例を示す図である。

【図9】第２の実施の形態によるカーディナリティテーブルの一例を示す図である。

【図10】第２の実施の形態によるＣＮＮモデル訓練システムの全体プロセスの一例を示すフローチャートである。

【図11A】第２の実施の形態によるサーベイテーブル生成器ユニットのプロセスの一例を示すフローチャートである。

【図11B】第２の実施の形態によるサーベイテーブル生成器ユニットのプロセスの一例を示すフローチャートである。

【図12】第２の実施の形態による最適候補推定（Ｏｐｔｉｍａｌ Ｃａｎｄｉｄａｔｅ Ｅｓｔｉｍａｔｉｏｎ：ＯＣＥ）ユニットのプロセスの一例を示すフローチャートである。

【図13】実施形態による情報処理装置のブロック図の一例を示す図である。

【発明を実施するための形態】

【0012】

（関連技術の概要）
本開示による実施形態の説明に先立ち、関連技術の概要について説明する。

【0013】

所与のデータセットに対して高精度のＣＮＮモデルを設計するには、専門知識と大量の時間の両方が必要である。特定のＣＮＮモデルは、いくつかの構成可能パラメータと、各構成可能パラメータについてのいくつかの候補とを有する傾向があり、したがって、この場合、非常に大きな設計空間が必要となる。しかし、そのような大きな設計空間内で徹底的に検索を行うことは、計算上非常に高価である。

【0014】

マルチレベル特徴ピラミッドネットワーク（Ｍｕｌｔｉ－Ｌｅｖｅｌ Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋ：ＭＬＦＰＮ）ブロックは、ＣＮＮモデルの最も重要なブロックの１つである。ＭＬＦＰＮブロックは、複数レベルの特徴ピラミッドネットワーク（ＦＰＮ）ブロックをスタックすることによって形成される。しかし、上記で説明したように、ＣＮＮモデルの精度と実行速度との間にはトレードオフが存在する。

【0015】

また、構成可能パラメータは任意の非負整数値を有することができるため、トレードオフを最適化するために設計空間内のいくつかの候補を探索する必要がある。スタックされるＦＰＮブロックの数は、ＭＬＦＰＮブロック（およびＣＮＮモデル）の重要な構成可能パラメータの１つである。したがって、所与のデータセットについての精度と実行速度のトレードオフを伴って、スタックされるＦＰＮブロックの数のための大きな設計空間を探索することは、最適化問題と呼ぶことができる。

【0016】

ナイーブ解は、設計空間内のすべての候補を網羅的に列挙しているが、大きな算出時間を必要とする。別の解決策は、再施行ベースの最適化であり、最初は少数の候補が試行され、次いでトレイルから取得された知識に基づいて、次の候補がトレイルに対して選択される。しかし、少数の候補を探索するためだけに必要な時間もまた、大きくなる。

【0017】

この関連技術を考慮して、本開示の目的の１つは、ＦＰＮブロックパラメータの数のための空間を検索する時間を短縮することである。１つの具体的な解決策は、データセット内の個々のオブジェクトによるＦＰＮブロック要件のサーベイを実施するために設計空間縮小器（ＤＳＲ）ブロックを用いることであり、サーベイに基づいて、ＦＰＮブロックパラメータの数の推定が行われる。

【0018】

（第１の実施の形態）
まず、図１を参照して、本開示の第１の実施の形態によるモデル訓練装置１００について説明する。

【0019】

図１を参照すると、モデル訓練装置１００は、推定ユニット１０１と、畳み込みニューラルネットワーク（ＣＮＮ）モデル訓練ユニット１０２とを含む。モデル訓練装置１００は、例えば、情報処理装置を有する１つまたは複数のコンピュータまたは機械を含む。一例として、モデル訓練装置１００における構成要素の少なくとも１つは、１つまたは複数のメモリと１つまたは複数のプロセッサの組み合わせとしてコンピュータに搭載され得る。

【0020】

推定ユニット１０１は、ＣＮＮモデルを訓練するために過去に使用されたデータセット内のオブジェクトについて、オブジェクトを検出するのに必要なＣＮＮモデル内のＦＰＮブロックの数を計算する。さらに、推定ユニット１０１は、オブジェクトについての計算されたＦＰＮブロックの数に基づいて、ＣＮＮモデル内のＦＰＮブロックの数のパラメータ値を推定する。

【0021】

データセットは、画像と、ラベルとを含むことができる。画像は、ＣＮＮモデルによって解析されるオブジェクトを含み、ラベルは、グラウンドトゥルース情報を示す。言い換えれば、ラベルは、訓練済みＣＮＮモデルが出力として生成することを意図された予測である。

【0022】

推定ユニット１０１がＦＰＮブロックの数を計算する際に対象とされる複数のオブジェクトは、データセットのオブジェクトのすべてまたは一部であってもよい。

【0023】

ＦＰＮブロックは、限定はしないが、ＭＬＦＰＮ構造、単一ショットマルチボックス検出器（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ：ＳＳＤ）スタイルの特徴ピラミッド構造、またはＦＰＮスタイルの特徴ピラミッド構造にスタックすることができる。第２の実施の形態では、ＭＬＦＰＮブロックを含むＣＮＮモデルの構造の一例について説明する。

【0024】

ＣＮＮモデル訓練ユニット１０２は、推定されたパラメータ値を使用することによってＣＮＮモデルを訓練する。

【0025】

次に、図２のフローチャートを参照して、本実施の形態の動作の一例について説明する。

【0026】

まず、推定ユニット１０１は、畳み込みニューラルネットワーク（ＣＮＮ）モデルを訓練するために過去に使用されたデータセット内のオブジェクトについて、オブジェクトを検出するのに必要なＣＮＮモデル内の特徴ピラミッドネットワーク（ＦＰＮ）ブロックの数を計算する（図２のステップＳ１１）。次に、推定ユニット１０１は、オブジェクトについての計算されたＦＰＮブロックの数に基づいて、ＣＮＮモデル内のＦＰＮブロックの数のパラメータ値を推定する（図２のステップＳ１２）。最後に、ＣＮＮモデル訓練ユニット１０２は、推定されたパラメータ値を使用することによってＣＮＮモデルを訓練する（図２のステップＳ１３）。

【0027】

推定ユニット１０１がオブジェクトを検出するのに必要なＦＰＮブロックの数に基づいてパラメータ値を推定することにより、ＣＮＮモデル訓練ユニット１０２は、ＦＰＮブロックの数が必要最低限になるようにＣＮＮモデルを訓練することができる。したがって、ＣＮＮモデルの精度と実行速度との間のトレードオフを解決することが可能なモデル訓練装置および方法を提供することができる。

【0028】

（第２の実施の形態）
次に、本開示の第２の実施の形態について、添付の図面を参照して以下に説明する。この第２の実施の形態は、第１の実施の形態の具体的な例の１つを示すが、第１の実施の形態の具体的な例は、これに限定されない。

【0029】

図３は、第２の実施の形態によるＣＮＮのモデル訓練システム（以下、モデル訓練システムと呼ばれる）を示す。図３に示すように、モデル訓練システム２００は、ＣＮＮモデル訓練ユニット２１０（以下、モデル訓練ユニットと呼ばれる）、訓練済みＣＮＮモデル２２０（以下、ＣＮＮモデルと呼ばれる）、設計空間縮小器（ＤＳＲ）ユニット２３０、最適化済みＣＮＮモデル２４０などを含む。例えば、ＣＮＮモデル訓練システム２００はまた、後に説明される処理に使用される構成、条件、および閾値を記憶するメモリを備えることができる。また、モデル訓練システム２００は、訓練データセットＴＤを入力とし、ＣＮＮモデル２２０および最適化済みＣＮＮモデル２４０を出力することができる。

【0030】

モデル訓練システム２００は、情報処理装置に搭載されるシステムとして実現することができる。また、モデル訓練システム２００は、算出のための他のユニットを含んでもよい。この実施の形態では、モデル訓練システム２００を画像認識に適用することができるが、適用は、これに限定されない。

【0031】

訓練データセットＴＤは、各画像のラベルと共に画像を含む。画像およびラベルの説明は、第１の実施の形態で説明した通りである。

【0032】

モデル訓練ユニット２１０は、訓練データセットＴＤを入力とし、訓練データセットＴＤおよび予め定義された構成に基づいて元のＣＮＮモデルを構築し、元のＣＮＮモデルの訓練を実行し、訓練の結果、すなわちＣＮＮモデル２２０を出力する。ＣＮＮモデル２２０は、ＤＳＲユニット２３０の入力として使用される。

【0033】

さらに、この第１の訓練後、モデル訓練ユニット２１０は、訓練データセットＴＤおよび最適候補値（ＣＮＮモデルのＦＰＮブロックの数）を入力とし、ＦＰＮブロックの数の値の予め定義された構成ではなく、定義された構成として最適候補値を設定する。最適候補値は、非負整数である。このようにして、モデル訓練ユニット２１０は、新たな最適候補値を用いて新たなＣＮＮモデルを構築し、次に訓練データセットＴＤを使用することによって訓練する。

【0034】

この手順において、モデル訓練ユニット２１０は、新たなＣＮＮモデルの初期重みをＣＮＮモデル２２０のそれに設定してもよい。その後、モデル訓練ユニット２１０は、訓練データセットＴＤを使用した訓練によって、新たなＣＮＮモデルの重みを微調節することが可能である。

【0035】

これにより、モデル訓練ユニット２１０は、精度の損失が最小となるＣＮＮモデル２２０と比較して、速度の点で比較的高い性能を有する最適化済みＣＮＮモデル２４０を出力する。最適候補値情報を生成する方法の詳細については、後述する。

【0036】

図４では、ＣＮＮモデル２２０のブロック図の一例が示されている。ＣＮＮモデル２２０は、図４に示すように、いくつかのバイタルブロック、具体的にはバックボーンブロック２２１、直接和（ｄｉｒｅｃｔ ｓｕｍ）ブロック２２２、マルチレベル特徴ピラミッドネットワーク（ＭＬＦＰＮ）ブロック２２３、および予測器ブロック２２４を備える。ＣＮＮモデル２２０は、訓練データセットＴＤの画像ＩＭを入力とし、それを処理し、画像ＩＭに基づいて出力ＯＵを出力する。

【0037】

ＣＮＮモデル２２０内の各ブロックのアーキテクチャは、所与のデータセットに対して高い精度を達成することを目的として設計される。また、リアルタイムアプリケーションのために、ＣＮＮモデル２２０内のアーキテクチャは、所望の実行速度を達成することを追加の目的として設計される。

【0038】

バックボーンブロック２２１は、バックボーン畳み込みアーキテクチャとして機能し、直接和ブロック２２２は、バックボーンブロック２２１から入力されたデータを統合する。ＭＬＦＰＮブロック２２３は、直接和ブロック２２２から入力されたデータを処理し、処理されたデータを予測器ブロック２２４に出力する。予測器ブロック２２４は、処理されたデータに基づいて画像ＩＭの検出の予測結果を生成し、出力ＯＵとして予測を出力する。

【0039】

ＭＬＦＰＮブロック２２３は、ＣＮＮモデル２２０における重要な構成要素の１つである。図４に示すように、ＭＬＦＰＮブロック２２３は、複数レベルのＦＰＮブロック２２５をスタックすることによって形成されるため、「マルチレベル特徴ピラミッドネットワークブロック」として知られている。図４では、ｎ個のＦＰＮブロック、ＦＰＮ＿１、ＦＰＮ＿２…、ＦＰＮ＿ｎが存在する。

【0040】

ＦＰＮブロックは、様々なスケールおよび複雑さのオブジェクトの特徴を抽出することを担当する特徴抽出器ブロックである。ＦＰＮブロック２２５のサンプル例は、図５に示す通りであるが、これに限定されない。図５は、レイヤＬ１、Ｌ２、Ｌ３、…、Ｌ４、Ｌ５、…、Ｌ６、およびＬ７を含むＦＰＮブロックのアーキテクチャを示す。ボトムアップステップにおけるレイヤＬ１～Ｌ４の各々は、異なるスケールの特徴マップを生成し、トップダウンステップにおけるレイヤＬ５～Ｌ７の各々は、ボトムアップステップにおける対応するレイヤからの特徴マップに基づいて予測を出力する。例えば、レイヤＬ５は、レイヤＬ４からの特徴マップを使用して予測Ｐ１を出力し、レイヤＬ６は、レイヤＬ３からの特徴マップを使用して予測Ｐ２を出力し、レイヤＬ７は、レイヤＬ２からの特徴マップを使用して予測Ｐ３を出力する。１つのＦＰＮブロック２２５のアーキテクチャは、専門家によって最適化することができ、次いでそのような最適化済みＦＰＮブロックは、スタックされることでＭＬＦＰＮブロック２２３を形成する。

【0041】

多数のＦＰＮブロック２２５をスタックすることは、高い精度を得るために有益である。しかし、ＭＬＦＰＮブロック２２３内のＦＰＮブロックのレベルを上げると、ＣＮＮモデルの算出の複雑さが大きくなり、それによってＣＮＮモデルの実行時間が長くなる。大きな実行時間は、リアルタイムアプリケーションでは許容できない。また、より少ない算出の複雑さおよびより少ない実行時間（高速）を享受するためにＣＮＮモデル内の１つまたは少数のレベルのＦＰＮブロックをスタックすることは、低精度をもたらし得る。したがって、トレードオフの問題が存在し、ＭＬＦＰＮブロック２２３内のＦＰＮブロックの数はＣＮＮモデルの重要なパラメータであり、この実施の形態ではＦＰＮカウント値と呼ばれる。所与のリアルタイムアプリケーションおよびデータセットについての精度と算出の複雑さまたは実行時間との間のトレードオフを考慮してＦＰＮカウント値の最適値を決定することは、最適化問題である。この第２の実施の形態は、この問題を解決することができる。

【0042】

ＤＳＲユニット２３０は、訓練データセットＴＤおよびＣＮＮモデル２２０を入力とし、ＣＮＮモデル２２０の解析を実施し、最適候補値（ＣＮＮモデルのＦＰＮブロックの数）を推定して出力する。上述したように、モデル訓練ユニット２１０は、最適候補値に基づいて最適化済みＣＮＮモデル２４０を出力する。

【0043】

図６は、ＤＳＲユニット２３０の詳細を示す。図６に示すように、ＤＳＲユニット２３０は、サーベイテーブル生成器ユニット２３１と、最適候補推定（ＯＣＥ）ユニット２３２とを含む。両方のユニットの詳細について説明する。

【0044】

サーベイテーブル生成器ユニット２３１は、訓練データセットＴＤおよびＣＮＮモデル２２０を入力とし、出力としてサーベイテーブルを生成する。まず、サーベイテーブル生成器ユニット２３１は、訓練データセットＴＤ内の各オブジェクトによって、オブジェクトを検出するのに必要なＣＮＮモデル２２０内のＦＰＮブロックの数のサーベイを実施する。

【0045】

具体的には、サーベイ手順において、サーベイテーブル生成器ユニット２３１が訓練データセットＴＤ内の各オブジェクトをＣＮＮモデル２２０に入力すると、サーベイテーブル生成器ユニット２３１は、０としてＭＬＦＰＮブロック２２３内のいずれか１つの特定のＦＰＮブロック２２５の重みを設定する。言い換えれば、サーベイテーブル生成器ユニット２３１は、１つの特定のＦＰＮブロック２２５を無効化する。

【0046】

図７Ａは、上述した状況の一例を示し、図７Ａでは、サーベイテーブル生成器ユニット２３１は、０としてＦＰＮ＿１の重みを設定し、したがってＦＰＮ＿１がマスクされる。図７Ａでは、ＦＰＮ＿１は無効であり、一方、ＦＰＮ＿２、…、ＦＰＮ＿ｎは、訓練データセットＴＤを使用して画像検出を処理するために有効である。この状態で、サーベイテーブル生成器ユニット２３１は、訓練済みデータセットＴＤ内のすべての画像を列挙し、すべての画像をＣＮＮモデル２２０に入力する。

【0047】

ＦＰＮ＿１（特定のＦＰＮブロック）をマスクすることによって、画像内のオブジェクトの一部が検出される可能性があり、他のオブジェクトは検出されない可能性がある。サーベイテーブル生成器ユニット２３１は、画像の各オブジェクトを検出することができるかどうかを決定することができ、この情報は、「検出」または「検出されず」としてサーベイテーブルの形式で記録される。

【0048】

サーベイテーブル生成器ユニット２３１は、他のＦＰＮ（ＦＰＮ＿２、…、ＦＰＮ＿ｎ）についてもＦＰＮ＿１と同じ決定を順次実施する。言い換えれば、シーケンスの１つのステップにおいて、サーベイテーブル生成器ユニット２３１は、画像検出の処理のためにいずれか１つの特定のＦＰＮブロックを無効にし、すべての画像をＣＮＮモデル２２０に入力し、画像の各オブジェクトを検出することができるかどうかを決定する。図７Ｂは、シーケンスの最後のステップの一例を示し、図７Ｂでは、サーベイテーブル生成器ユニット２３１は、０としてＦＰＮ＿ｎの重みを設定し、したがってＦＰＮ＿ｎがマスクされる。このサーベイ方法は、「重みゼロ化ベースのサーベイ」と呼ぶことができ、これは、サーベイテーブル生成器ユニット２３１が順番に訓練済みデータセットＴＤ内のすべての画像を推論する方法である。

【0049】

図８は、サーベイテーブルの一例を示す。図８では、列Ｃ０は、すべての画像内のすべてのオブジェクトのリストを示し、列Ｃ１は、ＦＰＮ＿１が無効である場合の各オブジェクトの検出結果のリストを示し、列Ｃ２は、ＦＰＮ＿２が無効である場合の各オブジェクトの検出結果のリストを示し、列Ｃｎは、ＦＰＮ＿ｎが無効である場合の各オブジェクトの検出結果のリストを示す。ＦＰＮ＿３からＦＰＮ＿ｎ－１までの各オブジェクトの検出の結果も列Ｃ３～Ｃｎ－１としてサーベイテーブルに含まれるが、図８には示されていない。

【0050】

サーベイテーブル生成器ユニット２３１は、列Ｃ１～Ｃｎの情報を記録し、すべてのＦＰＮブロックが網羅されていることを確認した後、検出することができなかった各オブジェクトにおけるＦＰＮブロックの検出結果の数をカウントする。

【0051】

例えば、画像１＿オブジェクト１に関して、サーベイテーブル生成器ユニット２３１は、同じ行にあるすべてのＦＰＮブロックに対する結果を参照し、「検出されず」と決定された数をカウントする。ここでは、決定された数が４であるため、サーベイテーブル生成器ユニット２３１は、要件数を４に決定する。この要件数は、画像１＿オブジェクト１を検出するのに必要なＣＮＮモデル２２０内のＦＰＮブロックの数を意味する。画像１＿オブジェクト１と同様に、サーベイテーブル生成器ユニット２３１は、画像１＿オブジェクト２の要件数を２に決定し、画像１＿オブジェクト３の要件数を３に決定し、以下同様である。

【0052】

図８における「検出」は、基本的に、対応するＦＰＮブロックが対応するオブジェクトを検出するために重要ではないことを意味する。対応するＦＰＮブロックがマスクされる場合であっても、対応するオブジェクトは依然として検出されるため、対応するＦＰＮブロックはオブジェクトを検出する必要はない。しかし、図８における「検出されず」は、対応するＦＰＮブロックのマスキングがオブジェクトの非検出につながるため、対応するＦＰＮブロックが対応するオブジェクトを検出するのに必要であることを意味する。このため、各行におけるカウントは、それぞれのオブジェクトについての重要なＦＰＮブロックの数を表す。図８の例では、画像１＿オブジェクト１についての重要なＦＰＮブロックの数は４であり、画像１＿オブジェクト２についての重要なＦＰＮブロックの数は２であり、画像１＿オブジェクト３についての重要なＦＰＮブロックの数は３である。訓練データセットＴＤ内のオブジェクトごとのＦＰＮブロックの数の要件サーベイを行うようなものであるため、このように形成されたテーブルはサーベイテーブルと呼ばれる。

【0053】

このようにして、サーベイテーブルにおける各行について、サーベイテーブル生成器ユニット２３１は、図８に示すように、同じそれぞれの行における「検出されず」のエントリの回数をカウントし、それぞれ要件列Ｃｎ＋１にそのカウント値（要件数）を記録する。完全にサーベイテーブルを生成した後、サーベイテーブル生成器ユニット２３１は、サーベイテーブルを出力する。

【0054】

ＯＣＥユニット２３２は、サーベイテーブルを入力とし、サーベイテーブルの解析を実施し、最適化済みＣＮＮモデル２４０の生成に使用されるＦＰＮブロックの数についての最適候補値を推定する。

【0055】

まず、ＯＣＥユニット２３２は、昇順にサーベイテーブルの要件列Ｃｎ＋１においてすべての固有エントリ（表記値）をリストアップする。要件列Ｃｎ＋１における各エントリは、新たなテーブル（以下、カーディナリティテーブルと呼ばれる）の形式で記録され、候補値と呼ばれ得る。そして、ＯＣＥユニット２３２は、候補値のデータに基づいて各候補値の発生率（パーセンテージ）を計算し、テーブルに記録する。言い換えれば、ＯＣＥユニット２３２は、発生率の分布を計算する。その後、ＯＣＥユニット２３２は、各候補値のカーディナリティを計算し、テーブルに記録する。各候補値のカーディナリティ（確率）は、それぞれの候補値以下の発生率の累積加算である。

【0056】

図９は、カーディナリティテーブルの一例を示す。図９では、候補列Ｃ１０は、昇順に列挙された候補値（固有エントリ）を示し、発生列Ｃ１１は、各候補値の発生率（パーセンテージ）を示し、カーディナリティ列Ｃ１２は、各候補値のカーディナリティを示す。ＯＣＥユニット２３２は、ログ手順によりカーディナリティテーブルを生成する。

【0057】

カーディナリティ列Ｃ１２の各エントリ（値）は、各エントリに対応する候補値（すなわち、各エントリと同じラインに列挙された候補値）がオブジェクトを検出するのに必要なＦＰＮブロックの数である場合、オブジェクトを検出する確率を表す。例えば、図９は、ＣＮＮモデル２２０におけるＦＰＮブロックの数が１つである場合、４３％の割合でオブジェクトを検出することができ、ＦＰＮブロックの数が２つである場合、ＦＰＮブロックの数が１つである場合よりも２５％高い割合でオブジェクトを検出することができることを示す。さらに、ＦＰＮブロックの数が３つである場合、ＦＰＮブロックの数が２つである場合よりも４％高い割合でオブジェクトを検出することができ、ＦＰＮブロックの数が４つである場合、ＦＰＮブロックの数が３つである場合よりも１３％高い割合でオブジェクトを検出することができる。また、ＦＰＮブロックの数が５つである場合、ＦＰＮブロックの数が４つである場合よりも３％高い割合でオブジェクトを検出することができ、ＦＰＮブロックの数がｎである場合、ＦＰＮブロックの数がｎ－１である場合よりも１％高い割合でオブジェクトを検出することができる。

【0058】

特定のデータに基づいて、ＯＣＥユニット２３２は、以下のように各候補値のカーディナリティを計算する：ＯＣＥユニット２３２は、候補値「１」のカーディナリティと同じ数、すなわち４３％として候補値「１」のカーディナリティを計算する。次に、ＯＣＥユニット２３２は、候補値「１」および「２」のカーディナリティの累積加算、すなわち６８％（４３％＋２５％）として候補値「２」のカーディナリティを計算する。そして、ＯＣＥユニット２３２は、候補値「１」、「２」、および「３」のカーディナリティの累積加算、すなわち７２％（４３％＋２５％＋４％）として候補値「３」のカーディナリティを計算する。さらに、ＯＣＥユニット２３２は、候補値「１」～「４」のカーディナリティの累積加算、すなわち８５％（４３％＋２５％＋４％＋１３％）として候補値「４」のカーディナリティを計算し、候補値「１」～「５」のカーディナリティの累積加算、すなわち８８％（４３％＋２５％＋４％＋１３％＋３％）として候補値「５」のカーディナリティを計算する。

【0059】

すべての候補値のカーディナリティを計算した後、ＯＣＥユニット２３２は、予め定義された条件に従って、選択される候補値のカーディナリティ値が予め定義された閾値未満であり、予め定義された閾値に最も近い１つの候補値を選択する。予め定義された閾値は、実験結果に関する経験に基づいて設定することができる。そして、ＯＣＥユニット２３２は、ＣＮＮモデル２２０におけるＦＰＮブロックの数についての最適候補値（パラメータ値）としてその１つの候補値を出力する。

【0060】

図９の例では、予め定義された閾値が８６％であり、候補値「４」のカーディナリティが上記の条件を満たすため、ＯＣＥユニット２３２は、最適候補値として「４」を選択する。

【0061】

これらの手順の後、モデル訓練ユニット２１０は、定義された構成としてＯＣＥユニット２３２から入力された最適候補値を設定し、最適候補値に基づいて最適化済みＣＮＮモデル２４０を生成する。これにより、最適化済みＣＮＮモデル２４０は、最適候補値によって示されるように、ＭＬＦＰＮブロックにスタックされるＦＰＮブロックの数が同じとなる。最適候補値は、オブジェクト検出の精度が予め定義された値に近いこと、およびある程度の精度が保証されることだけでなく、最適化済みＣＮＮモデル２４０内のブロックの数が最小化されることも確実にする。したがって、最適化済みＣＮＮモデル２４０は、精度の損失が最小となるＣＮＮモデル２２０と比較して、速度の点で比較的高い性能を有する。

【0062】

次に、図１０のフローチャートを参照して、ＣＮＮモデル訓練システム２００の全体プロセスの一例について説明する。各手順の詳細については、説明した通りである。

【0063】

まず、モデル訓練ユニット２１０は、訓練データセットＴＤおよび予め定義された構成に基づいて元のＣＮＮモデルを構築し、元のＣＮＮモデルを訓練してＣＮＮモデル２２０を出力する（図１０のステップＳ２１）。次に、ＤＳＲユニット２３０は、サーベイテーブル生成器ユニット２３１でサーベイを実施し（図１０のステップＳ２２）、ＯＣＥユニット２３２で最適候補値を推定する（図１０のステップＳ２３）。最後に、モデル訓練ユニット２１０は、新たな最適候補値を用いて新たなＣＮＮモデルを構築し、次に最適化済みＣＮＮモデル２４０を訓練する（図１０のステップＳ２４）。

【0064】

さらに、図１１Ａおよび図１１Ｂのフローチャートを参照して、サーベイテーブル生成器ユニット２３１のプロセスの一例について説明する。言い換えれば、ステップＳ１２のプロセスの詳細が以下に示される。

【0065】

まず、サーベイテーブル生成器ユニット２３１は、０としてＣＮＮモデル２２０におけるＸ番目（「Ｘ」は、１～ｎの任意の自然数である）のＦＰＮブロックの重みを設定する（図１１ＡのステップＳ３１）。そして、サーベイテーブル生成器ユニット２３１は、訓練データセットＴＤ内の各オブジェクトをＣＮＮモデル２２０に入力し、画像の各オブジェクトを正確に検出することができるかどうかをサーベイする。すなわち、サーベイテーブル生成器ユニット２３１は、Ｘ番目のＦＰＮブロックをサーベイし、サーベイテーブルにこの情報を記録する（図１１ＡのステップＳ３２）。

【0066】

その後、サーベイテーブル生成器ユニット２３１は、すべてのＦＰＮブロックをサーベイ（網羅）したかどうかを確認する（図１１ＡのステップＳ３３）。そうでない場合には（ステップＳ３３でいいえ）、サーベイテーブル生成器ユニット２３１は、ＸをＸ＋１に変更し（図１１ＡのステップＳ３４）、ステップＳ３１～Ｓ３３の手順を繰り返す。言い換えれば、サーベイテーブル生成器ユニット２３１は、Ｘ＋１番目のＦＰＮブロックをサーベイし、サーベイテーブルにこの情報を記録する。この反復は、すべてのＦＰＮブロックがサーベイされた場合（ステップＳ３３ではい）に終了する。

【0067】

すべてのＦＰＮブロックがサーベイされた場合、言い換えれば、列Ｃ１～Ｃｎの情報が既にサーベイされている場合、サーベイテーブル生成器ユニット２３１は、訓練データセットＴＤ内の各オブジェクトの要件数を計算する（図１１ＢのステップＳ３５）。最後に、サーベイテーブル生成器ユニット２３１は、サーベイテーブルに要件数の情報を記録して出力する（図１１ＢのステップＳ３６）。

【0068】

次に、図１２のフローチャートを参照して、ＯＣＥユニット２３２の全体プロセスの一例について説明する。各手順の詳細については、説明した通りである。

【0069】

まず、ＯＣＥユニット２３２は、候補値の情報を整理し、候補値のデータに基づいてすべての候補値の発生率を計算する（図１２のステップＳ４１）。そして、ＯＣＥユニット２３２は、発生率に基づいてすべての候補値のカーディナリティを計算する（図１２のステップＳ４２）。その後、ＯＣＥユニット２３２は、予め定義された条件に従って１つの最適候補値を選択する（図１２のステップＳ４３）。

【0070】

上記で説明したように、関連技術の課題の１つは、最適化問題である。この実施の形態では、ＤＳＲユニット２３０は、訓練データセットＴＤ内のオブジェクトごとに、オブジェクトを検出するのに必要なＣＮＮモデル２２０内のＦＰＮブロックの数を計算し、オブジェクトごとの計算されたＦＰＮブロックの数に基づいて、ＣＮＮモデル２２０内のＦＰＮブロックの数の最適候補値（パラメータ値）を推定する。そして、ＣＮＮモデル訓練ユニット２１０は、最適候補値を使用することによって最適化済みＣＮＮ２４０モデルを訓練する。第１の実施の形態で説明したのと同じ理由で、ＦＰＮブロックの数のパラメータ値の設計空間を縮小することができ、最適化問題を解決することができる。

【0071】

さらに、ＤＳＲユニット２３０におけるサーベイテーブル生成器ユニット２３１は、ＦＰＮブロックの１つが無効化された状態で訓練データセットＴＤをＣＮＮモデル２２０に入力することによって、各オブジェクトがＣＮＮモデル２２０によって検出されるかどうかを決定し、すべてのＦＰＮブロックに対して個々に決定を実行することによって、オブジェクトごとのＦＰＮブロックの数を計算してもよい。この方法は、計算を単純化することができる。

【0072】

さらに、ＤＳＲユニット２３０におけるＯＣＥユニット２３２は、オブジェクトに対するＦＰＮブロックの数の発生率の分布を計算し、最適候補値を推定してもよい。具体的には、ＯＣＥユニット２３２は、分布に基づいて、ＦＰＮブロックの数が最適候補値以下である場合、各オブジェクトが検出される確率を計算し、パラメータ値を推定してもよい。この方法によれば、上述した効果が得られる精度の高い計算を行うことができ、より短時間で最適候補値を得ることが可能になる。

【0073】

さらに、ＣＮＮモデル２２０内のＦＰＮブロックは、ＣＮＮモデル内のＭＬＦＰＮブロックを構成してもよく、ＣＮＮモデル訓練ユニットは、最適候補値が示す通りに最適化済みＣＮＮモデル２４０内のＭＬＦＰＮブロックを調整してもよい。したがって、この方法は、ＭＬＦＰＮブロックを含むＣＮＮモデルに有効である。

【0074】

本開示の説明において、単数形「ａ」、「ａｎ」、および「ｔｈｅ」によって表される要素は、文脈上特に明記されない限り、単一の要素だけでなく複数の要素であってもよいことに留意されたい。

【0075】

本開示は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜修正可能であることに留意されたい。例えば、算出に対する対象は、画像に限定されない。

【0076】

第２の実施の形態では、訓練データセットＴＤ内のすべてのオブジェクトがＤＳＲユニット２３０の計算の対象となるが、訓練データセットＴＤ内のすべてのオブジェクト（特に重要なオブジェクト）が、ＤＳＲユニット２３０の計算の対象になるとは限らない。

【0077】

サーベイテーブル生成器ユニット２３１がＦＰＮブロックをマスクする順序は、第２の実施の形態で説明した方法に限定されない。

【0078】

第２の実施の形態では、ＯＣＥユニット２３２は、選択される候補値のカーディナリティ値が予め定義された閾値を超え、予め定義された閾値に最も近い別の予め定義された条件を採用してもよい。あるいは、予め定義された条件は、選択される候補値のカーディナリティ値が予め定義された閾値に最も近いことであってもよい。予め定義された閾値は、実験結果に関する経験に基づいて設定することができる。

【0079】

さらに別の例として、ＯＣＥユニット２３２は、候補値の発生率の分布を計算し、分布に基づいて最適候補値を推定してもよい。例えば、分布の平均値から一定の偏差（予め定義された閾値）がある値に最も近い最適候補値を選択することができる。最適候補値は、平均値から一定の偏差がある値よりも小さくても大きくてもよいし、平均値から一定の偏差がある値に最も近い値であってもよいことに留意されたい。

【0080】

（ハードウェア構成）
次に、図１３を参照して、上述した複数の実施形態で説明した情報処理装置の構成例について以下で説明する。

【0081】

図１３は、情報処理装置の構成例を示すブロック図である。図１３に示すように、情報処理装置９０は、ネットワークインターフェース９１と、プロセッサ９２と、メモリ９３とを含む。

【0082】

ネットワークインターフェース９１は、通信システムを形成する他のネットワークノード装置との通信に使用される。例えば、ネットワークインターフェース９１は、訓練データセットＴＤを受信することができる。

【0083】

プロセッサ９２は、メモリ９３からソフトウェア（コンピュータプログラム）をロードし、ロードしたソフトウェアを実行することによって、上述の実施形態において図面を参照して説明したプロセスを実施する。プロセッサ９２は、例えば、マイクロプロセッサ、ＭＰＵ（マイクロ処理装置）、またはＣＰＵ（中央処理装置）であってもよい。プロセッサ９２は、複数のプロセッサを含んでもよい。この場合、プロセッサの各々は、命令群を含む１つまたは複数のプログラムを実行することにより、コンピュータに図面を参照して上記で説明したアルゴリズムを実施させる。

【0084】

メモリ９３は、揮発性メモリまたは不揮発性メモリによって形成されてもよいが、メモリ９３は、揮発性メモリと不揮発性メモリの組み合わせによって形成されてもよい。メモリ９３は、プロセッサ９２から離れて配置された記憶装置を含むことができる。この場合、プロセッサ９２は、Ｉ／Ｏインターフェース（図示せず）を通してメモリ９３にアクセスすることができる。

【0085】

図１３に示す例では、メモリ９３は、ソフトウェアモジュール群を記憶するために使用される。プロセッサ９２は、メモリ９３からソフトウェアモジュール群を読み出し、読み出したソフトウェアモジュールを実行することによって、上述の実施形態で説明したプロセスを実施することができる。また、メモリ９３は、上記で説明した予め定義された閾値を記憶することが可能である。

【0086】

上記で説明したように、上述の実施形態における構成の各々は、ハードウェアとソフトウェア（コンピュータプログラム）の組み合わせによって構成されてもよい。しかし、構成の各々は、１つのハードウェアまたはソフトウェアによって構成されてもよいし、複数のハードウェアまたはソフトウェアによって構成されてもよい。

【0087】

プログラムは、コンピュータにロードされると、コンピュータに実施形態で説明した機能の１つまたは複数を実施させる命令（またはソフトウェアコード）を含む。プログラムは、非一時的コンピュータ可読媒体または有形記憶媒体に記憶されてもよい。限定ではなく例として、非一時的コンピュータ可読媒体または有形記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ソリッドステートドライブ（ＳＳＤ）もしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク（（Ｒ）：登録商標）もしくは他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶デバイスを含むことができる。プログラムは、一時的なコンピュータ可読媒体または通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体または通信媒体は、電気的、光学的、音響的、または他の形式の伝搬信号を含むことができる。

【0088】

本開示は、上述した実施形態に限定されるものではなく、本開示の要旨および範囲を逸脱しない範囲において適宜修正可能であることに留意されたい。

【符号の説明】

【0089】

１００ モデル訓練装置
１０１ 推定ユニット
１０２ 畳み込みニューラルネットワーク（ＣＮＮ）モデル訓練ユニット
２００ ＣＮＮモデル訓練システム
２１０ 畳み込みニューラルネットワーク（ＣＮＮ）モデル訓練ユニット
２２０ 訓練済みＣＮＮモデル
２２１ バックボーンブロック
２２２ 直接和ブロック
２２３ マルチレベル特徴ピラミッドネットワーク（ＭＬＦＰＮ）ブロック
２２４ 予測器ブロック
２２５ ＦＰＮブロック
２３０ 設計空間縮小器（ＤＳＲ）ユニット
２３１ サーベイテーブル生成器ユニット
２３２ 最適候補推定（ＯＣＥ）ユニット
２４０ 最適化済みＣＮＮモデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】