知財求人 - 知財ポータルサイト「IP Force」
▶ 三菱電機エンジニアリング株式会社の特許一覧 ▶ 国立大学法人 熊本大学の特許一覧
特開2025-24665ニューラルネットワーク作成装置およびニューラルネットワーク作成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025024665
(43)【公開日】2025-02-20
(54)【発明の名称】ニューラルネットワーク作成装置およびニューラルネットワーク作成方法
(51)【国際特許分類】
G06N 3/0985 20230101AFI20250213BHJP
【ＦＩ】
G06N3/0985
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2024041796
(22)【出願日】2024-03-18
(31)【優先権主張番号】P 2023128226
(32)【優先日】2023-08-07
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】591036457
【氏名又は名称】三菱電機エンジニアリング株式会社
(71)【出願人】
【識別番号】504159235
【氏名又は名称】国立大学法人 熊本大学
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】伊東 正義
(72)【発明者】
【氏名】笹川 渚
(72)【発明者】
【氏名】尼崎 太樹
(72)【発明者】
【氏名】小野 倖平
(72)【発明者】
【氏名】木山 真人
(57)【要約】
【課題】制約条件に応じて、エッジデバイス向けのニューラルネットワークを自動で作成可能とする。
【解決手段】ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するパラメータ化情報取得部１０１と、制約条件を取得する制約条件取得部１０２と、制約条件取得部１０２により取得された制約条件に基づいて、パラメータ化情報取得部１０１により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するニューラルネットワーク作成部１０３とを備えた。
【選択図】図１
【解決手段】ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するパラメータ化情報取得部１０１と、制約条件を取得する制約条件取得部１０２と、制約条件取得部１０２により取得された制約条件に基づいて、パラメータ化情報取得部１０１により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するニューラルネットワーク作成部１０３とを備えた。
【選択図】図１
【特許請求の範囲】
【請求項1】
ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するパラメータ化情報取得部と、
制約条件を取得する制約条件取得部と、
前記制約条件取得部により取得された制約条件に基づいて、前記パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するニューラルネットワーク作成部と
を備えたニューラルネットワーク作成装置。
制約条件を取得する制約条件取得部と、
前記制約条件取得部により取得された制約条件に基づいて、前記パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するニューラルネットワーク作成部と
を備えたニューラルネットワーク作成装置。
【請求項2】
前記ニューラルネットワーク作成部により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、学習データを用いて学習処理を行う学習部と、
前記学習部による学習後のニューラルネットワークのうち、学習が妥当であると判定されたニューラルネットワークの中から、ニューラルネットワークを１つ選択するニューラルネットワーク選択部と、
前記ニューラルネットワーク選択部により選択されたニューラルネットワークを前記エッジデバイスに実装するニューラルネットワーク実装部とを備えた
ことを特徴とする請求項１記載のニューラルネットワーク作成装置。
前記学習部による学習後のニューラルネットワークのうち、学習が妥当であると判定されたニューラルネットワークの中から、ニューラルネットワークを１つ選択するニューラルネットワーク選択部と、
前記ニューラルネットワーク選択部により選択されたニューラルネットワークを前記エッジデバイスに実装するニューラルネットワーク実装部とを備えた
ことを特徴とする請求項１記載のニューラルネットワーク作成装置。
【請求項3】
前記学習部は、
学習データとしてラベル付データセットを用い、ニューラルネットワークを学習させる第１の学習部と、
ラベル無データセットを取得し、前記第１の学習部による学習後のニューラルネットワークに当該ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する疑似ラベル付データセット生成部と、
前記ラベル付データセット、および、前記疑似ラベル付データセット生成部により生成された疑似ラベル付データセットに対して、それぞれノイズをかけるノイズ付加部と、
前記ノイズ付加部によりノイズがかけられたラベル付データセットおよび疑似ラベル付データセットを用い、ニューラルネットワークを学習させる第２の学習部とを有し、
前記疑似ラベル付データセット生成部は、前記第２の学習部によりニューラルネットワークが学習された場合には、当該第２の学習部による学習後のニューラルネットワークに前記ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する
ことを特徴とする請求項２記載のニューラルネットワーク作成装置。
学習データとしてラベル付データセットを用い、ニューラルネットワークを学習させる第１の学習部と、
ラベル無データセットを取得し、前記第１の学習部による学習後のニューラルネットワークに当該ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する疑似ラベル付データセット生成部と、
前記ラベル付データセット、および、前記疑似ラベル付データセット生成部により生成された疑似ラベル付データセットに対して、それぞれノイズをかけるノイズ付加部と、
前記ノイズ付加部によりノイズがかけられたラベル付データセットおよび疑似ラベル付データセットを用い、ニューラルネットワークを学習させる第２の学習部とを有し、
前記疑似ラベル付データセット生成部は、前記第２の学習部によりニューラルネットワークが学習された場合には、当該第２の学習部による学習後のニューラルネットワークに前記ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する
ことを特徴とする請求項２記載のニューラルネットワーク作成装置。
【請求項4】
前記ニューラルネットワーク作成部は、学習後の全てのニューラルネットワークについて学習が妥当ではないと判定された場合、前回とは異なるパラメータの複数のニューラルネットワークを再度作成する
ことを特徴とする請求項１から請求項３のうちの何れか１項記載のニューラルネットワーク作成装置。
ことを特徴とする請求項１から請求項３のうちの何れか１項記載のニューラルネットワーク作成装置。
【請求項5】
前記パラメータ化される構造は、チャネル数、モジュール、カーネル数、ストライド数、層の数、または、ｅｘｐａｎｓｉｏｎ ｌａｙｅｒでの拡大率である
ことを特徴とする請求項１記載のニューラルネットワーク作成装置。
ことを特徴とする請求項１記載のニューラルネットワーク作成装置。
【請求項6】
前記パラメータ化される構造は、ニューラルネットワークの種類に基づく
ことを特徴とする請求項１記載のニューラルネットワーク作成装置。
ことを特徴とする請求項１記載のニューラルネットワーク作成装置。
【請求項7】
パラメータ化情報取得部が、ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するステップと、
制約条件取得部が、制約条件を取得するステップと、
ニューラルネットワーク作成部が、前記制約条件取得部により取得された制約条件に基づいて、前記パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するステップと
を有するニューラルネットワーク作成方法。
制約条件取得部が、制約条件を取得するステップと、
ニューラルネットワーク作成部が、前記制約条件取得部により取得された制約条件に基づいて、前記パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するステップと
を有するニューラルネットワーク作成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ニューラルネットワークを作成するニューラルネットワーク作成装置およびニューラルネットワーク作成方法に関する。
【背景技術】
【0002】
従来、環境に応じて柔軟にニューラルネットワークのサイズを変えることができるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）として、ＥｆｆｉｃｉｅｎｔＮｅｔが知られている（例えば非特許文献１参照）。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】https://arxiv.org/pdf/1905.11946.pdf
【発明の概要】
【発明が解決しようとする課題】
【0004】
このＥｆｆｉｃｉｅｎｔＮｅｔでは、ニューラルネットワークのサイズを簡単に変えることは可能である。しかしながら、このＥｆｆｉｃｉｅｎｔＮｅｔでは、計算量が大きく、資源の少ないエッジデバイス向けのニューラルネットワークではない。
【0005】
本開示は、上記のような課題を解決するためになされたもので、制約条件に応じて、エッジデバイス向けのニューラルネットワークを自動で作成可能となるニューラルネットワーク作成装置を提供することを目的としている。
【課題を解決するための手段】
【0006】
本開示に係るニューラルネットワーク作成装置は、ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するパラメータ化情報取得部と、制約条件を取得する制約条件取得部と、制約条件取得部により取得された制約条件に基づいて、パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するニューラルネットワーク作成部とを備えたことを特徴とする。
【発明の効果】
【0007】
本開示によれば、上記のように構成したので、制約条件に応じて、エッジデバイス向けのニューラルネットワークを自動で作成可能となる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１に係るニューラルネットワーク作成装置の構成例を示す図である。
【図2】実施の形態１に係るニューラルネットワーク作成装置の動作例を示すフローチャートである。
【図3】実施の形態１に係るニューラルネットワーク作成装置の別の動作例を示すフローチャートである。
【図4】実施の形態１に係るニューラルネットワーク作成装置で用いられる、ニューラルネットワークが有する層の構造に対するパラメータ化の一例を示す図である。
【図5】実施の形態１に係るニューラルネットワーク作成装置で用いられる、ニューラルネットワークが有する層の構造に対するパラメータ化の別の一例を示す図である。
【図6】実施の形態１に係るニューラルネットワーク作成装置で用いられる、ニューラルネットワークが有する層の構造に対するパラメータ化の別の一例を示す図である。
【図7】実施の形態２に係るニューラルネットワーク作成装置の構成例を示す図である。
【図8】実施の形態２における学習部の構成例を示す図である。
【図9】実施の形態２における学習部の動作例を示す図である。
【発明を実施するための形態】
【0009】
以下、実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は実施の形態１に係るニューラルネットワーク作成装置１の構成例を示す図である。
このニューラルネットワーク作成装置１は、ニューラルネットワークを自動で作成する装置である。このニューラルネットワーク作成装置１は、図１に示すように、パラメータ化情報取得部１０１、制約条件取得部１０２、ニューラルネットワーク作成部１０３、学習部１０４、学習判定部１０５、ニューラルネットワーク選択部１０６、および、ニューラルネットワーク実装部１０７を備えている。
実施の形態１．
図１は実施の形態１に係るニューラルネットワーク作成装置１の構成例を示す図である。
このニューラルネットワーク作成装置１は、ニューラルネットワークを自動で作成する装置である。このニューラルネットワーク作成装置１は、図１に示すように、パラメータ化情報取得部１０１、制約条件取得部１０２、ニューラルネットワーク作成部１０３、学習部１０４、学習判定部１０５、ニューラルネットワーク選択部１０６、および、ニューラルネットワーク実装部１０７を備えている。
【0010】
パラメータ化情報取得部１０１は、パラメータ化情報を取得する。パラメータ化情報は、ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示す情報である。
なお、上記パラメータ化される構造としては、例えば、チャネル数、モジュール、カーネル数、ストライド数、層の数、または、ｅｘｐａｎｓｉｏｎ ｌａｙｅｒでの拡大率などが挙げられる。このパラメータ化される構造は、ニューラルネットワークの種類によっても異なる。
なお、上記パラメータ化される構造としては、例えば、チャネル数、モジュール、カーネル数、ストライド数、層の数、または、ｅｘｐａｎｓｉｏｎ ｌａｙｅｒでの拡大率などが挙げられる。このパラメータ化される構造は、ニューラルネットワークの種類によっても異なる。
【0011】
この際、パラメータ化情報取得部１０１は、外部から、上記パラメータ化された複数の構造を示す情報そのものを取得する。
【0012】
制約条件取得部１０２は、制約条件を取得する。制約条件は、パラメータ化情報取得部１０１により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定するための条件である。
この制約条件としては、例えば、上記パラメータ化された複数の構造のうちのニューラルネットワークのアルゴリズムに基づきまたは経験則に基づき設定可能な構造を示す情報、ならびに、エッジデバイスに関する情報または学習結果に関する情報などが挙げられる。エッジデバイスに関する情報としては、例えば、回路規模または消費電力などが挙げられる。学習結果に関する情報としては、例えば、求められるニューラルネットワークのサイズ、正解率、または、ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）などが挙げられる。なお、ｆｐｓは、一秒間あたりに何枚の画像を処理できるかを意味する評価指標である。
この制約条件としては、例えば、上記パラメータ化された複数の構造のうちのニューラルネットワークのアルゴリズムに基づきまたは経験則に基づき設定可能な構造を示す情報、ならびに、エッジデバイスに関する情報または学習結果に関する情報などが挙げられる。エッジデバイスに関する情報としては、例えば、回路規模または消費電力などが挙げられる。学習結果に関する情報としては、例えば、求められるニューラルネットワークのサイズ、正解率、または、ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）などが挙げられる。なお、ｆｐｓは、一秒間あたりに何枚の画像を処理できるかを意味する評価指標である。
【0013】
ニューラルネットワーク作成部１０３は、制約条件取得部１０２により取得された制約条件に基づいて、パラメータ化情報取得部１０１により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成する。
この際、ニューラルネットワーク作成部１０３は、上記制約条件に基づいて、上記パラメータ化された複数の構造に対してニューラルネットワークのアルゴリズムに基づきまたは経験則に基づきパラメータを設定することで、複数のニューラルネットワークを作成する。
この際、ニューラルネットワーク作成部１０３は、上記制約条件に基づいて、上記パラメータ化された複数の構造に対してニューラルネットワークのアルゴリズムに基づきまたは経験則に基づきパラメータを設定することで、複数のニューラルネットワークを作成する。
【0014】
なお、上記パラメータ化された複数の構造の中で、ニューラルネットワークのアルゴリズムに基づきまたは経験則に基づきパラメータを設定可能な構造は、１種類でもよいし、複数種類でもよい。また、上記１種類であるのか上記複数種類であるのかは制約条件により決められる。
【0015】
また、後述する図２に示すように、学習判定部１０５またはユーザにより全てのニューラルネットワークについて学習が妥当ではないと判定された場合、ニューラルネットワーク作成部１０３は、前回とは異なるパラメータの複数のニューラルネットワークを再度作成してもよい。
【0016】
学習部１０４は、ニューラルネットワーク作成部１０３により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、学習データを用いて学習処理を行う。
【0017】
また、後述する図２に示すように、学習判定部１０５またはユーザにより全てのニューラルネットワークについて学習が妥当ではないと判定された場合であって、ニューラルネットワーク作成部１０３により複数のニューラルネットワークが再度作成された場合、学習部１０４は、当該ニューラルネットワークに基づいて、当該ニューラルネットワークごとに、学習データを用いて学習処理を再度行ってもよい。
また、後述する図３に示すように、学習判定部１０５またはユーザにより全てのニューラルネットワークについて学習が妥当ではないと判定された場合、学習部１０４は、ニューラルネットワーク作成部１０３により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、前回とは異なる学習データを用いて学習処理を再度行ってもよい。
また、後述する図３に示すように、学習判定部１０５またはユーザにより全てのニューラルネットワークについて学習が妥当ではないと判定された場合、学習部１０４は、ニューラルネットワーク作成部１０３により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、前回とは異なる学習データを用いて学習処理を再度行ってもよい。
【0018】
学習判定部１０５は、学習部１０４による学習後のニューラルネットワークに基づいて、当該ニューラルネットワークごとに学習の妥当性を判定する。
この際、例えば、学習判定部１０５は、学習後のニューラルネットワークに対して、テストデータを入力し、その際の出力の正解率に基づいて妥当性を判定する。テストデータは、学習後のニューラルネットワークの精度を判定するためのデータである。また、例えば、学習判定部１０５は、学習結果に関する情報に基づいて、妥当性を判定してもよい。
また、学習判定部１０５による上記判定に代えて、ユーザが手動で上記判定を行ってもよい。
この際、例えば、学習判定部１０５は、学習後のニューラルネットワークに対して、テストデータを入力し、その際の出力の正解率に基づいて妥当性を判定する。テストデータは、学習後のニューラルネットワークの精度を判定するためのデータである。また、例えば、学習判定部１０５は、学習結果に関する情報に基づいて、妥当性を判定してもよい。
また、学習判定部１０５による上記判定に代えて、ユーザが手動で上記判定を行ってもよい。
【0019】
ニューラルネットワーク選択部１０６は、学習判定部１０５またはユーザにより学習が妥当であると判定されたニューラルネットワークの中から、ニューラルネットワークを１つ選択する。
この際、例えば、ニューラルネットワーク選択部１０６は、学習判定部１０５またはユーザにより学習が妥当であると判定されたニューラルネットワークの中から、エッジデバイスに関する情報および学習結果に関する情報などの条件に基づいて、ニューラルネットワークを１つ選択する。
この際、例えば、ニューラルネットワーク選択部１０６は、学習判定部１０５またはユーザにより学習が妥当であると判定されたニューラルネットワークの中から、エッジデバイスに関する情報および学習結果に関する情報などの条件に基づいて、ニューラルネットワークを１つ選択する。
【0020】
なお、ニューラルネットワーク選択部１０６は、学習判定部１０５により学習が妥当であると判定されたニューラルネットワークの中に、エッジデバイスに関する情報および求められる性能などの条件を満たすニューラルネットワークが複数存在する場合、当該複数のニューラルネットワークの中から１つのニューラルネットワークを選択する。
この際、例えば、ニューラルネットワーク選択部１０６は、上記複数のニューラルネットワークのうち、最も条件のよいニューラルネットワークを選択してもよい。また、例えば、ニューラルネットワーク選択部１０６は、上記複数のニューラルネットワークのうち、制約条件以外の判定基準（例えば条件の優先度）に基づいて、１つのニューラルネットワークを選択してもよい。また、例えば、ニューラルネットワーク選択部１０６は、上記複数のニューラルネットワークを示す情報をユーザに通知し、当該ユーザによる選択に基づいて、１つのニューラルネットワークを選択してもよい。
この際、例えば、ニューラルネットワーク選択部１０６は、上記複数のニューラルネットワークのうち、最も条件のよいニューラルネットワークを選択してもよい。また、例えば、ニューラルネットワーク選択部１０６は、上記複数のニューラルネットワークのうち、制約条件以外の判定基準（例えば条件の優先度）に基づいて、１つのニューラルネットワークを選択してもよい。また、例えば、ニューラルネットワーク選択部１０６は、上記複数のニューラルネットワークを示す情報をユーザに通知し、当該ユーザによる選択に基づいて、１つのニューラルネットワークを選択してもよい。
【0021】
その後、ユーザは、ニューラルネットワーク選択部１０６により選択されたニューラルネットワークに基づいて、論理合成を行う。論理合成は、上記選択されたニューラルネットワークに基づいて、論理を最適化し、実際の回路構造を設計する工程である。
そして、ユーザは、論理合成の結果に基づいて、ニューラルネットワーク選択部１０６により選択されたニューラルネットワークをエッジデバイスで実行可能かを判断する。
ここで、ユーザがエッジデバイスで実行可能ではないと判断した場合、ニューラルネットワーク選択部１０６による処理に戻り、ニューラルネットワーク選択部１０６は他のニューラルネットワークを選択する。そして、ユーザは上記の処理を繰り返す。
また、ユーザがエッジデバイスで実行可能であると判断した場合、ニューラルネットワーク実装部１０７による処理に移行する。
そして、ユーザは、論理合成の結果に基づいて、ニューラルネットワーク選択部１０６により選択されたニューラルネットワークをエッジデバイスで実行可能かを判断する。
ここで、ユーザがエッジデバイスで実行可能ではないと判断した場合、ニューラルネットワーク選択部１０６による処理に戻り、ニューラルネットワーク選択部１０６は他のニューラルネットワークを選択する。そして、ユーザは上記の処理を繰り返す。
また、ユーザがエッジデバイスで実行可能であると判断した場合、ニューラルネットワーク実装部１０７による処理に移行する。
【0022】
ニューラルネットワーク実装部１０７は、ニューラルネットワーク選択部１０６により選択されたニューラルネットワークをエッジデバイスに実装する。
【0023】
なお、図１では、学習部１０４、学習判定部１０５、ニューラルネットワーク選択部１０６、および、ニューラルネットワーク実装部１０７が、ニューラルネットワーク作成装置１の内部に設けられた場合を示した。
しかしながら、これに限らず、学習部１０４、学習判定部１０５、ニューラルネットワーク選択部１０６、および、ニューラルネットワーク実装部１０７は、ニューラルネットワーク作成装置１の外部に設けられていてもよい。
しかしながら、これに限らず、学習部１０４、学習判定部１０５、ニューラルネットワーク選択部１０６、および、ニューラルネットワーク実装部１０７は、ニューラルネットワーク作成装置１の外部に設けられていてもよい。
【0024】
次に、図１に示す実施の形態１に係るニューラルネットワーク作成装置１の動作例について、図２および図３を参照しながら説明する。
図２および図３では、学習判定部１０５が判定を行う場合を示している。また、図２では、学習判定部１０５により全てのニューラルネットワークについて学習が妥当ではないと判定された場合に、ニューラルネットワーク作成部１０３がニューラルネットワークの再作成を行う場合を示している。また、図３では、学習判定部１０５により全てのニューラルネットワークについて学習が妥当ではないと判定された場合に、学習部１０４が再学習を行う場合を示している。ニューラルネットワーク作成装置１は、図２に示す動作と図３に示す動作のどちらを実施してもよい。
図２および図３では、学習判定部１０５が判定を行う場合を示している。また、図２では、学習判定部１０５により全てのニューラルネットワークについて学習が妥当ではないと判定された場合に、ニューラルネットワーク作成部１０３がニューラルネットワークの再作成を行う場合を示している。また、図３では、学習判定部１０５により全てのニューラルネットワークについて学習が妥当ではないと判定された場合に、学習部１０４が再学習を行う場合を示している。ニューラルネットワーク作成装置１は、図２に示す動作と図３に示す動作のどちらを実施してもよい。
【0025】
この図１に示す実施の形態１に係るニューラルネットワーク作成装置１の動作例では、図２および図３に示すように、まず、パラメータ化情報取得部１０１は、ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示す情報であるパラメータ化情報を取得する（ステップＳＴ１０１）。
なお、上記パラメータ化される構造としては、例えば、チャネル数、モジュール、カーネル数、ストライド数、層の数、または、ｅｘｐａｎｓｉｏｎ ｌａｙｅｒでの拡大率などが挙げられる。このパラメータ化される構造は、ニューラルネットワークの種類によっても異なる。
なお、上記パラメータ化される構造としては、例えば、チャネル数、モジュール、カーネル数、ストライド数、層の数、または、ｅｘｐａｎｓｉｏｎ ｌａｙｅｒでの拡大率などが挙げられる。このパラメータ化される構造は、ニューラルネットワークの種類によっても異なる。
【0026】
この際、パラメータ化情報取得部１０１は、外部から、上記パラメータ化された複数の構造を示す情報そのものを取得する。
【0027】
図４～図６では、ニューラルネットワークが有する層の構造に対するパラメータ化の一例について示している。
図４では、ニューラルネットワークが有するパラメータ化された複数の構造のうち、各層の出力チャネル数を任意に設定可能である場合を示している。
また、図５では、ニューラルネットワークが有するパラメータ化された複数の構造のうち、使用するモジュール（図５ではＳＥモジュール）の挿入箇所を任意に設定可能である場合を示している。
また、図６では、ニューラルネットワークが有するパラメータ化された複数の構造のうち、中間層の数を任意に設定可能である場合を示している。
なお、図４～図６において、ｅｘｐ＿ｓｉｚｅはｂｏｔｔｌｅｎｅｃｋ ｂｌｏｃｋの中間層でのチャネル数を示し、ｔはｅｘｐａｎｓｉｏｎ ｌａｙｅｒでの拡大率を示し、ＳＥはＳｑｕｅｅｚｅ ａｎｄ Ｅｘｃｉｔａｔｉｏｎモジュールの有無を示し、ＮＬは使用する非線形関数（ＨＳ：ｈ－ｓｗｉｓｈ、ＲＥ：ＲＥＬＵ）を示し、ｓはストライド数を示している。
図４では、ニューラルネットワークが有するパラメータ化された複数の構造のうち、各層の出力チャネル数を任意に設定可能である場合を示している。
また、図５では、ニューラルネットワークが有するパラメータ化された複数の構造のうち、使用するモジュール（図５ではＳＥモジュール）の挿入箇所を任意に設定可能である場合を示している。
また、図６では、ニューラルネットワークが有するパラメータ化された複数の構造のうち、中間層の数を任意に設定可能である場合を示している。
なお、図４～図６において、ｅｘｐ＿ｓｉｚｅはｂｏｔｔｌｅｎｅｃｋ ｂｌｏｃｋの中間層でのチャネル数を示し、ｔはｅｘｐａｎｓｉｏｎ ｌａｙｅｒでの拡大率を示し、ＳＥはＳｑｕｅｅｚｅ ａｎｄ Ｅｘｃｉｔａｔｉｏｎモジュールの有無を示し、ＮＬは使用する非線形関数（ＨＳ：ｈ－ｓｗｉｓｈ、ＲＥ：ＲＥＬＵ）を示し、ｓはストライド数を示している。
【0028】
また、制約条件取得部１０２は、上記パラメータ化された複数の構造に対してパラメータを設定するための条件である制約条件を取得する（ステップＳＴ１０２）。
この制約条件としては、例えば、パラメータ化された複数の構造のうちのニューラルネットワークのアルゴリズムに基づきまたは経験則に基づき設定可能な構造を示す情報、エッジデバイスに関する情報、または、学習結果に関する情報などが挙げられる。エッジデバイスに関する情報としては、例えば、回路規模または消費電力などが挙げられる。学習結果に関する情報としては、例えば、求められるニューラルネットワークのサイズ、正解率、または、ｆｐｓなどが挙げられる。
この制約条件としては、例えば、パラメータ化された複数の構造のうちのニューラルネットワークのアルゴリズムに基づきまたは経験則に基づき設定可能な構造を示す情報、エッジデバイスに関する情報、または、学習結果に関する情報などが挙げられる。エッジデバイスに関する情報としては、例えば、回路規模または消費電力などが挙げられる。学習結果に関する情報としては、例えば、求められるニューラルネットワークのサイズ、正解率、または、ｆｐｓなどが挙げられる。
【0029】
次いで、ニューラルネットワーク作成部１０３は、制約条件取得部１０２により取得された制約条件に基づいて、パラメータ化情報取得部１０１により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成する（ステップＳＴ１０３、ＳＴ１０４）。
この際、ニューラルネットワーク作成部１０３は、上記制約条件に基づいて、上記パラメータ化された複数の構造に対してニューラルネットワークのアルゴリズムに基づきまたは経験則に基づきパラメータを設定することで、複数のニューラルネットワークを作成する。
この際、ニューラルネットワーク作成部１０３は、上記制約条件に基づいて、上記パラメータ化された複数の構造に対してニューラルネットワークのアルゴリズムに基づきまたは経験則に基づきパラメータを設定することで、複数のニューラルネットワークを作成する。
【0030】
なお、上記パラメータ化された複数の構造の中で、ニューラルネットワークのアルゴリズムに基づきまたは経験則に基づきパラメータを設定可能な構造は、１種類でもよいし、複数種類でもよい。また、上記１種類であるのか上記複数種類であるのかは制約条件により決められる。
【0031】
例えば、ニューラルネットワーク作成部１０３は、上記制約条件を満たすように、図４に対して各層の出力チャネル数をニューラルネットワークのアルゴリズムに基づきまたは経験則に基づき設定することで、ニューラルネットワークを作成してもよい。
また、例えば、ニューラルネットワーク作成部１０３は、上記制約条件を満たすように、図５に対してモジュールの挿入箇所をニューラルネットワークのアルゴリズムに基づきまたは経験則に基づき設定することで、ニューラルネットワークを作成してもよい。
また、例えば、ニューラルネットワーク作成部１０３は、上記制約条件を満たすように、図６に対して中間層の数をニューラルネットワークのアルゴリズムに基づきまたは経験則に基づき設定することで、ニューラルネットワークを作成してもよい。
また、例えば、ニューラルネットワーク作成部１０３は、上記制約条件を満たすように、図５に対してモジュールの挿入箇所をニューラルネットワークのアルゴリズムに基づきまたは経験則に基づき設定することで、ニューラルネットワークを作成してもよい。
また、例えば、ニューラルネットワーク作成部１０３は、上記制約条件を満たすように、図６に対して中間層の数をニューラルネットワークのアルゴリズムに基づきまたは経験則に基づき設定することで、ニューラルネットワークを作成してもよい。
【0032】
また、例えば、ニューラルネットワーク作成部１０３は、上記制約条件を満たすように、図４に対して各層の出力チャネル数、図５に対してモジュールの挿入箇所、および、図６に対して中間層の数のうちの複数種類のパラメータをニューラルネットワークのアルゴリズムに基づきまたは経験則に基づき設定することで、ニューラルネットワークを作成してもよい。
【0033】
次いで、学習部１０４は、ニューラルネットワーク作成部１０３により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、学習データを用いて学習処理を行う（ステップＳＴ１０５）。
【0034】
次いで、学習判定部１０５は、学習部１０４による学習後のニューラルネットワークに基づいて、当該ニューラルネットワークごとに学習の妥当性を判定する（ステップＳＴ１０６）。
この際、例えば、学習判定部１０５は、学習後のニューラルネットワークに対して、テストデータを入力し、その際の出力の正解率に基づいて妥当性を判定する。テストデータは、学習後のニューラルネットワークの精度を判定するためのデータである。また、例えば、学習判定部１０５は、学習結果に関する情報に基づいて、妥当性を判定してもよい。
この際、例えば、学習判定部１０５は、学習後のニューラルネットワークに対して、テストデータを入力し、その際の出力の正解率に基づいて妥当性を判定する。テストデータは、学習後のニューラルネットワークの精度を判定するためのデータである。また、例えば、学習判定部１０５は、学習結果に関する情報に基づいて、妥当性を判定してもよい。
【0035】
例えば、学習判定部１０５は、上記正解率が７５％以上かつ１０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）以上である場合に、学習が妥当であると判定する。なお、ｆｐｓは、一秒間あたりに何枚の画像を処理できるかを意味する評価指標である。
【0036】
図２の場合には、このステップＳＴ１０６において、学習判定部１０５が全てのニューラルネットワークについて学習が妥当ではないと判定した場合、シーケンスはステップＳＴ１０３に戻る。
すなわち、この場合、ニューラルネットワーク作成部１０３は、前回とは異なるパラメータの複数のニューラルネットワークを再度作成する。その後、学習部１０４は、上記ニューラルネットワークに基づいて、当該ニューラルネットワークごとに、学習データを用いて学習処理を再度行う。
すなわち、この場合、ニューラルネットワーク作成部１０３は、前回とは異なるパラメータの複数のニューラルネットワークを再度作成する。その後、学習部１０４は、上記ニューラルネットワークに基づいて、当該ニューラルネットワークごとに、学習データを用いて学習処理を再度行う。
【0037】
図３の場合には、このステップＳＴ１０６において、学習判定部１０５が全てのニューラルネットワークについて学習が妥当ではないと判定した場合、シーケンスはステップＳＴ１０４に戻る。
すなわち、この場合、学習部１０４は、ニューラルネットワーク作成部１０３により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、前回とは異なる学習データを用いて学習処理を再度行う。
すなわち、この場合、学習部１０４は、ニューラルネットワーク作成部１０３により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、前回とは異なる学習データを用いて学習処理を再度行う。
【0038】
一方、ステップＳＴ１０６において、学習判定部１０５により学習が妥当であると判定された場合、ニューラルネットワーク選択部１０６は、当該学習が妥当であると判定されたニューラルネットワークの中から、ニューラルネットワークを１つ選択する（ステップＳＴ１０７）。
この際、例えば、ニューラルネットワーク選択部１０６は、学習判定部１０５またはユーザにより学習が妥当であると判定されたニューラルネットワークの中から、エッジデバイスに関する情報および学習結果に関する情報などの条件に基づいて、ニューラルネットワークを１つ選択する。
この際、例えば、ニューラルネットワーク選択部１０６は、学習判定部１０５またはユーザにより学習が妥当であると判定されたニューラルネットワークの中から、エッジデバイスに関する情報および学習結果に関する情報などの条件に基づいて、ニューラルネットワークを１つ選択する。
【0039】
なお、ニューラルネットワーク選択部１０６は、学習判定部１０５により学習が妥当であると判定されたニューラルネットワークの中に、エッジデバイスに関する情報および求められる性能などの条件を満たすニューラルネットワークが複数存在する場合、当該複数のニューラルネットワークの中から１つのニューラルネットワークを選択する。
この際、例えば、ニューラルネットワーク選択部１０６は、上記複数のニューラルネットワークのうち、最も条件のよいニューラルネットワークを選択してもよい。また、例えば、ニューラルネットワーク選択部１０６は、上記複数のニューラルネットワークのうち、制約条件以外の判定基準（例えば条件の優先度）に基づいて、１つのニューラルネットワークを選択してもよい。また、例えば、ニューラルネットワーク選択部１０６は、上記複数のニューラルネットワークを示す情報をユーザに通知し、当該ユーザによる選択に基づいて、１つのニューラルネットワークを選択してもよい。
この際、例えば、ニューラルネットワーク選択部１０６は、上記複数のニューラルネットワークのうち、最も条件のよいニューラルネットワークを選択してもよい。また、例えば、ニューラルネットワーク選択部１０６は、上記複数のニューラルネットワークのうち、制約条件以外の判定基準（例えば条件の優先度）に基づいて、１つのニューラルネットワークを選択してもよい。また、例えば、ニューラルネットワーク選択部１０６は、上記複数のニューラルネットワークを示す情報をユーザに通知し、当該ユーザによる選択に基づいて、１つのニューラルネットワークを選択してもよい。
【0040】
例えば、上記複数のニューラルネットワークの中に、「精度は高いがサイズが大きいニューラルネットワーク」と「精度は低いがサイズが小さいニューラルネットワーク」があった場合、どちらを選択するかはトレードオフとなる。このような場合、制約条件の他に判定基準（例えば条件の優先度）が必要となる。そこで、このような場合、例えば、ニューラルネットワーク選択部１０６は、上記複数のニューラルネットワークのうち、判定基準またはユーザによる選択に応じて、１つのニューラルネットワークを選択する。
【0041】
その後、ユーザは、ニューラルネットワーク選択部１０６により選択されたニューラルネットワークに基づいて、論理合成を行う。論理合成は、上記選択されたニューラルネットワークに基づいて、論理を最適化し、実際の回路構造を設計する工程である。
そして、ユーザは、論理合成の結果に基づいて、ニューラルネットワーク選択部１０６により選択されたニューラルネットワークをエッジデバイスで実行可能かを判断する。例えば、ユーザは、論理合成の結果が、回路規模が１００ｋロジックセル以下であり、消費電力が１Ｗ以下であるかを判断することで、上記選択されたニューラルネットワークをエッジデバイスで実行可能かを判断する。
ここで、ユーザがエッジデバイスで実行可能ではないと判断した場合、ニューラルネットワーク選択部１０６による処理に戻り、ニューラルネットワーク選択部１０６は他のニューラルネットワークを選択する。そして、ユーザは上記の処理を繰り返す。
また、ユーザがエッジデバイスで実行可能であると判断した場合、ニューラルネットワーク実装部１０７による処理に移行する。
そして、ユーザは、論理合成の結果に基づいて、ニューラルネットワーク選択部１０６により選択されたニューラルネットワークをエッジデバイスで実行可能かを判断する。例えば、ユーザは、論理合成の結果が、回路規模が１００ｋロジックセル以下であり、消費電力が１Ｗ以下であるかを判断することで、上記選択されたニューラルネットワークをエッジデバイスで実行可能かを判断する。
ここで、ユーザがエッジデバイスで実行可能ではないと判断した場合、ニューラルネットワーク選択部１０６による処理に戻り、ニューラルネットワーク選択部１０６は他のニューラルネットワークを選択する。そして、ユーザは上記の処理を繰り返す。
また、ユーザがエッジデバイスで実行可能であると判断した場合、ニューラルネットワーク実装部１０７による処理に移行する。
【0042】
次いで、ニューラルネットワーク実装部１０７は、ニューラルネットワーク選択部１０６により選択されたニューラルネットワークをエッジデバイスに実装する（ステップＳＴ１０８）。
【0043】
このように、実施の形態１に係るニューラルネットワーク作成装置１では、ニューラルネットワークが有する層の構造のうちのパラメータ化された複数の構造を示す情報であるパラメータ化情報を取得するとともに、制約条件を取得し、これらの情報に基づいて、パラメータを設定することで複数のニューラルネットワークを作成する。これにより、実施の形態１に係るニューラルネットワーク作成装置１では、制約条件に応じてニューラルネットワークを自動で作成可能となり、軽量かつスケーラブルなニューラルネットワークを実現可能となる。その結果、実施の形態１に係るニューラルネットワーク作成装置１では、エッジデバイスの規模に依存せず、従来に対して容易にニューラルネットワークを実装可能となる。
【0044】
また、従来のニューラルネットワーク作成装置１では、学習が妥当ではないと判定した場合、新たなニューラルネットワークを１から作成する必要がある。
これに対し、実施の形態１に係るニューラルネットワーク作成装置１では、学習が妥当ではないと判定した場合、前回とは異なるパラメータのニューラルネットワークを作成することでも対応可能であり、処理がより簡易となる。
これに対し、実施の形態１に係るニューラルネットワーク作成装置１では、学習が妥当ではないと判定した場合、前回とは異なるパラメータのニューラルネットワークを作成することでも対応可能であり、処理がより簡易となる。
【0045】
以上のように、この実施の形態１によれば、ニューラルネットワーク作成装置１は、ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するパラメータ化情報取得部１０１と、制約条件を取得する制約条件取得部１０２と、制約条件取得部１０２により取得された制約条件に基づいて、パラメータ化情報取得部１０１により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するニューラルネットワーク作成部１０３とを備えた。これにより、実施の形態１に係るニューラルネットワーク作成装置１は、制約条件に応じて、エッジデバイス向けのニューラルネットワークを自動で作成可能となる。
【0046】
実施の形態２．
実施の形態１に係るニューラルネットワーク作成装置１では、学習部１０４による学習処理の詳細については特に示していない。ここで、学習後のニューラルネットワークの実装先であるエッジデバイスの使用環境下で適応学習させるためのラベル付データセットがない場合、エッジデバイスの使用環境の変化（例えば画像の明暗）によって精度が低下してしまう。
実施の形態１に係るニューラルネットワーク作成装置１では、学習部１０４による学習処理の詳細については特に示していない。ここで、学習後のニューラルネットワークの実装先であるエッジデバイスの使用環境下で適応学習させるためのラベル付データセットがない場合、エッジデバイスの使用環境の変化（例えば画像の明暗）によって精度が低下してしまう。
【0047】
一方、精度を効率よく向上させる学習方法として、Ｎｏｉｓｙ Ｓｔｕｄｅｎｔが知られている（例えば非特許文献２参照）。
【非特許文献2】https://arxiv.org/pdf/1911.04252.pdf
【0048】
そこで、実施の形態２に係るニューラルネットワーク作成装置１では、エッジデバイスの使用環境下に合わせたＮｏｉｓｙ Ｓｔｕｄｅｎｔによる学習方法を適用した構成例について説明する。
【0049】
図７は実施の形態２に係るニューラルネットワーク作成装置１の構成例を示す図である。この図７に示す実施の形態２に係るニューラルネットワーク作成装置１では、図１に示す実施の形態１に係るニューラルネットワーク作成装置１に対して、学習部１０４が学習部１０４ｂに変更されている。図７に示す実施の形態２に係るニューラルネットワーク作成装置１におけるその他の構成例は、実施の形態１に係るニューラルネットワーク作成装置１におけるその他の構成例と同様であり、同一の符号を付して異なる部分についてのみ説明を行う。
【0050】
学習部１０４ｂは、エッジデバイスの使用環境下に合わせたＮｏｉｓｙ Ｓｔｕｄｅｎｔによる学習を行う。学習部１０４ｂは、上記の点以外は、実施の形態１で示した学習部１０４と同様である。
この学習部１０４ｂは、図８に示すように、第１の学習部１０４１、疑似ラベル付データセット生成部１０４２、ノイズ付加部１０４３、および、第２の学習部１０４４を有する。
この学習部１０４ｂは、図８に示すように、第１の学習部１０４１、疑似ラベル付データセット生成部１０４２、ノイズ付加部１０４３、および、第２の学習部１０４４を有する。
【0051】
第１の学習部１０４１は、学習データとしてラベル付データセットを用い、ニューラルネットワークを学習させる。この第１の学習部１０４１による学習後のニューラルネットワークを、Ｔｅａｃｈｅｒモデルとも呼ぶ。
なお、第１の学習部１０４１は、ニューラルネットワーク作成部１０３により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、上記学習処理を行う。
なお、第１の学習部１０４１は、ニューラルネットワーク作成部１０３により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、上記学習処理を行う。
【0052】
疑似ラベル付データセット生成部１０４２は、ラベル無データセットを取得し、第１の学習部１０４１による学習後のニューラルネットワーク（Ｔｅａｃｈｅｒモデル）に当該ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する。
なお、ラベル無データセットは、エッジデバイスの使用環境下に合わせたデータ、例えば明暗の画像を含むデータである。
なお、ラベル無データセットは、エッジデバイスの使用環境下に合わせたデータ、例えば明暗の画像を含むデータである。
【0053】
また、疑似ラベル付データセット生成部１０４２は、第２の学習部１０４４によりＳｔｕｄｅｎｔモデルが得られた場合には、当該Ｓｔｕｄｅｎｔモデルにラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する。
すなわち、疑似ラベル付データセット生成部１０４２は、第２の学習部１０４４によりＳｔｕｄｅｎｔモデルが得られた場合には、当該Ｓｔｕｄｅｎｔモデルを次のＴｅａｃｈｅｒモデルとして使用する。
すなわち、疑似ラベル付データセット生成部１０４２は、第２の学習部１０４４によりＳｔｕｄｅｎｔモデルが得られた場合には、当該Ｓｔｕｄｅｎｔモデルを次のＴｅａｃｈｅｒモデルとして使用する。
【0054】
ノイズ付加部１０４３は、ラベル付データセット、および、疑似ラベル付データセット生成部１０４２により生成された疑似ラベル付データセットに対して、それぞれノイズをかける。
【0055】
第２の学習部１０４４は、ノイズ付加部１０４３によりノイズがかけられたラベル付データセットおよび疑似ラベル付データセットを用い、ニューラルネットワークを学習させる。この第２の学習部１０４４による学習後のニューラルネットワークを、Ｓｔｕｄｅｎｔモデルとも呼ぶ。
なお、第２の学習部１０４４は、ニューラルネットワーク作成部１０３により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、上記学習処理を行う。
なお、第２の学習部１０４４は、ニューラルネットワーク作成部１０３により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、上記学習処理を行う。
【0056】
なお、学習判定部１０５は、第２の学習部１０４４による学習後のニューラルネットワークに基づいて、当該ニューラルネットワークごとに学習の妥当性を判定する。
【0057】
次に、図８に示す実施の形態２における学習部１０４ｂの動作例について、図９を参照しながら説明する。
図８に示す実施の形態２における学習部１０４ｂの動作例では、例えば図９に示すように、まず、第１の学習部１０４１は、学習データとしてラベル付データセットを用い、ニューラルネットワークを学習させる（ステップＳＴ２０１）。なお、第１の学習部１０４１は、ニューラルネットワーク作成部１０３により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、上記学習処理を行う。
図８に示す実施の形態２における学習部１０４ｂの動作例では、例えば図９に示すように、まず、第１の学習部１０４１は、学習データとしてラベル付データセットを用い、ニューラルネットワークを学習させる（ステップＳＴ２０１）。なお、第１の学習部１０４１は、ニューラルネットワーク作成部１０３により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、上記学習処理を行う。
【0058】
次いで、疑似ラベル付データセット生成部１０４２は、ラベル無データセットを取得し、第１の学習部１０４１による学習後のニューラルネットワーク（Ｔｅａｃｈｅｒモデル）に当該ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する（ステップＳＴ２０２）。なお、ラベル無データセットは、エッジデバイスの使用環境下に合わせたデータ、例えば明暗の画像を含むデータである。
【0059】
次いで、ノイズ付加部１０４３は、ラベル付データセット、および、疑似ラベル付データセット生成部１０４２により生成された疑似ラベル付データセットに対して、それぞれノイズをかける（ステップＳＴ２０３）。
【0060】
次いで、第２の学習部１０４４は、ノイズ付加部１０４３によりノイズがかけられたラベル付データセットおよび疑似ラベル付データセットを用い、ニューラルネットワークを学習させる（ステップＳＴ２０４）。なお、第２の学習部１０４４は、ニューラルネットワーク作成部１０３により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、上記学習処理を行う。
【0061】
その後、シーケンスは、ステップＳＴ２０２に戻る。
そして、疑似ラベル付データセット生成部１０４２は、第２の学習部１０４４による学習後のニューラルネットワーク（Ｓｔｕｄｅｎｔモデル）にラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する。すなわち、疑似ラベル付データセット生成部１０４２は、第２の学習部１０４４によりＳｔｕｄｅｎｔモデルが得られた場合には、当該Ｓｔｕｄｅｎｔモデルを次のＴｅａｃｈｅｒモデルとして使用する。
そして、疑似ラベル付データセット生成部１０４２は、第２の学習部１０４４による学習後のニューラルネットワーク（Ｓｔｕｄｅｎｔモデル）にラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する。すなわち、疑似ラベル付データセット生成部１０４２は、第２の学習部１０４４によりＳｔｕｄｅｎｔモデルが得られた場合には、当該Ｓｔｕｄｅｎｔモデルを次のＴｅａｃｈｅｒモデルとして使用する。
【0062】
このように、実施の形態２に係るニューラルネットワーク作成装置１では、Ｎｏｉｓｙ Ｓｔｕｄｅｎｔのラベル無データセットに、エッジデバイスの使用環境下に合わせたデータを用いることで、エッジデバイスの使用環境下に応じて精度を向上させることが可能となる。
【0063】
以上のように、この実施の形態２によれば、学習部１０４ｂは、学習データとしてラベル付データセットを用い、ニューラルネットワークを学習させる第１の学習部１０４１と、ラベル無データセットを取得し、第１の学習部１０４１による学習後のニューラルネットワークに当該ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する疑似ラベル付データセット生成部１０４２と、ラベル付データセット、および、疑似ラベル付データセット生成部１０４２により生成された疑似ラベル付データセットに対して、それぞれノイズをかけるノイズ付加部１０４３と、ノイズ付加部１０４３によりノイズがかけられたラベル付データセットおよび疑似ラベル付データセットを用い、ニューラルネットワークを学習させる第２の学習部１０４４とを有し、疑似ラベル付データセット生成部１０４２は、第２の学習部１０４４によりニューラルネットワークが学習された場合には、当該第２の学習部１０４４による学習後のニューラルネットワークにラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する。これにより、実施の形態２に係るニューラルネットワーク作成装置１は、実施の形態１における効果に加え、エッジデバイスの使用環境下に応じて精度を向上させることが可能となる。
【0064】
最後に、図１０を参照して、実施の形態１，２に係るニューラルネットワーク作成装置１のハードウェア構成例を説明する。なお、以下では、実施の形態１に係るニューラルネットワーク作成装置１のハードウェア構成例について説明するが、実施の形態２に係るニューラルネットワーク作成装置１のハードウェア構成例についても同様である。
ニューラルネットワーク作成装置１におけるパラメータ化情報取得部１０１、制約条件取得部１０２、ニューラルネットワーク作成部１０３、学習部１０４、学習判定部１０５、ニューラルネットワーク選択部１０６、および、ニューラルネットワーク実装部１０７の各機能は、処理回路５１により実現される。処理回路５１は、図１０Ａに示すように、専用のハードウェアであってもよいし、図１０Ｂに示すように、メモリ５３に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ともいう）５２であってもよい。
ニューラルネットワーク作成装置１におけるパラメータ化情報取得部１０１、制約条件取得部１０２、ニューラルネットワーク作成部１０３、学習部１０４、学習判定部１０５、ニューラルネットワーク選択部１０６、および、ニューラルネットワーク実装部１０７の各機能は、処理回路５１により実現される。処理回路５１は、図１０Ａに示すように、専用のハードウェアであってもよいし、図１０Ｂに示すように、メモリ５３に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ともいう）５２であってもよい。
【0065】
処理回路５１が専用のハードウェアである場合、処理回路５１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。パラメータ化情報取得部１０１、制約条件取得部１０２、ニューラルネットワーク作成部１０３、学習部１０４、学習判定部１０５、ニューラルネットワーク選択部１０６、および、ニューラルネットワーク実装部１０７の各部の機能それぞれを処理回路５１で実現してもよいし、各部の機能をまとめて処理回路５１で実現してもよい。
【0066】
処理回路５１がＣＰＵ５２の場合、パラメータ化情報取得部１０１、制約条件取得部１０２、ニューラルネットワーク作成部１０３、学習部１０４、学習判定部１０５、ニューラルネットワーク選択部１０６、および、ニューラルネットワーク実装部１０７の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアはプログラムとして記述され、メモリ５３に格納される。処理回路５１は、メモリ５３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、ニューラルネットワーク作成装置１は、処理回路５１により実行されるときに、例えば図２および図３に示した各ステップが結果的に実行されることになるプログラムを格納するためのメモリ５３を備える。また、これらのプログラムは、パラメータ化情報取得部１０１、制約条件取得部１０２、ニューラルネットワーク作成部１０３、学習部１０４、学習判定部１０５、ニューラルネットワーク選択部１０６、および、ニューラルネットワーク実装部１０７の手順および方法をコンピュータに実行させるものであるともいえる。ここで、メモリ５３としては、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などが該当する。
【0067】
なお、パラメータ化情報取得部１０１、制約条件取得部１０２、ニューラルネットワーク作成部１０３、学習部１０４、学習判定部１０５、ニューラルネットワーク選択部１０６、および、ニューラルネットワーク実装部１０７の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、パラメータ化情報取得部１０１については専用のハードウェアとしての処理回路５１でその機能を実現し、制約条件取得部１０２、ニューラルネットワーク作成部１０３、学習部１０４、学習判定部１０５、ニューラルネットワーク選択部１０６、および、ニューラルネットワーク実装部１０７については処理回路５１がメモリ５３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
【0068】
このように、処理回路５１は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【0069】
なお、各実施の形態の自由な組合わせ、或いは各実施の形態の任意の構成要素の変形、若しくは各実施の形態において任意の構成要素の省略が可能である。
【0070】
以下、本開示の諸態様を付記としてまとめて記載する。
【0071】
（付記１）
ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するパラメータ化情報取得部と、
制約条件を取得する制約条件取得部と、
前記制約条件取得部により取得された制約条件に基づいて、前記パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するニューラルネットワーク作成部と
を備えたニューラルネットワーク作成装置。
（付記２）
前記ニューラルネットワーク作成部により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、学習データを用いて学習処理を行う学習部と、
前記学習部による学習後のニューラルネットワークのうち、学習が妥当であると判定されたニューラルネットワークの中から、ニューラルネットワークを１つ選択するニューラルネットワーク選択部と、
前記ニューラルネットワーク選択部により選択されたニューラルネットワークをエッジデバイスに実装するニューラルネットワーク実装部とを備えた
ことを特徴とする付記１記載のニューラルネットワーク作成装置。
（付記３）
前記学習部は、
学習データとしてラベル付データセットを用い、ニューラルネットワークを学習させる第１の学習部と、
ラベル無データセットを取得し、前記第１の学習部による学習後のニューラルネットワークに当該ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する疑似ラベル付データセット生成部と、
前記ラベル付データセット、および、前記疑似ラベル付データセット生成部により生成された疑似ラベル付データセットに対して、それぞれノイズをかけるノイズ付加部と、
前記ノイズ付加部によりノイズがかけられたラベル付データセットおよび疑似ラベル付データセットを用い、ニューラルネットワークを学習させる第２の学習部とを有し、
前記疑似ラベル付データセット生成部は、前記第２の学習部によりニューラルネットワークが学習された場合には、当該第２の学習部による学習後のニューラルネットワークに前記ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する
ことを特徴とする付記２記載のニューラルネットワーク作成装置。
（付記４）
前記ニューラルネットワーク作成部は、学習後の全てのニューラルネットワークについて学習が妥当ではないと判定された場合、前回とは異なるパラメータの複数のニューラルネットワークを再度作成する
ことを特徴とする付記１から付記３のうちの何れか１項記載のニューラルネットワーク作成装置。
（付記５）
前記パラメータ化される構造は、チャネル数、モジュール、カーネル数、ストライド数、層の数、または、ｅｘｐａｎｓｉｏｎ ｌａｙｅｒでの拡大率である
ことを特徴とする付記１から付記４のうちの何れか１項記載のニューラルネットワーク作成装置。
（付記６）
前記パラメータ化される構造は、ニューラルネットワークの種類に基づく
ことを特徴とする付記１から付記５のうちの何れか１項記載のニューラルネットワーク作成装置。
（付記７）
パラメータ化情報取得部が、ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するステップと、
制約条件取得部が、制約条件を取得するステップと、
ニューラルネットワーク作成部が、前記制約条件取得部により取得された制約条件に基づいて、前記パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するステップと
を有するニューラルネットワーク作成方法。
ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するパラメータ化情報取得部と、
制約条件を取得する制約条件取得部と、
前記制約条件取得部により取得された制約条件に基づいて、前記パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するニューラルネットワーク作成部と
を備えたニューラルネットワーク作成装置。
（付記２）
前記ニューラルネットワーク作成部により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、学習データを用いて学習処理を行う学習部と、
前記学習部による学習後のニューラルネットワークのうち、学習が妥当であると判定されたニューラルネットワークの中から、ニューラルネットワークを１つ選択するニューラルネットワーク選択部と、
前記ニューラルネットワーク選択部により選択されたニューラルネットワークをエッジデバイスに実装するニューラルネットワーク実装部とを備えた
ことを特徴とする付記１記載のニューラルネットワーク作成装置。
（付記３）
前記学習部は、
学習データとしてラベル付データセットを用い、ニューラルネットワークを学習させる第１の学習部と、
ラベル無データセットを取得し、前記第１の学習部による学習後のニューラルネットワークに当該ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する疑似ラベル付データセット生成部と、
前記ラベル付データセット、および、前記疑似ラベル付データセット生成部により生成された疑似ラベル付データセットに対して、それぞれノイズをかけるノイズ付加部と、
前記ノイズ付加部によりノイズがかけられたラベル付データセットおよび疑似ラベル付データセットを用い、ニューラルネットワークを学習させる第２の学習部とを有し、
前記疑似ラベル付データセット生成部は、前記第２の学習部によりニューラルネットワークが学習された場合には、当該第２の学習部による学習後のニューラルネットワークに前記ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する
ことを特徴とする付記２記載のニューラルネットワーク作成装置。
（付記４）
前記ニューラルネットワーク作成部は、学習後の全てのニューラルネットワークについて学習が妥当ではないと判定された場合、前回とは異なるパラメータの複数のニューラルネットワークを再度作成する
ことを特徴とする付記１から付記３のうちの何れか１項記載のニューラルネットワーク作成装置。
（付記５）
前記パラメータ化される構造は、チャネル数、モジュール、カーネル数、ストライド数、層の数、または、ｅｘｐａｎｓｉｏｎ ｌａｙｅｒでの拡大率である
ことを特徴とする付記１から付記４のうちの何れか１項記載のニューラルネットワーク作成装置。
（付記６）
前記パラメータ化される構造は、ニューラルネットワークの種類に基づく
ことを特徴とする付記１から付記５のうちの何れか１項記載のニューラルネットワーク作成装置。
（付記７）
パラメータ化情報取得部が、ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するステップと、
制約条件取得部が、制約条件を取得するステップと、
ニューラルネットワーク作成部が、前記制約条件取得部により取得された制約条件に基づいて、前記パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するステップと
を有するニューラルネットワーク作成方法。
【符号の説明】
【0072】
１ ニューラルネットワーク作成装置、５１ 処理回路、５２ ＣＰＵ、５３ メモリ、１０１ パラメータ化情報取得部、１０２ 制約条件取得部、１０３ ニューラルネットワーク作成部、１０４，１０４ｂ 学習部、１０５ 学習判定部、１０６ ニューラルネットワーク選択部、１０７ ニューラルネットワーク実装部、１０４１ 第１の学習部、１０４２ 疑似ラベル付データセット生成部、１０４３ ノイズ付加部、１０４４ 第２の学習部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2025-01-23
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【0006】
本開示に係るニューラルネットワーク作成装置は、ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するパラメータ化情報取得部と、制約条件を取得する制約条件取得部と、制約条件取得部により取得された制約条件に基づいて、パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するニューラルネットワーク作成部と、前記ニューラルネットワーク作成部により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、学習データを用いて学習処理を行う学習部と、前記学習部による学習後のニューラルネットワークのうち、学習が妥当であると判定されたニューラルネットワークの中から、前記制約条件以外の判定基準またはユーザによる選択に基づいて、ニューラルネットワークを１つ選択するニューラルネットワーク選択部と、前記ニューラルネットワーク選択部により選択されたニューラルネットワークをエッジデバイスに実装するニューラルネットワーク実装部とを備えたことを特徴とする。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するパラメータ化情報取得部と、
制約条件を取得する制約条件取得部と、
前記制約条件取得部により取得された制約条件に基づいて、前記パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するニューラルネットワーク作成部と、
前記ニューラルネットワーク作成部により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、学習データを用いて学習処理を行う学習部と、
前記学習部による学習後のニューラルネットワークのうち、学習が妥当であると判定されたニューラルネットワークの中から、前記制約条件以外の判定基準またはユーザによる選択に基づいて、ニューラルネットワークを１つ選択するニューラルネットワーク選択部と、
前記ニューラルネットワーク選択部により選択されたニューラルネットワークをエッジデバイスに実装するニューラルネットワーク実装部と
を備えたニューラルネットワーク作成装置。
制約条件を取得する制約条件取得部と、
前記制約条件取得部により取得された制約条件に基づいて、前記パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するニューラルネットワーク作成部と、
前記ニューラルネットワーク作成部により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、学習データを用いて学習処理を行う学習部と、
前記学習部による学習後のニューラルネットワークのうち、学習が妥当であると判定されたニューラルネットワークの中から、前記制約条件以外の判定基準またはユーザによる選択に基づいて、ニューラルネットワークを１つ選択するニューラルネットワーク選択部と、
前記ニューラルネットワーク選択部により選択されたニューラルネットワークをエッジデバイスに実装するニューラルネットワーク実装部と
を備えたニューラルネットワーク作成装置。
【請求項2】
前記学習部は、
学習データとしてラベル付データセットを用い、ニューラルネットワークを学習させる第１の学習部と、
ラベル無データセットを取得し、前記第１の学習部による学習後のニューラルネットワークに当該ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する疑似ラベル付データセット生成部と、
前記ラベル付データセット、および、前記疑似ラベル付データセット生成部により生成された疑似ラベル付データセットに対して、それぞれノイズをかけるノイズ付加部と、
前記ノイズ付加部によりノイズがかけられたラベル付データセットおよび疑似ラベル付データセットを用い、ニューラルネットワークを学習させる第２の学習部とを有し、
前記疑似ラベル付データセット生成部は、前記第２の学習部によりニューラルネットワークが学習された場合には、当該第２の学習部による学習後のニューラルネットワークに前記ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する
ことを特徴とする請求項１記載のニューラルネットワーク作成装置。
学習データとしてラベル付データセットを用い、ニューラルネットワークを学習させる第１の学習部と、
ラベル無データセットを取得し、前記第１の学習部による学習後のニューラルネットワークに当該ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する疑似ラベル付データセット生成部と、
前記ラベル付データセット、および、前記疑似ラベル付データセット生成部により生成された疑似ラベル付データセットに対して、それぞれノイズをかけるノイズ付加部と、
前記ノイズ付加部によりノイズがかけられたラベル付データセットおよび疑似ラベル付データセットを用い、ニューラルネットワークを学習させる第２の学習部とを有し、
前記疑似ラベル付データセット生成部は、前記第２の学習部によりニューラルネットワークが学習された場合には、当該第２の学習部による学習後のニューラルネットワークに前記ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する
ことを特徴とする請求項１記載のニューラルネットワーク作成装置。
【請求項3】
前記ニューラルネットワーク作成部は、学習後の全てのニューラルネットワークについて学習が妥当ではないと判定された場合、前回とは異なるパラメータの複数のニューラルネットワークを再度作成する
ことを特徴とする請求項１または請求項２記載のニューラルネットワーク作成装置。
ことを特徴とする請求項１または請求項２記載のニューラルネットワーク作成装置。
【請求項4】
前記パラメータ化される構造は、チャネル数、モジュール、カーネル数、ストライド数、層の数、または、ｅｘｐａｎｓｉｏｎ ｌａｙｅｒでの拡大率である
ことを特徴とする請求項１記載のニューラルネットワーク作成装置。
ことを特徴とする請求項１記載のニューラルネットワーク作成装置。
【請求項5】
前記パラメータ化される構造は、ニューラルネットワークの種類に基づく
ことを特徴とする請求項１記載のニューラルネットワーク作成装置。
ことを特徴とする請求項１記載のニューラルネットワーク作成装置。
【請求項6】
パラメータ化情報取得部が、ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するステップと、
制約条件取得部が、制約条件を取得するステップと、
ニューラルネットワーク作成部が、前記制約条件取得部により取得された制約条件に基づいて、前記パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するステップと、
学習部が、前記ニューラルネットワーク作成部により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、学習データを用いて学習処理を行うステップと、
ニューラルネットワーク選択部が、前記学習部による学習後のニューラルネットワークのうち、学習が妥当であると判定されたニューラルネットワークの中から、前記制約条件以外の判定基準またはユーザによる選択に基づいて、ニューラルネットワークを１つ選択するステップと、
ニューラルネットワーク実装部が、前記ニューラルネットワーク選択部により選択されたニューラルネットワークをエッジデバイスに実装するステップと
を有するニューラルネットワーク作成方法。
制約条件取得部が、制約条件を取得するステップと、
ニューラルネットワーク作成部が、前記制約条件取得部により取得された制約条件に基づいて、前記パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するステップと、
学習部が、前記ニューラルネットワーク作成部により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、学習データを用いて学習処理を行うステップと、
ニューラルネットワーク選択部が、前記学習部による学習後のニューラルネットワークのうち、学習が妥当であると判定されたニューラルネットワークの中から、前記制約条件以外の判定基準またはユーザによる選択に基づいて、ニューラルネットワークを１つ選択するステップと、
ニューラルネットワーク実装部が、前記ニューラルネットワーク選択部により選択されたニューラルネットワークをエッジデバイスに実装するステップと
を有するニューラルネットワーク作成方法。