特許 7400824 パラメータ決定装置、信号送信装置、パラメータ決定方法、信号送信方法、及び、記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-11

(45)【発行日】2023-12-19

(54)【発明の名称】パラメータ決定装置、信号送信装置、パラメータ決定方法、信号送信方法、及び、記録媒体

(51)【国際特許分類】

   G06N 3/08 20230101AFI20231212BHJP

【ＦＩ】

G06N3/08

【請求項の数】 30

(21)【出願番号】P 2021546587

(86)(22)【出願日】2020-09-02

(86)【国際出願番号】 JP2020033192

(87)【国際公開番号】W WO2021054118

(87)【国際公開日】2021-03-25

【審査請求日】2022-03-04

(31)【優先権主張番号】P 2019169715

(32)【優先日】2019-09-18

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】谷尾 真明

(72)【発明者】

【氏名】神谷 典史

(72)【発明者】

【氏名】石井 直人

【審査官】渡辺 順哉

(56)【参考文献】

【文献】特開平０７－１２１４９４（ＪＰ，Ａ）

【文献】YU, Zhijian，A Generalized Digital Predistortion Model Based on Artificial Neural Networks，2018 Asia-Pacific Microwave Conference (APMC)[online]，2018年11月，pp.935-937，[retrieved on 2019.11.25], Retrieved from the Internet: <URL: https://ieeexplore.ieee.org/document/8617423>

【文献】谷口敦司 ほか，重み係数のスパース化による深層ニューラルネットワークのコンパクト化技術，東芝レビュー，2019年07月，Vol.74, No.4，pp.42-45，ISSN 2432-1168

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

複数の層を備えるニューラルネットワークのパラメータを決定するパラメータ決定装置であって、
学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習する第１学習手段と、
前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択する選択手段と、
前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習する第２学習手段と
を備えるパラメータ決定装置。

【請求項2】

変数ｊが３以上の整数である場合には、前記第２学習手段は、前記学習用信号、前記教師用信号、前記有効経路、並びに、前記複数の層のうちの第１番目の層から第ｊ－１番目の層までの間のネットワーク構造に関する前記パラメータに基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を学習する
請求項１に記載のパラメータ決定装置。

【請求項3】

変数ｊが３以上の整数である場合には、前記第２学習手段は、前記複数の層のうちの第１番目の層から第ｊ－１番目の層までの間のネットワーク構造に関する前記パラメータを固定したまま、前記教師用信号と、前記学習用信号が入力された前記ニューラルネットワークからの出力との差分が小さくなるように、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を学習する
請求項１又は２に記載のパラメータ決定装置。

【請求項4】

前記第１学習手段、前記選択手段及び前記第２学習手段を備えるパラメータ決定ユニットを複数備え、
前記複数のパラメータ決定ユニットは、夫々、異なる複数の層に関連する前記パラメータを決定する
請求項１から３のいずれか一項に記載のパラメータ決定装置。

【請求項5】

前記第１学習手段は、前記ｊ－１番目の層と前記ｊ番目の層との間の重みを学習する都度、（ｉ）前記学習した重みに基づいて、前記第ｊ番目の層に含まれる複数のノードと前記第ｊ－１番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の一部を限定経路として選択し、（ｉｉ）前記限定経路に対応する重みが前記複数の接続経路のうちの前記限定経路以外の接続経路に対応する重みよりも相対的に大きくなる学習が行われるように、前記ｊ－１番目の層と前記ｊ番目の層との間の重みを学習するために用いる目的関数を更新し、更新した前記目的関数を用いて前記ｊ－１番目の層と前記ｊ番目の層との間の重みを再度学習する
請求項１から４のいずれか一項に記載のパラメータ決定装置。

【請求項6】

前記目的関数は、学習誤差と、前記ｊ－１番目の層と前記ｊ番目の層との間の重みの絶対値の総和が大きくなるほど大きくなる正則化項とが加算された関数であり、
前記第１学習手段は、前記正則化項のうちの前記限定経路に対応する重みの絶対値又は前記絶対値のべき乗の総和が大きくなるほど大きくなる正則化項成分が小さくなるように前記目的関数を更新する
請求項５に記載のパラメータ決定装置。

【請求項7】

前記第１学習手段は、前記正則化項成分に対して０以上且つ１以下の係数を掛け合わせることで、前記正則化項成分が小さくなるように前記目的関数を更新し、
前記第１学習手段は、前記目的関数を新たに更新する際に、前記目的関数を前回更新する際に用いた前記係数以下の前記係数を前記正則化項成分に掛け合わせることで、前記目的関数を更新する
請求項６に記載のパラメータ決定装置。

【請求項8】

前記第２学習手段は、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方の学習が完了したときに学習誤差が目標値を下回る場合には、重みの絶対値が最も小さい一の有効経路を削除し、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を再度学習する
請求項１から７のいずれか一項に記載のパラメータ決定装置。

【請求項9】

前記第２学習手段は、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方の学習が完了したときに学習誤差が目標値を下回る場合には、前記第ｊ番目の層に含まれる複数のノードの中から、出力ベクトルの一次独立性が最も低い一のノードを削除し、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を再度学習する
請求項１から８のいずれか一項に記載のパラメータ決定装置。

【請求項10】

前記パラメータ決定装置は、前記ニューラルネットワークとして、信号受信装置に対して送信信号を送信する信号送信装置に実装されるニューラルネットワークの前記パラメータを決定する
請求項１から９のいずれか一項に記載のパラメータ決定装置。

【請求項11】

前記学習用信号及び前記教師用信号の少なくとも一方は、前記送信信号及び前記信号受信装置が受信した受信信号の少なくとも一方に基づく信号である
請求項１０に記載のパラメータ決定装置。

【請求項12】

前記信号送信装置は、
入力信号に対して歪み補償を実行することで、歪み補償信号を生成する歪み補償手段と、
前記歪み補償信号を対象に所定動作を行うことで前記送信信号を生成する信号生成手段と
を備え、
前記パラメータ決定装置は、前記ニューラルネットワークとして、前記歪み補償手段に実装されるニューラルネットワークの前記パラメータを決定する
請求項１１に記載のパラメータ決定装置。

【請求項13】

前記学習用信号及び前記教師用信号の少なくとも一方は、前記入力信号、前記歪み補償信号、前記送信信号及び前記信号受信装置が受信した受信信号の少なくとも一つに基づく信号である
請求項１２に記載のパラメータ決定装置。

【請求項14】

パラメータ決定装置によって決定されたパラメータによって定義され且つ複数の層を備えるニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成する歪み補償手段と、
前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成する信号生成手段と
を備え、
前記パラメータ決定装置は、
学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習する第１学習手段と、
前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択する選択手段と、
前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習する第２学習手段と
を備える信号送信装置。

【請求項15】

前記学習用信号及び前記教師用信号に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習する学習手段を更に備える
請求項１４に記載の信号送信装置。

【請求項16】

ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成する歪み補償手段と、
前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成する信号生成手段と、
学習用信号及び教師用信号に基づいて、前記ニューラルネットワークが備える複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記ニューラルネットワークのパラメータの少なくとも一部として学習する学習手段と
を備え、
前記歪み補償手段は、冗長化された複数のニューラルネットワークのうちの一のニューラルネットワークを用いて前記歪み補償を実行し、
前記歪み補償手段は、前記学習手段が学習したパラメータを、前記複数のニューラルネットワークのうちの前記一のニューラルネットワークとは異なる他のニューラルネットワークに適用した後に、前記一のニューラルネットワークに代えて前記他のニューラルネットワークを用いて前記歪み補償を実行する
信号送信装置。

【請求項17】

前記学習手段は、所定の学習開始条件が成立した場合に、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を学習する
請求項１５又は１６に記載の信号送信装置。

【請求項18】

前記学習手段は、
前記学習用信号及び前記教師用信号に基づいて、前記第ｊ－１番目の層と前記第ｊ番目の層との間の重みを暫定的に学習し、
前記暫定的に学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択し、
前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を学習する
請求項１５から１７のいずれか一項に記載の信号送信装置。

【請求項19】

前記学習手段は、所定の学習開始条件が成立した場合に、前記第ｊ－１番目の層と前記第ｊ番目の層との間の重みを暫定的に学習し、且つ、前記暫定的に学習した重みに基づいて前記有効経路を選択する
請求項１８に記載の信号送信装置。

【請求項20】

前記送信信号を監視する監視手段を備え、
前記学習開始条件は、前記監視手段が監視している前記送信信号の特性に基づいて定まる条件を含む
請求項１７又は１９に記載の信号送信装置。

【請求項21】

前記学習開始条件は、前記監視手段が監視している前記送信信号の歪みが許容値以上に大きくなるという条件を含む
請求項２０に記載の信号送信装置。

【請求項22】

前記学習用信号及び前記教師用信号の少なくとも一方は、前記入力信号、前記歪み補償信号、前記送信信号及び前記信号受信装置が受信した受信信号の少なくとも一つに基づく信号である
請求項１４から２１のいずれか一項に記載の信号送信装置。

【請求項23】

前記歪み補償は、前記所定動作に起因して前記送信信号に生ずる歪み、及び、前記信号生成手段から前記信号受信装置に至る信号伝搬経路で前記送信信号に生ずる歪みの少なくとも一方を補償する
請求項１４から２２のいずれか一項に記載の信号送信装置。

【請求項24】

前記信号送信装置は、前記信号伝搬経路の少なくとも一部を含む
請求項２３に記載の信号送信装置。

【請求項25】

複数の層を備えるニューラルネットワークのパラメータを決定するパラメータ決定方法であって、
学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習することと、
学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択することと、
前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習することと
を含むパラメータ決定方法。

【請求項26】

パラメータ決定装置によって決定されたパラメータによって定義され且つ複数の層を備えるニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成することと、
前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成することと
を含み、
前記パラメータ決定装置は、
学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習する第１学習手段と、
前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択する選択手段と、
前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習する第２学習手段と
を備える信号送信方法。

【請求項27】

ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成することと、
前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成することと、
学習用信号及び教師用信号に基づいて、前記ニューラルネットワークが備える複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記ニューラルネットワークのパラメータの少なくとも一部として学習することと
を含み、
前記歪み補償は、冗長化された複数のニューラルネットワークのうちの一のニューラルネットワークを用いて実行され、
前記学習したパラメータが、前記複数のニューラルネットワークのうちの前記一のニューラルネットワークとは異なる他のニューラルネットワークに適用された後に、前記歪み補償は、前記一のニューラルネットワークに代えて前記他のニューラルネットワークを用いて前記歪み補償を実行される
信号送信方法。

【請求項28】

コンピュータに、複数の層を備えるニューラルネットワークのパラメータを決定するパラメータ決定方法を実行させるコンピュータプログラムであって、
前記パラメータ決定方法は、
学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習することと、
学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択することと、
前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習することと
を含むコンピュータプログラム。

【請求項29】

コンピュータに信号送信方法を実行させるコンピュータプログラムであって、
前記信号送信方法は、
パラメータ決定装置によって決定されたパラメータによって定義され且つ複数の層を備えるニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成することと、
前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成することと
を含み、
前記パラメータ決定装置は、
学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習する第１学習手段と、
前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択する選択手段と、
前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習する第２学習手段と
を備えるコンピュータプログラム。

【請求項30】

コンピュータに信号送信方法を実行させるコンピュータプログラムであって、
前記信号送信方法は、
ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成することと、
前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成することと、
学習用信号及び教師用信号に基づいて、前記ニューラルネットワークが備える複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記ニューラルネットワークのパラメータの少なくとも一部として学習することと
を含み、
前記歪み補償は、冗長化された複数のニューラルネットワークのうちの一のニューラルネットワークを用いて実行され、
前記学習したパラメータが、前記複数のニューラルネットワークのうちの前記一のニューラルネットワークとは異なる他のニューラルネットワークに適用された後に、前記歪み補償は、前記一のニューラルネットワークに代えて前記他のニューラルネットワークを用いて前記歪み補償を実行される
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ニューラルネットワークのパラメータを決定するパラメータ決定装置、パラメータ決定方法及び記録媒体、並びに、信号を送信する信号送信装置、信号送信方法及び記録媒体の技術分野に関する。

【背景技術】

【0002】

近年、様々な技術分野において、ニューラルネットワークの活用が検討されている。例えば、移動体通信システム等の無線通信システムでは、ニューラルネットワークを用いて、デジタルプリディストーション（ＤＰＤ：Ｄｉｇｉｔａｌ Ｐｒｅ－Ｄｉｓｔｏｒｔｉｏｎ）方式の歪み補償回路が構築されている（非特許文献１参照）。

【0003】

その他、本願発明に関連する先行技術文献として、特許文献１から特許文献３及び非特許文献１から非特許文献７があげられる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００９－６４２１６号公報

【文献】特開平１１－１３４００３号公報

【文献】特開平８－２４９００７号公報

【非特許文献】

【0005】

【文献】Ｚｈｉｊｉａｎ Ｙｕ、“Ａ Ｇｅｎｅｒａｌｉｚｅｄ Ｄｉｇｉｔａｌ Ｐｒｅｄｉｓｔｏｒｔｉｏｎ Ｍｏｄｅｌ Ｂａｓｅｄ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ”、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１８ Ａｓｉａ－Ｐａｃｉｆｉｃ Ｍｉｃｒｏｗａｖｅ Ｃｏｎｆｅｒｅｎｃｅ、ｐｐ．９３５－９３７頁、２０１８年１１月

【文献】Ｊ．Ｋｉｍ，Ｋ．Ｋｏｎｓｔａｎｔｉｎｏｕ、“Ｄｉｇｉｔａｌ Ｐｒｅｄｉｓｔｏｒｔｉｏｎ ｏｆ ｗｉｄｅ ｂａｎｄ ｓｉｇｎａｌｓ ｂａｓｅｄ ｏｎ ｐｏｗｅｒ ａｍｐｌｉｆｉｅｒ ｗｉｔｈ ｍｅｍｏｒｙ”、ＩＥＴ Ｅｌｅｃｔｒｏｎ Ｋｅｔｔｅｒ、Ｖｏｌ．３７ Ｎｏ．２３、ｐｐ．１４１７－１４１８、２００１年１１月

【文献】Ｄｅｎｎｉｓ Ｒ．Ｍｏｒｇａｎ，Ｚｈｅｎｇｘｉａｎｇ Ｍａ，Ｊａｅｈｙｅｏｎｇ Ｋｉｍ，Ｍｉｃｈａｅｌ Ｇ．Ｚｉｅｒｄｔ，Ｈｏｈｎ Ｐａｓｔａｌａｎ、“Ａ Ｇｅｎｅｒａｌｉｚｅｄ Ｍｅｍｏｒｙ Ｐｏｌｙｎｏｍｉａｌ Ｍｏｄｅｌ ｆｏｒ Ｄｉｇｉｔａｌ Ｐｒｅｄｉｓｔｏｒｔｉｏｎ ｏｆ ＲＦ Ｐｏｗｅｒ Ａｍｐｌｉｆｉｅｒｓ”、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、Ｖｏｌ．５４ Ｎｏ．１０、ｐｐ．３８５２－３８６０、２００６年１０月

【文献】Ｍｅｅｎａｋｓｈｉ Ｒａｗａｔ，Ｆａｄｈｅｌ Ｍ．Ｇｈａｎｎｏｕｃｈｉ、“Ａ Ｍｕｔｕａｌ Ｄｉｓｔｏｒｔｉｏｎ ａｎｄ Ｉｍｐａｉｒｍｅｎｔ Ｃｏｍｐｅｎｓａｔｏｒ ｆｏｒ Ｗｉｄｅｂａｎｄ Ｄｉｒｅｃｔ－Ｃｏｎｖｅｒｓｉｏｎ Ｔｒａｎｓｍｉｔｔｅｒｓ Ｕｓｉｎｇ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ”、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｂｒｏａｄｃａｓｔ、Ｖｏｌ．５８ Ｎｏ．２、ｐｐ．１６８－１７７、２０１２年１月

【文献】Ｓｏｎｇ Ｈａｎ，Ｊｅｆｆ Ｐｏｏｌ，Ｊｏｈｎ Ｔｒａｎ，Ｗｉｌｌｉａｍ Ｊ．Ｄａｌｌｙ、“Ｌｅａｒｎｉｎｇ ｂｏｔｈ Ｗｅｉｇｈｔｓ ａｎｄ Ｃｏｎｎｅｃｔｉｏｎｓ ｆｏｒ Ｅｆｆｉｃｉｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ”、Ｉｎ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ、２０１５年

【文献】Ａｌｉｒｅｚａ Ａｇｈａｓｉ，Ｎａｍ Ｎｇｕｙｅｎ，Ｊｕｓｔｉｎ Ｒｏｍｂｅｒｇ、“Ｎｅｔ－Ｔｒｉｍ：Ａ Ｌａｙｅｒ－ｗｉｓｅ Ｃｏｎｖｅｘ Ｐｒｕｎｉｎｇ ｏｆ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ”、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１６１１．０５１６２、２０１６年

【文献】Ｊｅｓｓｉｃａ Ｃｈａｎｉ－Ｃａｈｕａｎａ，Ｐｅｒ Ｎｉｋｌａｓ Ｌａｎｄｉｎ，Ｃｈｒｉｓｔｉａｎ Ｆａｇｅｒ，Ｔｈｏｍａｓ Ｅｒｉｋｓｓｏｎ、“Ｉｔｅｒａｔｉｖｅ Ｌｅａｒｎｉｎｇ Ｃｏｎｔｒｏｌ ｆｏｒ ＲＦ Ｐｏｗｅｒ Ａｍｐｌｉｆｉｅｒ Ｌｉｎｅａｒｉｚａｔｉｏｎ”、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｍｉｃｒｏｗａｖｅ Ｔｈｅｏｒｙ ａｎｄ Ｔｅｃｈｎｉｑｕｅｓ、Ｖｏｌ．６４ Ｎｏ．９、ｐｐ．２７７８－２７８９、２０１６年９月

【発明の概要】

【発明が解決しようとする課題】

【0006】

ニューラルネットワークを用いて構築される装置は、ニューラルネットワークのネットワーク構造の複雑さに起因して演算量（つまり、計算量）が相対的に多くなってしまうという技術的問題を有する。このため、必要な演算量が相対的に少ないニューラルネットワークを構築することが望まれる。

【0007】

本発明は、上述した技術的問題を解決可能なパラメータ決定装置、パラメータ決定方法及び記録媒体を提供することを課題とする。一例として、本発明は、必要な演算量が相対的に少ないニューラルネットワークを構築可能なパラメータ決定装置、パラメータ決定方法、及び、記録媒体、並びに、必要な演算量が相対的に少ないニューラルネットワークを用いて信号を送信する信号送信装置、信号送信方法及び記録媒体を提供することを課題とする。

【課題を解決するための手段】

【0008】

パラメータ決定装置の一態様は、複数の層を備えるニューラルネットワークのパラメータを決定するパラメータ決定装置であって、学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習する第１学習手段と、前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択する選択手段と、前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習する第２学習手段とを備える。

【0009】

信号送信装置の一の態様は、パラメータ決定装置によって決定されたパラメータによって定義される前記ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成する歪み補償手段と、前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成する信号生成手段とを備え、前記パラメータ決定装置は、学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習する第１学習手段と、前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択する選択手段と、前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習する第２学習手段とを備える。

【0010】

信号送信装置の他の態様は、ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成する歪み補償手段と、前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成する信号生成手段と、学習用信号及び教師用信号に基づいて、前記ニューラルネットワークが備える複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記ニューラルネットワークのパラメータの少なくとも一部として学習する学習手段とを備える。

【0011】

パラメータ決定方法の一の態様は、複数の層を備えるニューラルネットワークのパラメータを決定するパラメータ決定方法であって、学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習することと、前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択することと、前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習することとを含む。

【0012】

信号送信方法の一の態様は、パラメータ決定装置によって決定されたパラメータによって定義される前記ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成することと、前記歪み補償信号ことで、信号受信装置に送信する送信信号を生成することとを含み、前記パラメータ決定装置は、学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習する第１学習手段と、前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択する選択手段と、前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習する第２学習手段とを備える。

【0013】

信号送信方法の他の態様は、ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成することと、前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成することと、学習用信号及び教師用信号に基づいて、前記ニューラルネットワークが備える複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記ニューラルネットワークのパラメータの少なくとも一部として学習することとを含む。

【0014】

記録媒体の第１の態様は、コンピュータに、複数の層を備えるニューラルネットワークのパラメータを決定するパラメータ決定方法を実行させるコンピュータプログラムが記録された記録媒体であって、前記パラメータ決定方法は、学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習することと、前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択することと、前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習することとを含む。

【0015】

記録媒体の第２の態様は、コンピュータに信号送信方法を実行させるコンピュータプログラムが記録された記録媒体であって、前記信号送信方法は、パラメータ決定装置によって決定されたパラメータによって定義される前記ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成することと、前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成することとを含み、前記パラメータ決定装置は、学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習する第１学習手段と、前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択する選択手段と、前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習する第２学習手段とを備える。

【0016】

記録媒体の第３の態様は、コンピュータに信号送信方法を実行させるコンピュータプログラムが記録された記録媒体であって、前記信号送信方法は、ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成することと、前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成することと、学習用信号及び教師用信号に基づいて、前記ニューラルネットワークが備える複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記ニューラルネットワークのパラメータの少なくとも一部として学習することとを含む。

【発明の効果】

【0017】

上述したパラメータ決定装置、パラメータ決定方法及び記録媒体のそれぞれの一の態様によれば、必要な演算量が相対的に少ないニューラルネットワークが適切に構築される。また、上述した信号送信装置、信号送信方法及び記録媒体のそれぞれの一の態様によれば、必要な演算量が相対的に少ないニューラルネットワークを用いて信号が送信される。

【図面の簡単な説明】

【0018】

【図1】図１は、本実施形態の信号送信装置の構成を示すブロック図である。

【図2】図２は、歪み補償回路の構成を示すブロック図である。

【図3】図３は、本実施形態のパラメータ決定装置のハードウェア構成を示すブロック図である。

【図4】図４は、本実施形態のパラメータ決定装置のＣＰＵ内で実現される機能ブロックを示すブロック図である。

【図5】図５は、パラメータ決定部の構成を示すブロック図である。

【図6】図６は、パラメータ決定部の動作の流れを示すフローチャートである。

【図7】図７は、第１変形例のパラメータ決定部の動作の流れを示すフローチャートである。

【図8】図８は、第２変形例のパラメータ決定部の構成を示すブロック図である。

【図9】図９は、第２変形例のパラメータ決定部の動作の流れを示すフローチャートである。

【図10】図１０は、第３変形例のパラメータ決定部の構成を示すブロック図である。

【図11】図１１は、第３変形例のパラメータ決定部の動作の流れを示すフローチャートである。

【図12】図１２は、第１変形例の信号送信装置の構成を示すブロック図である。

【図13】図１３は、第２変形例の信号送信装置の構成を示すブロック図である。

【図14】図１４は、第２変形例の歪み補償回路の構成の他の例を示すブロック図である。

【図15】図１５は、第２変形例の信号送信装置内に実装される、ニューラルネットワークのパラメータを更新するための機能ブロックの他の例を示すブロック図である。

【図16】図１６は、第２変形例の信号送信装置内に実装される、ニューラルネットワークのパラメータを更新するための機能ブロックの他の例を示すブロック図である。

【発明を実施するための形態】

【0019】

以下、図面を参照しながら、パラメータ決定装置、信号送信装置、パラメータ決定方法、信号送信方法及び記録媒体の実施形態について説明する。

【0020】

（１）信号送信装置１
はじめに、図１を参照しながら、本実施形態の信号送信装置１について説明する。図１は、本実施形態の信号送信装置１の構成を示すブロック図である。

【0021】

図１に示すように、信号送信装置１は、通信回線を介して、不図示の信号受信装置に対して送信信号ｚを送信する。通信回線は、典型的には、無線通信回線であるが、その少なくとも一部が有線通信回線であってもよい。送信信号ｚを送信するために、信号送信装置１は、歪み補償回路（ＤＰＤ：Ｄｉｇｉｔａｌ Ｐｒｅ－Ｄｉｓｔｏｒｔｉｏｎ）１１と、パワーアンプ（ＰＡ：Ｐｏｗｅｒ Ａｍｐｌｉｆｉｅｒ）１２とを備える。

【0022】

歪み補償回路１１は、入力信号ｘに対して歪み補償を施すことで、歪み補償信号ｙを生成する。歪み補償回路１１は、パワーアンプ１２の動作に起因して送信信号ｚに生ずる歪みを補償する（典型的には、低減する又は相殺する）ための歪み補償を入力信号ｘに施すことで、歪み補償信号ｙを生成する。本実施形態では、歪み補償回路１１は、例えば、ＤＰＤ方式の歪み補償回路であってもよい。特に、歪み補償回路１１は、入力信号ｘに対してパワーアンプ１２の逆歪み特性を作用させた歪み補償信号ｙを生成してもよい。この場合、信号送信装置１の低消費電力化及び低歪化の両立が可能となる。具体的には、信号送信装置１の効率の向上及び信号送信装置１の増幅特性の線形性の確保が両立される。

【0023】

パワーアンプ１２は、歪み補償回路１１から出力される歪み補償信号ｙを対象に所定動作を行う。具体的には、パワーアンプ１２は、歪み補償信号ｙを増幅する。パワーアンプ１２が増幅した歪み補償信号ｙは、送信信号ｚとして、通信回線を介して、信号受信装置へと送信される。ここで、上述したように歪み補償回路１１がＤＰＤ方式の歪み補償回路である場合には、パワーアンプ１２における信号の歪みが歪み補償回路１１における信号の逆歪みによって相殺されるので、パワーアンプ１２は、入力信号ｘに対して線形な送信信号ｚを出力する。

【0024】

本実施形態では特に、歪み補償回路１１は、ニューラルネットワーク１１２（図２参照）を用いて、入力信号ｘに対して歪み補償を施す。以下、このような歪み補償回路１１の構成について、図２を参照しながら更に詳細に説明する。図２は、歪み補償回路１１の構成を示すブロック図である。

【0025】

図２に示すように、歪み補償回路１１は、信号生成部１１１と、ニューラルネットワーク１１２とを備える。

【0026】

信号生成部１１１は、歪み補償回路１１に入力された入力信号ｘ_ｔから、ニューラルネットワーク１１２に入力される複数の信号（典型的には、夫々異なる遅延が付与された複数の信号）を生成する。尚、入力信号ｘ_ｔは、例えば、時刻ｔに歪み補償回路１１に入力された入力信号ｘの複素信号を意味する。

【0027】

信号生成部１１１は、入力信号ｘ_ｔから、ニューラルネットワーク１１２に入力される複数の信号を生成することができる限りは、どのような方法で複数の信号を生成してもよい。図２に示す例では、信号生成部１１１は、入力信号ｘ_ｔに基づいて、入力信号ｘ_ｔ－１から入力信号ｘ_{ｔ－Ｍ（１）／２}を生成する。尚、変数Ｍ（１）は、後述するニューラルネットワーク１１２の入力層１１２Ｉに含まれるノード（つまり、ニューロン）Ｎ^（１）の総数を示す。記号「／」は、割り算を表す（以下同様）。入力信号ｘ_ｔに基づいて入力信号ｘ_ｔ－１から入力信号ｘ_{ｔ－Ｍ（１）／２}を生成するために、信号生成部１１１は、Ｍ（１）／２個の遅延器１１１１（具体的には、遅延器１１１１_１から１１１１_{Ｍ（１）／２}）を備える。遅延器１１１１_ｈ（尚、変数ｈは、ｔからｔ－Ｍ（１）／２までの整数）は、入力信号Ｘ_{ｔ－ｈ＋１}に遅延を付与して入力信号Ｘ_ｔ－ｈを生成する。更に、信号生成部１１１は、入力信号ｘ_ｔ－ｈから、入力信号ｘ_ｔ－ｈのＩ軸信号成分に相当する入力信号Ｉ_ｔ－ｈと、入力信号ｘ_ｔ－ｈのＱ軸信号成分に相当する入力信号Ｑ_ｔ－ｈとを生成する。入力信号ｘ_ｔ－ｈのＩ軸信号成分は、入力信号ｘ_ｔ－ｈの波形の同相（Ｉｎ－ｐｈａｓｅ）成分に相当する。入力信号ｘ_ｔ－ｈのＱ軸信号成分は、入力信号ｘ_ｔ－ｈの波形の直交位相（Ｑｕａｄｒａｔｕｒｅ）成分に相当する。入力信号ｘ_ｔ－ｈから入力信号Ｉ_ｔ－ｈ及びＱ_ｔ－ｈを生成するために、信号生成部１１１は、Ｍ（１）／２＋１個の信号変換器１１１２（具体的には、信号変換器１１１２_０から１１１２_{Ｍ（１）／２}）を備える。信号変換器１１１２_ｈは、入力信号ｘ_ｔ－ｈから入力信号Ｉ_ｔ－ｈ及びＱ_ｔ－ｈを生成する。その結果、ニューラルネットワーク１１２には、入力信号Ｉ_ｔからＩ_{Ｍ（１）／２}及び入力信号Ｑ_ｔからＱ_{Ｍ（１）／２}が入力される。

【0028】

尚、信号生成部１１１は、入力信号ｘ_ｔに基づいて入力信号ｘ_ｔ－１から入力信号ｘ_{ｔ－Ｍ（１）}を生成し、生成した入力信号ｘ_ｔから入力信号ｘ_{ｔ－Ｍ（１）}の振幅値をニューラルネットワーク１１２に入力してもよい。また、信号生成部１１１は、入力信号ｘ_ｔから入力信号ｘ_{ｔ－Ｍ（１）}の振幅値と入力信号Ｉ_ｔから入力信号Ｉ_{ｔ－Ｍ（１）}及び入力信号Ｑ_ｔから入力信号Ｑ_{ｔ－Ｍ（１）}とを混合してニューラルネットワーク１１２に入力してもよい。信号生成部１１１は、入力信号ｘ_ｔから入力信号ｘ_{ｔ－Ｍ（１）}の振幅値と入力信号Ｉ_ｔから入力信号Ｉ_{ｔ－Ｍ（１）}及び入力信号Ｑ_ｔから入力信号Ｑ_{ｔ－Ｍ（１）}とを用いた演算値（例えば、べき乗値等）をニューラルネットワーク１１２に入力してもよい。

【0029】

ニューラルネットワーク１１２は、入力信号Ｉ_ｔから入力信号Ｉ_{ｔ－Ｍ（１）／２}及び入力信号Ｑ_ｔから入力信号Ｑ_{ｔ－Ｍ（１）／２}に基づいて、歪み補償信号ｙ_ｔ（つまり、歪み補償が施された入力信号ｘ_ｔ）を生成する。ニューラルネットワーク１１２は、入力層１１２Ｉと、少なくとも一つの中間層（つまり、隠れ層）１１２Ｍと、出力層１１２Ｏとを備える。図２に示す例では、ニューラルネットワーク１１２は、２つの中間層１１２Ｍ（具体的には、第１の中間層１１２Ｍ^（２）及び第２の中間層１１２Ｍ^（３））備えるが、１つの又は３つ以上の中間層１１２Ｍを備えていてもよい。

【0030】

入力層１１２Ｉは、ニューラルネットワーク１１２の１番目の層である。入力層１１２Ｉは、Ｍ（１）個のノードＮ^（１）を備える。以下では、Ｍ（１）個のノードＮ^（１）を、夫々、ノードＮ_１ ^（１）からノードＮ_Ｍ（１） ^（１）と表記して互いに区別する。変数Ｍ（１）は、典型的には、２以上の整数である。第１の中間層１１２Ｍ^（２）は、ニューラルネットワーク１１２の２番目の層である。第１の中間層１１２Ｍ^（２）は、Ｍ（２）個のノードＮ^（２）を備える。以下では、Ｍ（２）個のノードＮ^（２）を、夫々、ノードＮ_１ ^（２）からノードＮ_Ｍ（２） ^（２）と表記して互いに区別する。変数Ｍ（２）は、典型的には、２以上の整数である。第２の中間層１１２Ｍ^（３）は、ニューラルネットワーク１１２の３番目の層である。第２の中間層１１２Ｍ^（３）は、Ｍ（３）個のノードＮ^（３）を備える。以下では、Ｍ（３）個のノードＮ^（３）を、夫々、ノードＮ_１ ^（３）からノードＮ_Ｍ（３） ^（３）と表記して互いに区別する。変数Ｍ（３）は、典型的には、２以上の整数である。出力層１１２Ｏは、ニューラルネットワーク１１２の４番目の層である。出力層１１２Ｏは、Ｍ（４）個のノードＮ^（４）を備える。以下では、Ｍ（４）個のノードＮ^（４）を、夫々、ノードＮ_１ ^（４）からノードＮ_Ｍ（４） ^（４）と表記して互いに区別する。変数Ｍ（４）は、典型的には、２以上の整数であるが、１であってもよい。図２に示す例では、変数Ｍ（４）が２であり、出力層１１２Ｏは、ノードＮ_１ ^（４）及びノードＮ_２ ^（４）を備える。

【0031】

入力層１１２ＩのノードＮ_１ ^（１）からノードＮ_Ｍ（１） ^（１）には、夫々、入力信号Ｉ_ｔから入力信号Ｉ_{ｔ－Ｍ（１）／２}及び入力信号Ｑ_ｔから入力信号Ｑ_{ｔ－Ｍ（１）／２}が入力される。図２に示す例では、ｋが奇数である場合には、入力層１１２Ｉの第ｋ番目のノードＮ_ｋ ^（１）には、入力信号Ｉ_{ｔ－（ｋ－１）／２}が入力される。ｋが偶数である場合には、入力層１１２Ｉの第ｋ番目のノードＮ_ｋ ^（１）には、入力信号Ｑ_{ｔ－（ｋ－2）／２}が入力される。第ｋ番目のノードＮ_ｋ ^（１）の出力Ｈ_ｋ ^（１）は、第ｋ番目のノードＮ_ｋ ^（１）の入力と同じであってもよい。尚、変数ｋは、１以上且つＭ（１）以下の整数を示す。或いは、第ｋ番目のノードＮ_ｋ ^（１）の出力Ｈ_ｋ ^（１）は、数式１で示されてもよい。数式１における「ｒｅａｌ（ｘ）」は、複素入力信号ｘの実部を出力する関するであり、「ｉｍａｇ（ｘ）」は、複素入力信号ｘの虚部を出力する関数である。入力層１１２Ｉの第ｋ番目のノードＮ_ｋ ^（１）の出力Ｈ_ｋ ^（１）は、入力層１１２Ｉの第ｋ番目のノードＮ_ｋ ^（１）と第１の中間層１１２Ｍ^（２）のノードＮ_１ ^（２）からノードＮ_Ｍ（２） ^（２）とを夫々接続するＭ（２）個の接続経路を介して、ノードＮ_１ ^（２）からノードＮ_Ｍ（２） ^（２）の夫々に入力される。尚、数式１内の変数ｋは、例外的に、１以上且つＭ（１）／２以下の整数を示す。

【0032】

【数1】

【0033】

第１の中間層１１２Ｍ^（２）のｍ番目のノードＮ_ｍ ^（２）の出力Ｈ_ｍ ^（２）は、数式２で示される。数式２における「ｗ_ｋ、ｍ ^（２）」は、入力層１１２Ｉの第ｋ番目のノードＮ_ｋ ^（１）と第１の中間層１１２Ｍ^（２）のｍ番目のノードＮ_ｍ ^（２）との間の接続経路における重みを示す。数式２における「ｂ_ｍ ^（２）」は、第１の中間層１１２Ｍ^（２）のｍ番目のノードＮ_ｍ ^（２）で用いられる（つまり、付加される）バイアスを示す。数式２における「ｆ」は、活性化関数を示す。活性化関数として、例えば、シグモイド関数又はＲｅＬｕ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）関数が用いられてもよい。第１の中間層１１２Ｍ^（２）のｍ番目のノードＮ_ｍ ^（２）の出力Ｈ_ｍ ^（２）は、第１の中間層１１２Ｍ^（２）のｍ番目のノードＮ_ｍ ^（２）と第２の中間層１１２Ｍ^（３）のノードＮ_１ ^（３）からノードＮ_Ｍ（２） ^（３）とを夫々接続するＭ（３）個の接続経路を介して、ノードＮ_１ ^（３）からノードＮ_Ｍ（２） ^（３）の夫々に入力される。尚、変数ｍは、１以上且つＭ（２）以下の整数を示す。

【0034】

【数2】

【0035】

第２の中間層１１２Ｍ^（３）のｎ番目のノードＮ_ｎ ^（３）の出力Ｈ_ｎ ^（３）もまた、数式２で示される。但し、出力Ｈ_ｎ ^（３）を数式２で示す場合には、数式２における「Ｈ_ｋ ^（１）」及び「Ｈ_ｍ ^（２）」は、夫々、Ｈ_ｍ ^（２）及びＨ_ｎ ^（３）に置き換えられ、数式２における「ｗ_ｋ、ｍ ^（２）」は、第１の中間層１１２Ｍ^（２）のｍ番目のノードＮ_ｍ ^（２）と第２の中間層１１２Ｍ^（３）のｎ番目のノードＮ_ｎ ^（３）との間の接続経路における重みｗ_ｍ、ｎ ^（３）に置き換えられ、且つ、数式２における「ｂ_ｍ ^（２）」は、第２の中間層１１２Ｍ^（３）のｎ番目のノードＮ_ｎ ^（３）で用いられる（つまり、付加される）バイアスｂ_ｎ ^（３）に置き換えられる。第２の中間層１１２Ｍ^（３）のｎ番目のノードＮ_ｎ ^（３）の出力Ｈ_ｎ ^（３）は、第２の中間層１１２Ｍ^（３）のｎ番目のノードＮ_ｎ ^（３）と出力層１１２ＯのノードＮ_１ ^（４）からノードＮ_２ ^（４）とを夫々接続するＭ（４）個の接続経路を介して、ノードＮ_１ ^（４）からノードＮ_２ ^（４）の夫々に入力される。尚、変数ｎは、１以上且つＭ（３）以下の整数を示す。

【0036】

出力層１１２Ｏ^（４）のｏ番目のノードＮ_ｏ ^（４）の出力Ｈ_ｏ ^（４）もまた、数式２で示される。但し、出力Ｈ_ｏ ^（４）を数式２で示す場合には、数式２における「Ｈ_ｋ ^（１）」及び「Ｈ_ｍ ^（２）」は、夫々、Ｈ_ｎ ^（３）及びＨ_ｏ ^（４）に置き換えられ、数式２における「ｗ_ｋ、ｍ ^（２）」は、第２の中間層１１２Ｍ^（３）のｎ番目のノードＮ_ｎ ^（３）と出力層１１２Ｏのｏ番目のノードＮ_ｏ ^（４）との間の接続経路における重みｗ_ｎ、ｏ ^（４）に置き換えられ、且つ、数式２における「ｂ_ｍ ^（２）」は、出力層１１２Ｏのｏ番目のノードＮ_ｏ ^（４）で用いられる（つまり、付加される）バイアスｂ_ｏ ^（４）に置き換えられる。尚、変数ｏは、１以上且つＭ（４）以下の整数を示す。

【0037】

出力層１１２Ｏの出力は、最終的な出力信号ｙ_ｔに相当する。出力信号ｙ_ｔは、時刻ｔの入力信号ｘ_ｔから生成される歪み補償信号ｙに相当する。尚、出力層１１２Ｏは、活性化関数ｆを含んでいなくてもよい。この場合、出力層１１２Ｏの出力は、第２の中間層１１２Ｍ^（３）のノードＮ_１ ^（３）からノードＮ_Ｍ（３） ^（３）の出力を基底とする線形和であってもよい。

【0038】

このようなニューラルネットワーク１１２の特性（実質的には、構造）は、例えば、上述した重みｗ、上述したバイアスｂ、及び、ノードＮの接続態様ＣＡというパラメータによって決定される。

【0039】

重みｗは、入力層１１２Ｉと第１の中間層１１２Ｍ^（２）との間の重みｗ^（２）を含む。重みｗ^（２）は、入力層１１２Ｉと第１の中間層１１２Ｍ^（２）との間のＭ（１）×Ｍ（２）個の接続経路に夫々対応するＭ（１）×Ｍ（２）個の重みｗ_ｋ、ｍ ^（２）（１≦ｋ≦Ｍ（１）、１≦ｍ≦Ｍ（２））を含む。つまり、重みｗ^（２）は、Ｍ（１）×Ｍ（２）個の重みｗ_ｋ、ｍ ^（２）によって定まるベクトルである。重みｗは、更に、第１の中間層１１２Ｍ^（２）と第２の中間層１１２Ｍ^（３）との間の重みｗ^（３）を含む。重みｗ^（３）は、第１の中間層１１２Ｍ^（２）と第２の中間層１１２Ｍ^（３）との間のＭ（２）×Ｍ（３）個の接続経路に夫々対応するＭ（２）×Ｍ（３）個の重みｗ_ｍ、ｎ ^（３）（１≦ｍ≦Ｍ（２）、１≦ｎ≦Ｍ（３））を含む。つまり、重みｗ^（３）は、Ｍ（２）×Ｍ（３）個の重みｗ_ｍ、ｎ ^（３）によって定まるベクトルである。重みｗは、更に、第２の中間層１１２Ｍ^（３）と出力層１１２Ｏとの間の重みｗ^（４）を含む。重みｗ^（４）は、第２の中間層１１２Ｍ^（３）と出力層１１２Ｏとの間のＭ（３）×Ｍ（４）個の接続経路に夫々対応するＭ（３）×Ｍ（４）個の重みｗ_ｎ、ｏ ^（４）（１≦ｎ≦Ｍ（３）、１≦ｏ≦Ｍ（４））を含む。つまり、重みｗ^（４）は、Ｍ（３）×Ｍ（４）個の重みｗ_ｎ、ｏ ^（４）によって定まるベクトルである。

【0040】

接続態様ＣＡは、入力層１１２Ｉに含まれるノードＮ_１ ^（１）からノードＮ_Ｍ（１） ^（１）と第１の中間層１１２Ｍ^（２）に含まれるノードＮ_１ ^（２）からノードＮ_Ｍ（２） ^（２）との接続態様ＣＡ^（２）を含む。接続態様ＣＡは、更に、第１の中間層１１２Ｍ^（２）に含まれるノードＮ_１ ^（２）からノードＮ_Ｍ（２） ^（２）と第２の中間層１１２Ｍ^（３）に含まれるノードＮ_１ ^（３）からノードＮ_Ｍ（３） ^（３）との接続態様ＣＡ^（３）を含む。接続態様ＣＡは、更に、第２の中間層１１２Ｍ^（３）に含まれるノードＮ_１ ^（３）からノードＮ_Ｍ（３） ^（３）と出力層１１２Ｏに含まれるノードＮ_１ ^（４）からノードＮ_Ｍ（４） ^（４）との接続態様ＣＡ^（４）とを含む。

【0041】

尚、ここで言う一の層のノードＮと他の層のノードＮとの接続態様は、一の層のノードＮと他の層のノードＮとの接続の有無を示す情報である。つまり、ここで言う一の層のノードＮと他の層のノードＮとの接続態様は、一の層のノードＮの出力が他の層のノードＮに入力される接続経路が存在するか否かを示す情報である。

【0042】

バイアスｂは、第１の中間層１１２Ｍ^（２）で付加されるバイアスｂ^（２）と、第２の中間層１１２Ｍ^（３）で付加されるバイアスｂ^（３）と、出力層１１２Ｏで付加されるバイアスｂ^（４）とを含む。バイアス^（２）は、第１の中間層１１２Ｍ^（２）に含まれるノードＮ_１ ^（２）からノードＮ_Ｍ（２） ^（２）で夫々付加されるＭ（２）個のバイアスｂ_ｍ ^（２）（１≦ｍ≦Ｍ（２））を含む。つまり、バイアスｂ^（２）は、Ｍ（２）個のバイアスｂ_ｍ ^（２）によって定まるベクトルである。バイアスｂ^（３）は、第２の中間層１１２Ｍ^（３）に含まれるノードＮ_１ ^（３）からノードＮ_Ｍ（３） ^（３）で夫々付加されるＭ（３）個のバイアスｂ_ｎ ^（３）（１≦ｎ≦Ｍ（３））を含む。つまり、バイアスｂ^（３）は、Ｍ（３）個のバイアスｂ_ｎ ^（３）によって定まるベクトルである。バイアスｂ^（４）は、出力層１１２Ｏに含まれるノードＮ_１ ^（４）からノードＮ_Ｍ（４） ^（４）で夫々付加されるＭ（４）個のバイアスｂ_ｏ ^（４）（１≦ｏ≦Ｍ（４））を含む。つまり、バイアスｂ^（４）は、Ｍ（４）個のバイアスｂ_ｏ ^（４）によって定まるベクトルである。

【0043】

これらのパラメータは、後述するパラメータ決定装置２によって決定される。この場合、パラメータ決定装置２が学習を担う装置に相当し、学習で得られたパラメータを用いて信号送信装置１（特に、歪み補償回路１１）において推論が行われるとも言える。以下、パラメータ決定装置２について更に説明する。

【0044】

（２）パラメータ決定装置２
（２－１）パラメータ決定装置２のハードウェア構成
はじめに、図３を参照しながら、本実施形態のパラメータ決定装置２のハードウェア構成について説明する。図３は、第１実施形態のパラメータ決定装置２のハードウェア構成を示すブロック図である。

【0045】

図３に示すように、パラメータ決定装置２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２３と、記憶装置２４とを備えている。更に、パラメータ決定装置２は、入力装置２５と、出力装置２６とを備えていてもよい。ＣＰＵ２１と、ＲＡＭ２２と、ＲＯＭ２３と、記憶装置２４と、入力装置２５と、出力装置２６とは、データバス２７を介して接続されている。

【0046】

ＣＰＵ２１は、コンピュータプログラムを読み込む。例えば、ＣＰＵ２１は、ＲＡＭ２２、ＲＯＭ２３及び記憶装置２４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込んでもよい。例えば、ＣＰＵ２１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。ＣＰＵ２１は、通信ネットワークインタフェースを介して、パラメータ決定装置２の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。ＣＰＵ２１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ２２、記憶装置２４、入力装置２５及び出力装置２６を制御する。本実施形態では特に、ＣＰＵ２１が読み込んだコンピュータプログラムを実行すると、ＣＰＵ２１内には、ニューラルネットワーク１１２のパラメータを決定するための論理的な機能ブロックが実現される。つまり、ＣＰＵ２１は、ニューラルネットワーク１１２のパラメータを決定するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。尚、ＣＰＵ２１内で実現される機能ブロックの構成については、後に図４を参照しながら詳述する。

【0047】

ＲＡＭ２２は、ＣＰＵ２１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ２２は、ＣＰＵ２１がコンピュータプログラムを実行している際にＣＰＵ２１が一時的に使用するデータを一時的に記憶する。ＲＡＭ２２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）であってもよい。

【0048】

ＲＯＭ２３は、ＣＰＵ２１が実行するコンピュータプログラムを記憶する。ＲＯＭ２３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ２３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）であってもよい。

【0049】

記憶装置２４は、パラメータ決定装置２が長期的に保存するデータを記憶する。記憶装置２４は、ＣＰＵ２１の一時記憶装置として動作してもよい。記憶装置２４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。

【0050】

入力装置２５は、パラメータ決定装置２のユーザからの入力指示を受け取る装置である。入力装置２５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。

【0051】

出力装置２６は、パラメータ決定装置２に関する情報を外部に対して出力する装置である。例えば、出力装置２６は、パラメータ決定装置２に関する情報を表示可能な表示装置であってもよい。

【0052】

（２－２）ＣＰＵ２１の機能ブロック
続いて、図４を参照しながら、ＣＰＵ２１内で実現される機能ブロックについて説明する。図４は、ＣＰＵ２１内で実現される機能ブロックを示すブロック図である。

【0053】

図４に示すように、ＣＰＵ２１内には、ニューラルネットワーク１１２のパラメータを決定するための論理的な機能ブロックとして、少なくとも一つのパラメータ決定部２１１が実現される。パラメータ決定部２１１の数は、ニューラルネットワーク１１２を構成する層の数よりも一つ少ない。言い換えれば、パラメータ決定部２１１の数は、ニューラルネットワーク１１２に含まれる中間層１１２Ｍ及び出力層１１２Ｏの数と同じになる。図４に示す例では、ＣＰＵ２１内には、３つのパラメータ決定部２１１（具体的には、パラメータ決定部２１１^（２）、パラメータ決定部２１１^（３）及びパラメータ決定部２１１^（４））が実現されている。これは、図２に示すように、ニューラルネットワーク１１２が四つの層（具体的には、一つの入力層１１２Ｉ、二つの中間層１１２Ｍ及び一つの出力層１１２Ｏ）を備えているからである。

【0054】

尚、図３は、パラメータを決定するための論理的な機能ブロックを概念的に（言い換えれば、簡略的に）示すに過ぎない。つまり、図３に示す機能ブロックがそのままＣＰＵ２１に実現される必要はなく、図３に示す機能ブロックが行う動作をＣＰＵ２１が行うことができる限りは、ＣＰＵ２１内に実現される機能ブロックの構成が図３に示す構成に限定されることはない。

【0055】

パラメータ決定部２１１^（２）は、入力層１１２Ｉと第１の中間層１１２Ｍ^（２）との間におけるネットワーク構造ＮＳ（以降、ネットワーク構造ＮＳ^（２）と称する、図２参照）を定めるパラメータを決定する。ネットワーク構造ＮＳ^（２）を定めるパラメータは、入力層１１２Ｉと第１の中間層１１２Ｍ^（２）との間の重みｗ^（２）（つまり、Ｍ（１）×Ｍ（２）個の重みｗ_ｋ、ｍ ^（２））、入力層１１２Ｉに含まれるノードＮ_１ ^（１）からノードＮ_Ｍ（１） ^（１）と第１の中間層１１２Ｍ^（２）に含まれるノードＮ_１ ^（２）からノードＮ_Ｍ（２） ^（２）との接続態様ＣＡ^（２）、及び、第１の中間層１１２Ｍ^（２）で付加されるバイアスｂ^（２）（つまり、Ｍ（２）個のバイアスｂ_ｍ ^（２））を含む。

【0056】

パラメータ決定部２１１^（３）は、第１の中間層１１２Ｍ^（２）と第２の中間層１１２Ｍ^（３）との間のネットワーク構造ＮＳ（以降、ネットワーク構造ＮＳ^（３）と称する、図２参照）を定めるパラメータを決定する。ネットワーク構造ＮＳ^（３）を定めるパラメータは、第１の中間層１１２Ｍ^（２）と第２の中間層１１２Ｍ^（３）との間の重みｗ^（３）（つまり、Ｍ（２）×Ｍ（３）個の重みｗ_ｍ、ｎ ^（３））、第１の中間層１１２Ｍ^（２）に含まれるノードＮ_１ ^（２）からノードＮ_Ｍ（２） ^（２）と第２の中間層１１２Ｍ^（３）に含まれるノードＮ_１ ^（３）からノードＮ_Ｍ（３） ^（３）との接続態様ＣＡ^（３）、及び、第２の中間層１１２Ｍ^（３）で付加されるバイアスｂ^（３）（つまり、Ｍ（３）個のバイアスｂ_ｎ ^（３））を含む。

【0057】

パラメータ決定部２１１^（４）は、第２の中間層１１２Ｍ^（３）と出力層１１２Ｏとの間のネットワーク構造ＮＳ（以降、ネットワーク構造ＮＳ^（４）と称する、図２参照）を定めるパラメータを決定する。ネットワーク構造ＮＳ^（４）を定めるパラメータは、第２の中間層１１２Ｍ^（３）と出力層１１２Ｏとの間の重みｗ^（４）（つまり、Ｍ（３）×Ｍ（４）個の重みｗ_ｎ、ｏ ^（４）（１≦ｎ≦Ｍ（３）、１≦ｏ≦Ｍ（２）））、第２の中間層１１２Ｍ^（３）に含まれるノードＮ_１ ^（３）からノードＮ_Ｍ（３） ^（３）と出力層１１２Ｏに含まれるノードＮ_１ ^（４）からノードＮ_Ｍ（４） ^（４）との接続態様ＣＡ^（４）、及び、出力層１１２Ｏで付加されるバイアスｂ^（４）（つまり、Ｍ（４）個のバイアスｂ_ｏ ^（４）（１≦ｏ≦Ｍ（４）））を含む。

【0058】

各パラメータ決定部２１１は、学習用信号（つまり、学習データ）と教師用信号（つまり、正解データ）とに基づいて、各パラメータ決定部２１１に対応するネットワーク構造ＮＳ（つまり、各パラメータ決定部２１１に対応する２つの層の間のネットワーク構造ＮＳ）に関するパラメータを決定する。学習用信号及び教師用信号の夫々は、例えば、入力信号ｘ、歪み補償信号ｙ及び送信信号ｚのうちの少なくとも一つに基づく信号であってもよい。学習用信号及び教師用信号の夫々は、例えば、入力信号ｘ、歪み補償信号ｙ及び送信信号ｚのうちの少なくとも一つを用いて生成される信号であってもよい。学習用信号及び教師用信号を生成する方法は、歪み補償回路１１における歪み補償のためのアルゴリズムに応じて選択されてもよい。例えば、ｉｎｄｉｒｅｃｔ ｌｅａｒｎｉｎｇ方式が用いられる場合には、送信信号ｚに相当する信号が学習用信号として用いられ、歪み補償信号ｙ又は入力信号ｘに相当する信号が教師用信号として用いられてもよい。つまり、ある学習用信号がパワーアンプ１２から送信信号ｚとして出力される場合に歪み補償回路１１から出力されるべき歪み補償信号ｙ又は歪み補償回路１１に入力されるべき入力信号ｘが、教師用信号として用いられてもよい。或いは、例えば、ｄｉｒｅｃｔ ｌｅａｒｎｉｎｇ方式が用いられる場合には、入力信号ｘに相当する信号が学習用信号として用いられ、歪み補償信号ｙに相当する信号が教師用信号として用いられてもよい。つまり、ある学習用信号が歪み補償回路１１に入力された場合に歪み補償回路１１から出力されるべき歪み補償信号ｙ（例えば、ＩＬＣ（Ｉｔｅｒａｔｉｖｅ Ｌｅａｒｎｉｎｇ ｃｏｎｔｒｏｌ）を適用することで得られた歪み補償信号ｙ）が、教師用信号として用いられてもよい。

【0059】

各パラメータ決定部２１１は、学習用信号及び教師用信号に加えて、各パラメータ決定部２１１に対応するネットワーク構造ＭＳよりも前段のネットワーク構造ＮＳに関するパラメータにも基づいて、各パラメータ決定部２１１に対応するネットワーク構造ＮＳのパラメータを決定する。つまり、各パラメータ決定部２１１は、学習用信号及び教師用信号に加えて、入力層１１２Ｉと各パラメータ決定部２１１に対応する二つの層のうちの前段側の層との間のネットワーク構造ＮＳに関するパラメータにも基づいて、各パラメータ決定部２１１に対応する層のパラメータを決定する。具体的には、入力層１１２Ｉが第１番目の層に相当するがゆえに、入力層１１２Ｉと第１の中間層１１２Ｍ^（２）との間のネットワーク構造ＮＳ^（２）の前段には、ニューラルネットワーク１１２Ｉを構成する他のネットワーク構造ＮＳが存在しない。このため、パラメータ決定部２１１^（２）は、ネットワーク構造ＮＳ^（２）に関するパラメータを決定する際に、他のネットワーク構造ＮＳのパラメータを考慮しなくてもよい。また、第１の中間層１１２Ｍ^（２）と第２の中間層１１２Ｍ^（３）との間のネットワーク構造ＮＳ^（３）の前段には、ネットワーク構造ＮＳ^（２）が存在する。このため、パラメータ決定部２１１^（３）は、ネットワーク構造ＮＳ^（３）に関するパラメータを決定する際に、ネットワーク構造ＮＳ^（２）に関するパラメータを考慮する。従って、パラメータ決定部２１１^（２）が決定したパラメータに関する情報は、パラメータ決定部２１１^（３）に出力される。また、第２の中間層１１２Ｍ^（３）と出力層１１２Ｏとの間のネットワーク構造ＮＳ^（４）の前段には、ネットワーク構造ＮＳ^（２）及びネットワーク構造ＮＳ^（３）が存在する。このため、パラメータ決定部２１１^（４）は、ネットワーク構造ＮＳ^（４）に関するパラメータを決定する際に、ネットワーク構造ＮＳ^（２）に関するパラメータ及びネットワーク構造ＮＳ^（３）に関するパラメータを考慮する。従って、パラメータ決定部２１１^（２）が決定したパラメータに関する情報及びパラメータ決定部２１１^（３）が決定したパラメータに関する情報は、パラメータ決定部２１１^（４）に出力される。

【0060】

（２－３）パラメータ決定部２１１の構成
続いて、図５を参照しながら、パラメータ決定部２１１の構成（つまり、パラメータ決定部２１１の内部で実現される機能ブロック）について説明する。図５は、パラメータ決定部２１１の構成を示すブロック図である。

【0061】

図５に示すように、パラメータ決定部２１１^（ｊ）（尚、ｊは、２以上且つニューラルネットワーク１１２に含まれる層の数以下の整数であり、図４に示す例では、２、３又は４）、第１学習部２１１１と、接続経路選択部２１１２と、第２学習部２１１３とを備える。第１学習部２１１１、接続経路選択部２１１２及び第２学習部２１１３の夫々の動作については、図６等を参照しながら後に詳述する。

【0062】

（２－４）パラメータ決定部２１１の動作
続いて、図６を参照しながら、パラメータ決定部２１１の動作について説明する。図６は、パラメータ決定部２１１の動作の流れを示すフローチャートである。以下では、パラメータ決定部２１１^（ｊ）の動作の流れについて具体的に説明する。つまり、以下では、パラメータ決定部２１１^（ｊ）が、第ｊ－１番目の層と第ｊ番目の層との間のネットワーク構造ＮＳ^（ｊ）に関するパラメータを決定する動作の流れについて具体的に説明する。

【0063】

図６に示すように、まず、第１学習部２１１１は、パラメータ決定部２１１^（ｊ）に対応するネットワーク構造ＮＳ^（ｊ）における重みｗ^（ｊ）を学習する（つまり、更新する又は決定する）（ステップＳ１１）。尚、第１学習部２１１１は、重みｗ^（ｊ）に加えて、パラメータ決定部２１１^（ｊ）に対応するネットワーク構造ＮＳ^（ｊ）におけるバイアスｂ^（ｊ）を学習してもよい。この際、重みｗ^（ｊ）及びバイアスｂ^（ｊ）の初期値は、乱数を用いて決定されてもよい。

【0064】

尚、後に詳述するように、第１学習部２１１１が学習した重みｗ^（ｊ）は、接続経路選択部２１１２によって参照されるパラメータであり、ニューラルネットワーク１１２の重みｗ^（ｊ）として実際に用いられない。このため、説明の便宜上、第１学習部２１１１が学習した重みｗ^（ｊ）を“ｗ’^（ｊ）”と表記して、ニューラルネットワーク１１２の実際の重みｗ^（ｊ）（つまり、第２学習部２１１３が学習した重みｗ^（ｊ））と区別する。

【0065】

具体的には、ｊ＝２である場合には、第１学習部２１１１は、学習用信号及び教師用信号に基づいて、重みｗ’^（２）を学習する。このため、パラメータ決定部２１１^（２）の第１学習部２１１１には、学習用信号と、教師用信号とが入力される。ｊ≧３である場合には、第１学習部２１１１は、学習用信号及び教師用信号と、パラメータ決定部２１１^（ｊ）に対応するネットワーク構造ＮＳ^（ｊ）の前段に位置するネットワーク構造ＮＳ^（２）からネットワーク構造ＮＳ^{（ｊ－１）}の夫々のパラメータとに基づいて、重みｗ’^（ｊ）を学習する。つまり、第１学習部２１１１は、学習用信号及び教師用信号と、重みｗ^（２）から重みｗ^{（ｊ－１）}、バイアスｂ^（２）からバイアスｂ^{（ｊ－１）}及び接続態様ＣＡ^（２）からＣＡ^{（ｊ－１）}）に基づいて、重みｗ’^（ｊ）を学習する。このため、パラメータ決定部２１１^（ｊ）の第１学習部２１１１には、学習用信号と、教師用信号と、ネットワーク構造ＮＳ^（２）からネットワーク構造ＮＳ^{（ｊ－１）}の夫々のパラメータとが入力される。

【0066】

第１学習部２１１１は、ニューラルネットワーク１１２と同じ構成を有する学習用のニューラルネットワークに学習用信号を入力する。その上で、第１学習部２１１１は、学習用のニューラルネットワークが出力する信号と教師用信号との誤差（つまり、学習誤差）が小さくなるように（好ましくは、最少になるように）、学習用のニューラルネットワークの重みｗ’^（ｊ）を変更する。学習誤差として、学習用のニューラルネットワークが出力する信号と教師用信号との二乗誤差が用いられてもよい。一例として、学習誤差として、数式３に示す誤差が用いられてもよい。ただし、ｗはネットワーク構造全体の重みを値として持つベクトル、ｂはネットワーク全体のバイアスを値をとして持つベクトルであり、数式３における「Ｅ（ｗ、ｂ）」は、重みｗとバイアスｂを変数とした学習誤差を示す。数式３における「Ｙ’（ｗ、ｂ）」は、学習用のニューラルネットワークが出力する信号を示す。数式３における「Ｙ」は、教師用信号を示す。尚、誤差を示すために用いるノルムとしては、任意のノルムを用いることが可能である。例えば、誤差を示すために用いるノルムとして、Ｌ１ノルム又はＬ２ノルムが用いられてもよい。

【0067】

【数3】

【0068】

ネットワーク構造ＮＳ^（２）からネットワーク構造ＮＳ^{（ｊ－１）}の夫々のパラメータが入力される場合には、第１学習部２１１１は、ネットワーク構造ＮＳ^（２）からネットワーク構造ＮＳ^{（ｊ－１）}の夫々のパラメータを固定したまま（つまり、変更することなく）、重みｗ’^（ｊ）を学習する。つまり、第１学習部２１１１は、数式４に示す制約条件を満たしながら、重みｗ’^（ｊ）を学習する。数式４における「ｃｏｎｓｔ」は、一定であるという意味である。このため、数奇４に示す制約条件は、「ネットワーク構造ＮＳ^（２）からネットワーク構造ＮＳ^{（ｊ－１）}の夫々のパラメータを変更しない」という制約条件を意味している。

【0069】

【数4】

【0070】

第１学習部２１１１による重みｗ’^（ｊ）の学習が完了した後、続いて、接続経路選択部２１１２は、第１学習部２１１１が学習した重みｗ’^（ｊ）に基づいて、パラメータ決定部２１１^（ｊ）に対応する２つの層に含まれる複数のノードを接続する複数の接続経路の中から、ニューラルネットワーク１１２において有効な接続経路として用いられる有効経路を選択する（ステップＳ１２）。

【0071】

具体的には、接続経路選択部２１１２は、第ｊ番目の層に含まれる各ノードＮ^（ｊ）と第ｊ－１番目の層に含まれるＭ（ｊ－１）個のノードＮ^{（ｊ－１）}とを接続するＭ（ｊ－１）個の接続経路の中から、１個以上且つＭ（ｊ－１）個未満の数の接続経路を、有効経路として選択する。このため、Ｍ（ｊ－１）個の接続経路のうちの少なくとも一つは、有効経路として選択されることはない。接続経路選択部２１１２は、このような有効経路を選択する動作を、第ｊ番目の層に含まれるＭ（ｊ）個のノードＮ^（ｊ）の夫々を対象に行う。つまり、接続経路選択部２１１２は、第ｊ番目の層の第１番目のノードＮ_１ ^（ｊ）に接続する少なくとも一つの有効経路を選択し、第ｊ番目の層の第２番目のノードＮ_２ ^（ｊ）に接続する少なくとも一つの有効経路を選択し、・・・、第ｊ番目の層の第Ｍ（ｊ）番目のノードＮ_Ｍ（ｊ） ^（ｊ）に接続する少なくとも一つの有効経路を選択する。

【0072】

接続経路選択部２１１２は、Ｍ（ｊ－１）個の接続経路の中から、各接続経路に対応する重みｗ’^（ｊ）の絶対値が大きい順に、１個以上且つＭ（ｊ－１）個未満の数の接続経路を、有効経路として選択する。つまり、接続経路選択部２１１２は、Ｍ（ｊ－１）個の接続経路の中から、選択されない接続経路と比較して重みｗ’^（ｊ）の絶対値が大きい１個以上且つＭ（ｊ－１）個未満の数の接続経路を、有効経路として選択する。なぜならば、重みｗ’^（ｊ）が相対的に小さい接続経路は、重みｗ’^（ｊ）が相対的に大きい接続経路と比較して、ニューラルネットワーク１１２の出力に対する寄与度が小さいからである。具体的には、接続経路選択部２１１２は、数式５に基づいて、有効経路を選択する。数式５における「ＩＵ_ｒ ^（ｊ）」は、第ｊ番目の層の第ｒ番目のノードＮ_ｒ ^（ｊ）を対象に選択された有効経路のインデックス（具体的には、選択された有効経路が接続する第ｊ－１番目の層のノードＮのインデックス番号）を示す。尚、変数ｒは、１以上且つＭ（ｊ）以下の整数である。数式５における「ｗ’_ｓ、ｒ ^（ｊ）」は、第ｊ番目の層の第ｒ番目のノードＮ_ｒ ^（ｊ）と第ｊ－１番目の層の第ｓ番目のノードＮ_ｓ ^{（ｊ－１）}との間の接続経路における重みを示す。数式５における「ＮＵ_ｒ ^（ｊ）」は、選択される有効経路の数を示す。数式５における「ａｒｇｍａｘ_ｑ」は、値の大きい上位ｑ個のインデックスを返す関数であり、数式５における「ａｒｇｍａｘ」は、最大値のインデックスを返す関数である。これらを用いて数式５の「ＩＵ_ｒ ^（ｊ）」は、式６及び数式７によって帰納的に定義される。

【0073】

【数5】

【0074】

【数6】

【0075】

【数7】

【0076】

選択される有効経路の数ＮＵ_ｒ ^（ｊ）は、１以上の値である。選択される有効経路の数ＮＵ_ｒ ^（ｊ）として、デフォルトの初期値（但し、Ｍ（ｊ－１）未満の値）が用いられてもよい。或いは、接続経路選択部２１１２は、パラメータの学習結果に基づいて、選択される有効経路の数ＮＵ_ｒ ^（ｊ）を変更してもよい。例えば、パラメータの学習の結果、学習誤差がターゲット値（つまり、目標値）を上回った場合には、接続経路選択部２１１２は、パラメータの学習結果に基づいて、選択される有効経路の数ＮＵ_ｒ ^（ｊ）を変更してもよい（例えば、１だけ増やしてもよい）。この際、接続経路選択部２１１２は、学習誤差がターゲット値を下回るように、選択される有効経路の数ＮＵ_ｒ ^（ｊ）を変更してもよい。一方で、例えば、パラメータの学習の結果、学習誤差がターゲット値を下回った場合には、接続経路選択部２１１２は、選択される有効経路の数ＮＵ_ｒ ^（ｊ）を変更しなくてもよい。

【0077】

一方で、接続経路選択部２１１２が選択しなかった接続経路は、ニューラルネットワーク１１２において有効な接続経路としてとして用いられない。つまり、パラメータ決定装置２が決定したパラメータに基づくニューラルネットワーク１１２では、接続経路選択部２１１２が選択しなかった接続経路を介してノードが接続されることはない。このため、有効経路を選択する動作は、実質的には、接続態様ＣＡ^（ｊ）を決定する動作と等価である。従って、接続経路選択部２１１２は、有効経路に関する情報（例えば、上述したインデックスＩＵ_ｒ ^（ｊ））を、接続態様ＣＡ^（ｊ）として出力してもよい。

【0078】

その後、接続経路選択部２１１２による有効経路の選択が完了した後には、第２学習部２１１３は、パラメータ決定部２１１^（ｊ）に対応するネットワーク構造ＮＳ^（ｊ）のパラメータを学習する（つまり、更新する又は決定する）（ステップＳ１３）。具体的には、第２学習部２１１３は、パラメータ決定部２１１^（ｊ）に対応するネットワーク構造ＮＳ^（ｊ）における重みｗ^（ｊ）及びバイアスｂ^（ｊ）の少なくとも一方を学習する。好ましくは、第２学習部２１１３は、重みｗ^（ｊ）及びバイアスｂ^（ｊ）の双方を学習する。以下では、説明の便宜上、第２学習部２１１３は、重みｗ^（ｊ）及びバイアスｂ^（ｊ）の双方を学習するものとする。

【0079】

具体的には、ｊ＝２である場合には、第２学習部２１１３は、学習用信号及び教師用信号に基づいて、重みｗ^（２）及びバイアスｂ^（２）を学習する。このため、パラメータ決定部２１１^（２）の第２学習部２１１３には、学習用信号と、教師用信号とが入力される。ｊ≧３である場合には、第２学習部２１１３は、学習用信号及び教師用信号と、パラメータ決定部２１１^（ｊ）に対応するネットワーク構造ＮＳ^（ｊ）よりも前段に位置するネットワーク構造ＮＳ^（２）からネットワーク構造ＮＳ^{（ｊ－１）}の夫々のパラメータとに基づいて、重みｗ^（ｊ）及びバイアスｂ^（ｊ）を学習する。つまり、第２学習部２１１３は、学習用信号及び教師用信号と、重みｗ^（２）から重みｗ^{（ｊ－１）}、バイアスｂ^（２）からバイアスｂ^{（ｊ－１）}及び接続態様ＣＡ^（２）から接続態様ＣＡ^{（ｊ－１）}とに基づいて、重みｗ^（ｊ）及びバイアスｂ^（ｊ）を学習する。このため、パラメータ決定部２１１^（ｊ）の第２学習部２１１３には、学習用信号と、教師用信号と、ネットワーク構造ＮＳ^（２）からネットワーク構造ＮＳ^{（ｊ－１）}の夫々のパラメータとが入力される。

【0080】

第２学習部２１１３は、第１学習部２１１１が学習に用いた学習用のニューラルネットワークに学習用信号を入力する。その上で、第２学習部２１１３は、学習用のニューラルネットワークが出力する信号と教師用信号との誤差が小さくなるように（好ましくは、最少になるように）、学習用のニューラルネットワークの重みｗ^（ｊ）及びバイアスｂ^（ｊ）を変更する。その結果、学習用のニューラルネットワークの重みｗ^（ｊ）及びバイアスｂ^（ｊ）の学習が完了する。学習用のニューラルネットワークの重みｗ^（ｊ）及びバイアスｂ^（ｊ）は、ニューラルネットワーク１１２の重みｗ^（ｊ）及びバイアスｂ^（ｊ）として利用可能である。

【0081】

第２学習部２１１３は、接続経路選択部２１１２が選択しなかった接続経路を、有効な接続経路として用いない。つまり、第２学習部２１１３は、接続経路選択部２１１２が選択しなかった接続経路を介してノードＮが接続されていないという条件下で、パラメータを学習する。このため、第２学習部２１１３は、第１学習部２１１１が用いた上述した数式４に示す制約条件に加えて、数式８に示す制約条件を満たしながら、重みｗ^（ｊ）及びバイアスｂ^（ｊ）を学習する。尚、数式８は、接続経路選択部２１１２が選択しなかった接続経路を介してノードが接続されていない（つまり、当該接続経路の重みｗがゼロである）という制約条件を示している。数式８に含まれる数式９の表記は、ＩＵ_ｒ ^（ｊ）に含まれないインデックスを表している。数式８における「ｗ_ｓ、ｒ ^（ｊ）＝０」は、上記ＩＵ_ｒ ^（ｊ）で選択されなかった重みを０とすることを意味する。

【0082】

【数8】

【0083】

【数9】

【0084】

以上説明した図３に示す動作が、複数のパラメータ決定部２１１によって順に行われる。具体的には、まずは、パラメータ決定部２１１^（２）が、重みｗ^（２）、バイアスｂ^（２）及び接続態様ＣＡ^（２）を学習する。その後、パラメータ決定部２１１^（２）が学習した重みｗ^（２）、バイアスｂ^（２）及び接続態様ＣＡ^（２）を用いて、パラメータ決定部２１１^（３）が、重みｗ^（３）、バイアスｂ^（３）及び接続態様ＣＡ^（３）を学習する。その後、パラメータ決定部２１１^（２）が学習した重みｗ^（２）、バイアスｂ^（２）及び接続態様ＣＡ^（２）とパラメータ決定部２１１^（３）が学習した重みｗ^（３）、バイアスｂ^（３）及び接続態様ＣＡ^（３）とを用いて、パラメータ決定部２１１^（４）が、重みｗ^（４）、バイアスｂ^（４）及び接続態様ＣＡ^（４）を学習する。

【0085】

但し、第２の中間層１１２Ｍ^（３）と出力層１１２Ｏとの間のネットワーク構造ＮＳ^（４）に関するパラメータを学習するパラメータ決定部２１１^（４）は、他のパラメータ決定部２１１とは異なる方法でパラメータを学習してもよい。なぜならば、上述したように、出力層１１２Ｏは、活性化関数ｆを含まない場合があるからである。例えば、出力層１１２Ｏが活性化関数ｆを含まない場合には、パラメータ決定部２１１^（４）は、圧縮センシングで用いられる最適化手法を用いてパラメータを学習してもよい。尚、圧縮センシングで用いられる最適化手法の一例として、ＯＭＰ法（直交マッチング追跡法：Ｏｒｔｈｏｇｏｎａｌ Ｍａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔ）、ＬＳ（Ｌｅａｓｔ Ｓｕｐｐｏｒｔ）－ＯＭＰ法及びＢＳ法（Ｂａｓｉｓ Ｐｕｒｓｕｉｔ）の少なくとも一つがあげられる。

【0086】

このようなパラメータ決定装置２は、信号送信装置１の出荷前に、ニューラルネットワーク１１２のパラメータを決定してもよい。その結果、例えば製造工場において、パラメータ決定装置２が決定したパラメータに基づくニューラルネットワーク１１２が実装された信号送信装置１が出荷される。この場合、典型的には、パラメータ決定装置２は、信号送信装置１の外部の装置（典型的には、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の相対的に高速な演算装置を用いて実装されてもよい。但し、後に詳述するように、パラメータ決定装置２の少なくとも一部が、信号送信装置１に実装されていてもよい。パラメータ決定装置２は、信号送信装置１の出荷後に（例えば、信号送信装置１の運用中に）、ニューラルネットワーク１１２のパラメータを決定してもよい。

【0087】

（２－５）パラメータ決定装置２の技術的効果
以上説明した第１実施形態のパラメータ決定装置２によれば、全層に渡って少ない接続（＝低演算量）で、かつ学習誤差の小さい（すなわち、歪み補償回路１１において、歪補償性能が高い）ニューラルネットワーク１１２が得られる。

【0088】

具体的には、パラメータ決定装置２は、ノードＮの接続経路の選択を制約条件として加えた学習（つまり、上述した数式８に示す制約条件を用いた学習）を行うことで、スパースな構造を有するニューラルネットワーク１１２を構築できるように、ニューラルネットワーク１１２のパラメータを決定することができる。一例として、パラメータ決定装置２は、ニューラルネットワーク１１２を用いた信号送信装置１においてパワーアンプ１２の物理モデルが持つべき制約に基づく制約条件（具体的には、ノードＮの接続経路の選択に関する制約条件）を用いた学習を行うことで、物理モデルとして元来あるべきスパースな構造を有するニューラルネットワーク１１２を構築できるように、ニューラルネットワーク１１２のパラメータを決定することができる。具体的には、パワーアンプ１２の物理モデルの基底（多項式）がニューラルネットワーク１１２のノードＮの出力に対応すると仮定した場合、第ｊ番目の層における一つのノードＮ^（ｊ）と第ｊ－１番目の層における複数のノードＮ^{（ｊ－１）}との接続数は、ニューラルネットワーク１１２で表現可能な接続数（具体的には、第ｊ－１番目の層に含まれるノードＮ^{（ｊ－１）}の数）と比べて少なくなる。この点に着目し、パラメータ決定装置２は、物理モデルに近づけるために第ｊ－１番目の層に含まれるノードＮ^{（ｊ－１）}からの接続数を制限した上で（具体的には、第ｊ－１番目の層のノードＮ^{（ｊ－１）}の数未満に制限した上で）、パラメータを学習する。その結果、性能（歪み補償特性）を保ちつつ、最大限のスパースな構造を持つニューラルネットワーク１１２が得られる。このため、パラメータ決定装置２は、ニューラルネットワーク１１２から物理モデルに基づいたスパースなモデルを抽出する動作を行っているとも言える。

【0089】

（３）パラメータ決定装置２の変形例
続いて、パラメータ決定装置２の変形例について説明する。尚、以下では、既に説明済みの構成要件については、同一の参照符号を付してその詳細な説明を省略する。同様に、既に説明済みの処理については、同一のステップ番号を付してその詳細な説明を省略する。

【0090】

（３－１）第１変形例のパラメータ決定装置２ａ
初めに、第１変形例のパラメータ決定装置２ａについて説明する。第１変形例のパラメータ決定装置２ａは、上述したパラメータ決定装置２と同様の構成を有する。第１変形例のパラメータ決定装置２ａは、上述したパラメータ決定装置２と比較して、パラメータ決定部２１１が行う動作が部分的に異なるという点で異なる。従って、以下では、図７を参照しながら、第１変形例のパラメータ決定部２１１が行う動作について説明する。図７は、第１変形例のパラメータ決定部２１１が行う動作の流れを示すフローチャートである。

【0091】

図７に示すように、第１変形例では、第１学習部２１１１は、まず、上述した数式４に示す制約条件を満たしながら、ネットワーク構造ＮＳ^（ｊ）における重み’ｗ^（ｊ）を１回だけ更新する（ステップＳ１１１ａ）。尚、重みｗ’^（ｊ）の更新方法については、更新する回数が１回だけであるという点を除いて、図６のステップＳ１１における重みｗ’^（ｊ）の更新方法と同一であってもよい。

【0092】

但し、第１変形例では、重みｗ’^（ｊ）を更新する際に、正則化項が用いられる。つまり、第１学習部２１１１は、正則化項が追加された目的関数を用いて、重みｗ’^（ｊ）を更新する。一例として、第１学習部２１１１は、重みｗに関する正則化項と、バイアスｂに関する正則化項とが追加された目的関数を用いて、重みｗ’^（ｊ）を更新してもよい。但し、バイアスｂに関する正則化項は追加されなくてもよい。このような目的関数の一例が数式１０に示されている。数式１０における「Ｌ（ｗ、ｂ）」は、目的関数を示す。数式１０における「λ_ｗ ^(l)」は、第ｌ－１番目の層と第ｌ番目の層との間の重みｗ^（ｌ）に関する正則化パラメータである。数式１０における「λ_b ^(l)」は、第ｌ－１番目の層と第ｌ番目の層との間のバイアスｂ^（ｌ）に関する正則化パラメータである。数式１０における「Ｌ」は、ニューラルネットワーク１１２を構成する層の数を示す定数である。尚、目的関数Ｌ（ｗ、ｂ）におけるノルムとしては、任意のノルムを用いることが可能である。例えば、目的関数Ｌ（ｗ、ｂ）におけるノルムとして、Ｌ１ノルム又はＬ２ノルムが用いられてもよい。例えば、目的関数Ｌ（ｗ、ｂ）におけるノルムとして、Ｌｐ（但し、ｐは３以上の整数）ノルムが用いられてもよい。この場合、正則化項は、重みｗ^（ｌ）の絶対値又は当該絶対値のべき乗の総和が大きくなるほど大きくなる成分であるとも言える。

【0093】

【数10】

【0094】

正則化パラメータλ_ｗ ^(l)及びλ_b ^(l)の夫々として、デフォルトの初期値が用いられてもよい。或いは、接続経路選択部２１１２は、パラメータの学習結果に基づいて、正則化パラメータλ_ｗ ^(l)及びλ_b ^(l)の少なくとも一方を変更してもよい。例えば、パラメータの学習の結果、学習誤差がターゲット値を上回った場合には、パラメータ決定部２１１は、パラメータの学習結果に基づいて、正則化パラメータλ_ｗ ^(l)及びλ_b ^(l)の少なくとも一方を変更してもよい。この際、パラメータ決定部２１１は、学習誤差がターゲット値を下回るように、正則化パラメータλ_ｗ ^(l)及びλ_b ^(l)の少なくとも一方を変更してもよい。一方で、例えば、パラメータの学習の結果、学習誤差がターゲット値を下回った場合には、パラメータ決定部２１１は、正則化パラメータλ_ｗ ^(l)及びλ_b ^(l)の少なくとも一方を変更しなくてもよい。

【0095】

第１変形例では、第１学習部２１１１は、上述した数式４に示す制約条件を満たしながら、数式９に示す目的関数Ｌ（ｗ、ｂ）を用いて、重みｗ’^（ｊ）を更新する。この際、目的関数Ｌ（ｗ、ｂ）に関する最適化問題を解くためのアルゴリズムとして、ニューラルネットワークの学習に用いられる任意のアルゴリズムが利用可能である。一例として、第１学習部２１１１は、確率的勾配降下法（ＳＧＤ：Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）及びＡＤＡＭ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）の少なくとも一方を用いてもよい。

【0096】

第１学習部２１１１は、ニューラルネットワークの学習におけるバッチ１個単位で、重みｗ’^（ｊ）を更新してもよい。第１学習部２１１１は、エポックの単位で、重みｗ’^（ｊ）を更新してもよい。後述する第２及び第３変形例においても同様である。

【0097】

その後、第１学習部２１１１は、学習誤差がターゲット値以上であるか否かを判定する（ステップＳ１１２ａ）。ステップＳ１１２ａにおける判定の結果、学習誤差がターゲット値を下回ると判定された場合には（ステップＳ１１２ａ：Ｎｏ）、第１学習部２１１１は、重みｗ’^（ｊ）の学習を終了する。その後は、第１変形例においても、接続経路選択部２１１２が有効経路を選択し（ステップＳ１２）、第２学習部２１１３が重みｗ^（ｊ）及びバイアスｂ^（ｊ）を学習する（ステップＳ１３）。

【0098】

一方で、ステップＳ１１２ａにおける判定の結果、学習誤差がターゲット値以上であると判定された場合には（ステップＳ１１２ａ：Ｙｅｓ）、第１学習部２１１１は、パラメータ決定部２１１^（ｊ）に対応する２つの層に含まれる複数のノードを接続する複数の接続経路の中から、重みｗ’^（ｊ）が相対的に大きくなるように更新しやすくする接続経路（以降、“限定経路”と称する）を選択する（ステップＳ１１３ａ）。

【0099】

具体的には、第１学習部２１１１は、第ｊ番目の層に含まれる各ノードＮ^（ｊ）と第ｊ－１番目の層に含まれるＭ（ｊ－１）個のノードＮ^{（ｊ－１）}とを接続するＭ（ｊ－１）個の接続経路の中から、１個以上且つＭ（ｊ－１）個未満の数の接続経路を、限定経路として選択する。このため、Ｍ（ｊ－１）個の接続経路のうちの少なくとも一つは、限定経路として選択されることはない。第１学習部２１１１は、このような限定経路を選択する動作を、第ｊ番目の層に含まれるＭ（ｊ）個のノードＮ^（ｊ）の夫々を対象に行う。つまり、第１学習部２１１１は、第ｊ番目の層の第１番目のノードＮ_１ ^（ｊ）に接続する少なくとも一つの限定経路を選択し、第ｊ番目の層の第２番目のノードＮ_２ ^（ｊ）に接続する少なくとも一つの限定経路を選択し、・・・、第ｊ番目の層の第Ｍ（ｊ）番目のノードＮ_Ｍ（ｊ） ^（ｊ）に接続する少なくとも一つの限定経路を選択する。

【0100】

第１学習部２１１１は、各ノードＮ^（ｊ）におけるＭ（ｊ－１）個の接続経路の中から、各接続経路に対応する重みｗ’^（ｊ）の絶対値が大きい順に、１個以上且つＭ（ｊ－１）個未満の数の接続経路を、限定経路として選択する。言い換えれば、接続経路選択部２１１２は、Ｍ（ｊ－１）個の接続経路の中から、選択されない接続経路と比較して重みｗ’^（ｊ）の絶対値が大きい１個以上且つＭ（ｊ－１）個未満の数の接続経路を、限定経路として選択する。つまり、第１学習部２１１１は、接続経路選択部２１１２が有効経路を選択する方法と同様の方法で、限定経路を選択する。

【0101】

具体的には、第１学習部２１１１は、数式１１に基づいて、限定経路を選択する。数式１０における「ＩＵ_ｒ ^{ｐ、（ｊ）}」は、第ｊ番目の層の第ｒ番目のノードＮ_ｒ ^（ｊ）を対象に選択された限定経路のインデックス（具体的には、選択された限定経路が接続する第ｊ－１番目の層のノードＮのインデックス番号）を示す。数式１１における「ＮＵ_ｒ ^{ｐ、（ｊ）}」は、選択される限定経路の数を示す。

【0102】

【数11】

【0103】

選択される限定経路の数ＮＵ_ｒ ^{ｐ、（ｊ）}は、１以上の値である。選択される限定経路の数ＮＵ_ｒ ^{ｐ、（ｊ）}として、デフォルトの初期値（但し、Ｍ（ｊ－１）未満の値）が用いられてもよい。但し、限定経路の数ＮＵ_ｒ ^{ｐ、（ｊ）}は、上述した接続経路選択部２１１２が選択する有効経路の数ＮＵ_ｒ ^（ｊ）以下となる値に設定される。例えば、限定経路の数ＮＵ_ｒ ^{ｐ、（ｊ）}は、有効経路の数ＮＵ_ｒ ^（ｊ）と同じ値に設定されてもよい。例えば、限定経路の数ＮＵ_ｒ ^{ｐ、（ｊ）}は、有効経路の数ＮＵ_ｒ ^（ｊ）よりも所定数（例えば、１）だけ小さい値に設定されてもよい。例えば、限定経路の数ＮＵ_ｒ ^{ｐ、（ｊ）}は、１に設定されてもよい。例えば、限定経路の数ＮＵ_ｒ ^{ｐ、（ｊ）}は、１と有効経路の数ＮＵ_ｒ ^（ｊ）から１を減算した値のうちの大きい方の値に設定されてもよい。

【0104】

その後、第１学習部２１１１は、限定経路の重みｗ’^（ｊ）が限定経路以外の接続経路の重みｗ’^（ｊ）よりも大きくなる学習が行われやすくなるように、目的関数Ｌ（ｗ、ｂ）を更新する（ステップＳ１１４ａ）。つまり、第１学習部２１１１は、限定経路の重みｗ’^（ｊ）が、その他の接続経路の重みｗ’^（ｊ）よりも大きくなりやすくなるように、目的関数Ｌ（ｗ、ｂ）を更新する。ここで、正則化パラメータλ_ｗ ^(j)は、重みｗ’^（ｊ）を相対的に小さくするために用いられる。正則化パラメータλ_ｗ ^(j)は、重みｗ’^（ｊ）を相対的に小さくするための制約に相当する。このため、正則化パラメータλ_ｗ ^(j)による制約が緩和されれば、重みｗ’^（ｊ）が相対的に大きくなりやすくなる。具体的には、正則化パラメータλ_ｗ ^(j)が小さくなれば、重みｗ’^（ｊ）が相対的に大きくなりやすくなる。このため、第１学習部２１１１は、限定経路の重みｗ’^（ｊ）に関する正則化項が、その他の接続経路の重みｗ’^（ｊ）の正則化項よりも小さくなるように、目的関数Ｌ（ｗ、ｂ）を更新してもよい。一例として、第１学習部２１１１は、数式１０に示す目的関数Ｌ（ｗ、ｂ）を、数式１２に示す目的関数Ｌ’（ｗ、ｂ）に更新してもよい。

【0105】

【数12】

【0106】

数式１２おける「α」は、０以上且つ１以下の値である。αが小さくなればなるほど、限定経路の重みｗ’^（ｊ）に関する正則化項が小さくなる。その結果、αが小さくなればなるほど、限定経路の重みｗ’^（ｊ）が更新されやすくなる。

【0107】

その後、第１学習部２１１１は、ステップＳ１１１ａの処理を再度行う。つまり、第１学習部２１１１は、更新された目的関数Ｌ’（ｗ、ｂ）を用いて、重みｗ’^（ｊ）を再び１回だけ更新する（ステップＳ１１１ａ）。以上の動作が、学習誤差がターゲット値を下回るまで繰り返される。具体的には、第１学習部２１１１は、学習誤差がターゲット値を下回るまで目的関数Ｌ（ｗ、ｂ）を更新する。

【0108】

数式１０に示す目的関数Ｌ（ｗ、ｂ）が数式１２に示す目的関数Ｌ’（ｗ、ｂ）に更新された後の目的関数Ｌ’（ｗ、ｂ）の更新は、変数αの更新を含んでいてもよい。第１学習部２１１１は、学習誤差がターゲット値を下回るまで変数αを更新してもよい。この際、第１学習部２１１１は、変数αが単調減少するように変数αを更新してもよい。例えば、第１学習部２１１１は、初期値が１に設定された変数αが単調減少するように変数αを更新してもよい。例えば、第１学習部２１１１は、変数αを更新する都度変数αに対して１未満の数を掛け合わせるように、変数αを更新してもよい。第１学習部２１１１は、変数αを更新する都度変数αから所定量を引くように、変数αを更新してもよい。このように変数αが単調減少する場合には、第１学習部２１１１による重みｗ’^（ｊ）の学習が進むにつれて、正則化項による制約が徐々に緩和されていく。つまり、第１学習部２１１１による重みｗ’^（ｊ）の学習が進むにつれて、限定経路を選択することで得られる効果が強くなっていく。

【0109】

以上説明した第１変形例のパラメータ決定装置２ａによれば、パラメータ決定装置２が享受可能な効果と同様の効果を享受することができる。更に、パラメータ決定装置２ａでは、第１学習部２１１１が、重みｗ’^（ｊ）が相対的に更新されやすくなる限定経路を選択することができる。このため、第１学習部２１１１による重みｗ’^（ｊ）の学習が終了した時点で、接続経路選択部２１１２が有効経路として選択しないであろうと推定される接続経路の重みｗ’^（ｊ）は、接続経路選択部２１１２が有効経路として選択するであろうと推定される接続経路の重みｗ’^（ｊ）よりも十分に小さくなる。このため、重みｗ’^（ｊ）が相対的に大きい接続経路を接続経路選択部２１１２が選択しない（つまり、削除する）という技術的不都合が発生する可能性が小さくなる。仮に重みｗ’^（ｊ）が相対的に大きい接続経路を接続経路選択部２１１２が選択しない（つまり、削除する）と、その接続経路を用いないことによる学習誤差への影響が相対的に大きくなる。つまり、接続経路選択部２１１２による有効経路の選択の妥当性が低くなり、結果として、学習効果の劣化につながる。しかるに、第１変形例では、このような学習効果の劣化が生ずる可能性が小さくなる。

【0110】

尚、第１学習部２１１１が用いた目的関数Ｌ（ｗ、ｂ）は、第２学習部２１１３がパラメータを学習する際に用いられてもよい。この場合、変数αとして、第１学習部２１１１による重みｗ’^（ｊ）の学習が終了した時点での変数αが用いられてもよい。後述する第２変形例及び第３変形例においても同様である。

【0111】

また、数式１２において、数式１０のバイアスｂの正則化項（数式１３参照）を加えたものを目的関数として使用しても良い。

【0112】

【数13】

【0113】

（３－２）第２変形例のパラメータ決定装置２ｂ
続いて、第２変形例のパラメータ決定装置２ｂについて説明する。第２変形例のパラメータ決定装置２ｂは、上述したパラメータ決定装置２と比較して、パラメータ決定部２１１に代えて、パラメータ決定部２１１ｂを備えているという点で異なる。パラメータ決定装置２ｂのその他の構成要件は、上述したパラメータ決定装置２のその他の構成要件と同一であってもよい。従って、以下、図８を参照しながら、第２変形例のパラメータ決定部２１１ｂについて説明する。図８は、第２変形例のパラメータ決定部２１１ｂの構成を示すブロック図である。

【0114】

図８に示すように、パラメータ決定部２１１ｂは、パラメータ決定部２１１と比較して、弱接続削除部２１１４ｂを備えているという点で異なる。パラメータ決定部２１１ｂのその他の構成要件は、上述したパラメータ決定部２１１のその他の構成要件と同一であってもよい。

【0115】

弱接続削除部２１１４ｂは、第２学習部２１１３がパラメータを学習する過程で、接続経路選択部２１１２が有効経路として選択した接続経路であっても、当該接続経路が弱接続条件を満たす場合には、当該接続経路を削除する（つまり、有効経路の指定から外す）。以下、図９を参照しながら、このような動作を行う第２変形例のパラメータ決定部２１１ｂの動作について説明する。図９は、第２変形例のパラメータ決定部２１１ｂの動作の流れを示すフローチャートである。

【0116】

図９に示すように、第２変形例でも、第１学習部２１１１が重みｗ’^（ｊ）を学習し（ステップＳ１１）、接続経路選択部２１１２が有効経路を選択し（ステップＳ１２）、第２学習部２１１３が重みｗ^（ｊ）及びバイアスｂ^（ｊ）を学習する（ステップＳ１３）。

【0117】

その後、第２学習部２１１３は、学習誤差がターゲット値未満であるか否かを判定する（ステップＳ１３２ｂ）。ステップＳ１３２ｂにおける判定の結果、学習誤差がターゲット値未満でないと判定された場合には（ステップＳ１３２ｂ：Ｎｏ）、有効経路の削除の余地が相対的に少ないと推定される。つまり、有効経路を削除してしまうと、学習誤差が意図しないほどに大きくなってしまう可能性があると推定される。この場合、第２学習部２１１３は、重みｗ^（ｊ）及びバイアスｂ^（ｊ）の学習を終了する。

【0118】

一方で、ステップＳ１３２ｂにおける判定の結果、学習誤差がターゲット値未満であると判定された場合には（ステップＳ１３２ｂ：Ｙｅｓ）、有効経路の削除の余地が相対的に大きいと推定される。つまり、有効経路を削除したとしても、学習誤差をターゲット値未満のまま維持することができる可能性があると推定される。そこで、弱接続削除部２１１４ｂは、複数の有効経路の中から、重みｗ^（ｊ）の絶対値が最小となる有効経路を削除する（ステップＳ１３３ｂ）。

【0119】

具体的には、弱接続削除部２１１４ｂは、第ｊ番目の層の第ｒ番目のノードＮ_ｒ ^（ｊ）と第ｊ－１番目の層の第ｓ番目のノードＮ_ｓ ^{（ｊ－１）}との間の接続経路（有効経路）の接続強度Ｒ_ｓ、ｒを、全てのノードＮ_ｒ ^（ｊ）とノードＮ_ｓ ^{（ｊ－１）}との組み合わせを対象に算出する。接続強度Ｒ_ｓ、ｒは、ノードＮ_ｒ ^（ｊ）とノードＮ_ｓ ^{（ｊ－１）}との間の接続経路の重みｗ_ｓ、ｒ ^（ｊ）の絶対値｜ｗ_ｓ，ｒ ^（ｊ）｜に基づく指標である。例えば、接続強度Ｒ_ｓ、ｒは、ノードＮ_ｒ ^（ｊ）につながる接続経路の重みｗ^（ｊ）の最大値の絶対値｜ｗ_{ｓｍａｘ，ｒ} ^（ｊ）｜に対するノードＮ_ｒ ^（ｊ）とノードＮ_ｓ ^{（ｊ－１）}との間の接続経路の重みｗ_ｓ、ｒ ^（ｊ）の絶対値｜ｗ_ｓ，ｒ ^（ｊ）｜の比であってもよい。つまり、弱接続削除部２１１４ｂは、数式１４を用いて、接続強度Ｒ_ｓ、ｒを算出してもよい。但し、接続強度Ｒ_ｓ、ｒは、重みｗ^（ｊ）の絶対値と相関を有する限りは、どのような値であってもよい。例えば、重みｗ^（ｊ）の絶対値そのものが、接続強度Ｒ_ｓ、ｒとして用いられてもよい。

【0120】

【数14】

【0121】

その後、弱接続削除部２１１４ｂは、複数の有効経路（つまり、未だ削除されていない接続経路）の中から、接続強度Ｒ_ｓ、ｒが最小となる有効経路を特定する。この場合、弱接続削除部２１１４ｂは、数式１５を用いて、接続強度Ｒ_ｓ、ｒが最小となる有効経路を特定してもよい。数式１５における「ｓｍｉｎ」は、第ｊ－１番目の層に含まれる、接続強度Ｒ_ｓ、ｒが最小となる有効経路につながるノードＮ_ｓｍｉｎ ^{（ｊ－１）}のインデックスを示す。数式１３における「ｒｍｉｎ」は、第ｊ番目の層に含まれる、接続強度Ｒ_ｓ、ｒが最小となる有効経路につながるノードＮ_ｒｍｉｎ ^（ｊ）のインデックスを示す。数式１３における「ａｒｇｍｉｎ」は、最小値のインデックスを返す関数である。

【0122】

【数15】

【0123】

その後、弱接続削除部２１１４ｂは、特定した有効経路のラベルｓｍｉｎを、有効経路を示すインデックスＩＵ_ｒｍｉｎ ^（ｊ）から削除する。つまり、弱接続削除部２１１４ｂは、数式１６を用いて、インデックスＩＵ_ｒｍｉｎ ^（ｊ）を更新する。その結果、数式８に示す制約条件は、特定した有効経路の重みｗ_{ｓｍｉｎ，ｒｍｉｎ} ^（ｊ）が新たにゼロになるという条件に更新される。

【0124】

【数16】

【0125】

尚、接続経路の除去に起因して、第ｊ－１番目の層のノードＮ^{（ｊ－１）}からの出力が入力されなくなったノードＮ^（ｊ）が第ｊ番目の層に発生した場合には、当該ノードＮ^（ｊ）そのものが削除されてもよい。

【0126】

その後、第２学習部２１１３は、ステップＳ１３の処理を再度行う。つまり、第２学習部２１１３は、更新されたインデックスＩＵ_ｒｍｉｎ ^（ｊ）に基づく制約条件を満たしながら、重みｗ^（ｊ）及びバイアスｂ^（ｊ）を学習する（ステップＳ１３）。以上の動作が、学習誤差がターゲット値以上になるまで繰り返される。

【0127】

以上説明した第２変形例のパラメータ決定装置２ｂによれば、パラメータ決定装置２が享受可能な効果と同様の効果を享受することができる。更に、パラメータ決定装置２ｂでは、第２学習部２１１３がパラメータを学習する過程で、接続経路選択部２１１２が選択した有効経路の一部が削除される。つまり、第２学習部２１１３がパラメータを学習する過程で、不要な（つまり、ニューラルネットワーク１１２の出力に対する寄与度が相対的に小さい）有効経路が削除される。その結果、ニューラルネットワーク１１２の演算量がより一層低減される。

【0128】

尚、第２変形例のパラメータ決定装置２ｂは、第１変形例のパラメータ決定装置２ａと同様の動作（つまり、限定経路を選択しながら、正則化パラメータを含む目的関数で重みｗ^（ｊ）を学習する動作）を行ってもよい。

【0129】

（３－３）第３変形例のパラメータ決定装置２ｃ
続いて、第３変形例のパラメータ決定装置２ｃについて説明する。第３変形例のパラメータ決定装置２ｃは、上述したパラメータ決定装置２と比較して、パラメータ決定部２１１に代えて、パラメータ決定部２１１ｃを備えているという点で異なる。パラメータ決定装置２ｃのその他の構成要件は、上述したパラメータ決定装置２のその他の構成要件と同一であってもよい。従って、以下、図１０を参照しながら、第３変形例のパラメータ決定部２１１ｃについて説明する。図１０は、第３変形例のパラメータ決定部２１１ｃの構成を示すブロック図である。

【0130】

図１０に示すように、パラメータ決定部２１１ｃは、パラメータ決定部２１１と比較して、非独立ノード削除部２１１５ｃを備えているという点で異なる。パラメータ決定部２１１ｃのその他の構成要件は、上述したパラメータ決定部２１１のその他の構成要件と同一であってもよい。

【0131】

非独立ノード削除部２１１５ｃは、第２学習部２１１３がパラメータを学習する過程で、一次独立性が最も小さい（言い換えれば、直交度合いが最も小さい）ノードＮ^（ｊ）を削除する。つまり、非独立ノード削除部２１１５ｃは、他のノードＮ^（ｊ）の出力（出力ベクトル）の線形和でその出力（出力ベクトル）が実質的に表現できる可能性が最も高いノードＮ^（ｊ）を削除する。このような一次独立性が最も小さいノードＮ^（ｊ）が削除されたとしても、当該ノードＮ^（ｊ）の出力が他のノードＮ^（ｊ）の出力（出力ベクトル）の線形和で実質的に表現できる限りは、ニューラルネットワーク１１２の出力に大きな影響が生ずることは殆どない。以下、図１１を参照しながら、このような動作を行う第３変形例のパラメータ決定部２１１ｃの動作について説明する。図１１は、第３変形例のパラメータ決定部２１１ｃの動作の流れを示すフローチャートである。

【0132】

図１１に示すように、第３変形例でも、第２変形例と同様に、第１学習部２１１１が重みｗ’^（ｊ）を学習し（ステップＳ１１）、接続経路選択部２１１２が有効経路を選択し（ステップＳ１２）、第２学習部２１１３が重みｗ^（ｊ）及びバイアスｂ^（ｊ）を学習し（ステップＳ１３）、第２学習部２１１３は、学習誤差がターゲット値未満であるか否かを判定する（ステップＳ１３２ｂ）。

【0133】

ステップＳ１３２ｂにおける判定の結果、学習誤差がターゲット値未満でないと判定された場合には（ステップＳ１３２ｂ：Ｎｏ）、ノードＮ^（ｊ）の削除の余地が相対的に小さいと推定される。つまり、ノードＮ^（ｊ）を削除してしまうと、学習誤差が意図しないほどに大きくなってしまう可能性があると推定される。この場合、第２学習部２１１３は、重みｗ^（ｊ）及びバイアスｂ^（ｊ）の学習を終了する。

【0134】

一方で、ステップＳ１３２ｂにおける判定の結果、学習誤差がターゲット値未満であると判定された場合には（ステップＳ１３２ｂ：Ｙｅｓ）、ノードＮ^（ｊ）の削除の余地が相対的に大きいと推定される。つまり、ノードＮ^（ｊ）を削除したとしても、学習誤差をターゲット値未満のまま維持することができる可能性があると推定される。そこで、非独立ノード削除部２１１５ｃは、第ｊ番目の層のノードＮ^（ｊ）の中から、一次独立性が最も小さい（言い換えれば、直交度合いが最も小さい）一のノードＮ^（ｊ）を削除する（ステップＳ１３３ｃ）。

【0135】

具体的には、非独立ノード削除部２１１５ｃは、第ｊ番目の層の第ｒ番目のノードＮ_ｒ ^（ｊ）の独立度Ｄ_ｒ（つまり、一次独立であるか否かを示す指標）を、全てのノードＮ_ｒ ^（ｊ）を対象に算出する。独立度Ｄ_ｒは、例えば、ノードＮ_ｒ ^（ｊ）の出力Ｈ_ｒ ^（ｊ）の残差ノルムであってもよい。この場合、独立度Ｄ_ｒは、以下の手順を経て算出されてもよい。まず、非独立ノード削除部２１１５ｃは、第ｊ番目の層のＭ（ｊ）個のノードＮ_１ ^（ｊ）からＮ_Ｍ（ｊ） ^（ｊ）の出力Ｈ_１ ^（ｊ）からＨ_Ｍ（ｊ） ^（ｊ）を束ねた行列Ｘを、Ｘ＝［Ｈ_１ ^（ｊ）、Ｈ_２ ^（ｊ）、・・・、Ｈ_Ｍ（ｊ） ^（ｊ）］と定義する。更に、非独立ノード削除部２１１５ｃは、出力Ｈ_ｒ ^（ｊ）以外の他の出力Ｈ^（ｊ）が張るベクトル空間Ｘｍを、Ｘｍ＝Ｘ／Ｈ_ｒ ^（ｊ）と定義する。更に、非独立ノード削除部２１１５ｃは、出力Ｈ_ｒ ^（ｊ）からベクトル空間Ｘｍの線形和（つまり、ベクトル空間Ｘｍの基底ベクトルの線形和）を差し引いた残差ベクトルｒ_ｒがベクトル空間Ｘｍに直交するように残差ベクトルｒ_ｒを定義する。その上で、非独立ノード削除部２１１５ｃは、残差ベクトルｒ_ｒのノルムと出力Ｈ_ｒ ^（ｊ）のノルムとの比を、独立度Ｄ_ｒとして算出する。この場合、非独立ノード削除部２１１５ｃは、数式１７及び数式１８を用いて、独立度Ｄ_ｒを算出していると言える。このような独立度Ｄ_ｒは、ノードＮ_ｒ ^（ｊ）の一次独立性が小さくなるほど小さくなる。

【0136】

【数17】

【0137】

【数18】

【0138】

その後、非独立ノード削除部２１１５ｃは、第ｊ番目の層の複数のノードＮ^（ｊ）の中から、独立度Ｄ_ｒが最小となるノードＮ_ｒｍｉｎ ^（ｊ）を特定する。この場合、非独立ノード削除部２１１５ｃは、数式１９を用いて、独立度Ｄ_ｒが最小となるノードＮ_ｒｍｉｎ ^（ｊ）を特定してもよい。数式１９における「ｒｍｉｎ」は、第ｊ番目の層に含まれる、独立度Ｄ_ｒが最小となるノードＮ_ｒｍｉｎ ^（ｊ）のインデックスを示す。

【0139】

【数19】

【0140】

ノードＮ_ｒｍｉｎ ^（ｊ）は、一次独立性が最も小さい（言い換えれば、低い）ノードＮに相当する。つまり、ノードＮ_ｒｍｉｎ ^（ｊ）は、直交度合いが最も小さい（言い換えれば、低い）ノードＮに相当する。このため、非独立ノード削除部２１１５ｃは、特定したノードＮ_ｒｍｉｎ ^（ｊ）を削除する。更に、非独立ノード削除部２１１５ｃは、特定したノードＮ_ｒｍｉｎ ^（ｊ）に関連する重みｗ_{ｓ、ｒｍｉｎ} ^（ｊ）及びバイアスｂ_ｒｍｉｎ ^（ｊ）も削除する。更に、非独立ノード削除部２１１５ｃは、特定したノードＮ_ｒｍｉｎ ^（ｊ）に関連する接続対象ＣＡ^（ｊ）を更新してもよい。

【0141】

その後、第２学習部２１１３は、ステップＳ１３の処理を再度行う。つまり、第２学習部２１１３は、ノードＮ_ｒｍｉｎ ^（ｊ）に合わせてインデックスＩＵ_ｒ ^（ｊ）を更新し且つノードＮ^（ｊ）の総数Ｍ（ｊ）を更新した上で、重みｗ^（ｊ）及びバイアスｂ^（ｊ）を再び学習する（ステップＳ１３）。以上の動作が、学習誤差がターゲット値以上になるまで繰り返される。

【0142】

以上説明した第３変形例のパラメータ決定装置２ｃによれば、パラメータ決定装置２が享受可能な効果と同様の効果を享受することができる。更に、パラメータ決定装置２ｃでは、第２学習部２１１３がパラメータを学習する過程で、ノードＮの一部が削除される。つまり、第２学習部２１１３がパラメータを学習する過程で、不要な（つまり、ニューラルネットワーク１１２の出力に対する寄与度が相対的に小さい）ノードＮの一部が削除される。その結果、ニューラルネットワーク１１２の演算量がより一層低減される。

【0143】

尚、第３変形例のパラメータ決定装置２ｃは、第１変形例のパラメータ決定装置２ａと同様の動作（つまり、限定経路を選択しながら、正則化パラメータを含む目的関数で重みｗ^（ｊ）を学習する動作）を行ってもよい。第３変形例のパラメータ決定装置２ｂは、第２変形例のパラメータ決定装置２ｂと同様の動作（つまり、有効経路を削除する動作）を行ってもよい。

【0144】

（４）信号送信装置１の変形例
続いて、信号送信装置１の変形例について説明する。

【0145】

（４－１）第１変形例の信号送信装置１ａ
初めに、図１２を参照しながら、第１変形例の信号送信装置１ａについて説明する。図１２は、第１変形例の信号送信装置１ａの構成を示すブロック図である。

【0146】

図１２に示すように、信号送信装置１ａは、信号送信装置１と比較して、光通信網（例えば、光回線）を介して送信信号ｚを送信する装置であってもよいという点で異なる。この場合、信号送信装置１ａは、信号送信装置１と比較して、パワーアンプ１２が出力する送信ｚを光信号に変換するＥ・Ｏ変換器１３ａを更に備えているという点で異なる。その結果、光信号に変換された送信信号ｚが、光ファイバ等の信号伝搬経路１４ａ（つまり、光通信網の少なくとも一部を構成する信号伝搬経路）を介して送信される。この信号伝送経路１４の一部又は全部は、信号送信装置１ａを構成する構成要件であってもよい。或いは、この信号伝送経路１４は、信号送信装置１ａとは別個の構成要件であってもよい。

【0147】

送信信号ｚを受信する信号受信装置３ａは、Ｏ・Ｅ変換器３１ａを用いて、光信号である送信信号ｚを電気信号に変換し、その後、電気信号に変換された送信信号ｚを受信部３２ａで受信する。

【0148】

歪み補償回路１１は、パワーアンプ１２の動作に起因して送信信号ｚに生ずる歪みに加えて又は代えて、信号伝搬経路１４ａでの送信信号ｚの送信に起因して生ずる歪みを（つまり、信号伝搬経路１４ａで送信信号ｚに生ずる歪み）を補償するための歪み補償を入力信号ｘに施してもよい。その結果、光通信網（例えば、光回線）を介して送信信号ｚが送信される場合であっても、送信信号ｚの歪みが適切に補償される。この場合、信号伝搬経路１４ａで送信信号ｚに歪みが生ずることを考慮して、上述した学習用信号及び教師用信号の夫々は、例えば、入力信号ｘ、歪み補償信号ｙ及び送信信号ｚのうちの少なくとも一つに加えて又は代えて、信号受信装置３ａが受信した受信信号（つまり、信号伝搬経路１４ａで送信信号ｚに生じた歪みを含む信号）に基づく信号であってもよい。

【0149】

尚、光信号に変換された送信信号ｚが送信される場合には、信号生成部１１１は、上述した各種信号に代えて、入力信号ｘ_ｔのＸ偏波成分及びＹ偏波成分を、ニューラルネットワーク１１２に入力してもよい。

【0150】

（４－２）第２変形例の信号送信装置１ｂ
続いて、図１３を参照しながら、第２変形例の信号送信装置１ｂについて説明する。図１３は、第２変形例の信号送信装置１ｂの構成を示すブロック図である。

【0151】

図１３に示すように、信号送信装置１ｂは、信号送信装置１と比較して、ニューラルネットワーク１１２のパラメータを決定するための機能ブロックが信号送信装置１ｂ内に実現されているという点で異なる。具体的には、信号送信装置１ｂはＣＰＵ１５ｂを備えている。ＣＰＵ１５ｂは、コンピュータプログラムを読み込む。ＣＰＵ１５ｂが読み込むコンピュータプログラムは、ＣＰＵ２１が読み込むコンピュータプログラムと同様に、任意の記録媒体に記録されていてもよい。ＣＰＵ１５ｂは、読み込んだコンピュータプログラムを実行することで、歪み補償回路１１及びパワーアンプ１２を制御してもよい。特に、ＣＰＵ１５ｂが読み込んだコンピュータプログラムを実行すると、ＣＰＵ１５ｂ内には、ニューラルネットワーク１１２のパラメータを決定するための論理的な機能ブロックが実現される。具体的には、図１３に示すように、ＣＰＵ１５ｂ内に、ＣＰＵ２１内に実現される機能ブロックと同様の機能ブロックが実現される。この場合、実質的には、パラメータ決定装置２が、信号送信装置１ｂに実装されているとも言える。

【0152】

この場合、信号送信装置１ｂ自身が、ニューラルネットワーク１１２のパラメータを更新することができる。このため、信号送信装置１ｂが出荷された後に、ニューラルネットワーク１１２のパラメータが更新可能となる。例えば、信号送信装置１ｂがその設置場所に設置される際に、信号送信装置１ｂの実際の使用状況に合わせてニューラルネットワーク１１２のパラメータが更新（言い換えれば、調整）されてもよい。例えば、信号送信装置１ｂの運用が開始された後に、信号送信装置１ｂが実際に送信する送信信号ｚの特性に合わせてニューラルネットワーク１１２のパラメータが更新されてもよい。例えば、信号送信装置１ｂの運用が開始された後に、信号送信装置１ｂの経時劣化（つまり、ドリフト）に合わせてニューラルネットワーク１１２のパラメータが更新されてもよい。その結果、信号送信装置１ｂが出荷された後においても、歪補償回路１１の歪補償性能が相対的に高い状態を維持することができる。

【0153】

更には、信号送信装置１ｂは、信号送信装置１ｂに実際に入力される入力信号ｘ、信号送信装置１ｂに実際に生成する歪み補償信号ｙ、及び、信号送信装置１ｂが実際に送信する送信信号ｚの少なくとも一つに基づく学習用信号及び教師用信号を用いて、ニューラルネットワーク１１２のパラメータを更新することができる。このため、信号送信装置１ｂは、信号送信装置１ｂの実際の使用状況に合わせてニューラルネットワーク１１２のパラメータを適切に更新することができる。

【0154】

信号送信装置１ｂ自身が決定したパラメータは、所望のタイミングでニューラルネットワーク１１２に反映されてもよい。但し、新たなパラメータのニューラルネットワーク１１２に対する反映が完了するまでは、信号送信装置１ｂが送信信号ｚを送信できなくなる期間が生ずる可能性がある。そこで、図１４に示すように、歪み補償回路１１は、複数のニューラルネットワーク１１２を備える冗長化構成を採用していてもよい。図１４は、歪み補償回路１１が二つのニューラルネットワーク１１２＃１及び１１２＃２を備える例を示している。この場合、一のニューラルネットワーク１１２が歪み補償を行っている間に、信号送信装置１ｂ自身が決定したパラメータが他のニューラルネットワーク１１２に反映されてもよい。つまり、一のニューラルネットワーク１１２（例えば、ニューラルネットワーク１１２＃１）が歪み補償を行っている間に、他のニューラルネットワーク１１２（例えば、ニューラルネットワーク１１２＃２）のパラメータが、信号送信装置１ｂ自身が決定したパラメータに更新されてもよい。その後、歪み補償回路１１の状態が、一のニューラルネットワーク１１２が歪み補償を行っている状態から、新たなパラメータが反映された他のニューラルネットワーク１１２が歪み補償を行っている状態に切り替えられてもよい。その結果、信号送信装置１ｂが送信信号ｚを送信できなくなる期間を短くする又はなくすことができる。

【0155】

ＣＰＵ１５ｂ内には、信号送信装置１ｂが実際に送信する送信信号ｚを監視するための監視部１５１ｂ（図１３参照）が実現されてもよい。この場合、信号送信装置１ｂは、監視部１５１ｂの監視結果に基づいて、ニューラルネットワーク１１２のパラメータを更新するか否かを決定してもよい。例えば、監視部１５１ｂが監視している送信信号ｚの特性に関する所定の更新開始条件が成立した場合には、信号送信装置１ｂは、ニューラルネットワーク１１２のパラメータを更新すると決定してもよい。一方で、例えば、監視部１５１ｂが監視している送信信号ｚの特性に関する所定の更新開始条件が成立していない場合には、信号送信装置１ｂは、ニューラルネットワーク１１２のパラメータを更新しないと決定してもよい。更新開始条件の一例として、送信信号ｚの歪みが許容値以上に大きくなるという条件があげられる。

【0156】

尚、上述した説明では、パラメータ決定装置２のＣＰＵ２１内に実現される機能ブロックの全てが信号送信装置１ｂに実装されている。しかしながら、パラメータ決定装置２のＣＰＵ２１内に実現される機能ブロックの一部が信号送信装置１ｂに実装される一方で、パラメータ決定装置２のＣＰＵ２１内に実現される機能ブロックの他の一部が信号送信装置１ｂに実装されなくてもよい。その結果、信号送信装置１ｂのＣＰＵ１５ｂの処理速度がそれほど速くない場合であっても、信号送信装置１ｂは、パラメータを相応に更新することができる。つまり、処理速度がそれほど早くないＣＰＵ１５ｂ（或いは、任意の演算装置）しか備えていない信号送信装置１ｂに対して、パラメータを更新するための機能を実装することができる。一例として、例えば、図１５に示すように、信号送信装置１ｂには、第２学習部２１１３に相当する機能ブロックが実装される一方で、第１学習部２１１１及び接続経路選択部２１１２に相当する機能ブロックが実装されなくてもよい。こ例えば、信号送信装置１ｂには、出力層１１２Ｏに相対的に近い一部のネットワーク構造ＮＳのパラメータを更新するための機能ブロックが実装される一方で、出力層１１２Ｏから相対的に遠い他の一部のネットワーク構造ＮＳのパラメータを更新するための機能ブロックが実装されなくてもよい。一例として、信号送信装置１ｂには、出力層１１２Ｏと第２の中間層１１２Ｍ^（３）との間のネットワーク構造ＮＳ^（４）のパラメータを更新するための機能ブロックが実装される一方で、第２の中間層１１２Ｍ^（３）と入力層１１２Ｉの間のネットワーク構造ＮＳ^（３）及びネットワーク構造ＮＳ^（２）のパラメータを更新するための機能ブロックが実装されなくてもよい。つまり、図１６に示すように、信号送信装置１ｂには、パラメータ決定部^（４）に相当する機能ブロックが実装される一方で、パラメータ決定部^（３）及びパラメータ決定部^（２）に相当する機能ブロックが実装されなくてもよい。いずれの場合においても、パラメータ決定装置２のＣＰＵ２１内に実現される機能ブロックの全てが信号送信装置１ｂに実装される場合と比較して、パラメータの更新に要する処理負荷が軽減される。

【0157】

（５）付記
以上説明した実施形態に関して、更に以下の付記を開示する。
［付記１］
複数の層を備えるニューラルネットワークのパラメータを決定するパラメータ決定装置であって、
学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習する第１学習手段と、
前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択する選択手段と、
前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習する第２学習手段と
を備えるパラメータ決定装置。
［付記２］
変数ｊが３以上の整数である場合には、前記第２学習手段は、前記学習用信号、前記教師用信号、前記有効経路、並びに、前記複数の層のうちの第１番目の層から第ｊ－１番目の層までの間のネットワーク構造に関する前記パラメータに基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を学習する
付記１に記載のパラメータ決定装置。
［付記３］
変数ｊが３以上の整数である場合には、前記第２学習手段は、前記複数の層のうちの第１番目の層から第ｊ－１番目の層までの間のネットワーク構造に関する前記パラメータを固定したまま、前記教師用信号と、前記学習用信号が入力された前記ニューラルネットワークからの出力との差分が小さくなるように、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を学習する
付記１又は２に記載のパラメータ決定装置。
［付記４］
前記第１学習手段、前記選択手段及び前記第２学習手段を備えるパラメータ決定ユニットを複数備え、
前記複数のパラメータ決定ユニットは、夫々、異なる複数の層に関連する前記パラメータを決定する
付記１から３のいずれか一項に記載のパラメータ決定装置。
［付記５］
前記第１学習手段は、前記ｊ－１番目の層と前記ｊ番目の層との間の重みを学習する都度、（ｉ）前記学習した重みに基づいて、前記第ｊ番目の層に含まれる複数のノードと前記第ｊ－１番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の一部を限定経路として選択し、（ｉｉ）前記限定経路に対応する重みが前記複数の接続経路のうちの前記限定経路以外の接続経路に対応する重みよりも相対的に大きくなる学習が行われるように、前記ｊ－１番目の層と前記ｊ番目の層との間の重みを学習するために用いる目的関数を更新し、更新した前記目的関数を用いて前記ｊ－１番目の層と前記ｊ番目の層との間の重みを再度学習する
付記１から４のいずれか一項に記載のパラメータ決定装置。
［付記６］
前記目的関数は、学習誤差と、前記ｊ－１番目の層と前記ｊ番目の層との間の重みの絶対値の総和が大きくなるほど大きくなる正則化項とが加算された関数であり、
前記第１学習手段は、前記正則化項のうちの前記限定経路に対応する重みの絶対値又は前記絶対値のべき乗の総和が大きくなるほど大きくなる正則化項成分が小さくなるように前記目的関数を更新する
付記５に記載のパラメータ決定装置。
［付記７］
前記第１学習手段は、前記正則化項成分に対して０以上且つ１以下の係数を掛け合わせることで、前記正則化項成分が小さくなるように前記目的関数を更新し、
前記第１学習手段は、前記目的関数を新たに更新する際に、前記目的関数を前回更新する際に用いた前記係数以下の前記係数を前記正則化項成分に掛け合わせることで、前記目的関数を更新する
付記６に記載のパラメータ決定装置。
［付記８］
前記第２学習手段は、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方の学習が完了したときに学習誤差が目標値を下回る場合には、重みの絶対値が最も小さい一の有効経路を削除し、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を再度学習する
付記１から７のいずれか一項に記載のパラメータ決定装置。
［付記９］
前記第２学習手段は、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方の学習が完了したときに学習誤差が目標値を下回る場合には、前記第ｊ番目の層に含まれる複数のノードの中から、出力ベクトルの一次独立性が最も低い一のノードを削除し、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を再度学習する
付記１から８のいずれか一項に記載のパラメータ決定装置。
［付記１０］
前記パラメータ決定装置は、前記ニューラルネットワークとして、信号受信装置に対して送信信号を送信する信号送信装置に実装されるニューラルネットワークの前記パラメータを決定する
付記１から９のいずれか一項に記載のパラメータ決定装置。
［付記１１］
前記学習用信号及び前記教師用信号の少なくとも一方は、前記送信信号及び前記信号受信装置が受信した受信信号の少なくとも一方に基づく信号である
付記１０に記載のパラメータ決定装置。
［付記１２］
前記信号送信装置は、
入力信号に対して歪み補償を実行することで、歪み補償信号を生成する歪み補償手段と、
前記歪み補償信号を対象に所定動作を行うことで前記送信信号を生成する信号生成手段と
を備え、
前記パラメータ決定装置は、前記ニューラルネットワークとして、前記歪み補償手段に実装されるニューラルネットワークの前記パラメータを決定する
付記１１に記載のパラメータ決定装置。
［付記１３］
前記学習用信号及び前記教師用信号の少なくとも一方は、前記入力信号、前記歪み補償信号、前記送信信号及び前記信号受信装置が受信した受信信号の少なくとも一つに基づく信号である
付記１２に記載のパラメータ決定装置。
［付記１４］
パラメータ決定装置によって決定されたパラメータによって定義される前記ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成する歪み補償手段と、
前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成する信号生成手段と
を備え、
前記パラメータ決定装置は、
学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習する第１学習手段と、
前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択する選択手段と、
前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習する第２学習手段と
を備える信号送信装置。
［付記１５］
前記学習用信号及び前記教師用信号に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習する学習手段を更に備える
付記１４に記載の信号送信装置。
［付記１６］
ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成する歪み補償手段と、
前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成する信号生成手段と、
学習用信号及び教師用信号に基づいて、前記ニューラルネットワークが備える複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記ニューラルネットワークのパラメータの少なくとも一部として学習する学習手段と
を備える信号送信装置。
［付記１７］
前記歪み補償手段は、冗長化された複数のニューラルネットワークのうちの一のニューラルネットワークを用いて前記歪み補償を実行し、
前記歪み補償手段は、前記学習手段が学習したパラメータを、前記複数のニューラルネットワークのうちの前記一のニューラルネットワークとは異なる他のニューラルネットワークに適用した後に、前記一のニューラルネットワークに代えて前記他のニューラルネットワークを用いて前記歪み補償を実行する
付記１５又は１６に記載の信号送信装置。
［付記１８］
前記学習手段は、所定の学習開始条件が成立した場合に、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を学習する
付記１５から１７のいずれか一項に記載の信号送信装置。
［付記１９］
前記学習手段は、
前記学習用信号及び前記教師用信号に基づいて、前記第ｊ－１番目の層と前記第ｊ番目の層との間の重みを暫定的に学習し、
前記暫定的に学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択し、
前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を学習する
付記１５から１８のいずれか一項に記載の信号送信装置。
［付記２０］
前記学習手段は、所定の学習開始条件が成立した場合に、前記第ｊ－１番目の層と前記第ｊ番目の層との間の重みを暫定的に学習し、且つ、前記暫定的に学習した重みに基づいて前記有効経路を選択する
付記１９に記載の信号送信装置。
［付記２１］
前記送信信号を監視する監視手段を備え、
前記学習開始条件は、前記監視手段が監視している前記送信信号の特性に基づいて定まる条件を含む
付記１８又は２０に記載の信号送信装置。
［付記２２］
前記学習開始条件は、前記監視手段が監視している前記送信信号の歪みが許容値以上に大きくなるという条件を含む
付記２１に記載の信号送信装置。
［付記２３］
前記学習用信号及び前記教師用信号の少なくとも一方は、前記入力信号、前記歪み補償信号、前記送信信号及び前記信号受信装置が受信した受信信号の少なくとも一つに基づく信号である
付記１４から２２のいずれか一項に記載の信号送信装置。
［付記２４］
前記歪み補償は、前記所定動作に起因して前記送信信号に生ずる歪み、及び、前記信号生成手段から前記信号受信装置に至る信号伝搬経路で前記送信信号に生ずる歪みの少なくとも一方を補償する
付記１４から２３のいずれか一項に記載の信号送信装置。
［付記２５］
前記信号送信装置は、前記信号伝搬経路の少なくとも一部を含む
付記２４に記載の信号送信装置。
［付記２６］
複数の層を備えるニューラルネットワークのパラメータを決定するパラメータ決定方法であって、
学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習することと、
前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択することと、
前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習することと
を含むパラメータ決定方法。
［付記２７］
パラメータ決定装置によって決定されたパラメータによって定義される前記ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成することと、
前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成することと
を含み、
前記パラメータ決定装置は、
学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習する第１学習手段と、
前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択する選択手段と、
前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習する第２学習手段と
を備える信号送信方法。
［付記２８］
ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成することと、
前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成することと、
学習用信号及び教師用信号に基づいて、前記ニューラルネットワークが備える複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記ニューラルネットワークのパラメータの少なくとも一部として学習することと
を含む信号送信方法。
［付記２９］
コンピュータに、複数の層を備えるニューラルネットワークのパラメータを決定するパラメータ決定方法を実行させるコンピュータプログラムであって、
前記パラメータ決定方法は、
学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習することと、
前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択することと、
前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習することと
を含むコンピュータプログラム。
［付記３０］
コンピュータに信号送信方法を実行させるコンピュータプログラムであって、
前記信号送信方法は、
パラメータ決定装置によって決定されたパラメータによって定義される前記ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成することと、
前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成することと
を含み、
前記パラメータ決定装置は、
学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習する第１学習手段と、
前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択する選択手段と、
前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習する第２学習手段と
を備えるコンピュータプログラム。
［付記３１］
コンピュータに信号送信方法を実行させるコンピュータプログラムであって、
前記信号送信方法は、
ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成することと、
前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成することと、
学習用信号及び教師用信号に基づいて、前記ニューラルネットワークが備える複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記ニューラルネットワークのパラメータの少なくとも一部として学習することと
を含むコンピュータプログラム。
［付記３２］
コンピュータに、複数の層を備えるニューラルネットワークのパラメータを決定するパラメータ決定方法を実行させるコンピュータプログラムが記録された記録媒体であって、
前記パラメータ決定方法は、
学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習することと、
前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択することと、
前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習することと
を含む記録媒体。
［付記３３］
コンピュータに信号送信方法を実行させるコンピュータプログラムが記録された記録媒体であって、
前記信号送信方法は、
パラメータ決定装置によって決定されたパラメータによって定義される前記ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成することと、
前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成することと
を含み、
前記パラメータ決定装置は、
学習用信号及び教師用信号に基づいて、前記複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重みを学習する第１学習手段と、
前記第１学習手段が学習した重みに基づいて、前記第ｊ－１番目の層に含まれる複数のノードと前記第ｊ番目の層に含まれる複数のノードとを夫々連結する複数の接続経路の中から、前記ニューラルネットワークにおいて有効な接続経路として用いられる有効経路を前記ｊ番目の層に含まれる各ノードにおいて少なくとも一つずつ、前記パラメータの一部として選択する選択手段と、
前記学習用信号、前記教師用信号及び前記有効経路に基づいて、前記ｊ－１番目の層と前記ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記パラメータの一部として学習する第２学習手段と
を備える記録媒体。
［付記３４］
コンピュータに信号送信方法を実行させるコンピュータプログラムが記録された記録媒体であって、
前記信号送信方法は、
ニューラルネットワークを用いて入力信号に対して歪み補償を実行することで、歪み補償信号を生成することと、
前記歪み補償信号を対象に所定動作を行うことで、信号受信装置に送信する送信信号を生成することと、
学習用信号及び教師用信号に基づいて、前記ニューラルネットワークが備える複数の層のうちの第ｊ－１（但し、ｊは、「２≦ｊ≦前記層の数」という条件を満たす整数）番目の層と前記第ｊ－１番目の層の出力が入力される第ｊ番目の層との間の重み及び前記ｊ番目の層で付加されるバイアスの少なくとも一方を、前記ニューラルネットワークのパラメータの少なくとも一部として学習することと
を含む記録媒体。

【0158】

本発明は、請求の範囲及び明細書全体から読み取るこのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴うパラメータ決定装置、パラメータ決定方法、信号送信方法、コンピュータプログラム及び記録媒体もまた本発明の技術思想に含まれる。

【0159】

法令で許容される限りにおいて、この出願は、２０１９年９月１８日に出願された日本出願特願２０１９－１６９７１５を基礎とする優先権を主張し、その開示の全てをここに取り込む。また、法令で許容される限りにおいて、本願明細書に記載された全ての公開公報及び論文をここに取り込む。

【符号の説明】

【0160】

１ 信号送信装置
１１ 歪み補償回路
１１２ ニューラルネットワーク
２ パラメータ決定装置
２１ ＣＰＵ
２１１ パラメータ決定部
２１１１ 第１学習部
２１１２ 接続経路選択部
２１１３ 第２学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】