知財求人 - 知財ポータルサイト「IP Force」
特開2023-4024計算手法決定システム、計算手法決定方法、及び、計算手法決定プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023004024
(43)【公開日】2023-01-17
(54)【発明の名称】計算手法決定システム、計算手法決定方法、及び、計算手法決定プログラム
(51)【国際特許分類】
G06N 3/04 20230101AFI20230110BHJP
【ＦＩ】
G06N3/04
【審査請求】有
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2021105479
(22)【出願日】2021-06-25
(11)【特許番号】
(45)【特許公報発行日】2022-12-12
(71)【出願人】
【識別番号】505277358
【氏名又は名称】株式会社モルフォ
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100161425
【弁理士】
【氏名又は名称】大森 鉄平
(72)【発明者】
【氏名】平賀 督基
(72)【発明者】
【氏名】三宅 博史
(57)【要約】
【課題】計算コストを適切に考慮してネットワーク構造の各層の計算手法を決定できるシステムを提供する。
【解決手段】計算手法決定システムは、層ごとに予め準備された少なくとも１つの計算手法に基づいて、ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する決定部と、複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、二層の間のデータのやり取りのために実行される適合層を決定する適合部と、計算手法の計算コストと適合層の計算コストとに基づいて、複数の組み合わせごとに総コストを算出する算出部と、組み合わせごとに算出された総コストに基づいて、複数の組み合わせの中から一つの組み合わせを選択する選択部とを備える。
【選択図】図４
【解決手段】計算手法決定システムは、層ごとに予め準備された少なくとも１つの計算手法に基づいて、ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する決定部と、複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、二層の間のデータのやり取りのために実行される適合層を決定する適合部と、計算手法の計算コストと適合層の計算コストとに基づいて、複数の組み合わせごとに総コストを算出する算出部と、組み合わせごとに算出された総コストに基づいて、複数の組み合わせの中から一つの組み合わせを選択する選択部とを備える。
【選択図】図４
【特許請求の範囲】
【請求項1】
ネットワーク構造及び重みデータを用いて入力データを処理するための計算が行われる実行環境において、前記ネットワーク構造の層ごとに計算手法を決定する計算手法決定システムであって、
前記層ごとに予め準備された少なくとも１つの計算手法に基づいて、前記ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する決定部と、
複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、前記所定の関係が満たされる場合には前記二層の間のデータのやり取りのために実行される適合層を決定する適合部と、
前記計算手法の計算コストと前記適合層の計算コストとに基づいて、前記複数の組み合わせごとに総コストを算出する算出部と、
前記組み合わせごとに算出された前記総コストに基づいて、前記複数の組み合わせの中から一つの前記組み合わせを選択する選択部と、
を備える計算手法決定システム。
前記層ごとに予め準備された少なくとも１つの計算手法に基づいて、前記ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する決定部と、
複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、前記所定の関係が満たされる場合には前記二層の間のデータのやり取りのために実行される適合層を決定する適合部と、
前記計算手法の計算コストと前記適合層の計算コストとに基づいて、前記複数の組み合わせごとに総コストを算出する算出部と、
前記組み合わせごとに算出された前記総コストに基づいて、前記複数の組み合わせの中から一つの前記組み合わせを選択する選択部と、
を備える計算手法決定システム。
【請求項2】
前記少なくとも１つの計算手法は、前記実行環境で実行可能であり、それぞれが異なる演算で同一機能を発揮する複数のアルゴリズムを含む、請求項１に記載の計算手法決定システム。
【請求項3】
前記少なくとも１つの計算手法は、前記実行環境で実行可能であり、それぞれが異なるデバイスを用いて同一機能を発揮する複数のアルゴリズムを含み、
前記適合層は、異種デバイス間のデータ転送の処理を実行する、
請求項１又は２に記載の計算手法決定システム。
前記適合層は、異種デバイス間のデータ転送の処理を実行する、
請求項１又は２に記載の計算手法決定システム。
【請求項4】
前記少なくとも１つの計算手法は、前記実行環境で実行可能であり、それぞれが異なるデータ型の前記データに対して同一の演算を行う複数のアルゴリズムを含み、
前記適合層は、データ型の変換の処理を実行する、
請求項１～３の何れか一項に記載の計算手法決定システム。
前記適合層は、データ型の変換の処理を実行する、
請求項１～３の何れか一項に記載の計算手法決定システム。
【請求項5】
前記少なくとも１つの計算手法は、前記実行環境で実行可能であり、それぞれが異なるチャネル位置の前記データに対して同一の演算を行う複数のアルゴリズムを含み、
前記適合層は、データレイアウトの変更の処理を実行する、
請求項１～４の何れか一項に記載の計算手法決定システム。
前記適合層は、データレイアウトの変更の処理を実行する、
請求項１～４の何れか一項に記載の計算手法決定システム。
【請求項6】
前記選択部は、前記複数の組み合わせの中から前記総コストが最小となる前記組み合わせを選択する、請求項１～５の何れか一項に記載の計算手法決定システム。
【請求項7】
前記ネットワーク構造が、分岐元の層から複数の層に分岐し、分岐元の層から派生した複数の出力が合流層で合流する分岐構造を有する場合、前記決定部は、分岐元の層の計算手法を拘束条件とし、前記分岐元の層の後続の層が前記拘束条件を満たすように拘束条件ごとに前記組み合わせを決定する、請求項１～６の何れか一項に記載の計算手法決定システム。
【請求項8】
前記ネットワーク構造の入力を行う入力層が複数となる場合、前記決定部は、複数の入力層の上流側に、複数の入力層それぞれに接続される補助入力層を生成し、前記補助入力層の計算手法を拘束条件とし、前記補助入力層の後続の層が前記拘束条件を満たすように拘束条件ごとに組み合わせを決定する、請求項１～７の何れか一項に記載の計算手法決定システム。
【請求項9】
前記ネットワーク構造の出力を行う出力層が複数となる場合、前記決定部は、複数の出力層の下流側に、前記複数の出力層それぞれに接続される補助出力層を生成し、前記複数の出力層よりも前段の層において分岐している層の計算手法を拘束条件とし、前記拘束条件を満たすように拘束条件ごとに前記組み合わせを決定する、請求項１～７の何れか一項に記載の計算手法決定システム。
【請求項10】
ネットワーク構造及び重みデータを用いて入力データを処理するための計算が行われる実行環境において、前記ネットワーク構造の層ごとに計算手法を決定する計算手法決定方法であって、
前記層ごとに予め準備された少なくとも１つの計算手法に基づいて、前記ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する決定ステップと、
複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、前記所定の関係が満たされる場合には前記二層の間のデータのやり取りのために実行される適合層を決定する適合ステップと、
前記計算手法の計算コストと前記適合層の計算コストとに基づいて、前記複数の組み合わせごとに総コストを算出する算出ステップと、
前記組み合わせごとに算出された前記総コストに基づいて、前記複数の組み合わせの中から一つの前記組み合わせを選択する選択ステップと、
を備える計算手法決定方法。
前記層ごとに予め準備された少なくとも１つの計算手法に基づいて、前記ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する決定ステップと、
複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、前記所定の関係が満たされる場合には前記二層の間のデータのやり取りのために実行される適合層を決定する適合ステップと、
前記計算手法の計算コストと前記適合層の計算コストとに基づいて、前記複数の組み合わせごとに総コストを算出する算出ステップと、
前記組み合わせごとに算出された前記総コストに基づいて、前記複数の組み合わせの中から一つの前記組み合わせを選択する選択ステップと、
を備える計算手法決定方法。
【請求項11】
ネットワーク構造及び重みデータを用いて入力データを処理するための計算が行われる実行環境において、前記ネットワーク構造の層ごとに計算手法を決定するようにコンピュータを動作させる計算手法決定プログラムであって、
前記コンピュータを、
前記層ごとに予め準備された少なくとも１つの計算手法に基づいて、前記ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する決定部、
複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、前記所定の関係が満たされる場合には前記二層の間のデータのやり取りのために実行される適合層を決定する適合部、
前記計算手法の計算コストと前記適合層の計算コストとに基づいて、前記複数の組み合わせごとに総コストを算出する算出部、及び、
前記組み合わせごとに算出された前記総コストに基づいて、前記複数の組み合わせの中から一つの前記組み合わせを選択する選択部として機能させる、計算手法決定プログラム。
前記コンピュータを、
前記層ごとに予め準備された少なくとも１つの計算手法に基づいて、前記ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する決定部、
複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、前記所定の関係が満たされる場合には前記二層の間のデータのやり取りのために実行される適合層を決定する適合部、
前記計算手法の計算コストと前記適合層の計算コストとに基づいて、前記複数の組み合わせごとに総コストを算出する算出部、及び、
前記組み合わせごとに算出された前記総コストに基づいて、前記複数の組み合わせの中から一つの前記組み合わせを選択する選択部として機能させる、計算手法決定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、計算手法決定システム、計算手法決定方法、及び、計算手法決定プログラムに関する。
【背景技術】
【0002】
特許文献１は、入力層、中間層、出力層という複数層で構成される階層型ネットワークを有する認識装置のためのシステムを開示する。認識装置は、学習済みのネットワーク構造及び重みデータを用いて認識を行う。システムは、予め準備された計算手法を実行環境にて実際に動作させて計算コストを取得し、計算コストが最小となる計算手法を層ごとに選択する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－１２８８３１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載のシステムにおいては、ネットワーク構造全体の計算コストは、各層の計算コストを加算して得ることができる。このため、各層において計算コストが最小となる計算手法が選択されれば、ネットワーク構造全体の計算コストも最小となる。ところで、データをやり取りする二層間の計算手法において、計算に用いるデバイス、環境、データフォーマットなどの違いがある場合には、二層間のデータのやり取りのための処理が必要となる。このため、各層において計算コストが最小となる計算手法を選択したとしても、ネットワーク構造全体の計算コストが最小となるとは限らない。本開示は、ネットワーク構造の各層の計算手法をより適切に決定することができる技術を提供する。
【課題を解決するための手段】
【0005】
本開示の一側面は、ネットワーク構造及び重みデータを用いて入力データを処理するための計算が行われる実行環境において、ネットワーク構造の層ごとに計算手法を決定する計算手法決定システムである。システムは、決定部、適合部、算出部及び選択部を備える。決定部は、層ごとに予め準備された少なくとも１つの計算手法に基づいて、ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する。適合部は、複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、二層の間のデータのやり取りのために実行される適合層を決定する。算出部は、計算手法の計算コストと適合層の計算コストとに基づいて、複数の組み合わせごとに総コストを算出する。選択部は、組み合わせごとに算出された総コストに基づいて、複数の組み合わせの中から一つの組み合わせを選択する。
【0006】
この計算手法決定システムにおいては、ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせが複数決定される。そして、複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かが判定され、二層の間のデータのやり取りのために実行される適合層が決定される。そして、計算手法の計算コストと適合層の計算コストとに基づいて、複数の組み合わせごとに総コストが算出される。組み合わせごとに算出された総コストに基づいて、複数の組み合わせの中から一つの組み合わせが選択される。このように、計算手法決定システムによれば、適合層の計算コストを考慮して各層の計算手法の組み合わせの総コストが算出される。このため、計算手法決定システムは、各層の計算コストを加算する場合と比べて、ネットワーク構造全体の計算コストをより正確に算出することができる。よって、計算手法決定システムは、ネットワーク構造の各層の計算手法をより適切に決定することができる。
【0007】
一実施形態においては、少なくとも１つの計算手法は、実行環境で実行可能であり、それぞれが異なる演算で同一機能を発揮する複数のアルゴリズムを含んでもよい。この場合、計算手法決定システムは、同一結果を出力するものの演算方法がそれぞれ異なる複数のアルゴリズムを実行環境にて実際に動作させ、得られた計算コストに基づいて最適なアルゴリズムを決定することができる。
【0008】
一実施形態においては、少なくとも１つの計算手法は、実行環境で実行可能であり、それぞれが異なるデバイスを用いて同一機能を発揮する複数のアルゴリズムを含み、適合層は、異種デバイス間のデータ転送の処理を実行してもよい。この場合、計算手法決定システムは、異種デバイス間のデータ転送の処理の計算コストを総コストに含めることができるので、ネットワーク構造の各層の計算手法をより適切に決定することができる。
【0009】
一実施形態においては、少なくとも１つの計算手法は、実行環境で実行可能であり、それぞれが異なるデータ型のデータに対して同一の演算を行う複数のアルゴリズムを含み、適合層は、データ型の変換の処理を実行してもよい。この場合、計算手法決定システムは、データ型の変換の処理の計算コストを総コストに含めることができるので、ネットワーク構造の各層の計算手法をより適切に決定することができる。
【0010】
一実施形態においては、少なくとも１つの計算手法は、実行環境で実行可能であり、それぞれが異なるチャネル位置のデータに対して同一の演算を行う複数のアルゴリズムを含み、適合層は、データレイアウトの変更の処理を実行してもよい。この場合、計算手法決定システムは、データレイアウトの変更の処理の計算コストを総コストに含めることができるので、ネットワーク構造の各層の計算手法をより適切に決定することができる。
【0011】
一実施形態においては、選択部は、複数の組み合わせの中から総コストが最小となる組み合わせを選択してもよい。この場合、計算手法決定システムは、ネットワーク構造の各層の計算手法を最も適切に決定することができる。
【0012】
一実施形態においては、ネットワーク構造が、分岐元の層から複数の層に分岐し、分岐元の層から派生した複数の出力が合流層で合流する分岐構造を有する場合、決定部は、分岐元の層の計算手法を拘束条件とし、分岐元の層の後続の層が拘束条件を満たすように拘束条件ごとに組み合わせを決定してもよい。分岐構造に含まれる各層において、例えば計算コストが最小となる計算手法が選択された場合、分岐元の層の計算手法が一方の分岐では第一手法となり、他方の分岐では第二手法となるような不整合が生じるおそれがある。このため、計算手法決定システムは、分岐元の層の後続の層については分岐元の層の計算手法を拘束条件として計算手法を決定し、拘束条件ごとに組み合わせを決定することにより、不整合が発生することを抑制できる。
【0013】
一実施形態においては、ネットワーク構造の入力を行う入力層が複数となる場合、決定部は、複数の入力層の上流側に、複数の入力層それぞれに接続される補助入力層を生成し、補助入力層の計算手法を拘束条件とし、補助入力層の後続の層が拘束条件を満たすように拘束条件ごとに組み合わせを決定してもよい。この場合、計算手法決定システムは、複数の入力層を有するネットワーク構造であっても、補助入力層を生成することにより、分岐構造と同一の論理を用いることができるので、不整合が発生することを抑制できる。
【0014】
一実施形態においては、ネットワーク構造の出力を行う出力層が複数となる場合、決定部は、複数の出力層の下流側に、複数の出力層それぞれに接続される補助出力層を生成し、複数の出力層よりも前段の層において分岐している層の計算手法を拘束条件とし、拘束条件を満たすように拘束条件ごとに組み合わせを決定してもよい。この場合、計算手法決定システムは、複数の出力層を有するネットワーク構造であっても、補助出力層を生成することにより、分岐構造と同一の論理を用いることができるので、不整合が発生することを抑制できる。
【0015】
本開示の他の側面は、ネットワーク構造及び重みデータを用いて入力データを処理するための計算が行われる実行環境において、ネットワーク構造の層ごとに計算手法を決定する計算手法決定方法である。方法は、決定ステップ、適合ステップ、算出ステップ及び選択ステップを備える。決定ステップでは、層ごとに予め準備された少なくとも１つの計算手法に基づいて、ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する。適合ステップでは、複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、二層の間のデータのやり取りのために実行される適合層を決定する。算出ステップでは、計算手法の計算コストと適合層の計算コストとに基づいて、複数の組み合わせごとに総コストを算出する。選択ステップでは、組み合わせごとに算出された総コストに基づいて、複数の組み合わせの中から一つの組み合わせを選択する。
【0016】
本開示のさらに他の側面は、ネットワーク構造及び重みデータを用いて入力データを処理するための計算が行われる実行環境において、ネットワーク構造の層ごとに計算手法を決定するようにコンピュータを動作させる計算手法決定プログラムである。プログラムは、コンピュータを、決定部、適合部、算出部及び選択部として機能させる。決定部は、層ごとに予め準備された少なくとも１つの計算手法に基づいて、ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する。適合部は、複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、二層の間のデータのやり取りのために実行される適合層を決定する。算出部は、計算手法の計算コストと適合層の計算コストとに基づいて、複数の組み合わせごとに総コストを算出する。選択部は、組み合わせごとに算出された総コストに基づいて、複数の組み合わせの中から一つの組み合わせを選択する選択部として機能させる。
【0017】
この計算手法決定方法及び計算手法決定プログラムは、上述した計算手法決定システムと同一の効果を奏する。
【発明の効果】
【0018】
本開示の種々の側面によれば、計算コストを適切に考慮してネットワーク構造の各層の計算手法を決定することができる。
【図面の簡単な説明】
【0019】
【図1】認識部を説明する図である。
【図2】認識部におけるニューラルネットワークを説明する図である。
【図4】第一実施形態に係る計算手法決定システムの機能ブロック図である。
【図6】（Ａ）はネットワーク構造の二層を説明する図である。（Ｂ）は（Ａ）の二層の間に適合層が挿入された例を説明する図である。
【図7】計算手法決定システムの動作を示すフローチャートである。
【図8】（Ａ）は直列に接続されたネットワーク構造、（Ｂ）は分岐されたネットワーク構造、（Ｃ）は複数分岐されたネットワーク構造、（Ｄ）は複数の入出力を有するネットワーク構造である。
【図9】第二実施形態に係る計算手法決定システムの機能ブロック図である。
【発明を実施するための形態】
【0020】
以下、添付図面を参照して実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明は繰り返さない。
【0021】
［第一実施形態］
（計算手法決定システムの概要）
実施形態に係る計算手法決定システム１００（図４参照）は、階層型ネットワークを有する処理装置の最適な計算手法を決定するシステムである。階層型ネットワークとは、階層構造を有するネットワークであり、一例としてニューラルネットワークである。ニューラルネットワークは、ネットワーク構造及び重みデータなどを用いて定義される。ニューラルネットワークの詳細は後述される。
（計算手法決定システムの概要）
実施形態に係る計算手法決定システム１００（図４参照）は、階層型ネットワークを有する処理装置の最適な計算手法を決定するシステムである。階層型ネットワークとは、階層構造を有するネットワークであり、一例としてニューラルネットワークである。ニューラルネットワークは、ネットワーク構造及び重みデータなどを用いて定義される。ニューラルネットワークの詳細は後述される。
【0022】
処理装置は、種々のプログラムを実行可能な実行環境を有する。実行環境では、ネットワーク構造及び重みデータを用いて入力データを処理するための計算が実行される。入力データとは、階層型ネットワークの目的を達成するために処理されるデータである。例えば、階層型ネットワークの目的が認識である場合には、入力データは認識対象データとなる。処理装置は、階層型ネットワークを有する装置であれば特に限定されない。処理装置は、一例として、画像の内容をラベリングする端末装置であったり、画像内の物体位置（人の位置など）を特定する監視カメラであったり、一般的なパーソナルコンピュータであってもよい。以下では、処理装置の一例として、ニューラルネットワークを用いて認識対象データの内容を認識する認識部１１（図１，図４参照）を有する端末装置を説明する。認識対象データとは、コンピュータに認識させる対象となるデータであり、例えば、画像データ、音声データ、テキストデータなどである。
【0023】
計算手法決定システム１００により決定される認識部１１の計算手法とは、入力に対して演算を行い、結果を出力する手法である。計算手法はルーチンともいう。計算手法決定システム１００は、入力に対して所定の精度で同一の結果を出力することを前提として、実行可能な複数種類のアルゴリズムの中から最適なアルゴリズムを決定したり、リソースの種類、使用量又は使用形態が異なる複数の同一アルゴリズムの中から最適なアルゴリズムを決定したりする。リソースは、ハードウェアリソースやソフトウェアリソースが含まれる。ハードウェアリソースは、例えば演算するためのＣＰＵ（Central Processing Unit）、ＧＰＵ（GraphicsProcessing Unit）、ＤＳＰ（Digital Signal Processor）、キャッシュなどである。ソフトウェアリソースは、例えばライブラリである。アルゴリズムが使用するリソースは、例えばアルゴリズムのパラメータで定義される。
【0024】
計算手法決定システム１００は、計算コストを考慮して認識部１１の計算手法を決定する。計算コストとは、一例として、計算に要する時間（処理時間）で評価される。この場合、計算コストは、計算に要する時間が長いほど大きくなる。計算コストは、リソースの使用量で評価されてもよい。この場合、計算コストは、リソースの使用量が大きくなるほど大きくなる。計算コストは、計算に要する時間及びリソースの使用量の２つを用いて評価されてもよい。
【0025】
計算手法決定システム１００は、認識部１１の実行環境で実行可能な計算手法の中から計算コストが最小となる計算手法を決定する。計算手法決定システム１００は、実行可能な計算手法の計算コストの平均よりも小さい計算コストとなる計算手法を選択するようにしてもよい。このように、計算手法決定システム１００は、認識部１１の計算速度を最適化したり、認識部１１のリソース使用量を最適化したりする。
【0026】
計算手法決定システム１００は、計算手法を決定する際に、認識部１１の実行環境で実行可能な計算手法を実行し、実行結果に基づいて計算手法を評価し、最適な計算手法を決定する。
【0027】
具体的な一例として、計算手法決定システム１００は、認識部１１の実行環境において、ネットワーク構造の層ごとに予め準備された少なくとも１つの計算手法を用いて、所定データに対するネットワーク構造の各層の計算を実行することと、ネットワーク構造の各層の計算結果に基づいて、ネットワーク構造の層ごとに少なくとも１つの計算手法の計算コストを取得することとを実行可能に構成される。
【0028】
具体的な他の例として、計算手法決定システム１００は、層ごとに予め準備された少なくとも１つの計算手法に基づいて、ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定することと、複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、二層の間のデータのやり取りのために実行される適合層を決定することと、計算手法の計算コストと適合層の計算コストとに基づいて、複数の組み合わせごとに総コストを算出することと、組み合わせごとに算出された総コストに基づいて複数の組み合わせの中から一つの組み合わせを選択することと、を実行可能に構成される。
【0029】
（認識部の詳細）
最初に、計算手法決定システムが計算手法を決定する対象となる認識部１１を説明する。以下では、一例として、認識対象データが画像データであり、認識する対象が画像の内容（人、動物、物体、風景、室内など）である場合を説明する。
最初に、計算手法決定システムが計算手法を決定する対象となる認識部１１を説明する。以下では、一例として、認識対象データが画像データであり、認識する対象が画像の内容（人、動物、物体、風景、室内など）である場合を説明する。
【0030】
図１は、認識部１１を説明する図である。図１に示されるように、認識部１１は、端末装置１０に備わる。認識部１１は、画像データである認識対象データＧ１を入力し、認識結果を出力する。図１の（Ａ）に示されるように、認識対象データＧ１は、犬が描画された画像の画像データである。認識部１１は、画像データ（より詳細には画素値）を入力し、学習結果（例えばネットワーク構造及び重みデータ）を用いて画像の内容を表すラベルを出力する。ラベルとは、認識対象データの内容を分類するために用いるものであり、システム利用者によって予め設定されたカテゴリを識別する情報である。図１の（Ａ）の例では、認識部１１は「犬」のラベルを出力する。ラベルは、認識部１１によって認識対象データＧ１に付与される。付与とは、関連付けされることを意味し、例えば関連テーブルなどで認識対象データＧ１とラベルとの関係性のみが記録されてもよいし、認識対象データＧ１そのものに組み込まれてもよい。認識部１１は、画像データを入力してラベルを付与することができるため、画像データを自動的に分類したり、Ｗｅｂ上で所望の画像を検索したりすることができる。
【0031】
システム利用者によって予め設定されたラベルが複数ある場合、その中から最も確からしいラベルを認識対象データに付与するシングルラベル処理と、ある一定の確からしさとなったラベルの全てを認識対象データに付与するマルチラベル処理が存在する。図１の（Ｂ）に示されるように、認識対象データＧ２は、人及び花が描画された画像の画像データである。認識部１１がシングルラベル処理を行う場合、認識部１１によって認識対象データＧ２に「人」のラベルが付与される。認識部１１がマルチラベル処理を行う場合、認識部１１によって認識対象データＧ２に「人」のラベルと「花」のラベルの２つが付与される。
【0032】
図２は、認識部１１におけるニューラルネットワークを説明する図である。認識部１１は、ニューラルネットワークを用いて画像データに対応するラベルを認識する。ニューラルネットワークとは、脳神経系をモデルにした情報処理システムである。図２に示すように、認識部１１のニューラルネットワークは、いわゆる階層型ニューラルネットワークであり、円で示す多数の人工ニューロンが階層を形成しつつ連結されている。階層型ニューラルネットワークは、入力用の人工ニューロン、処理用の人工ニューロン及び出力用の人工ニューロンを備える。
【0033】
入力用の人工ニューロンは、認識対象データを取得して処理用の人工ニューロンへ分配する。以下では、ニューラルネットワークでやり取りされる信号そのものをスコアという。スコアは数値である。入力用の人工ニューロンは、並列配置されることで入力層１１１を形成する。
【0034】
処理用の人工ニューロンは、入力用の人工ニューロンに接続され、人工ニューロンの機能にしたがって入力を処理し、出力を他のニューロンへ伝える。処理用の人工ニューロンは、並列配置されることで中間層１１２を形成する。中間層１１２は、複数の層であってもよい。なお、中間層１１２を備えた３階層以上のニューラルネットワークをディープニューラルネットワークという。
【0035】
出力用の人工ニューロンは、外部へ認識スコアを出力する。出力用の人工ニューロンは、ラベルの数と同じ数だけ用意される。つまり、ニューラルネットワークでは、ラベルごとに認識スコアを出力する。図２の例では、「犬」「人」「花」の３つのラベルに合わせて３つの人工ニューロンが用意されている。出力用の人工ニューロンは、「犬」のラベルに対応する認識スコアＢ１、「人」のラベルに対応する認識スコアＢ２、「花」のラベルに対応する認識スコアＢ３を出力する。認識スコアは、認識結果を表すスコアであり、正評価を「１」、負評価を「０」として学習した場合には、ラベルの認識スコアが高いほど画像の内容を示すラベルである確からしさが高くなる。出力用の人工ニューロンは、並列配置されることで出力層１１３を形成する。
【0036】
認識部１１は、出力層１１３によって出力された認識スコアを用いて、付与ラベルを決定する。例えば、認識部１１は、所定値以上の認識スコアに対応するラベルを認識対象データに付与する。これにより、認識対象データにその内容を示すラベルが自動的に付与される。なお、シングルラベル処理の場合には、認識部１１は、最も高い認識スコアに対応するラベルを認識対象データに付与する。
【0037】
図３は、図２に示す人工ニューロンを説明する図である。図３の（Ａ）に示す人工ニューロンは、ｘ１，ｘ２，ｘ３を入力し、それぞれに対応する重み係数ｗ1，ｗ２，ｗ３をそれぞれ積算する。人工ニューロンは、積算値（ｘ１・ｗ1，ｘ２・ｗ２，ｘ３・ｗ３）とバイアス値ｂとの総和を算出する。この総和を活性化関数に代入して、人工ニューロンの出力とする。
【0038】
より詳細には、対象の人工ニューロンの出力は、以下の数式（１）となる。
ここで、ｇは活性化関数であり、例えばシグモイド関数である。
【数1】
ここで、ｇは活性化関数であり、例えばシグモイド関数である。
【0039】
図３の（Ｂ）は、Ｎ階層（Ｎ＝３）の人工ニューロンを説明する図である。図３の（Ｂ）に示されるように、三階層の場合には、二階層に位置する人工ニューロンの出力ｈ１
（２）、ｈ２
（２）、ｈ３
（２）はそれぞれ以下の数式（３）～（５）となる。ここで、ｎは対象階層の人工ニューロンの数、w１ｊ
（１）は二階層一番目の人工ニューロンにおける一階層ｊ番目の出力に対応する重み係数、ｂ１
（１）は一階層のバイアス値である。
ｗ２ｊ （１）は二階層二番目の人工ニューロンにおける一階層ｊ番目の出力に対応する重み係数、ｗ３ｊ （１）は二階層三番目の人工ニューロンにおける一階層ｊ番目の出力に対応する重み係数、ｂ２ （１）は一階層二番目のバイアス値、ｂ３ （１）は一階層三番目のバイアス値である。これにより、三階層の人工ニューロンの出力ｈ１ （３）は以下の数式（６）で表される。
なお、バイアス値ｂは必ずしも必要ではなく、前段の人工ニューロンの出力と重み係数との積算値だけで出力を演算してもよい。
【数2】
ｗ２ｊ （１）は二階層二番目の人工ニューロンにおける一階層ｊ番目の出力に対応する重み係数、ｗ３ｊ （１）は二階層三番目の人工ニューロンにおける一階層ｊ番目の出力に対応する重み係数、ｂ２ （１）は一階層二番目のバイアス値、ｂ３ （１）は一階層三番目のバイアス値である。これにより、三階層の人工ニューロンの出力ｈ１ （３）は以下の数式（６）で表される。
【数3】
なお、バイアス値ｂは必ずしも必要ではなく、前段の人工ニューロンの出力と重み係数との積算値だけで出力を演算してもよい。
【0040】
人工ニューロンは上記に限定されるものではなく、一般化したものでもよい。ｉ番目の中間層１１２の機能に関する一般式は以下の数式（７）となる。
ここで、ｘ(i)は中間層１１２への入力ベクトル、ｗ(i)は中間層１１２の重みパラメータベクトル、ｂ(i)はバイアスベクトル、v(i)は中間層１１２の出力ベクトルである。画像認識で一般的に使用される中間層１１２の一例として、全結合層及び畳み込み層がある。図３で表現されている全結合層の出力は、一般的には以下の数式（８）となる。
ここで、ｘｐ (i)はｉ番目の中間層１１２の入力の第ｐ成分、vｑ (i)は中間層１１２の出力の第ｑ成分、ｗｐ，ｑ (i)は中間層１１２の重み係数のｐ，ｑ成分である。また、畳み込み層の出力は以下の数式（９）となる。
ここで、ｘｐ，（r，s） (i)はｉ番目の中間層１１２の入力の第ｐチャンネルの（r，s）成分、vｑ，（r，s） (i)は中間層１１２の出力の第ｑチャンネルの（r，s）成分、ｗｐ，ｑ，（r’，s’） (i)は中間層１１２の畳み込みフィルタに関する重み係数である。r’，s’は、０から畳み込みフィルタの（幅－１）、(高さ－１)の値まで変化する。以上のような中間層１１２及び活性化関数ｇ(i)の計算を繰り返すことにより、出力層１１３直前の中間層の出力が以下の数式１０となる。
【数4】
ここで、ｘ(i)は中間層１１２への入力ベクトル、ｗ(i)は中間層１１２の重みパラメータベクトル、ｂ(i)はバイアスベクトル、v(i)は中間層１１２の出力ベクトルである。画像認識で一般的に使用される中間層１１２の一例として、全結合層及び畳み込み層がある。図３で表現されている全結合層の出力は、一般的には以下の数式（８）となる。
【数5】
ここで、ｘｐ (i)はｉ番目の中間層１１２の入力の第ｐ成分、vｑ (i)は中間層１１２の出力の第ｑ成分、ｗｐ，ｑ (i)は中間層１１２の重み係数のｐ，ｑ成分である。また、畳み込み層の出力は以下の数式（９）となる。
【数6】
ここで、ｘｐ，（r，s） (i)はｉ番目の中間層１１２の入力の第ｐチャンネルの（r，s）成分、vｑ，（r，s） (i)は中間層１１２の出力の第ｑチャンネルの（r，s）成分、ｗｐ，ｑ，（r’，s’） (i)は中間層１１２の畳み込みフィルタに関する重み係数である。r’，s’は、０から畳み込みフィルタの（幅－１）、(高さ－１)の値まで変化する。以上のような中間層１１２及び活性化関数ｇ(i)の計算を繰り返すことにより、出力層１１３直前の中間層の出力が以下の数式１０となる。
【数7】
【0041】
上述したネットワーク構造、重み係数（重みデータ）及びバイアス値は、後述する学習装置３０で学習され、学習結果として認識部１１へ配布されたものである。つまり、学習装置３０は、認識対象データの特徴量とその内容を示すラベルとを対応させるためのネットワーク構造、重み係数及びバイアス値を学習する装置である。なお、認識部１１がバイアス値ｂを用いない場合には、学習装置３０は、ネットワーク構造及び重み係数のみを学習する。
【0042】
（計算手法決定システムの構成）
図４は、実施形態に係る計算手法決定システム１００の機能ブロック図である。図４に示されるように、計算手法決定システム１００は、端末装置１０及び提供装置４０を含み、学習装置３０に接続される。学習装置３０は、画像データを収集して学習する。学習装置３０の学習結果は、提供装置４０を介して端末装置１０へ提供される。
図４は、実施形態に係る計算手法決定システム１００の機能ブロック図である。図４に示されるように、計算手法決定システム１００は、端末装置１０及び提供装置４０を含み、学習装置３０に接続される。学習装置３０は、画像データを収集して学習する。学習装置３０の学習結果は、提供装置４０を介して端末装置１０へ提供される。
【0043】
（ハードウェア構成）
最初に、端末装置１０、学習装置３０及び提供装置４０のハードウェアについて説明する。図５は、図４に示す装置のハードウェア構成を示すブロック図である。図５に示すように、端末装置１０は、物理的には、ＣＰＵ１０１、ＲＡＭ（Random Access Memory）１０２及びＲＯＭ（Read Only Memory）１０３などの主記憶装置、タッチパネルやキーボードなどの入力デバイス１０４、ディスプレイなどの出力デバイス１０５、ハードディスクなどの補助記憶装置１０６などを含む通常のコンピュータシステムとして構成される。端末装置１０の各機能は、ＣＰＵ１０１が、ＲＡＭ１０２、ＲＯＭ１０３などのハードウェア上に所定のコンピュータソフトウェアを読み込ませ、ＣＰＵ１０１の制御の元で入力デバイス１０４及び出力デバイス１０５を動作させるとともに、主記憶装置や補助記憶装置１０６におけるデータの読み出し及び書き込みを行うことで実現される。なお、端末装置１０は、上記以外のハードウェアを備えてもよい。例えば、端末装置１０は、ＧＰＵ、ＦＰＧＡ（Field-Programmable Gate Array）、ＤＳＰなどを備えてもよい。
最初に、端末装置１０、学習装置３０及び提供装置４０のハードウェアについて説明する。図５は、図４に示す装置のハードウェア構成を示すブロック図である。図５に示すように、端末装置１０は、物理的には、ＣＰＵ１０１、ＲＡＭ（Random Access Memory）１０２及びＲＯＭ（Read Only Memory）１０３などの主記憶装置、タッチパネルやキーボードなどの入力デバイス１０４、ディスプレイなどの出力デバイス１０５、ハードディスクなどの補助記憶装置１０６などを含む通常のコンピュータシステムとして構成される。端末装置１０の各機能は、ＣＰＵ１０１が、ＲＡＭ１０２、ＲＯＭ１０３などのハードウェア上に所定のコンピュータソフトウェアを読み込ませ、ＣＰＵ１０１の制御の元で入力デバイス１０４及び出力デバイス１０５を動作させるとともに、主記憶装置や補助記憶装置１０６におけるデータの読み出し及び書き込みを行うことで実現される。なお、端末装置１０は、上記以外のハードウェアを備えてもよい。例えば、端末装置１０は、ＧＰＵ、ＦＰＧＡ（Field-Programmable Gate Array）、ＤＳＰなどを備えてもよい。
【0044】
学習装置３０及び提供装置４０のハードウェアも端末装置１０と同一のハードウェアで構成可能である。すなわち、学習装置３０は、物理的には、ＣＰＵ３０１、ＲＡＭ３０２及びＲＯＭ３０３などの主記憶装置、入力デバイス３０４、出力デバイス３０５、補助記憶装置３０６などを含む通常のコンピュータシステムとして構成される。提供装置４０は、物理的には、ＣＰＵ４０１、ＲＡＭ４０２及びＲＯＭ４０３などの主記憶装置、入力デバイス４０４、出力デバイス４０５、補助記憶装置４０６などを含む通常のコンピュータシステムとして構成される。提供装置４０の各機能は、ＣＰＵ４０１が、ＲＡＭ４０２、ＲＯＭ４０３などのハードウェア上に所定のコンピュータソフトウェアを読み込ませ、ＣＰＵ４０１の制御の元で入力デバイス４０４及び出力デバイス４０５を動作させるとともに、主記憶装置や補助記憶装置４０６におけるデータの読み出し及び書き込みを行うことで実現される。なお、学習装置３０及び提供装置４０は、ハードウェアとして１つの筐体に収容されている必要はなく、いくつかの装置に分離していてもよい。
【0045】
（機能的構成）
次に、学習装置３０の機能的構成について説明する。学習装置３０は、画像データを収集して学習する。学習装置３０は、画像データを格納したデータベース２１、画像データを生成するカメラ２２、画像データをダウンロード可能なＷｅｂサイト２３などに接続されており、学習の入力データとなる画像データを取得することができる。もちろん、学習装置３０は、外部記憶媒体を接続して画像データを取得してもよいし、通信を介して画像データを受信してもよく、画像データ取得の態様には限定されない。
次に、学習装置３０の機能的構成について説明する。学習装置３０は、画像データを収集して学習する。学習装置３０は、画像データを格納したデータベース２１、画像データを生成するカメラ２２、画像データをダウンロード可能なＷｅｂサイト２３などに接続されており、学習の入力データとなる画像データを取得することができる。もちろん、学習装置３０は、外部記憶媒体を接続して画像データを取得してもよいし、通信を介して画像データを受信してもよく、画像データ取得の態様には限定されない。
【0046】
学習装置３０は、ニューラルネットワークを機械学習により構築するプラットフォームを有する。プラットフォームは、学習モデルを学習データに基づいて機械学習する動作環境である。学習モデルは、例えばネットワーク構造及び重みデータなどであり、学習データは、例えば画像データである。プラットフォームは、機械学習を行うソフトウェア群であるフレームワークを備える。プラットフォーム及びフレームワークは、使用言語の違いや設計思想の違いなどによって、学習結果出力に複数のフォーマットが存在する。
【0047】
提供装置４０は、学習装置３０から取得した、フォーマットの異なる学習結果を、統一フォーマットに変換し、端末装置１０へ提供する。これにより、端末装置１０は、あらゆるプラットフォームで学習された学習結果を利用することができる。提供装置４０は、変換部４１を備える。変換部４１は、ネットワーク構造及び重みデータを学習装置３０から取得し、統一フォーマットの学習結果Ｍ１に変換する。
【0048】
端末装置１０は、認識部１１の動作が効率的となるように、学習結果Ｍ１のネットワーク構造を事前に動作させ、計算コストが最小となる計算手法を決定しておく。これにより、端末装置１０は、学習結果Ｍ１を利用した認識部１１の動作を効率化させることができる。このために、端末装置１０は、事前計算部１２、候補決定部１３、組み合わせ決定部１４（決定部の一例）、適合部１５、コスト取得部１６、算出部１７及び選択部１８を備える。
【0049】
事前計算部１２は、学習結果Ｍ１のネットワーク構造を端末装置１０の実行環境で動作させるように構成される。事前計算部１２は、提供装置４０から学習結果Ｍ１を取得する。そして、学習結果Ｍ１に含まれる層の情報を候補決定部１３へ出力する。
【0050】
候補決定部１３は、実行環境に基づいて、ネットワーク構造の各層に対して少なくとも１つの計算手法を準備する。一例として、候補決定部１３は、端末装置１０の実行環境のハードウェア構成プロファイル、ソフトウェアライブラリなどを参照しつつ、学習結果Ｍ１に含まれる層の情報に基づいて、各層に対して実行可能な計算手法ＴＤ１を決定する。これにより、事前計算部１２の実行前に、層ごとに計算手法が予め準備される。
【0051】
計算手法ＴＤ１は、例えば、実行環境で実行可能であり、それぞれが異なる演算で同一機能を発揮する複数のアルゴリズムを含む。計算手法ＴＤ１は、それぞれが異なる演算で同一機能を発揮するアルゴリズムであれば、同一リソースを用いても異なるリソースを用いてもよい。計算手法ＴＤ１の一例としては、ループの階層の順番が異なるアルゴリズムや、ＣＰＵ拡張機能を利用したアルゴリズムとＣＰＵ拡張機能を利用しないアルゴリズムなどである。
【0052】
計算手法ＴＤ１は、それぞれが異なるデバイスを用いて同一機能を発揮する複数のアルゴリズムを含んでもよい。例えば、計算手法ＴＤ１は、演算に用いられるデバイス（プロセッサ）がＣＰＵであるアルゴリズム、ＧＰＵであるアルゴリズム、及びＤＳＰであるアルゴリズムを含む。計算手法ＴＤ１は、実行環境で実行可能であり、それぞれが異なるデータ型のデータに対して同一の演算を行う複数のアルゴリズムを含んでもよい。データ型は、一例として浮動小数点のビット数である。例えば、計算手法ＴＤ１は、処理データの浮動小数点が８ビット、３２ビット、及び６４ビットでそれぞれ表現されるアルゴリズムを含む。計算手法ＴＤ１は、所定のビット数で量子化されたデータを処理するアルゴリズムを含んでもよい。また、計算手法ＴＤ１は、実行環境で実行可能であり、それぞれが異なるチャネル位置のデータに対して同一の演算を行う複数のアルゴリズムを含んでもよい。チャネル位置は、画像データにおけるＲＧＢチャネルのデータ位置のことである。チャネルファーストの場合には画像データの次元の並びはチャネル、高さ、幅の順で表現され、チャネルラストの場合には画像データの次元の並びは高さ、幅、チャネルの順で表現される。つまり、計算手法ＴＤ１は、チャネルファーストデータを扱うアルゴリズムと、チャネルラストデータを扱うアルゴリズムとを含んでもよい。
【0053】
組み合わせ決定部１４は、計算手法ＴＤ１に基づいて、ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する。例えば、第一層が第一計算手法ＭＡ１、第二層が第二計算手法ＭＡ２、第三層が第三計算手法ＭＡ３である場合、計算手法の組み合わせは、（ＭＡ１，ＭＡ２，ＭＡ３）となる。少なくとも１つの層の計算手法が複数存在する場合には、計算手法の組み合わせも複数存在することになる。
【0054】
端末装置１０の実行環境においては、ネットワーク構造に含まれる二層間が所定の関係を満たすとき、当該二層の間のデータのやり取りのための処理が自動で実行される。図６の（Ａ）はネットワーク構造の二層を説明する図である。図６に示されるように、第一層Ｌ１と第二層Ｌ２とは互いに接続され、第一層Ｌ１の出力が第二層Ｌ２の入力となる。端末装置１０は、第一層Ｌ１の計算手法と第二層Ｌ２の計算手法とが所定の関係を満たす場合に、適合層を自動挿入する。
【0055】
図６の（Ｂ）は図６の（Ａ）の二層の間に適合層が挿入された例を説明する図である。図６の（Ｂ）に示されるように、第一層Ｌ１と第二層Ｌ２との間に適合層ＡＬ１が挿入されている。例えば、データを受け取る後段の第二層Ｌ２の計算手法が、前段の第一層Ｌ１の計算手法で用いられたデバイスとは異なるデバイスを用いる場合、異種デバイス間のデータ転送の処理が必要になる。より具体的な一例としては、第一層Ｌ１がＧＰＵでデータを処理した場合であって、第二層Ｌ２がＣＰＵでデータを処理する場合、デバイス間でデータ転送を行う適合層ＡＬ１が挿入される。
【0056】
あるいは、データを受け取る後段の第二層Ｌ２の計算手法が、前段の第一層Ｌ１の計算手法で用いられたデータ型とは異なるデータ型のデータを用いる場合、データ型の変換の処理が必要になる。より具体的な一例としては、第一層Ｌ１の計算手法として浮動小数点のビット数が６４ビットで表現されたデータが処理され、第二層Ｌ２の計算手法として浮動小数点のビット数が３２ビットで表現されたデータを処理する場合、６４ビットから３２ビットへのデータ型の変換を行う適合層ＡＬ１が挿入される。
【0057】
あるいは、データを受け取る後段の第二層Ｌ２の計算手法が、前段の第一層Ｌ１の計算手法で用いられたチャネル位置とは異なるチャネル位置のデータを用いる場合、データレイアウトの変更の処理が必要になる。例えば、第一層Ｌ１の計算手法としてチャネルファーストデータが処理され、第二層Ｌ２の計算手法としてチャネルラストデータを処理する場合、チャネルラストデータからチャネルファーストデータへの変換、つまり、データレイアウトの変更を行う適合層ＡＬ１が挿入される。なお、上記の例示は、重複して発生することもある。例えば、状況に応じて、異種デバイス間のデータ転送の処理だけでなく、データレイアウトの変更の処理も同時に実行され得る。
【0058】
このように、ネットワーク構造に含まれる二層間が所定の関係を満たすとき、当該二層の間のデータのやり取りのための処理が自動で実行される。計算手法決定システム１００は、自動で実行される適合層ＡＬ１の計算コストを考慮するために、適合部１５を備える。適合部１５は、組み合わせ決定部１４によって決定された計算手法の組み合わせごとに、適合層ＡＬ１が自動挿入される箇所及び適合層ＡＬ１の処理内容を判定する。例えば、適合部１５は、組み合わせ決定部１４によって決定された複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定する。所定の関係とは、二層の間のデータのやり取りのために処理が必要となる上述した関係である。
【0059】
そして、適合部１５は、所定の関係が満たされる場合には二層の間のデータのやり取りのために実行される適合層を決定する。適合層を決定とは、二層間で実施される処理を決定することである。適合部１５は、使用されるデバイスが異なる関係である場合にはデバイス間のデータ転送を行う適合層ＡＬ１を決定する。適合部１５は、データ型に違いが生じる関係である場合にはデータ型の変換を行う適合層ＡＬ１を決定する。適合部１５は、チャネル位置に違いが生じる関係である場合にはデータレイアウトの変更を行う適合層ＡＬ１を決定する。
【0060】
事前計算部１２は、ネットワーク構造の層ごとに予め準備された計算手法ＴＤ１を用いて、所定データに対するネットワーク構造の各層の計算を実行する。所定データは、ニューラルネットワークで処理可能な予め定められたデータであれば何でもよく、事前に用意されたテストデータであってもよい。事前計算部１２は、計算手法ＴＤ１を実行する。例えば、畳み込み層に３つの計算手法が準備されている場合、事前計算部１２は、畳み込み層の計算をそれぞれの計算手法で１回または複数回実行する。
【0061】
事前計算部１２は、上述した適合層ＡＬ１についても計算コストを事前に取得すべく、処理を行う。事前計算部１２は、計算手法ＴＤ１を参照して、挿入される適合層ＡＬ１を判定し、適合層ＡＬ１に関する処理を実行する。あるいは、事前計算部１２は、適合部１５から適合層ＡＬ１に係る情報を取得し、適合層ＡＬ１に関する処理を実行してもよい。
【0062】
コスト取得部１６は、事前計算部１２の計算結果に基づいて、ネットワーク構造の層ごとに少なくとも１つの計算手法の計算コストを取得する。ネットワーク構造の層ごとに計算コストを取得するとは、上述したニューラルネットワークの層ごとのそれぞれ計算コストを取得することである。例えば、中間層１１２それぞれの計算コストが取得される。具体的な一例として、コスト取得部１６は、第一の畳み込み層に対して準備された複数のアルゴリズムぞれぞれの計算コスト、第一の全結合層に対して準備された複数のアルゴリズムそれぞれの計算コスト、第二の畳み込み層に対して準備された１のアルゴリズムの計算コストなど、層ごとに準備された計算手法で、実際に処理を実行した結果から計算コストを取得する。さらに、コスト取得部１６は、適合層ＡＬ１の計算コストも取得する。コスト取得部１６は、層（適合層ＡＬ１を含む）と計算手法と計算コストとを対応させた結果リストＴＤ２を生成する。一例として、コスト取得部１６は、層と計算手法と演算速度とを関連付けた結果リストＴＤ２を生成する。以下では、結果リストＴＤ２をプロファイルともいう。
【0063】
算出部１７は、計算手法の計算コストと適合層の計算コストとに基づいて、複数の組み合わせごとに総コストを算出する。算出部１７は、組み合わせ決定部１４及び適合部１５から、複数の組み合わせと、組み合わせごとの適合層ＡＬ１に関する情報を取得する。適合層ＡＬ１に関する情報とは、ネットワーク構造における挿入位置及び処理内容である。算出部１７は、組み合わせ決定部１４及び適合部１５から取得された複数の組み合わせ及び適合層ＡＬ１に対応する計算コストを、結果リストＴＤ２を参照して取得する。そして、複数の組み合わせごとに総コストを算出する。算出部１７は、適合層ＡＬ１を含むネットワーク構造全体において実行される層の計算コストの総和を算出し、総コストとする。
【0064】
選択部１８は、組み合わせごとに算出された総コストに基づいて、複数の組み合わせの中から一つの組み合わせを選択する。例えば、選択部１８は、複数の組み合わせの中から総コストが最小となる組み合わせを選択する。選択部１８は、選択された組み合わせに係る計算手法を学習結果Ｍ１に付与した、学習結果Ｍ２を生成する。
【0065】
認識部１１は、学習結果Ｍ２を参照し、選択部１８によりネットワーク構造の各層に対応付けられた計算手法を用いて、入力データに対するネットワーク構造の各層の計算を実行環境において実行する。これにより、認識処理効率が向上する。
【0066】
【0067】
図７に示されるように、端末装置１０の組み合わせ決定部１４は、組み合わせ決定処理（Ｓ１０：決定ステップの一例）として、計算手法ＴＤ１からネットワーク構造の各層の計算手法を取得する。そして、組み合わせ決定部１４は、複数の計算手法の組み合わせを決定する。続いて、端末装置１０の適合部１５は、判定処理（Ｓ１２：適合ステップの一例）として、組み合わせ決定処理（Ｓ１０）で決定された複数の組み合わせごとに、適合層ＡＬ１の挿入箇所及び内容を判定する。続いて、端末装置１０の算出部１７は、算出処理（Ｓ１４：算出ステップの一例）として、結果リストＴＤ２を参照して、組み合わせごとに総コストを算出する。続いて、端末装置１０の選択部１８は、選択処理（Ｓ１６：選択ステップの一例）として、計算手法の組み合わせごとの総コストに基づいて、複数の組み合わせの中から一つの組み合わせを選択する。そして、選択部１８は、記憶処理（Ｓ１８）として、選択された組み合わせに係る計算手法を学習結果Ｍ１に記憶し、学習結果Ｍ２を生成する。記憶処理（Ｓ１８）が終了すると、図７のフローチャートは終了する。図７に示されるフローチャートが実行されることで、学習モデルを効率良く実行可能な計算手法が認識部１１へ提供される。
【0068】
（計算手法の組み合わせの総コスト算出の詳細）
計算手法の組み合わせはネットワーク構造が複雑になるほど増加し、総コストを算出するために多くの時間が必要になる。特に、適合層ＡＬ１を考慮することにより、組み合わせパターンが複雑となる。以下では、適合層ＡＬ１が考慮されたネットワーク構造の各層の最適な計算手法を決定するアルゴリズムを説明する。
計算手法の組み合わせはネットワーク構造が複雑になるほど増加し、総コストを算出するために多くの時間が必要になる。特に、適合層ＡＬ１を考慮することにより、組み合わせパターンが複雑となる。以下では、適合層ＡＬ１が考慮されたネットワーク構造の各層の最適な計算手法を決定するアルゴリズムを説明する。
【0069】
最初にネットワーク構造の形式的な定義を説明する。ネットワーク構造は、ｎ個の層で構成され、１つの入力と１つの出力とを有する有向非巡回グラフ(DAG: directed acyclic graph)である。ｎ個の層はＬ１，Ｌ２，…，Ｌｎで識別され、Ｌ１が入力層であり、Ｌｎが出力層である。各層Ｌｉは計算手法（ルーチン）の集合Ｒｉを有する。Ｒｉ(λ)は、計算手法の内容（スキーマ）λを持つルーチンを含む集合Ｒｉのサブセットである。サブセットＲｉ(λ)に含まれるルーチンの中で最速のルーチンＦｉ(λ)は、プロファイルから得られるルーチンｒの処理時間、つまり実行環境でルーチンｒを実行させて計測された処理時間をＴ（ｒ）とすると、以下の数式（１１）で定義される。
【数8】
【0070】
計算手法の組み合わせは、各層のルーチンを順に辿ることからルーチン経路ともいう。ルーチン経路Ｓは、以下の数式（１２）で表現できる。
ここで、エッジの層（Ｌｉ，Ｌｊ）がネットワーク構造に存在し、かつ、異なるスキーマを有する場合には、適合層のルーチンである適合ルーチンｒa ｉ、ｊは、ルーチン経路Ｓに含まれる。この定義に基づいて、最適なルーチン経路Ｓ*を定義する。最適なルーチン経路Ｓ*は、ネットワーク構造の全てのルーチン経路Ｓのうち、全体の処理時間が最小となる経路であり、以下の数式（１３），（１４）で表現される。
最適なルーチン経路Ｓ*は、数式（１３）の組み合わせ最適化の解である。
【数9】
ここで、エッジの層（Ｌｉ，Ｌｊ）がネットワーク構造に存在し、かつ、異なるスキーマを有する場合には、適合層のルーチンである適合ルーチンｒa ｉ、ｊは、ルーチン経路Ｓに含まれる。この定義に基づいて、最適なルーチン経路Ｓ*を定義する。最適なルーチン経路Ｓ*は、ネットワーク構造の全てのルーチン経路Ｓのうち、全体の処理時間が最小となる経路であり、以下の数式（１３），（１４）で表現される。
【数10】
最適なルーチン経路Ｓ*は、数式（１３）の組み合わせ最適化の解である。
【0071】
（直列構造）
最初に最も単純なネットワーク構造を説明する。図８の（Ａ）は直列接続されたネットワーク構造の一例である。図８の（Ａ）では、第一層Ｌ１、第二層Ｌ２、第三層Ｌ３を有するネットワーク構造が示される。ルーチン経路におけるスキーマの集合はΛ={α，β}とする。つまり、２つのスキーマα，βが存在する場合において、最適なルーチン経路Ｓ*を算出する。スキーマα，βは任意に設定される。例えば、スキーマαは、層で処理されるデータの浮動小数点のビット数が３２ビットであることを意味し、スキーマβは、層で処理されるデータが８ビットで量子化されていることを意味してもよい。この場合、スキーマα，βを層ｎごとに実行することになるため、最適なルーチン経路Ｓ*の探索範囲のサイズは、Ｏ（２ｎ）となる。探索範囲のサイズをＯ（ｎ）に減らすために、動的計画法を採用することができる。
ここで、Ｆa ｉ,ｊ(β→α)は、層Ｌｉから層Ｌｊへ適合させるための最速のルーチンである。また、ｉ＝１のとき、Ｓ１（λ）＝｛Ｆ１（λ）｝であり、λは集合Λに含まれる（λ∈Λ）。数式（１５）によれば、層Ｌｉの最速のルーチンを選択し、層Ｌｉ－１において最適なルーチン経路を計算することによって、層Ｌｉにおける最適なルーチン経路が得られることを意味する。数式（１５）の後半は、Ｓｉ－１（α）またはＳｉ－１（β）においてスキーマが変化したときに適応するための計算コストを含めている。なお、数式（１５）はスキーマαについての数式であり、スキーマβに対しても同様の関係が成り立つ。数式（１５）に基づいて、最適なルーチン経路Ｓ*=fastestλ∈ΛSn(λ)という命題が成立する。
最初に最も単純なネットワーク構造を説明する。図８の（Ａ）は直列接続されたネットワーク構造の一例である。図８の（Ａ）では、第一層Ｌ１、第二層Ｌ２、第三層Ｌ３を有するネットワーク構造が示される。ルーチン経路におけるスキーマの集合はΛ={α，β}とする。つまり、２つのスキーマα，βが存在する場合において、最適なルーチン経路Ｓ*を算出する。スキーマα，βは任意に設定される。例えば、スキーマαは、層で処理されるデータの浮動小数点のビット数が３２ビットであることを意味し、スキーマβは、層で処理されるデータが８ビットで量子化されていることを意味してもよい。この場合、スキーマα，βを層ｎごとに実行することになるため、最適なルーチン経路Ｓ*の探索範囲のサイズは、Ｏ（２ｎ）となる。探索範囲のサイズをＯ（ｎ）に減らすために、動的計画法を採用することができる。
【数11】
ここで、Ｆa ｉ,ｊ(β→α)は、層Ｌｉから層Ｌｊへ適合させるための最速のルーチンである。また、ｉ＝１のとき、Ｓ１（λ）＝｛Ｆ１（λ）｝であり、λは集合Λに含まれる（λ∈Λ）。数式（１５）によれば、層Ｌｉの最速のルーチンを選択し、層Ｌｉ－１において最適なルーチン経路を計算することによって、層Ｌｉにおける最適なルーチン経路が得られることを意味する。数式（１５）の後半は、Ｓｉ－１（α）またはＳｉ－１（β）においてスキーマが変化したときに適応するための計算コストを含めている。なお、数式（１５）はスキーマαについての数式であり、スキーマβに対しても同様の関係が成り立つ。数式（１５）に基づいて、最適なルーチン経路Ｓ*=fastestλ∈ΛSn(λ)という命題が成立する。
【0072】
（分岐構造）
次に、層の出力が２つに分岐している例を説明する。図８の（Ｂ）は分岐されたネットワーク構造を示す。分岐構造では、分岐元の層から複数の層に分岐し、分岐元の層から派生した複数の出力が合流層で合流する。図８の（Ｂ）に示される例では、第一層Ｌ１の出力が第二層Ｌ２と第四層Ｌ４とに分岐している。分岐された経路は第五層Ｌ５で合流する。分岐構造においては、直列構造の考え方を拡張することができる。第三層Ｌ３及び第四層Ｌ４を第五層Ｌ５に接続するための適合ルーチンを有するルーチン経路Ｓ３（λ３）及びＳ４（λ４）の和を計算することで、経路が合流する第五層Ｌ５における最適なルーチン経路Ｓ５（λ５）を得ることができる。ただし、この計算では、ルーチン経路Ｓ３（λ３）及びＳ４（λ４）に関して、分岐元である第一層Ｌ１のスキーマが同一であるという拘束条件が必要になる。分岐元である第一層Ｌ１のスキーマが同一でない場合、ルーチン経路Ｓ５（λ５）は第一層Ｌ１において二つのルーチンを持つという矛盾が生じるためである。この拘束条件を反映させるため、ルーチン経路をＳｉ（λ；Ｃｉ）とし、制約Ｃｉを含むようにルーチン経路Ｓｉ（λ）の定義を修正することができる。つまり、分岐元の層のルーチンを拘束条件とし、分岐元の層の後続の層が拘束条件を満たすように拘束条件ごとに組み合わせを決定するようにする。例えば、ルーチン経路Ｓ５（λ；λ１＝α)は、第一層Ｌ１のルーチンがスキーマαを持つ必要があることを意味する。この拡張により、第五層Ｌ５における最適なルーチン経路は、以下の式（１６）によって得られる。
第三層Ｌ３及び第四層Ｌ４における最適なルーチン経路Ｓ３（λ３）及びＳ４（λ４）の結合を考慮することで、最速となるルーチン経路を得られる。各経路には、選択されたスキーマに応じて二つの候補が存在する。したがって、最速となるルーチン経路は、合計で四つの候補を評価することで得ることができる。より一般化した議論においては、ｍ個の制約層が存在する場合には、制約はスキーマの集合Λにおけるべき乗のｍ個目の要素とみなすことができる。Ａ＝｛ａ１，…，ａｍ｝をｍ個の被制約層の集合とした場合、タプルλＡ＝（λａ１，…，λａｍ）∈Λｍとなり、タプルλＡは層に対するスキーマの制約の組合せとなる。タプルλＡが制約となる場合、スキーマλｊを有する層ｊの最速ルーチンＦｊ（λｊ）は、拘束条件を満たす最適なルーチン経路Ｓｉ（λｉ；λＡ）に含まれなければならない。これにより、拘束条件を満たす最適なルーチン経路Ｓ*は、以下の式（１７）となる。
次に、層の出力が２つに分岐している例を説明する。図８の（Ｂ）は分岐されたネットワーク構造を示す。分岐構造では、分岐元の層から複数の層に分岐し、分岐元の層から派生した複数の出力が合流層で合流する。図８の（Ｂ）に示される例では、第一層Ｌ１の出力が第二層Ｌ２と第四層Ｌ４とに分岐している。分岐された経路は第五層Ｌ５で合流する。分岐構造においては、直列構造の考え方を拡張することができる。第三層Ｌ３及び第四層Ｌ４を第五層Ｌ５に接続するための適合ルーチンを有するルーチン経路Ｓ３（λ３）及びＳ４（λ４）の和を計算することで、経路が合流する第五層Ｌ５における最適なルーチン経路Ｓ５（λ５）を得ることができる。ただし、この計算では、ルーチン経路Ｓ３（λ３）及びＳ４（λ４）に関して、分岐元である第一層Ｌ１のスキーマが同一であるという拘束条件が必要になる。分岐元である第一層Ｌ１のスキーマが同一でない場合、ルーチン経路Ｓ５（λ５）は第一層Ｌ１において二つのルーチンを持つという矛盾が生じるためである。この拘束条件を反映させるため、ルーチン経路をＳｉ（λ；Ｃｉ）とし、制約Ｃｉを含むようにルーチン経路Ｓｉ（λ）の定義を修正することができる。つまり、分岐元の層のルーチンを拘束条件とし、分岐元の層の後続の層が拘束条件を満たすように拘束条件ごとに組み合わせを決定するようにする。例えば、ルーチン経路Ｓ５（λ；λ１＝α)は、第一層Ｌ１のルーチンがスキーマαを持つ必要があることを意味する。この拡張により、第五層Ｌ５における最適なルーチン経路は、以下の式（１６）によって得られる。
【数12】
第三層Ｌ３及び第四層Ｌ４における最適なルーチン経路Ｓ３（λ３）及びＳ４（λ４）の結合を考慮することで、最速となるルーチン経路を得られる。各経路には、選択されたスキーマに応じて二つの候補が存在する。したがって、最速となるルーチン経路は、合計で四つの候補を評価することで得ることができる。より一般化した議論においては、ｍ個の制約層が存在する場合には、制約はスキーマの集合Λにおけるべき乗のｍ個目の要素とみなすことができる。Ａ＝｛ａ１，…，ａｍ｝をｍ個の被制約層の集合とした場合、タプルλＡ＝（λａ１，…，λａｍ）∈Λｍとなり、タプルλＡは層に対するスキーマの制約の組合せとなる。タプルλＡが制約となる場合、スキーマλｊを有する層ｊの最速ルーチンＦｊ（λｊ）は、拘束条件を満たす最適なルーチン経路Ｓｉ（λｉ；λＡ）に含まれなければならない。これにより、拘束条件を満たす最適なルーチン経路Ｓ*は、以下の式（１７）となる。
【数13】
【0073】
（複数の分岐構造）
次に、ネットワーク構造が複数の分岐構造を有する場合を説明する。図８の（Ｃ）は複数分岐されたネットワーク構造を示す。図８の（Ｃ）に示される例では、第一層Ｌ１の出力が第二層Ｌ２と第六層Ｌ６とに分岐している。さらに、第二層Ｌ２の出力が第三層Ｌ３と第四層Ｌ４とに分岐している。第二層Ｌ２から分岐された経路は、第五層Ｌ５で合流する。そして、第一層Ｌ１から分岐された経路は、第八層Ｌ８で合流する。上述した単一の分岐構造の考え方を拡張すると、分岐元である第一層Ｌ１及び第二層Ｌ２に基づいて拘束条件が設定される。スキーマは２つであるとする。まず、第二層Ｌ２の下流に位置する層の最適なルーチン経路を計算する。第二層Ｌ２の下流に位置する層は、ここでは、第三層Ｌ３、第四層Ｌ４、第五層Ｌ５及び第八層Ｌ８の４つの層である。このため、合計で８つの候補が評価される。候補数は、図８の（Ｂ）と比較すると２倍になる。簡易的に一般化すると、ｂ個の分岐を持つネットワーク構造には、２ｂ個のスキーマの組み合わせが得られることになる。
次に、ネットワーク構造が複数の分岐構造を有する場合を説明する。図８の（Ｃ）は複数分岐されたネットワーク構造を示す。図８の（Ｃ）に示される例では、第一層Ｌ１の出力が第二層Ｌ２と第六層Ｌ６とに分岐している。さらに、第二層Ｌ２の出力が第三層Ｌ３と第四層Ｌ４とに分岐している。第二層Ｌ２から分岐された経路は、第五層Ｌ５で合流する。そして、第一層Ｌ１から分岐された経路は、第八層Ｌ８で合流する。上述した単一の分岐構造の考え方を拡張すると、分岐元である第一層Ｌ１及び第二層Ｌ２に基づいて拘束条件が設定される。スキーマは２つであるとする。まず、第二層Ｌ２の下流に位置する層の最適なルーチン経路を計算する。第二層Ｌ２の下流に位置する層は、ここでは、第三層Ｌ３、第四層Ｌ４、第五層Ｌ５及び第八層Ｌ８の４つの層である。このため、合計で８つの候補が評価される。候補数は、図８の（Ｂ）と比較すると２倍になる。簡易的に一般化すると、ｂ個の分岐を持つネットワーク構造には、２ｂ個のスキーマの組み合わせが得られることになる。
【0074】
分岐の個数に応じて指数関数的に組み合わせの個数が増大するため、演算のためのコストを低減させる工夫が必要になる。一例として、分岐がマージされる場合、つまり分岐が合流する場合には制約を緩和することが考えられる。例えば、第五層Ｌ５と第七層Ｌ７の経路を第八層Ｌ８にマージする場合、必要な制約は第一層Ｌ１のスキーマのみである。なぜなら、第三層Ｌ３と第四層Ｌ４とをマージするときに、第二層Ｌ２の拘束条件が第五層Ｌ５においてすでに満たされている必要があるためである。したがって、第二層Ｌ２の拘束条件は、以下の式（１８）のように、第五層Ｌ５で緩和することができる。
式（１８）においては、高速な経路を選択することによってスキーマλ２の制約を除去する。同様の緩和はＳ５（α；λ１＝β）、Ｓ５（β；λ１＝α）、Ｓ５（β；λ１＝β）にも適用することができる。より一般化した内容は、以下のとおりである。分岐層Ｌｉの全ての下流の経路が通過する層の集合をＡｉとする。層Ｌｊにおける層Ｌｉに対する制約は、層Ｌｊが集合Ａｉに属する場合のみ、緩和することができる。例えば、Ｌｊ∈Ａｉである場合、層Ｌｉの全ての下流の経路は層Ｌｊを通ることになる。層Ｌｊの下流では、層Ｌｉに対する制約とのマージは発生しない。よって、層Ｌｊに対する制約を緩和することができる。しかしながら、Ｌｊ∈Ａｉではない場合、層Ｌｊを通らずに層Ｌｉに至る経路ρが存在する。つまり、層Ｌｊの下流には層Ｌｋ（ｊ＜ｋ＜＝ｎ）で経路ρと交差する経路が存在することになる。この場合、層Ｌｊにおける拘束を緩和することはできない。
【数14】
式（１８）においては、高速な経路を選択することによってスキーマλ２の制約を除去する。同様の緩和はＳ５（α；λ１＝β）、Ｓ５（β；λ１＝α）、Ｓ５（β；λ１＝β）にも適用することができる。より一般化した内容は、以下のとおりである。分岐層Ｌｉの全ての下流の経路が通過する層の集合をＡｉとする。層Ｌｊにおける層Ｌｉに対する制約は、層Ｌｊが集合Ａｉに属する場合のみ、緩和することができる。例えば、Ｌｊ∈Ａｉである場合、層Ｌｉの全ての下流の経路は層Ｌｊを通ることになる。層Ｌｊの下流では、層Ｌｉに対する制約とのマージは発生しない。よって、層Ｌｊに対する制約を緩和することができる。しかしながら、Ｌｊ∈Ａｉではない場合、層Ｌｊを通らずに層Ｌｉに至る経路ρが存在する。つまり、層Ｌｊの下流には層Ｌｋ（ｊ＜ｋ＜＝ｎ）で経路ρと交差する経路が存在することになる。この場合、層Ｌｊにおける拘束を緩和することはできない。
【0075】
（複数の入出力）
次に、ネットワーク構造が複数の入力又は複数の出力を有する場合を説明する。図８の（Ｄ）は、複数の入出力を有するネットワーク構造である。図８の（Ｄ）に示されるように、第一層Ｌ１及び第二層Ｌ２の二つの層が入力層として機能する。第四層Ｌ４及び第五層Ｌ５の二つの層が出力層として機能する。上述した議論を適用させるために、ネットワーク構造に対して、補助入力層ＡＵ１及び補助出力層ＡＵ２の概念が導入される。補助入力層ＡＵ１は、第一層Ｌ１及び第二層Ｌ２よりも上流側に擬似的に導入される。補助入力層ＡＵ１は、第一層Ｌ１及び第二層Ｌ２のデータの入力条件を揃えるために導入される。つまり、補助入力層ＡＵ１の計算手法を拘束条件とし、第一層Ｌ１及び第二層Ｌ２の計算手法が補助入力層ＡＵ１の計算手法となるようにスキーマ経路が決定される。このようなスキーマ経路の決定は、補助入力層ＡＵ１が擬似的に導入されることで実現するこれにより、上述した分岐構造の考え方と同様の議論が可能となり、第一層Ｌ１及び第二層Ｌ２が個々に最速となる計算手法を選択したために第一層Ｌ１及び第二層Ｌ２のデータのデータ型や取り扱うデバイスが異なる、という不整合が生じることを回避することができる。
次に、ネットワーク構造が複数の入力又は複数の出力を有する場合を説明する。図８の（Ｄ）は、複数の入出力を有するネットワーク構造である。図８の（Ｄ）に示されるように、第一層Ｌ１及び第二層Ｌ２の二つの層が入力層として機能する。第四層Ｌ４及び第五層Ｌ５の二つの層が出力層として機能する。上述した議論を適用させるために、ネットワーク構造に対して、補助入力層ＡＵ１及び補助出力層ＡＵ２の概念が導入される。補助入力層ＡＵ１は、第一層Ｌ１及び第二層Ｌ２よりも上流側に擬似的に導入される。補助入力層ＡＵ１は、第一層Ｌ１及び第二層Ｌ２のデータの入力条件を揃えるために導入される。つまり、補助入力層ＡＵ１の計算手法を拘束条件とし、第一層Ｌ１及び第二層Ｌ２の計算手法が補助入力層ＡＵ１の計算手法となるようにスキーマ経路が決定される。このようなスキーマ経路の決定は、補助入力層ＡＵ１が擬似的に導入されることで実現するこれにより、上述した分岐構造の考え方と同様の議論が可能となり、第一層Ｌ１及び第二層Ｌ２が個々に最速となる計算手法を選択したために第一層Ｌ１及び第二層Ｌ２のデータのデータ型や取り扱うデバイスが異なる、という不整合が生じることを回避することができる。
【0076】
補助出力層ＡＵ２は、第四層Ｌ４及び第五層Ｌ５よりも下流側に擬似的に導入される。補助出力層ＡＵ２は、第四層Ｌ４及び第五層Ｌ５のデータの入力条件を揃えるために導入される。言い換えれば、第四層Ｌ４及び第五層Ｌ５よりも前段の層において分岐している層（ここでは第三層Ｌ３）において第四層Ｌ４及び第五層Ｌ５によって要求される計算手法が異なるという不整合を回避するために導入される。第三層Ｌ３の計算手法を拘束条件とし、第四層Ｌ４及び第五層Ｌ５の計算手法が補助出力層ＡＵ２の計算手法となるようにスキーマ経路が決定される。このようなスキーマ経路の決定は、補助出力層ＡＵ２が擬似的に導入されることで実現する。これにより、上述した分岐構造の考え方と同様の議論が可能となり、第四層Ｌ４及び第五層Ｌ５が個々に最速となる計算手法を選択したために第四層Ｌ４及び第五層Ｌ５のデータのデータ型や取り扱うデバイスが異なる、という不整合が生じることを回避することができる。
【0077】
次に、計算手法決定システム１００として機能させるための計算手法決定プログラムを説明する。計算手法決定プログラムは、メインモジュール、決定モジュール、適合モジュール、算出モジュール及び選択モジュールを備えている。メインモジュールは、装置を統括的に制御する部分である。決定モジュール、適合モジュール、算出モジュール及び選択モジュールを実行させることにより実現される機能は、上述した組み合わせ決定部１４、適合部１５、算出部１７及び選択部１８の機能とそれぞれ同様である。
【0078】
プログラムは、例えば、ＲＯＭ又は半導体メモリなどの非一時的な記録媒体によって提供される。また、プログラムは、ネットワークなどの通信を介して提供されてもよい。
【0079】
（第一実施形態のまとめ）
計算手法決定システム１００では、適合層ＡＬ１の計算コストを考慮して各層の計算手法の組み合わせの総コストが算出される。このため、計算手法決定システム１００は、各層の計算コストを加算する場合と比べて、ネットワーク構造全体の計算コストをより正確に算出することができる。よって、計算手法決定システム１００は、ネットワーク構造の各層の計算手法をより適切に決定することができる。これにより、認識部１１の計算負荷を軽減することができる。
計算手法決定システム１００では、適合層ＡＬ１の計算コストを考慮して各層の計算手法の組み合わせの総コストが算出される。このため、計算手法決定システム１００は、各層の計算コストを加算する場合と比べて、ネットワーク構造全体の計算コストをより正確に算出することができる。よって、計算手法決定システム１００は、ネットワーク構造の各層の計算手法をより適切に決定することができる。これにより、認識部１１の計算負荷を軽減することができる。
【0080】
計算手法決定システム１００によれば、同一結果を出力するものの演算方法がそれぞれ異なる複数のアルゴリズムを実行環境にて実際に動作させ、得られた計算コストに基づいて最適なアルゴリズムを決定することができる。計算手法決定システム１００によれば、異種デバイス間のデータ転送の処理の計算コストを総コストに含めることにより、ネットワーク構造の各層の計算手法をより適切に決定することができる。計算手法決定システム１００によれば、データ型の変換の処理の計算コストを総コストに含めることにより、ネットワーク構造の各層の計算手法をより適切に決定することができる。計算手法決定システム１００によれば、データレイアウトの変更の処理の計算コストを総コストに含めることにより、ネットワーク構造の各層の計算手法をより適切に決定することができる。計算手法決定システム１００によれば、複数の組み合わせの中から総コストが最小となる組み合わせを選択することにより、ネットワーク構造の各層の計算手法を最も適切に決定することができる。
【0081】
計算手法決定システム１００によれば、分岐元の層の後続の層については分岐元の層の計算手法を拘束条件として計算手法を決定し、拘束条件ごとに組み合わせを決定することにより、不整合が発生することを抑制できる。計算手法決定システム１００によれば、複数の入力層を有するネットワーク構造において補助入力層を生成することにより、不整合が発生することを抑制できる。計算手法決定システム１００によれば、複数の出力層を有するネットワーク構造において補助出力層を生成することにより、不整合が発生することを抑制できる。
【0082】
［第二実施形態］
第二実施形態に係る計算手法決定システム１００Ａは、第一実施形態に係る計算手法決定システム１００と比較して、組み合わせ決定部１４、適合部１５、算出部１７及び選択部１８の機能が提供装置４０側に存在する点が相違し、その他は同一である。第二実施形態においては、第一実施形態と重複する説明は繰り返さない。
第二実施形態に係る計算手法決定システム１００Ａは、第一実施形態に係る計算手法決定システム１００と比較して、組み合わせ決定部１４、適合部１５、算出部１７及び選択部１８の機能が提供装置４０側に存在する点が相違し、その他は同一である。第二実施形態においては、第一実施形態と重複する説明は繰り返さない。
【0083】
図９は、第二実施形態に係る計算手法決定システム１００Ａの機能ブロック図である。図９に示されるように、計算手法決定システム１００Ａは、提供装置４０Ａ及び端末装置１０Ａを備える。提供装置４０Ａは、提供装置４０と比較して、組み合わせ決定部１４、適合部１５、算出部１７及び選択部１８を備える点が相違する。組み合わせ決定部１４、適合部１５、算出部１７及び選択部１８の各機能は、第一実施形態において説明された内容と同一である。また、計算手法決定システム１００Ａのその他の構成は、計算手法決定システム１００と同一である。
【0084】
（第二実施形態のまとめ）
計算手法決定システム１００Ａでは、適合層ＡＬ１の計算コストを考慮して各層の計算手法の組み合わせの総コストが算出される。このため、計算手法決定システム１００Ａは、各層の計算コストを加算する場合と比べて、ネットワーク構造全体の計算コストをより正確に算出することができる。よって、計算手法決定システム１００Ａは、ネットワーク構造の各層の計算手法をより適切に決定することができる。これにより、認識部１１の計算負荷を軽減することができる。また、計算手法決定システム１００Ａは、計算手法決定システム１００と比べて、端末装置１０Ａに導入される機能を最小限にすることができる。これにより、システムのメンテナンス性が向上する。
計算手法決定システム１００Ａでは、適合層ＡＬ１の計算コストを考慮して各層の計算手法の組み合わせの総コストが算出される。このため、計算手法決定システム１００Ａは、各層の計算コストを加算する場合と比べて、ネットワーク構造全体の計算コストをより正確に算出することができる。よって、計算手法決定システム１００Ａは、ネットワーク構造の各層の計算手法をより適切に決定することができる。これにより、認識部１１の計算負荷を軽減することができる。また、計算手法決定システム１００Ａは、計算手法決定システム１００と比べて、端末装置１０Ａに導入される機能を最小限にすることができる。これにより、システムのメンテナンス性が向上する。
【0085】
なお、本開示は上記実施形態に限定されるものではない。本開示は、その要旨を逸脱しない範囲で様々な変形が可能である。
【0086】
計算手法決定システム１００はハードウェアとして端末装置１０及び提供装置４０を含むことが例示されたが、これに限定されない。例えば、計算手法決定システム１００は、機能ごとに用意された装置が通信ネットワークを介して接続されてなる集合体として構成されてもよい。あるいは、計算手法決定システム１００は、全ての機能を発揮可能な単一のハードウェアで構成されていてもよい。計算手法決定システム１００Ａも同様に、種々のハードウェアで構成されてもよいし、単一のハードウェアで構成されてもよい。
【0087】
計算手法決定システム１００は認識部１１の層ごとに最適な計算手法を決定しているため、１の認識部１１に対して最適な計算手法のセットが１つ提供されることになる。しかしながら、提供される最適な計算手法のセットの数は１つに限定されず、２セット以上提供されてもよい。この場合、認識部１１は、例えば、提供された複数のセットをそれぞれ実行し、最も速く処理することができたセットを選択すればよい。
【0088】
計算手法決定システム１００は、同一環境を有する他の端末に最適な計算手法を展開してもよい。例えば、端末装置１０と同一の環境を有する端末装置１０Ｘが存在するとする。端末装置１０Ｘは、例えば端末装置１０と同一機種である。計算手法決定システム１００は、端末装置１０Ｘに対して、選択部１８により選択された計算手法を提供する提供部をさらに備えてもよい。この場合、計算手法決定システム１００は、同一環境の端末には、実際にその端末で計算することなく、同一環境を有する他の端末で決定した計算手法を適用させることができる。
【符号の説明】
【0089】
１０，１０Ａ…端末装置、１１…認識部、１２…事前計算部、１３…候補決定部、１４…組み合わせ決定部、１５…適合部、１６…コスト取得部、１７…算出部、１８…選択部、１００，１００Ａ…計算手法決定システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2022-10-26
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ネットワーク構造及び重みデータを用いて入力データを処理するための計算が行われる実行環境において、前記ネットワーク構造の層ごとに計算手法を決定する計算手法決定システムであって、
前記層ごとに予め準備された少なくとも１つの計算手法に基づいて、前記ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する決定部であって、少なくとも１つの層の計算手法が複数存在する、前記決定部と、
複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、前記所定の関係が満たされる場合には前記二層の間のデータのやり取りのために実行される適合層を決定する適合部と、
前記計算手法の計算コストと前記適合層の計算コストとに基づいて、前記複数の組み合わせごとに総コストを算出する算出部と、
前記組み合わせごとに算出された前記総コストに基づいて、前記複数の組み合わせの中から一つの前記組み合わせを選択する選択部と、
を備える計算手法決定システム。
前記層ごとに予め準備された少なくとも１つの計算手法に基づいて、前記ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する決定部であって、少なくとも１つの層の計算手法が複数存在する、前記決定部と、
複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、前記所定の関係が満たされる場合には前記二層の間のデータのやり取りのために実行される適合層を決定する適合部と、
前記計算手法の計算コストと前記適合層の計算コストとに基づいて、前記複数の組み合わせごとに総コストを算出する算出部と、
前記組み合わせごとに算出された前記総コストに基づいて、前記複数の組み合わせの中から一つの前記組み合わせを選択する選択部と、
を備える計算手法決定システム。
【請求項2】
前記少なくとも１つの計算手法は、前記実行環境で実行可能であり、それぞれが異なる演算で同一機能を発揮する複数のアルゴリズムを含む、請求項１に記載の計算手法決定システム。
【請求項3】
前記少なくとも１つの計算手法は、前記実行環境で実行可能であり、それぞれが異なるデバイスを用いて同一機能を発揮する複数のアルゴリズムを含み、
前記適合層は、異種デバイス間のデータ転送の処理を実行する、
請求項１又は２に記載の計算手法決定システム。
前記適合層は、異種デバイス間のデータ転送の処理を実行する、
請求項１又は２に記載の計算手法決定システム。
【請求項4】
前記少なくとも１つの計算手法は、前記実行環境で実行可能であり、それぞれが異なるデータ型の前記データに対して同一の演算を行う複数のアルゴリズムを含み、
前記適合層は、データ型の変換の処理を実行する、
請求項１～３の何れか一項に記載の計算手法決定システム。
前記適合層は、データ型の変換の処理を実行する、
請求項１～３の何れか一項に記載の計算手法決定システム。
【請求項5】
前記少なくとも１つの計算手法は、前記実行環境で実行可能であり、それぞれが異なるチャネル位置の前記データに対して同一の演算を行う複数のアルゴリズムを含み、
前記適合層は、データレイアウトの変更の処理を実行する、
請求項１～４の何れか一項に記載の計算手法決定システム。
前記適合層は、データレイアウトの変更の処理を実行する、
請求項１～４の何れか一項に記載の計算手法決定システム。
【請求項6】
前記選択部は、前記複数の組み合わせの中から前記総コストが最小となる前記組み合わせを選択する、請求項１～５の何れか一項に記載の計算手法決定システム。
【請求項7】
前記ネットワーク構造が、分岐元の層から複数の層に分岐し、分岐元の層から派生した複数の出力が合流層で合流する分岐構造を有する場合、前記決定部は、分岐元の層の計算手法を拘束条件とし、前記分岐元の層の後続の層が前記拘束条件を満たすように拘束条件ごとに前記組み合わせを決定する、請求項１～６の何れか一項に記載の計算手法決定システム。
【請求項8】
前記ネットワーク構造の入力を行う入力層が複数となる場合、前記決定部は、複数の入力層の上流側に、複数の入力層それぞれに接続される補助入力層を生成し、前記補助入力層の計算手法を拘束条件とし、前記補助入力層の後続の層が前記拘束条件を満たすように拘束条件ごとに組み合わせを決定する、請求項１～７の何れか一項に記載の計算手法決定システム。
【請求項9】
前記ネットワーク構造の出力を行う出力層が複数となる場合、前記決定部は、複数の出力層の下流側に、前記複数の出力層それぞれに接続される補助出力層を生成し、前記複数の出力層よりも前段の層において分岐している層の計算手法を拘束条件とし、前記拘束条件を満たすように拘束条件ごとに前記組み合わせを決定する、請求項１～７の何れか一項に記載の計算手法決定システム。
【請求項10】
ネットワーク構造及び重みデータを用いて入力データを処理するための計算が行われる実行環境において、前記ネットワーク構造の層ごとに計算手法を決定する計算手法決定方法であって、決定部、適合部、算出部、及び選択部がコンピュータに実装され、
前記決定部が、前記層ごとに予め準備された少なくとも１つの計算手法に基づいて、前記ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する決定ステップであって、少なくとも１つの層の計算手法が複数存在する、前記決定ステップと、
前記適合部が、複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、前記所定の関係が満たされる場合には前記二層の間のデータのやり取りのために実行される適合層を決定する適合ステップと、
前記算出部が、前記計算手法の計算コストと前記適合層の計算コストとに基づいて、前記複数の組み合わせごとに総コストを算出する算出ステップと、
前記選択部が、前記組み合わせごとに算出された前記総コストに基づいて、前記複数の組み合わせの中から一つの前記組み合わせを選択する選択ステップと、
を備える計算手法決定方法。
前記決定部が、前記層ごとに予め準備された少なくとも１つの計算手法に基づいて、前記ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する決定ステップであって、少なくとも１つの層の計算手法が複数存在する、前記決定ステップと、
前記適合部が、複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、前記所定の関係が満たされる場合には前記二層の間のデータのやり取りのために実行される適合層を決定する適合ステップと、
前記算出部が、前記計算手法の計算コストと前記適合層の計算コストとに基づいて、前記複数の組み合わせごとに総コストを算出する算出ステップと、
前記選択部が、前記組み合わせごとに算出された前記総コストに基づいて、前記複数の組み合わせの中から一つの前記組み合わせを選択する選択ステップと、
を備える計算手法決定方法。
【請求項11】
ネットワーク構造及び重みデータを用いて入力データを処理するための計算が行われる実行環境において、前記ネットワーク構造の層ごとに計算手法を決定するようにコンピュータを動作させる計算手法決定プログラムであって、
前記コンピュータを、
前記層ごとに予め準備された少なくとも１つの計算手法に基づいて、前記ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する決定部であって、少なくとも１つの層の計算手法が複数存在する、前記決定部、
複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、前記所定の関係が満たされる場合には前記二層の間のデータのやり取りのために実行される適合層を決定する適合部、
前記計算手法の計算コストと前記適合層の計算コストとに基づいて、前記複数の組み合わせごとに総コストを算出する算出部、及び、
前記組み合わせごとに算出された前記総コストに基づいて、前記複数の組み合わせの中から一つの前記組み合わせを選択する選択部として機能させる、計算手法決定プログラム。
前記コンピュータを、
前記層ごとに予め準備された少なくとも１つの計算手法に基づいて、前記ネットワーク構造の入力から出力までの間の各層の計算手法の組み合わせを複数決定する決定部であって、少なくとも１つの層の計算手法が複数存在する、前記決定部、
複数の組み合わせごとに、データのやり取りを行う二層の計算手法が所定の関係を満たすか否かを判定し、前記所定の関係が満たされる場合には前記二層の間のデータのやり取りのために実行される適合層を決定する適合部、
前記計算手法の計算コストと前記適合層の計算コストとに基づいて、前記複数の組み合わせごとに総コストを算出する算出部、及び、
前記組み合わせごとに算出された前記総コストに基づいて、前記複数の組み合わせの中から一つの前記組み合わせを選択する選択部として機能させる、計算手法決定プログラム。