特開 2024-120338 機械学習装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024120338

(43)【公開日】2024-09-05

(54)【発明の名称】機械学習装置、方法及びプログラム

(51)【国際特許分類】

   G06N 3/084 20230101AFI20240829BHJP

   G06N 3/0985 20230101ALI20240829BHJP

【ＦＩ】

G06N3/084

G06N3/0985

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023027070

(22)【出願日】2023-02-24

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】関 竜介

(72)【発明者】

【氏名】岡田 康貴

(72)【発明者】

【氏名】山埜 啓輔

(57)【要約】

【課題】勾配クリッピングにおける閾値を適正化する。
【解決手段】入力データから出力データを生成するモデルのパラメータを教師あり機械学習により調整する機械学習装置であって、訓練データ（ＴＤ［ｉ］）を順次取得し、訓練データごとに訓練データに基づきモデルにおける損失関数（Ｌ［ｉ］）の勾配（ｇ［ｉ］）の導出を通じてパラメータを更新する。訓練データごとに勾配のノルムである勾配ノルム（||ｇ［ｉ］||）を導出して勾配ノルムを閾値（ｕ）と比較する。勾配ノルムが閾値を超えるとき、閾値を用いて勾配を修正する勾配クリッピングを実行してから修正後の勾配を用いてパラメータを更新する。訓練データごとに勾配ノルムをメモリに格納してゆくことでメモリに勾配ノルム群を保持させ、勾配ノルム群に基づいて閾値を設定する。
【選択図】図４

【特許請求の範囲】

【請求項1】

入力データから出力データを生成するモデルのパラメータを教師あり機械学習により調整する機械学習装置であって、
訓練データを順次取得し、前記訓練データごとに前記訓練データに基づき前記モデルにおける損失関数の勾配の導出を通じて前記パラメータを更新する演算処理部と、
メモリと、備え、
前記演算処理部は、前記訓練データごとに前記勾配のノルムである勾配ノルムを導出して前記勾配ノルムを閾値と比較し、前記勾配ノルムが前記閾値を超えるとき、前記閾値を用いて前記勾配を修正し、前記修正後の前記勾配を用いて前記パラメータを更新し、
前記演算処理部は、前記訓練データごとに前記勾配ノルムを前記メモリに格納してゆくことで前記メモリに勾配ノルム群を保持させ、前記勾配ノルム群に基づいて前記閾値を設定する
、機械学習装置。

【請求項2】

前記演算処理部は、前記勾配ノルム群に含まれる複数の勾配ノルムから、勾配ノルムの値が小さい方から予め定めた所定の割合に対応する勾配ノルムを抽出し、前記抽出した勾配ノルムを前記閾値に設定する
、請求項１に記載の機械学習装置。

【請求項3】

前記演算処理部は、前記勾配ノルム群に含まれる複数の勾配ノルムから、勾配ノルムの値が小さい方から予め定めた所定の割合内に属する２以上の勾配ノルムを抽出し、前記抽出した２以上の勾配ノルムの平均を前記閾値に設定する
、請求項１に記載の機械学習装置。

【請求項4】

前記演算処理部は、前記訓練データごとに前記訓練データに基づき前記勾配及び前記勾配ノルムを導出する導出処理を実行し、前記訓練データごと前記勾配ノルムと前記閾値とを比較し、
前記勾配ノルムが前記閾値以下であるとき、前記導出処理にて導出された前記勾配である原勾配を用いて前記パラメータを更新し、
前記勾配ノルムが前記閾値を超えるとき、前記閾値を用いて前記原勾配を修正することで修正勾配を導出し、前記修正勾配を用いて前記パラメータを更新する
、請求項１～３の何れかに記載の機械学習装置。

【請求項5】

前記演算処理部は、単位処理を繰り返し実行し、
前記演算処理部は、各単位処理において、
ミニバッチとして前記訓練データを取得して、取得した前記訓練データに基づき前記勾配及び前記勾配ノルムの導出を経て前記勾配ノルムを前記メモリに格納し、前記勾配ノルムと前記閾値との比較結果に基づき、前記原勾配又は前記修正勾配を用いて前記パラメータを更新する
、請求項４に記載の機械学習装置。

【請求項6】

前記演算処理部は、前記閾値を用いた前記原勾配の修正において、前記原勾配と前記閾値との積を前記勾配ノルムで除することで前記修正勾配を導出する
、請求項４に記載の機械学習装置。

【請求項7】

前記演算処理部は、前記メモリに格納される前記勾配ノルムの個数が基準数より少ないとき、予め定められた初期値を前記閾値に設定する
、請求項２又は３に記載の機械学習装置。

【請求項8】

前記演算処理部は、前記メモリに格納される前記勾配ノルムの個数が２以上であって且つ基準数より少ないとき、前記メモリに格納される前記勾配ノルムの平均を前記閾値に設定する
、請求項２又は３に記載の機械学習装置。

【請求項9】

入力データから出力データを生成するモデルのパラメータを教師あり機械学習により調整する機械学習方法であって、
訓練データを順次取得し、前記訓練データごとに前記訓練データに基づき前記モデルにおける損失関数の勾配の導出を通じて前記パラメータを更新し、
前記訓練データごとに前記勾配のノルムである勾配ノルムを導出して前記勾配ノルムを閾値と比較し、前記勾配ノルムが前記閾値を超えるとき、前記閾値を用いて前記勾配を修正し、前記修正後の前記勾配を用いて前記パラメータを更新し、
前記訓練データごとに前記勾配ノルムをメモリに格納してゆくことで前記メモリに勾配ノルム群を保持させ、前記勾配ノルム群に基づいて前記閾値を設定する
、機械学習方法。

【請求項10】

請求項９に記載の機械学習方法をコンピュータ装置に実行させるための機械学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習装置、方法及びプログラムに関する。

【背景技術】

【0002】

ニューラルネットワークによるモデルの機械学習において、勾配爆発と呼ばれる、損失関数の勾配の値が非常に大きくなる現象が知られている。勾配爆発が発生すると、モデルのパラメータ（ニューラルネットワークの重み及びバイアスのパラメータ）が大きく変動するため、損失関数が発散し、学習が不安定になる。

【0003】

勾配爆発の対処方法として勾配クリッピングと称される方法が知られている。勾配クリッピングでは、損失関数の勾配のノルムに対して上限値に相当する閾値を設定しておき、損失関数の勾配のノルムが閾値を超える場合に、閾値を用いて勾配が小さくなるよう修正する。勾配クリッピングの利用により学習を安定化させることができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１６０２００号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

勾配クリッピングにおいて閾値は基本的にハイパーパラメータである。このため、モデルの構造及び学習に使用するデータセットに応じて閾値を実験的又は探索的に決定する必要がある。このため、最適な閾値を得るためには、閾値に対して様々な学習及び評価を繰り返す必要がある。モデル又はデータセットが大規模である場合、学習プロセスの計算コストも大きいため、閾値を最適化することは困難である。

【0006】

閾値が小さいほど学習は安定化するが、一方で学習に有益な勾配情報が失われ易くなるため、モデルの性能の低下や、学習にかかる時間が増大する可能性がある。逆に、閾値が必要以上に大きいと勾配が０に収束できない（学習が収束しない）場合等が発生するため、学習が不安定になる。このように、勾配クリッピングを利用した機械学習では、学習の安定性と、学習を経て得られるモデルの性能と、がトレードオフの関係にある。勾配クリッピングにおける閾値を適正化することができれば、学習の安定性確保とモデルの性能向上とを両立させ、また学習時間を適度なものとすることができる。

【0007】

本発明は、勾配クリッピングにおける閾値の適正化に寄与する機械学習装置、方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る機械学習装置は、入力データから出力データを生成するモデルのパラメータを教師あり機械学習により調整する機械学習装置であって、訓練データを順次取得し、前記訓練データごとに前記訓練データに基づき前記モデルにおける損失関数の勾配の導出を通じて前記パラメータを更新する演算処理部と、メモリと、備え、前記演算処理部は、前記訓練データごとに前記勾配のノルムである勾配ノルムを導出して前記勾配ノルムを閾値と比較し、前記勾配ノルムが前記閾値を超えるとき、前記閾値を用いて前記勾配を修正し、前記修正後の前記勾配を用いて前記パラメータを更新し、前記演算処理部は、前記訓練データごとに前記勾配ノルムを前記メモリに格納してゆくことで前記メモリに勾配ノルム群を保持させ、前記勾配ノルム群に基づいて前記閾値を設定する。

【発明の効果】

【0009】

本発明によれば、勾配クリッピングにおける閾値の適正化に寄与する機械学習装置、方法及びプログラムを提供することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る機械学習システムの全体構成図である。

【図2】本発明の実施形態に係り、機械学習が適用されるモデルの構成及び入出力データを示す図である。

【図3】本発明の実施形態に係り、学習用データとしての画像データセットの構成図である。

【図4】本発明の実施形態に係り、機械学習工程のフローチャートである。

【図5】本発明の実施形態に係り、勾配ノルム格納部に勾配ノルム群が格納される様子を示す図である。

【図6】本発明の実施形態に係り、勾配ノルム格納部に勾配ノルム群が格納される様子を示す図である。

【図7】本発明の実施形態に係り、勾配ノルム群の昇順ソート配列を示す図である。

【図8】本発明の実施形態に係り、勾配ノルム群の昇順ソート配列に基づく閾値設定方法の概念図である。

【図9】本発明の実施形態に係り、勾配ノルム群の昇順ソート配列に基づく他の閾値設定方法の概念図である。

【図10】本発明の実施形態に係る演算処理部の機能ブロック図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、機能部、回路、素子又は部品等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量、機能部、回路、素子又は部品等の名称を省略又は略記することがある。

【0012】

図１に本発明の実施形態に係る機械学習システムの全体構成を示す。図１の機械学習システムは、機械学習装置１とデータベース２とを備える。機械学習装置１は１又は複数のコンピュータ装置にて構成される。クラウトコンピューティングを用いて機械学習装置１を実現しても良い。

【0013】

機械学習装置１はハードウェア資源として演算処理部１０及びメモリ２０を備える。演算処理部１０は、ＭＰＵ（Micro Processing Unit）及びＧＰＵ（Graphics Processing Unit）等を含み、所望の演算を実行する。演算処理部１０は、メモリ２０、データベース２又は他の任意の記録媒体（不図示）に記録されたプログラムを実行することで、演算処理部１０にて実現されるべき以下の各機能を実現して良い。メモリ２０は、ＲＯＭ（Read only memory）及びフラッシュメモリ等の不揮発性記録媒体、及び、ＲＡＭ（Random access memory）等の揮発性記録媒体を含む。演算処理部１０はメモリ２０に対して任意のデータを書き込むことができると共にメモリ２０に記録されたデータを任意に読み出すことができる。メモリ２０には揮発性記録媒体にて構成される勾配ノルム格納部２１が設けられる。

【0014】

データベース２は学習用データＤＳを保持する大容量記録媒体である。機械学習装置１に対してデータベース２が有線又は無線にて接続される。演算処理部１０はデータベース２に保持された学習用データＤＳを自由に読み込み可能である。データベース２は、物理的に分離した複数の記録媒体の集合体であっても良く、この場合、複数の記録媒体にて学習用データＤＳが保持される。データベース２の一部又は全部は機械学習装置１に備えられていても良い。

【0015】

演算処理部１０において図２に示すモデル１１が構築される。モデル１１は入力データＤｉｎから出力データＤｏｕｔを生成するアルゴリズムである。モデル１１はニューラルネットワークであるＮＮ１２を有する。ＮＮ１２はディープニューラルネットワークであって良い。演算処理部１０は学習用データＤＳを用いてモデル１１の機械学習を実行する。尚、モデル１１の機械学習はＮＮ１２の機械学習とも言える。演算処理部１０にて行われる機械学習は教師あり機械学習である。

【0016】

機械学習を経たモデル１１は所定の推論を行う学習済みモデルである。学習済みモデルは、例えば、推論として物体検出を行う物体検出器であって良い。物体検出では、モデル１１に入力された二次元画像内における物体の像の存在領域及び当該物体の種類が推定（換言すれば検出）される。推論として物体検出が行われる場合、学習用データＤＳは図３に示す画像データセットＤＳ１である。

【0017】

画像データセットＤＳ１は、大量の学習用画像の画像データとアノテーション情報とを含む。画像データセットＤＳ１において、アノテーション情報は学習用画像ごとに学習用画像に対して付加される。画像データセットＤＳ１における各学習用画像は、様々な種類の物体の像を含む二次元画像である。或る学習用画像に対するアノテーション情報は、当該学習用画像内に存在する物体の種類を示す情報と、当該学習用画像において物体の像が存在する領域の位置及び形状を特定する情報と、を含む。演算処理部１０は、画像データセットＤＳ１を用いてモデル１１の機械学習を実行することにより推論として物体検出を行うモデル１１を構築できる。

【0018】

機械学習が行われる工程を機械学習工程と称する。物体検出を行うモデル１１を機械学習により構築する場合の機械学習工程について説明する。説明の具体化のため、注目された学習用画像を注目画像とする。機械学習工程において、演算処理部１０は、注目画像の画像データを入力データＤｉｎとしてモデル１１に入力する。すると、モデル１１は、入力データＤｉｎに基づき注目画像内における物体の像の存在領域及び当該物体の種類を推定し、その推定結果を示す出力データＤｏｕｔを生成する。注目画像に対するアノテーション情報は、出力データＤｏｕｔに対する正解データ（モデル１１にて推定されるべき内容の正解を示すデータ）に相当する。

【0019】

機械学習工程において、演算処理部１０は、モデル１１の出力データＤｏｕｔと注目画像に対するアノテーション情報との誤差を表す損失関数を導出する。そして、演算処理部１０は、損失関数の値が低減されるよう誤差逆伝搬法を用いてモデル１１のパラメータを調整する。モデル１１のパラメータとはＮＮ１２のパラメータであり、ＮＮ１２における重み及びバイアスのパラメータを含む。上記の調整が所定の学習終了条件が満たされるまで繰り返され、学習終了条件が満たされると機械学習工程を終える。機械学習工程を経た後のモデル１１は、推論として物体検出を行う物体検出器（推論モデル）として機能する。

【0020】

物体検出は画像認識の一種である。モデル１１にて行われる推論の例として物体検出を挙げたが、モデル１１にて行われる推論の内容は任意である。例えば、モデル１１にて行われる推論は画像分類であっても良い。また例えば、モデル１１にて行われる推論は任意のクラス識別、値予測又はクラスタリングであっても良い。但し、以下では、説明の具体化のため、特に記述なき限り、学習用データＤＳが画像データセットＤＳ１であって、機械学習を経てモデル１１を物体検出器として機能させることを想定する。

【0021】

図４に機械学習工程のフローチャートを示す。図４に示されるステップＳ１０～Ｓ２５の各処理は演算処理部１０により実行される。演算処理部１０は、作業者による機械学習開始操作等をトリガとして、機械学習プログラムを実行することでステップＳ１０～Ｓ２５の各処理を実現する。機械学習プログラムは、メモリ２０、データベース２又は他の任意の記録媒体（不図示）に記録されたプログラムであって良い。機械学習プログラムは複数のプログラムにて構成されていても良く、当該複数のプログラムが実行されることで、図４に示されるステップＳ１０～Ｓ２５の各処理が演算処理部１０にて実現されても良い。

【0022】

機械学習工程では、まずステップＳ１０において演算処理部１０がモデル１１を初期化すると共に勾配ノルム格納部２１（以下、格納部２１と表記され得る）を初期化する。モデル１１の初期化によりモデル１１の状態が所定の初期状態に設定される。初期状態におけるモデル１１のパラメータは、予め定められた初期パラメータ値を持つ。後述の説明から明らかとなるよう、機械学習の中で格納部２１に勾配ノルムが順次格納されてゆく。格納部２１の初期化により、格納部２１に勾配ノルムが１つも格納されていない状態が実現される。ステップＳ１０の後、ステップＳ１１に進む。

【0023】

機械学習工程にて調整されるべきモデル１１のパラメータはＭ個存在する。Ｍは２以上の任意の整数である。Ｍ個のパラメータを特に区別するとき、Ｍ個のパラメータを第１～第Ｍパラメータと称する。

【0024】

ステップＳ１１では、演算処理部１０にて管理される変数ｉに対し１が代入される。ステップＳ１１の後、ステップＳ１２に進む。ステップＳ１２～Ｓ２３の処理から成るループ処理は、繰り返し実行される。第１回目のループ処理は“ｉ＝１”の状態で実行され、第２回目のループ処理は“ｉ＝２”の状態で実行される。第３回目以降のループ処理についても同様である。

【0025】

ステップＳ１２において演算処理部１０は学習用データＤＳの中からミニバッチをサンプリングする。演算処理部１０における機械学習ではミニバッチ学習が利用される。ミニバッチは、学習用データＤＳの内、所定のミニバッチサイズを有するデータである。データ取得処理にてサンプリングされたミニバッチを、以下では訓練データと称する。このため、ステップＳ１２では上記サンプリングにより演算処理部１０にて訓練データが取得される。第ｉ回目のループ処理にて取得される訓練データを特に記号“ＴＤ［ｉ］”にて参照する。取得された訓練データＴＤ［ｉ］はメモリ２０に対して一時的に保存され、後段の処理に供される。訓練データＴＤ［ｉ］は学習用データＤＳの一部である。例えば、学習用データＤＳが１０００００枚の学習用画像の画像データを含む場合、訓練データＴＤ［ｉ］は、その内の１０枚分の学習用画像の画像データを含み、且つ、当該１０枚分の学習用画像に対するアノテーション情報を含む。ステップＳ１２の後、ステップＳ１３に進む。

【0026】

ステップＳ１３において演算処理部１０は、訓練データに基づきモデル１１の損失関数を導出する。訓練データＴＤ［ｉ］に基づく損失関数を特に記号“Ｌ［ｉ］”にて参照する。より具体的には、ステップＳ１３において演算処理部１０は、訓練データＴＤ［ｉ］に含まれる学習用画像の画像データを入力データＤｉｎとしてモデル１１に入力する。これにより、モデル１１は現時点のパラメータに基づき出力データＤｏｕｔを生成する。訓練データＴＤ［ｉ］に含まれるアノテーション情報は、出力データＤｏｕｔに対する正解データに相当する。演算処理部１０は、訓練データＴＤ［ｉ］に基づく出力データＤｏｕｔと訓練データＴＤ［ｉ］に含まれるアノテーション情報との誤差を表す損失関数Ｌ［ｉ］を導出する。ステップＳ１３の後、ステップＳ１４に進む。

【0027】

ステップＳ１４において演算処理部１０は、誤差逆伝搬法により損失関数の勾配を導出する。損失関数Ｌ［ｉ］の勾配を特に記号“ｇ［ｉ］”にて参照する。損失関数Ｌ［ｉ］はモデル１１の第１～第Ｍパラメータに依存する関数である。即ち、第１～第Ｍパラメータは夫々に損失関数Ｌ［ｉ］の変数である。損失関数Ｌ［ｉ］の勾配ｇ［ｉ］はＭ次元のベクトル量であり、第１成分～第Ｍ成分からなる。勾配ｇ［ｉ］の第ｊ成分は、損失関数Ｌ［ｉ］の偏微分であって、損失関数Ｌ［ｉ］の第ｊパラメータに関する偏微分である。ここで、ｊは１以上且つＭ以下の整数を表す。ステップＳ１４の後、ステップＳ１５に進む。

【0028】

ステップＳ１５において演算処理部１０は、ステップＳ１４にて導出された勾配のノルムを導出する。勾配のノルムの定義方法は任意である。例えば勾配のＬ^２ノルムが導出されて良い。勾配のノルムは、以下では勾配ノルムと表記され得る。勾配ｇ［ｉ］のノルムを特に記号“||ｇ［ｉ］||”にて参照する。勾配ノルム||ｇ［ｉ］||は、勾配ｇ［ｉ］の第１成分～第Ｍ成分に基づくスカラー量である。ステップＳ１５の後、ステップＳ１６に進む。

【0029】

ステップＳ１６において演算処理部１０は、勾配ノルム||ｇ［ｉ］||をメモリ２０に格納する（記憶させる）。この際、勾配ノルム||ｇ［ｉ］||は格納部２１に格納されて保持される。ステップＳ１２～Ｓ２３の処理から成るループ処理が繰り返される中で、格納部２１に格納される勾配ノルムの個数が増大してゆく。図５には、格納部２１に複数の勾配ノルムが格納される様子が示される。以下では、格納部２１に格納される勾配ノルムの集まりを勾配ノルム群と称する。格納部２１に格納済みの勾配ノルムの個数を記号“ＮＵＭ”にて表す。故に勾配ノルム群はＮＵＭ個の勾配ノルムから成る。ステップＳ１６の後、ステップＳ１７に進む。

【0030】

ステップＳ１７において演算処理部１０は、勾配ノルムの個数ＮＵＭが所定の基準数ＮＵＭ_ＲＥＦ以上であるかを確認する。基準数ＮＵＭ_ＲＥＦは予め定められた正の整数値を有し、例えば５０又は１００である。個数ＮＵＭが基準数ＮＵＭ_ＲＥＦ以上である場合には（ステップＳ１７のＹｅｓ）、ステップＳ１８に進む。個数ＮＵＭが基準数ＮＵＭ_ＲＥＦより少ない場合には（ステップＳ１７のＮo）、ステップＳ１９に進む。ステップＳ１７において、個数ＮＵＭは変数ｉの値と一致するので、実際には“ｉ≧ＮＵＭ_ＲＥＦ”の成否に基づきステップＳ１８又はＳ１９への分岐を行えば良い。

【0031】

ステップＳ１８において演算処理部１０は閾値設定処理Ａにより閾値ｕを設定する。ステップＳ１９において演算処理部１０は閾値設定処理Ｂにより閾値ｕを設定する。閾値設定処理Ａ及びＢについては後述される。ステップＳ１８又はＳ１９の後、ステップＳ２０に進む。

【0032】

ステップＳ２０において演算処理部１０は、ステップＳ１５にて導出された勾配ノルム||ｇ［ｉ］||を現在の閾値ｕと比較することで、“||ｇ［ｉ］||＞ｎ”が成立しているかを判断する。。勾配ノルム||ｇ［ｉ］||が閾値ｕより大きければ（ステップＳ２０のＹｅｓ）、ステップＳ２１に進み、勾配ノルム||ｇ［ｉ］||が閾値ｕ以下であれば（ステップＳ２０のＮo）、ステップＳ２３に進む。

【0033】

ステップＳ２１において演算処理部１０は、ステップＳ１５にて導出された勾配ｇ［ｉ］を勾配クリッピングにより修正することで修正勾配ｇ_Ｃ［ｉ］を生成する。ステップＳ１５にて導出された勾配そのものと修正勾配とを明確に区別するべく、前者を、以下、適宜、原勾配と称する。修正勾配の算出式は、“ｇ_Ｃ［ｉ］＝ｇ［ｉ］・ｕ／||ｇ［ｉ］||”である。即ち、ステップＳ２１において演算処理部１０は、原勾配ｇ［ｉ］と閾値ｕとの積を勾配ノルム||ｇ［ｉ］||で除することで修正勾配ｇ_Ｃ［ｉ］を導出する。修正勾配ｇ_Ｃ［ｉ］は原勾配ｇ［ｉ］と同様にＭ次元のベクトル量である。ステップＳ２１の勾配クリッピングでは、原勾配ｇ［ｉ］の各成分が閾値ｕにて乗じられ且つ勾配ノルム||ｇ［ｉ］||で除される。即ち、原勾配ｇ［ｉ］の第ｊ成分と閾値ｕとの積を勾配ノルム||ｇ［ｉ］||で除することで得られる値が、修正勾配ｇ_Ｃ［ｉ］の第ｊ成分の値となる。ステップＳ２１の後、ステップＳ２２に進む。

【0034】

ステップＳ２２において演算処理部１０は、修正勾配ｇ_Ｃ［ｉ］に基づき勾配降下法によりモデル１１のパラメータを更新する。ステップＳ２３において演算処理部１０は、原勾配ｇ［ｉ］に基づき勾配降下法によりモデル１１のパラメータを更新する。勾配降下法は周知であるため、その詳細な説明を省略する。ステップＳ２２又はＳ２３の後、ステップＳ２４に進む。

【0035】

ステップＳ２４において演算処理部１０は所定の学習終了条件が成立したかを判断する。学習が収束したとき、学習終了条件が成立する。損失関数Ｌ［ｉ］の値が所定の微小値以下になったとき、学習が収束したと判断される。或いは、変数ｉの値が所定の反復上限回数（例えば１００００回）に達したとき、学習終了条件が成立しても良い。ステップＳ２４において学習終了条件が成立している場合には（ステップＳ２４のＹｅｓ）、図４に示す機械学習を終了する。図４の機械学習を経た後のパラメータを有するモデル１１（即ち学習終了条件の成立後のモデル１１）は学習済みモデルであり、良好な推論を行い得る物体検出器として機能する。

【0036】

ステップＳ２４において学習終了条件が成立していない場合には（ステップＳ２４のＮo）、ステップＳ２５に進む。ステップＳ２５において演算処理部１０は変数ｉに１を加算し、その後、ステップＳ１２に戻ってステップＳ１２から始まるループ処理を再度実行する。尚、訓練データＴＤ［ｉ_Ａ］における各学習用画像と訓練データＴＤ［ｉ_Ｂ］における各学習用画像とは互いに相違するものとする。ｉ_Ａ及びｉ_Ｂは互いに異なる任意の２つの自然数を表す。

【0037】

［閾値設定処理Ａ］
ステップＳ１８で実行される閾値設定処理Ａを説明する。今、“ｉ＝Ｋ”であるときに閾値設定処理Ａが実行されることを考える。Ｋは“Ｋ≧ＮＵＭ_ＲＥＦ”を満たす整数値を持つ。“ｉ＝Ｋ”の状態で閾値設定処理Ａが実行されるとき、図６に示す如く格納部２１には、計Ｋ個の勾配ノルム||ｇ［１］||～||ｇ［Ｋ］||から成る勾配ノルム群６１０が格納されている。尚、図６には各勾配ノルムの具体的数値も各勾配ノルムに対応付けて付記されている（後述の図７も同様）。勾配降下法の利用により、基本的には上記ループ処理の実行回数が増加するにつれて勾配ノルムが低下してゆくが、例外もある。

【0038】

閾値設定処理Ａにおいて演算処理部１０は、勾配ノルム群６１０に含まれる勾配ノルム||ｇ［１］||～||ｇ［Ｋ］||を昇順にソートする。図７に、昇順にソートされた勾配ノルム||ｇ［１］||～||ｇ［Ｋ］||の配列６２０（以下、昇順ソート配列６２０と称する）を示す。昇順ソート配列６２０では、より小さな値を持つ勾配ノルムが、より大きな値を持つ勾配ノルムよりも上位に配置される。故に昇順ソート配列６２０において、最上位に位置する勾配ノルムは、勾配ノルム||ｇ［１］||～||ｇ［Ｋ］||の内、最小の値を持つ勾配ノルムである。昇順ソート配列６２０において、最下位に位置する勾配ノルムは、勾配ノルム||ｇ［１］||～||ｇ［Ｋ］||の内、最大の値を持つ勾配ノルムである。同一の値を持つ２以上の勾配ノルムが勾配ノルム群６１０に含まれる場合、その２以上の勾配ノルムは昇順ソート配列６２０において上位及び下位の区別なく配列される。ここでは、説明の便宜上、勾配ノルム||ｇ［１］||～||ｇ［Ｋ］||は全て互いに異なる値を持つものとする。

【0039】

昇順ソート配列６２０において、最上位から見てＮ％の位置に対応する勾配ノルムを、対象勾配ノルムと称する。図７の例においては、最上位から見てＮ％の位置に配置される勾配ノルム||ｇ［ｋ_Ｘ］||が対象勾配ノルム６２１である。ｋ_Ｘは１以上Ｋ以下の整数値を持つ。演算処理部１０は昇順ソート配列６２０から対象勾配ノルム６２１を抽出する（換言すれば昇順ソート配列６２０に基づき勾配ノルム群６１０から対象勾配ノルム６２１を抽出する）。Ｎは０より大きく且つ１００未満の所定値を持つ。望ましくはＮは５０未満の正の値を持ち、機械学習工程が開始される前に予めハイパーパラメータとして定められる。例えば“Ｎ＝１０”又は“Ｎ＝２０”である。尚、以下に示す変数Ｊは“Ｊ＝Ｋ×Ｎ／１００”を満たす。

【0040】

値（Ｋ×Ｎ）が１００にて割り切れる場合、即ち変数Ｊが整数である場合、演算処理部１０は、勾配ノルム||ｇ［１］||～||ｇ［Ｋ］||の内、Ｊ番目に小さな値を持つ勾配ノルムを対象勾配ノルム６２１に設定する。例えば、“Ｋ＝３００”且つ“Ｎ＝２０”である場合、“Ｊ＝Ｋ×Ｎ／１００＝３００×２０／１００＝６０”より、勾配ノルム||ｇ［１］||～||ｇ［３００］||の内、６０番目に小さな値を持つ勾配ノルムが対象勾配ノルム６２１に設定される。

【0041】

値（Ｋ×Ｎ）が１００にて割り切れない場合、即ち変数Ｊが整数でない場合、演算処理部１０は、小数点以下切捨てにより変数Ｊの整数部分の値を特定値Ｊ’として求める。その上で、演算処理部１０は、勾配ノルム||ｇ［１］||～||ｇ［Ｋ］||の内、Ｊ’番目に小さな値を持つ勾配ノルムを対象勾配ノルム６２１に設定する。例えば、“Ｋ＝３０４”且つ“Ｎ＝２０”である場合、“Ｊ＝Ｋ×Ｎ／１００＝３０４×２０／１００＝６０．８”より“Ｊ’＝６０”となる。このため、勾配ノルム||ｇ［１］||～||ｇ［３００］||の内、６０番目に小さな値を持つ勾配ノルムが対象勾配ノルム６２１に設定される。

【0042】

或いは、値（Ｋ×Ｎ）が１００にて割り切れない場合、演算処理部１０は、四捨五入により変数Ｊに最も近い整数値を特定値Ｊ’として求めても良い。この場合も演算処理部１０は、勾配ノルム||ｇ［１］||～||ｇ［Ｋ］||の内、Ｊ’番目に小さな値を持つ勾配ノルムを対象勾配ノルム６２１に設定する。例えば、“Ｋ＝３０４”且つ“Ｎ＝２０”である場合において四捨五入を利用する場合、“Ｊ＝Ｋ×Ｎ／１００＝３０４×２０／１００＝６０．８”より“Ｊ’＝６１”となる。そうすると、勾配ノルム||ｇ［１］||～||ｇ［３００］||の内、６１番目に小さな値を持つ勾配ノルムが対象勾配ノルム６２１に設定される。

【0043】

演算処理部１０は昇順ソート配列６２０に基づき対象勾配ノルム６２１を設定及び抽出する。その上で、演算処理部１０は閾値設定処理Ａとして閾値設定処理Ａ１又はＡ２を用いることができる。閾値設定処理Ａ１及びＡ２の何れが採用される場合においても、対象勾配ノルム６２１が設定及び抽出されるまでの動作は同様である。

【0044】

閾値設定処理Ａ１に係る演算処理部１０は、図８に示す如く、抽出した対象勾配ノルム６２１を閾値ｕに設定する。即ち、対象勾配ノルム６２１の値そのものを閾値ｕに設定する。

【0045】

閾値設定処理Ａ２に係る演算処理部１０は、図９に示す如く、対象勾配ノルム６２１の抽出に加え、昇順ソート配列６２０において対象勾配ノルム６２１よりも上位に位置する各勾配ノルムも抽出する。そして、閾値設定処理Ａ２に係る演算処理部１０は、抽出した全ての勾配ノルムの平均を閾値ｕに設定する。例えば、勾配ノルム||ｇ［１］||～||ｇ［３００］||の内、６０番目に小さな値を持つ勾配ノルムが対象勾配ノルム６２１に設定された場合を考える。この場合、閾値設定処理Ａ２では、勾配ノルム||ｇ［１］||～||ｇ［３００］||の内、１番目～６０番目に小さな値を持つ計６０個の勾配ノルムが抽出される。そして、抽出された計６０個の勾配ノルムの平均が閾値ｕに設定される。ここにおける平均は単純平均でも良いし、加重平均でも良い。加重平均が利用される場合、加重平均における重みはハイパーパラメータとして予め定められる。

【0046】

［閾値設定処理Ｂ］
ステップＳ１９で実行される閾値設定処理Ｂを説明する。尚、学習終了条件が成立するときの変数ｉの値（例えば１００００）は、基本的に、上記の基準数ＮＵＭ_ＲＥＦ（例えば１００）よりも遥かに大きい。このため、ステップＳ１２～Ｓ２３から成るループ処理の繰り返しにおいて、最初の方の短時間だけステップＳ１９の閾値設定処理Ｂが選択実行され、その後はステップＳ１８の閾値設定処理Ａが選択実行される。つまり、格納部２１に格納された勾配ノルムの総数ＮＵＭが対象勾配ノルム６２１を設定し難い程度に小さい状態に限って、閾値設定処理Ｂが選択実行される。

【0047】

演算処理部１０は、閾値設定処理Ｂとして閾値設定処理Ｂ１又はＢ２を行うことができる。

【0048】

演算処理部１０は、閾値設定処理Ｂ１において所定の初期値を閾値ｕに設定する。ここにおける初期値はハイパーパラメータとして予め定められる。

【0049】

閾値設定処理Ｂ２は格納部２１に２以上の勾配ノルムが格納されていることを条件に実行される。従って閾値設定処理Ｂ２が採用される場合であっても、格納部２１に格納された勾配ノルムが勾配ノルム||ｇ［１］||のみである場合には、閾値設定処理Ｂ１に従い初期値が閾値ｕに設定される。尚、格納部２１に格納された勾配ノルムが勾配ノルム||ｇ［１］||のみである場合、初期値と勾配ノルム||ｇ［１］||との平均を閾値ｕに設定しても良い。演算処理部１０は、閾値設定処理Ｂ２において格納部２１に格納された全ての勾配ノルムの平均を閾値ｕに設定する。ここにおける平均は単純平均でも良いし、加重平均でも良い。加重平均が利用される場合、加重平均における重みはハイパーパラメータとして予め定められる。

【0050】

［機能ブロック図］
図１０に演算処理部１０の機能ブロック図を示す。演算処理部１０には機能ブロックＦ１～Ｆ８が設けられる。

【0051】

機能ブロックＦ１は、ステップＳ１２の処理を行うデータ取得部であって、データベース２から訓練データＴＤ［ｉ］を取得する。
機能ブロックＦ２はステップＳ１３の処理を行う損失関数導出部であって、訓練データＴＤ［ｉ］に基づき上述の損失関数Ｌ［ｉ］を導出する。
機能ブロックＦ３はステップＳ１４の処理を行う勾配導出部であって、損失関数Ｌ［ｉ］の勾配ｇ［ｉ］を導出する。
機能ブロックＦ４はステップＳ１５の処理を行う勾配ノルム導出部であって、勾配ｇ［ｉ］のノルム（即ち勾配ノルム||ｇ［ｉ］||）を導出する。
機能ブロックＦ５はステップＳ１６の処理を行う格納処理部であって、導出された勾配ノルム||ｇ［ｉ］||を格納部２１に格納させる（換言すれば記憶させる）。

【0052】

訓練データＴＤ［ｉ］はミニバッチ単位で順次取得される。損失関数Ｌ［ｉ］、勾配ｇ［ｉ］及び勾配ノルム||ｇ［ｉ］||の導出、並びに、勾配ノルム||ｇ［ｉ］||の格納部２１への格納は、訓練データが取得されるたびに実行される。

【0053】

機能ブロックＦ６はステップＳ１７～Ｓ１９の処理を行う閾値設定部である。閾値設定部Ｆ６は、格納部２１に格納済みの勾配ノルムの個数ＮＵＭに応じて閾値設定処理Ａ又はＢにより閾値ｕを設定する。

【0054】

機能ブロックＦ７はステップＳ２０～Ｓ２３の処理を行うパラメータ更新部である。パラメータ更新部Ｆ７は、訓練データごとに勾配ノルム||ｇ［ｉ］||と閾値ｕを比較し、比較結果に基づき勾配クリッピングによる修正の実行有無を決定する。パラメータ更新部Ｆ７は、“||ｇ［ｉ］||≦ｕ”であれば勾配導出部Ｆ３にて導出された勾配である原勾配ｇ［ｉ］を用いてモデル１１のパラメータを更新する（ステップＳ２３）。パラメータ更新部Ｆ７は、“||ｇ［ｉ］||＞ｕ”であれば原勾配ｇ［ｉ］に対し勾配クリッピングによる修正を施すことで修正勾配ｇ_Ｃ［ｉ］を導出し、修正勾配ｇ_Ｃ［ｉ］を用いてモデル１１のパラメータを更新する（ステップＳ２２）。

【0055】

機能ブロックＦ８はステップＳ２４の処理を行う終了判定部であって、上述の学習終了条件の成否を判定する。

【0056】

［参考方法との比較］
ここで、参考方法との比較において、本実施形態に係る機械学習装置１の有益性を説明する。上述したように、勾配爆発の対処方法として勾配クリッピングがある。参考方法では勾配クリッピングにおける閾値を予め定めて固定するが、閾値の最適化は難しい。参考方法において、小さな閾値を設定しておけば学習は安定化するが、一方で学習に有益な勾配情報が失われ易くなるため、モデルの性能が低下する可能性がある。逆に、閾値が必要以上に大きいと学習が不安定になる。

【0057】

他方、学習の初期段階ではモデルのパラメータが最適値から大きくずれていることが多いがために、損失関数の勾配は比較的大きい。学習が進行するとモデルのパラメータが最適値へと近づくため、損失関数の勾配は比較的小さくなる。

【0058】

これらを考慮し、本実施形態に係る機械学習装置１では、ミニバッチ学習の繰り返しの中で、導出される勾配ノルムを蓄積してゆき、勾配ノルムの蓄積データ（勾配ノルム群）を保持する。そして、勾配ノルムの蓄積データ（勾配ノルム群）に基づき閾値ｕを動的に設定する。これにより、学習の進行度合いに応じて閾値ｕを適正化することが可能となる。勾配ノルムの蓄積データには、学習がどの程度進行しているかの情報（モデル１１のパラメータが最適値に対してどの程度近づいているかの情報）が含まれるからである。学習の初期段階など、比較的大きな勾配ノルムのみが勾配ノルム群に含まれる状態では、比較的大きな閾値ｕを設定することで学習に有益な勾配情報の逸失を回避できる。学習が進行することで比較的小さな勾配ノルムが勾配ノルム群に含まれる状態では、比較的小さな閾値ｕを設定することで学習の安定化が図られる。

【0059】

尚、参考方法において閾値が小さな値にて固定されていると、ミニバッチ学習１回あたりにおけるパラメータの更新量が小さくなるため、学習の収束までにかかる時間（以下、学習の収束時間と称する）が比較的長くなる。逆に参考方法において閾値が大きな値にて固定されていると、ミニバッチ学習１回あたりにおけるパラメータの更新量が大きくなる。但し、その分、学習が不安定になりやすく、結果として、学習の収束時間が長くなる可能性がある。例えば、閾値が常に大きい場合、モデルのパラメータが適正値にかなり近づいてきたとしても、学習に不適正な訓練データが入力されたならばモデルのパラメータが大きく変動して収束状態から離れることがある。機械学習装置１による学習の進行度合いに応じた閾値ｕの適正化は、学習の収束時間の短縮化にも寄与する。

【0060】

具体的には上述の閾値設定処理Ａ（ステップＳ１８）により、勾配ノルムの昇順ソートを通じて閾値ｕを設定する。閾値設定処理Ａにより、学習の初期段階など、比較的大きな勾配ノルムのみが勾配ノルム群に含まれる状態では、比較的大きな閾値ｕが設定されるため学習に有益な勾配情報の逸失を回避できる。学習が進行することで比較的小さな勾配ノルムが勾配ノルム群に含まれる状態では、比較的小さな閾値ｕが設定されるので学習の安定化が図られる。

【0061】

但し、閾値設定処理Ａの実行には、格納部２１に対して勾配ノルムの情報が一定量以上、蓄積されていることが必要である。このため、閾値設定処理Ｂ（ステップＳ１９）を用意する。これにより、勾配ノルムの情報の蓄積量が小さい状態でも適正に勾配クリッピングを利用できる。

【0062】

演算処理部１０は、訓練データごとに訓練データに基づき損失関数の勾配及び勾配ノルムを導出する導出処理（ステップＳ１４及びＳ１５）を実行する。そして演算処理部１０は、訓練データごとに勾配ノルムと閾値との比較結果に基づき勾配クリッピングによる修正の実行有無を決定する（ステップＳ２０の分岐処理に対応）。この決定結果に従い、勾配の修正を経ずに（即ち原勾配を用いて）パラメータの更新を行う、又は、勾配の修正を経て（即ち修正勾配を用いて）パラメータの更新を行う（ステップＳ２１～Ｓ２３）。このような勾配クリッピングの実行制御により、勾配爆発をもたらすことなく、安定した学習を実現できる。

【0063】

より具体的には、演算処理部１０は単位処理を繰り返し実行する。単位処理は、ステップＳ１２～Ｓ２３の処理から成るループ処理に相当する。各単位処理において、演算処理部１０は、ミニバッチとして訓練データを取得して（ステップＳ１２）、取得した訓練データに基づき損失関数の勾配及び勾配ノルムを導出する（ステップＳ１３～Ｓ１５）。各単位処理において、演算処理部１０は、導出した勾配ノルムを格納部２１に格納する（ステップＳ１６）。各単位処理において、演算処理部１０は、勾配ノルムを閾値と比較し、勾配ノルムと閾値との比較結果に基づき勾配クリッピングによる修正の実行有無を決定する（ステップＳ２０）。各単位処理において、演算処理部１０は、その決定結果に基づき原勾配又は修正勾配を用いてモデル１１のパラメータを更新する（ステップＳ２１～Ｓ２３）。このような勾配クリッピングの実行制御により、勾配爆発をもたらすことなく、安定した学習を実現できる。

【0064】

［付記］
学習済みモデル（即ち機械学習を経た後のモデル１１）を車載装置（不図示）に適用して良い。車載装置は自動車等の車両に搭載される電子機器の一種である。車載装置において学習済みモデルにより所定の推論を行わせ、推論結果を車両で実施され得る自動運転又は運転支援等に利用して良い。尚、機械学習装置１自体が車載装置であっても構わない。車両（例えば放送中継車）によっては、豊富な計算資源を有する車載装置が設置されることもあり、この場合においては特に機械学習装置１自体を車載装置とすることも可能である。

【0065】

学習用データにおける各学習用画像は、車載カメラにて撮影された画像であって良い。車載カメラは任意の車両に設置されたカメラであり、ドライブレコーダを構成するカメラ又はドライブレコーダに接続されるカメラであって良い。学習用データにおけるアノテーション情報は既存の物体検出器（不図示）を用いて生成されても良いし、人間の手作業を介して生成されても良い。本実施形態に係る機械学習を実行する段階で現存する機械学習用のデータセットを、学習用データとして用いても良い。

【0066】

機械学習装置１及び機械学習装置１にて具体化された本発明を、車載用途とは異なる任意の用途に適用することも可能である。

【0067】

本発明の実施形態にて述べた任意の方法をコンピュータに実行させるプログラム、及び、そのプログラムを記録した記録媒体であって且つコンピュータ読み取り可能な不揮発性の記録媒体は、本発明の実施形態の範囲に含まれる。本発明の実施形態における任意の処理は、半導体集積回路等のハードウェア、上記プログラムに相当するソフトウェア、又は、ハードウェアとソフトウェアの組み合わせによって実現されて良い。

【0068】

本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

【符号の説明】

【0069】

１ 機械学習装置
２ データベース
１０ 演算処理部
１１ モデル
１２ ニューラルネットワーク
２０ メモリ
２１ 勾配ノルム格納部
ＤＳ 学習用データ
ＤＳ１ 画像データセット
Ｆ１ データ取得部
Ｆ２ 損失関数導出部
Ｆ３ 勾配導出部
Ｆ４ 勾配ノルム導出部
Ｆ５ 格納処理部
Ｆ６ 閾値設定部
Ｆ７ パラメータ更新部
Ｆ８ 終了判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】