特開 2022-65599 機械学習モデルのハイパーパラメータ最適化過程の分析と調整のためのチューニングアルゴリズム認識視覚化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022065599

(43)【公開日】2022-04-27

(54)【発明の名称】機械学習モデルのハイパーパラメータ最適化過程の分析と調整のためのチューニングアルゴリズム認識視覚化方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20220420BHJP

【ＦＩ】

G06N20/00

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2021016212

(22)【出願日】2021-02-04

(31)【優先権主張番号】10-2020-0133210

(32)【優先日】2020-10-15

(33)【優先権主張国・地域又は機関】KR

【新規性喪失の例外の表示】新規性喪失の例外適用申請有り

(71)【出願人】

【識別番号】505205812

【氏名又は名称】ネイバー コーポレーション

【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ

(71)【出願人】

【識別番号】321003371

【氏名又は名称】ＬＩＮＥ株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】朴 興錫

(72)【発明者】

【氏名】金 志訓

(72)【発明者】

【氏名】朱 宰傑

(57)【要約】

【課題】機械学習モデルのハイパーパラメータ最適化過程の分析と調整のためのチューニングアルゴリズム認識視覚化方法およびシステムを提供する。
【解決手段】一実施形態に係るコンピュータシステムが実行するハイパーパラメータ調整方法は、ハイパーパラメータの組み合わせを探索するためのアルゴリズムを利用して探索された複数のハイパーパラメータの組み合わせの学習モデルに基づき、アルゴリズムの探索過程を視覚化する段階、および前記視覚化されたアルゴリズムの探索過程によってハイパーパラメータまたはハイパーパラメータの組み合わせの重要度を分析し、学習モデルの性能と関連のあるハイパーパラメータの情報をガイドする段階を含む。
【選択図】図６

【特許請求の範囲】

【請求項1】

コンピュータシステムが実行するハイパーパラメータ調整方法であって、
前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記ハイパーパラメータ調整方法は、
ハイパーパラメータの組み合わせを探索するためのアルゴリズムを利用して探索された複数のハイパーパラメータ組み合わせの学習モデルに基づき、アルゴリズムの探索過程を視覚化する段階、および
前記視覚化されたアルゴリズムの探索過程によってハイパーパラメータまたはハイパーパラメータ組み合わせの重要度を分析し、学習モデルの性能と関連のあるハイパーパラメータの情報をガイドする段階
を含む、ハイパーパラメータ調整方法。

【請求項2】

前記視覚化する段階は、
ハイパーパラメータの組み合わせを探索するための自動化された機械学習アルゴリズムを利用する段階
を含む、請求項１に記載のハイパーパラメータ調整方法。

【請求項3】

前記視覚化する段階は、
前記アルゴリズムを利用して探索されたハイパーパラメータ探索空間に対する設定情報を構成するように前記複数のハイパーパラメータの組み合わせの学習モデルに基づき、前記アルゴリズムの性能および前記アルゴリズムの構成を診断するためのアルゴリズムの探索過程を視覚化する段階
を含む、請求項１に記載のハイパーパラメータ調整方法。

【請求項4】

前記ガイドする段階は、
前記アルゴリズムを利用して探索されたハイパーパラメータ探索空間と前記ハイパーパラメータに対して構成された設定情報の組み合わせを平行座標グラフ上に位置させ、前記ハイパーパラメータの相対的な重要度を前記平行座標グラフの周辺に反映させた図形形態のインタフェースを視覚化する段階
を含む、請求項１に記載のハイパーパラメータ調整方法。

【請求項5】

前記ガイドする段階は、
前記ハイパーパラメータを示すそれぞれのユーザインタフェースを前記平行座標グラフに構成し、前記構成されたそれぞれのユーザインタフェースを前記ハイパーパラメータの相対的な重要度にしたがって予め設定された方向から位置させ、前記位置させたそれぞれのユーザインタフェースに対応して前記平行座標グラフの座標を並べる段階
を含む、請求項４に記載のハイパーパラメータ調整方法。

【請求項6】

前記ガイドする段階は、
前記ハイパーパラメータを示すそれぞれのユーザインタフェースに対するユーザとの相互作用により、前記ハイパーパラメータをアクティブ化させる段階
を含む、請求項５に記載のハイパーパラメータ調整方法。

【請求項7】

前記ガイドする段階は、
前記ユーザが選択したユーザインタフェースに対応するハイパーパラメータの相対的な重要度値を数値化し、前記選択されたハイパーパラメータを示すユーザインタフェースを拡大し、前記選択されたハイパーパラメータと関連性のある他のハイパーパラメータを関連性の値にしたがって配置し、前記選択されたハイパーパラメータに対する設定値の範囲を平行座標グラフと複数のバーで構成された視覚化モジュールによって視覚化する段階
を含む、請求項６に記載のハイパーパラメータ調整方法。

【請求項8】

前記ガイドする段階は、
前記ハイパーパラメータの重要度算出結果をマトリックス形態によって視覚化する段階
を含む、請求項７に記載のハイパーパラメータ調整方法。

【請求項9】

前記ガイドする段階は、
前記マトリックス形態で構成された各行に、前記ハイパーパラメータまたは前記ハイパーパラメータの組み合わせの重要度と前記重要度の信頼値を視覚化し、ユーザからの相互作用によって前記各行がアクティブ化することにより、前記重要度に対する詳細情報を提供する段階
を含む、請求項８に記載のハイパーパラメータ調整方法。

【請求項10】

前記ガイドする段階は、
前記ハイパーパラメータのタイプにしたがい、前記ハイパーパラメータに対する詳細情報を互いに異なるプロットによって視覚化する段階
を含む、請求項９に記載のハイパーパラメータ調整方法。

【請求項11】

前記視覚化する段階は、
前記学習モデルの性能更新を確認するためのモニタリングビューを提供し、ユーザによって設定情報が構成された、自動化された機械学習アルゴリズムの性能更新記録を折れ線グラフによって視覚化する段階
を含む、請求項１に記載のハイパーパラメータ調整方法。

【請求項12】

前記視覚化する段階は、
前記自動化された機械学習アルゴリズムが探索ロジックを繰り返すことによって探索ロジックのインデックスをｘ軸に表現し、前記自動化された機械学習アルゴリズムによって探索された学習モデルの性能をｙ軸に表現し、探索ロジックを繰り返すことによって各インデックスで探索された学習モデルを前記ｘ軸とｙ軸の値にしたがって折れ線グラフの座標上に点で位置させる段階
を含む、請求項１１に記載のハイパーパラメータ調整方法。

【請求項13】

前記視覚化する段階は、
前記アルゴリズムの性能を確認するための探索ヒストリービューを提供し、自動化された機械学習アルゴリズムを実行する前に設定されたハイパーパラメータ探索空間に基づいて複数のプロットを構成し、前記構成された複数のプロットのそれぞれのプロットによってハイパーパラメータの探索空間に対する探索ヒストリーを可視化する段階
を含む、請求項１に記載のハイパーパラメータ調整方法。

【請求項14】

前記視覚化する段階は、
前記構成された複数のプロットを学習モデルの性能向上モニタリングビューのｘ軸と一致させて自動化された機械学習アルゴリズムの探索ロジックのインデックスを表現し、ｙ軸にハイパーパラメータ探索空間の範囲を表現し、探索ロジックを繰り返すことによって各インデックスで探索された学習モデルをハイパーパラメータの値にしたがって座標上に点で位置させる段階
を含む、請求項１３に記載のハイパーパラメータ調整方法。

【請求項15】

前記視覚化する段階は、
前記構成された複数のプロットでハイパーパラメータのタイプによって学習モデルに対応するそれぞれの点が重なる場合、斥力を加えて点を位置させる段階
を含む、請求項１４に記載のハイパーパラメータ調整方法。

【請求項16】

前記視覚化する段階は、
前記自動化された機械学習アルゴリズムの探索ロジック特性にしたがい、点線と曲線を利用して学習モデルに対応するそれぞれの点を連結して学習モデルとの関係を視覚化する段階
を含む、請求項１４に記載のハイパーパラメータ調整方法。

【請求項17】

請求項１～１６のうちのいずれか一項に記載のハイパーパラメータ調整方法を前記コンピュータシステムに実行させる、コンピュータプログラム。

【請求項18】

請求項１～１６のうちのいずれか一項に記載のハイパーパラメータ調整方法をコンピュータに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体。

【請求項19】

コンピュータシステムであって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
ハイパーパラメータの組み合わせを探索するためのアルゴリズムを利用して探索された複数のハイパーパラメータの組み合わせの学習モデルに基づき、前記アルゴリズムの探索過程を視覚化する視覚化部、および
前記視覚化されたアルゴリズムの探索過程によってハイパーパラメータまたはハイパーパラメータの組み合わせの重要度を分析し、学習モデルの性能と関連のあるハイパーパラメータの情報をガイドする最適化部
を含む、コンピュータシステム。

【請求項20】

前記視覚化部は、
ハイパーパラメータの組み合わせを探索するための自動化された機械学習アルゴリズムを利用することを特徴とする、
請求項１９に記載のコンピュータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

以下の説明は、学習モデルのハイパーパラメータを最適化する技術に関する。

【背景技術】

【0002】

深層神経網モデルの研究と開発において、ハイパーパラメータ（ｈｙｐｅｒｐａｒａｍｅｔｅｒ）の調整はモデルの性能に極めて大きな影響を及ぼすため、実務者の多くは調整過程を手動で繰り返し行う。このようなハイパーパラメータの調整過程での苦労を和らげるために、ハイパーパラメータ探索空間（ｈｙｐｅｒｐａｒａｍｅｔｅｒ ｓｅａｒｃｈ ｓｐａｃｅ）でハイパーパラメータの最適な組み合わせを探索する、自動化された機械学習（ＡｕｔｏＭＬ）方式が開発された。

【0003】

ところが、このような自動化された機械学習による探索は、初期構成（ｃｏｎｆｉｇｕｒａｔｉｏｎ）の設定によってその結果が多様となり、実務者が適用しようとする人工知能モデルに相応しい構成を見つけるためには、また違った手動の繰り返し過程が必要となる。過去に開発された自動化された機械学習技術は、初期構成の設定に対して明確なガイドを提供することができずにいる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

深層神経網モデルの種類と自動化された機械学習（ＡｕｔｏＭＬ）方法の種類に限定されない、ユーザ主導型のハイパーパラメータ調整過程を支援する、視覚的分析方法およびシステムを提供する。

【0005】

自動化された機械学習の探索結果から得られた分析内容に基づき、探索空間（ｓｅａｒｃｈ ｓｐａｃｅ）と自動化された機械学習アルゴリズムの構成を調整する方法およびシステムを提供する。

【0006】

互いに異なるハイパーパラメータの相対的な重要度分析と相互作用効果（ｉｎｔｅｒａｃｔｉｏｎ ｅｆｆｅｃｔ）分析に基づいてハイパーパラメータの探索空間を調整できる環境を造成する方法およびシステムを提供する。

【課題を解決するための手段】

【0007】

コンピュータシステムが実行するハイパーパラメータ調整方法であって、前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記ハイパーパラメータ調整方法は、ハイパーパラメータの組み合わせを探索するためのアルゴリズムを利用して探索された複数のハイパーパラメータの組み合わせの学習モデルに基づき、アルゴリズムの探索過程を視覚化する段階、および前記視覚化されたアルゴリズムの探索過程によってハイパーパラメータまたはハイパーパラメータの組み合わせの重要度を分析し、学習モデルの性能と関連のあるハイパーパラメータの情報をガイド（ｇｕｉｄｅ）する段階を含んでよい。

【0008】

前記視覚化する段階は、ハイパーパラメータの組み合わせを探索するための自動化された機械学習（ＡｕｔｏＭＬ）アルゴリズムを利用する段階を含んでよい。

【0009】

前記視覚化する段階は、前記機械学習アルゴリズムを利用して探索されたハイパーパラメータ探索空間に対する設定情報を構成するように前記複数のハイパーパラメータの組み合わせの学習モデルに基づき、アルゴリズムの性能およびアルゴリズムの構成を診断するための探索過程を視覚化する段階を含んでよい。

【0010】

前記視覚化する段階は、前記探索されたハイパーパラメータ探索空間と前記ハイパーパラメータに対して構成された設定情報の組み合わせを平行座標グラフ上に位置させ、前記ハイパーパラメータの相対的な重要度を前記平行座標グラフの周辺に反映させた図形形態のインタフェースを視覚化する段階を含んでよい。

【0011】

前記視覚化する段階は、前記ハイパーパラメータを示すそれぞれのユーザインタフェースを前記平行座標グラフで構成し、前記構成されたそれぞれのユーザインタフェースをハイパーパラメータの相対的な重要度にしたがって予め設定された方向から位置させ、前記位置されたそれぞれのユーザインタフェースに対応して前記平行座標グラフの座標を並べる段階を含んでよい。

【0012】

前記視覚化する段階は、前記ハイパーパラメータを示すそれぞれのユーザインタフェースに対するユーザとの相互作用により、ハイパーパラメータをアクティブ化させる段階を含んでよい。

【0013】

前記視覚化する段階は、前記ユーザが選択したユーザインタフェースに対応するハイパーパラメータの相対的な重要度値を数値化し、前記選択されたハイパーパラメータを示すユーザインタフェースを拡大し、前記選択されたハイパーパラメータと関連性のある他のハイパーパラメータを関連性の値にしたがって配置し、前記選択されたハイパーパラメータに対する設定値の範囲を平行座標グラフと複数のバー（Ｂａｒ）で構成された視覚化モジュールによって視覚化する段階を含んでよい。

【0014】

前記視覚化する段階は、前記ハイパーパラメータの重要度算出結果をマトリックス形態で視覚化する段階を含んでよい。

【0015】

前記視覚化する段階は、前記マトリックス形態で構成された各行に、ハイパーパラメータまたはハイパーパラメータの組み合わせの重要度と前記重要度の信頼値を視覚化し、ユーザからの相互作用によって前記各行がアクティブ化することにより、ハイパーパラメータの重要度に対する詳細情報を提供する段階を含んでよい。

【0016】

前記視覚化する段階は、前記ハイパーパラメータのタイプ（ｔｙｐｅ）にしたがい、前記ハイパーパラメータに対する詳細情報を互いに異なるプロットによって視覚化する段階を含んでよい。

【0017】

前記視覚化する段階は、前記学習モデルの性能更新を確認するためのモニタリングビューを提供し、ユーザによって設定情報が構成された、自動化された機械学習アルゴリズムの性能更新記録を折れ線グラフによって視覚化する段階を含んでよい。

【0018】

前記視覚化する段階は、前記自動化された機械学習アルゴリズムが探索ロジックを繰り返すことによって探索ロジックのインデックスをｘ軸に表現し、前記自動化された機械学習アルゴリズムによって探索された学習モデルの性能をｙ軸に表現し、探索ロジックを繰り返すことによって各インデックスで探索された学習モデルは、前記ｘ軸とｙ軸の値にしたがって折れ線グラフの座標上に点（ｐｏｉｎｔ）で位置させる段階を含んでよい。

【0019】

前記視覚化する段階は、前記アルゴリズムの性能を確認するための探索ヒストリービューを提供し、自動化された機械学習アルゴリズムを実行する前に設定されたハイパーパラメータ探索空間に基づいて複数のプロットを構成し、前記構成された複数のプロットのうちのそれぞれのプロットにより、ハイパーパラメータの探索空間に対する探索ヒストリーを可視化する段階を含んでよい。

【0020】

前記視覚化する段階は、前記構成された複数のプロットを学習モデルの性能向上モニタリングビューのｘ軸と一致させて自動化された機械学習アルゴリズムの探索ロジックのインデックスを表現し、ｙ軸にハイパーパラメータ探索空間の範囲を表現し、探索ロジックを繰り返すことによって各インデックスで探索された学習モデルは、ハイパーパラメータの値にしたがって座標上に点（ｐｏｉｎｔ）で位置させる段階を含んでよい。

【0021】

前記視覚化する段階は、前記構成された複数のプロットでハイパーパラメータのタイプ（ｔｙｐｅ）によって学習モデルに対応するそれぞれの点が重なる場合、斥力（ｒｅｐｕｌｓｉｖｅ ｆｏｒｃｅ）を加えて点を位置させる段階を含んでよい。

【0022】

前記視覚化する段階は、前記自動化された機械学習アルゴリズムの探索ロジックの特性にしたがい、点線と曲線を利用して学習モデルに対応する点を連結して学習モデルとの関係を視覚化する段階を含んでよい。

【0023】

ハイパーパラメータ調整方法を前記コンピュータシステムに実行させるために非一時的なコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラムを提供する。

【0024】

ハイパーパラメータ調整方法をコンピュータに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体を提供する。

【0025】

コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、ハイパーパラメータの組み合わせを探索するためのアルゴリズムを利用して探索された複数のハイパーパラメータの組み合わせの学習モデルに基づき、前記アルゴリズムの探索過程を視覚化する視覚化部、および前記視覚化されたアルゴリズムの探索過程によってハイパーパラメータまたはハイパーパラメータの組み合わせの重要度を分析し、学習モデルの性能と関連のあるハイパーパラメータの情報をガイド（ｇｕｉｄｅ）する最適化部を含んでよい。

【0026】

前記視覚化部は、ハイパーパラメータの組み合わせを探索するための自動化された機械学習（ＡｕｔｏＭＬ）アルゴリズムを利用してよい。

【発明の効果】

【0027】

深層神経網に基づく学習モデルの種類と自動化された機械学習（ＡｕｔｏＭＬ）の種類に限定されない、ユーザ主導型のハイパーパラメータ調整過程を提供することができる。

【0028】

自動化された機械学習の探索結果から得られた分析情報に基づき、探索空間（ｓｅａｒｃｈ ｓｐａｃｅ）と自動化された機械学習アルゴリズムの構成を精密に調整することができる。

【0029】

互いに異なるハイパーパラメータの相対的な重要度分析と相互作用効果（ｉｎｔｅｒａｃｔｉｏｎ ｅｆｆｅｃｔ）分析に基づき、ハイパーパラメータの探索空間を効率的に調整することができる。

【図面の簡単な説明】

【0030】

【図1】一実施形態における、コンピュータシステムの内部構成の一例を説明するためのブロック図である。

【図2】一実施形態における、コンピュータシステムのプロセッサが含むことのできる構成要素の例を示した図である。

【図3】一実施形態における、コンピュータシステムが実行することのできるハイパーパラメータ最適化過程の分析と調整のための視覚化方法を説明するためのフローチャートである。

【図4】一実施形態における、コンピュータシステムで学習モデルのハイパーパラメータの最適化過程と視覚的分析を実行する概略的な動作を説明するための図である。

【図5a】一実施形態における、コンピュータシステムで自動化された機械学習の結果を視覚化した例示図である。

【図5b】一実施形態における、コンピュータシステムで自動化された機械学習の結果を視覚化した例示図である。

【図5c】一実施形態における、コンピュータシステムで自動化された機械学習の結果を視覚化した例示図である。

【図5d】一実施形態における、コンピュータシステムで自動化された機械学習の結果を視覚化した例示図である。

【図5e】一実施形態における、コンピュータシステムで自動化された機械学習の結果を視覚化した例示図である。

【図6】一実施形態における、コンピュータシステムで自動化された機械学習アルゴリズムの探索過程を視覚化する動作を説明するための図である。

【図7a】一実施形態における、コンピュータシステムで自動化された機械学習アルゴリズムの探索結果を視覚化したものを比較するための例示図である。

【図7b】一実施形態における、コンピュータシステムで自動化された機械学習アルゴリズムの探索結果を視覚化したものを比較するための例示図である。

【図7c】一実施形態における、コンピュータシステムで自動化された機械学習アルゴリズムの探索結果を視覚化したものを比較するための例示図である。

【図8a】一実施形態における、コンピュータシステムで自動化された機械学習アルゴリズムで探索されたハイパーパラメータの探索空間の分析と調整を視覚化する動作を説明するための図である。

【図8b】一実施形態における、コンピュータシステムで自動化された機械学習アルゴリズムで探索されたハイパーパラメータの探索空間の分析と調整を視覚化する動作を説明するための図である。

【発明を実施するための形態】

【0031】

以下、実施形態について、添付の図面を参照しながら詳しく説明する。

【0032】

図１は、一実施形態における、コンピュータシステムの例を示したブロック図である。例えば、実施形態に係るハイパーパラメータ最適化過程の分析と調整のための視覚化システムは、図１に示したコンピュータシステム１００によって実現されてよい。

【0033】

図１に示すように、コンピュータシステム１００は、本発明の実施形態に係るハイパーパラメータ最適化過程の分析と調整のための視覚化方法を実行するための構成要素として、メモリ１１０、プロセッサ１２０、通信インタフェース１３０、および入力／出力インタフェース１４０を含んでよい。

【0034】

メモリ１１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ１１０とは区分される別の永続的記録装置としてコンピュータシステム１００に含まれてもよい。また、メモリ１１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ１１０とは別のコンピュータ読み取り可能な記録媒体からメモリ１１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース１３０を通じてメモリ１１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１６０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータシステム１００のメモリ１１０にロードされてよい。

【0035】

プロセッサ１２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ１１０または通信インタフェース１３０によって、プロセッサ１２０に提供されてよい。例えば、プロセッサ１２０は、メモリ１１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

【0036】

通信インタフェース１３０は、ネットワーク１６０を介してコンピュータシステム１００が他の装置と互いに通信するための機能を提供してよい。一例として、コンピュータシステム１００のプロセッサ１２０がメモリ１１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース１３０の制御にしたがってネットワーク１６０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１６０を経てコンピュータシステム１００の通信インタフェース１３０を通じてコンピュータシステム１００に受信されてよい。通信インタフェース１３０を通じて受信された信号や命令、データなどは、プロセッサ１２０やメモリ１１０に伝達されてよく、ファイルなどは、コンピュータシステム１００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

【0037】

通信方式が限定されることはなく、ネットワーク１６０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離有線／無線通信が含まれてもよい。例えば、ネットワーク１６０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１６０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

【0038】

入力／出力インタフェース１４０は、入力／出力装置１５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、カメラ、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力／出力インタフェース１４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置１５０は、コンピュータシステム１００と１つの装置で構成されてもよい。

【0039】

また、他の実施形態において、コンピュータシステム１００は、図１の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術の構成要素を明確に図に示す必要はない。例えば、コンピュータシステム１００は、上述した入力／出力装置１５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。

【0040】

従来の技術は、ハイパーパラメータ（ｈｙｐｅｒｐａｒａｍｅｔｅｒ）の最適化作業のための強力なデータ探索であると同時に、人間の洞察力（ｈｕｍａｎ ｉｎｓｉｇｈｔ）を活用して最適化過程の透明性（ｔｒａｎｓｐａｒｅｎｃｙ）を向上させることに寄与してきたが、最適化過程の分析に必要な２つの重要な側面については考慮できていなかった。

【0041】

１つ目に、従来の技術は、どのようなハイパーパラメータが機械学習モデルの性能により多くの影響を与えるか、重要なハイパーパラメータが存在する場合には、この探索空間（ｓｅａｒｃｈ ｓｐａｃｅ）のどの範囲が追加の探索のために有望であるかについて、ユーザに明らかにガイドできていなかった。したがって、探索空間の調整は、ユーザの直観（ｉｎｔｕｉｔｉｏｎ）に全面的に依存するしかなかった。２つ目に、従来の技術は、ハイパーパラメータ最適化過程とその結果に大きな影響を及ぼす、自動化された機械学習（ＡｕｔｏＭＬ）アルゴリズムの設定構成（ｃｏｎｆｉｇｕｒａｔｉｏｎ）と設定構成を診断することの重要性について考慮しなかった。

【0042】

実施形態では、重要なハイパーパラメータと前記ハイパーパラメータの効果的な値の範囲について明確なガイダンス（ｅｘｐｌｉｃｉｔ ｇｕｉｄａｎｃｅ）を提供することにより、ユーザが必要のない探索空間を発見することができ、最適化過程の全体的な効率性の向上をサポートすることができる。また、自動化された機械学習アルゴリズムは多種多様であり、それぞれのアルゴリズム特性に応じて構成方式も異なる。これにより、ハイパーパラメータの最適化を実行する前に、ユーザが、探索空間と学習モデルによる設定値を含む設定構成によって探索方式と探索結果を決定するにあたり、設定値を考慮することができる。

【0043】

実施形態によると、自動化された機械学習アルゴリズムの複雑な行為に対する視覚化技法を提案する。これにより、自動化された機械学習アルゴリズムの動作方式をユーザに理解させることができ、設定した初期構成による学習モデルを診断できるようにすることで、自動化された機械学習の潜在力を最大化することができる。

【0044】

図２は、一実施形態における、コンピュータシステムのプロセッサが含むことのできる構成要素の例を示した図であり、図３は、一実施形態における、コンピュータシステムが実行することのできるハイパーパラメータ最適化過程の分析と調整のための視覚化方法を説明するためのフローチャートである。

【0045】

図２に示すように、プロセッサ１２０は、視覚化部２１０および最適化部２２０を含んでよい。このようなプロセッサ１２０の構成要素は、少なくとも１つのプログラムコードによって提供される制御命令にしたがってプロセッサ１２０によって実行される、互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。

【0046】

プロセッサ１２０およびプロセッサ１２０の構成要素は、図３のハイパーパラメータ最適化過程の分析と調整のための視覚化方法が含む段階３１０～３２０を実行してよい。例えば、プロセッサ１２０およびプロセッサ１２０の構成要素は、メモリ１１０が含むオペレーティングシステムのコードと、上述した少なくとも１つのプログラムコードとによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、少なくとも１つのプログラムコードは、ハイパーパラメータ最適化過程の分析と調整のための視覚化方法を処理するために実現されたプログラムのコードに対応してよい。

【0047】

プロセッサ１２０は、ハイパーパラメータ最適化過程の分析と調整のための視覚化方法のためのプログラムファイルに記録されたプログラムコードをメモリ１１０にロードしてよい。例えば、ハイパーパラメータ最適化過程の分析と調整のための視覚化方法のためのプログラムファイルは、メモリ１１０とは区分される永続的記録装置に記録されていてよく、プロセッサ１２０は、バスを介して永続的記録装置に記録されたプログラムファイルからプログラムコードがメモリ１１０にロードされるようにコンピュータシステム１００を制御してよい。このとき、プロセッサ１２０およびプロセッサ１２０が含む視覚化部２１０および最適化部２２０それぞれは、メモリ１１０にロードされたプログラムコードのうちの対応する部分の命令を実行して以下の段階３１０～３２０を実行するためのプロセッサ１２０の互いに異なる機能的表現であってよい。段階３１０～３２０の実行のために、プロセッサ１２０およびプロセッサ１２０の構成要素は、制御命令による演算を直接処理するか、またはコンピュータシステム１００を制御してよい。

【0048】

段階３１０で、視覚化部２１０は、ハイパーパラメータの組み合わせを探索するためのアルゴリズムを利用して探索された複数のハイパーパラメータの組み合わせの学習モデルに基づき、アルゴリズムの探索過程を視覚化してよい。視覚化部２１０は、ハイパーパラメータの組み合わせを探索するための自動化された機械学習（ＡｕｔｏＭＬ）アルゴリズムを利用してよい。視覚化部２１０は、アルゴリズムを利用して探索されたハイパーパラメータ探索空間に対する設定情報を構成するように複数のハイパーパラメータの組み合わせの学習モデルに基づき、アルゴリズムの性能およびアルゴリズムの構成を診断するための探索過程を視覚化してよい。視覚化部２１０は、学習モデルの性能更新を確認するためのモニタリングビューを提供し、ユーザによって設定情報が構成された、自動化された機械学習アルゴリズムの性能更新記録を折れ線グラフによって視覚化してよい。視覚化部２１０は、自動化された機械学習アルゴリズムが探索ロジックを繰り返すことによって探索ロジックのインデックスをｘ軸に表現し、自動化された機械学習アルゴリズムによって探索された学習モデルの性能をｙ軸に表現し、探索ロジックを繰り返すことによって各インデックスで探索された学習モデルは、ｘ軸とｙ軸の値にしたがって折れ線グラフの座標上に点（ｐｏｉｎｔ）で位置させてよい。視覚化部２１０は、アルゴリズムの性能を確認するための探索ヒストリービューを提供し、自動化された機械学習アルゴリズムを実行する前に設定されたハイパーパラメータ探索空間に基づいて複数のプロットを構成し、構成された複数のプロットのそれぞれのプロットを使用してハイパーパラメータの探索空間に対する探索ヒストリーを可視化してよい。視覚化部２１０は、構成された複数のプロットを学習モデルの性能向上モニタリングビューのｘ軸と一致させて自動化された機械学習アルゴリズムの探索ロジックのインデックスを表現し、ｙ軸にハイパーパラメータ探索空間の範囲を表現し、探索ロジックを繰り返すことによって各インデックスで探索された学習モデルは、ハイパーパラメータの値にしたがって座標上に点（ｐｏｉｎｔ）で位置させてよい。視覚化部２１０は、構成された複数のプロットでハイパーパラメータのタイプ（ｔｙｐｅ）によって学習モデルに対応する点が重なる場合、斥力（ｒｅｐｕｌｓｉｖｅ ｆｏｒｃｅ）を加えて点を位置させてよい。視覚化部２１０は、自動化された機械学習アルゴリズムの探索ロジックの特性にしたがい、点線と曲線を利用して学習モデルに対応する点を連結して学習モデルとの関係を視覚化してよい。

【0049】

段階３２０で、最適化部２２０は、視覚化されたアルゴリズムの探索過程によってハイパーパラメータまたはハイパーパラメータの組み合わせの重要度を分析し、学習モデルの性能と関連のあるハイパーパラメータの情報をガイド（ｇｕｉｄｅ）してよい。最適化部２２０は、アルゴリズムを利用して探索されたハイパーパラメータ探索空間とハイパーパラメータに対して構成された設定情報の組み合わせを平行座標グラフ上に位置させ、ハイパーパラメータの相対的な重要度を平行座標グラフの周辺に反映させた図形形態のインタフェースを視覚化してよい。最適化部２２０は、ハイパーパラメータを示すそれぞれのユーザインタフェースを平行座標グラフに構成し、構成されたそれぞれのユーザインタフェースをハイパーパラメータの相対的な重要度にしたがって予め設定された方向から位置させ、位置させたそれぞれのユーザインタフェースに対応して平行座標グラフの座標を並べてよい。最適化部２２０は、ハイパーパラメータを示すそれぞれのユーザインタフェースに対するユーザとの相互作用（例えば、ドラッグ、タッチ、クリックなど）により、ハイパーパラメータをアクティブ化させてよい。最適化部２２０は、ユーザから選択されたユーザインタフェースに対応するハイパーパラメータの相対的な重要度値を数値化し、選択されたハイパーパラメータを示すユーザインタフェースを拡大し、選択されたハイパーパラメータと関連性のある他のハイパーパラメータを関連性の値にしたがって配置し、選択されたハイパーパラメータに対する設定値の範囲を平行座標グラフと複数のバー（Ｂａｒ）で構成された視覚化モジュールによって視覚化してよい。最適化部２２０は、ハイパーパラメータの重要度算出結果をマトリックス形態によって視覚化してよい。最適化部２２０は、マトリックス形態で構成された各行に、ハイパーパラメータまたはハイパーパラメータの組み合わせの重要度と重要度の信頼値を視覚化し、ユーザからの相互作用によって各行がアクティブ化することにより、ハイパーパラメータの重要度に対する詳細情報を提供してよい。最適化部２２０は、ハイパーパラメータのタイプ（ｔｙｐｅ）にしたがい、ハイパーパラメータに対する詳細情報を互いに異なるプロットによって視覚化してよい。

【0050】

図４は、一実施形態における、コンピュータシステムで学習モデルのハイパーパラメータの最適化過程と視覚的分析を実行する概括的な動作を説明するための図である。

【0051】

コンピュータシステムは、実務者の分析要求事項を反映したハイパーパラメータの最適化過程と視覚的分析を視覚化してよい。一例として、複数名の実務者とのインタビューから複数の分析要求事項を識別してよい。実務者からの３つの分析要求事項、例えば、効果的なハイパーパラメータの識別、探索アルゴリズムの行動分析、要求事項を満たすモデルの選択などを含む分析要求事項が存在してよい。

【0052】

コンピュータシステムは、ループ（ｌｏｏｐ）最適化によってハイパーパラメータ最適化のプロセスを実行した結果データを、実務者の分析要求事項を反映して視覚化してよい。視覚化によって支援されるタスクに対するユーザの洞察によってハイパーパラメータ最適化のためにユーザ介入をして探索過程を制御してよい。

【0053】

図５ａ～５ｅは、一実施形態における、コンピュータシステムで自動化された機械学習の結果を視覚化した例示図である。

【0054】

コンピュータシステムは、ハイパーパラメータの組み合わせを探索するためのアルゴリズムを利用して探索されたハイパーパラメータの組み合わせの学習モデルに基づき、アルゴリズムの性能およびアルゴリズムの構成を診断するためのアルゴリズムの探索過程を視覚化してよい。このとき、学習モデルとは、深層神経網に基づく機械学習モデルを意味してよい。

【0055】

図５ａを参照すると、ユーザインタフェースを提供する視覚化画面５００に、ハイパーパラメータを最適化する自動化された機械学習プロセスの動作が視覚化されてよい。例えば、視覚化画面５００は、ハイパーパラメータ最適化プロセスを追跡して分析するように設計されてよい。このような視覚化画面５００に構成されたそれぞれの領域に、ハイパーパラメータ最適化過程の分析と調整のための多様な情報が視覚化されてよい。例えば、視覚化画面５００に構成されたそれぞれの領域に、図５ｂ～５ｅのような情報が視覚化されてよい。視覚化画面５００でユーザが繰り返して相互作用する調整過程により、ハイパーパラメータの最適化が効果的に実行されるようになる。ユーザは、視覚化画面５００に視覚化された情報を利用することにより、ユーザの洞察力に基づく最適なハイパーパラメータを微細調整することができる。

【0056】

図５ｂを参照すると、コンピュータシステムは、視覚化画面５００に最適化概要を提供してよい。コンピュータシステムは、視覚化画面５００で、ユーザからの学習モデルの大きさおよび予測正確度を含む基準にしたがい、最適化結果の統計情報と学習モデルの分布を探索した結果を視覚化してよい。また、学習モデルの性能を実験した値が視覚化されてもよい。例えば、ユーザがハイパーパラメータの探索空間を調節した範囲内で探索された学習モデルの性能値が視覚化されてよい。図５ｃを参照すると、コンピュータシステムは、視覚化画面５００で学習モデルの性能に対する分析を実行することにより、ハイパーパラメータとハイパーパラメータに対する範囲を明確に強調し、ユーザが探索空間を具体化できるようにサポートしてよい。図５ｄを参照すると、コンピュータシステムは、視覚化画面５００に学習モデルを分析した結果を視覚化してよい。図５ｅを参照すると、コンピュータシステムは、視覚化画面５００にハイパーパラメータの探索空間に対する探索履歴を視覚化してよく、使用したアルゴリズムの複雑な動作を視覚的に理解してアルゴリズムの構成差を比較できるように診断することで探索過程を調整できるようにしてよい。

【0057】

図６は、一実施形態における、コンピュータシステムで自動化された機械学習アルゴリズムの探索過程を視覚化する動作を説明するための図である。

【0058】

コンピュータシステムは、ハイパーパラメータの組み合わせを探索するための自動化された機械学習アルゴリズムを利用した探索過程の理解と診断をサポートするために、探索過程を視覚化してよい。コンピュータシステムは、複数の自動化された機械学習アルゴリズムの動作方式と各アルゴリズムの設定値を診断してよい。コンピュータシステムは、ハイパーパラメータ探索空間を探索し、与えられた学習モデルの性能を最大化する最適なハイパーパラメータの組み合わせを返還してよい。このとき、自動化された機械学習アルゴリズムとしては、ランダム、ベイジアン、バンディット、進化的（ｅｖｏｌｕｔｉｏｎａｒｙ）のような多様な探索アルゴリズムが含まれてよく、それぞれのアルゴリズムは、自動化された機械学習のプロセスを実行する前に構成しなければならない固有の設定項目をもつ。それぞれのアルゴリズムの設定項目に対する値により、アルゴリズムの探索過程と結果が極めて多様に現れるようになる。ユーザが自動化された機械学習アルゴリズムを効果的に使用するためには、ユーザが、最適化しようとする学習モデルの特徴、ハイパーパラメータの特徴、探索空間の大きさに応じて設定値を構成しなければならない。

【0059】

コンピュータシステムは、ユーザが、多種多様な自動化された機械学習アルゴリズムの探索過程を理解し、与えられた学習モデルとハイパーパラメータ探索空間に合った設定値を構成できるように、自動化された機械学習アルゴリズムの探索過程を視覚化してよい。

【0060】

図６は、自動化された機械学習アルゴリズムの探索過程を表現した例示図である。コンピュータシステムは、モデル性能向上モニタリングビュー（ａ）および探索ヒストリービュー（ｂ）を含む複数のビューを区分して自動化された機械学習アルゴリズムの探索過程を表現してよい。

【0061】

先ず、モデル性能向上モニタリングビュー（ａ）について説明する。モデル性能向上モニタリングビュー（ａ）とは、自動化された機械学習アルゴリズムが固有の探索ロジックによってハイパーパラメータをサンプリングしながら、学習モデルの性能が斬新的に増加するかを表現するビューを意味する。モデル性能向上モニタリングビュー（ａ）は、ユーザが構成した設定値にしたがい、自動化された機械学習アルゴリズムの動作を折れ線グラフによって視覚化してよい。モデル性能向上モニタリングビュー（ａ）により、ユーザが構成した設定値によって自動化された機械学習アルゴリズムが正しく動作しているかを迅速に把握することができる。自動化された機械学習アルゴリズムが探索ロジックを繰り返すことによって点線の区域で探索されたロジックのインデックスはｘ軸に、自動化された機械学習アルゴリズムによって探索された学習モデルの性能はｙ軸に視覚化されてよい。各探索ロジックを繰り返すことによって各インデックスで探索された学習モデルは小さな点（ｐｏｉｎｔ）で表現され、ｘ軸およびｙ軸の値にしたがって座標上に位置させてよい。

【0062】

次に、探索ヒストリービュー（ｂ）について説明する。探索ヒストリービュー（ｂ）は、自動化された機械学習を実行する前に設定されたハイパーパラメータ探索空間の集合にしたがって複数のプロット（図６ではｈ１、ｈ２）を構成してよい。探索ヒストリービュー（ｂ）によって構成された複数のプロットのそれぞれで、それぞれのハイパーパラメータの探索空間を探索したヒストリーが視覚化されてよい。このようなプロットにモデル性能向上モニタリングビュー（ａ）のｘ軸と一致させ、自動化された機械学習アルゴリズムの繰り返された探索ロジックのインデックスを表現してよい。このような繰り返された探索ロジックのインデックスは、プロット内でグレースケール（ｇｒａｙ ｓｃａｌｅ）のグラデーション（ｇｒａｄａｔｉｏｎ）によって区分されてよい。ｙ軸にはハイパーパラメータを探索した探索空間の範囲が表現されてよく、各繰り返された探索ロジックのインデックスで探索された学習モデルは、ハイパーパラメータの値にしたがって位置させてよい。

【0063】

コンピュータシステムは、多様な機械学習アルゴリズムに対する動作原理の理解をサポートするために、それぞれの探索アルゴリズムの特徴を視覚化してよい。図６は、進化的（ｅｖｏｌｕｔｉｏｎａｒｙ）ベースの自動化された機械学習アルゴリズムの動作原理の例を表現した図である。コンピュータシステムは、進化的ベースの自動化された機械学習アルゴリズムは、設定された人口数（ｐｏｐｕｌａｔｉｏｎ ｓｉｚｅ）分だけハイパーパラメータの組み合わせをもつ学習モデルをランダムにサンプリングし、設定された訓練段階まで学習モデルを訓練させた後、学習モデルの性能を比較してよい。コンピュータシステムは、性能を比較するときに、優れた性能をもつ学習モデルは予め設定された生存率（ｓｕｒｖｉｖａｌ ｒａｔｅ）分だけ維持し、残りは廃棄する。例えば、コンピュータシステムは、予め設定された生存率以上であるｋ（ｋは自然数）個の学習モデルは維持し、予め設定された生存率以下であるｋ（ｋは自然数）個の学習モデルは廃棄してよい。言い換えれば、人口数から予め設定された生存率を除いた学習モデルは廃棄される。コンピュータシステムは、次の探索ロジックのインデックスで維持された学習モデルをコピーし、維持された学習モデルがもつハイパーパラメータの値を参考にしながらハイパーパラメータの値を少しずつ変更して学習モデルを生成することにより、空いた人口数を満たしてよい。このような繰り返し過程を世代数（ｇｅｎｅｒａｔｉｏｎ ｓｉｚｅ）分だけ繰り返してよい。

【0064】

進化的（ｅｖｏｌｕｔｉｏｎａｒｙ）ベースの自動化された機械学習アルゴリズムの場合は、単純に繰り返された探索ロジックのインデックスによって点（ポイント）を視覚化するだけではアルゴリズムを理解し難い。コンピュータシステムは、各学習モデルがどのような学習モデルから始まったかに対するヒストリー（系譜）を視覚化してよい。以前に繰り返された探索ロジックのインデックスで維持された学習モデルの場合は、維持された学習モデルが現在繰り返されている探索ロジックのインデックスでも存在するようになる。コンピュータシステムは、学習モデルを新たに生成しないため、以前に繰り返された探索ロジックのインデックスで維持された学習モデルと現在繰り返されている探索ロジックのインデックスで存在する学習モデルとを点線で連結して性能ヒストリーを視覚化してよい。コンピュータシステムは、維持された学習モデルのハイパーパラメータの値を参考して生成された学習モデルの場合、新たに学習モデルを生成する場合であるため、以前に繰り返された探索ロジックのインデックスで維持された学習モデルと実線で連結して学習モデルの生成ヒストリーを視覚化してよい。

【0065】

この他にも、異なる探索方式を採択する自動化された機械学習アルゴリズムにも適用と応用が可能である。例えば、バンディットベースの自動化された機械学習アルゴリズムの場合、学習モデルの性能を比較した後、性能が弱いモデルは漸進的に廃棄し、性能が良い学習モデルだけを維持させる方式を採択す（維持された学習モデルはコピーしない）。これにより、バンディットベースの自動化された機械学習アルゴリズムでは、点線だけを利用して性能ヒストリーの表現を可能にする。

【0066】

また、ハイパーパラメータは、数値型（ｎｕｍｅｒｉｃａｌ）の他にも範疇型（ｃａｔｅｇｏｒｉｃａｌ）が存在する。範疇型ハイパーパラメータの場合、各学習モデルの点が等しい範疇型値をもつ場合には、プロットの座標上で互いに重なり、誤認知を引き起こすことがある。実施形態では、範疇型の位置に適切な斥力（ｒｅｐｕｌｓｉｖｅ ｆｏｒｃｅ）を与える方式を利用することで、それぞれの点の位置が重ならないようにする。

【0067】

図７ａ～７ｃは、一実施形態における、コンピュータシステムで自動化された機械学習アルゴリズムの探索結果を視覚化したものを比較するための例示図である。

【0068】

図７ａ～７ｃを参照すると、自動化された機械学習アルゴリズムの探索結果を多様に視覚化したものが示されている。それぞれ異なる探索方式をもつ自動化された機械学習アルゴリズムに対する初期設定によって探索過程と探索結果が異なることを確認することができる。

【0069】

図７ａにはランダム探索およびベイジアン最適化を利用した探索結果が、図７ｂにはハイパーバンド（ＨｙｐｅｒＢａｎｄ）、ＢＯＨＢを利用した探索結果が、図７ｃにはＰＢＴを利用した探索結果が示されている。一例として、図７ａのランダム探索およびベイジアン最適化による探索結果を参照すると、探索パターンは殆ど現れないことを確認することができる。

【0070】

図７ｂのバンディットベースの自動化された機械学習アルゴリズムを利用した探索結果を参照すると、有望なモデルは維持され、必要ないモデルは廃棄されたことを確認することができる。また、図７ａのベイジアン最適化では探索パターンが現れなかったが、図７ｂのベイジアン最適化とハイパーバンドを結合したアルゴリズムであるＢＯＨＢでは、明らかな探索パターンが現れたことを確認することができる。図７ｃのＰＢＴベースの自動化された機械学習アルゴリズムを利用した探索結果を参照すると、初期設定値によって探索パターンが区別されることを確認することができる。

【0071】

図８ａ、８ｂは、一実施形態における、コンピュータシステムで自動化された機械学習アルゴリズムで探索されたハイパーパラメータの探索空間の分析と調整を視覚化する動作を説明するための図である。

【0072】

学習モデルのハイパーパラメータは一般的に高次元の性質をもち、ハイパーパラメータの値の組み合わせは無限に近い。無限に近いハイパーパラメータの組み合わせにおいて、学習モデルの性能に最も重要なハイパーパラメータは何であるかを把握し、重要なハイパーパラメータのどの値の範囲が効果的であるかを把握することは、自動化された機械学習アルゴリズムの使用にあたってユーザが最も必要とする分析要素の１つである。

【0073】

コンピュータシステムは、学習モデルの性能に影響を与えるハイパーパラメータとハイパーパラメータの効果的な値の区間をガイド（ｇｕｉｄｅ）してよい。これにより、ユーザは、ハイパーパラメータとハイパーパラメータに対する値の区間を調整することができ、ハイパーパラメータを最適化することができる。

【0074】

コンピュータシステムは、学習モデルの性能による効果的なハイパーパラメータを探索してハイパーパラメータの重要度を分析し、複数のハイパーパラメータの相互作用効果を分析することにより、追加探索のための探索空間を具体化することができる。

【0075】

図８ａは探索空間概括ビューを、図８ｂはハイパーパラメータ重要度分析ビューを示している。図８ａの最初の図面を参照すると、コンピュータシステムは、自動化された機械学習アルゴリズムを利用してハイパーパラメータ探索空間とハイパーパラメータ値の組み合わせを平行座標グラフ（ｐａｒａｌｌｅｌ ｃｏｏｒｄｉｎａｔｅｓ）上に表現してよい。追加で、コンピュータシステムは、ハイパーパラメータの重要度を計算し、ハイパーパラメータの相対的な重要度を平行座標グラフの周辺に反映させた図形（例えば、四角形）形態で並べて表現してよい。例えば、コンピュータシステムは、ハイパーパラメータの相対的な重要度を、平行座標グラフの上端に、ハイパーパラメータの相対的な重要度を反映させた棒形態のユーザインタフェースを構成することで、ハイパーパラメータの相対的な重要度にしたがって平行座標グラフの上端に構成された棒形態のユーザインタフェースが調節されるように視覚化してよい。コンピュータシステムは、視覚的認知を向上させるために、各ハイパーパラメータを示すユーザインタフェースの順を重要度にしたがって特定の方向（例えば、右側）から位置させ、平行座標グラフの座標も同じ方向から並べてよい。コンピュータシステムは、図形形態のユーザインタフェースに対応する座標情報を曲線（ｃｕｒｖｅｄ ｌｉｎｅ）で表現し、曲線の太さを重要度の値に応じて調整してよい。

【0076】

図８ａの２つ目の図面を参照すると、ハイパーパラメータを示すユーザインタフェースの詳細分析のために、ユーザの相互作用（例えば、ドラッグ、クリック、タッチなど）によってハイパーパラメータをアクティブ化してよい。図８ａには、ユーザが一番右側にあるハイパーパラメータを示すユーザインタフェースと相互作用する例を示している。コンピュータシステムは、ユーザがハイパーパラメータを示すユーザインタフェースをクリックする場合、ユーザがクリックしたユーザインタフェースに該当するハイパーパラメータの相対的な重要度値を右側に円形態で表現してよい。コンピュータシステムは、ハイパーパラメータの相対的な重要度値が表現された棒形態のユーザインタフェースの下に、クリックされたハイパーパラメータの相対的な重要度値と関連する棒形態のユーザインタフェースを拡大して表現してよい。コンピュータシステムは、拡大した棒形態のユーザインタフェースの左側領域に、クリックされたハイパーパラメータと関連性のある他のハイパーパラメータを、関連性の値にしたがって順に配置して視覚化してよい。また、コンピュータシステムは、アクティブ化されたハイパーパラメータの効果的な値の範囲を平行座標グラフと連結させて棒グラフ（ｂａｒ ｃｈａｒｔ）によって視覚化してよい。言い換えれば、コンピュータシステムは、アクティブ化されたパラメータ領域に対応する平行座標グラフに棒グラフをオーバーレイ（ｏｖｅｒｌａｙ）させてよい。このような視覚化により、ユーザは、学習モデルの性能に影響を与えるハイパーパラメータを直観的に把握することができ、ユーザとの相互作用によってハイパーパラメータがクリックされることにより、探索結果によってハイパーパラメータの調整を実行するガイドが提供されることで探索の効率性を増大させることができる。

【0077】

図８ａの３つ目の図面を参照すると、単一ハイパーパラメータがアクティブ化された状況で他のハイパーパラメータを示すユーザインタフェースがクリックされる場合、平行座標グラフ上には、互いに異なるハイパーパラメータの関連性が表現されてよい。これにより、他のパラメータとの影響を考慮しながら、ハイパーパラメータ探索空間の分析と調整が可能となる。図８ａの４つ目の図面には、ハイパーパラメータ探索空間の性能を最大化する探索空間を具体化する例が示さている。

【0078】

図８ｂには、コンピュータシステムが重要度算出結果に対する詳細な情報を視覚化する例を示している。図８ｂの最初の図面を参照すると、コンピュータシステムは、ハイパーパラメータの重要度算出結果をマトリックス（ｍａｔｒｉｘ）形態によって視覚化している。マトリックス形態を構成する各行（ｒｏｗ）には、単一ハイパーパラメータ（または、２つのハイパーパラメータの組み合わせ）の重要度と重要度の信頼度値が表現されてよい。ユーザが各行をアクティブ化させた場合、各行に対応するハイパーパラメータの重要度に関する詳細情報が視覚化されてよい。図８ｂの２つ目の図面を参照すると、単一ハイパーパラメータの重要度に対する詳細情報は、数値型ハイパーパラメータの場合は折れ線グラフ（ｌｉｎｅ ｐｌｏｔ）で、範疇型ハイパーパラメータの場合は箱ひげ図（ｂｏｘ ｐｌｏｔ）で視覚化されている。図８ｂの３番目の図面を参照すると、２つのハイパーパラメータの組み合わせに対する詳細な情報がヒートマップ（ｈｅａｔｍａｐ）によって視覚化されている。

【0079】

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0080】

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

【0081】

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであっても、コンピュータソフトウェア当業者に公知な使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピディスク、磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。

【0082】

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

【0083】

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

【符号の説明】

【0084】

１００：コンピュータシステム
１２０：プロセッサ
２１０：視覚化部
２２０：最適化部

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図5c】

【図5d】

【図5e】

【図6】

【図7a】

【図7b】

【図7c】

【図8a】

【図8b】