知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024167768
(43)【公開日】2024-12-04
(54)【発明の名称】評価装置、評価方法、およびプログラム
(51)【国際特許分類】
G06F 40/216 20200101AFI20241127BHJP
【ＦＩ】
G06F40/216
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023084071
(22)【出願日】2023-05-22
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】松田 勝志
(57)【要約】
【課題】言語処理モデルの性能が良くない場合の原因を絞り込む。
【解決手段】評価装置（１）は、言語処理モデルに含まれるエンベディング層を用いて、複数の訓練データ片にそれぞれ含まれる自然言語文のエンベディングを取得する取得部（１１）と、複数のエンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成部（１２）と、画像データの特徴を検出する検出部（１３）と、画像データの特徴に基づいて、エンベディング層の品質を評価する評価部（１４）と、を含む。
【選択図】図１
【解決手段】評価装置（１）は、言語処理モデルに含まれるエンベディング層を用いて、複数の訓練データ片にそれぞれ含まれる自然言語文のエンベディングを取得する取得部（１１）と、複数のエンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成部（１２）と、画像データの特徴を検出する検出部（１３）と、画像データの特徴に基づいて、エンベディング層の品質を評価する評価部（１４）と、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成手段と、
前記画像データの特徴を検出する検出手段と、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価する評価手段と、
を含む、評価装置。
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成手段と、
前記画像データの特徴を検出する検出手段と、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価する評価手段と、
を含む、評価装置。
【請求項2】
前記言語処理モデルは、分類タスクを実行するモデルであり、
前記訓練データ片は、前記自然言語文および当該自然言語文の分類を示すラベルを関連付けた情報を含み、
前記生成手段は、複数の前記エンベディングの各々を行または列として前記ラベルに基づく順に並べた前記行列から前記画像データを生成し、
前記検出手段は、前記画像データの特徴として、画素値の変化に基づく第１境界を検出し、
前記評価手段は、前記画像データにおいて前記ラベルが互いに異なるエンベディングに対応する行または列の間を示す第２境界と、前記第１境界との比較結果に基づいて、前記エンベディング層の品質を評価する、
請求項１に記載の評価装置。
前記訓練データ片は、前記自然言語文および当該自然言語文の分類を示すラベルを関連付けた情報を含み、
前記生成手段は、複数の前記エンベディングの各々を行または列として前記ラベルに基づく順に並べた前記行列から前記画像データを生成し、
前記検出手段は、前記画像データの特徴として、画素値の変化に基づく第１境界を検出し、
前記評価手段は、前記画像データにおいて前記ラベルが互いに異なるエンベディングに対応する行または列の間を示す第２境界と、前記第１境界との比較結果に基づいて、前記エンベディング層の品質を評価する、
請求項１に記載の評価装置。
【請求項3】
前記評価手段は、前記第２境界の個数に対する、前記第２境界に整合すると判定した前記第１境界の個数の割合を示す再現率に基づいて、前記エンベディング層の品質を評価する、
請求項２に記載の評価装置。
請求項２に記載の評価装置。
【請求項4】
前記評価手段は、前記第２境界の個数に対する前記第１境界の個数の割合を示す検出倍率に基づいて、前記エンベディング層の品質を評価する、
請求項２または３に記載の評価装置。
請求項２または３に記載の評価装置。
【請求項5】
前記生成手段は、前記行列に含まれる複数の行を、各行の各要素から算出される第１の代表値に基づき並べ替えた行列から前記画像データを生成する、
請求項１または２に記載の評価装置。
請求項１または２に記載の評価装置。
【請求項6】
前記生成手段は、前記行列に含まれる複数の列を、各列の各要素から算出される第２の代表値に基づき並べ替えた行列から前記画像データを生成する、
請求項１または２に記載の評価装置。
請求項１または２に記載の評価装置。
【請求項7】
前記言語処理モデルとして第１の言語処理モデルを適用して、前記取得手段、前記生成手段、前記検出手段、および前記評価手段を機能させることにより得られた前記エンベディング層の品質の評価結果を第１の評価結果とし、
前記言語処理モデルとして前記第１の言語処理モデルとは異なる第２の言語処理モデルを適用して、前記取得手段、前記生成手段、前記検出手段、および前記評価手段を機能させることにより得られた前記エンベディング層の品質の評価結果を第２の評価結果とし、
前記評価手段は、
同一の前記複数の訓練データ片を用いて得られた前記第１の評価結果および前記第２の評価結果が何れも所定基準を満たさない場合に、当該複数の訓練データ片の品質が基準を満たさないと評価する、
請求項１または２に記載の評価装置。
前記言語処理モデルとして前記第１の言語処理モデルとは異なる第２の言語処理モデルを適用して、前記取得手段、前記生成手段、前記検出手段、および前記評価手段を機能させることにより得られた前記エンベディング層の品質の評価結果を第２の評価結果とし、
前記評価手段は、
同一の前記複数の訓練データ片を用いて得られた前記第１の評価結果および前記第２の評価結果が何れも所定基準を満たさない場合に、当該複数の訓練データ片の品質が基準を満たさないと評価する、
請求項１または２に記載の評価装置。
【請求項8】
前記評価手段による評価結果、および前記生成手段が生成した画像データの一方または両方を出力する出力手段をさらに含む、
請求項１または２に記載の評価装置。
請求項１または２に記載の評価装置。
【請求項9】
少なくとも１つのプロセッサが実行する評価方法であって、
前記少なくとも１つのプロセッサが、
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得することと、
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成することと、
前記画像データの特徴を検出することと、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価することと、
を含む、評価方法。
前記少なくとも１つのプロセッサが、
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得することと、
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成することと、
前記画像データの特徴を検出することと、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価することと、
を含む、評価方法。
【請求項10】
コンピュータを、
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成手段と、
前記画像データの特徴を検出する検出手段と、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価する評価手段と、として機能させるプログラム。
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成手段と、
前記画像データの特徴を検出する検出手段と、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価する評価手段と、として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、言語処理モデルの性能を評価する技術に関する。
【背景技術】
【0002】
近年、汎用的な自然言語処理モデルを事前学習モデルとしてファインチューニングすることにより、所望の言語処理タスクを行う言語処理モデルを生成することが知られている。このような言語処理モデルの性能は、例えば、当該言語処理モデルの生成に用いられた訓練データ、事前学習モデル、学習アルゴリズム、当該言語処理モデルにおいて採用されるハイパーパラメータ等に影響される。このような言語処理モデルの性能の改善を目的として、例えば、ハイパーパラメータを調整するためにグリッドサーチ等の技術を用いることが知られている。また、例えば、特許文献１には、訓練データの品質を改善するための技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２３－１９３４１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、言語処理モデルの性能が良くない場合に、その主な原因が、上述したような訓練データ、事前学習モデル、学習アルゴリズム、ハイパーパラメータ等の何れであるのかを絞り込むことは難しい。特許文献１に記載された技術は、その主な原因が訓練データの品質にあることが分かっている場合には有効であるが、そうでない場合には、訓練データの品質を改善しても言語処理モデルの性能を改善できない可能性がある。そのため、言語処理モデルの性能が良くない場合の原因を絞り込むことが重要である。
【0005】
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、言語処理モデルの性能が良くない場合の原因を絞り込む技術を提供することである。
【課題を解決するための手段】
【0006】
本発明の一態様に係る評価装置は、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成手段と、前記画像データの特徴を検出する検出手段と、前記画像データの特徴に基づいて、前記エンベディング層の品質を評価する評価手段と、を含む。
本発明の一態様に係る評価方法は、少なくとも１つのプロセッサが実行する評価方法であって、前記少なくとも１つのプロセッサが、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得することと、複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成することと、前記画像データの特徴を検出することと、前記画像データの特徴に基づいて、前記エンベディング層の品質を評価することと、を含む。
本発明の一態様に係る評価方法は、少なくとも１つのプロセッサが実行する評価方法であって、前記少なくとも１つのプロセッサが、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得することと、複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成することと、前記画像データの特徴を検出することと、前記画像データの特徴に基づいて、前記エンベディング層の品質を評価することと、を含む。
【0007】
本発明の一態様に係るプログラムは、コンピュータを、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成手段と、前記画像データの特徴を検出する検出手段と、前記画像データの特徴に基づいて、前記エンベディング層の品質を評価する評価手段と、として機能させる。
【発明の効果】
【0008】
本発明の一態様によれば、言語処理モデルの性能が良くない場合の原因を絞り込むことができる。
【図面の簡単な説明】
【0009】
【図1】本発明の例示的実施形態１に係る評価装置の構成を示すブロック図である。
【図2】本発明の例示的実施形態１に係る評価方法の流れを示すフロー図である。
【図3】本発明の例示的実施形態２に係る評価装置を含む評価システムの構成を示すブロック図である。
【図4】本発明の例示的実施形態２に係る評価方法の流れを説明するフロー図である。
【図5】本発明の例示的実施形態２におけるエンベディングの一例を示す模式図である。
【図6】本発明の例示的実施形態２における生成処理の詳細な流れを示すフロー図である。
【図7】本発明の例示的実施形態２における行列の一例を示す模式図である。
【図8】本発明の例示的実施形態２における画素値の割り当ての具体例を示す模式図である。
【図9】本発明の例示的実施形態２における画像データの一例を示す模式図である。
【図10】本発明の例示的実施形態２における検出処理の詳細な流れを示すフロー図である。
【図11】本発明の例示的実施形態２における第１境界の一例を示す模式図である。
【図12】本発明の例示的実施形態２における評価処理の詳細な流れを示すフロー図である。
【図13】本発明の例示的実施形態２の具体例における画像データを示す図である。
【図14】本発明の例示的実施形態２の具体例における第１境界および第２境界を示す図である。
【図15】各例示的実施形態に係る評価装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【0010】
本願発明者は、言語処理モデルの性能が良くない場合の原因を、当該言語処理モデルに含まれるエンベディング層の品質に応じて絞り込めることに着目し、エンベディング層の品質を評価する評価装置を発明した。エンベディング層の品質が良いにも関わらず言語処理モデルの性能が悪い場合は、言語処理タスク層（例えば、ハイパーパラメータ）に原因がある可能性が高い。一方で、エンベディング層の品質が良くない場合は、エンベディング層の生成過程に関わる訓練データ、事前学習モデル、または学習アルゴリズムに問題がある可能性が高い。このように、本願発明に係る評価装置を用いれば、エンベディング層の品質の評価結果に応じて言語処理モデルの性能が良くない場合の原因を絞り込むことができる。
【0011】
〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0012】
（評価装置１の構成）
本例示的実施形態に係る評価装置１の構成について、図１を参照して説明する。図１は、評価装置１の構成を示すブロック図である。図１に示すように、評価装置１は、取得部１１と、生成部１２と、検出部１３と、評価部１４と、を含む。
本例示的実施形態に係る評価装置１の構成について、図１を参照して説明する。図１は、評価装置１の構成を示すブロック図である。図１に示すように、評価装置１は、取得部１１と、生成部１２と、検出部１３と、評価部１４と、を含む。
【0013】
取得部１１は、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する。生成部１２は、複数のエンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する。検出部１３は、画像データの特徴を検出する。評価部１４は、画像データの特徴に基づいて、エンベディング層の品質を評価する。
【0014】
（プログラムによる実現例）
評価装置１を、少なくとも１つのプロセッサおよびメモリを含むコンピュータによって構成する場合、当該メモリには、本例示的実施形態に係る以下のプログラムが記憶される。当該プログラムは、当該コンピュータを、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得部１１と、複数のエンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成部１２と、画像データの特徴を検出する検出部１３と、画像データの特徴に基づいて、エンベディング層の品質を評価する評価部１４と、として機能させる。
評価装置１を、少なくとも１つのプロセッサおよびメモリを含むコンピュータによって構成する場合、当該メモリには、本例示的実施形態に係る以下のプログラムが記憶される。当該プログラムは、当該コンピュータを、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得部１１と、複数のエンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成部１２と、画像データの特徴を検出する検出部１３と、画像データの特徴に基づいて、エンベディング層の品質を評価する評価部１４と、として機能させる。
【0015】
（評価方法Ｓ１の流れ）
以上のように構成された評価装置１は、本例示的実施形態に係る評価方法Ｓ１を実行する。評価方法Ｓ１の流れについて、図２を参照して説明する。図２は、評価方法Ｓ１の流れを示すフロー図である。図２に示すように、評価方法Ｓ１は、ステップＳ１１～Ｓ１４を含む。
以上のように構成された評価装置１は、本例示的実施形態に係る評価方法Ｓ１を実行する。評価方法Ｓ１の流れについて、図２を参照して説明する。図２は、評価方法Ｓ１の流れを示すフロー図である。図２に示すように、評価方法Ｓ１は、ステップＳ１１～Ｓ１４を含む。
【0016】
ステップＳ１１において、少なくとも１つのプロセッサは、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する。ステップＳ１２において、少なくとも１つのプロセッサは、複数のエンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する。ステップＳ１３において、少なくとも１つのプロセッサは、画像データの特徴を検出する。ステップＳ１４において、少なくとも１つのプロセッサは、画像データの特徴に基づいて、エンベディング層の品質を評価する。
【0017】
以上のように、本例示的実施形態においては、複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得し、複数のエンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成し、画像データの特徴を検出し、画像データの特徴に基づいて、エンベディング層の品質を評価する、という構成が採用されている。このため、本例示的実施形態によれば、エンベディング層の評価結果に応じて、言語処理モデルの品質が良くない場合の原因を絞り込むことができる、という効果が得られる。
【0018】
〔例示的実施形態２〕
本発明の第２の例示的実施形態に係る評価装置１Ａについて、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
本発明の第２の例示的実施形態に係る評価装置１Ａについて、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
【0019】
（評価装置１Ａの構成）
図３は、評価装置１Ａを含む評価システム１０の構成を示すブロック図である。図３に示すように、評価システム１０は、評価装置１Ａ、学習装置２、および表示装置３を含む。なお、評価装置１Ａおよび学習装置２の間は、通信可能に接続されていてもよいが、通信可能である必要はなく、接続されていなくてもよい。表示装置３は、評価装置１Ａに接続され、評価装置１Ａの制御のもとに情報を表示する。
図３は、評価装置１Ａを含む評価システム１０の構成を示すブロック図である。図３に示すように、評価システム１０は、評価装置１Ａ、学習装置２、および表示装置３を含む。なお、評価装置１Ａおよび学習装置２の間は、通信可能に接続されていてもよいが、通信可能である必要はなく、接続されていなくてもよい。表示装置３は、評価装置１Ａに接続され、評価装置１Ａの制御のもとに情報を表示する。
【0020】
評価装置１Ａは、言語処理モデルＭ２に含まれるエンベディング層の品質を評価する装置である。本例示的実施形態では、言語処理モデルＭ２として、自然言語文の分類タスクを実行する深層学習モデルを適用する。言語処理モデルＭ２は、自然言語文が入力されると、当該自然言語文の分類を出力するよう学習されている。
【0021】
学習装置２は、事前学習モデルＭ１に対して、訓練データセットＤＳ１を用いてファインチューニングを行うことにより、言語処理モデルＭ２を生成する装置である。訓練データセットＤＳ１、および言語処理モデルＭ２は、評価装置１Ａからアクセス可能な記憶装置（図示せず）に記憶されている。なお、本例示的実施形態においては、言語処理モデルＭ２の生成に用いた訓練データセットＤＳ１を、評価装置１Ａが参照する例について説明する。ただし、評価装置１Ａが参照する訓練データセットＤＳ１の一部または全部は、必ずしも言語処理モデルＭ２の生成に用いられた訓練データセットでなくてもよく、評価用の訓練データセットであってもよい。
【0022】
事前学習モデルＭ１は、自然言語文を入力としてそのエンベディングを出力する。エンベディングは、自然言語文を高次元の特徴量空間におけるベクトルとして表したものである。エンベディングの各要素は数値であり、つまり、エンベディングは、自然言語文を数値で表したものである。事前学習モデルＭ１の一例として、例えば、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）、ＧＰＴ（Generative Pre-trained Transformer）、Ｔ５（Text-to-Text Transfer Transformer）等が挙げられる。例えば、日本語ＢＥＲＴ（bert-base-japanese-whole-word-masking）が出力するエンベディングは７６８次元のベクトルである。また、日本語ＧＰＴ２（Japanese-gpt2-medium）が出力するエンベディングは１０２４次元のベクトルである。また、日本語Ｔ５（t5-base-japanese）が出力するエンベディングは７６８次元のベクトルである。ただし、事前学習モデルＭ１は、上述した具体例に限られない。
【0023】
訓練データセットＤＳ１は、複数の訓練データ片を含む。訓練データ片は、自然言語文および当該自然言語文の分類を示すラベルを関連付けた情報（以降、ペアともいう）を含む。一例として、ラベル「ＴＲＵＥ」は、当該ラベルに関連付けられた自然言語文が正しい情報であるという分類を示し、ラベル「ＦＡＬＳＥ」は、間違った情報であるという分類を示しているとする。この場合、訓練データ片の一例として、ラベル「ＴＲＵＥ」および自然言語文「日本の首都は東京である」のペア、ラベル「ＦＡＬＳＥ」および自然言語文「大阪は日本で最も人口の多い都道府県である」のペア等が挙げられる。なお、訓練データ片に含まれ得るラベルの種類および数は、上述した例に限られない。
【0024】
言語処理モデルＭ２は、学習装置２によって、訓練データセットＤＳ１を用いて事前学習モデルＭ１がファインチューニングされることにより生成されたモデルである。言語処理モデルＭ２は、エンベディング層Ｌ１および分類層Ｌ２を含む。エンベディング層Ｌ１は、自然言語文を入力としてそのエンベディングを出力する層である。同一の自然言語文の入力に対して、エンベディング層Ｌ１から出力されるエンベディングと、事前学習モデルＭ１から出力されるエンベディングとは、同一とは限らず異なる可能性がある。これは、エンベディング層Ｌ１が事前学習モデルＭ１をもとにファインチューニングされていることによる。分類層Ｌ２は、エンベディングを入力としてその分類を出力する層である。言語処理モデルＭ２は、エンベディング層Ｌ１に訓練データ片の自然言語文が入力されると、当該自然言語文に関連付けられたラベルが分類層Ｌ２から出力されるよう、学習されている。
【0025】
評価装置１Ａは、取得部１１Ａと、生成部１２Ａと、検出部１３Ａと、評価部１４Ａと、出力部１５Ａと、を含む。取得部１１Ａは、訓練データセットＤＳ１の各訓練データ片に含まれる自然言語文について、言語処理モデルＭ２に含まれるエンベディング層Ｌ１を用いて生成されたエンベディングを取得する。
【0026】
生成部１２Ａは、エンベディングの各々を行または列としてラベルに基づく順に並べた行列から、当該行列の各要素を画素値に変換した画像データを生成する。例えば、生成部１２Ａは、当該行列に含まれる複数の行を、各行の各要素から算出される第１の代表値に基づき並べ替えた行列から画像データを生成してもよい。また、例えば、生成部１２Ａは、当該行列に含まれる複数の列を、各列の各要素から算出される第２の代表値に基づき並べ替えた行列から画像データを生成してもよい。また、例えば、生成部１２Ａは、当該行列の要素の最小値から最大値までに対して、複数の色の間を所定数の階調で表した画素値を割り当てることにより、当該行列の各要素を画素値に変換してもよい。
【0027】
検出部１３Ａは、画像データの特徴として、画素値の変化に基づく第１境界を検出する。例えば、検出部１３Ａは、画素値の変化に基づいて検出した第１境界の候補のうち、画像データにおいてエンベディングに対応する行または列の方向に平行な候補を、第１境界として検出してもよい。また、例えば、検出部１３Ａは、画像データの一辺に平行な平行線に含まれる、１または複数の平行な候補の長さの合計が、当該一辺の長さに対して所定割合以上の場合に、当該平行線を第１境界として検出してもよい。
【0028】
評価部１４Ａは、画像データにおいてラベルが互いに異なるエンベディングに対応する行または列の間を示す第２境界と、第１境界との比較結果に基づいて、エンベディング層の品質を評価する。例えば、評価部１４Ａは、第２境界の個数に対する、第２境界に整合すると判定した第１境界の個数の割合を示す再現率に基づいて、エンベディング層の品質を評価してもよい。また、例えば、評価部１４Ａは、第２境界の個数に対する第１境界の個数の割合を示す検出倍率に基づいて、エンベディング層の品質を評価してもよい。
出力部１５Ａは、評価部１４Ａによる評価結果、および生成部１２Ａが生成した画像データの一方または両方を出力する。
出力部１５Ａは、評価部１４Ａによる評価結果、および生成部１２Ａが生成した画像データの一方または両方を出力する。
【0029】
また、評価部１４Ａは、同一の訓練データセットＤＳ１を用いて得られた第１の評価結果および第２の評価結果が何れも判定基準を満たさない場合に、当該訓練データセットＤＳ１の品質が基準を満たさないと評価する。ここで、第１の評価結果は、言語処理モデルとして言語処理モデルＭ２を適用して、取得部１１Ａ、生成部１２Ａ、検出部１３Ａ、および評価部１４Ａを機能させることにより得られたエンベディング層の品質の評価結果である。また、第２の評価結果は、言語処理モデルとして言語処理モデルＭ２－１を適用して、取得部１１Ａ、生成部１２Ａ、検出部１３Ａ、および評価部１４Ａを機能させることにより得られたエンベディング層の品質の評価結果である。言語処理モデルＭ２－１は、言語処理モデルＭ２とは異なるモデルである。例えば、言語処理モデルＭ２－１は、事前学習モデルＭ１とは異なる事前学習モデルＭ１－１が、同一の訓練データセットＤＳ１を用いてファインチューニングされることにより生成されたモデルであってもよい。
【0030】
（評価方法Ｓ１Ａの流れ）
以上のように構成された評価装置１Ａは、評価方法Ｓ１Ａを実行する。評価方法Ｓ１Ａの流れについて、図４を参照して説明する。図４は、評価方法Ｓ１Ａの流れを説明するフロー図である。図４に示すように、評価方法Ｓ１Ａは、ステップＳ１１Ａ～Ｓ１５Ａを含む。
以上のように構成された評価装置１Ａは、評価方法Ｓ１Ａを実行する。評価方法Ｓ１Ａの流れについて、図４を参照して説明する。図４は、評価方法Ｓ１Ａの流れを説明するフロー図である。図４に示すように、評価方法Ｓ１Ａは、ステップＳ１１Ａ～Ｓ１５Ａを含む。
【0031】
ステップＳ１１Ａにおいて、取得部１１Ａは、言語処理モデルＭ２に含まれるエンベディング層Ｌ１を用いて、訓練データセットＤＳ１の各訓練データ片に含まれる自然言語文のエンベディングを取得する。
【0032】
図５は、ステップＳ１１Ａにおいて取得されるエンベディングの一例を示す模式図である。図５に示す訓練データセットＤＳ１は、訓練データ片Ｄ１～Ｄ８を含む。例えば、訓練データ片Ｄ１は、自然言語文ラベル「ラベル１」および「テキスト１」のペアを含む。ラベル「ラベル１」は、自然言語文「テキスト１」の分類を示す。エンベディングＥ１は、言語処理モデルＭ２のエンベディング層Ｌ１に自然言語文「テキスト１」を入力して得られたエンベディングであり、各要素は数値で表されている。訓練データ片Ｄ２～Ｄ８、およびエンベディングＥ２～Ｅ８についても、訓練データ片Ｄ１およびエンベディングＥ１と同様に説明される。以降では、記載を簡略化するため、「ラベルに関連付けられた自然言語文から取得されたエンベディング」を、「ラベルに関連付けられたエンベディング」等とも記載する。
【0033】
図４に示すステップＳ１２Ａにおいて、生成部１２Ａは、エンベディングの各々を行または列として含む行列から、当該行列の各要素を画素値に変換した画像データを生成する。図６は、ステップＳ１２Ａにおける生成処理の詳細な流れを示すフロー図である。図６に示すように、生成処理（ステップＳ１２Ａ）は、ステップＳ２１～Ｓ２６を含む。
【0034】
ステップＳ２１において、生成部１２Ａは、エンベディングの各々を行または列として含む行列を生成する。ここでは、エンベディングの各々を行として含む行列を生成した例について、以降説明する。なお、エンベディングの各々を列として含む行列を作成した場合については、以降の説明において、「行」および「列」を互いに読み替えることにより同様に説明される。
【0035】
ステップＳ２２において、生成部１２Ａは、複数の行をラベルに基づき並べ替える。ステップＳ２３において、生成部１２Ａは、同一のラベルに関連付けられた複数のエンベディングがある場合、当該複数のエンベディングに対応する複数の行を、各行から算出される第１の代表値に基づき並べ替えてもよい。これにより、ラベルが同一の複数の行は、第１の代表値に基づき並べ替えられる。
【0036】
第１の代表値の具体例としては、例えば、平均、分散、次元圧縮により得られた値、等があるが、これらに限られない。また、第１の代表値に加えて、第１の代表値とは異なる種類の第３の代表値が用いられてもよい。例えば、生成部１２Ａは、ラベル、第１の代表値、および第３の代表値をこの順に参照して並べ替えを行ってもよい。この場合、ラベルおよび第１の代表値が何れも同一の複数の行は、第３の代表値に基づき並べ替えられる。なお、複数の行を並べ替えるためにラベルの次に参照される代表値の種類数は、１または２に限らず、３以上であってもよい。また、行の並べ替えのために複数種類の代表値を参照する順序は、上述した例に限られない。
【0037】
ステップＳ２４において、生成部１２Ａは、当該行列に含まれる複数の列を並べ替える。一例として、生成部１２Ａは、複数の列を、各列から算出される第２の代表値に基づき並べ替える。
【0038】
第２の代表値の具体例については、ステップＳ２２で述べた第１の代表値と同様である。第１の代表値および第２の代表値は、同種類であってもよいし、異なる種類であってもよい。また、第２の代表値に加えて、第２の代表値とは異なる種類の第４の代表値が用いられてもよい。例えば、生成部１２Ａは、複数の列に対して、第２の代表値、および第４の代表値をこの順に参照して並べ替えを行ってもよい。この場合、第２の代表値が同一の複数の列は、第４の代表値に基づき並べ替えられる。なお、複数の列を並べ替えるために参照される代表値の種類数は、１または２に限らず、３以上であってもよい。また、列の並べ替えのために複数種類の代表値を参照する順序は、上述した例に限られない。
【0039】
なお、ステップＳ２３、Ｓ２４の処理は、この順で実行されることに限らず、順序を逆に、あるいは並行して実施されてもよい。また、ステップＳ２３、Ｓ２４の処理は必ずしも実行されなくてもよい。換言すると、行列は、少なくともラベルに基づき並べ替えられていればよい。
【0040】
図７は、ラベルに基づき並べ替えられた行列の一例を示す模式図である。図７に示すように、行列Ａは、図５に示したエンベディングＥ１～Ｅ８にそれぞれ対応する行を含む８行７列の行列である。なお、ここでは、エンベディングＥ１～Ｅ８が７次元であるものとしているため、列数が７となっている。これらの複数の行は、各行に対応するエンベディングに関連付けられたラベル「ラベル１」、「ラベル２」、「ラベル３」に基づき並べ替えられている。この例では、複数の行の第１の代表値による並べ替え、および複数の列の第２の代表値による並べ替えは行われていない。
【0041】
図６に示すステップＳ２５において、生成部１２Ａは、当該行列の要素の最小値から最大値までに対して、複数の色の間を所定数の階調で表した画素値を割り当てる。例えば、複数の色は、２色であってもよいし、３色以上であってもよい。なお、エンベディング層Ｌ１から取得されるエンベディングの各要素がとり得る最小値および最大値は、事前学習モデルＭ１に応じて定まる。図８は、画素値の割り当ての具体例を示す模式図である。図８において、行列の要素の最小値は「－１」であり、最大値は「１」であるものとする。
【0042】
マッピング例１は、最小値「－１」に白を割り当て、最大値「１」に黒を割り当て、－１から１までの数値に対して白から黒までを所定数の階調で表した画素値（所謂、グレースケールの画素値）を割り当てる例を示している。マッピング例１では、白から黒までを１１階調で表す例を示しているが、階調数はこれに限られない。例えば、白から黒までの階調数は、２５６階調であってもよい。
【0043】
また、マッピング例２は、最小値「－１」に青を割り当て、中間値「０」に白を割り当て、最大値「１」に赤を割り当てる例を示している。また、この例では、－１から０までの数値に対して青から白までを所定数の階調で表した画素値を割り当て、０から１までの数値に対しては白から赤までを所定数の階調で表した画素値を割り当てている。マッピング例２では、青から白までを６階調で表し、白から赤までを６階調で表すことにより、全体を１１階調で表す例を示しているが、階調数はこれに限られない。例えば、青から白までを２５６階調とし、白から赤までを２５６階調とする場合、最小値「－１」から最大値「１」までに５１２階調の画素値が割り当てられることになる。
【0044】
なお、画素値の割り当てに用いる色は、図８に示したような２色または３色に限らず、４色以上であってもよい。また、割り当てに用いる色の種類は、上述した例に限られない。
【0045】
図６に示すステップＳ２６において、生成部１２Ａは、ステップＳ２５で算出した画素値の割り当てにしたがって、行列の各要素を画素値に変換する。これにより、画像データが生成される。図９は、エンベディングを各行に含む行列から生成された画像データの一例を示す模式図である。図９において、画像データＩＭＧ１は、図７に示した行列Ａに含まれる各要素に対して、図８に示すマッピング例１による変換処理を施して生成された、グレースケールの画像データである。画像データＩＭＧ１は、訓練データ片の個数８を縦の画素数として有し、エンベディングの次元数７を横の画素数として有する。なお、図９において、各画素を示すセルに含まれる数値は、当該画素に対応する行列Ａの要素を分かり易さのために示したものであり、画像データＩＭＧ１に数値形状の図形が含まれることを示すものではない。
【0046】
このようにして生成された画像データは、縦の画素数が訓練データ片の数であり、横の画素数がエンベディングの次元数である。なお、生成部１２Ａは、生成した画像データを拡大した画像データを用いて、ステップＳ１３Ａ以降の処理を行ってもよい。例えば、図９の例では、縦横の画素数が８×７の画像データを縦横２倍に拡大した１６×１４の画像データを用いてもよい。これにより、拡大しない場合と比べて第１境界の検出処理が容易になる可能性がある。また、画像データを拡大する場合、必ずしも縦横比を維持しなくてもよい。例えば、縦の画素数が横の画素数に比べて少ない（または多い）場合、縦の拡大比率を横の拡大比率より大きく（または小さく）してもよい。なお、画像データを拡大する場合の倍率は、上述した例に限られない。以上で、図６に示したステップＳ１２Ａの詳細な説明を終了する。
【0047】
図６に示すステップＳ１３Ａにおいて、検出部１３Ａは、画像データの特徴として、画素値の変化に基づく第１境界を検出する。図１０は、ステップＳ１３Ａにおける検出処理の詳細な流れを示すフロー図である。図１０に示すように、検出処理（ステップＳ１３Ａ）は、ステップＳ３１～Ｓ３３を含む。
【0048】
ステップＳ３１において、検出部１３Ａは、画像データにおいて、画素値の変化に基づき第１境界の候補を検出する。ここで、検出すべき第１境界は、後述する直線状の第２境界に整合する境界である。このため、検出すべき第１境界は、直線状である。そこで、例えば、第１境界の候補を検出する処理には、画像データから画素値の変化に基づく直線を検出する公知の技術を採用可能である。公知の技術としては、ＬＳＤ（Line Segment Detector）、Ｈｏｕｇｈ変換等があるが、これらに限られない。検出部１３Ａは、第１境界の候補として、１または複数の線分を検出する。
【0049】
ステップＳ３２において、検出部１３Ａは、検出した１または複数の第１境界の候補のうち、画像データの行方向に平行でないと判定した候補（平行線以外）を削除する。例えば、検出部１３Ａは、行方向に対して角度θまでの傾きを許容範囲として、行方向とのなす角度がθより大きい候補を行方向に平行でないと判定して、候補から削除してもよい。これにより、１または複数の第１境界の候補は、何れも行方向に平行となる。これは、検出すべき第１境界は、エンベディングに対応する行の方向に平行な後述の第２境界に整合する境界であるという理由による。
【0050】
ステップＳ３３において、検出部１３Ａは、画像データの一辺に平行な平行線に、１または複数の第１境界の候補が含まれ、且つ、当該１または複数の第１境界の候補の長さの合計が当該一辺の長さの所定割合以上である場合に、当該平行線を第１境界として検出する。例えば、所定割合としては、画像データの行方向の一辺の画素数（画像データを拡大していない場合は、エンベディングの次元数に相当）の１０％等を適用してもよい。例えば、エンベディングの次元数が７００次元であれば、平行線に含まれる第１境界の候補の長さの合計が７０画素以上であれば、当該平行線は第１境界として検出される。
【0051】
図１１は、画像データにおいて検出された第１境界の一例を示す模式図である。図１１において、第１境界の候補ａ１１、ａ１２は、画像データＩＭＧ１の行方向に平行な平行線Ａ１に含まれている。また、候補ａ１１およびａ１２の長さの合計は、画像データＩＭＧ１の行方向に平行な一辺の長さｄの所定割合（例えば、１０％等）以上である。そこで、検出部１３Ａは、平行線Ａ１を、第１境界Ａ１として検出する。また、図１１において、第１境界の候補ａ１３は平行線Ａ２に含まれており、候補ａ１３の長さは一辺の長さｄの所定割合以上である。このため、平行線Ａ２は、第１境界Ａ２として検出されている。同様に、候補ａ１４を含む平行線Ａ３が第１境界Ａ３として検出されるとともに、候補ａ１５を含む平行線Ａ４が第１境界Ａ４として検出されている。
【0052】
なお、検出部１３Ａは、ステップＳ３１において、行方向に平行な一辺の長さの所定割合以上の長さを有する線分を第１境界の候補として検出するようにしてもよい。この場合、ステップＳ３３の処理は省略可能である。以上で、図６に示したステップＳ１３Ａの詳細な説明を終了する。
【0053】
図６に示すステップＳ１４Ａにおいて、評価部１４Ａは、第１境界および第２境界の比較結果に基づいて、エンベディング層の品質を評価する。図１２は、ステップＳ１４Ａにおける評価処理の詳細な流れを示すフロー図である。図１２に示すように、評価処理（ステップＳ１４Ａ）は、ステップＳ４１～Ｓ４４を含む。
【0054】
ステップＳ４１において、評価部１４Ａは、ステップＳ１３Ａで検出した１または複数の第１境界の各々が、１または複数の第２境界の何れかに整合するか否かを判定する。ここでは、画像データが、エンベディングを行として含む行列から生成されている例について説明している。このため、第２境界は、画像データにおいてラベルが互いに異なるエンベディングに対応する行の間を示す。当該ステップＳ４１の処理の具体例について、図１１を参照して説明する。
【0055】
図１１に示した画像データＩＭＧ１において、１～３行目は、ラベル１が関連付けられたエンベディングに対応している。４～６行目は、ラベル１が関連付けられたエンベディングに対応している。７～８行目は、ラベル１が関連付けられたエンベディングに対応している。このため、ラベル１に対応する３行目およびラベル２に対応する４行目の間を示す線は、第２境界Ｂ１である。ラベル２に対応する６行目およびラベル３に対応する７行目の間を示す線は、第２境界Ｂ２である。評価部１４Ａは、第１境界Ａ１に整合する第２境界はないと判定する。また、評価部１４Ａは、第１境界Ａ２は第２境界Ｂ１に整合すると判定する。また、評価部１４Ａは、第１境界Ａ３に整合する第２境界はないと判定する。また、評価部１４Ａは、第１境界Ａ４は第２境界Ｂ２に整合すると判定する。
【0056】
ステップＳ４２において、評価部１４Ａは、再現率を算出する。ここで、再現率は、第２境界の個数に対する、第２境界に整合すると判定した第１境界の個数の割合である。図１１の例では、整合すると判定した第１境界の個数は、第１境界
Ａ２、Ａ４の２つであり、第２境界の個数はＢ１～Ｂ２の２つである。したがって、再現率として１が算出される。
Ａ２、Ａ４の２つであり、第２境界の個数はＢ１～Ｂ２の２つである。したがって、再現率として１が算出される。
【0057】
ステップＳ４３において、評価部１４Ａは、検出倍率を算出する。ここで、検出倍率は、第２境界の個数に対する第１境界の個数の割合である。図１１の例では、第１境界の個数はＡ１～Ａ４の４つであり、第２境界の個数はＢ１～Ｂ２の２つである。したがって、検出倍率として２が算出される。
【0058】
ステップＳ４４において、評価部１４Ａは、再現率および検出倍率を参照し、判定基準に基づいて、エンベディング層の品質を評価する。例えば、判定基準は、再現率が第１閾値以上であること、および、検出倍率が第２閾値以下であること、の両方を満たすとの基準であってもよい。また、この場合、評価結果は、判定基準が満たされるか否かに応じた品質の良否を示すものであってもよい。第１閾値として１を適用し、第２閾値として５０を適用する場合、図１１の例では、再現率１および検出倍率２が何れも判定基準を満たすので、品質は良好と判定される。なお、判定基準は、上述した例に限られない。また、評価結果は、良否の２値に限らず、３段階以上（例えば、良い、普通、悪い等）、または、品質の良さを示すスコア等によって表されてもよい。以上で、図６に示したステップＳ１４Ａの詳細な説明を終了する。
【0059】
図６に示すステップＳ１５Ａにおいて、出力部１５Ａは、評価部１４Ａによる評価結果および、生成部１２Ａが生成した画像データの一方または両方を、表示装置３に出力する。例えば、出力する評価結果は、エンベディング層の品質の良否を示す情報を含んでいてもよい。エンベディング層の品質が良いことを示す情報の一例としては、「この言語処理モデルのエンベディング層は適切と判定しました。」との文字情報が挙げられる。また、エンベディング層の品質が良くないことを示す情報の一例としては、「この言語処理モデルのエンベディング層は適切ではないと判定しました。訓練データセットの確認、事前学習モデルの変更を検討して下さい。」等との文字情報が挙げられる。また、出力する評価結果は、再現率および検出倍率を示す情報を含んでいてもよい。また、出力する評価結果は、エンベディング層の品質の良否を判定するために用いた判定基準を示す情報を含んでいてもよい。
【0060】
また、出力する画像データには、第１境界および第２境界を示す線が重畳されていてもよい。また、出力する画像データに重畳される第１境界は、第２境界に整合したか否かが判別可能な表示態様であってもよい。また、出力する画像データに重畳される第２境界は、第１境界に整合したか否かが判別可能な表示態様であってもよい。判別可能な表示態様とは、例えば、色、太さ、線の種類等を異ならせた態様であってもよい。以上で、評価方法Ｓ１Ａの説明を終了する。
【0061】
（評価方法Ｓ１Ａの変形例）
評価方法Ｓ１Ａは、次のように変形することができる。評価装置１Ａは、１回目のステップＳ１１Ａ～Ｓ１４Ａの実行により得られたエンベディング層の品質の評価結果（以降、第１の評価結果と記載）が判定基準を満たさないと判定した場合、２回目のステップＳ１１Ａ～Ｓ１４Ａを実行してもよい。２回目のステップＳ１１Ａ～Ｓ１４Ａでは、１回目と同一の訓練データセットＤＳ１と、１回目とは異なる言語処理モデルＭ２－１とが用いられる。言語処理モデルＭ２－１は、前述したように、事前学習モデルＭ１とは異なる事前学習モデルＭ１－１に基づき、同一の訓練データセットＤＳ１を用いて生成されたモデルであってもよい。２回目のステップＳ１１Ａ～Ｓ１４Ａの実行により、エンベディング層の品質の評価結果（以降、第２の評価結果と記載）が得られる。
評価方法Ｓ１Ａは、次のように変形することができる。評価装置１Ａは、１回目のステップＳ１１Ａ～Ｓ１４Ａの実行により得られたエンベディング層の品質の評価結果（以降、第１の評価結果と記載）が判定基準を満たさないと判定した場合、２回目のステップＳ１１Ａ～Ｓ１４Ａを実行してもよい。２回目のステップＳ１１Ａ～Ｓ１４Ａでは、１回目と同一の訓練データセットＤＳ１と、１回目とは異なる言語処理モデルＭ２－１とが用いられる。言語処理モデルＭ２－１は、前述したように、事前学習モデルＭ１とは異なる事前学習モデルＭ１－１に基づき、同一の訓練データセットＤＳ１を用いて生成されたモデルであってもよい。２回目のステップＳ１１Ａ～Ｓ１４Ａの実行により、エンベディング層の品質の評価結果（以降、第２の評価結果と記載）が得られる。
【0062】
本変形例では、評価部１４Ａは、２回目のステップＳ１４Ａの実行後、第２の評価結果が判定基準を満たすか否かを判定する。第２の評価結果も第１の評価結果と同様に判定基準を満たさない場合、評価部１４Ａは、訓練データセットＤＳ１の品質が基準を満たさないと評価する。つまり、言語処理モデルＭ２、Ｍ２－１の性能が良くない場合の原因が、訓練データセットＤＳ１に絞りこまれる。
【0063】
なお、評価部１４Ａは、第１の評価結果が判定基準を満たさない場合に、２回目のみに限らず複数回（例えば、２回目、３回目、…）、ステップＳ１１Ａ～Ｓ１４Ａを実行してもよい。例えば、評価部１４Ａは、第１の評価結果が判定基準を満たさない場合に、同一の訓練データセットＤＳ１と、２以上の互いに異なる複数の言語処理モデル（Ｍ２－１、Ｍ２－２、…）と、を用いて、２以上の評価結果（第２の評価結果、第３の評価結果、…）を取得してもよい。例えば、複数の言語処理モデル（Ｍ２、Ｍ２－１、Ｍ２－２、…）は、互いに異なる複数の事前学習モデル（Ｍ１、Ｍ１－１、Ｍ１－２、…）が同一の訓練データセットＤＳ１を用いてファインチューニングされたものであってもよい。この場合、評価部１４Ａは、３以上の評価結果（第１の評価結果、第２の評価結果、第３の評価結果、…）の統計値に基づいて、訓練データセットＤＳ１の品質を評価してもよい。例えば、３以上の評価結果のうち所定割合以上が基準を満たさない場合に、評価部１４Ａは、訓練データセットＤＳ１の品質が基準を満たさないと評価してもよい。
【0064】
また、この場合、出力部１５Ａは、ステップＳ１５Ａにおいて、訓練データセットＤＳ１の品質が基準を満たさないことを示す情報を出力してもよい。そのような情報の一例としては、「同一の訓練データセットを用いて生成した複数の言語処理モデルのエンベディング層がいずれも適切ではないと判定されました。当該訓練データセットに原因があると考えられますので確認してください」等の文字情報が挙げられる。
【0065】
また、評価装置１Ａは、第１の評価結果が判定基準を満たす場合には、２回目以降を実行せずに、上述と同様にしてステップＳ１５Ａを実行してもよい。また、評価装置１Ａは、第１の評価結果に関わらず、２回目以降を実行してもよい。
【0066】
（具体例）
ここで、評価方法Ｓ１Ａを実行した具体例について、図１３～図１４を参照して説明する。本具体例においては、事前学習モデルＭ１として日本語ＢＥＲＴを用い、２７４９件の訓練データ片からなる訓練データセットＤＳを用いて生成した言語処理モデルＭ２を対象とした。この例では、事前学習モデルＭ１が出力するエンベディングは７６８次元であるため、エンベディング層Ｌ１から取得されるエンベディングも同様に７６８次元である。
ここで、評価方法Ｓ１Ａを実行した具体例について、図１３～図１４を参照して説明する。本具体例においては、事前学習モデルＭ１として日本語ＢＥＲＴを用い、２７４９件の訓練データ片からなる訓練データセットＤＳを用いて生成した言語処理モデルＭ２を対象とした。この例では、事前学習モデルＭ１が出力するエンベディングは７６８次元であるため、エンベディング層Ｌ１から取得されるエンベディングも同様に７６８次元である。
【0067】
図１３は、本具体例においてステップＳ１２Ａで生成された画像データを示す図である。図１３において、画像データＩＭＧ１０１～ＩＭＧ１０７は、２７４９件の訓練データ片からそれぞれ取得した７６８次元のエンベディングを行に含む行列から生成されているため、縦横の画素数が２７４９×７６８である。また、画像データＩＭＧ１０１～ＩＭＧ１０７は、当該行列に対して図８に示すマッピング例２による変換処理を施して生成されているため、３色カラースケールの画像データである。
【0068】
ここで、画像データＩＭＧ１０１は、ラベルに基づく行の並べ替えを行った行列から生成された画像データである。画像データＩＭＧ１０１では、ラベルに基づく行の並べ替え以外の行および列の並べ替えは行われていない。
【0069】
画像データＩＭＧ１０２～ＩＭＧ１０３は、ラベルに基づく行の並べ替えに加え、列の並べ替えを行った行列から生成されている。画像データＩＭＧ１０２では、列の並べ替えは、各列の平均（第２の代表値の一例）に基づき行われている。画像データＩＭＧ１０３では、列の並べ替えは、各列の分散（第２の代表値の一例）に基づき行われている。
【0070】
画像データＩＭＧ１０４～ＩＭＧ１０６は、ラベルに基づく行の並べ替えに加え、ラベルが同一の複数の行の並べ替えを行った行列から生成されている。画像データＩＭＧ１０４では、ラベルが同一の複数の行の並べ替えは、各行の平均（第１の代表値の一例）に基づき行われている。画像データＩＭＧ１０５では、ラベルが同一の複数の行の並べ替えは、各行の分散（第１の代表値の一例）に基づき行われている。
【0071】
画像データＩＭＧ１０６では、ラベルが同一の複数の行の並べ替えは、各行からｔ－ＳＮＥ（t-distributed Stochastic Neighbor Embedding）により求めた値（第１の代表値の一例）に基づき行われている。以降では、ｔ－ＳＮＥにより求めた値をｔ－ＳＮＥ値とも記載している。この例では、ｔ－ＳＮＥ値としては、７６８次元の行をｔ－ＳＮＥにより１次元に圧縮した値を適用している。ただし、ｔ－ＳＮＥ値を用いて並べ替えを行う場合、圧縮後の次元数およびそのうち何番目の要素を並べ替えに用いるかは、上述した例に限られない。
【0072】
なお、図１２には示していないが、ｔ－ＳＮＥ値に基づく並べ替えは、行に限らず列に適用されもよい。つまり、ラベルに基づく行の並べ替えに加え、各列からｔ－ＳＮＥにより求めた値（第２の代表値の一例）に基づき列の並べ替えを行った行列から、画像データが生成されてもよい。
【0073】
画像データＩＭＧ１０７は、ラベルに基づく行の並べ替えに加え、ラベルが同一の複数の行の並べ替えを各行の分散（第１の代表値の一例）に基づき行うとともに、列の並べ替えを各列の平均（第２の代表値の一例）に基づき行った行列から生成されている。
【0074】
なお、画像データを生成するために行の並べ替えおよび列の並べ替えの両方を行う場合において、第１の代表値および第２の代表値の組み合わせは、上述した例に限られない。例えば、図１２には示していないが、ラベルが同一の複数の行の並べ替えを「平均、分散、ｔ－ＳＮＥ値」の３通りの何れかに基づき行うとともに、列の並べ替えを「平均、分散、ｔ－ＳＮＥ値」の３通りの何れかに基づき行った行列から画像データが生成されてもよい。
【0075】
図１４は、本具体例における第１境界および第２境界を示す図である。図１４では、画像データＩＭＧ１０７の内部に示された線分は、第１境界の候補を示している。また、この例では、このような第１境界の候補に基づいて、第１境界Ａ１０１～Ａ１１７が検出されている。また、画像データＩＭＧ１０７上において第２境界Ｂ１０１～Ｂ１０３は、ラベルが異なる行の間の線を示す。第１境界Ａ１０１～Ａ１１７のうち、第１境界Ａ１０２は、第２境界Ｂ１０１に整合している。第１境界Ａ１０３は、第２境界Ｂ１０２に整合している。第１境界Ａ１１７は、第２境界Ｂ１０３に整合している。再現率としては、第２境界の個数「３」に対する整合した個数「３」の割合として、「１」が算出される。検出倍率としては、第２境界の個数「３」に対する第１境界の個数「１７」の割合として約「５．７」が算出される。判定基準として「再現率が１以上、且つ、検出倍率が５０以下」を適用する場合、エンベディング層Ｌ１の品質は良好と評価される。
【0076】
（適用例）
本例示的実施形態に係る評価装置１Ａは、例えば、医療用の電子カルテシステムにおいて電子カルテを分類する言語処理モデルを対象として、その性能が悪い場合に原因を絞り込む用途に用いることができる。
本例示的実施形態に係る評価装置１Ａは、例えば、医療用の電子カルテシステムにおいて電子カルテを分類する言語処理モデルを対象として、その性能が悪い場合に原因を絞り込む用途に用いることができる。
【0077】
（本例示的実施形態の効果）
以上のように、本例示的実施形態に係る評価装置１Ａにおいては、例示的実施形態１と同様の構成に加えて、言語処理モデルは、分類タスクを実行するモデルであり、訓練データ片は、自然言語文および当該自然言語文の分類を示すラベルを関連付けた情報を含み、生成部１２Ａは、複数のエンベディングの各々を行または列としてラベルに基づく順に並べた行列から画像データを生成し、検出部１３Ａは、画像データの特徴として、画素値の変化に基づく第１境界を検出し、評価部１４Ａは、画像データにおいてラベルが互いに異なるエンベディングに対応する行または列の間を示す第２境界と、第１境界との比較結果に基づいて、エンベディング層の品質を評価する、という構成が採用されている。
以上のように、本例示的実施形態に係る評価装置１Ａにおいては、例示的実施形態１と同様の構成に加えて、言語処理モデルは、分類タスクを実行するモデルであり、訓練データ片は、自然言語文および当該自然言語文の分類を示すラベルを関連付けた情報を含み、生成部１２Ａは、複数のエンベディングの各々を行または列としてラベルに基づく順に並べた行列から画像データを生成し、検出部１３Ａは、画像データの特徴として、画素値の変化に基づく第１境界を検出し、評価部１４Ａは、画像データにおいてラベルが互いに異なるエンベディングに対応する行または列の間を示す第２境界と、第１境界との比較結果に基づいて、エンベディング層の品質を評価する、という構成が採用されている。
【0078】
このため、本例示的実施形態によれば、分類タスクを行う言語処理モデルの性能が良くないであって、当該言語処理モデルに含まれるエンベディング層の品質が良くない場合には、訓練データセット、事前学習モデル、または学習アルゴリズムが原因である可能性が高いことがわかる。また、エンベディング層の品質が良い場合には、分類層の品質がよくないと考えられ、ハイパーパラメータが原因の可能性が高いことがわかる。その結果、分類タスクを行う言語処理モデルの性能が良くない場合にその原因を絞り込むことができる。
【0079】
また、本例示的実施形態に係る評価装置１Ａにおいては、評価部１４Ａは、第２境界の個数に対する、第２境界に整合すると判定した第１境界の個数の割合を示す再現率に基づいて、エンベディング層の品質を評価する、という構成が採用されている。このため、本例示的実施形態によれば、上述した効果に加えて、エンベディング層の品質をより精度よく評価することができる、という効果が得られる。
【0080】
また、本例示的実施形態に係る評価装置１Ａにおいては、評価部１４Ａは、第２境界の個数に対する第１境界の個数の割合を示す検出倍率に基づいて、エンベディング層の品質を評価する、という構成が採用されている。このため、本例示的実施形態によれば、上述した効果に加えて、エンベディング層の品質をより精度よく評価することができる、という効果が得られる。
【0081】
また、本例示的実施形態に係る評価装置１Ａにおいては、生成部１２Ａは、上述した行列に含まれる複数の行を、各行の各要素から算出される第１の代表値に基づき並べ替えた行列から上述した画像データを生成する、という構成が採用されている。このため、本例示的実施形態によれば、上述した効果に加えて、第２境界に整合する第１境界をより精度よく検出することができる、という効果が得られる。
【0082】
また、本例示的実施形態に係る評価装置１Ａにおいては、生成部１２Ａは、上述した行列に含まれる複数の列を、各列の各要素から算出される第２の代表値に基づき並べ替えた行列から画像データを生成する、という構成が採用されている。このため、本例示的実施形態によれば、上述した効果に加えて、第２境界に整合する第１境界をより精度よく検出することができる、という効果が得られる。
【0083】
また、本例示的実施形態に係る評価装置１Ａにおいては、言語処理モデルとして言語処理モデルＭ２を適用して、取得部１１Ａ、生成部１２Ａ、検出部１３Ａ、および評価部１４Ａを機能させることにより得られたエンベディング層の品質の評価結果を第１の評価結果としている。また、言語処理モデルとして言語処理モデルＭ２とは異なる言語処理モデルＭ２－１を適用して、取得部１１Ａ、生成部１２Ａ、検出部１３Ａ、および評価部１４Ａを機能させることにより得られたエンベディング層の品質の評価結果を第２の評価結果としている。また、評価部１４Ａは、同一の訓練データセットＤＳ１を用いて得られた第１の評価結果および第２の評価結果が何れも基準を満たさない場合に、当該訓練データセットＤＳ１の品質が基準を満たさないと評価する、という構成が採用されている。このため、本例示的実施形態によれば、言語処理モデルの性能が良くない場合の原因を訓練データセットに絞り込むことができる。という効果が得られる。
【0084】
また、本例示的実施形態に係る評価装置１Ａにおいては、生成部１２Ａは、上述した行列の要素の最小値から最大値までに対して、複数の色の間を所定数の階調で表した画素値を割り当てることにより、行列の各要素を画素値に変換する、という構成が採用されている。このため、本例示的実施形態によれば、上述した効果に加えて、第２境界に整合する第１境界をより精度よく検出することができる、という効果が得られる。
【0085】
また、本例示的実施形態に係る評価装置１Ａにおいては、評価部１４Ａによる評価結果、および生成部１２Ａが生成した画像データの一方または両方を出力する出力部１５Ａをさらに含む、という構成が採用されている。このため、本例示的実施形態によれば、上述した効果に加えて、ユーザは、エンベディング層の品質の評価結果を認識することができる、という効果が得られる。
【0086】
また、本例示的実施形態に係る評価装置１Ａにおいては、検出部１３Ａは、画素値の変化に基づいて検出した第１境界の候補のうち、画像データにおいてエンベディングに対応する行または列の方向に平行な候補を、第１境界として検出する、という構成が採用されている。このため、本例示的実施形態によれば、上述した効果に加えて、第２境界に整合しない第１境界の検出を軽減することができる、という効果が得られる。
【0087】
また、本例示的実施形態に係る評価装置１Ａにおいては、検出部１３Ａは、画像データの一辺に平行な平行線に含まれる、１または複数の平行な候補の長さの合計が、当該一辺の長さに対して所定割合以上の場合に、当該平行線を第１境界として検出する、という構成が採用されている。このため、本例示的実施形態によれば、上述した効果に加えて、第２境界に整合しない第１境界の検出を軽減することができる、という効果が得られる。
【0088】
〔変形例〕
上述した例示的実施形態２では、言語処理モデルが分類タスクを実行するモデルである例について説明した。ただし、言語処理モデルは、分類タスクに限らず、その他の言語処理タスクを実行するモデルであってもよい。
上述した例示的実施形態２では、言語処理モデルが分類タスクを実行するモデルである例について説明した。ただし、言語処理モデルは、分類タスクに限らず、その他の言語処理タスクを実行するモデルであってもよい。
【0089】
また、上述した例示的実施形態２では、評価装置１Ａは、評価システム１０に含まれるものとして説明したが、評価装置１Ａは、必ずしも評価システム１０に含まれていなくてもよい。例えば、評価装置１Ａは、訓練データセットＤＳ１に含まれる訓練データ片の各々についてエンベディング層Ｌ１を用いて生成されたエンベディングが記憶された記憶装置にアクセス可能であれば、訓練データセットＤＳ１自体およびエンベディング層Ｌ１自体にアクセス可能でなくてもよい。
【0090】
〔ソフトウェアによる実現例〕
評価装置１、１Ａ（以降、当該装置と記載）の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
評価装置１、１Ａ（以降、当該装置と記載）の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0091】
後者の場合、当該装置は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１５に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを当該装置として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、当該装置の各機能が実現される。
【0092】
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、ＴＰＵ（Tensor Processing Unit）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
【0093】
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0094】
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
【0095】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0096】
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
（付記１）
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成手段と、
前記画像データの特徴を検出する検出手段と、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価する評価手段と、
を含む、評価装置。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
（付記１）
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成手段と、
前記画像データの特徴を検出する検出手段と、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価する評価手段と、
を含む、評価装置。
【0097】
（付記２）
前記言語処理モデルは、分類タスクを実行するモデルであり、
前記訓練データ片は、前記自然言語文および当該自然言語文の分類を示すラベルを関連付けた情報を含み、
前記生成手段は、複数の前記エンベディングの各々を行または列として前記ラベルに基づく順に並べた前記行列から前記画像データを生成し、
前記検出手段は、前記画像データの特徴として、画素値の変化に基づく第１境界を検出し、
前記評価手段は、前記画像データにおいて前記ラベルが互いに異なるエンベディングに対応する行または列の間を示す第２境界と、前記第１境界との比較結果に基づいて、前記エンベディング層の品質を評価する、
付記１に記載の評価装置。
前記言語処理モデルは、分類タスクを実行するモデルであり、
前記訓練データ片は、前記自然言語文および当該自然言語文の分類を示すラベルを関連付けた情報を含み、
前記生成手段は、複数の前記エンベディングの各々を行または列として前記ラベルに基づく順に並べた前記行列から前記画像データを生成し、
前記検出手段は、前記画像データの特徴として、画素値の変化に基づく第１境界を検出し、
前記評価手段は、前記画像データにおいて前記ラベルが互いに異なるエンベディングに対応する行または列の間を示す第２境界と、前記第１境界との比較結果に基づいて、前記エンベディング層の品質を評価する、
付記１に記載の評価装置。
【0098】
（付記３）
前記評価手段は、前記第２境界の個数に対する、前記第２境界に整合すると判定した前記第１境界の個数の割合を示す再現率に基づいて、前記エンベディング層の品質を評価する、
付記２に記載の評価装置。
前記評価手段は、前記第２境界の個数に対する、前記第２境界に整合すると判定した前記第１境界の個数の割合を示す再現率に基づいて、前記エンベディング層の品質を評価する、
付記２に記載の評価装置。
【0099】
（付記４）
前記評価手段は、前記第２境界の個数に対する前記第１境界の個数の割合を示す検出倍率に基づいて、前記エンベディング層の品質を評価する、
付記２または３に記載の評価装置。
前記評価手段は、前記第２境界の個数に対する前記第１境界の個数の割合を示す検出倍率に基づいて、前記エンベディング層の品質を評価する、
付記２または３に記載の評価装置。
【0100】
（付記５）
前記生成手段は、前記行列に含まれる複数の行を、各行の各要素から算出される第１の代表値に基づき並べ替えた行列から前記画像データを生成する、
付記１から４の何れか１つに記載の評価装置。
前記生成手段は、前記行列に含まれる複数の行を、各行の各要素から算出される第１の代表値に基づき並べ替えた行列から前記画像データを生成する、
付記１から４の何れか１つに記載の評価装置。
【0101】
（付記６）
前記生成手段は、前記行列に含まれる複数の列を、各列の各要素から算出される第２の代表値に基づき並べ替えた行列から前記画像データを生成する、
付記１から５の何れか１つに記載の評価装置。
前記生成手段は、前記行列に含まれる複数の列を、各列の各要素から算出される第２の代表値に基づき並べ替えた行列から前記画像データを生成する、
付記１から５の何れか１つに記載の評価装置。
【0102】
（付記７）
前記言語処理モデルとして第１の言語処理モデルを適用して、前記取得手段、前記生成手段、前記検出手段、および前記評価手段を機能させることにより得られた前記エンベディング層の品質の評価結果を第１の評価結果とし、
前記言語処理モデルとして前記第１の言語処理モデルとは異なる第２の言語処理モデルを適用して、前記取得手段、前記生成手段、前記検出手段、および前記評価手段を機能させることにより得られた前記エンベディング層の品質の評価結果を第２の評価結果とし、
前記評価手段は、
同一の前記複数の訓練データ片を用いて得られた前記第１の評価結果および前記第２の評価結果が何れも所定基準を満たさない場合に、当該複数の訓練データ片の品質が基準を満たさないと評価する、
付記１から６の何れか１つに記載の評価装置。
前記言語処理モデルとして第１の言語処理モデルを適用して、前記取得手段、前記生成手段、前記検出手段、および前記評価手段を機能させることにより得られた前記エンベディング層の品質の評価結果を第１の評価結果とし、
前記言語処理モデルとして前記第１の言語処理モデルとは異なる第２の言語処理モデルを適用して、前記取得手段、前記生成手段、前記検出手段、および前記評価手段を機能させることにより得られた前記エンベディング層の品質の評価結果を第２の評価結果とし、
前記評価手段は、
同一の前記複数の訓練データ片を用いて得られた前記第１の評価結果および前記第２の評価結果が何れも所定基準を満たさない場合に、当該複数の訓練データ片の品質が基準を満たさないと評価する、
付記１から６の何れか１つに記載の評価装置。
【0103】
（付記８）
前記生成手段は、前記行列の要素の最小値から最大値までに対して、複数の色の間を所定数の階調で表した画素値を割り当てることにより、前記行列の各要素を画素値に変換する、
付記１から７の何れか１つに記載の評価装置。
前記生成手段は、前記行列の要素の最小値から最大値までに対して、複数の色の間を所定数の階調で表した画素値を割り当てることにより、前記行列の各要素を画素値に変換する、
付記１から７の何れか１つに記載の評価装置。
【0104】
（付記９）
前記評価手段による評価結果、および前記生成手段が生成した画像データの一方または両方を出力する出力手段をさらに含む、
付記１から８の何れか１つに記載の評価装置。
前記評価手段による評価結果、および前記生成手段が生成した画像データの一方または両方を出力する出力手段をさらに含む、
付記１から８の何れか１つに記載の評価装置。
【0105】
（付記１０）
前記検出手段は、前記画素値の変化に基づいて検出した第１境界の候補のうち、前記画像データにおいて前記エンベディングに対応する行または列の方向に平行な候補を、前記第１境界として検出する、
付記２から４の何れか１つに記載の評価装置。
前記検出手段は、前記画素値の変化に基づいて検出した第１境界の候補のうち、前記画像データにおいて前記エンベディングに対応する行または列の方向に平行な候補を、前記第１境界として検出する、
付記２から４の何れか１つに記載の評価装置。
【0106】
（付記１１）
前記検出手段は、前記画像データの一辺に平行な平行線に含まれる、１または複数の前記平行な候補の長さの合計が、当該一辺の長さに対して所定割合以上の場合に、当該平行線を前記第１境界として検出する、
付記１０に記載の評価装置。
前記検出手段は、前記画像データの一辺に平行な平行線に含まれる、１または複数の前記平行な候補の長さの合計が、当該一辺の長さに対して所定割合以上の場合に、当該平行線を前記第１境界として検出する、
付記１０に記載の評価装置。
【0107】
（付記１２）
少なくとも１つのプロセッサが実行する評価方法であって、
前記少なくとも１つのプロセッサが、
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得することと、
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成することと、
前記画像データの特徴を検出することと、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価することと、
を含む、評価方法。
少なくとも１つのプロセッサが実行する評価方法であって、
前記少なくとも１つのプロセッサが、
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得することと、
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成することと、
前記画像データの特徴を検出することと、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価することと、
を含む、評価方法。
【0108】
（付記１３）
コンピュータを、
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成手段と、
前記画像データの特徴を検出する検出手段と、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価する評価手段と、として機能させるプログラム。
〔付記事項３〕
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
コンピュータを、
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得手段と、
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成手段と、
前記画像データの特徴を検出する検出手段と、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価する評価手段と、として機能させるプログラム。
〔付記事項３〕
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
【0109】
（付記１）
少なくとも１つのプロセッサを備え、前記少なくとも１つのプロセッサは、
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得処理と、
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成処理と、
前記画像データの特徴を検出する検出処理と、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価する評価処理と、
を実行する、評価装置。
少なくとも１つのプロセッサを備え、前記少なくとも１つのプロセッサは、
複数の訓練データ片にそれぞれ含まれる自然言語文について、言語処理モデルに含まれるエンベディング層を用いて生成されたエンベディングを取得する取得処理と、
複数の前記エンベディングの各々を行または列として含む行列の各要素を画素値に変換することにより画像データを生成する生成処理と、
前記画像データの特徴を検出する検出処理と、
前記画像データの特徴に基づいて、前記エンベディング層の品質を評価する評価処理と、
を実行する、評価装置。
【0110】
（付記２）
前記言語処理モデルは、分類タスクを実行するモデルであり、
前記訓練データ片は、前記自然言語文および当該自然言語文の分類を示すラベルを関連付けた情報を含み、
前記生成処理において、前記少なくとも１つのプロセッサは、複数の前記エンベディングの各々を行または列として前記ラベルに基づく順に並べた前記行列から前記画像データを生成し、
前記検出処理において、前記少なくとも１つのプロセッサは、前記画像データの特徴として、画素値の変化に基づく第１境界を検出し、
前記評価処理において、前記少なくとも１つのプロセッサは、前記画像データにおいて前記ラベルが互いに異なるエンベディングに対応する行または列の間を示す第２境界と、前記第１境界との比較結果に基づいて、前記エンベディング層の品質を評価する、
付記１に記載の評価装置。
前記言語処理モデルは、分類タスクを実行するモデルであり、
前記訓練データ片は、前記自然言語文および当該自然言語文の分類を示すラベルを関連付けた情報を含み、
前記生成処理において、前記少なくとも１つのプロセッサは、複数の前記エンベディングの各々を行または列として前記ラベルに基づく順に並べた前記行列から前記画像データを生成し、
前記検出処理において、前記少なくとも１つのプロセッサは、前記画像データの特徴として、画素値の変化に基づく第１境界を検出し、
前記評価処理において、前記少なくとも１つのプロセッサは、前記画像データにおいて前記ラベルが互いに異なるエンベディングに対応する行または列の間を示す第２境界と、前記第１境界との比較結果に基づいて、前記エンベディング層の品質を評価する、
付記１に記載の評価装置。
【0111】
（付記３）
前記評価処理において、前記少なくとも１つのプロセッサは、前記第２境界の個数に対する、前記第２境界に整合すると判定した前記第１境界の個数の割合を示す再現率に基づいて、前記エンベディング層の品質を評価する、
付記２に記載の評価装置。
前記評価処理において、前記少なくとも１つのプロセッサは、前記第２境界の個数に対する、前記第２境界に整合すると判定した前記第１境界の個数の割合を示す再現率に基づいて、前記エンベディング層の品質を評価する、
付記２に記載の評価装置。
【0112】
（付記４）
前記評価処理において、前記少なくとも１つのプロセッサは、前記第２境界の個数に対する前記第１境界の個数の割合を示す検出倍率に基づいて、前記エンベディング層の品質を評価する、
付記２または３に記載の評価装置。
前記評価処理において、前記少なくとも１つのプロセッサは、前記第２境界の個数に対する前記第１境界の個数の割合を示す検出倍率に基づいて、前記エンベディング層の品質を評価する、
付記２または３に記載の評価装置。
【0113】
（付記５）
前記生成処理において、前記少なくとも１つのプロセッサは、前記行列に含まれる複数の行を、各行の各要素から算出される第１の代表値に基づき並べ替えた行列から前記画像データを生成する、
付記１から４の何れか１つに記載の評価装置。
前記生成処理において、前記少なくとも１つのプロセッサは、前記行列に含まれる複数の行を、各行の各要素から算出される第１の代表値に基づき並べ替えた行列から前記画像データを生成する、
付記１から４の何れか１つに記載の評価装置。
【0114】
（付記６）
前記生成処理において、前記少なくとも１つのプロセッサは、前記行列に含まれる複数の列を、各列の各要素から算出される第２の代表値に基づき並べ替えた行列から前記画像データを生成する、
付記１から５の何れか１つに記載の評価装置。
前記生成処理において、前記少なくとも１つのプロセッサは、前記行列に含まれる複数の列を、各列の各要素から算出される第２の代表値に基づき並べ替えた行列から前記画像データを生成する、
付記１から５の何れか１つに記載の評価装置。
【0115】
（付記７）
前記言語処理モデルとして第１の言語処理モデルを適用して、前記取得処理、前記生成処理、前記検出処理、および前記評価処理が実行されることにより得られた前記エンベディング層の品質の評価結果を第１の評価結果とし、
前記言語処理モデルとして前記第１の言語処理モデルとは異なる第２の言語処理モデルを適用して、前記取得処理、前記生成処理、前記検出処理、および前記評価処理が実行されることにより得られた前記エンベディング層の品質の評価結果を第２の評価結果とし、
前記評価処理において、前記少なくとも１つのプロセッサは、
同一の前記複数の訓練データ片を用いて得られた前記第１の評価結果および前記第２の評価結果が何れも所定基準を満たさない場合に、当該複数の訓練データ片の品質が基準を満たさないと評価する、
付記１から６の何れか１つに記載の評価装置。
前記言語処理モデルとして第１の言語処理モデルを適用して、前記取得処理、前記生成処理、前記検出処理、および前記評価処理が実行されることにより得られた前記エンベディング層の品質の評価結果を第１の評価結果とし、
前記言語処理モデルとして前記第１の言語処理モデルとは異なる第２の言語処理モデルを適用して、前記取得処理、前記生成処理、前記検出処理、および前記評価処理が実行されることにより得られた前記エンベディング層の品質の評価結果を第２の評価結果とし、
前記評価処理において、前記少なくとも１つのプロセッサは、
同一の前記複数の訓練データ片を用いて得られた前記第１の評価結果および前記第２の評価結果が何れも所定基準を満たさない場合に、当該複数の訓練データ片の品質が基準を満たさないと評価する、
付記１から６の何れか１つに記載の評価装置。
【0116】
（付記８）
前記生成処理において、前記少なくとも１つのプロセッサは、前記行列の要素の最小値から最大値までに対して、複数の色の間を所定数の階調で表した画素値を割り当てることにより、前記行列の各要素を画素値に変換する、
付記１から７の何れか１つに記載の評価装置。
前記生成処理において、前記少なくとも１つのプロセッサは、前記行列の要素の最小値から最大値までに対して、複数の色の間を所定数の階調で表した画素値を割り当てることにより、前記行列の各要素を画素値に変換する、
付記１から７の何れか１つに記載の評価装置。
【0117】
（付記９）
前記少なくとも１つのプロセッサは、
前記評価処理による評価結果、および前記生成処理により生成した画像データの一方または両方を出力する出力処理、をさらに実行する、
付記１から８の何れか１つに記載の評価装置。
前記少なくとも１つのプロセッサは、
前記評価処理による評価結果、および前記生成処理により生成した画像データの一方または両方を出力する出力処理、をさらに実行する、
付記１から８の何れか１つに記載の評価装置。
【0118】
（付記１０）
前記検出処理において、前記少なくとも１つのプロセッサは、前記画素値の変化に基づいて検出した第１境界の候補のうち、前記画像データにおいて前記エンベディングに対応する行または列の方向に平行な候補を、前記第１境界として検出する、
付記２から４の何れか１つに記載の評価装置。
前記検出処理において、前記少なくとも１つのプロセッサは、前記画素値の変化に基づいて検出した第１境界の候補のうち、前記画像データにおいて前記エンベディングに対応する行または列の方向に平行な候補を、前記第１境界として検出する、
付記２から４の何れか１つに記載の評価装置。
【0119】
（付記１１）
前記検出処理において、前記少なくとも１つのプロセッサは、前記画像データの一辺に平行な平行線に含まれる、１または複数の前記平行な候補の長さの合計が、当該一辺の長さに対して所定割合以上の場合に、当該平行線を前記第１境界として検出する、
付記１０に記載の評価装置。
前記検出処理において、前記少なくとも１つのプロセッサは、前記画像データの一辺に平行な平行線に含まれる、１または複数の前記平行な候補の長さの合計が、当該一辺の長さに対して所定割合以上の場合に、当該平行線を前記第１境界として検出する、
付記１０に記載の評価装置。
【0120】
なお、付記事項３における付記１から１１の何れか１つに記載の評価装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記生成処理と、前記検出処理と、前記評価処理と、を前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0121】
１、１Ａ 評価装置
２ 学習装置
３ 表示装置
１０ 評価システム
１１、１１Ａ 取得部
１２、１２Ａ 生成部
１３、１３Ａ 検出部
１４、１４Ａ 評価部
１５Ａ 出力部
Ｃ１ プロセッサ
Ｃ２ メモリ
２ 学習装置
３ 表示装置
１０ 評価システム
１１、１１Ａ 取得部
１２、１２Ａ 生成部
１３、１３Ａ 検出部
１４、１４Ａ 評価部
１５Ａ 出力部
Ｃ１ プロセッサ
Ｃ２ メモリ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】