特許 7530528 情報処理方法、情報処理装置および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-07-30

(45)【発行日】2024-08-07

(54)【発明の名称】情報処理方法、情報処理装置および情報処理プログラム

(51)【国際特許分類】

   G06N 5/04 20230101AFI20240731BHJP

【ＦＩ】

G06N5/04

【請求項の数】 12

(21)【出願番号】P 2024016331

(22)【出願日】2024-02-06

【審査請求日】2024-02-06

(31)【優先権主張番号】63/592,302

(32)【優先日】2023-10-23

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】520090055

【氏名又は名称】アクタピオ，インコーポレイテッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】岡本 慎一郎

【審査官】渡辺 順哉

(56)【参考文献】

【文献】特開２０１７－０８３９９０（ＪＰ，Ａ）

【文献】国際公開第２０１０／１１９６１５（ＷＯ，Ａ１）

【文献】岩瀬 靖彦，機械学習による「不適切コンテンツ検出」の実装と成果，Medium[online]，2019年01月30日，[retrieved on 2024.05.10], Retrieved from the Internet: <URL: https://mixi-developers.mixi.co.jp/mixi-20190110-d1cde81cf37c>

【文献】岩瀬 靖彦，僅少コストで人力労働を8割削減した話，Qiita[online]，2020年05月28日，[retrieved on 2024.05.10], Retrieved from the Internet: <URL: https://qiita.com/yaiwase/items/44e4bcf2e28b01333a54>

【文献】HAYAKAWA, Kazuki，社内で初めて機械学習システムを企画してから運用に乗せるまでの話，Qiita[online]，2019年12月12日，[retrieved on 2024.05.10], Retrieved from the Internet: <URL: https://qiita.com/kazuki_hayakawa/items/9ef67112cf6302f3e4ed>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータが実行する情報処理方法であって、
推論処理の対象となる複数の入力データの各々をモデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する推論結果を示す複数の出力値と、前記モデルを評価する際の基準を示す基準情報とを取得する取得工程と、
前記取得工程により取得された前記基準情報が示す基準に基づいて決定された閾値を用いて、前記複数の出力値のうち、前記モデルの評価に用いる対象とする評価用データ群を選択し、選択した前記評価用データ群を用いて、前記モデルの評価を示す指標値を算出する処理工程と、
を含み、
前記処理工程は、
前記複数の出力値を値が大きい方から順にソートし、ソート後の前記複数の出力値のうち、前記閾値以上である全出力値を前記閾値よりも大きい第１値に設定し、ソート後の前記複数の出力値のうち、前記閾値未満である全出力値を前記閾値よりも小さい第２値に設定し、前記第１値に設定された前記評価用データ群を用いて、前記モデルの評価を示す前記指標値を算出する
ことを特徴とする情報処理方法。

【請求項2】

前記取得工程は、
違反に該当するか否かの判定対象となる文字情報である前記複数の入力データの各々を前記モデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する判定結果を示す前記複数の出力値を取得する
ことを特徴とする請求項１に記載の情報処理方法。

【請求項3】

前記取得工程は、
インターネットにおける投稿情報である前記複数の入力データの各々を前記モデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する判定結果を示す前記複数の出力値を取得する
ことを特徴とする請求項２に記載の情報処理方法。

【請求項4】

前記取得工程は、
入力された文字情報が前記違反に該当するか可能性が高い程、高い値を出力する前記モデルが出力した前記複数の出力値を取得する
ことを特徴とする請求項２に記載の情報処理方法。

【請求項5】

前記処理工程は、
前記複数の出力値のうち、前記閾値以上である出力値を前記評価用データ群として選択し、前記評価用データ群に含まれる前記違反に該当するデータの割合を示す値を、前記モデルの評価を示す前記指標値として算出する
ことを特徴とする請求項４に記載の情報処理方法。

【請求項6】

前記取得工程は、
前記複数の入力データを所定の人員により確認した場合に確認可能な数を示す前記基準情報を取得する
ことを特徴とする請求項２に記載の情報処理方法。

【請求項7】

前記処理工程は、前記閾値を用いて前記複数の出力値から前記数の前記評価用データ群を選択し、前記数の前記評価用データ群に含まれる前記違反に該当するデータの割合を示す値を、前記モデルの評価を示す前記指標値として算出する
ことを特徴とする請求項６に記載の情報処理方法。

【請求項8】

前記処理工程は、算出した前記指標値を用いてモデルの最適化処理を実行する
ことを特徴とする請求項１に記載の情報処理方法。

【請求項9】

前記処理工程は、一のモデルを更新する更新処理を行って生成された複数のモデルの各々について算出した複数の指標値を用いて前記モデルの最適化処理を実行する
ことを特徴とする請求項８に記載の情報処理方法。

【請求項10】

前記処理工程は、前記複数のモデルのうち、指標値が最も高いモデルを選択することにより、前記モデルの最適化処理を実行する
ことを特徴とする請求項９に記載の情報処理方法。

【請求項11】

推論処理の対象となる複数の入力データの各々をモデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する推論結果を示す複数の出力値と、前記モデルを評価する際の基準を示す基準情報とを取得する取得部と、
前記取得部により取得された前記基準情報が示す基準に基づいて決定された閾値を用いて、前記複数の出力値のうち、前記モデルの評価に用いる対象とする評価用データ群を選択し、選択した前記評価用データ群を用いて、前記モデルの評価を示す指標値を算出する処理部と、
を備え、
前記処理部は、
前記複数の出力値を値が大きい方から順にソートし、ソート後の前記複数の出力値のうち、前記閾値以上である全出力値を前記閾値よりも大きい第１値に設定し、ソート後の前記複数の出力値のうち、前記閾値未満である全出力値を前記閾値よりも小さい第２値に設定し、前記第１値に設定された前記評価用データ群を用いて、前記モデルの評価を示す前記指標値を算出する
ことを特徴とする情報処理装置。

【請求項12】

推論処理の対象となる複数の入力データの各々をモデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する推論結果を示す複数の出力値と、前記モデルを評価する際の基準を示す基準情報とを取得する取得手順と、
前記取得手順により取得された前記基準情報が示す基準に基づいて決定された閾値を用いて、前記複数の出力値のうち、前記モデルの評価に用いる対象とする評価用データ群を選択し、選択した前記評価用データ群を用いて、前記モデルの評価を示す指標値を算出する処理手順と、
をコンピュータに実行させ、
前記処理手順は、
前記複数の出力値を値が大きい方から順にソートし、ソート後の前記複数の出力値のうち、前記閾値以上である全出力値を前記閾値よりも大きい第１値に設定し、ソート後の前記複数の出力値のうち、前記閾値未満である全出力値を前記閾値よりも小さい第２値に設定し、前記第１値に設定された前記評価用データ群を用いて、前記モデルの評価を示す前記指標値を算出する
ことを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、情報処理装置および情報処理プログラムに関する。

【背景技術】

【0002】

近年、ＤＮＮ（Deep Neural Network）といったニューラルネットワーク等の各種モデルに対し、学習データが有する特徴を学習させることで、モデルを生成する技術が提案されている。また、学習したモデルは、各種の予測や分類等とった各種の推論処理に用いられる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－１６８０４２公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した技術では、学習したモデルの評価については十分に考量されているとは言い難い。例えば、上述した技術では、学習したモデルの評価を行わずに再学習を行っており、そのモデルを用いる用途によっては再学習の結果により元のモデルよりも精度が低下する場合が生じ得る。そのため、モデルの学習を行う際は、そのモデルの用途などに応じて柔軟な評価を行うことが望まれている。このように、上述した技術は、学習したモデルの評価の点については改善の余地がある。

【0005】

本願は、上記に鑑みてなされたものであって、モデルについて柔軟な評価を可能にする情報処理方法、情報処理装置および情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本願に係る情報処理方法は、コンピュータが実行する情報処理方法であって、推論処理の対象となる複数の入力データの各々をモデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する推論結果を示す複数の出力値と、前記モデルを評価する際の基準を示す基準情報とを取得する取得工程と、前記取得工程により取得された前記基準情報が示す基準に基づいて決定された閾値を用いて、前記複数の出力値のうち、前記モデルの評価に用いる対象とする評価用データ群を選択し、選択した前記評価用データ群を用いて、前記モデルの評価を示す指標値を算出する処理工程と、を含むことを特徴とする。

【発明の効果】

【0007】

実施形態の一態様によれば、モデルについて柔軟な評価を可能にすることができるという効果を奏する。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る情報処理の一例を示す図である。

【図2】実施形態に係る情報処理システムの構成例を示す図である。

【図3】実施形態に係る情報処理装置の構成例を示す図である。

【図4】実施形態に係るモデル情報記憶部の一例を示す図である。

【図5】実施形態に係る情報処理の一例を示すフローチャートである。

【図6】実験結果の一例を示す図である。

【図7】実験結果の一例を示す図である。

【図8】ハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る情報処理方法、情報処理装置および情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理方法、情報処理装置および情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0010】

（実施形態）
〔１．実施形態〕
図１を用いて、実施形態に係る情報処理の一例について説明する。図１は、実施形態に係る情報処理の一例を示す図である。例えば、情報処理装置１００（図３参照）が図１に示す情報処理を実行する。以下では、インターネットにおける質問及び回答等の投稿（文字情報）が違反に該当するか否かの判定に用いるモデル（「違反投稿判定モデル」ともいう）を評価対象のモデルの一例として説明する。なお、違反投稿判定モデルは、以下に示す情報処理での評価対象となるモデルの一例に過ぎず、違反投稿判定モデルに限らず、以下に示す情報処理が適用可能なモデルであれば、任意のモデルが評価対象となるモデルとして採用可能である。

【0011】

〔１－１．情報処理例〕
ここから、図１を用いて情報処理装置１００が実行する情報処理の一例を説明する。まず、以下に示す処理の説明に先だって前提を簡単に説明する。例えば、図１に示す例において評価対象となる違反投稿判定モデルは、投稿等の文字情報が入力された場合にその文字情報が違反に該当する可能性（度合い）を示す出力値（「スコア」ともいう）を出力するモデルである。例えば、違反投稿判定モデルは、０から１までの間のスコア（値）を出力するモデルであり、文字情報が入力された場合に入力された文字情報が違反に該当するか可能性が高い程、高いスコア（値）を出力するモデルである。なお、ここでいう投稿が違反に該当とは、例えばその投稿が投稿されたサービス（インターネット投稿サービス等）におけるガイドラインに違反することであってもよい。

【0012】

まず、図１では、情報処理装置１００は、違反判定（推論処理）の対象となる複数の文字情報の各々が入力された違反投稿判定モデルが出力した複数の文字情報の各々に対応する複数の出力値（スコア）を含むデータ群ＤＴ１１を取得する。例えば、情報処理装置１００は、違反判定の対象となる複数の文字情報の各々を違反投稿判定モデルに対して入力し、違反投稿判定モデルが出力した複数の文字情報の各々に対応する推論結果を示す複数の出力値（スコア）を含むデータ群ＤＴ１１を生成してもよい。

【0013】

なお、情報処理装置１００は、違反投稿判定モデルが出力した複数の文字情報の各々に対応する推論結果を示す複数の出力値（スコア）を含むデータ群ＤＴ１１を、情報提供装置５０等の他のコンピュータ（外部装置）から取得（受信）してもよい。なお、違反投稿判定モデルに対して入力される複数の文字情報には、任意の文字情報が採用可能であり、過去に投稿された文字情報が含まれてもよいし、評価算出用に生成（準備）した文字情報が含まれてもよい。すなわち、違反投稿判定モデルに対して入力される文字情報（入力データ）は、実際に投稿された情報に限らず、任意の情報が採用可能である。

【0014】

図１では、情報処理装置１００は、データ群ＤＴ１１に示すような複数の出力値（スコア）を用いて違反投稿判定モデルの評価を算出する。なお、図１中のデータ群ＤＴ１１に含まれる各出力値（スコア）には、後述するデータ群ＤＴ１４と同様に、その出力値に対応する文字情報が違反に該当するか否かを示すラベル（正解情報）が対応付けられているが図示を省略する。

【0015】

まず、情報処理装置１００は、データ群ＤＴ１１に含まれる複数の出力値を値が大きい方から順にソートする（ステップＳ１）。図１では、情報処理装置１００は、データ群ＤＴ１１に含まれる複数の出力値を値が大きい方から順に並べる（ソートする）ことにより、値が大きい方から順に複数の出力値が並んだデータ群ＤＴ１２を生成する。

【0016】

そして、情報処理装置１００は、モデルを評価する際の基準に基づいて、閾値を決定する（ステップＳ２）。図１では、情報処理装置１００は、データ群ＤＴ１３に示すように、複数の文字情報を所定の人員により確認した場合に確認可能な数を示す基準に基づいて、閾値ＰＴ１を決定する。例えば、情報処理装置１００は、複数の文字情報を違反投稿対応用の人員の目視により違反に該当するか否かを確認する場合に確認可能な数を示す基準情報を取得し、取得した基準情報に基づいて、閾値ＰＴ１を決定する。

【0017】

例えば、情報処理装置１００は、複数の文字情報を所定の人員により確認した場合に確認可能な数がデータ群ＤＴ１３（データ群ＤＴ１２）の上位Ｘ％（Ｘは例えば５や１０等の任意の値）である場合、データ群ＤＴ１３のうち上位Ｘ％までのデータ（スコア）がその値以上となる値を閾値ＰＴ１に決定する。例えば、情報処理装置１００は、複数の文字情報を所定の人員により確認した場合に確認可能な数がデータ群ＤＴ１３の上位８％である場合、データ群ＤＴ１３のうち上位８％までのデータ（スコア）がその値以上となる値（例えば０．７等）を閾値ＰＴ１に決定する。

【0018】

なお、基準情報が示す確認可能な数は、上位数％（例えば５％や１０％等）等のデータ集合のうち確認可能な割合を示す値に限らず、具体的な数であってもよい。この場合、例えば、情報処理装置１００は、複数の文字情報を所定の人員により確認した場合に確認可能な数が千件である場合、データ群ＤＴ１３の上位千件までのデータ（スコア）がその値以上となる値を閾値に決定してもよい。

【0019】

そして、情報処理装置１００は、ソート後の複数の出力値のうち、閾値以上である全出力値を閾値よりも大きい第１値に設定し、ソート後の複数の出力値のうち、閾値未満である全出力値を閾値よりも小さい第２値に設定する（ステップＳ３）。図１では、情報処理装置１００は、データ群ＤＴ１４に示すように、データ群ＤＴ１３のデータ（スコア）のうち、閾値ＰＴ１以上である全出力値を閾値ＰＴ１よりも大きい第１値に設定し、閾値ＰＴ１未満である全出力値を閾値ＰＴ１よりも小さい第２値に設定する。

【0020】

例えば、情報処理装置１００は、データ群ＤＴ１３のデータ（スコア）のうち、閾値ＰＴ１（例えば０．７）以上である全出力値を閾値ＰＴ１よりも大きい第１値である「１」に設定し、閾値ＰＴ１（例えば０．７）未満である全出力値を閾値ＰＴ１よりも小さい第２値である「０」に設定する。すなわち、情報処理装置１００は、データ群ＤＴ１３のうち上位Ｘ％以上のデータ群のスコアを第１値である「１」に設定し、データ群ＤＴ１３のうち上位Ｘ％未満のデータ群のスコアを第２値である「０」に設定する。

【0021】

これにより、情報処理装置１００は、閾値ＰＴ１（例えば０．７）以上である全出力値を閾値ＰＴ１よりも大きい第１値である「１」に設定され、閾値ＰＴ１（例えば０．７）未満である全出力値を閾値ＰＴ１よりも小さい第２値である「０」に設定されたデータ群ＤＴ１４を生成する。なお、上述した第１値及び第２値は一例に過ぎず、第１値は閾値よりも大きい値であれば「１」に限らず任意の値であってもよく、第２値は閾値よりも小さい値であれば「０」に限らず任意の値であってもよい。

【0022】

そして、情報処理装置１００は、第１値に設定された評価用データ群を用いて、モデルの評価を示す指標値を算出する（ステップＳ４）。図１では、情報処理装置１００は、データ群ＤＴ１４のうち、第１値である「１」にスコアが設定されたデータを評価用データ群ＴＧ１として選択する。そして、情報処理装置１００は、決定した評価用データ群ＴＧ１を用いて、違反投稿判定モデルの評価を示す指標値を算出する。

【0023】

図１では、情報処理装置１００は、新評価指標情報ＮＭ１に示すように、違反投稿判定モデルの評価を示す指標値ＶＬ１を算出する。例えば、情報処理装置１００は、データ群ＤＴ１４のうち閾値ＰＴ１以上、すなわち上位Ｘ％以上のデータ群である評価用データ群ＴＧ１の各スコアに対応付けられたラベル（正解情報）の情報を用いて、違反投稿判定モデルの評価を示す指標値を算出する。例えば、ラベル「１」が対応付けられたスコアに対応する文字情報は、違反に該当する文字情報（投稿）であることを示し、ラベル「０」が対応付けられたスコアに対応する文字情報は、違反に該当しない文字情報（投稿）であることを示す。

【0024】

例えば、情報処理装置１００は、評価用データ群ＴＧ１に含まれる違反に該当するデータの割合を示す値を、違反投稿判定モデルの評価を示す指標値ＶＬ１として算出する。図１では、情報処理装置１００は、評価用データ群ＴＧ１のうち違反に該当することを示すラベル「１」が対応付けられたデータの割合に基づいて、違反投稿判定モデルの評価を示す指標値ＶＬ１を算出する。例えば、情報処理装置１００は、評価用データ群ＴＧ１に含まれるデータ（スコア）のうち、ラベル「１」が対応付けられたデータ数を、評価用データ群ＴＧ１に含まれる全データ（スコア）数で除した値を指標値ＶＬ１として算出する。

【0025】

上述したように、情報処理装置１００は、データ群のうち、所定の人員により確認した場合に確認可能な数に対応するデータのみを用いて、モデルの評価を算出する。これにより、情報処理装置１００は、人が対象とできる数に対応するデータのみを対象として、モデルの評価を算出することができる。したがって、情報処理装置１００は、単純にデータ全体を評価の算出に用いるのではなく、そのモデルの使用の状態に沿った評価を算出することができるため、モデルについて柔軟な評価を可能にすることができる。

【0026】

なお、上述した情報処理が適用可能なモデルであれば、違反投稿判定モデルに限らず任意のモデルが評価対象となるモデルとして採用可能であり、評価対象となるモデルは、例えば違反商品判定モデル、違反画像判定モデル等の様々なモデルであってもよい。

【0027】

また、情報処理システム１は、情報処理装置１００が算出したモデルの評価を様々な処理に用いてもよい。情報処理システム１は、情報処理装置１００が算出したモデルの評価を示す情報を、そのモデルを用いてサービスを提供するサービス提供者（ユーザ等）に提供してもよい。この場合、情報処理システム１は、情報処理装置１００が算出したモデルの評価を示す情報を、そのモデルを用いてサービスを提供するサービス提供者が利用するコンピュータ（端末装置１０等）に送信する。また、例えば、情報処理システム１は、情報処理装置１００が算出したモデルの評価を用いて、モデルの最適化に関する処理を行ってもよい。例えば、情報処理システム１は、情報処理装置１００が算出したモデルの評価を用いて、モデル（のパラメータ等）を更新する更新処理を繰り返してもよい。

【0028】

例えば、情報処理システム１は、複数のモデルを評価対象として、各モデルの評価を算出し、複数のモデルのうち、評価が高いモデルを選択して、選択したモデルを更新する更新処理を行ってモデルの精度を向上させてもよい。例えば、情報処理システム１は、複数のモデルのうち、算出した評価が最も高いモデルを選択して、選択したモデルを更新する更新処理を行って複数のモデルを学習してもよい。そして、情報処理システム１は、学習した複数のモデルのうち、算出した評価が最も高いモデルを選択して更新処理を行ってもよい。

【0029】

このように、情報処理システム１は、情報処理装置１００が算出したモデルの評価を用いてモデルの更新（改良）を繰り返し行ってもよい。例えば、モデルを更新する更新処理は、情報処理システム１のいずれの装置が行ってもよい。なお、上述した処理は一例に過ぎす、情報処理システム１は、情報処理装置１００が算出したモデルの評価を用いれば、どのような態様によりモデルの最適化に関する処理を行ってもよい。

【0030】

例えば、情報処理装置１００は、モデルを更新する更新処理を行ってもよい。また、例えば、情報提供装置５０がモデルを更新する更新処理を行ってもよい。この場合、情報処理装置１００は、算出したモデルの評価を示す情報を情報提供装置５０に送信し、情報提供装置５０が情報処理装置１００から受信したモデルの評価に基づいて、モデルを更新する更新処理を行ってもよい。そして、情報処理装置１００は、情報提供装置５０から更新処理後のモデルに関する情報を情報提供装置５０から受信し、受信した情報を用いてモデルの評価を算出してもよい。例えば、情報処理装置１００は、情報提供装置５０から更新処理後のモデルやそのモデルを用いて生成したデータ群等の情報を情報提供装置５０から受信し、受信した情報を用いてモデルの評価を算出してもよい。

【0031】

上述したように、情報処理装置１００は、算出したモデルの評価（例えば指標値）の情報を、様々な情報処理やサービス等の品質向上に用いてもよい。この点の具体的な一例を以下に示す。以下では、算出したモデルの評価の情報を用いてインターネット投稿サービス（単に「投稿サービス」ともいう）の品質を向上させる場合を一例として説明する。なお、算出したモデルの評価の情報を適用する処理は以下に示す処理に限られず、様々な情報処理やサービス等の品質向上に用いられてもよい。

【0032】

例えば、投稿サービスにおけるデータ群のうち、投稿サービスで違反投稿をチェックする人員により確認した場合に確認可能な数に対応するデータのみを用いてモデルの評価を示す指標値を算出することは、その投稿サービスにおいて最も適切なモデルを得ることにつながる。すなわち、上述した処理でモデルの指標値を算出することは、例えば投稿サービス側が追求しているＫＰＩ（Key Performance Indicator）となる違反投稿の削除率を、情報処理装置１００がそのままモデルの評価指標として用いて、モデルの選択等、モデルの最適化を行うことを可能にする。

【0033】

上記の点を言い換えると、情報処理装置１００が算出したモデルの指標値が高い事は、そのモデルによる違反投稿の削除率が高いことを示すとともに、そのモデルが投稿サービス側にとって有効性が高いことを示す。すなわち、複数のモデルを対象とした場合、複数のモデルのうち、情報処理装置１００が算出した指標値が一番高いモデルは、違反投稿の削除率が一番高いモデル、及び投稿サービス側が一番欲しいモデルとなる。したがって、情報処理装置１００が算出したモデルの指標値を用いて、上述したようなモデルの選択等、モデルの最適化を行うことにより、投稿サービス側が一番欲しいモデルを適切に生成することが可能となる。

【0034】

また、投稿サービス側において違反投稿を確認する人員の数が変動することが想定され得る。このように、投稿サービス側において違反投稿を確認する人員の数が変わった場合、上述した処理ではモデルの評価を算出する際に用いる閾値（例えば上位Ｘ％のＸの値等）が変わることになる。すなわち、上述した処理では投稿サービス側において違反投稿を確認する人員の数に応じて変化する閾値によって、選択されるモデルが変わることとなる。

【0035】

このように、情報処理装置１００が行う処理では、同じデータ群を対象とした場合であっても、投稿サービス側において違反投稿を確認する人員の数に応じて、選択する最適なモデル（例えば指標値が一番高いモデル）が変更可能である。したがって、情報処理装置１００は、投稿サービス側において違反投稿を確認する人員の数が変動する場合であっても、その変動した人員の数に応じて最適なモデルを適切に選択することが可能となる。

【0036】

一方で、従来の指標では、たとえ従来の指標を組み合わせても、上述した処理により情報処理装置１００が算出したモデルの評価（指標値等）のように、サービス側が一番欲しいモデルを得ることが難しい。仮に、データ群を対象としてＲｅｃａｌｌ（再現率）を用いた場合、０．０～１．０の間で設定される閾値から、予測値（例えばモデルの出力値）がＴｒｕｅ（例えば違反投稿に該当）となるレコードの数を得ることは可能であるが、その逆、任意のレコード数から適切な閾値を算出するには探索が必要となる。そのため、従来の指標では、上述した処理により情報処理装置１００が算出したモデルの評価を用いた場合と同様の処理（モデルの最適化等）を行うことは仕組み上困難である。

【0037】

これに対し、情報処理装置１００は、上述した処理によりモデルの評価を算出することで、モデルについて柔軟な評価を可能にすることができる。また、情報処理装置１００は、算出したモデルの評価を用いてモデルの選択等、モデルの最適化を行うことで、投稿サービス側において違反投稿を確認する人員の数が変動する場合であっても、その変動した人員の数に応じて最適なモデルを選択することができ、投稿サービス側が一番欲しいモデルを適切に生成することができる。

【0038】

〔１－２．情報処理システムの構成〕
図２に示すように、情報処理システム１は、端末装置１０と、情報提供装置５０と、情報処理装置１００とが含まれる。端末装置１０と、情報提供装置５０と、情報処理装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。図２は、実施形態に係る情報処理システムの構成例を示す図である。なお、図２に示した情報処理システム１には、複数の端末装置１０や、複数の情報提供装置５０や、複数の情報処理装置１００が含まれてもよい。

【0039】

端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、ユーザによる種々の操作を受け付ける。なお、以下では、端末装置１０をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置１０と読み替えることもできる。なお、上述した端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。

【0040】

情報提供装置５０は、情報処理装置１００が処理に用いる各種情報を情報処理装置１００に提供するための情報が格納された情報処理装置である。例えば、情報提供装置５０は、学習データが有する特徴を学習させたモデルを生成するコンピュータであり、例えば、サーバ装置やクラウドシステム等により実現される。例えば、情報提供装置５０は、モデルの生成指標として、生成するモデルの種別や行動、どのように学習データの特徴を学習させるかといったコンフィグファイルを受付けると、受付けたコンフィグファイルに従って、モデルの自動生成を行う。なお、情報提供装置５０は、任意のモデル学習手法を用いて、モデルの学習を行ってもよい。また、例えば、情報提供装置５０は、ＡｕｔｏＭＬ（Automated Machine Learning）といった各種既存のサービスであってもよい。

【0041】

情報処理装置１００は、情報処理を実行するコンピュータである。情報処理装置１００は、モデルの評価を示す指標値を算出する算出処理を実行する。また、例えば、情報処理装置１００は、モデルの生成における指標（すなわち、モデルのレシピ）である生成指標を生成する指標生成処理と、生成指標に従ってモデルを生成するモデル生成処理とを実行し、生成した生成指標およびモデルを提供するコンピュータであり、例えば、サーバ装置やクラウドシステム等により実現されてもよい。

【0042】

〔１－３．情報処理装置の構成〕
次に、図３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置１００の構成例を示す図である。図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

【0043】

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワーク（例えば図２中のネットワークＮ）と有線または無線で接続され、端末装置１０や情報提供装置５０との間で情報の送受信を行う。

【0044】

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、図３に示すように、指標算出用情報記憶部１２１と、モデル情報記憶部１２２とを有する。

【0045】

（指標算出用情報記憶部１２１）
実施形態に係る指標算出用情報記憶部１２１は、指標算出に用いる各種情報を記憶する。例えば、指標算出用情報記憶部１２１は、指標算出に用いる関数等を記憶する。例えば、指標算出用情報記憶部１２１は、モデルを評価する際の基準を示す基準情報を記憶する。例えば、指標算出用情報記憶部１２１は、閾値の決定に用いる基準等を記憶する。

【0046】

また、指標算出用情報記憶部１２１は、評価対象となるモデルが出力した複数の出力値を記憶してもよい。指標算出用情報記憶部１２１は、評価対象となるモデルが出力した各出力値に、その出力値に対応する入力データが違反に該当するか否かを示すラベル（正解情報）とを対応付けた情報を記憶してもよい。

【0047】

なお、指標算出用情報記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。

【0048】

（モデル情報記憶部１２２）
実施形態に係るモデル情報記憶部１２２は、（機械学習）モデルに関する情報を記憶する。例えば、モデル情報記憶部１２２は、学習処理により学習（生成）された学習済みモデル（モデル）の情報（モデルデータ）を記憶する。図４は、実施形態に係るモデル情報記憶部の一例を示す図である。図４に示した例では、モデル情報記憶部１２２は、「モデルＩＤ」、「用途」、「モデルデータ」といった項目が含まれる。

【0049】

「モデルＩＤ」は、モデルを識別するための識別情報を示す。「用途」は、対応するモデルの用途を示す。「モデルデータ」は、モデルのデータを示す。図４では「モデルデータ」に「ＭＤＴ１」といった概念的な情報が格納される例を示したが、実際には、モデルの構成（ネットワーク構成）の情報やパラメータに関する情報等、そのモデルを構成する種々の情報が含まれる。例えば、「モデルデータ」には、ネットワークの各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれる。

【0050】

図４では、モデルＩＤ「Ｍ１」により識別されるモデル（モデルＭ１）は、用途が「違反判定」であり、例えば、モデルＭ１は、入力されたテキスト（文字情報）等の入力データの内容が違反に該当するか否かを判定（推定）するために用いられるモデルであることを示す。例えば、モデルＭ１は、テキスト（文字情報）が入力された場合に、そのテキストタの内容が違反に該当する可能性の度合いを示すスコア（値）を出力データとして出力するモデルである。また、モデルＭ１のモデルデータは、モデルデータＭＤＴ１であることを示す。

【0051】

なお、モデル情報記憶部１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。なお、モデルＭ１等のモデルは、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定されるものであってもよい。モデルＭ１等のモデルは、プログラムであってもよい。

【0052】

（制御部１３０）
図３の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

【0053】

図３に示すように、制御部１３０は、取得部１３１と、決定部１３２と、処理部１３３と、提供部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

【0054】

（取得部１３１）
取得部１３１は、各種情報を取得する。例えば、取得部１３１は、記憶部１２０から各種情報を取得する。例えば、取得部１３１は、指標算出用情報記憶部１２１や、モデル情報記憶部１２２等から各種情報を取得する。また、取得部１３１は、各種情報を外部の情報処理装置から取得する。取得部１３１は、端末装置１０や情報提供装置５０から各種情報を取得する。

【0055】

取得部１３１は、推論処理の対象となる複数の入力データの各々をモデルに対して入力し、モデルが出力した複数の入力データの各々に対応する推論結果を示す複数の出力値と、モデルを評価する際の基準を示す基準情報とを取得する。取得部１３１は、違反に該当するか否かの判定対象となる文字情報である複数の入力データの各々をモデルに対して入力し、モデルが出力した複数の入力データの各々に対応する判定結果を示す複数の出力値を取得する。

【0056】

取得部１３１は、インターネットにおける投稿情報である複数の入力データの各々をモデルに対して入力し、モデルが出力した複数の入力データの各々に対応する判定結果を示す複数の出力値を取得する。取得部１３１は、入力された文字情報が違反に該当するか可能性が高い程、高い値を出力するモデルが出力した複数の出力値を取得する。取得部１３１は、複数の入力データを所定の人員により確認した場合に確認可能な数を示す基準情報を取得する。

【0057】

（決定部１３２）
決定部１３２は、種々の情報を決定する決定処理を実行する。決定部１３２は、決定した情報を記憶部１２０に格納する。決定部１３２は、記憶部１２０に記憶された各種情報に基づいて、決定処理を実行する。例えば、決定部１３２は、外部の情報処理装置から受信された各種情報に基づいて、決定処理を実行する。例えば、決定部１３２は、取得部１３１により取得された各種情報に基づいて、決定処理を実行する。

【0058】

決定部１３２は、基準情報が示す基準に基づいて閾値を決定する。決定部１３２は、指標算出用情報記憶部１２１に記憶された基準情報を用いて、閾値を決定する。

【0059】

（処理部１３３）
処理部１３３は、種々の情報を生成する生成処理を実行する。処理部１３３は、生成した情報を記憶部１２０に格納する。例えば、処理部１３３は、取得部１３１により取得された各種情報に基づいて、生成処理を実行する。処理部１３３は、記憶部１２０に記憶された各種情報に基づいて、生成処理を実行する。例えば、処理部１３３は、外部の情報処理装置から受信された各種情報に基づいて、生成処理を実行する。処理部１３３は、決定部１３２により決定された各種情報に基づいて、生成処理を実行する。

【0060】

処理部１３３は、種々の情報を算出する算出処理を実行する。処理部１３３は、算出した情報を記憶部１２０に格納する。例えば、処理部１３３は、取得部１３１により取得された各種情報に基づいて、算出処理を実行する。処理部１３３は、記憶部１２０に記憶された各種情報に基づいて、算出処理を実行する。例えば、処理部１３３は、外部の情報処理装置から受信された各種情報に基づいて、算出処理を実行する。処理部１３３は、決定部１３２により決定された各種情報に基づいて、算出処理を実行する。処理部１３３は、決定部１３２が決定した閾値を用いて、算出処理を実行する。

【0061】

処理部１３３は、取得部１３１により取得された基準情報が示す基準に基づいて決定された閾値を用いて、複数の出力値のうち、モデルの評価に用いる対象とする評価用データ群を選択し、選択した評価用データ群を用いて、モデルの評価を示す指標値を算出する。
処理部１３３は、複数の出力値のうち、閾値以上である出力値を評価用データ群として選択し、評価用データ群に含まれる違反に該当するデータの割合を示す値を、モデルの評価を示す指標値として算出する。

【0062】

処理部１３３は、閾値を用いて複数の出力値から数の評価用データ群を選択し、数の評価用データ群に含まれる違反に該当するデータの割合を示す値を、モデルの評価を示す指標値として算出する。処理部１３３は、複数の出力値を値が大きい方から順にソートする。処理部１３３は、ソート後の複数の出力値のうち、閾値以上である全出力値を閾値よりも大きい第１値に設定する。処理部１３３は、ソート後の複数の出力値のうち、閾値未満である全出力値を閾値よりも小さい第２値に設定する。処理部１３３は、第１値に設定された評価用データ群を用いて、モデルの評価を示す指標値を算出する。

【0063】

処理部１３３は、指標値を用いてモデルの最適化処理を実行する。処理部１３３は、複数のモデルの各々について算出した複数の指標値を用いてモデルの最適化処理を実行する。処理部１３３は、複数のモデルのうち、指標値が最も高いモデルを選択することにより、モデルの最適化処理を実行する。例えば、処理部１３３は、算出したモデルの評価を用いて、モデルの最適化に関する処理を行ってもよい。例えば、処理部１３３は、算出したモデルの評価を用いて、モデルを更新する更新処理を繰り返してもよい。

【0064】

例えば、処理部１３３は、複数のモデルを評価対象として、各モデルの評価を算出し、複数のモデルのうち、評価が高いモデルを選択して、選択したモデルを更新する更新処理により、モデルの最適化処理を実行する。例えば、処理部１３３は、複数のモデルのうち、算出した評価が最も高いモデルを選択して、選択したモデルを更新する更新処理を行って複数のモデルを生成し、生成した複数のモデルのうち、指標値が最も高いモデルを選択することにより、モデルの最適化処理を実行する。例えば、処理部１３３は、学習した複数のモデルのうち、算出した評価が最も高いモデルを選択して、モデルの最適化処理を実行する。

【0065】

（提供部１３４）
提供部１３４は、各種情報を提供する提供処理を実行する。提供部１３４は、記憶部１２０に記憶された各種情報に基づいて、提供処理を実行する。例えば、提供部１３４は、外部の情報処理装置から受信された各種情報に基づいて、提供処理を実行する。例えば、提供部１３４は、端末装置１０や情報提供装置５０に各種情報を送信する。

【0066】

例えば、提供部１３４は、取得部１３１により取得された各種情報に基づいて、提供処理を実行する。提供部１３４は、決定部１３２により決定された各種情報に基づいて、提供処理を実行する。提供部１３４は、処理部１３３により生成された各種情報に基づいて、提供処理を実行する。提供部１３４は、処理部１３３により算出された各種情報に基づいて、提供処理を実行する。例えば、提供部１３４は、処理部１３３により算出された指標を示す情報を、端末装置１０等の外部装置に送信する。例えば、提供部１３４は、処理部１３３による処理結果を示す情報を、情報提供装置５０に送信する。

【0067】

〔１－４．情報処理のフロー〕
次に、図５を用いて、実施形態に係る情報処理システム１による情報処理の手順について説明する。図５は、実施形態に係る情報処理の一例を示すフローチャートである。

【0068】

図５に示すように、情報処理装置１００は、推論処理の対象となる複数の入力データの各々をモデルに対して入力し、モデルが出力した複数の入力データの各々に対応する推論結果を示す複数の出力値を取得する（ステップＳ１０１）。情報処理装置１００は、モデルを評価する際の基準を示す基準情報を取得する（ステップＳ１０２）。

【0069】

情報処理装置１００は、基準情報が示す基準に基づいて決定された閾値を用いて、複数の出力値のうち、モデルの評価に用いる対象とする評価用データ群を選択する（ステップＳ１０３）。情報処理装置１００は、選択した評価用データ群を用いて、モデルの評価を示す指標値を算出する（ステップＳ１０４）。

【0070】

〔１－５．実験結果例〕
ここから、上述した処理により算出した評価を用いて学習したモデルを用いた場合の実験結果例について、図６及び図７を一例として説明する。図６及び図７は、実験結果の一例を示す図である。例えば、図６及び図７に示す実験結果は、上述したモデルの最適化に関する処理を行って学習（生成）されたモデルを用いた場合の実験結果の一例を示す。具体例には、図６は、新評価指標と基準との関係を示す実験結果の一例を示す。また、図７は、違反投稿の削除割合と確認数との関係を示す実験結果の一例を示す。

【0071】

まず、図６を用いて、新評価指標と基準との関係に関する実験結果の一例について説明する。図６のグラフＲＳ１は、横軸が基準とする値（基準値）、縦軸が新評価指標を示す。図６での基準は、モデルが出力した複数の出力値のうち、新評価指標の算出に用いるデータの割合を示す。例えば、基準が「０．０６」の場合が、モデルが出力した複数の出力値のうち、値が大きい方から上位６％のデータを新評価指標の算出に用いる場合に対応する。

【0072】

図６中の線ＬＮ１１は、質問を対象とした場合のモデル（質問モデル）についての実験結果を示す。また、図６中の線ＬＮ１２は、回答を対象とした場合のモデル（回答モデル）についての実験結果を示す。質問モデルについては、基準を「０．０６」とした場合、新評価指標は「０．８９３」となり、基準を「０．０８」とした場合、新評価指標は「０．９２９」となる。また、回答モデルについては、基準を「０．０２」とした場合、新評価指標は「０．６０２」となる。

【0073】

このように、図６のグラフＲＳ１では、線ＬＮ１１に示すように、質問モデルのスコア上位８％に違反投稿全体の９２．９％が含まれていることを示す。このように、上述した処理により算出した評価を基に学習したモデルを用いた場合、適切に違反投稿を抽出できることが示された。

【0074】

次に、図７を用いて、違反投稿の削除割合と確認数との関係に関する実験結果の一例について説明する。図７のグラフＲＳ２は、横軸が質問に対応する投稿数、縦軸が違反投稿の削除割合を示す。図７では、確認数が、１日に人が目視で審査可能な投稿数である目視審査数「９０００」である場合を示し、図７では、質問の投稿数が１日に５万件であり、回答の投稿数が１日に１０万件である場合を示す。

【0075】

図７中の線ＬＮ２１及び線ＬＮ２２は、確認数「９０００」を質問及び回答の各々に振り分けた場合における質問及び回答の各々の違反投稿の削除割合を示す。図７中の線ＬＮ２３は、質問及び回答の各々の違反投稿の削除割合の合計を示す。

【0076】

例えば、線ＬＮ２３に示すように、確認数「９０００」を質問に「２０００」、回答に「７０００」で振り分けた場合、違反投稿の削除割合は「０．８３５」となる。また、図７のグラフＲＳ３では、確認数「９０００」を質問に「３０００」、回答に「６０００」で振り分けた場合、違反投稿の削除割合は「０．８３７」となる。また、図７のグラフＲＳ３では、確認数「９０００」を質問に「４０００」、回答に「５０００」で振り分けた場合、違反投稿の削除割合は「０．８２７」となる。このように、図７のグラフＲＳ３では、確認数「９０００」を質問に「３０００」、回答に「６０００」で振り分けた場合に、違反投稿の削除割合が最も大きくできたことを示す。

【0077】

例えば、過去のモデルでは、確認数が「９０００」である場合の違反投稿の削除割合は最大「０．５３１」であったのに対して、上述したモデルの最適化に関する処理を行って学習（生成）されたモデルでは、確認数が「９０００」である場合の違反投稿の削除割合は最大「０．８３７」に向上させることができ、「＋０．３０６（＋３０．６％）」の精度向上を達成することができた。

【0078】

〔２．変形例〕
上記では、情報処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、提供処理の変形例について説明する。

【0079】

〔２－１．装置構成〕
上記実施形態では、情報処理システム１に、モデルの評価を行う情報処理装置１００、および、モデルを生成する情報提供装置５０を有する例について説明したが、実施形態は、これに限定されるものではない。例えば、情報処理装置１００は、情報提供装置５０が有する機能を有していてもよい。また、情報処理装置１００が発揮する機能は、端末装置１０に内包されていてもよい。このような場合、端末装置１０は、モデルの評価を行うとともに、情報提供装置５０を用いたモデルの生成を自動的に行うこととなる。

【0080】

〔２－２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0081】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0082】

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0083】

〔２－３．プログラム〕
また、上述してきた実施形態に係る情報処理装置１００は、例えば図８に示すような構成のコンピュータ１０００によって実現される。図８は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

【0084】

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。

【0085】

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

【0086】

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

【0087】

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

【0088】

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

【0089】

例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。

【0090】

〔３．効果〕
上述したように、情報処理装置１００は、推論処理の対象となる複数の入力データの各々をモデルに対して入力し、モデルが出力した複数の入力データの各々に対応する推論結果を示す複数の出力値と、モデルを評価する際の基準を示す基準情報とを取得する取得部（実施形態では取得部１３１）と、取得部により取得された基準情報が示す基準に基づいて決定された閾値を用いて、複数の出力値のうち、モデルの評価に用いる対象とする評価用データ群を選択し、選択した評価用データ群を用いて、モデルの評価を示す指標値を算出する処理部（実施形態では処理部１３３）とを有する。これにより、情報処理装置１００は、評価の基準に応じてモデルを評価することができるようになるため、モデルについて柔軟な評価を可能にすることができる。

【0091】

また、取得部は、違反に該当するか否かの判定対象となる文字情報である複数の入力データの各々をモデルに対して入力し、モデルが出力した複数の入力データの各々に対応する判定結果を示す複数の出力値を取得する。これにより、情報処理装置１００は、文字情報が違反に該当するか否かを判定するモデルを適切に評価することができるようになるため、モデルについて柔軟な評価を可能にすることができる。

【0092】

また、取得部は、インターネットにおける投稿情報である複数の入力データの各々をモデルに対して入力し、モデルが出力した複数の入力データの各々に対応する判定結果を示す複数の出力値を取得する。これにより、情報処理装置１００は、インターネットにおける投稿情報が違反に該当するか否かを判定するモデルを適切に評価することができるようになるため、モデルについて柔軟な評価を可能にすることができる。

【0093】

また、取得部は、入力された文字情報が違反に該当するか可能性が高い程、高い値を出力するモデルが出力した複数の出力値を取得する。これにより、情報処理装置１００は、入力された文字情報が違反に該当するか可能性が高い程、高い値を出力するモデルを適切に評価することができるようになるため、モデルについて柔軟な評価を可能にすることができる。

【0094】

また、処理部は、複数の出力値のうち、閾値以上である出力値を評価用データ群として選択し、評価用データ群に含まれる違反に該当するデータの割合を示す値を、モデルの評価を示す指標値として算出する。これにより、情報処理装置１００は、評価用データ群に含まれる違反に該当するデータの割合を示す値を、モデルの評価を示す指標値として算出することができるようになるため、モデルについて柔軟な評価を可能にすることができる。

【0095】

また、取得部は、複数の入力データを所定の人員により確認した場合に確認可能な数を示す基準情報を取得する。これにより、情報処理装置１００は、複数の入力データを所定の人員により確認した場合に確認可能な数を基準としてモデルを適切に評価することができるようになるため、モデルについて柔軟な評価を可能にすることができる。

【0096】

また、処理部は、閾値を用いて複数の出力値から数の評価用データ群を選択し、数の評価用データ群に含まれる違反に該当するデータの割合を示す値を、モデルの評価を示す指標値として算出する。これにより、情報処理装置１００は、複数の入力データを所定の人員により確認した場合に確認可能な数を基準としてモデルを適切に評価することができるようになるため、モデルについて柔軟な評価を可能にすることができる。

【0097】

また、処理部は、複数の出力値を値が大きい方から順にソートし、ソート後の複数の出力値のうち、閾値以上である全出力値を閾値よりも大きい第１値に設定し、ソート後の複数の出力値のうち、閾値未満である全出力値を閾値よりも小さい第２値に設定し、第１値に設定された評価用データ群を用いて、モデルの評価を示す指標値を算出する。これにより、情報処理装置１００は、第１値に設定された評価用データ群を用いて、モデルの評価を示す指標値を算出することができるようになるため、モデルについて柔軟な評価を可能にすることができる。

【0098】

また、処理部は、指標値を用いてモデルの最適化処理を実行する。これにより、情報処理装置１００は、動的に変更した閾値を用いてモデルを適切に評価することができるようになるため、閾値を決定する基準に応じてモデルについて柔軟な評価を可能にし、その基準に応じて適切にモデルの最適化処理を実行することができる。

【0099】

また、処理部は、複数のモデルの各々について算出した複数の指標値を用いてモデルの最適化処理を実行する。これにより、情報処理装置１００は、動的に変更した閾値を用いて複数のモデルの各々について適切に評価することができるようになるため、閾値を決定する基準に応じて複数のモデルについて柔軟な評価を可能にし、その基準に応じて適切に複数のモデルを対象として最適化処理を実行することができる。

【0100】

また、処理部は、複数のモデルのうち、指標値が最も高いモデルを選択することにより、モデルの最適化処理を実行する。これにより、情報処理装置１００は、指標値が最も高いモデルを選択することにより、モデルの最適化処理を実行することで、最も評価が高いモデルを残すことができるため、適切にモデルの最適化処理を実行することができる。

【0101】

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0102】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

【符号の説明】

【0103】

１ 情報処理システム
１０ 端末装置
５０ 情報提供装置
１００ 情報処理装置
１２０ 記憶部
１２１ 指標算出用情報記憶部
１２２ モデル情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 決定部
１３３ 処理部
１３４ 提供部

【要約】

【課題】モデルについて柔軟な評価を可能にする。
【解決手段】本願に係る情報処理方法は、コンピュータが実行する情報処理方法であって、推論処理の対象となる複数の入力データの各々をモデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する推論結果を示す複数の出力値と、前記モデルを評価する際の基準を示す基準情報とを取得する取得工程と、前記取得工程により取得された前記基準情報が示す基準に基づいて決定された閾値を用いて、前記複数の出力値のうち、前記モデルの評価に用いる対象とする評価用データ群を選択し、選択した前記評価用データ群を用いて、前記モデルの評価を示す指標値を算出する処理工程と、を含む。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】