IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アクタピオ,インコーポレイテッドの特許一覧

特開2025-71747情報処理方法、情報処理装置および情報処理プログラム
<>
  • 特開-情報処理方法、情報処理装置および情報処理プログラム 図1
  • 特開-情報処理方法、情報処理装置および情報処理プログラム 図2
  • 特開-情報処理方法、情報処理装置および情報処理プログラム 図3
  • 特開-情報処理方法、情報処理装置および情報処理プログラム 図4
  • 特開-情報処理方法、情報処理装置および情報処理プログラム 図5
  • 特開-情報処理方法、情報処理装置および情報処理プログラム 図6
  • 特開-情報処理方法、情報処理装置および情報処理プログラム 図7
  • 特開-情報処理方法、情報処理装置および情報処理プログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025071747
(43)【公開日】2025-05-08
(54)【発明の名称】情報処理方法、情報処理装置および情報処理プログラム
(51)【国際特許分類】
   G06N 5/04 20230101AFI20250428BHJP
【FI】
G06N5/04
【審査請求】有
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2024016331
(22)【出願日】2024-02-06
(11)【特許番号】
(45)【特許公報発行日】2024-08-07
(31)【優先権主張番号】63/592,302
(32)【優先日】2023-10-23
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】520090055
【氏名又は名称】アクタピオ,インコーポレイテッド
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】岡本 慎一郎
(57)【要約】
【課題】モデルについて柔軟な評価を可能にする。
【解決手段】本願に係る情報処理方法は、コンピュータが実行する情報処理方法であって、推論処理の対象となる複数の入力データの各々をモデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する推論結果を示す複数の出力値と、前記モデルを評価する際の基準を示す基準情報とを取得する取得工程と、前記取得工程により取得された前記基準情報が示す基準に基づいて決定された閾値を用いて、前記複数の出力値のうち、前記モデルの評価に用いる対象とする評価用データ群を選択し、選択した前記評価用データ群を用いて、前記モデルの評価を示す指標値を算出する処理工程と、を含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
コンピュータが実行する情報処理方法であって、
推論処理の対象となる複数の入力データの各々をモデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する推論結果を示す複数の出力値と、前記モデルを評価する際の基準を示す基準情報とを取得する取得工程と、
前記取得工程により取得された前記基準情報が示す基準に基づいて決定された閾値を用いて、前記複数の出力値のうち、前記モデルの評価に用いる対象とする評価用データ群を選択し、選択した前記評価用データ群を用いて、前記モデルの評価を示す指標値を算出する処理工程と、
を含むことを特徴とする情報処理方法。
【請求項2】
前記取得工程は、
違反に該当するか否かの判定対象となる文字情報である前記複数の入力データの各々を前記モデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する判定結果を示す前記複数の出力値を取得する
ことを特徴とする請求項1に記載の情報処理方法。
【請求項3】
前記取得工程は、
インターネットにおける投稿情報である前記複数の入力データの各々を前記モデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する判定結果を示す前記複数の出力値を取得する
ことを特徴とする請求項2に記載の情報処理方法。
【請求項4】
前記取得工程は、
入力された文字情報が前記違反に該当するか可能性が高い程、高い値を出力する前記モデルが出力した前記複数の出力値を取得する
ことを特徴とする請求項2に記載の情報処理方法。
【請求項5】
前記処理工程は、
前記複数の出力値のうち、前記閾値以上である出力値を前記評価用データ群として選択し、前記評価用データ群に含まれる前記違反に該当するデータの割合を示す値を、前記モデルの評価を示す前記指標値として算出する
ことを特徴とする請求項4に記載の情報処理方法。
【請求項6】
前記取得工程は、
前記複数の入力データを所定の人員により確認した場合に確認可能な数を示す前記基準情報を取得する
ことを特徴とする請求項2に記載の情報処理方法。
【請求項7】
前記処理工程は、前記閾値を用いて前記複数の出力値から前記数の前記評価用データ群を選択し、前記数の前記評価用データ群に含まれる前記違反に該当するデータの割合を示す値を、前記モデルの評価を示す前記指標値として算出する
ことを特徴とする請求項6に記載の情報処理方法。
【請求項8】
前記処理工程は、
前記複数の出力値を値が大きい方から順にソートし、ソート後の前記複数の出力値のうち、前記閾値以上である全出力値を前記閾値よりも大きい第1値に設定し、ソート後の前記複数の出力値のうち、前記閾値未満である全出力値を前記閾値よりも小さい第2値に設定し、前記第1値に設定された前記評価用データ群を用いて、前記モデルの評価を示す前記指標値を算出する
ことを特徴とする請求項1に記載の情報処理方法。
【請求項9】
前記処理工程は、算出した前記指標値を用いてモデルの最適化処理を実行する
ことを特徴とする請求項1に記載の情報処理方法。
【請求項10】
前記処理工程は、複数のモデルの各々について算出した複数の指標値を用いて前記モデルの最適化処理を実行する
ことを特徴とする請求項9に記載の情報処理方法。
【請求項11】
前記処理工程は、前記複数のモデルのうち、指標値が最も高いモデルを選択することにより、前記モデルの最適化処理を実行する
ことを特徴とする請求項10に記載の情報処理方法。
【請求項12】
推論処理の対象となる複数の入力データの各々をモデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する推論結果を示す複数の出力値と、前記モデルを評価する際の基準を示す基準情報とを取得する取得部と、
前記取得部により取得された前記基準情報が示す基準に基づいて決定された閾値を用いて、前記複数の出力値のうち、前記モデルの評価に用いる対象とする評価用データ群を選択し、選択した前記評価用データ群を用いて、前記モデルの評価を示す指標値を算出する処理部と、
を備えることを特徴とする情報処理装置。
【請求項13】
推論処理の対象となる複数の入力データの各々をモデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する推論結果を示す複数の出力値と、前記モデルを評価する際の基準を示す基準情報とを取得する取得手順と、
前記取得手順により取得された前記基準情報が示す基準に基づいて決定された閾値を用いて、前記複数の出力値のうち、前記モデルの評価に用いる対象とする評価用データ群を選択し、選択した前記評価用データ群を用いて、前記モデルの評価を示す指標値を算出する処理手順と、
をコンピュータに実行させることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法、情報処理装置および情報処理プログラムに関する。
【背景技術】
【0002】
近年、DNN(Deep Neural Network)といったニューラルネットワーク等の各種モデルに対し、学習データが有する特徴を学習させることで、モデルを生成する技術が提案されている。また、学習したモデルは、各種の予測や分類等とった各種の推論処理に用いられる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-168042公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した技術では、学習したモデルの評価については十分に考量されているとは言い難い。例えば、上述した技術では、学習したモデルの評価を行わずに再学習を行っており、そのモデルを用いる用途によっては再学習の結果により元のモデルよりも精度が低下する場合が生じ得る。そのため、モデルの学習を行う際は、そのモデルの用途などに応じて柔軟な評価を行うことが望まれている。このように、上述した技術は、学習したモデルの評価の点については改善の余地がある。
【0005】
本願は、上記に鑑みてなされたものであって、モデルについて柔軟な評価を可能にする情報処理方法、情報処理装置および情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本願に係る情報処理方法は、コンピュータが実行する情報処理方法であって、推論処理の対象となる複数の入力データの各々をモデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する推論結果を示す複数の出力値と、前記モデルを評価する際の基準を示す基準情報とを取得する取得工程と、前記取得工程により取得された前記基準情報が示す基準に基づいて決定された閾値を用いて、前記複数の出力値のうち、前記モデルの評価に用いる対象とする評価用データ群を選択し、選択した前記評価用データ群を用いて、前記モデルの評価を示す指標値を算出する処理工程と、を含むことを特徴とする。
【発明の効果】
【0007】
実施形態の一態様によれば、モデルについて柔軟な評価を可能にすることができるという効果を奏する。
【図面の簡単な説明】
【0008】
図1】実施形態に係る情報処理の一例を示す図である。
図2】実施形態に係る情報処理システムの構成例を示す図である。
図3】実施形態に係る情報処理装置の構成例を示す図である。
図4】実施形態に係るモデル情報記憶部の一例を示す図である。
図5】実施形態に係る情報処理の一例を示すフローチャートである。
図6】実験結果の一例を示す図である。
図7】実験結果の一例を示す図である。
図8】ハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0009】
以下に、本願に係る情報処理方法、情報処理装置および情報処理プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理方法、情報処理装置および情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0010】
(実施形態)
〔1.実施形態〕
図1を用いて、実施形態に係る情報処理の一例について説明する。図1は、実施形態に係る情報処理の一例を示す図である。例えば、情報処理装置100(図3参照)が図1に示す情報処理を実行する。以下では、インターネットにおける質問及び回答等の投稿(文字情報)が違反に該当するか否かの判定に用いるモデル(「違反投稿判定モデル」ともいう)を評価対象のモデルの一例として説明する。なお、違反投稿判定モデルは、以下に示す情報処理での評価対象となるモデルの一例に過ぎず、違反投稿判定モデルに限らず、以下に示す情報処理が適用可能なモデルであれば、任意のモデルが評価対象となるモデルとして採用可能である。
【0011】
〔1-1.情報処理例〕
ここから、図1を用いて情報処理装置100が実行する情報処理の一例を説明する。まず、以下に示す処理の説明に先だって前提を簡単に説明する。例えば、図1に示す例において評価対象となる違反投稿判定モデルは、投稿等の文字情報が入力された場合にその文字情報が違反に該当する可能性(度合い)を示す出力値(「スコア」ともいう)を出力するモデルである。例えば、違反投稿判定モデルは、0から1までの間のスコア(値)を出力するモデルであり、文字情報が入力された場合に入力された文字情報が違反に該当するか可能性が高い程、高いスコア(値)を出力するモデルである。なお、ここでいう投稿が違反に該当とは、例えばその投稿が投稿されたサービス(インターネット投稿サービス等)におけるガイドラインに違反することであってもよい。
【0012】
まず、図1では、情報処理装置100は、違反判定(推論処理)の対象となる複数の文字情報の各々が入力された違反投稿判定モデルが出力した複数の文字情報の各々に対応する複数の出力値(スコア)を含むデータ群DT11を取得する。例えば、情報処理装置100は、違反判定の対象となる複数の文字情報の各々を違反投稿判定モデルに対して入力し、違反投稿判定モデルが出力した複数の文字情報の各々に対応する推論結果を示す複数の出力値(スコア)を含むデータ群DT11を生成してもよい。
【0013】
なお、情報処理装置100は、違反投稿判定モデルが出力した複数の文字情報の各々に対応する推論結果を示す複数の出力値(スコア)を含むデータ群DT11を、情報提供装置50等の他のコンピュータ(外部装置)から取得(受信)してもよい。なお、違反投稿判定モデルに対して入力される複数の文字情報には、任意の文字情報が採用可能であり、過去に投稿された文字情報が含まれてもよいし、評価算出用に生成(準備)した文字情報が含まれてもよい。すなわち、違反投稿判定モデルに対して入力される文字情報(入力データ)は、実際に投稿された情報に限らず、任意の情報が採用可能である。
【0014】
図1では、情報処理装置100は、データ群DT11に示すような複数の出力値(スコア)を用いて違反投稿判定モデルの評価を算出する。なお、図1中のデータ群DT11に含まれる各出力値(スコア)には、後述するデータ群DT14と同様に、その出力値に対応する文字情報が違反に該当するか否かを示すラベル(正解情報)が対応付けられているが図示を省略する。
【0015】
まず、情報処理装置100は、データ群DT11に含まれる複数の出力値を値が大きい方から順にソートする(ステップS1)。図1では、情報処理装置100は、データ群DT11に含まれる複数の出力値を値が大きい方から順に並べる(ソートする)ことにより、値が大きい方から順に複数の出力値が並んだデータ群DT12を生成する。
【0016】
そして、情報処理装置100は、モデルを評価する際の基準に基づいて、閾値を決定する(ステップS2)。図1では、情報処理装置100は、データ群DT13に示すように、複数の文字情報を所定の人員により確認した場合に確認可能な数を示す基準に基づいて、閾値PT1を決定する。例えば、情報処理装置100は、複数の文字情報を違反投稿対応用の人員の目視により違反に該当するか否かを確認する場合に確認可能な数を示す基準情報を取得し、取得した基準情報に基づいて、閾値PT1を決定する。
【0017】
例えば、情報処理装置100は、複数の文字情報を所定の人員により確認した場合に確認可能な数がデータ群DT13(データ群DT12)の上位X%(Xは例えば5や10等の任意の値)である場合、データ群DT13のうち上位X%までのデータ(スコア)がその値以上となる値を閾値PT1に決定する。例えば、情報処理装置100は、複数の文字情報を所定の人員により確認した場合に確認可能な数がデータ群DT13の上位8%である場合、データ群DT13のうち上位8%までのデータ(スコア)がその値以上となる値(例えば0.7等)を閾値PT1に決定する。
【0018】
なお、基準情報が示す確認可能な数は、上位数%(例えば5%や10%等)等のデータ集合のうち確認可能な割合を示す値に限らず、具体的な数であってもよい。この場合、例えば、情報処理装置100は、複数の文字情報を所定の人員により確認した場合に確認可能な数が千件である場合、データ群DT13の上位千件までのデータ(スコア)がその値以上となる値を閾値に決定してもよい。
【0019】
そして、情報処理装置100は、ソート後の複数の出力値のうち、閾値以上である全出力値を閾値よりも大きい第1値に設定し、ソート後の複数の出力値のうち、閾値未満である全出力値を閾値よりも小さい第2値に設定する(ステップS3)。図1では、情報処理装置100は、データ群DT14に示すように、データ群DT13のデータ(スコア)のうち、閾値PT1以上である全出力値を閾値PT1よりも大きい第1値に設定し、閾値PT1未満である全出力値を閾値PT1よりも小さい第2値に設定する。
【0020】
例えば、情報処理装置100は、データ群DT13のデータ(スコア)のうち、閾値PT1(例えば0.7)以上である全出力値を閾値PT1よりも大きい第1値である「1」に設定し、閾値PT1(例えば0.7)未満である全出力値を閾値PT1よりも小さい第2値である「0」に設定する。すなわち、情報処理装置100は、データ群DT13のうち上位X%以上のデータ群のスコアを第1値である「1」に設定し、データ群DT13のうち上位X%未満のデータ群のスコアを第2値である「0」に設定する。
【0021】
これにより、情報処理装置100は、閾値PT1(例えば0.7)以上である全出力値を閾値PT1よりも大きい第1値である「1」に設定され、閾値PT1(例えば0.7)未満である全出力値を閾値PT1よりも小さい第2値である「0」に設定されたデータ群DT14を生成する。なお、上述した第1値及び第2値は一例に過ぎず、第1値は閾値よりも大きい値であれば「1」に限らず任意の値であってもよく、第2値は閾値よりも小さい値であれば「0」に限らず任意の値であってもよい。
【0022】
そして、情報処理装置100は、第1値に設定された評価用データ群を用いて、モデルの評価を示す指標値を算出する(ステップS4)。図1では、情報処理装置100は、データ群DT14のうち、第1値である「1」にスコアが設定されたデータを評価用データ群TG1として選択する。そして、情報処理装置100は、決定した評価用データ群TG1を用いて、違反投稿判定モデルの評価を示す指標値を算出する。
【0023】
図1では、情報処理装置100は、新評価指標情報NM1に示すように、違反投稿判定モデルの評価を示す指標値VL1を算出する。例えば、情報処理装置100は、データ群DT14のうち閾値PT1以上、すなわち上位X%以上のデータ群である評価用データ群TG1の各スコアに対応付けられたラベル(正解情報)の情報を用いて、違反投稿判定モデルの評価を示す指標値を算出する。例えば、ラベル「1」が対応付けられたスコアに対応する文字情報は、違反に該当する文字情報(投稿)であることを示し、ラベル「0」が対応付けられたスコアに対応する文字情報は、違反に該当しない文字情報(投稿)であることを示す。
【0024】
例えば、情報処理装置100は、評価用データ群TG1に含まれる違反に該当するデータの割合を示す値を、違反投稿判定モデルの評価を示す指標値VL1として算出する。図1では、情報処理装置100は、評価用データ群TG1のうち違反に該当することを示すラベル「1」が対応付けられたデータの割合に基づいて、違反投稿判定モデルの評価を示す指標値VL1を算出する。例えば、情報処理装置100は、評価用データ群TG1に含まれるデータ(スコア)のうち、ラベル「1」が対応付けられたデータ数を、評価用データ群TG1に含まれる全データ(スコア)数で除した値を指標値VL1として算出する。
【0025】
上述したように、情報処理装置100は、データ群のうち、所定の人員により確認した場合に確認可能な数に対応するデータのみを用いて、モデルの評価を算出する。これにより、情報処理装置100は、人が対象とできる数に対応するデータのみを対象として、モデルの評価を算出することができる。したがって、情報処理装置100は、単純にデータ全体を評価の算出に用いるのではなく、そのモデルの使用の状態に沿った評価を算出することができるため、モデルについて柔軟な評価を可能にすることができる。
【0026】
なお、上述した情報処理が適用可能なモデルであれば、違反投稿判定モデルに限らず任意のモデルが評価対象となるモデルとして採用可能であり、評価対象となるモデルは、例えば違反商品判定モデル、違反画像判定モデル等の様々なモデルであってもよい。
【0027】
また、情報処理システム1は、情報処理装置100が算出したモデルの評価を様々な処理に用いてもよい。情報処理システム1は、情報処理装置100が算出したモデルの評価を示す情報を、そのモデルを用いてサービスを提供するサービス提供者(ユーザ等)に提供してもよい。この場合、情報処理システム1は、情報処理装置100が算出したモデルの評価を示す情報を、そのモデルを用いてサービスを提供するサービス提供者が利用するコンピュータ(端末装置10等)に送信する。また、例えば、情報処理システム1は、情報処理装置100が算出したモデルの評価を用いて、モデルの最適化に関する処理を行ってもよい。例えば、情報処理システム1は、情報処理装置100が算出したモデルの評価を用いて、モデル(のパラメータ等)を更新する更新処理を繰り返してもよい。
【0028】
例えば、情報処理システム1は、複数のモデルを評価対象として、各モデルの評価を算出し、複数のモデルのうち、評価が高いモデルを選択して、選択したモデルを更新する更新処理を行ってモデルの精度を向上させてもよい。例えば、情報処理システム1は、複数のモデルのうち、算出した評価が最も高いモデルを選択して、選択したモデルを更新する更新処理を行って複数のモデルを学習してもよい。そして、情報処理システム1は、学習した複数のモデルのうち、算出した評価が最も高いモデルを選択して更新処理を行ってもよい。
【0029】
このように、情報処理システム1は、情報処理装置100が算出したモデルの評価を用いてモデルの更新(改良)を繰り返し行ってもよい。例えば、モデルを更新する更新処理は、情報処理システム1のいずれの装置が行ってもよい。なお、上述した処理は一例に過ぎす、情報処理システム1は、情報処理装置100が算出したモデルの評価を用いれば、どのような態様によりモデルの最適化に関する処理を行ってもよい。
【0030】
例えば、情報処理装置100は、モデルを更新する更新処理を行ってもよい。また、例えば、情報提供装置50がモデルを更新する更新処理を行ってもよい。この場合、情報処理装置100は、算出したモデルの評価を示す情報を情報提供装置50に送信し、情報提供装置50が情報処理装置100から受信したモデルの評価に基づいて、モデルを更新する更新処理を行ってもよい。そして、情報処理装置100は、情報提供装置50から更新処理後のモデルに関する情報を情報提供装置50から受信し、受信した情報を用いてモデルの評価を算出してもよい。例えば、情報処理装置100は、情報提供装置50から更新処理後のモデルやそのモデルを用いて生成したデータ群等の情報を情報提供装置50から受信し、受信した情報を用いてモデルの評価を算出してもよい。
【0031】
上述したように、情報処理装置100は、算出したモデルの評価(例えば指標値)の情報を、様々な情報処理やサービス等の品質向上に用いてもよい。この点の具体的な一例を以下に示す。以下では、算出したモデルの評価の情報を用いてインターネット投稿サービス(単に「投稿サービス」ともいう)の品質を向上させる場合を一例として説明する。なお、算出したモデルの評価の情報を適用する処理は以下に示す処理に限られず、様々な情報処理やサービス等の品質向上に用いられてもよい。
【0032】
例えば、投稿サービスにおけるデータ群のうち、投稿サービスで違反投稿をチェックする人員により確認した場合に確認可能な数に対応するデータのみを用いてモデルの評価を示す指標値を算出することは、その投稿サービスにおいて最も適切なモデルを得ることにつながる。すなわち、上述した処理でモデルの指標値を算出することは、例えば投稿サービス側が追求しているKPI(Key Performance Indicator)となる違反投稿の削除率を、情報処理装置100がそのままモデルの評価指標として用いて、モデルの選択等、モデルの最適化を行うことを可能にする。
【0033】
上記の点を言い換えると、情報処理装置100が算出したモデルの指標値が高い事は、そのモデルによる違反投稿の削除率が高いことを示すとともに、そのモデルが投稿サービス側にとって有効性が高いことを示す。すなわち、複数のモデルを対象とした場合、複数のモデルのうち、情報処理装置100が算出した指標値が一番高いモデルは、違反投稿の削除率が一番高いモデル、及び投稿サービス側が一番欲しいモデルとなる。したがって、情報処理装置100が算出したモデルの指標値を用いて、上述したようなモデルの選択等、モデルの最適化を行うことにより、投稿サービス側が一番欲しいモデルを適切に生成することが可能となる。
【0034】
また、投稿サービス側において違反投稿を確認する人員の数が変動することが想定され得る。このように、投稿サービス側において違反投稿を確認する人員の数が変わった場合、上述した処理ではモデルの評価を算出する際に用いる閾値(例えば上位X%のXの値等)が変わることになる。すなわち、上述した処理では投稿サービス側において違反投稿を確認する人員の数に応じて変化する閾値によって、選択されるモデルが変わることとなる。
【0035】
このように、情報処理装置100が行う処理では、同じデータ群を対象とした場合であっても、投稿サービス側において違反投稿を確認する人員の数に応じて、選択する最適なモデル(例えば指標値が一番高いモデル)が変更可能である。したがって、情報処理装置100は、投稿サービス側において違反投稿を確認する人員の数が変動する場合であっても、その変動した人員の数に応じて最適なモデルを適切に選択することが可能となる。
【0036】
一方で、従来の指標では、たとえ従来の指標を組み合わせても、上述した処理により情報処理装置100が算出したモデルの評価(指標値等)のように、サービス側が一番欲しいモデルを得ることが難しい。仮に、データ群を対象としてRecall(再現率)を用いた場合、0.0~1.0の間で設定される閾値から、予測値(例えばモデルの出力値)がTrue(例えば違反投稿に該当)となるレコードの数を得ることは可能であるが、その逆、任意のレコード数から適切な閾値を算出するには探索が必要となる。そのため、従来の指標では、上述した処理により情報処理装置100が算出したモデルの評価を用いた場合と同様の処理(モデルの最適化等)を行うことは仕組み上困難である。
【0037】
これに対し、情報処理装置100は、上述した処理によりモデルの評価を算出することで、モデルについて柔軟な評価を可能にすることができる。また、情報処理装置100は、算出したモデルの評価を用いてモデルの選択等、モデルの最適化を行うことで、投稿サービス側において違反投稿を確認する人員の数が変動する場合であっても、その変動した人員の数に応じて最適なモデルを選択することができ、投稿サービス側が一番欲しいモデルを適切に生成することができる。
【0038】
〔1-2.情報処理システムの構成〕
図2に示すように、情報処理システム1は、端末装置10と、情報提供装置50と、情報処理装置100とが含まれる。端末装置10と、情報提供装置50と、情報処理装置100とは所定のネットワークNを介して、有線または無線により通信可能に接続される。図2は、実施形態に係る情報処理システムの構成例を示す図である。なお、図2に示した情報処理システム1には、複数の端末装置10や、複数の情報提供装置50や、複数の情報処理装置100が含まれてもよい。
【0039】
端末装置10は、ユーザによって利用される情報処理装置である。端末装置10は、ユーザによる種々の操作を受け付ける。なお、以下では、端末装置10をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置10と読み替えることもできる。なお、上述した端末装置10は、例えば、スマートフォンや、タブレット型端末や、ノート型PC(Personal Computer)や、デスクトップPCや、携帯電話機や、PDA(Personal Digital Assistant)等により実現される。
【0040】
情報提供装置50は、情報処理装置100が処理に用いる各種情報を情報処理装置100に提供するための情報が格納された情報処理装置である。例えば、情報提供装置50は、学習データが有する特徴を学習させたモデルを生成するコンピュータであり、例えば、サーバ装置やクラウドシステム等により実現される。例えば、情報提供装置50は、モデルの生成指標として、生成するモデルの種別や行動、どのように学習データの特徴を学習させるかといったコンフィグファイルを受付けると、受付けたコンフィグファイルに従って、モデルの自動生成を行う。なお、情報提供装置50は、任意のモデル学習手法を用いて、モデルの学習を行ってもよい。また、例えば、情報提供装置50は、AutoML(Automated Machine Learning)といった各種既存のサービスであってもよい。
【0041】
情報処理装置100は、情報処理を実行するコンピュータである。情報処理装置100は、モデルの評価を示す指標値を算出する算出処理を実行する。また、例えば、情報処理装置100は、モデルの生成における指標(すなわち、モデルのレシピ)である生成指標を生成する指標生成処理と、生成指標に従ってモデルを生成するモデル生成処理とを実行し、生成した生成指標およびモデルを提供するコンピュータであり、例えば、サーバ装置やクラウドシステム等により実現されてもよい。
【0042】
〔1-3.情報処理装置の構成〕
次に、図3を用いて、実施形態に係る情報処理装置100の構成について説明する。図3は、実施形態に係る情報処理装置100の構成例を示す図である。図3に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、情報処理装置100は、情報処理装置100の管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
【0043】
(通信部110)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワーク(例えば図2中のネットワークN)と有線または無線で接続され、端末装置10や情報提供装置50との間で情報の送受信を行う。
【0044】
(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部120は、図3に示すように、指標算出用情報記憶部121と、モデル情報記憶部122とを有する。
【0045】
(指標算出用情報記憶部121)
実施形態に係る指標算出用情報記憶部121は、指標算出に用いる各種情報を記憶する。例えば、指標算出用情報記憶部121は、指標算出に用いる関数等を記憶する。例えば、指標算出用情報記憶部121は、モデルを評価する際の基準を示す基準情報を記憶する。例えば、指標算出用情報記憶部121は、閾値の決定に用いる基準等を記憶する。
【0046】
また、指標算出用情報記憶部121は、評価対象となるモデルが出力した複数の出力値を記憶してもよい。指標算出用情報記憶部121は、評価対象となるモデルが出力した各出力値に、その出力値に対応する入力データが違反に該当するか否かを示すラベル(正解情報)とを対応付けた情報を記憶してもよい。
【0047】
なお、指標算出用情報記憶部121は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
【0048】
(モデル情報記憶部122)
実施形態に係るモデル情報記憶部122は、(機械学習)モデルに関する情報を記憶する。例えば、モデル情報記憶部122は、学習処理により学習(生成)された学習済みモデル(モデル)の情報(モデルデータ)を記憶する。図4は、実施形態に係るモデル情報記憶部の一例を示す図である。図4に示した例では、モデル情報記憶部122は、「モデルID」、「用途」、「モデルデータ」といった項目が含まれる。
【0049】
「モデルID」は、モデルを識別するための識別情報を示す。「用途」は、対応するモデルの用途を示す。「モデルデータ」は、モデルのデータを示す。図4では「モデルデータ」に「MDT1」といった概念的な情報が格納される例を示したが、実際には、モデルの構成(ネットワーク構成)の情報やパラメータに関する情報等、そのモデルを構成する種々の情報が含まれる。例えば、「モデルデータ」には、ネットワークの各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれる。
【0050】
図4では、モデルID「M1」により識別されるモデル(モデルM1)は、用途が「違反判定」であり、例えば、モデルM1は、入力されたテキスト(文字情報)等の入力データの内容が違反に該当するか否かを判定(推定)するために用いられるモデルであることを示す。例えば、モデルM1は、テキスト(文字情報)が入力された場合に、そのテキストタの内容が違反に該当する可能性の度合いを示すスコア(値)を出力データとして出力するモデルである。また、モデルM1のモデルデータは、モデルデータMDT1であることを示す。
【0051】
なお、モデル情報記憶部122は、上記に限らず、目的に応じて種々の情報を記憶してもよい。なお、モデルM1等のモデルは、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定されるものであってもよい。モデルM1等のモデルは、プログラムであってもよい。
【0052】
(制御部130)
図3の説明に戻って、制御部130は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)やGPU(Graphics Processing Unit)等によって、情報処理装置100内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
【0053】
図3に示すように、制御部130は、取得部131と、決定部132と、処理部133と、提供部134とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0054】
(取得部131)
取得部131は、各種情報を取得する。例えば、取得部131は、記憶部120から各種情報を取得する。例えば、取得部131は、指標算出用情報記憶部121や、モデル情報記憶部122等から各種情報を取得する。また、取得部131は、各種情報を外部の情報処理装置から取得する。取得部131は、端末装置10や情報提供装置50から各種情報を取得する。
【0055】
取得部131は、推論処理の対象となる複数の入力データの各々をモデルに対して入力し、モデルが出力した複数の入力データの各々に対応する推論結果を示す複数の出力値と、モデルを評価する際の基準を示す基準情報とを取得する。取得部131は、違反に該当するか否かの判定対象となる文字情報である複数の入力データの各々をモデルに対して入力し、モデルが出力した複数の入力データの各々に対応する判定結果を示す複数の出力値を取得する。
【0056】
取得部131は、インターネットにおける投稿情報である複数の入力データの各々をモデルに対して入力し、モデルが出力した複数の入力データの各々に対応する判定結果を示す複数の出力値を取得する。取得部131は、入力された文字情報が違反に該当するか可能性が高い程、高い値を出力するモデルが出力した複数の出力値を取得する。取得部131は、複数の入力データを所定の人員により確認した場合に確認可能な数を示す基準情報を取得する。
【0057】
(決定部132)
決定部132は、種々の情報を決定する決定処理を実行する。決定部132は、決定した情報を記憶部120に格納する。決定部132は、記憶部120に記憶された各種情報に基づいて、決定処理を実行する。例えば、決定部132は、外部の情報処理装置から受信された各種情報に基づいて、決定処理を実行する。例えば、決定部132は、取得部131により取得された各種情報に基づいて、決定処理を実行する。
【0058】
決定部132は、基準情報が示す基準に基づいて閾値を決定する。決定部132は、指標算出用情報記憶部121に記憶された基準情報を用いて、閾値を決定する。
【0059】
(処理部133)
処理部133は、種々の情報を生成する生成処理を実行する。処理部133は、生成した情報を記憶部120に格納する。例えば、処理部133は、取得部131により取得された各種情報に基づいて、生成処理を実行する。処理部133は、記憶部120に記憶された各種情報に基づいて、生成処理を実行する。例えば、処理部133は、外部の情報処理装置から受信された各種情報に基づいて、生成処理を実行する。処理部133は、決定部132により決定された各種情報に基づいて、生成処理を実行する。
【0060】
処理部133は、種々の情報を算出する算出処理を実行する。処理部133は、算出した情報を記憶部120に格納する。例えば、処理部133は、取得部131により取得された各種情報に基づいて、算出処理を実行する。処理部133は、記憶部120に記憶された各種情報に基づいて、算出処理を実行する。例えば、処理部133は、外部の情報処理装置から受信された各種情報に基づいて、算出処理を実行する。処理部133は、決定部132により決定された各種情報に基づいて、算出処理を実行する。処理部133は、決定部132が決定した閾値を用いて、算出処理を実行する。
【0061】
処理部133は、取得部131により取得された基準情報が示す基準に基づいて決定された閾値を用いて、複数の出力値のうち、モデルの評価に用いる対象とする評価用データ群を選択し、選択した評価用データ群を用いて、モデルの評価を示す指標値を算出する。
処理部133は、複数の出力値のうち、閾値以上である出力値を評価用データ群として選択し、評価用データ群に含まれる違反に該当するデータの割合を示す値を、モデルの評価を示す指標値として算出する。
【0062】
処理部133は、閾値を用いて複数の出力値から数の評価用データ群を選択し、数の評価用データ群に含まれる違反に該当するデータの割合を示す値を、モデルの評価を示す指標値として算出する。処理部133は、複数の出力値を値が大きい方から順にソートする。処理部133は、ソート後の複数の出力値のうち、閾値以上である全出力値を閾値よりも大きい第1値に設定する。処理部133は、ソート後の複数の出力値のうち、閾値未満である全出力値を閾値よりも小さい第2値に設定する。処理部133は、第1値に設定された評価用データ群を用いて、モデルの評価を示す指標値を算出する。
【0063】
処理部133は、指標値を用いてモデルの最適化処理を実行する。処理部133は、複数のモデルの各々について算出した複数の指標値を用いてモデルの最適化処理を実行する。処理部133は、複数のモデルのうち、指標値が最も高いモデルを選択することにより、モデルの最適化処理を実行する。例えば、処理部133は、算出したモデルの評価を用いて、モデルの最適化に関する処理を行ってもよい。例えば、処理部133は、算出したモデルの評価を用いて、モデルを更新する更新処理を繰り返してもよい。
【0064】
例えば、処理部133は、複数のモデルを評価対象として、各モデルの評価を算出し、複数のモデルのうち、評価が高いモデルを選択して、選択したモデルを更新する更新処理により、モデルの最適化処理を実行する。例えば、処理部133は、複数のモデルのうち、算出した評価が最も高いモデルを選択して、選択したモデルを更新する更新処理を行って複数のモデルを生成し、生成した複数のモデルのうち、指標値が最も高いモデルを選択することにより、モデルの最適化処理を実行する。例えば、処理部133は、学習した複数のモデルのうち、算出した評価が最も高いモデルを選択して、モデルの最適化処理を実行する。
【0065】
(提供部134)
提供部134は、各種情報を提供する提供処理を実行する。提供部134は、記憶部120に記憶された各種情報に基づいて、提供処理を実行する。例えば、提供部134は、外部の情報処理装置から受信された各種情報に基づいて、提供処理を実行する。例えば、提供部134は、端末装置10や情報提供装置50に各種情報を送信する。
【0066】
例えば、提供部134は、取得部131により取得された各種情報に基づいて、提供処理を実行する。提供部134は、決定部132により決定された各種情報に基づいて、提供処理を実行する。提供部134は、処理部133により生成された各種情報に基づいて、提供処理を実行する。提供部134は、処理部133により算出された各種情報に基づいて、提供処理を実行する。例えば、提供部134は、処理部133により算出された指標を示す情報を、端末装置10等の外部装置に送信する。例えば、提供部134は、処理部133による処理結果を示す情報を、情報提供装置50に送信する。
【0067】
〔1-4.情報処理のフロー〕
次に、図5を用いて、実施形態に係る情報処理システム1による情報処理の手順について説明する。図5は、実施形態に係る情報処理の一例を示すフローチャートである。
【0068】
図5に示すように、情報処理装置100は、推論処理の対象となる複数の入力データの各々をモデルに対して入力し、モデルが出力した複数の入力データの各々に対応する推論結果を示す複数の出力値を取得する(ステップS101)。情報処理装置100は、モデルを評価する際の基準を示す基準情報を取得する(ステップS102)。
【0069】
情報処理装置100は、基準情報が示す基準に基づいて決定された閾値を用いて、複数の出力値のうち、モデルの評価に用いる対象とする評価用データ群を選択する(ステップS103)。情報処理装置100は、選択した評価用データ群を用いて、モデルの評価を示す指標値を算出する(ステップS104)。
【0070】
〔1-5.実験結果例〕
ここから、上述した処理により算出した評価を用いて学習したモデルを用いた場合の実験結果例について、図6及び図7を一例として説明する。図6及び図7は、実験結果の一例を示す図である。例えば、図6及び図7に示す実験結果は、上述したモデルの最適化に関する処理を行って学習(生成)されたモデルを用いた場合の実験結果の一例を示す。具体例には、図6は、新評価指標と基準との関係を示す実験結果の一例を示す。また、図7は、違反投稿の削除割合と確認数との関係を示す実験結果の一例を示す。
【0071】
まず、図6を用いて、新評価指標と基準との関係に関する実験結果の一例について説明する。図6のグラフRS1は、横軸が基準とする値(基準値)、縦軸が新評価指標を示す。図6での基準は、モデルが出力した複数の出力値のうち、新評価指標の算出に用いるデータの割合を示す。例えば、基準が「0.06」の場合が、モデルが出力した複数の出力値のうち、値が大きい方から上位6%のデータを新評価指標の算出に用いる場合に対応する。
【0072】
図6中の線LN11は、質問を対象とした場合のモデル(質問モデル)についての実験結果を示す。また、図6中の線LN12は、回答を対象とした場合のモデル(回答モデル)についての実験結果を示す。質問モデルについては、基準を「0.06」とした場合、新評価指標は「0.893」となり、基準を「0.08」とした場合、新評価指標は「0.929」となる。また、回答モデルについては、基準を「0.02」とした場合、新評価指標は「0.602」となる。
【0073】
このように、図6のグラフRS1では、線LN11に示すように、質問モデルのスコア上位8%に違反投稿全体の92.9%が含まれていることを示す。このように、上述した処理により算出した評価を基に学習したモデルを用いた場合、適切に違反投稿を抽出できることが示された。
【0074】
次に、図7を用いて、違反投稿の削除割合と確認数との関係に関する実験結果の一例について説明する。図7のグラフRS2は、横軸が質問に対応する投稿数、縦軸が違反投稿の削除割合を示す。図7では、確認数が、1日に人が目視で審査可能な投稿数である目視審査数「9000」である場合を示し、図7では、質問の投稿数が1日に5万件であり、回答の投稿数が1日に10万件である場合を示す。
【0075】
図7中の線LN21及び線LN22は、確認数「9000」を質問及び回答の各々に振り分けた場合における質問及び回答の各々の違反投稿の削除割合を示す。図7中の線LN23は、質問及び回答の各々の違反投稿の削除割合の合計を示す。
【0076】
例えば、線LN23に示すように、確認数「9000」を質問に「2000」、回答に「7000」で振り分けた場合、違反投稿の削除割合は「0.835」となる。また、図7のグラフRS3では、確認数「9000」を質問に「3000」、回答に「6000」で振り分けた場合、違反投稿の削除割合は「0.837」となる。また、図7のグラフRS3では、確認数「9000」を質問に「4000」、回答に「5000」で振り分けた場合、違反投稿の削除割合は「0.827」となる。このように、図7のグラフRS3では、確認数「9000」を質問に「3000」、回答に「6000」で振り分けた場合に、違反投稿の削除割合が最も大きくできたことを示す。
【0077】
例えば、過去のモデルでは、確認数が「9000」である場合の違反投稿の削除割合は最大「0.531」であったのに対して、上述したモデルの最適化に関する処理を行って学習(生成)されたモデルでは、確認数が「9000」である場合の違反投稿の削除割合は最大「0.837」に向上させることができ、「+0.306(+30.6%)」の精度向上を達成することができた。
【0078】
〔2.変形例〕
上記では、情報処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、提供処理の変形例について説明する。
【0079】
〔2-1.装置構成〕
上記実施形態では、情報処理システム1に、モデルの評価を行う情報処理装置100、および、モデルを生成する情報提供装置50を有する例について説明したが、実施形態は、これに限定されるものではない。例えば、情報処理装置100は、情報提供装置50が有する機能を有していてもよい。また、情報処理装置100が発揮する機能は、端末装置10に内包されていてもよい。このような場合、端末装置10は、モデルの評価を行うとともに、情報提供装置50を用いたモデルの生成を自動的に行うこととなる。
【0080】
〔2-2.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0081】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0082】
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0083】
〔2-3.プログラム〕
また、上述してきた実施形態に係る情報処理装置100は、例えば図8に示すような構成のコンピュータ1000によって実現される。図8は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力IF(Interface)1060、入力IF1070、ネットワークIF1080がバス1090により接続された形態を有する。
【0084】
演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置1040は、RAM等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD、フラッシュメモリ等により実現される。
【0085】
出力IF1060は、モニタやプリンタといった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力IF1070は、マウス、キーボード、およびスキャナ等といった各種の入力装置1020から情報を受信するためのインタフェースであり、例えば、USB等により実現される。
【0086】
なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置1020は、USBメモリ等の外付け記憶媒体であってもよい。
【0087】
ネットワークIF1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。
【0088】
演算装置1030は、出力IF1060や入力IF1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。
【0089】
例えば、コンピュータ1000が情報処理装置100として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部130の機能を実現する。
【0090】
〔3.効果〕
上述したように、情報処理装置100は、推論処理の対象となる複数の入力データの各々をモデルに対して入力し、モデルが出力した複数の入力データの各々に対応する推論結果を示す複数の出力値と、モデルを評価する際の基準を示す基準情報とを取得する取得部(実施形態では取得部131)と、取得部により取得された基準情報が示す基準に基づいて決定された閾値を用いて、複数の出力値のうち、モデルの評価に用いる対象とする評価用データ群を選択し、選択した評価用データ群を用いて、モデルの評価を示す指標値を算出する処理部(実施形態では処理部133)とを有する。これにより、情報処理装置100は、評価の基準に応じてモデルを評価することができるようになるため、モデルについて柔軟な評価を可能にすることができる。
【0091】
また、取得部は、違反に該当するか否かの判定対象となる文字情報である複数の入力データの各々をモデルに対して入力し、モデルが出力した複数の入力データの各々に対応する判定結果を示す複数の出力値を取得する。これにより、情報処理装置100は、文字情報が違反に該当するか否かを判定するモデルを適切に評価することができるようになるため、モデルについて柔軟な評価を可能にすることができる。
【0092】
また、取得部は、インターネットにおける投稿情報である複数の入力データの各々をモデルに対して入力し、モデルが出力した複数の入力データの各々に対応する判定結果を示す複数の出力値を取得する。これにより、情報処理装置100は、インターネットにおける投稿情報が違反に該当するか否かを判定するモデルを適切に評価することができるようになるため、モデルについて柔軟な評価を可能にすることができる。
【0093】
また、取得部は、入力された文字情報が違反に該当するか可能性が高い程、高い値を出力するモデルが出力した複数の出力値を取得する。これにより、情報処理装置100は、入力された文字情報が違反に該当するか可能性が高い程、高い値を出力するモデルを適切に評価することができるようになるため、モデルについて柔軟な評価を可能にすることができる。
【0094】
また、処理部は、複数の出力値のうち、閾値以上である出力値を評価用データ群として選択し、評価用データ群に含まれる違反に該当するデータの割合を示す値を、モデルの評価を示す指標値として算出する。これにより、情報処理装置100は、評価用データ群に含まれる違反に該当するデータの割合を示す値を、モデルの評価を示す指標値として算出することができるようになるため、モデルについて柔軟な評価を可能にすることができる。
【0095】
また、取得部は、複数の入力データを所定の人員により確認した場合に確認可能な数を示す基準情報を取得する。これにより、情報処理装置100は、複数の入力データを所定の人員により確認した場合に確認可能な数を基準としてモデルを適切に評価することができるようになるため、モデルについて柔軟な評価を可能にすることができる。
【0096】
また、処理部は、閾値を用いて複数の出力値から数の評価用データ群を選択し、数の評価用データ群に含まれる違反に該当するデータの割合を示す値を、モデルの評価を示す指標値として算出する。これにより、情報処理装置100は、複数の入力データを所定の人員により確認した場合に確認可能な数を基準としてモデルを適切に評価することができるようになるため、モデルについて柔軟な評価を可能にすることができる。
【0097】
また、処理部は、複数の出力値を値が大きい方から順にソートし、ソート後の複数の出力値のうち、閾値以上である全出力値を閾値よりも大きい第1値に設定し、ソート後の複数の出力値のうち、閾値未満である全出力値を閾値よりも小さい第2値に設定し、第1値に設定された評価用データ群を用いて、モデルの評価を示す指標値を算出する。これにより、情報処理装置100は、第1値に設定された評価用データ群を用いて、モデルの評価を示す指標値を算出することができるようになるため、モデルについて柔軟な評価を可能にすることができる。
【0098】
また、処理部は、指標値を用いてモデルの最適化処理を実行する。これにより、情報処理装置100は、動的に変更した閾値を用いてモデルを適切に評価することができるようになるため、閾値を決定する基準に応じてモデルについて柔軟な評価を可能にし、その基準に応じて適切にモデルの最適化処理を実行することができる。
【0099】
また、処理部は、複数のモデルの各々について算出した複数の指標値を用いてモデルの最適化処理を実行する。これにより、情報処理装置100は、動的に変更した閾値を用いて複数のモデルの各々について適切に評価することができるようになるため、閾値を決定する基準に応じて複数のモデルについて柔軟な評価を可能にし、その基準に応じて適切に複数のモデルを対象として最適化処理を実行することができる。
【0100】
また、処理部は、複数のモデルのうち、指標値が最も高いモデルを選択することにより、モデルの最適化処理を実行する。これにより、情報処理装置100は、指標値が最も高いモデルを選択することにより、モデルの最適化処理を実行することで、最も評価が高いモデルを残すことができるため、適切にモデルの最適化処理を実行することができる。
【0101】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0102】
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【0103】
1 情報処理システム
10 端末装置
50 情報提供装置
100 情報処理装置
120 記憶部
121 指標算出用情報記憶部
122 モデル情報記憶部
130 制御部
131 取得部
132 決定部
133 処理部
134 提供部
図1
図2
図3
図4
図5
図6
図7
図8
【手続補正書】
【提出日】2024-07-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータが実行する情報処理方法であって、
推論処理の対象となる複数の入力データの各々をモデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する推論結果を示す複数の出力値と、前記モデルを評価する際の基準を示す基準情報とを取得する取得工程と、
前記取得工程により取得された前記基準情報が示す基準に基づいて決定された閾値を用いて、前記複数の出力値のうち、前記モデルの評価に用いる対象とする評価用データ群を選択し、選択した前記評価用データ群を用いて、前記モデルの評価を示す指標値を算出する処理工程と、
を含み、
前記処理工程は、
前記複数の出力値を値が大きい方から順にソートし、ソート後の前記複数の出力値のうち、前記閾値以上である全出力値を前記閾値よりも大きい第1値に設定し、ソート後の前記複数の出力値のうち、前記閾値未満である全出力値を前記閾値よりも小さい第2値に設定し、前記第1値に設定された前記評価用データ群を用いて、前記モデルの評価を示す前記指標値を算出する
ことを特徴とする情報処理方法。
【請求項2】
前記取得工程は、
違反に該当するか否かの判定対象となる文字情報である前記複数の入力データの各々を前記モデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する判定結果を示す前記複数の出力値を取得する
ことを特徴とする請求項1に記載の情報処理方法。
【請求項3】
前記取得工程は、
インターネットにおける投稿情報である前記複数の入力データの各々を前記モデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する判定結果を示す前記複数の出力値を取得する
ことを特徴とする請求項2に記載の情報処理方法。
【請求項4】
前記取得工程は、
入力された文字情報が前記違反に該当するか可能性が高い程、高い値を出力する前記モデルが出力した前記複数の出力値を取得する
ことを特徴とする請求項2に記載の情報処理方法。
【請求項5】
前記処理工程は、
前記複数の出力値のうち、前記閾値以上である出力値を前記評価用データ群として選択し、前記評価用データ群に含まれる前記違反に該当するデータの割合を示す値を、前記モデルの評価を示す前記指標値として算出する
ことを特徴とする請求項4に記載の情報処理方法。
【請求項6】
前記取得工程は、
前記複数の入力データを所定の人員により確認した場合に確認可能な数を示す前記基準情報を取得する
ことを特徴とする請求項2に記載の情報処理方法。
【請求項7】
前記処理工程は、前記閾値を用いて前記複数の出力値から前記数の前記評価用データ群を選択し、前記数の前記評価用データ群に含まれる前記違反に該当するデータの割合を示す値を、前記モデルの評価を示す前記指標値として算出する
ことを特徴とする請求項6に記載の情報処理方法。
【請求項8】
前記処理工程は、算出した前記指標値を用いてモデルの最適化処理を実行する
ことを特徴とする請求項1に記載の情報処理方法。
【請求項9】
前記処理工程は、一のモデルを更新する更新処理を行って生成された複数のモデルの各々について算出した複数の指標値を用いて前記モデルの最適化処理を実行する
ことを特徴とする請求項に記載の情報処理方法。
【請求項10】
前記処理工程は、前記複数のモデルのうち、指標値が最も高いモデルを選択することにより、前記モデルの最適化処理を実行する
ことを特徴とする請求項に記載の情報処理方法。
【請求項11】
推論処理の対象となる複数の入力データの各々をモデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する推論結果を示す複数の出力値と、前記モデルを評価する際の基準を示す基準情報とを取得する取得部と、
前記取得部により取得された前記基準情報が示す基準に基づいて決定された閾値を用いて、前記複数の出力値のうち、前記モデルの評価に用いる対象とする評価用データ群を選択し、選択した前記評価用データ群を用いて、前記モデルの評価を示す指標値を算出する処理部と、
を備え
前記処理部は、
前記複数の出力値を値が大きい方から順にソートし、ソート後の前記複数の出力値のうち、前記閾値以上である全出力値を前記閾値よりも大きい第1値に設定し、ソート後の前記複数の出力値のうち、前記閾値未満である全出力値を前記閾値よりも小さい第2値に設定し、前記第1値に設定された前記評価用データ群を用いて、前記モデルの評価を示す前記指標値を算出す
ことを特徴とする情報処理装置。
【請求項12】
推論処理の対象となる複数の入力データの各々をモデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する推論結果を示す複数の出力値と、前記モデルを評価する際の基準を示す基準情報とを取得する取得手順と、
前記取得手順により取得された前記基準情報が示す基準に基づいて決定された閾値を用いて、前記複数の出力値のうち、前記モデルの評価に用いる対象とする評価用データ群を選択し、選択した前記評価用データ群を用いて、前記モデルの評価を示す指標値を算出する処理手順と、
をコンピュータに実行させ
前記処理手順は、
前記複数の出力値を値が大きい方から順にソートし、ソート後の前記複数の出力値のうち、前記閾値以上である全出力値を前記閾値よりも大きい第1値に設定し、ソート後の前記複数の出力値のうち、前記閾値未満である全出力値を前記閾値よりも小さい第2値に設定し、前記第1値に設定された前記評価用データ群を用いて、前記モデルの評価を示す前記指標値を算出す
ことを特徴とする情報処理プログラム。