特開 2022-185799 情報処理プログラム、情報処理方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022185799

(43)【公開日】2022-12-15

(54)【発明の名称】情報処理プログラム、情報処理方法および情報処理装置

(51)【国際特許分類】

   G06F 40/216 20200101AFI20221208BHJP

【ＦＩ】

G06F40/216

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021093644

(22)【出願日】2021-06-03

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】吉川 和

【テーマコード（参考）】

5B091

【Ｆターム（参考）】

5B091EA01

(57)【要約】

【課題】言語モデルの出力の適正化を支援する。
【解決手段】実施形態の情報処理プログラムは、取得する処理と、入力する処理と、算出する処理と、出力する処理とをコンピュータに実行させる。取得する処理は、対象文に関連する複数の単語列を取得する。入力する処理は、取得した複数の単語列それぞれを対象文に結合した複数の結合文それぞれと、対象文とを言語モデルに入力する。算出する処理は、複数の結合文それぞれを言語モデルへ入力した場合の出力結果の分布それぞれとの差異に基づき、対象文を言語モデルへ入力した場合の出力における確信度を算出する。出力する処理は、算出した確信度に基づき、対象文を言語モデルへ入力した場合の出力結果を出力する。
【選択図】図４

【特許請求の範囲】

【請求項1】

対象文に関連する複数の単語列を取得し、
取得した前記複数の単語列それぞれを前記対象文に結合した複数の結合文それぞれと、前記対象文とを言語モデルに入力し、
前記複数の結合文それぞれを前記言語モデルへ入力した場合の出力結果の分布それぞれとの差異に基づき、前記対象文を前記言語モデルへ入力した場合の出力における確信度を算出し、
算出した前記確信度に基づき、前記対象文を前記言語モデルへ入力した場合の出力結果を出力する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項2】

前記算出する処理は、前記分布それぞれに基づく分散を算出し、算出した前記分散を前記確信度の指標値とする、
ことを特徴とする請求項１に記載の情報処理プログラム。

【請求項3】

前記算出する処理は、前記分布それぞれに基づく距離を算出し、算出した前記距離を前記確信度の指標値とする、
ことを特徴とする請求項１に記載の情報処理プログラム。

【請求項4】

前記取得する処理は、前記対象文との類似度に基づいて、コーパスの中で前記対象文に関連する複数の単語列を取得する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の情報処理プログラム。

【請求項5】

対象文に関連する複数の単語列を取得し、
取得した前記複数の単語列それぞれを前記対象文に結合した複数の結合文それぞれと、前記対象文とを言語モデルに入力し、
前記複数の結合文それぞれを前記言語モデルへ入力した場合の出力結果の分布それぞれとの差異に基づき、前記対象文を前記言語モデルへ入力した場合の出力における確信度を算出し、
算出した前記確信度に基づき、前記対象文を前記言語モデルへ入力した場合の出力結果を出力する、
処理をコンピュータが実行することを特徴とする情報処理方法。

【請求項6】

対象文に関連する複数の単語列を取得し、
取得した前記複数の単語列それぞれを前記対象文に結合した複数の結合文それぞれと、前記対象文とを言語モデルに入力し、
前記複数の結合文それぞれを前記言語モデルへ入力した場合の出力結果の分布それぞれとの差異に基づき、前記対象文を前記言語モデルへ入力した場合の出力における確信度を算出し、
算出した前記確信度に基づき、前記対象文を前記言語モデルへ入力した場合の出力結果を出力する、
処理を実行する制御部を含むことを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理プログラム、情報処理方法および情報処理装置に関する。

【背景技術】

【0002】

従来、機械学習により生成した言語モデル（ＬＭ：Language Model）を用いた自然言語処理が進められている。このような言語モデルを用いた自然言語処理では、ニュース記事の要約、対話システムにおける回答などの様々なタスクで高い性能を発揮している。

【0003】

機械学習により生成した言語モデルでは、未学習の事例などのイレギュラーな状況への対応を不得意とする。このため、言語モデルを用いた自然言語処理では、ニュース記事の要約において本文に書かれていないことを出力してしまう、対話システムにおいて事実に基づかない回答をするなど、誤った出力を行う場合がある。

【0004】

このような言語モデルを用いた自然言語処理について、誤った出力を抑止する従来技術としては、言語モデルの出力の確信度（ｃｏｎｆｉｄｅｎｃｅ）を計算し、確信度が閾値以下の場合は回答を控えるものが知られている。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Selective Question Answering under Domain Shift, Amita Kamath et al., Computer Science Department, Stanford University, 2020

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記の従来技術では、言語モデルが誤った出力を行った場合でも、確信度が高く算出されることがある。このため、正解の場合に近い確信度が算出されると、誤った出力が抑止されずに出力されてしまうことから、出力を適正化するには不十分であるという問題がある。

【0007】

１つの側面では、言語モデルの出力の適正化を支援できる情報処理プログラム、情報処理方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

１つの案では、情報処理プログラムは、取得する処理と、入力する処理と、算出する処理と、出力する処理とをコンピュータに実行させる。取得する処理は、対象文に関連する複数の単語列を取得する。入力する処理は、取得した複数の単語列それぞれを対象文に結合した複数の結合文それぞれと、対象文とを言語モデルに入力する。算出する処理は、複数の結合文それぞれを言語モデルへ入力した場合の出力結果の分布それぞれとの差異に基づき、対象文を言語モデルへ入力した場合の出力における確信度を算出する。出力する処理は、算出した確信度に基づき、対象文を言語モデルへ入力した場合の出力結果を出力する。

【発明の効果】

【0009】

言語モデルの出力の適正化を支援できる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態の概要を説明する説明図である。

【図2】図２は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。

【図3】図３は、実施形態にかかる情報処理装置の動作例を示すフローチャートである。

【図4】図４は、確信度の計算と、確信度に応じた回答の出力を説明する説明図である。

【図5】図５は、ケースごとの回答の具体例を説明する説明図である。

【図6】図６は、コンピュータ構成の一例を説明する説明図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、実施形態にかかる情報処理プログラム、情報処理方法および情報処理装置を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する情報処理プログラム、情報処理方法および情報処理装置は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。

【0012】

図１は、実施形態の概要を説明する説明図である。図１に示すように、実施形態にかかる情報処理装置では、機械学習により生成した言語モデルＭ１を用いて処理の対象文である入力文ｘに対して自然言語処理を行う。

【0013】

言語モデルＭ１を用いた自然言語処理については、ニュース記事の要約、対話システムにおける回答、翻訳システムにおける翻訳などのいずれであってもよい。例えば、ニュース記事の要約では、原文を入力文ｘとして言語モデルＭ１に入力することで、言語モデルＭ１の出力（ｙ）として要約文に関する情報（単語列の確率分布Ｐ（ｙ｜ｘ））を得る。対話システムにおける回答では、質問文を入力文ｘとして言語モデルＭ１に入力することで、言語モデルＭ１の出力として回答文に関する単語列の確率分布を得る。翻訳システムにおける翻訳では、原文を入力文ｘとして言語モデルＭ１に入力することで、言語モデルＭ１の出力として翻訳文に関する単語列の確率分布を得る。実施形態では、言語モデルＭ１を用いて対話システムにおける回答を得る場合を例示する。

【0014】

実施形態にかかる情報処理装置では、入力文ｘを言語モデルＭ１へ入力した場合の出力結果（確率分布Ｐ（ｙ｜ｘ）に基づく回答文）を出力するか否かを次のように行い、誤った出力を抑して言語モデルＭ１の出力の適正化を支援する。

【0015】

まず、情報処理装置では、入力文ｘに関連する複数の単語列として、各種文書を集積したデータベースであるコーパスなどを用いて入力文ｘに関するダミー文脈（ｃ_１、ｃ_２…）を取得する。ついで、情報処理装置は、取得したダミー文脈（ｃ_１、ｃ_２…）それぞれを入力文ｘに結合して結合文（ｃ_１＋ｘ、ｃ_２＋ｘ…）を得る。ダミー文脈（ｃ_１、ｃ_２…ｃ_ｊ）を結合した結合文については、次の（１）ようにも表記する。

【0016】

【数1】

【0017】

ついで、情報処理装置では、結合文それぞれを言語モデルＭ１に入力し、それぞれの出力結果における単語列の確率分布を得る。結合文それぞれを言語モデルＭ１に入力して得られた単語列の確率分布については、次の（２）ようにも表記する。

【0018】

【数2】

【0019】

ついで、情報処理装置では、結合文それぞれの確率分布を比較してその差異（変化度合）を求める。この確率分布の差異には、入力文ｘを言語モデルＭ１へ入力した場合の出力結果に対する、ダミー文脈（ｃ_１、ｃ_２…ｃ_ｊ）の文脈依存性が表れる。

【0020】

例えば、確率分布の差異が大きいほど、ダミー文脈（ｃ_１、ｃ_２…ｃ_ｊ）の文脈依存性が高く、ダミー文脈に言語モデルＭ１の出力結果が左右されることを意味する。したがって、確率分布の差異が大きいほど、入力文ｘを言語モデルＭ１へ入力した場合の出力結果への確信度が低く、その出力結果は、誤りである可能性が高いと見なすことができる。

【0021】

また、確率分布の差異が小さいほど、ダミー文脈（ｃ_１、ｃ_２…ｃ_ｊ）の文脈依存性が低く、ダミー文脈に言語モデルＭ１の出力結果が左右されないことを意味する。したがって、確率分布の差異が小さいほど、入力文ｘを言語モデルＭ１へ入力した場合の出力結果への確信度が高く、その出力結果は、誤りである可能性が低いと見なすことができる。

【0022】

情報処理装置では、このような出力結果に対するダミー文脈（ｃ_１、ｃ_２…ｃ_ｊ）の文脈依存性を利用し、結合文それぞれの確率分布の差異に基づいて入力文ｘを言語モデルＭ１へ入力した場合の出力における確信度を算出する。

【0023】

ついで、情報処理装置では、算出した確信度に基づき、入力文ｘを言語モデルＭ１へ入力した場合の出力結果（確率分布Ｐ（ｙ｜ｘ）に基づく回答文）を出力する。例えば、情報処理装置では、確信度が予め設定した閾値を超えた場合は、言語モデルＭ１による出力結果（回答文）に誤りがある可能性は低いものとして、得られた回答文を出力する。また、情報処理装置では、確信度が予め設定した閾値を超えない場合は、言語モデルＭ１による出力結果（回答文）に誤りがある可能性は高いものとして、得られた回答文の出力を抑止する。このように、情報処理装置では、言語モデルＭ１の出力の適正化を支援できる。

【0024】

図２は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。図２に示すように、情報処理装置１は、入出力部１０と、記憶部２０と、制御部３０とを有する。

【0025】

入出力部１０は、制御部３０が各種情報の入出力を行う際のＧＵＩ（Graphical User Interface）等の入出力インタフェースを司る。例えば、入出力部１０は、情報処理装置１に接続されるキーボードやマイク等の入力装置や液晶ディスプレイ装置などの表示装置との入出力インタフェースを司る。また、入出力部１０は、ＬＡＮ（Local Area Network）等の通信ネットワークを介して接続する外部機器との間でデータ通信を行う通信インタフェースを司る。

【0026】

例えば、情報処理装置１は、入出力部１０を介して入力文ｘの入力を受け付ける。また、情報処理装置１は、入力文ｘに対する処理結果（例えば回答文）を入出力部１０を介して出力する。

【0027】

記憶部２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。記憶部２０は、ダミー文脈コーパス２１、文書検索パラメータ２２、言語モデルパラメータ２３、確信度計算パラメータ２４および文書生成モデルパラメータ２５などを格納する。

【0028】

ダミー文脈コーパス２１は、入力文ｘに関連するダミー文脈（ｃ_１、ｃ_２…ｃ_ｊ）を得るためのコーパスである。このコーパスについては、情報処理装置１内に格納されていなくてもよく、例えば入出力部１０を介して外部の情報処理装置が格納するコーパスを用いてもよい。

【0029】

文書検索パラメータ２２は、ダミー文脈コーパス２１より入力文ｘに関連するダミー文脈（ｃ_１、ｃ_２…ｃ_ｊ）を得るための検索に用いるパラメータ情報である。例えば、文書検索パラメータ２２には、文書検索時において、文書の類似度より関連の有無を判定するための閾値などが含まれる。

【0030】

言語モデルパラメータ２３は、言語モデルＭ１に関するパラメータ情報である。例えば、言語モデルパラメータ２３は、勾配ブースティング木、ニューラルネットワークなどの言語モデルＭ１に関する機械学習モデルを構築するためのパラメータ等である。

【0031】

確信度計算パラメータ２４は、確信度を計算する際の計算式に用いるパラメータ情報である。例えば、確信度計算パラメータ２４には、確信度を計算する際の計算式に用いる係数値（重み値）などが含まれる。

【0032】

文書生成モデルパラメータ２５は、入力された文書データに関連するダミーの文書データを生成（出力）する機械学習モデル（文書生成モデル）に関するパラメータ情報である。例えば、文書生成モデルパラメータ２５は、勾配ブースティング木、ニューラルネットワークなどの文書生成モデルに関する機械学習モデルを構築するためのパラメータ等である。

【0033】

制御部３０は、ダミー文脈取得部３１、回答取得部３２、確信度計算部３３および出力部３４を有する。制御部３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部３０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

【0034】

ダミー文脈取得部３１は、対象文（入力文ｘ）をもとに、対象文に関連する複数の単語列、すなわちダミー文脈（ｃ_１、ｃ_２、ｃ_３…）を取得する処理部である。

【0035】

具体的には、ダミー文脈取得部３１は、入力文ｘをもとに、ダミー文脈コーパス２１から文書検索パラメータ２２に含まれるパラメータに従って類似度の順に複数のダミー文脈を入力文ｘに関連するダミー文脈として取得する。一例として、ダミー文脈取得部３１は、入力文ｘとダミー文脈コーパス２１に含まれる文書の文脈ｃ_ｊをそれぞれベクトル化する２つのエンコーダを用意し、エンコードされたベクトルの類似度が近い順に、ｋ個の文脈ｃ_ｊをダミー文脈として採用する。

【0036】

また、ダミー文脈取得部３１は、文書生成モデルパラメータ２５をもとに構築した機械学習モデル（文書生成モデル）に入力文ｘを入力して得られた出力結果（単語列の確率分布）をもとに複数のダミー文脈を取得してよい。

【0037】

回答取得部３２は、入力文ｘを言語モデルＭ１へ入力した場合の出力結果をもとに、入力文ｘに対する回答文を得る処理部である。具体的には、回答取得部３２は、言語モデルパラメータ２３をもとに構築した言語モデルＭ１に入力文ｘに関する情報を入力し、言語モデルＭ１より回答文に対応する単語列（単語の並び）に関する確率分布を得る。一例として、回答取得部３２は、入力文ｘを言語モデルＭ１に入力し、各単語に関する予測ラベル（ｙ_０）と、ラベル確率の分布を示す次の式（３）のような確率質量関数を得る。回答取得部３２は、このように言語モデルＭ１から出力された予測ラベル（ｙ_０）の確率分布（確率質量関数）に基づいて回答文を得る。

【0038】

【数3】

【0039】

確信度計算部３３は、上述した確信度の算出を行う処理部である。具体的には、確信度計算部３３は、ダミー文脈取得部３１で取得したダミー文脈（ｃ_１、ｃ_２…）それぞれを入力文ｘに結合して結合文（ｃ_１＋ｘ、ｃ_２＋ｘ…）を得る。ついで、確信度計算部３３は、言語モデルパラメータ２３をもとに構築した言語モデルＭ１に結合文それぞれを入力し、結合文それぞれに対応する確率分布を得る。一例として、確信度計算部３３は、（１）で例示した結合文を言語モデルＭ１に入力することで、予測ラベル（ｙ_ｊ）と、ラベル確率の分布を示す次の式（４）のような確率質量関数（確率分布）を得る。

【0040】

【数4】

【0041】

ついで、確信度計算部３３は、複数の結合文それぞれを言語モデルＭ１へ入力した場合の確率分布それぞれとの差異に基づき、入力文ｘを言語モデルＭ１へ入力した場合の出力における確信度を算出する。

【0042】

具体的には、確信度計算部３３は、予測ラベルｙ_０における、ｋ個のダミー文脈（ｃ_ｊ）付与後の確率分布の分散を次の式（５）のように求める。確信度計算部３３は、このように求めた確率分布ぞれぞれに基づく分散値を確信度Ｃの指標値とする。

【0043】

【数5】

【0044】

また、確信度計算部３３は、ダミー文脈を加える前と、加えた後の変更前後の確率分布の距離としてＫＬ（Kullback-Leibler） ｄｉｖｅｒｇｅｎｃｅの平均を次の式（６）のように求める。確信度計算部３３は、このように求めた確率分布それぞれに基づく距離値を確信度Ｃの指標値としてもよい。

【0045】

【数6】

【0046】

出力部３４は、確信度計算部３３が算出した確信度Ｃをもとに、入力文ｘを言語モデルＭ１へ入力した場合の出力結果（予測ラベル（ｙ_０）に基づく回答文）を入出力部１０を介してディスプレイや外部機器に出力する処理部である。具体的には、出力部３４は、確信度計算部３３が算出した確信度Ｃと予め設定した閾値（β）とを比較し、Ｃ＜βのときは回答文の出力を控える。また、出力部３４は、Ｃ≧βのときは回答文を出力する。

【0047】

図３は、実施形態にかかる情報処理装置１の動作例を示すフローチャートである。図３におけるＳ１は、ダミー文脈コーパス２１を用いてダミー文脈を生成する場合のフローチャートである。図３におけるＳ２は、文書生成モデルパラメータ２５をもとに構築した機械学習モデル（文書生成モデル）を用いてダミー文脈を生成する場合のフローチャートである。

【0048】

まず、ダミー文脈コーパス２１を用いてダミー文脈を生成する場合（Ｓ１）を説明する。Ｓ１に示すように、処理が開始されると、ダミー文脈取得部３１は、入力文ｘをもとに、ダミー文脈コーパス２１から類似度の順に複数のダミー文脈を抽出する。ついで、ダミー文脈取得部３１は、文書検索パラメータ２２に含まれるパラメータに従って類似度の高い順に、例えば３個のダミー文脈（ｃ_１、ｃ_２、ｃ_３）を選択する（Ｓ１１）。

【0049】

ついで、回答取得部３２および確信度計算部３３は、入力文ｘおよびダミー文脈を入力文ｘに結合した結合文を言語モデルパラメータ２３に基づいて構築した言語モデルＭ１へ入力する入力処理を行う（Ｓ１２）。これにより、回答取得部３２は、言語モデルＭ１に入力した場合の予測ラベル（ｙ_０）と、ラベルの確率分布を得る。また、確信度計算部３３は、結合文それぞれに対応する確率分布の出力確率計算を行う（Ｓ１３）。

【0050】

ついで、確信度計算部３３は、出力確率計算により得られた確率分布それぞれとの差異に基づき、入力文ｘを言語モデルＭ１へ入力した場合の出力における確信度Ｃを計算する（Ｓ１４）。ついで、出力部３４は、確信度計算部３３が算出した確信度Ｃをもとに、入力文ｘを言語モデルＭ１へ入力した場合の出力結果を出力する（Ｓ１５）。

【0051】

次に、文書生成モデルパラメータ２５をもとに構築した文書生成モデルを用いてダミー文脈を生成する場合（Ｓ２）を説明する。Ｓ２に示すように、処理が開始されると、ダミー文脈取得部３１は、文書生成モデルパラメータ２５をもとに機械学習モデル（文書生成モデル）を構築する。

【0052】

ついで、ダミー文脈取得部３１は、構築した機械学習モデル（文書生成モデル）に入力文ｘを入力して得られた出力結果（単語列の確率分布）をもとに複数のダミー文脈を生成する（Ｓ１１ａ）。例えば、ダミー文脈取得部３１は、確率分布における確率値が特定の閾値より高い各単語の組み合わせを変更することで、複数のダミー文脈を生成する。Ｓ１１ａ以降の処理は、Ｓ１と同様に行う。

【0053】

図４は、確信度Ｃの計算と、確信度Ｃに応じた回答の出力を説明する説明図である。図４に示すように、情報処理装置１では、文脈（ｐ，ｑ）を組み合わせた入力文ｘをもとに、ダミー文脈コーパス２１に含まれる文脈（ｃ_１，ｃ_２，ｃ_３，ｃ_４，…）の中から、入力文ｘの文脈（ｐ，ｑ）と類似するものをダミー文脈（ｃ_１，ｃ_２，ｃ_３）として取得する。

【0054】

ついで、情報処理装置１では、ダミー文脈（ｃ_１，ｃ_２，ｃ_３）それぞれを入力文ｘに結合した結合文を言語モデルＭ１に入力し、予測ラベル（ｙ_１，ｙ_２，ｙ_３）と、ラベルの確率分布を得る。

【0055】

この確率分布それぞれとの差異に基づき、情報処理装置１は、入力文ｘを言語モデルＭ１へ入力した場合の出力における確信度Ｃを計算する。ついで、情報処理装置１は、確信度Ｃをもとに、入力文ｘを言語モデルＭ１へ入力した場合の出力結果（ｙ）を出力する。具体的には、情報処理装置１は、確信度Ｃと予め設定した閾値（β）とを比較し、Ｃ＜βのときはｙの回答を控える。また、情報処理装置１は、Ｃ≧βのときはｙを回答する。

【0056】

図５は、ケースごとの回答の具体例を説明する説明図である。図５において、ケースＲ１は、入力文ｘを言語モデルＭ１へ入力した場合の出力結果（ｙ）が誤答であるケースである。ケースＲ２は、入力文ｘを言語モデルＭ１へ入力した場合の出力結果（ｙ）が誤答であり、実施形態にかかる情報処理装置１で計算した確信度Ｃをもとに回答を控えるケースである。ケースＲ２は、入力文ｘを言語モデルＭ１へ入力した場合の出力結果（ｙ）が正答であり、実施形態にかかる情報処理装置１で計算した確信度Ｃをもとに回答を行うケースである。

【0057】

ケースＲ１に示すように、入力文ｘを言語モデルＭ１へ入力した場合の出力結果（ｙ）における確率分布からは、確信度Ｃの値が高くなる場合（図示例では０．９）がある。このため、誤答がそのまま出力される場合がある。

【0058】

実施形態にかかる情報処理装置１では、ダミー文脈（ｃ_１，ｃ_２，ｃ_３）それぞれを入力文ｘに結合した結合文の確率分布を比較してその差異（変化度合）をもとに確信度Ｃを得ている。

【0059】

したがって、確率分布の差異が大きく、入力文ｘを言語モデルＭ１へ入力した場合の出力結果に対する、ダミー文脈（ｃ_１，ｃ_２，ｃ_３）の文脈依存性が高いケースＲ２では、誤答に対して、確信度Ｃの値が低くなる（図示例では、０．３）。このため、ケースＲ２では、誤りである可能性が高いものとして言語モデルＭ１による回答を控えるようにする。

【0060】

また、確率分布の差異が小さく、入力文ｘを言語モデルＭ１へ入力した場合の出力結果に対する、ダミー文脈（ｃ_１，ｃ_２，ｃ_３）の文脈依存性が低いケースＲ３では、正答に対して、確信度Ｃの値が高くなる（図示例では、０．９）。このため、ケースＲ３では、正答である可能性が高いものとして言語モデルＭ１による回答を出力する。このように、実施形態にかかる情報処理装置１では、言語モデルＭ１の出力の適正化を支援できる。

【0061】

以上のように、情報処理装置１は、対象文（入力文ｘ）に関連する複数の単語列（ｃ_１、ｃ_２、ｃ_３…）を取得する。情報処理装置１は、取得した複数の単語列それぞれを対象文に結合した複数の結合文それぞれと、対象文とを言語モデルＭ１に入力する。情報処理装置１は、複数の結合文それぞれを言語モデルＭ１へ入力した場合の出力結果の分布それぞれとの差異に基づき、対象文を言語モデルＭ１へ入力した場合の出力における確信度Ｃを算出する。情報処理装置１は、算出した確信度Ｃに基づき、対象文を言語モデルＭ１へ入力した場合の出力結果を出力する。

【0062】

複数の結合文における出力結果の分布それぞれとの差異は、対象文に対する言語モデルＭ１の出力結果の文脈依存性を示している。このため、情報処理装置１では、対象文に対する言語モデルＭ１の出力結果の文脈依存性に応じた確信度を得ることができ、この確信度をもとに言語モデルＭ１の出力を行うことから、言語モデルＭ１の出力の適正化を支援できる。

【0063】

また、情報処理装置１は、複数の結合文それぞれを言語モデルＭ１へ入力した場合の出力結果の分布それぞれに基づく分散を算出し、算出した分散を確信度Ｃの指標値とする。これにより、情報処理装置１は、複数の結合文における出力結果の分布それぞれに基づく分散を確信度Ｃの指標値として、文脈依存性を考慮した確信度Ｃを得ることができる。

【0064】

また、情報処理装置１は、複数の結合文それぞれを言語モデルＭ１へ入力した場合の出力結果の分布それぞれに基づく距離を算出し、算出した距離を確信度Ｃの指標値とする。これにより、情報処理装置１は、複数の結合文における出力結果の分布それぞれに基づく距離を確信度Ｃの指標値として、文脈依存性を考慮した確信度Ｃを得ることができる。

【0065】

また、情報処理装置１は、対象文との類似度に基づいて、ダミー文脈コーパス２１の中で対象文に関連する複数の単語列（ｃ_１、ｃ_２、ｃ_３…）を取得する。これにより、情報処理装置１は、ダミー文脈コーパス２１より対象文に関連する複数の単語列を得ることができる。

【0066】

なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0067】

また、情報処理装置１の制御部３０で行われるダミー文脈取得部３１、回答取得部３２、確信度計算部３３および出力部３４の各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、情報処理装置１で行われる各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。

【0068】

ところで、上記の実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施形態と同様の機能を有するプログラムを実行するコンピュータ構成（ハードウエア）の一例を説明する。図６は、コンピュータ構成の一例を説明位する説明図である。

【0069】

図６に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３と、スピーカー２０４とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０５と、各種装置と接続するためのインタフェース装置２０６と、有線または無線により外部機器と通信接続するための通信装置２０７とを有する。また、情報処理装置１は、各種情報を一時記憶するＲＡＭ２０８と、ハードディスク装置２０９とを有する。また、コンピュータ２００内の各部（２０１～２０９）は、バス２１０に接続される。

【0070】

ハードディスク装置２０９には、上記の実施形態で説明した機能構成（例えばダミー文脈取得部３１、回答取得部３２、確信度計算部３３および出力部３４）における各種の処理を実行するためのプログラム２１１が記憶される。また、ハードディスク装置２０９には、プログラム２１１が参照する各種データ２１２が記憶される。入力装置２０２は、例えば、操作者から操作情報の入力を受け付ける。モニタ２０３は、例えば、操作者が操作する各種画面を表示する。インタフェース装置２０６は、例えば印刷装置等が接続される。通信装置２０７は、ＬＡＮ（Local Area Network）等の通信ネットワークと接続され、通信ネットワークを介した外部機器との間で各種情報をやりとりする。

【0071】

ＣＰＵ２０１は、ハードディスク装置２０９に記憶されたプログラム２１１を読み出して、ＲＡＭ２０８に展開して実行することで、上記の機能構成（例えばダミー文脈取得部３１、回答取得部３２、確信度計算部３３および出力部３４）に関する各種の処理を行う。なお、プログラム２１１は、ハードディスク装置２０９に記憶されていなくてもよい。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラム２１１を読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこのプログラム２１１を記憶させておき、コンピュータ２００がこれらからプログラム２１１を読み出して実行するようにしてもよい。

【0072】

以上の実施形態に関し、さらに以下の付記を開示する。

【0073】

（付記１）対象文に関連する複数の単語列を取得し、
取得した前記複数の単語列それぞれを前記対象文に結合した複数の結合文それぞれと、前記対象文とを言語モデルに入力し、
前記複数の結合文それぞれを前記言語モデルへ入力した場合の出力結果の分布それぞれとの差異に基づき、前記対象文を前記言語モデルへ入力した場合の出力における確信度を算出し、
算出した前記確信度に基づき、前記対象文を前記言語モデルへ入力した場合の出力結果を出力する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【0074】

（付記２）前記算出する処理は、前記分布それぞれに基づく分散を算出し、算出した前記分散を前記確信度の指標値とする、
ことを特徴とする付記１に記載の情報処理プログラム。

【0075】

（付記３）前記算出する処理は、前記分布それぞれに基づく距離を算出し、算出した前記距離を前記確信度の指標値とする、
ことを特徴とする付記１に記載の情報処理プログラム。

【0076】

（付記４）前記取得する処理は、前記対象文との類似度に基づいて、コーパスの中で前記対象文に関連する複数の単語列を取得する、
ことを特徴とする付記１乃至３のいずれか一に記載の情報処理プログラム。

【0077】

（付記５）対象文に関連する複数の単語列を取得し、
取得した前記複数の単語列それぞれを前記対象文に結合した複数の結合文それぞれと、前記対象文とを言語モデルに入力し、
前記複数の結合文それぞれを前記言語モデルへ入力した場合の出力結果の分布それぞれとの差異に基づき、前記対象文を前記言語モデルへ入力した場合の出力における確信度を算出し、
算出した前記確信度に基づき、前記対象文を前記言語モデルへ入力した場合の出力結果を出力する、
処理をコンピュータが実行することを特徴とする情報処理方法。

【0078】

（付記６）前記算出する処理は、前記分布それぞれに基づく分散を算出し、算出した前記分散を前記確信度の指標値とする、
ことを特徴とする付記５に記載の情報処理方法。

【0079】

（付記７）前記算出する処理は、前記分布それぞれに基づく距離を算出し、算出した前記距離を前記確信度の指標値とする、
ことを特徴とする付記５に記載の情報処理方法。

【0080】

（付記８）前記取得する処理は、前記対象文との類似度に基づいて、コーパスの中で前記対象文に関連する複数の単語列を取得する、
ことを特徴とする付記５乃至７のいずれか一に記載の情報処理方法。

【0081】

（付記９）対象文に関連する複数の単語列を取得し、
取得した前記複数の単語列それぞれを前記対象文に結合した複数の結合文それぞれと、前記対象文とを言語モデルに入力し、
前記複数の結合文それぞれを前記言語モデルへ入力した場合の出力結果の分布それぞれとの差異に基づき、前記対象文を前記言語モデルへ入力した場合の出力における確信度を算出し、
算出した前記確信度に基づき、前記対象文を前記言語モデルへ入力した場合の出力結果を出力する、
処理を実行する制御部を含むことを特徴とする情報処理装置。

【0082】

（付記１０）前記算出する処理は、前記分布それぞれに基づく分散を算出し、算出した前記分散を前記確信度の指標値とする、
ことを特徴とする付記９に記載の情報処理装置。

【0083】

（付記１１）前記算出する処理は、前記分布それぞれに基づく距離を算出し、算出した前記距離を前記確信度の指標値とする、
ことを特徴とする付記９に記載の情報処理装置。

【0084】

（付記１２）前記取得する処理は、前記対象文との類似度に基づいて、コーパスの中で前記対象文に関連する複数の単語列を取得する、
ことを特徴とする付記９乃至１１のいずれか一に記載の情報処理装置。

【符号の説明】

【0085】

１…情報処理装置
１０…入出力部
２０…記憶部
２１…ダミー文脈コーパス
２２…文書検索パラメータ
２３…言語モデルパラメータ
２４…確信度計算パラメータ
２５…文書生成モデルパラメータ
３０…制御部
３１…ダミー文脈取得部
３２…回答取得部
３３…確信度計算部
３４…出力部
２００…コンピュータ
２０１…ＣＰＵ
２０２…入力装置
２０３…モニタ
２０４…スピーカー
２０５…媒体読取装置
２０６…インタフェース装置
２０７…通信装置
２０８…ＲＡＭ
２０９…ハードディスク装置
２１０…バス
２１１…プログラム
２１２…各種データ
ｃ…ダミー文脈
Ｃ…確信度
Ｍ１…言語モデル
Ｒ１～Ｒ３…ケース
ｘ…入力文

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】