知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-08
(45)【発行日】2023-06-16
(54)【発明の名称】取得装置、取得方法、および取得プログラム
(51)【国際特許分類】
G06F 16/35 20190101AFI20230609BHJP
G06F 16/90 20190101ALI20230609BHJP
G06N 20/00 20190101ALI20230609BHJP
【ＦＩ】
G06F16/35
G06F16/90 100
G06N20/00 130
【請求項の数】
16
(21)【出願番号】P 2021072551
(22)【出願日】2021-04-22
(62)【分割の表示】P 2019113053の分割
【原出願日】2019-06-18
(65)【公開番号】P2021108212
(43)【公開日】2021-07-29
【審査請求日】2022-05-18
(73)【特許権者】
【識別番号】319013263
【氏名又は名称】ヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】橋本 力
【審査官】早川 学
(56)【参考文献】
【文献】特開２０１８－６０３６４（ＪＰ，Ａ）
【文献】特開２０１８－５５１４２（ＪＰ，Ａ）
【文献】特開２０１２－２４３１２５（ＪＰ，Ａ）
【文献】国際公開第２０１４／０１７０２３（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１６／０１５５０５８（ＵＳ，Ａ１）
【文献】特開２００９－５９３２３（ＪＰ，Ａ）
【文献】特開２００７－２１９９４７（ＪＰ，Ａ）
【文献】国際公開第２０１９／０８８０８４（ＷＯ，Ａ１）
【文献】高野海斗ほか，有価証券報告書からの事業セグメントごとの業績要因文・業績結果文の抽出，第２１回 人工知能学会 金融情報学研究会（ＳＩＧ－ＦＩＮ） ［ｏｎｌｉｎｅ］ ，人工知能学会，2018年10月18日，ｐｐ．１－５，[検索日:2018.10.18], Internet<URL:http://sigfin.org/?plugin=attach&refer=021-13&openfile=SIG-FIN-021-13.pdf>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／００－１６／９５８
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
第１対象を説明する第１情報から、第１対象と因果関係を有する第２対象を特定する特定部と、前記第１情報と、前記第２対象を説明する第２情報との組を、因果関係の有無を分類する分類モデルの学習データとして取得する取得部と
を有することを特徴とする取得装置。
【請求項2】
前記特定部は、予め設定された因果関係を示すキーワードを用いて、前記第１情報から、前記第１対象と因果関係を有する第２対象を特定することを特徴とする請求項１に記載の取得装置。
【請求項3】
前記特定部は、前記第１情報から、前記第１対象と因果関係を有する他の対象を示す領域を特定し、特定した領域に示される他の対象を前記第２対象として特定することを特徴とする請求項１または２に記載の取得装置。
【請求項4】
前記特定部は、前記第１情報からのリンクが設定された他の情報が説明する対象であって、前記第１対象と因果関係を有する対象を前記第２対象として特定することを特徴とする請求項１～３のうちいずれか１つに記載の取得装置。
【請求項5】
前記第１情報から前記第２対象を示すコンテキストを抽出し、前記第２情報から前記第１対象を示すコンテキストを抽出する抽出部を有し、
前記取得部は、前記抽出部により抽出されたコンテキストの組を前記学習データとして取得する
ことを特徴とする請求項１～４のうちいずれか１つに記載の取得装置。
【請求項6】
前記特定部は、前記第１情報において、前記第１対象の原因として説明されている対象を前記第２対象として特定し、前記取得部は、前記第２情報を因果関係の原因を説明する情報とし、前記第１情報を因果関係の結果を説明する情報とした前記組を前記学習データとして取得する
ことを特徴とする請求項１～５のうちいずれか１つに記載の取得装置。
【請求項7】
前記特定部は、前記第１情報において、前記第１対象の結果として説明されている対象を前記第２対象として特定し、前記取得部は、前記第２情報を因果関係の結果を説明する情報とし、前記第１情報を因果関係の原因を説明する情報とした前記組を前記学習データとして取得する
ことを特徴とする請求項１～５のうちいずれか１つに記載の取得装置。
【請求項8】
前記取得部は、前記第１情報および前記第２情報に含まれる文字列のうち、因果関係の原因となる対象を示す文字列を原因を示す所定の第１シンボルに変換し、因果関係の結果となる対象を示す文字列を結果を示す所定の第２シンボルに変換した情報を前記学習データとして取得する。ことを特徴とする請求項６または７に記載の取得装置。
【請求項9】
前記特定部は、それぞれ異なる言語で前記第１対象を説明する複数の第１情報から、前記第１対象と因果関係を有する第２対象を特定し、前記取得部は、前記言語ごとに、前記第１情報と、当該第１情報と同一言語で前記第２対象を説明する第２情報との組を前記学習データとして取得する
ことを特徴とする請求項１～８のうちいずれか１つに記載の取得装置。
【請求項10】
前記特定部は、対象を説明する情報の量が所定の条件を満たす言語で前記第１対象を説明する複数の第１情報から、前記第１対象と因果関係を有する第２対象を特定し、前記取得部は、前記言語ごとに、前記第１情報と、当該第１情報と同一言語で前記第２対象を説明する第２情報との組を前記学習データとして取得する
ことを特徴とする請求項９に記載の取得装置。
【請求項11】
前記特定部は、対象をそれぞれ異なる言語で説明する複数の情報が登録された第１データベースにおいて同一の対象を説明する情報を示す第２データベースを用いて、前記第１対象を説明する複数の第１情報を特定するとともに、特定した複数の第１情報から前記第２対象を特定することを特徴とする請求項９または１０に記載の取得装置。
【請求項12】
前記取得部が取得した学習データが有する特徴をモデルに学習させる学習部を有することを特徴とする請求項１～１１のうちいずれか１つに記載の取得装置。
【請求項13】
前記取得部は、前記第１情報と、前記第２情報との組を正例として取得するとともに、第３対象を説明する第３情報と、当該第３対象と因果関係を有しない第４対象を説明する第４情報との組を負例として取得し、前記学習部は、前記正例と前記負例とを用いて、前記モデルの学習を行う
ことを特徴とする請求項１２に記載の取得装置。
【請求項14】
前記特定部は、前記第１情報において、前記第１対象の原因として説明されている複数の対象のうち、前記第２対象が出現する順序を特定し、前記学習部は、前記第１情報と、前記第２情報との組が有する特徴を、前記第１情報において前記第２対象が出現する順序に応じた優先度で学習する
ことを特徴とする請求項１２または１３に記載の取得装置。
【請求項15】
取得装置が実行する取得方法であって、第１対象を説明する第１情報から、第１対象と因果関係を有する第２対象を特定する特定工程と、
前記第１情報と、前記第２対象を説明する第２情報との組を、因果関係の有無を分類する分類モデルの学習データとして取得する取得工程と
を含むことを特徴とする取得方法。
【請求項16】
第１対象を説明する第１情報から、第１対象と因果関係を有する第２対象を特定する特定手順と、前記第１情報と、前記第２対象を説明する第２情報との組を、因果関係の有無を分類する分類モデルの学習データとして取得する手順と
をコンピュータに実行させるための取得プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、取得装置、取得方法、および取得プログラムに関する。
【背景技術】
【0002】
従来、各種の対象間の関係を推定する技術が知られている。このような技術の一例として、テキストが示す事象間の時間的な関係性を示すスコアと、因果関係を示すスコアとを個別に算出し、算出した各スコアに基づいて、事象間の関係を推定する技術が知られている。
【先行技術文献】
【非特許文献】
【0003】
【文献】“Joint reasoning for temporal and causal relations”, Qiang Ning, Zhili Feng, Hao Wu, and Dan Roth. 2018, In Proceedings of the 56th Annual Meeting of the Association for Computational (ACL), pages 2278－2288
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した技術では、因果関係を推定するモデルの学習に有用な情報を取得しているとは言えない。
【0005】
例えば、容易に因果関係の推定を行うため、テキストを入力した際に、事象間の因果関係を推定するモデルを学習するといった手法が考えらえる。しかしながら、上述した技術では、ある文章内において各事象を示すテキストが出現する頻度や距離等に基づいて、各テキストが示す事象間に因果関係が存在しているか否かを推定しているに過ぎず、因果関係を推定するモデルの学習に有用な情報を取得しているとは言えない。
【0006】
本願は、上記に鑑みてなされたものであって、因果関係を推定するモデルの学習に有用な情報を取得することを目的とする。
【課題を解決するための手段】
【0007】
本願に係る取得装置は、第１対象を説明する第１コンテンツから、第１対象と因果関係を有する第２対象を特定する特定部と、前記第１コンテンツに基づく情報と、前記第２対象を説明する第２コンテンツに基づく情報との組を、因果関係の有無を分類する分類モデルの学習データとして取得する取得部とを有することを特徴とする。
【発明の効果】
【0008】
実施形態の一態様によれば、因果関係を推定するモデルの学習に有用な情報を取得することができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下に、本願に係る取得装置、取得方法、および取得プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る取得装置、取得方法、および取得プログラムが限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0011】
〔１．情報提供装置について〕
まず、図１を用いて、決定装置の一例である情報提供装置１０が実行する処理の一例について説明する。図１は、実施形態に係る情報提供装置が実行する処理の一例を示す図である。図１では、情報提供装置１０が実行する処理として、指定されたコンテンツ同士が因果関係を有する対象を示すコンテンツであるか否かの分類を行うモデルを学習するための学習データを取得する取得処理、取得処理によって取得された学習データを用いてモデルの学習を行う学習処理、および、学習処理によって学習が行われたモデルを用いて指定されたコンテンツが因果関係を有する対象を示すコンテンツであるか否かの分類を行う分類処理の一例について説明する。
まず、図１を用いて、決定装置の一例である情報提供装置１０が実行する処理の一例について説明する。図１は、実施形態に係る情報提供装置が実行する処理の一例を示す図である。図１では、情報提供装置１０が実行する処理として、指定されたコンテンツ同士が因果関係を有する対象を示すコンテンツであるか否かの分類を行うモデルを学習するための学習データを取得する取得処理、取得処理によって取得された学習データを用いてモデルの学習を行う学習処理、および、学習処理によって学習が行われたモデルを用いて指定されたコンテンツが因果関係を有する対象を示すコンテンツであるか否かの分類を行う分類処理の一例について説明する。
【0012】
〔１－１．情報提供装置の概要〕
情報提供装置１０は、インターネット等の所定のネットワークＮ（例えば、図２を参照。）を介して、データサーバ１００および端末装置２００と通信可能な情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。なお、情報提供装置１０は、ネットワークＮを介して、任意の数のデータサーバ１００や端末装置２００と通信可能であってよい。
情報提供装置１０は、インターネット等の所定のネットワークＮ（例えば、図２を参照。）を介して、データサーバ１００および端末装置２００と通信可能な情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。なお、情報提供装置１０は、ネットワークＮを介して、任意の数のデータサーバ１００や端末装置２００と通信可能であってよい。
【0013】
データサーバ１００は、各種の情報を管理する情報処理装置であり、例えば、サーバ装置やクラウドシステムにより実現される。例えば、データサーバ１００には、各種のコンテンツが登録されており、利用者からの要求に応じて、コンテンツの配信を行うサービスを提供する。
【0014】
端末装置２００は、利用者が利用する端末装置であり、例えば、ＰＣ（Personal Computer）やサーバ装置、各種のスマートデバイス等により実現される。例えば、端末装置２００は、利用者から各種の情報の入力を受付けると、情報提供装置１０と通信を行い、通信結果となる情報を出力する機能を有する。
【0015】
〔１－２．データサーバ１００が配信するコンテンツについて〕
ここで、データサーバ１００が配信するコンテンツについて説明する。例えば、データサーバ１００は、各種の名詞で示される物体・物質・人物・場所などといった具体的な対象や、病名、イベント、歴史上の出来事等といった事象を説明するコンテンツが登録されており、このようなコンテンツの配信を行うサーバ装置である。なお、以下の説明では、コンテンツが説明する具体的な対象や事象等を「対象」と総称する。
ここで、データサーバ１００が配信するコンテンツについて説明する。例えば、データサーバ１００は、各種の名詞で示される物体・物質・人物・場所などといった具体的な対象や、病名、イベント、歴史上の出来事等といった事象を説明するコンテンツが登録されており、このようなコンテンツの配信を行うサーバ装置である。なお、以下の説明では、コンテンツが説明する具体的な対象や事象等を「対象」と総称する。
【0016】
また、データサーバ１００は、それぞれ異なる言語で同一の対象を説明する複数のコンテンツが登録されている。例えば、データサーバ１００は、日本語、英語、ドイツ語、フランス語、スペイン語、チェコ語等、各種の言語で同一の対象を説明する複数のコンテンツが登録されている。なお、データサーバ１００は、ある対象について、データサーバ１００が対応する全ての言語で説明するコンテンツが登録されている必要はなく、一部の言語によるコンテンツのみが登録されていてもよい。例えば、データサーバ１００には、肺がんについて日本語と英語とドイツ語とのコンテンツがそれぞれ登録されており、煙草については、英語とフランス語とのコンテンツがそれぞれ登録されていてもよい。
【0017】
ここで、データサーバ１００に登録されたコンテンツは、複数の編集者により独自の編集が行われるコンテンツであってもよい。例えば、データサーバ１００は、あるコンテンツをいずれかの編集者が登録若しくは編集した場合、他の編集者による承認が行われたことを契機として、登録若しくは編集を反映させてもよい。
【0018】
また、データサーバ１００に登録されたコンテンツには、他のコンテンツに対するリンクが設定されていてもよい。例えば、データサーバ１００に登録されたコンテンツのうち、「林檎」についての説明を行うコンテンツには、「フルーツ」や「バラ科」等といった対象を説明するコンテンツへのリンクが設定されていてもよい。より具体的な例を挙げると、データサーバ１００には、対象の説明中に現れる他の対象を示す文字列や画像に対し、他の対象を説明するコンテンツへのリンクが設定されていてもよい。
【0019】
また、データサーバ１００には、ある対象についてどのようなコンテンツが登録されているかを示すデータベースが登録されていてもよい。例えば、データサーバ１００においては、各種の対象に対して一意な識別子（ID：Identifier）が付与されており、この識別子に対し、対応する対象を説明する各言語のコンテンツを紐付けたデータベースが登録されていてもよい。なお、以下の説明では、このような対象の識別子と、対象を説明するコンテンツの識別子とを対応付けたデータベースを「対象データベース」と総称する場合がある。
【0020】
データサーバ１００は、上述した各種のコンテンツやデータベースに登録された情報を提供することで、利用者に対し、各対象の説明を提供するサービスを実現する。なお、具体的なサービス名を上げると、データサーバ１００は、例えば、ウィキペディアやウィキデータといったサービスに該当する。
【0021】
〔１－３．因果関係の利用について〕
ここで、２つの対象が有する因果関係の利用について説明する。例えば、ある第１対象が第２対象の原因であり、第２対象が第１対象による結果である場合、第１対象と第２対象とは、因果関係を有すると言える。例えば、煙草を第１対象とし、肺がんを第２対象とした場合、煙草は肺がんの原因である蓋然性が高く、肺がんは煙草の結果である蓋然性が高いため、因果関係を有する（因果関係を有する可能性が高い）と言える。また、保護主義と貿易戦争との組、山火事と空気汚染との組、ヴェルサイユ条約と第２次世界大戦との組等は、一定の因果関係を有すると言える。
ここで、２つの対象が有する因果関係の利用について説明する。例えば、ある第１対象が第２対象の原因であり、第２対象が第１対象による結果である場合、第１対象と第２対象とは、因果関係を有すると言える。例えば、煙草を第１対象とし、肺がんを第２対象とした場合、煙草は肺がんの原因である蓋然性が高く、肺がんは煙草の結果である蓋然性が高いため、因果関係を有する（因果関係を有する可能性が高い）と言える。また、保護主義と貿易戦争との組、山火事と空気汚染との組、ヴェルサイユ条約と第２次世界大戦との組等は、一定の因果関係を有すると言える。
【0022】
このような対象間の因果関係は、様々なサービスに利用することができる。例えば、対象をエンティティとし、エンティティ間の因果関係を示すナレッジデータベース（CKB: Causality Knowledge Base）は、例えば、質問に対して回答を出力するＱＡ(Question Answering)サービス、読解、事象予測等に利用することができる。
【0023】
〔１－４．取得処理の概要について〕
ここで、ある対象に関する情報と、他の対象に関する情報とを入力した際に、入力された２つの対象が因果関係を有するか否かを分類するモデル（以下、「分類モデル」と記載する場合がある。）を作成した場合、データサーバ１００が配信するコンテンツを用いて、各対象が因果関係を有するか否かを自動的に推定することができると考えられる。しかしながら、従来技術では、ある文章内に現れる単語が示す対象が因果関係を有するか否かを判定しているに過ぎず、分類モデルの学習に有用な情報を得る手法については、提案されていなかった。
ここで、ある対象に関する情報と、他の対象に関する情報とを入力した際に、入力された２つの対象が因果関係を有するか否かを分類するモデル（以下、「分類モデル」と記載する場合がある。）を作成した場合、データサーバ１００が配信するコンテンツを用いて、各対象が因果関係を有するか否かを自動的に推定することができると考えられる。しかしながら、従来技術では、ある文章内に現れる単語が示す対象が因果関係を有するか否かを判定しているに過ぎず、分類モデルの学習に有用な情報を得る手法については、提案されていなかった。
【0024】
そこで、情報提供装置１０は、以下の取得処理を実行することで、分類モデルの学習に有用な情報を取得する。まず、情報提供装置１０は、第１対象を説明する第１コンテンツから、第１対象と因果関係を有する第２対象を特定する。そして、情報提供装置１０は、第１コンテンツに基づく情報と、第２対象を説明する第２コンテンツに基づく情報との組を、因果関係の有無を分類する分類モデルの学習データとして取得する。
【0025】
例えば、情報提供装置１０は、データサーバ１００が提供するコンテンツから、所謂因果関係を有する対象のコンテンツを学習データとして取得する。より具体的には、情報提供装置１０は、ある第１対象を原因とした場合の結果となる第２対象、若しくは、ある第１対象を結果とした場合の原因となる第２対象を特定し、第１対象を説明するコンテンツと、そのコンテンツと同一言語で第２対象を説明するコンテンツとの組から学習データを取得する。
【0026】
例えば、ある第１対象が第２対象の原因となる場合、第１対象を説明する第１コンテンツには、第２対象が第１対象の結果である旨を示唆する情報が含まれると考えられ、第２対象を説明する第２コンテンツには、第１対象が第２対象の原因である旨を示唆する情報が含まれると考えられる。このため、第１コンテンツに基づく情報と第２コンテンツに基づく情報との組は、入力された２つの情報と対応する２つの対象が因果関係を有するか否かを分類する分類モデルの学習に有用な情報であると考えられる。
【0027】
そこで、情報提供装置１０は、第１対象を説明する第１コンテンツに基づく情報と、第１対象と因果関係を有する第２対象を説明する第２コンテンツに基づく情報との組を学習データとして取得する。この結果、情報提供装置１０は、分類モデルの学習に有用な情報を取得することができる。
【0028】
〔１－５．学習処理および分類処理の概要について〕
また、情報提供装置１０は、上述した取得処理により取得した学習データが有する特徴をモデルに学習させる。例えば、情報提供装置１０は、第１対象を説明する第１コンテンツに基づく情報と、第１対象と因果関係を有する第２対象を説明する第２コンテンツに基づく情報との組を入力した場合に、第１対象と第２対象とが因果関係を有する旨を出力するようにモデルの学習を行う。
また、情報提供装置１０は、上述した取得処理により取得した学習データが有する特徴をモデルに学習させる。例えば、情報提供装置１０は、第１対象を説明する第１コンテンツに基づく情報と、第１対象と因果関係を有する第２対象を説明する第２コンテンツに基づく情報との組を入力した場合に、第１対象と第２対象とが因果関係を有する旨を出力するようにモデルの学習を行う。
【0029】
より具体的には、情報提供装置１０は、取得処理により取得された情報の組を正例とするとともに、因果関係を有しない２つの対象について、各対象を説明するコンテンツに基づいた情報の組を負例とする。そして、情報提供装置１０は、正例を入力した際に、因果関係を有する旨を出力し、負例を入力した際に、因果関係を有しない旨を出力するように、モデルの学習を行う。
【0030】
このような学習が行われた分類モデルは、ある情報の組を入力した際に、その組と対応する対象の組が因果関係を有するか否かを分類することができる。このため、例えば、情報提供装置１０は、データサーバ１００が配信するコンテンツの組を生成し、生成したコンテンツの組を分類モデルに入力することで、各コンテンツと対応する対象の組が因果関係を有するか否かを自動的に判定することができる。
【0031】
また、情報提供装置１０は、利用者から２つの対象が指定された場合に、指定された２つの対象と対応するコンテンツの組を分類モデルに入力し、分類モデルによる分類結果に応じて、指定された２つの対象が因果関係を有するか否かを分類する分類処理を行ってもよい。このような分類処理の結果、情報提供装置１０は、指定された２つの対象が因果関係を有するか否かを精度良く推定することができる。
【0032】
なお、上述した分類モデルは、任意の種別のモデルが採用可能である。例えば、情報提供装置１０は、ＳＶＭ（Support Vector Machine）やＤＮＮ（Deep Neural Network）を分類モデルとして採用してもよい。ここで、ＤＮＮは、ＣＮＮ（Convolutional Neural Network）やＲＮＮ（Recurrent Neural Network）であってもよい。また、ＲＮＮは、ＬＳＴＭ（Long short-term memory）等であってもよい。すなわち、分類モデルは、任意の形式のモデルが採用可能である。また、分類モデルは、例えば、ＣＮＮとＲＮＮとを組み合わせたモデル等、複数のモデルを組み合わせることで実現されるモデルであってもよい。
【0033】
〔１－６．情報提供装置が実行する処理の一例について〕
次に、図１を用いて、情報提供装置１０が実行する処理の流れの一例について説明する。なお、図１に示す処理の流れは、あくまで一例であり、情報提供装置１０は、図１に示す各種の処理を図１に示す順番で実行する必要はない。
次に、図１を用いて、情報提供装置１０が実行する処理の流れの一例について説明する。なお、図１に示す処理の流れは、あくまで一例であり、情報提供装置１０は、図１に示す各種の処理を図１に示す順番で実行する必要はない。
【0034】
まず、情報提供装置１０は、データサーバ１００から各種のコンテンツを収集する（ステップＳ１）。例えば、情報提供装置１０は、ウィキペディア等、対象をそれぞれ異なる言語で説明する複数のコンテンツが登録されたデータサーバ１００から、各対象を説明するコンテンツをそれぞれ個別に収集する。また、情報提供装置１０は、データサーバ１００から、同一の対象を説明する複数のコンテンツであって、それぞれ異なる言語で対象を説明するコンテンツを示す情報を収集する。例えば、情報提供装置１０は、対象データベースに登録されている各種の情報を収集する。
【0035】
続いて、情報提供装置１０は、言語ごとに、因果関係を示すキーワードを用いて、コンテンツが相互の因果関係を示す対象のペアをシード因果関係として特定する（ステップＳ２）。例えば、情報提供装置１０は、対象データベースを参照し、いずれかの対象を第１対象として１つ選択する。続いて、情報提供装置１０は、選択した第１対象の識別子と紐付られた各言語のコンテンツ、すなわち、第１コンテンツを特定する。
【0036】
そして、情報提供装置１０は、特定した第１コンテンツから、予め設定された因果関係を示すキーワードを用いて、第１対象と因果関係を有する第２対象を特定する。例えば、第１対象と第２対象とが因果関係を有している場合、第１コンテンツには、第１対象と第２対象とが因果関係を有する旨の文章が含まれると考えられる。このような文章は、例えば、第１対象を示すテキストと、第２対象を示すテキストと、第１対象と第２対象との間の因果関係を示すテキスト（すなわち、因果関係を有するキーワード）とを含むと考えられ、このような文章においては、第２対象のテキストは、因果関係を示すテキストの目的語として含まれている可能性が高い。そこで、情報提供装置１０は、第１コンテンツに含まれるテキストから予め設定されたキーワードを検索し、キーワードが検出された場合は、形態素解析等の技術を用いて、キーワードの目的語を特定する。そして、情報提供装置１０は、特定した目的語が示す対象を、第１対象と因果関係を有する第２対象として特定する。
【0037】
例えば、情報提供装置１０は、特定した第１コンテンツから、日本語のキーワード「原因」や英語のキーワード「Cause」を検索し、キーワードを検出した場合は、キーワードの目的語を、第１対象の原因を示す第２対象のテキストとして特定してもよい。また、情報提供装置１０は、特定した第１コンテンツから、日本語のキーワード「効果」や英語のキーワード「Effect」を検索し、キーワードを検出した場合は、キーワードの目的語を、第１対象の効果を示す第２対象のテキストとして特定してもよい。また、情報提供装置１０は、各言語のコンテンツについても同様の処理を行う。
【0038】
なお、後述する説明で明らかとなるように、情報提供装置１０が実行する処理において、人手が介在する処理は、このようなキーワードの設定のみとなる。このため、情報提供装置１０は、人手による影響を最小限に抑えた取得処理や学習処理を実現することができる。
【0039】
ここで、ウィキペディア等のコンテンツには、「効果」や「原因」を示すセクションが設けられ、かかるセクションに「効果」や「原因」となる対象が列挙される場合がある。このようなセクションに列挙される対象は、コンテンツと対応する対象と因果関係を有する確度が高いと考えられる。そこで、情報提供装置１０は、第１コンテンツから、第１対象と因果関係を有する他の対象を示す領域を特定し、特定した領域に示される他の対象を第２対象として特定してもよい。
【0040】
例えば、情報提供装置１０は、第１コンテンツがＨＴＭＬ（Hyper Text Markup Language）等のマークアップ言語で記載されている場合、第１コンテンツのタグを解析することにより、第１コンテンツに含まれる各セクションを特定し、特定したセクションのうち、セクションのタイトルに「効果」や「原因」といったキーワードを含むセクションを特定する。そして、情報提供装置１０は、特定したセクションにおいて列挙されている単語や、特定したセクションに含まれる説明等から、第１対象と因果関係を有する対象として説明されている第２対象を特定する。
【0041】
以下、具体的な例を挙げて、情報提供装置１０がシード因果関係を特定する処理の一例について説明する。例えば、情報提供装置１０は、第１対象として「煙草」を選択した場合、「煙草」を説明するコンテンツの中から、因果関係を示すキーワードや、キーワードをタイトルに含むセクションを検索する。例えば、図１に示す例では、情報提供装置１０は、「煙草」を説明するコンテンツの中から、キーワード「効果」を含むセクション（すなわち、第１対象と因果関係を有する他の対象を示す可能性が高いセクション）を検出する。
【0042】
そして、情報提供装置１０は、検出したセクションに含まれるテキストから、「煙草」と因果関係を有する可能性が高い他の対象を特定する。例えば、図１に示す例では、「煙草」を説明するコンテンツに「煙草は肺がんの原因となりえる。」といった文章が含まれている。ここで、この文章における主語は「煙草」であり、目的語は、「肺がん」となり、さらに、この文章は、「煙草」による「効果」を説明するセクションに含まれている。このため、情報提供装置１０は、「煙草」のコンテンツが「肺がん」が「煙草」の「効果」である旨を示す情報を保持する。また、情報提供装置１０は、対象「煙草」を説明する多言語のコンテンツについても同様の処理を行うことで、「煙草」と因果関係を有する他の対象を特定する。
【0043】
また、情報提供装置１０は、第１対象として「肺がん」を選択した場合、「肺がん」を説明するコンテンツの中から、因果関係を示すキーワードや、キーワードをタイトルに含むセクションを検索する。例えば、図１に示す例では、情報提供装置１０は、「肺がん」を説明するコンテンツの中から、キーワード「原因」を含むセクションを検出する。
【0044】
そして、情報提供装置１０は、検出したセクションに含まれるテキストから、「肺がん」と因果関係を有する可能性が高い他の対象を特定する。例えば、図１に示す例では、「肺がん」を説明するコンテンツに「煙草による影響がある。」といった文章が含まれている。ここで、この文章における目的語は、「煙草」となり、さらに、この文章は、「肺がん」の「原因」を説明するセクションに含まれている。このため、情報提供装置１０は、「肺がん」のコンテンツが「煙草」が「肺がん」の「原因」である旨を示す情報を保持する。また、情報提供装置１０は、対象「肺がん」を説明する多言語のコンテンツについても同様の処理を行うことで、「肺がん」と因果関係を有する他の対象を特定する。
【0045】
その後、情報提供装置１０は、同一言語のコンテンツが示す因果関係の突合せを行うことで、シード因果関係を特定する。例えば、情報提供装置１０は、第１対象を説明する日本語のコンテンツにおいて第２対象が第１対象の結果である旨を示し、かつ、第２対象を説明する日本語のコンテンツにおいて第１対象が第２対象の原因である旨を示す場合は、第１対象と第２対象との組をシード因果関係として特定する。このような場合、情報提供装置１０は、第１対象が第２対象の原因であり、第２対象が第１対象の結果である旨を示す情報（例えば、「第１対象、第２対象」や「第１対象→第２対象」といった情報）を、シード因果関係を示す情報として保持する。より具体的には、情報提供装置１０は、「煙草→肺がん」といった情報をシード因果関係を示す情報として保持する。
【0046】
なお、情報提供装置１０は、第１対象を説明する日本語のコンテンツにおいて第２対象が第１対象の原因である旨を示し、かつ、第２対象を説明する日本語のコンテンツにおいて第１対象が第２対象の結果である旨を示す場合も、第１対象と第２対象との組をシード因果関係として特定する。このような場合、情報提供装置１０は、第１対象が第２対象の結果であり、第２対象が第１対象の原因である旨を示す情報を、シード因果関係を示す情報として保持する。例えば、情報提供装置１０は、第１対象が「第２次世界大戦」であり、第２対象が「ヴェルサイユ条約」であり、「ヴェルサイユ条約」が「第２次世界大戦」の原因である旨のキーワードが含まれる場合、「ヴェルサイユ条約→第２次世界大戦」といった情報をシード因果関係を示す情報として保持すればよい。
【0047】
なお、情報提供装置１０は、シード因果関係を特定する際に、各コンテンツのリンク関係を考慮してもよい。例えば、情報提供装置１０は、第１コンテンツからのリンクが設定された他のコンテンツが説明する対象であって、第１対象と因果関係を有する対象を第２対象として特定してもよい。より具体的な例を挙げると、情報提供装置１０は、第１コンテンツにおいて第２対象が第１対象の結果である旨を示し、第２コンテンツにおいて第１対象が第２対象の原因である旨を示すとともに、第１コンテンツにおいて第２コンテンツへのリンクが設定されており、かつ、第２コンテンツにおいて第１コンテンツへのリンクが設定されている場合に、第１対象と第２対象との組をシード因果関係としてもよい。ここで、リンクは、例えば、第１コンテンツに含まれるテキストのうち第２対象を示す文字列に設定されたものであってもよく、関連項目の説明に設定されたものであってもよい。
【0048】
また、情報提供装置１０は、各言語について上述した処理を実行する。この結果、情報提供装置１０は、日本語のみならず、英語、フランス語、ドイツ語等、複数言語のそれぞれについて、同一の対象間（すなわち、エンティティ間）の因果関係を示すシード因果関係を特定することとなる。
【0049】
続いて、情報提供装置１０は、原因となる対象の記事から抽出された結果を示すコンテキストと、結果となる対象の記事から抽出された原因を示すコンテキストとのペアを正例として言語ごとに抽出する（ステップＳ３）。例えば、情報提供装置１０は、第１コンテンツから第２対象を示すコンテキストを抽出し、第２コンテンツから第１対象を示すコンテキストを抽出する。そして、情報提供装置１０は、抽出されたコンテキストの組を正例として取得する。
【0050】
例えば、情報提供装置１０は、第１コンテンツにおいて、第１対象の原因として説明されている対象を第２対象として特定した場合、第１コンテンツにおいて第２対象を示すテキストを、因果関係の原因を示すコンテキストとして抽出し、第２コンテンツにおいて第１対象を示すテキストを、因果関係の結果を示すコンテキストとして抽出する。また、情報提供装置１０は、第１コンテンツにおいて、第１対象の結果として説明されている対象を第２対象として特定した場合、第１コンテンツにおいて第２対象を示すテキストを、因果関係の結果を示すコンテキストとして抽出し、第２コンテンツにおいて第１対象を示すテキストを、因果関係の原因を示すコンテキストとして抽出する。
【0051】
より具体的な例を挙げると、情報提供装置１０は、シード因果関係が「煙草→肺がん」である場合、対象「煙草」を説明するコンテンツから、テキスト「肺がん」を特定する。そして、情報提供装置１０は、特定したテキスト「肺がん」を含む文章や、テキスト「肺がん」から所定の範囲内にある文章を、結果を示すコンテキストとして抽出する。また、情報提供装置１０は、対象「肺がん」を説明するコンテンツから、テキスト「煙草」を特定する。そして、情報提供装置１０は、特定したテキスト「煙草」を含む文章や、テキスト「煙草」から所定の範囲内にある文章を、原因を示すコンテキストとして抽出する。
【0052】
なお、情報提供装置１０は、日本語のみならず、英語やドイツ語等、特定した各シード因果関係について同様の処理を実行することで、各言語のシード因果関係ごとに、学習データを生成する。すなわち、情報提供装置１０は、それぞれ異なる言語で第１対象を説明する複数の第１コンテンツから、第１対象と因果関係を有する第２対象を特定し、言語ごとに、第１コンテンツに基づく情報と、第１コンテンツと同一言語で第２対象を説明する第２コンテンツに基づく情報との組を学習データとして取得することとなる。
【0053】
なお、第１コンテンツや第２コンテンツがマークアップ言語で記載されている場合、このようなマークアップそのものも因果関係を示す指標になりえると考えられる。例えば、「煙草」のコンテンツにおいては、「煙草」を原因とした場合に効果となる「肺がん」のテキストにリンクが設定されていたり、「肺がん」のテキストを強調表示するためのマークアップが設定されている場合がある。そこで、情報提供装置１０は、第１コンテンツや第２コンテンツがマークアップ言語で記載されている場合、テキストのみならず、テキストに付加されている各種のマークアップもコンテキストとして抽出する。
【0054】
ここで、学習データにより学習が行われた分類モデルは、入力された２つのコンテンツが示す２つの対象情報が因果関係を有するか否かの分類を行うこととなる。より具体的には、分類モデルは、入力された２つのコンテンツに含まれるテキストの表現やマークアップの特徴等に基づいて、入力された２つのコンテンツと対応する２つの対象が因果関係を有するか否かの分類を行うものと考えられる。このため、学習データから因果関係を有する対象そのものを示すテキストを除いた場合、分類モデルは、因果関係を示す表現やマークアップの特徴をより正確に学習できるとも考えられる。
【0055】
そこで、情報提供装置１０は、学習データに含まれるテキストのうち、対象そのものを示すテキストを所定のシンボルに変換する。例えば、情報提供装置１０は、シード因果関係が「煙草→肺がん」である場合、「煙草」のコンテンツや「肺がん」のコンテンツから抽出したコンテキストのうち、テキスト「煙草」を「“原因”」といったシンボルに変換し、テキスト「肺がん」を「“効果”」といったシンボルに変換する。すなわち、情報提供装置１０は、各コンテンツに含まれる文字列のうち原因を示す文字列を、原因を示す所定の第１シンボルに変換し、結果を示す文字列を所定の第２シンボルに変換した情報を学習データとする。なお、このような第１シンボルおよび第２シンボルは、コンテンツの言語によらず、任意のシンボルが採用可能である。
【0056】
続いて、情報提供装置１０は、負例として、因果関係を有しない対象の記事から抽出されたコンテキストのペアを、正例と同数生成する（ステップＳ４）。例えば、情報提供装置１０は、第３対象を説明する第３コンテンツに基づく情報と、第３対象と因果関係を有しない第４対象を説明する第４コンテンツに基づく情報との組を負例として取得し、正例と負例とを用いて、モデルの学習を行う。
【0057】
例えば、情報提供装置１０は、任意の第３対象を示す第３コンテンツを選択し、選択した第３コンテンツに含まれる文字列が示す他の対象であって、因果関係を示すキーワードの目的語となっていない対象を第４対象として特定する。また、情報提供装置１０は、特定した第４対象を説明する第４コンテンツに含まれる文字列に、第３対象を示す文字列が含まれ、かつ、第３対象を示す文字列が因果関係を示すキーワードの目的語となっていない場合は、第３対象と第４対象との組を非シード因果関係として特定する。
【0058】
そして、情報提供装置１０は、非シード因果関係として特定した第３対象を説明する第３コンテンツから第４対象を示す文字列を含むコンテキストを抽出し、第４対象を説明する第４コンテンツから第３対象を示す文字列を含むコンテキストを抽出する。そして、情報提供装置１０は、抽出したコンテキストの組を負例とする。
【0059】
例えば、情報提供装置１０は、「癌性疼痛」を説明するコンテンツに、「癌性疼痛」と因果関係を示すキーワードの目的語以外の文字列として文字列「モルヒネ」が含まれ、「モルヒネ」が含まれ、「モルヒネ」を説明するコンテンツに、「モルヒネ」と因果関係を示すキーワードの目的語以外の文字列として文字列「癌性疼痛」が含まれる場合は、「癌性疼痛」と「モルヒネ」との組を非シード因果関係とする。そして、情報提供装置１０は、「癌性疼痛」を説明するコンテンツから「モルヒネ」を含むコンテキストを抽出し、「モルヒネ」を説明するコンテンツから「癌性疼痛」を含むコンテキストを抽出する。そして、情報提供装置１０は、抽出したコンテキストの組を負例とする。
【0060】
なお、情報提供装置１０は、各コンテンツに相互リンクが設定されていることを条件として、各対象を非シード因果関係としてもよい。また、どのような関係性を有する対象を非シード因果関係とするかについては、分類モデルにどのような分類を行わせるかに応じて、任意の条件が採用可能である。例えば、情報提供装置１０は、因果関係以外の所定の関係性を示すキーワードを用いて、シード因果関係を特定する際の同様の処理により、被シード因果関係の特定を行ってもよい。
【0061】
そして、情報提供装置１０は、正例を入力した際に因果関係を有する旨を出力し、負例を入力した際に因果関係を有しない旨を出力するように、モデルの学習を行う（ステップＳ５）。例えば、情報提供装置１０は、バックプロパゲーション等、任意の学習手法を用いて、モデルの学習を行う。なお、情報提供装置１０は、fastText等といった単語の活用形を考慮してテキストの学習を行う技術を用いて、モデルの学習を行ってもよい。また、情報提供装置１０は、モデルのプレトレーニングを行わずともよいが、所定のプレトレーニング用データを用いて、モデルのプレトレーニングを行ってもよい。このような処理の結果、情報提供装置１０は、２つのコンテキストの組が入力された場合に、各コンテキストが示す対象間に因果関係が存在するか否かの分類を行う分類モデルを生成することができる。
【0062】
例えば、情報提供装置１０は、利用者が利用する端末装置２００から判定対象となるコンテンツのペアの指定を受付ける（ステップＳ６）。このような場合、情報提供装置１０は、コンテンツのペアを分類モデルに入力し、因果関係を有するか否かの分類を行う（ステップＳ７）。
【0063】
例えば、情報提供装置１０は、第１対象を示す文字列と第２対象を示す文字列とを受付ける。このような場合、情報提供装置１０は、データサーバ１００から、第１対象を説明するコンテンツ＃１と、第２対象を説明するコンテンツ＃２とを取得する。そして、情報提供装置１０は、コンテンツ＃１とコンテンツ＃２とを分類モデルに入力し、分類モデルによる分類結果を得る。そして、情報提供装置１０は、分類結果を示す情報を端末装置２００に提供する（ステップＳ８）。
【0064】
このように、情報提供装置１０は、種々の対象を説明するコンテンツの中から、因果関係を示すキーワードと、各コンテンツにおける説明の相互性とに基づいて、因果関係を有する２つの対象をシード因果関係として特定する。そして、情報提供装置１０は、シード因果関係を有する２つの対象の各コンテンツに基づく情報を、分類モデルの学習データとして取得する。このような処理の結果、情報提供装置１０は、有用な学習データを自動的に取得することができる。
【0065】
例えば、因果関係を有するか否かの分類を行う分類モデルの学習を行うため、因果関係を示す既存のデータベースを利用するといった手法が考えられる。しかしながら、このように因果関係を示すラベルが付与されているような公知のデータベースは、あまり数がなく、最新の情報が反映されるまでには、時間がかかる。しかしながら、情報提供装置１０は、ウィキペディア等といった一般的に配信されるコンテンツから学習データを自動で取得することができるので、より有用な学習データを取得することができる。また、複数の編集者によって作成若しくは更新が行われるコンテンツにおいては、因果関係が様々な表現で示されることとなるので、情報提供装置１０は、学習データのバリエーションを増大させ、分類モデルの精度を向上させることができる。
【0066】
また、情報提供装置１０は、第１コンテンツに第２対象が原因若しくは結果として説明され、第２コンテンツに第１対象が結果若しくは原因として説明され、かつ、第１コンテンツと第２コンテンツとに相互リンクが設定されている場合に、第１対象と第２対象とをシード因果関係とする。このような処理の結果、情報提供装置１０は、少数ではあるものの、より因果関係を有する可能性が高い２つの対象をシード因果関係として特定することができるので、より因果関係が有する可能性が高い対象のコンテンツに基づいた学習データを取得することができる。この結果、情報提供装置１０は、分類モデルの学習精度を向上させることができる。
【0067】
また、情報提供装置１０は、ある対象に対して複数の言語で説明が行われたコンテンツを用いて、学習データの生成を行う。このような処理の結果、情報提供装置１０は、例えば、冗長な表現を避けるようなコンテンツを用いる場合であっても、各言語ごとに、シード因果関係を特定し、特定したシード因果関係ごとに学習データを生成するので、多言語において共通して現れる因果関係を重要視することができる。換言すると、情報提供装置１０は、多言語において共通して現れる因果関係については、単一言語において現れる因果関係よりも多くの学習データを生成するので、多言語性に基づく信頼性に応じたスコアを、各因果関係に対して付与した場合と同様の学習処理を実現することができる。さらに、情報提供装置１０は、学習データの数を増やすことができるので、カバレッジを向上させることができる。
【0068】
〔１－７．学習処理のバリエーションについて〕
上述した例では、情報提供装置１０は、シード因果関係とした対象のコンテンツから抽出したコンテキストの特徴をモデルに学習させていた。しかしながら、実施形態は、これに限定されるものではない。
上述した例では、情報提供装置１０は、シード因果関係とした対象のコンテンツから抽出したコンテキストの特徴をモデルに学習させていた。しかしながら、実施形態は、これに限定されるものではない。
【0069】
例えば、ウィキペディア等においては、ある対象の原因を列挙したセクションが含まれる場合がある。例えば、対象「肺がん」のコンテンツには、原因として「煙草」、「ラドンガス」、「アスベスト」、「副流煙」等が列挙されている場合がある。このような場合、情報提供装置１０は、コンテンツが説明する対象と、このように原因を列挙したセクションに示される各対象との組をシード因果関係として抽出してもよい。例えば、情報提供装置１０は、「煙草→肺がん」、「ラドンガス→肺がん」、「アスベスト→肺がん」、「副流煙→肺がん」といった、原因として列挙された対象ごとに、シード因果関係を特定してもよい。
【0070】
ここで、ある対象を説明するコンテンツにおいて原因となる対象が列挙される場合、原因となる確度がより高い対象程、先に記載される可能性が高いと考えられる。そこで、情報提供装置１０は、各対象が出現する順序に応じた優先度で、学習を行ってもよい。例えば、情報提供装置１０は、第１コンテンツにおいて、第１対象の原因として説明されている複数の対象のうち、第２対象が出現する順序を特定し、第１コンテンツに基づく情報と、第２コンテンツに基づく情報との組が有する特徴を、第１コンテンツにおいて第２対象が出現する順序に応じた優先度で学習してもよい。
【0071】
例えば、対象「肺がん」のコンテンツのうち、原因を示すセクションにおいて、「煙草」、「ラドンガス」、「アスベスト」、「副流煙」が順に記載されているものとする。このような場合、情報提供装置１０は、シード因果関係「煙草→肺がん」、「ラドンガス→肺がん」、「アスベスト→肺がん」、「副流煙→肺がん」をそれぞれ特定する。また、情報提供装置１０は、各シード因果関係における原因となる対象を示すテキストが、シード因果関係における効果となる対象を説明するコンテンツにおいて出現する順序を特定し、特定した順序をシード因果関係に紐付ける。例えば、情報提供装置１０は、シード因果関係「煙草→肺がん」に対して順序「１」を紐付け、「ラドンガス→肺がん」に対して順序「２」を紐付け、「アスベスト→肺がん」に対して順序「３」を紐付け、「副流煙→肺がん」に対して順序「４」を紐付ける。
【0072】
そして、情報提供装置１０は、各シード因果関係に基づいた学習データの特徴を、各シード因果関係と紐付けた順序に応じた優先度で、モデルに学習させる。例えば、情報提供装置１０は、シード因果関係「煙草→肺がん」から生成した学習データを最も重要な学習データとしてモデルに学習させ、「ラドンガス→肺がん」から生成した学習データを２番目に重要な学習データとしてモデルに学習させる。また、情報提供装置１０は、「アスベスト→肺がん」から生成した学習データを３番目に重要な学習データとしてモデルに学習させ、「副流煙→肺がん」から生成した学習データを４番目に重要な学習データとしてモデルに学習させる。なお、このような優先度を考慮した学習については、重みづけを考慮した各種任意の学習手法が採用可能である。
【0073】
なお、上述した処理と同様に、情報提供装置１０は、第１コンテンツにおいて、第１対象の効果として説明されている複数の対象のうち、第２対象が出現する順序を特定し、第１コンテンツに基づく情報と、第２コンテンツに基づく情報との組が有する特徴を、第１コンテンツにおいて第２対象が出現する順序に応じた優先度で学習してもよい。例えば、情報提供装置１０は、ある第１対象のコンテンツにおいて、効果を列挙したセクションを特定し、特定したセクションにおいて各第２対象が記載された順番に応じた優先度で、第１対象と第２対象との組から生成した学習データを、第２対象が記載された順番に応じた優先度で、モデルに学習させてもよい。
【0074】
〔１－８．コンテンツの収集について〕
上述した例では、情報提供装置１０は、ウィキペディア等、ある対象について、それぞれ異なる言語で対象を説明する複数のコンテンツが存在するサービスから、各コンテンツを収集した。ここで、情報提供装置１０は、ワードネット等、他のサービスにおいて配信されたコンテンツを用いて、上述した各処理を実行してもよい。例えば、情報提供装置１０は、所定のニュースサイトであって、同一の内容をそれぞれ異なる言語で説明するコンテンツを配信するニュースサイト等から、コンテンツを収集してもよい。すなわち、情報提供装置１０は、信頼性が高い収集元からコンテンツの収集を行い、上述した処理を実行するのであれば、任意の収集元からコンテンツを収集してよい。
上述した例では、情報提供装置１０は、ウィキペディア等、ある対象について、それぞれ異なる言語で対象を説明する複数のコンテンツが存在するサービスから、各コンテンツを収集した。ここで、情報提供装置１０は、ワードネット等、他のサービスにおいて配信されたコンテンツを用いて、上述した各処理を実行してもよい。例えば、情報提供装置１０は、所定のニュースサイトであって、同一の内容をそれぞれ異なる言語で説明するコンテンツを配信するニュースサイト等から、コンテンツを収集してもよい。すなわち、情報提供装置１０は、信頼性が高い収集元からコンテンツの収集を行い、上述した処理を実行するのであれば、任意の収集元からコンテンツを収集してよい。
【0075】
〔１－９．採用する言語について〕
ここで、情報提供装置１０は、各言語ごとにシード因果関係を特定し、特定したシード因果関係に基づいた学習データを生成した。ここで、情報提供装置１０は、全ての言語についてシード因果関係を特定する必要はない。例えば、情報提供装置１０は、日本語のコンテンツ間に因果関係を有するか否かを分類する分類モデルを学習する場合、日本語のみについてシード因果関係を特定してもよい。
ここで、情報提供装置１０は、各言語ごとにシード因果関係を特定し、特定したシード因果関係に基づいた学習データを生成した。ここで、情報提供装置１０は、全ての言語についてシード因果関係を特定する必要はない。例えば、情報提供装置１０は、日本語のコンテンツ間に因果関係を有するか否かを分類する分類モデルを学習する場合、日本語のみについてシード因果関係を特定してもよい。
【0076】
また、情報提供装置１０は、カバレッジが高い言語についてのみ、上述した取得処理や学習処理を実行してもよい。例えば、情報提供装置１０は、対象を説明するコンテンツの量が所定の条件を満たす言語で第１対象を説明する複数の第１コンテンツから、第１対象と因果関係を有する第２対象を特定し、言語ごとに、第１コンテンツに基づく情報と、第１コンテンツと同一言語で第２対象を説明する第２コンテンツに基づく情報との組を学習データとして取得してもよい。より具体的な例を挙げると、情報提供装置１０は、英語、ドイツ語、フランス語、スペイン語、イタリア語、ポルトガル語、スエーデン後、デンマーク語、およびポーランド語等、カバレッジが広い言語を取得処理や学習処理の対象としてもよい。また、情報提供装置１０は、例えば、単語がスペースで区切られている言語等、言語解析の容易性に基づいて、処理対象となる言語を決定してもよい。
【0077】
〔２．情報提供装置の構成〕
以下、上記した情報提供装置１０が有する機能構成の一例について説明する。図２は、実施形態に係る情報提供装置の構成例を示す図である。図２に示すように、情報提供装置１０は、通信部２０、記憶部３０、および制御部４０を有する。
以下、上記した情報提供装置１０が有する機能構成の一例について説明する。図２は、実施形態に係る情報提供装置の構成例を示す図である。図２に示すように、情報提供装置１０は、通信部２０、記憶部３０、および制御部４０を有する。
【0078】
通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、データサーバ１００や端末装置２００との間で情報の送受信を行う。
【0079】
記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、コンテンツデータベース３１、対象データベース３２、学習データデータベース３３、および因果関係表現テーブル３４を記憶する。
【0080】
以下、図３～６を用いて、記憶部３０に登録される情報の一例を説明する。コンテンツデータベース３１には、データサーバ１００から収集したコンテンツが登録される。例えば、図３は、実施形態に係るコンテンツデータベースに登録される情報の一例を示す図である。図３に示すように、コンテンツデータベース３１には、「コンテンツＩＤ」、「対象ＩＤ」、「コンテンツデータ」および「言語」といった項目を有する情報が登録される。
【0081】
ここで、「コンテンツＩＤ」とは、コンテンツを識別するための識別子である。また、「対象ＩＤ」とは、対応付けられた「コンテンツＩＤ」が示すコンテンツが説明する対象を識別する識別子である。また、「コンテンツデータ」とは、コンテンツとして配信されるデータであり、例えば、ＨＴＭＬ形式で記載されたウェブコンテンツや画像データ等である。また、「言語」とは、対応付けられられた「コンテンツＩＤ」が示すコンテンツがどの言語のコンテンツであるかを示す情報である。
【0082】
例えば、図３に示す例では、コンテンツデータベース３１には、コンテンツＩＤ「コンテンツＩＤ＃１」、対象ＩＤ「対象＃１」、コンテンツデータ「コンテンツ＃１」および言語「日本語」といった情報が対応付けて登録されている。このような情報は、コンテンツＩＤ「コンテンツＩＤ＃１」が示すコンテンツが、対象ＩＤ「対象＃１」が示す対象を説明するコンテンツであって、「日本語」により作成されたコンテンツであり、そのデータがコンテンツデータ「コンテンツ＃１」である旨を示す。
【0083】
なお、図３に示すように、コンテンツデータベース３１には、同一の対象ＩＤと紐付られたコンテンツであって、それぞれ異なる言語により作成された複数のコンテンツがそれぞれ個別に登録されることとなる。また、図３に示す例では、「コンテンツＩＤ＃１」、「対象＃１」、「コンテンツ＃１」といった概念的な値を記載したが、実際には、コンテンツや対象を識別するための数値や文字列、コンテンツを構成する各種のデータ等が登録されることとなる。また、図３に示す情報以外にも、コンテンツデータベース３１には、各コンテンツに関連する各種の情報が登録されていてよい。
【0084】
対象データベース３２には、対象に関する情報が登録される。例えば、図４は、実施形態に係る対象データベースに登録される情報の一例を示す図である。図４に示すように、対象データベース３２には、「対象ＩＤ」、「対象」、および「コンテンツＩＤ」といった項目を有する情報が登録される。
【0085】
ここで「対象」とは、対象の名称等を示す文字列である。例えば、図４に示す例では、対象データベース３２には、対象ＩＤ「対象＃１」、対象「肺がん」、コンテンツＩＤ「コンテンツＩＤ＃１」、「コンテンツＩＤ＃２」、といった情報が対応付けて登録されている。このような情報は、対象ＩＤ「対象＃１」が示す対象が「肺がん」であり、このような対象「肺がん」を説明するコンテンツとして、コンテンツＩＤ「コンテンツＩＤ＃１」が示すコンテンツと、コンテンツＩＤ「コンテンツＩＤ＃２」が示すコンテンツとが登録されている旨を示す。
【0086】
なお、図４に示す例では、「対象ＩＤ＃１」といった概念的な値を記載したが、実際には、対象を識別するための数値や文字列が登録されることとなる。また、図４に示す情報以外にも、対象データベース３２には、各対象に関連する各種の情報が登録されていてよい。
【0087】
学習データデータベース３３には、取得処理により取得された学習データが登録される。例えば、図５は、実施形態に係る学習データデータベースに登録される情報の一例を示す図である。図５に示すように、学習データデータベース３３には、「学習データＩＤ」、「種別」、「第１コンテキスト」、および「第２コンテキスト」といった項目を有する情報が登録される。
【0088】
ここで「学習データＩＤ」とは、学習データを識別するための識別子である。また、「種別」とは、対応付けられた「学習データＩＤ」が示す学習データが「正例」であるか「負例」であるかを示す情報である。また、「第１コンテキスト」および「第２コンテキスト」とは、学習データとして取得されたコンテキストである。より具体的には、「第１コンテキスト」および「第２コンテキスト」とは、シード因果関係として特定された各対象を説明するコンテンツから抽出されたコンテキストである。
【0089】
例えば、図５に示す例では、学習データデータベース３３には、学習データＩＤ「学習データ＃１」、種別「正例」、第１コンテキスト「第１コンテキスト＃１」、および第２コンテキスト「第２コンテキスト＃２」といった情報が対応付けて登録されている。このような情報は、学習データＩＤ「学習データ＃１」が示す学習データが、「正例」となる学習データであり、「第１コンテキスト＃１」と「第２コンテキスト＃２」との組からなる学習データである旨を示す。
【0090】
なお、図５に示す例では、「学習データＩＤ＃１」や「第１コンテキスト＃１」といった概念的な値を記載したが、実際には、学習データを識別するための数値や文字列、コンテンツからコンテキストとして抽出されたテキストやマークアップ等が登録されることとなる。また、図５に示す情報以外にも、学習データデータベース３３には、学習データに関連する各種の情報が登録されていてよい。
【0091】
因果関係表現テーブル３４には、因果関係を示すキーワードとして予め設定されたキーワードが登録されている。例えば、図６は、実施形態に係る因果関係表現テーブルに登録される情報の一例を示す図である。図６に示すように、因果関係表現テーブル３４には、「検出用語」、「種別」、および「言語」といった情報が対応付けて登録されている。
【0092】
ここで、「検出用語」とは、因果関係を示すキーワードとしてコンテンツから検出を行うキーワードである。また、「種別」とは、対応付けられた検出用語の目的語が原因となるか、結果となるかを示す情報である。また、「言語」とは、対応付けられた検出用語の検出対象となるコンテンツの言語を示す情報である。
【0093】
例えば、図６に示す例では、検出用語「原因」、種別「原因」、言語「日本語」といった情報が対応付けて登録されている。このような情報は、「日本語」のコンテンツから検出されるキーワードとして、検出用語「原因」が登録されており、この「原因」の目的語となる対象が、コンテンツにより説明される対象の「原因」となる対象である旨を示す。なお、図６に示す情報以外にも、因果関係表現テーブル３４には、任意の情報が登録されていてよい。
【0094】
図２に戻り、説明を続ける。制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、情報提供装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。
【0095】
図２に示すように、制御部４０は、収集部４１、特定部４２、抽出部４３、取得部４４、学習部４５、および提供部４６を有する。収集部４１は、各種コンテンツを収集する。例えば、収集部４１は、ウィキペディア等、それぞれ異なる言語で同一の対象を説明する複数のコンテンツを収集し、収集したコンテンツをコンテンツデータベース３１に登録する。また、収集部４１は、ある対象を識別する識別子と、この対象を説明するコンテンツとを紐付けた情報を収集し、対象データベース３２に登録する。
【0096】
特定部４２は、第１対象を説明する第１コンテンツから、第１対象と因果関係を有する第２対象を特定する。例えば、特定部４２は、対象データベース３２を参照し、処理対象となる対象を第１対象として１つ選択する。そして、特定部４２は、選択した第１対象を説明するコンテンツを対象データベース３２から特定し、特定したコンテンツをコンテンツデータベース３１から取得する。すなわち、特定部４２は、第１対象をそれぞれ異なる言語で説明する複数のコンテンツを取得する。そして、特定部４２は、各コンテンツから第１対象と因果関係を有する第２対象を特定する。すなわち、特定部４２は、コンテンツデータベース３１において同一の対象を説明するコンテンツを示す対象データベース３２を用いて、第１対象を説明する複数の第１コンテンツを特定するとともに、特定した複数の第１コンテンツから第２対象を特定する。
【0097】
例えば、特定部４２は、因果関係表現テーブル３４に登録されたキーワード、すなわち、予め設定された因果関係を示すキーワードを用いて、各第１コンテンツから、第１対象と因果関係を有する第２対象を特定する。例えば、特定部４２は、形態素解析等の技術を用いて、キーワードの目的語を特定し、特定した目的語が示す対象を第２対象とする。ここで、特定部４２は、第１対象と因果関係を有する他の対象を示す領域を特定し、特定した領域に示される他の対象を第２対象として特定してもよい。例えば、特定部４２は、第１対象の原因を示すセクションや、第１対象の結果を示すセクションを特定し、特定したセクションにおいて説明されている対象をそれぞれ第２対象として特定してもよい。すなわち、特定部４２は、第１コンテンツにおいて、第１対象の原因として説明されている対象を第２対象として特定してもよく、第１コンテンツにおいて、第１対象の結果として説明されている対象を第２対象として特定してもよい。
【0098】
続いて、特定部４２は、第２対象を説明する第２コンテンツをコンテンツデータベース３１から取得し、第２コンテンツにおいて第２対象と因果関係を有する対象として第１対象が説明されているか否かを判定する。例えば、特定部４２は、第１コンテンツにおいて第２対象が第１対象の原因とされている場合、第２コンテンツにおいて第１対象が第２対象の結果とされているか否かを判定する。より具体的には、特定部４２は、第２コンテンツにおいて第１対象を示す文字列が、結果を示すキーワードの目的語となってるかを判定する。また、例えば、特定部４２は、第１コンテンツにおいて第２対象が第１対象の結果とされている場合、第２コンテンツにおいて第１対象が第２対象の原因とされているか否かを判定する。より具体的には、特定部４２は、第２コンテンツにおいて第１対象を示す文字列が、原因を示すキーワードの目的語となってるかを判定する。すなわち、特定部４２は、第１コンテンツおよび第２コンテンツにおいて、第１対象と第２対象とが因果関係を有する旨が説明されているか否かを判定する。
【0099】
そして、特定部４２は、第１コンテンツおよび第２コンテンツにおいて、第１対象と第２対象とが因果関係を有する旨が説明されている場合は、第１対象と第２対象とをシード因果関係とする。例えば、特定部４２は、第１対象が第２対象の原因である場合は、「第１対象→第２対象」といったシード因果関係を特定する。なお、特定部４２は、各言語ごとに、シード因果関係の特定を行う。また、特定部４２は、共通する第１対象と、複数の第２対象との間の因果関係を示す複数のシード因果関係の特定を行ってもよい。
【0100】
また、特定部４２は、第１コンテンツからのリンクが設定された他のコンテンツが説明する対象であって、第１対象と因果関係を有する対象を第２対象として特定してもよい。例えば、特定部４２は、第１コンテンツおよび第２コンテンツが相互にリンクされている場合に、第１対象と第２対象との組をシード因果関係としてもよい。また、特定部４２は、対象を説明するコンテンツの量が所定の条件を満たす言語、すなわち、カバレッジを確保できる言語を用いて、第１対象を説明する複数の第１コンテンツから、第１対象と因果関係を有する第２対象を特定してもよい。
【0101】
抽出部４３は、第１コンテンツから第２対象を示すコンテキストを抽出し、第２コンテンツから第１対象を示すコンテキストを抽出する。例えば、抽出部４３は、シード因果関係となる第１対象を説明する第１コンテンツから、第２対象を示す文字列を含む所定の範囲のテキストやマークアップ等を、第２対象を示すコンテキストとして抽出する。また、抽出部４３は、シード因果関係となる第２対象を説明する第２コンテンツから、第１対象を示す文字列を含む所定の範囲のテキストやマークアップ等を、第１対象を示すコンテキストとして抽出する。そして、抽出部４３は、抽出した各コンテキストを学習データデータベース３３に正例として登録する。なお、抽出部４３は、第１コンテンツから第２対象のみを示すコンテキストを抽出し、第２コンテンツから第１対象のみを示すコンテキストを抽出してもよい。
【0102】
なお、特定部４２および抽出部４３は、負例となる学習データの生成を行う。例えば、特定部４２は、任意の第３対象および第４対象の組であって、第３対象と因果関係を有する対象以外の対象として第４対象の説明が第３コンテンツに含まれており、第４対象と因果関係を有する対象以外の対象として第３対象の説明が第４コンテンツに含まれている第３対象および第４対象の組を非シード因果関係として特定する。なお、特定部４２は、第３コンテンツと第４コンテンツとに相互リンクが設定されている場合に、第３対象および第４対象の組を非シード因果関係として特定してもよい。
【0103】
このような場合、抽出部４３は、非シード因果関係となる第３対象を説明する第３コンテンツから、第４対象を示す文字列を含む所定の範囲のテキストやマークアップ等を、第４対象を示すコンテキストとして抽出する。また、抽出部４３は、非シード因果関係となる第４対象を説明する第４コンテンツから、第３対象を示す文字列を含む所定の範囲のテキストやマークアップ等を、第３対象を示すコンテキストとして抽出する。そして、抽出部４３は、抽出したコンテキストの組を負例として学習データデータベース３３に登録する。
【0104】
取得部４４は、第１コンテンツに基づく情報と、第２対象を説明する第２コンテンツに基づく情報との組を、因果関係の有無を分類する分類モデルの学習データとして取得する。例えば、取得部４４は、学習データデータベース３３に登録されたコンテキストの組を学習データとして取得する。
【0105】
例えば、取得部４４は、第１対象が第２対象の原因となる場合、第２コンテンツを因果関係の結果を説明するコンテンツとし、第１コンテンツを因果関係の原因を説明するコンテンツとした学習データを学習データとして取得する。また、取得部４４は、第１対象が第２対象の結果となる場合、第２コンテンツを因果関係の原因を説明するコンテンツとし、第１コンテンツを因果関係の結果を説明するコンテンツとした学習データを取得する。
【0106】
ここで、取得部４４は、第１コンテンツおよび第２コンテンツに含まれる文字列のうち、因果関係の原因となる対象を示す文字列を原因を示す所定の第１シンボルに変換し、因果関係の結果となる対象を示す文字列を結果を示す所定の第２シンボルに変換した情報を学習データとして取得する。例えば、取得部４４は、第１対象が原因であり、第２対象が結果である場合、第２コンテンツから抽出されたコンテキストに含まれる文字列のうち、第１対象を示す文字列を「“原因”」といった原因を示すシンボルに変換し、第１コンテンツから抽出されたコンテキストに含まれる文字列のうち、第２対象を示す文字列を「“結果”」といった原因を示すシンボルに変換してもよい。また、取得部４４は、第１対象が結果であり、第２対象が原因である場合、第２コンテンツから抽出されたコンテキストに含まれる文字列のうち、第１対象を示す文字列を「“結果”」といった結果を示すシンボルに変換し、第１コンテンツから抽出されたコンテキストに含まれる文字列のうち、第２対象を示す文字列を「“原因”」といった原因を示すシンボルに変換してもよい。
【0107】
なお、上述した処理の結果、取得部４４は、同一言語のコンテンツから抽出されたコンテキストを学習データとすることとなる。すなわち、取得部４４は、言語ごとに、第１コンテンツに基づく情報と、第１コンテンツと同一言語で第２対象を説明する第２コンテンツに基づく情報との組を学習データとして取得することとなる。
【0108】
なお、取得部４４は、シード因果関係に基づく学習データを正例として取得するとともに、第３対象を説明する第３コンテンツに基づく情報と、第３対象と因果関係を有しない第４対象を説明する第４コンテンツに基づく情報との組を負例として取得する。例えば、取得部４４は、正例と同数の負例を学習データデータベース３３から取得する。
【0109】
学習部４５は、取得した学習データが有する特徴をモデルに学習させる。例えば、学習部４５は、正例を入力した際に、各対象が因果関係を有する旨の分類結果を出力し、負例を入力した際に、各対象が因果関係を有しない旨の分類結果を出力するように、モデルの学習を行う。
【0110】
なお、学習部４５は、各学習データが有する特徴を、学習データの元となるシード因果関係に含まれる対象がコンテンツにおいて出現する順序に応じた優先度で学習してもよい。例えば、特定部４２は、第１コンテンツにおいて、第１対象の原因として説明されている複数の対象のうち、第２対象が出現する順序を特定する。そして、学習部４５は、第１コンテンツに基づく情報と、第２コンテンツに基づく情報との組が有する特徴を、第１コンテンツにおいて第２対象が出現する順序に応じた優先度で学習してもよい。
【0111】
提供部４６は、分類結果等の各種情報を提供する。例えば、提供部４６は、因果関係を有するか否かの分類対象となる対象の組を端末装置２００から受付ける。このような場合、提供部４６は、各対象を説明するコンテンツをコンテンツデータベース３１から取得し、取得したコンテンツに含まれる各種のコンテキストを学習済の分類モデルに入力する。そして、提供部４６は、分類モデルの出力、すなわち、対象が因果関係を有するか否かの分類結果を、端末装置２００へと提供する。
【0112】
なお、提供部４６は、例えば、各種ナレッジデータベースの作成を行う外部サーバや、モデルの学習を行う学習サーバ等に対し、学習データデータベース３３に登録された情報、すなわち、学習データを出力してもよい。
【0113】
〔３．情報提供装置が実行する処理の流れの一例〕
続いて、図７を用いて、情報提供装置１０が実行する処理の流れについて説明する。図７は、実施形態に係る情報提供装置が実行する処理の流れの一例を示すフローチャートである。
続いて、図７を用いて、情報提供装置１０が実行する処理の流れについて説明する。図７は、実施形態に係る情報提供装置が実行する処理の流れの一例を示すフローチャートである。
【0114】
まず、情報提供装置１０は、コンテンツ等の各種記事から原因または結果を示すキーワードを検出する（ステップＳ１０１）。このような場合、情報提供装置１０は、第１対象の記事において結果とされる第２対象を特定し、第２対象の記事において第１対象が原因とされている場合は、第１対象と第２対象とをシード因果関係とする（ステップＳ１０２）。そして、情報提供装置１０は、シード因果関係の第１対象の記事から第２対象のコンテキストを抽出し、第２対象の記事から第１対象のコンテキストを抽出する（ステップＳ１０３）。
【0115】
そして、情報提供装置１０は、抽出したコンテキストの組を正例の学習データとする（ステップＳ１０４）。また、情報提供装置１０は、正例の学習データと同数の不例の学習データを生成する（ステップＳ１０５）。そして、情報提供装置１０は、生成した学習データを用いて、入力された記事のペアが、因果関係を有する対象の記事のペアであるか否かを分類するモデルを学習し（ステップＳ１０６）、処理を終了する。
【0116】
〔４．実験結果について〕
続いて、上述した取得処理および学習処理の効果の一例として、実施に取得処理および学習処理を行った際における分類モデルの精度の一例について説明する。
続いて、上述した取得処理および学習処理の効果の一例として、実施に取得処理および学習処理を行った際における分類モデルの精度の一例について説明する。
【0117】
実験においては、ウィキペディアの記事をコンテンツとし、コンテンツから因果関係を示すセクションを特定し、特定したセクションから因果関係を有する対象を特定し、特定した対象とコンテンツが説明する対象のシード因果関係から生成した１５２４個の学習データを正例とした。また、非シード因果関係から生成した１５２４個の学習データを負例とした。そして、取得した３０４８個の学習データを用いて、分類モデルの学習を行った。以下の説明では、このような学習が行われた分類モデルによる分類結果をＰＲＯＰと記載する。
【0118】
また、実験においては、ＰＲＯＰとの比較対象として、ＳＥＣＴＩＯＮ、ＩＮＦＯＢＯＳ、ＲＥＬＡＴＥＤ、およびＯＲＡＣＬＥ ＲＥといった手法を準備し、各手法におけるアキュラシー（Ａｃｃ：正確性）、プレシジョン（Ｐｒｅｃ：適合率）、リコール（Ｒｅｃ：再現率）、および適合率と再現率との調和平均であるＦ１値を算出した。
【0119】
ここで、ＳＥＣＴＩＯＮでは、上述した処理により抽出されたシード因果関係を抽出した。そして、抽出したシード因果関係に含まれる各対象が因果関係を有するか否かの正確性、適合率、再現率およびＦ１値をＳＥＣＴＩＯＮの各値とした。
【0120】
また、ＩＮＦＯＢＯＸでは、ウィキペディアの記事に含まれるインフォボックスから、記事が説明する対象と因果関係を有する他の対象を特定した。そして、記事が説明する対象と特定した対象とが因果関係を有するか否かの正確性、適合率、再現率およびＦ１値をＩＮＦＯＢＯＸの各値とした。
【0121】
また、ＲＥＬＡＴＥＤでは、１から以下の式（１）で示されるスコアｓｒ（ａ，ｂ）減算した値を距離計量として算出し、算出した距離計量が所定の条件を満たす２つの対象を因果関係を有する対象とした。そして、対象が因果関係を有するか否かの正確性、適合率、再現率およびＦ１値をＲＥＬＡＴＥＤの各値とした。ここで、式（１）におけるａおよびｂは、処理対象となる記事を示す。また、Ａは、記事ａとリンクが設定された全ての記事の集合であり、Ｂは、記事ｂとリンクが設定された全ての記事の集合を示す。また、Ｗは、ウィキペディアに存在する全ての記事を示す。
【0122】
【数1】
【0123】
また、ＯＲＡＣＬＥ ＲＥでは、１つのセンテンス内で因果関係を有すると示された２つの対象を因果関係を有する対象とし、対象が因果関係を有するか否かの正確性、適合率、再現率およびＦ１値をＯＲＡＣＬＥ ＲＥの各値とした。
【0124】
図８は、実施形態に係る取得処理および学習処理の実験結果の一例を示す第１の図である。図８に示すように、ＳＥＣＴＩＯＮの適合率は、１００パーセントとなっており、上述したシード因果関係を特定する処理を行うことで、適切な因果関係を自動的に抽出できることが示された。また、図８に示すように、ＰＲＯＰにおいては、最も良いＦ１値を得ることができた。
【0125】
続いて、多言語性によるカバレッジおよび正確性の変化を比較するため、上述した取得処理および学習処理の対象として、英語、ドイツ語、フランス語、スペイン語の各組み合わせについて実行した。例えば、英語、ドイツ語、フランス語、およびスペイン語の全てを対象としたＰＲＯＰen,de,fr,es、スペイン語を除いたＰＲＯＰen,de,fr、フランス語を除いたＰＲＯＰen,de,es、ドイツ語を除いたＰＲＯＰen,fr,es、英語とドイツ語のみを対象としたＰＲＯＰen,de、英語とフランス語のみを対象としたＰＲＯＰen,fr、英語とスペイン語のみを対象としたＰＲＯＰen,es、および英語のみを対象としたＰＲＯＰenのそれぞれについて、正確性、適合率、再現率、およびＦ１値を算出した。
【0126】
図９は、実施形態に係る取得処理および学習処理の実験結果の一例を示す第２の図である。なお、図９に示す例では、各手法のＦ１値に、ＰＲＯＰen,de,fr,es、およびＰＲＯＰenと統計的に有意な差がある結果にひし形若しくはアスタリスクのマークを付与した。図９に示すように、対象とする言語を変化させた場合、処理対象となる記事の数（換言すると、カバレッジ）が向上するにつれて、分類結果のＦ１値が向上することが分かった。
【0127】
また、ＰＲＯＰにより分類された分類結果から１００個のサンプルを抽出し、検証を行った所、多数のサンプルについては、英語等の検証が容易な記事であった。すなわち、上述したＰＲＯＰによる分類結果は、対応するコンテンツの文章等を参照することで、正しい分類結果であるかを容易に識別することができる。このため、情報提供装置１０は、学習データや学習結果となる分類モデルの検証可能性を確保することができる。
【0128】
また、ＰＲＯＰにより因果関係を有すると判定された対象のペアは、多くの場合に、１つ以上の言語で記事がウィキペデイア上に作成されていた。このため、情報提供装置１０は、分類結果の翻訳可能性を向上させることができる。
【0129】
また、ウィキペディア等、ネットワーク上に存在する各種のコンテンツは、Ｆｒｅｅｂａｓｅ、ＢａｂｅｌＮｅｔ、ＩＳＢＮ－１３、ＭｅＳＨ、ＤＯＩ、ＦｉｓｈＢａｓｅ等、各種のナレッジデータベースと紐付けられている場合がある。ＰＲＯＰにより因果関係を有すると判定された対象のペアの記事のうち、過半数は、何かしら外部のナレッジデータと紐付られていた。このため、情報提供装置１０は、学習データや分類モデルと各種ナレッジデータベースの接続性を向上させることができる。
【0130】
〔５．変形例〕
上記では、情報提供装置１０による処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、情報提供装置１０が実行する処理のバリエーションについて説明する。
上記では、情報提供装置１０による処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、情報提供装置１０が実行する処理のバリエーションについて説明する。
【0131】
〔５－１．装置構成〕
情報提供装置１０は、自装置で各種情報を管理せずともよい。例えば、記憶部３０に登録された各データベース３１～３３や因果関係表現テーブル３４は、外部のストレージサーバに保持されていてもよい。また、情報提供装置１０は、図２に示す特定部４２、抽出部４３、および取得部４４を有する取得サーバと、学習部４５および提供部４６を有する学習サーバとにより実現されてもよい。
情報提供装置１０は、自装置で各種情報を管理せずともよい。例えば、記憶部３０に登録された各データベース３１～３３や因果関係表現テーブル３４は、外部のストレージサーバに保持されていてもよい。また、情報提供装置１０は、図２に示す特定部４２、抽出部４３、および取得部４４を有する取得サーバと、学習部４５および提供部４６を有する学習サーバとにより実現されてもよい。
【0132】
〔５－２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0133】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0134】
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0135】
〔５－３．プログラム〕
また、上述した実施形態に係る情報提供装置１０は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。図１０は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。
また、上述した実施形態に係る情報提供装置１０は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。図１０は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。
【0136】
演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等により実現される。
【0137】
出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。
【0138】
なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。
【0139】
ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。
【0140】
演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。
【0141】
例えば、コンピュータ１０００が情報提供装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。
【0142】
〔６．効果〕
上述したように、情報提供装置１０は、第１対象を説明する第１コンテンツから、第１対象と因果関係を有する第２対象を特定し、第１コンテンツに基づく情報と、第２対象を説明する第２コンテンツに基づく情報との組を、因果関係の有無を分類する分類モデルの学習データとして取得する。このため、情報提供装置１０は、因果関係の有無を分類する分類モデルの学習に有用な情報を自動的に取得することができる。
上述したように、情報提供装置１０は、第１対象を説明する第１コンテンツから、第１対象と因果関係を有する第２対象を特定し、第１コンテンツに基づく情報と、第２対象を説明する第２コンテンツに基づく情報との組を、因果関係の有無を分類する分類モデルの学習データとして取得する。このため、情報提供装置１０は、因果関係の有無を分類する分類モデルの学習に有用な情報を自動的に取得することができる。
【0143】
また、情報提供装置１０は、予め設定された因果関係を示すキーワードを用いて、第１コンテンツから、第１対象と因果関係を有する第２対象を特定する。また、情報提供装置１０は、第１コンテンツから、第１対象と因果関係を有する他の対象を示す領域を特定し、特定した領域に示される他の対象を第２対象として特定する。例えば、情報提供装置１０は、第１コンテンツのうち原因や結果を示すセクションから、第１対象と因果関係を有する可能性が高い対象を第２対象とする。また、情報提供装置１０は、第１コンテンツからのリンクが設定された他のコンテンツが説明する対象であって、第１対象と因果関係を有する対象を第２対象として特定する。
【0144】
上述した各処理の結果、情報提供装置１０は、因果関係を有する可能性が高い対象のペアを学習データの元となるペアとして特定することができる。
【0145】
また、情報提供装置１０は、第１コンテンツから第２対象を示すコンテキストを抽出し、第２コンテンツから第１対象を示すコンテキストを抽出する。そして、情報提供装置１０は、抽出されたコンテキストの組を学習データとして取得する。このため、情報提供装置１０は、対象を説明するコンテンツから、対象のペアが因果関係を有するか否かを精度良く分類可能な分類モデルの学習を実現できる。
【0146】
また、情報提供装置１０は、第１コンテンツにおいて、第１対象の原因として説明されている対象を第２対象として特定し、第２コンテンツを因果関係の原因を説明するコンテンツとし、第１コンテンツを因果関係の結果を説明するコンテンツとした組を学習データとして取得する。また、情報提供装置１０は、第１コンテンツにおいて、第１対象の結果として説明されている対象を第２対象として特定し、第２コンテンツを因果関係の結果を説明するコンテンツとし、第１コンテンツを因果関係の原因を説明するコンテンツとした組を学習データとして取得する。このため、情報提供装置１０は、対象のペアが因果関係を有するか否かを精度良く分類可能な分類モデルの学習を実現できる。
【0147】
また、情報提供装置１０は、第１コンテンツおよび第２コンテンツに含まれる文字列のうち、因果関係の原因となる対象を示す文字列を原因を示す所定の第１シンボルに変換し、因果関係の結果となる対象を示す文字列を結果を示す所定の第２シンボルに変換した情報を学習データとして取得する。この結果、情報提供装置１０は、各対象が因果関係を有するか否かを、各対象を説明するコンテキストの表現の特徴に基づいて分類する分類モデルの学習を実現できる。
【0148】
また、情報提供装置１０は、それぞれ異なる言語で第１対象を説明する複数の第１コンテンツから、第１対象と因果関係を有する第２対象を特定し、言語ごとに、第１コンテンツに基づく情報と、第１コンテンツと同一言語で第２対象を説明する第２コンテンツに基づく情報との組を学習データとして取得する。また、情報提供装置１０は、対象を説明するコンテンツの量が所定の条件を満たす言語で第１対象を説明する複数の第１コンテンツから、第１対象と因果関係を有する第２対象を特定し、言語ごとに、第１コンテンツに基づく情報と、第１コンテンツと同一言語で第２対象を説明する第２コンテンツに基づく情報との組を学習データとして取得する。また、情報提供装置１０は、対象をそれぞれ異なる言語で説明する複数のコンテンツが登録された第１データベースにおいて同一の対象を説明するコンテンツを示す第２データベースを用いて、第１対象を説明する複数の第１コンテンツを特定するとともに、特定した複数の第１コンテンツから第２対象を特定する。
【0149】
上述した各種の処理により、情報提供装置１０は、学習データのカバレッジを改善することができるので、学習データを用いた学習が行われる分類モデルの精度を向上させることができる。
【0150】
また、情報提供装置１０は、学習データが有する特徴をモデルに学習させる。例えば、情報提供装置１０は、第１コンテンツに基づく情報と、第２コンテンツに基づく情報との組を正例として取得するとともに、第３対象を説明する第３コンテンツに基づく情報と、第３対象と因果関係を有しない第４対象を説明する第４コンテンツに基づく情報との組を負例として取得し、正例と負例とを用いて、モデルの学習を行う。このため、情報提供装置１０は、精度良く対象が因果関係を有するか否かを分類可能な分類モデルの学習を実現できる。
【0151】
また、情報提供装置１０は、第１コンテンツにおいて、第１対象の原因として説明されている複数の対象のうち、第２対象が出現する順序を特定し、第１コンテンツに基づく情報と、第２コンテンツに基づく情報との組が有する特徴を、第１コンテンツにおいて第２対象が出現する順序に応じた優先度で学習する。このため、情報提供装置１０は、分類モデルの分類精度を向上させることができる。
【0152】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0153】
また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、付与部は、特定手段や特定回路に読み替えることができる。
【符号の説明】
【0154】
１０ 情報提供装置
２０ 通信部
３０ 記憶部
３１ コンテンツデータベース
３２ 対象データベース
３３ 学習データデータベース
３４ 因果関係表現テーブル
４０ 制御部
４１ 収集部
４２ 特定部
４３ 抽出部
４４ 取得部
４５ 学習部
４６ 提供部
１００ データサーバ
２００ 端末装置
２０ 通信部
３０ 記憶部
３１ コンテンツデータベース
３２ 対象データベース
３３ 学習データデータベース
３４ 因果関係表現テーブル
４０ 制御部
４１ 収集部
４２ 特定部
４３ 抽出部
４４ 取得部
４５ 学習部
４６ 提供部
１００ データサーバ
２００ 端末装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】