(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022129515
(43)【公開日】2022-09-06
(54)【発明の名称】知識モデル作成支援装置
(51)【国際特許分類】
G06N 5/02 20060101AFI20220830BHJP
G06F 16/90 20190101ALI20220830BHJP
G06F 40/284 20200101ALI20220830BHJP
【FI】
G06N5/02 150
G06F16/90 100
G06F40/284
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021028205
(22)【出願日】2021-02-25
(71)【出願人】
【識別番号】000001247
【氏名又は名称】株式会社ジェイテクト
(74)【代理人】
【識別番号】110000648
【氏名又は名称】特許業務法人あいち国際特許事務所
(74)【代理人】
【識別番号】110000604
【氏名又は名称】弁理士法人 共立特許事務所
(71)【出願人】
【識別番号】592032636
【氏名又は名称】学校法人トヨタ学園
(74)【代理人】
【識別番号】110000604
【氏名又は名称】弁理士法人 共立特許事務所
(72)【発明者】
【氏名】佐々木 裕
(72)【発明者】
【氏名】稲熊 陸
(72)【発明者】
【氏名】小島 大
(72)【発明者】
【氏名】酒井 隼樹
(72)【発明者】
【氏名】東 孝幸
(72)【発明者】
【氏名】佐々木 雄二
【テーマコード(参考)】
5B091
5B175
【Fターム(参考)】
5B091AA15
5B091AB08
5B091CA01
5B091CC04
5B091EA01
5B175DA01
5B175EA01
5B175FB04
(57)【要約】
【課題】知識モデルを容易に作成することができる知識モデル作成支援装置を提供する。
【解決手段】知識モデル作成支援装置1は、用語-関係性抽出モデルを用いて文書データから複数の用語及び複数の用語の関係性を抽出することにより用語-関係性データベース3を作成する用語-関係性データベース作成部2を備える。用語-関係性抽出モデルは、文書データを取得する文書データ取得部11と、文書データより用語の抽出を行う用語抽出部13と、2用語間の関係性を導くトリガワードを記憶するトリガワード記憶部15と、文書データにトリガワードが含まれる場合、用語抽出部13により抽出された2つの用語の関係性をトリガワードに基づいて抽出する関係性抽出部17とを備える。
【選択図】
図5
【特許請求の範囲】
【請求項1】
用語により定義された複数の因子と前記因子同士の関係性情報とにより構成された知識モデルの作成を支援する装置であって、
複数の用語と前記複数の用語の関係性とを含む用語-関係性データベースと、
用語-関係性抽出モデルを用いて文書データから前記用語及び前記関係性を抽出することにより、前記用語-関係性データベースを作成する用語-関係性データベース作成部と、
前記用語-関係性データベースに基づいて前記知識モデルを作成する知識モデル作成部と、
を備え、
前記用語-関係性抽出モデルは、
前記文書データを取得する文書データ取得部と、
前記文書データより用語の抽出を行う用語抽出部と、
2用語間の関係性を導くトリガワードを記憶するトリガワード記憶部と、
前記文書データに前記トリガワードが含まれる場合、前記用語抽出部により抽出された2つの用語の関係性を前記トリガワードに基づいて抽出する関係性抽出部と、
を備える、知識モデル作成支援装置。
【請求項2】
前記トリガワードは、物理量を表す用語の変化を表すキーワードである、請求項1に記載の知識モデル作成支援装置。
【請求項3】
前記用語抽出部は、前記文書データより、複数の内包用語と複数の前記内包用語を結合した入れ子外部用語とにより構成される入れ子構造を考慮した用語の抽出を行う、請求項1又は2に記載の知識モデル作成支援装置。
【請求項4】
前記関係性抽出部は、前記文書データに前記入れ子構造が含まれる場合、前記入れ子構造における前記入れ子外部用語を関係性抽出対象とし、前記内包用語を関係性抽出対象としない、請求項3に記載の知識モデル作成支援装置。
【請求項5】
前記用語-関係性抽出モデルは、さらに、
前記文書データ取得部により取得された前記文書データを構成する各トークンに基づいて前記文書データの特徴をベクトルにて表現した特徴表現を生成する特徴表現生成部を備え、
前記用語抽出部及び前記関係性抽出部は、前記特徴表現生成部により生成された前記特徴表現を共有して、前記用語の抽出及び前記関係性の抽出を行う、請求項1-4の何れか1項に記載の知識モデル作成支援装置。
【請求項6】
前記用語-関係性抽出モデルは、
学習フェーズとして、前記用語抽出部により前記用語の抽出において発生する用語抽出損失と前記関係性抽出部により前記関係性の抽出において発生する関係性抽出損失とに基づいて、前記特徴表現生成部における前記特徴表現の生成パラメータを更新するマルチタスク学習処理により学習される、請求項5に記載の知識モデル作成支援装置。
【請求項7】
前記用語-関係性抽出モデルは、
第一学習フェーズとして、前記用語抽出損失に基づいて、前記生成パラメータを更新するシングルタスク学習処理により学習し、
前記第一学習フェーズに次いで、第二学習フェーズとして、前記マルチタスク学習処理により学習する、請求項6に記載の知識モデル作成支援装置。
【請求項8】
前記知識モデル作成支援装置は、
前記用語-関係性抽出モデルを用いて作成された前記用語-関係性データベースである第一データベースと、
前記用語-関係性抽出モデルとは異なるモデルを用いて作成され、少なくとも複数の用語についての関係性を含む第二データベースと、
を備え、
前記知識モデル作成部は、
前記第一データベース及び前記第二データベースに基づいて前記知識モデルを作成する、請求項1-7の何れか1項に記載の知識モデル作成支援装置。
【請求項9】
前記知識モデル作成部は、
描画可能な描画GUIウィンドウにおいて、前記因子を表すノード図形と前記因子同士の関係性を表すリンク図形とにより構成される知識ネットワーク図を描画し、
前記知識ネットワーク図が描画される際に、前記用語-関係性データベースに基づいて着目因子に対して関係性を有する用語の前記ノード図形の配置候補を表示する、前記用語-関係性データベースに基づいて着目因子に対して関係性を有する用語を因子候補として表示する、前記用語-関係性データベースに基づいて着目因子に対して関係性を有しないリンク図形を表示する、の少なくとも1つを行う、請求項1-8の何れか1項に記載の知識モデル作成支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、知識モデル作成支援装置に関するものである。
【背景技術】
【0002】
特許文献1には、工学、医学、薬学、農学、生物学等の諸分野における熟練者による知識を記述した知識モデルの構築システムが記載されている。知識モデルは、当該分野のキーワードとなる用語を因子として、因子をネットワーク形態で相互接続することによって当該分野の用語とその関係性とを表現したものである。特許文献2には、機械加工分野における知識モデルに関する記載がされている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2018-147351号公報
【特許文献2】特開2020-049606号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
作業者は、知識モデルの作成において、因子を定義する用語を抽出した上で、当該用語同士の関係性を把握する必要がある。しかし、用語の抽出、抽出した用語同士の関係性の把握は、人手による設定、特に熟練者による設定が必要であるため、知識モデルの作成が容易ではない。
【0005】
本発明は、知識モデルを容易に作成することができる知識モデル作成支援装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
知識モデル作成支援装置は、用語により定義された複数の因子と因子同士の関係性情報とにより構成された知識モデルの作成を支援する装置であって、複数の用語と複数の用語の関係性とを含む用語-関係性データベースと、用語-関係性抽出モデルを用いて文書データから用語及び関係性を抽出することにより、用語-関係性データベースを作成する用語-関係性データベース作成部と、用語-関係性データベースに基づいて知識モデルを作成する知識モデル作成部とを備える。
【0007】
用語-関係性抽出モデルは、文書データを取得する文書データ取得部と、文書データより用語の抽出を行う用語抽出部と、2用語間の関係性を導くトリガワードを記憶するトリガワード記憶部と、文書データにトリガワードが含まれる場合、用語抽出部により抽出された2つの用語の関係性をトリガワードに基づいて抽出する関係性抽出部とを備える。
【0008】
上記知識モデル作成支援装置によれば、文書データから用語及び用語同士の関係性を抽出する用語-関係性抽出モデルを用いて、用語-関係性データベースを作成する。まず、用語-関係性抽出モデルは、文書データから用語を自動的に抽出する。さらに、用語-関係性抽出モデルは、2用語間の関係性を導くトリガワードを予め記憶しておき、文書データに当該トリガワードが含まれる場合に、2つの用語の関係性をトリガワードに基づいて抽出する。このように、用語-関係性抽出モデルは、文書データから用語を自動的に抽出することができると共に、予め設定されたトリガワードを考慮して、文書データに含まれる用語同士の関係性を自動的に抽出することができる。従って、人手によらず、用語-関係性データベースを作成することができる。そして、用語-関係性データベースが作成できれば、用語-関係性データベースを参照して知識モデルを作成することができるため、知識モデルを容易に作成することができる。
【図面の簡単な説明】
【0009】
【
図2】知識モデル作成支援装置の全体構成を示す機能ブロック図である。
【
図3】知識モデル作成支援装置を構成する第一データベース(用語-関係性データベース)を示す図である。
【
図4】
図3に示す第一データベースにおける関係性に関する関係ラベルを説明する図である。
【
図5】知識モデル作成支援装置を構成する第一データベース作成部における用語-関係性抽出モデルを示す機能ブロック図である。
【
図6】用語抽出部にて適用する入れ子構造を説明する図である。
【
図7】トリガワード記憶部に記憶されるトリガワードを示す図である。
【
図8】用語-関係性抽出モデルの詳細構成を示す図である。
【
図9】第一学習フェーズにおける用語-関係性抽出モデルの機能ブロック図である。
【
図10】第二学習フェーズにおける用語-関係性抽出モデルの機能ブロック図である。
【
図11】知識モデル作成支援装置を構成する知識モデル作成部の適用例を示す描画GUIウィンドウを示す図である。
【
図12】知識モデル作成部の他の適用例を示す描画GUIウィンドウを示す図である。
【
図13】知識モデル作成部の他の適用例を示す描画GUIウィンドウを示す図である。
【
図14】知識モデル作成部の他の適用例を示す描画GUIウィンドウを示す図である。
【発明を実施するための形態】
【0010】
(1.知識モデルの概要)
知識モデルは、任意分野の情報に係る知識を所定の形式で記述して格納するものである。即ち、知識モデルは、主として、当該分野の用語により定義された複数の因子と、因子同士の関係性情報とにより構成される。例えば、知識モデルは、技術分野に関する知識とする。
【0011】
知識モデルは、例えば、因子に関する情報を有するデータと、関係性情報を有するデータとにより表される。知識モデルは、概念としては、複数の因子がネットワーク形態で相互に繋がれることによって因子同士の関係性が表現される。つまり、知識モデルは、各種技術分野における知識(ノウハウを含む)を形式知として格納しており、更新も可能である。
【0012】
技術分野としては、工学、医学、薬学、農学、生物学等の諸分野を対象とすることができる。特に、技術分野には、工学分野に含まれる機械加工分野を挙げることができる。ここで、機械加工分野には、例えば、切削加工や研削加工が含まれる。又、知識モデルは、特に、各技術分野における熟練者による技術情報に関する知識を記述することが有用である。
【0013】
例えば、機械加工分野において、作業者は、工作物の材質、工具の材質、加工精度、加工サイクルタイム等の種々の情報を考慮して、加工条件としての切削速度、切込量等を決定する。この場合、作業者が、工作物の材質、工具の材質、加工精度、加工サイクルタイム等の種々の情報を入力情報として、加工条件としての切削速度、切込量等を決定するに際して、作業者の思考過程をモデル化したものが、知識モデルである。
【0014】
つまり、知識モデルは、工作物の材質、工具の材質、加工要件(加工精度や加工サイクルタイム等)、切削速度、切込量等に加えて、思考過程において登場する技術要素がそれぞれ因子として定義され、因子同士の関係性が定義されている。
【0015】
知識モデルは、例えば、以下のように利用される。作業者が、知識モデルにおいて工作物の材質、工具の材質、加工要件(加工精度や加工サイクルタイム等)を入力因子として、当該入力因子について必要な情報を入力した場合に、出力因子としての切削速度及び切込量等に関する情報が出力される。
【0016】
(2.知識ネットワーク
図100の例)
知識モデルは、上述したように、概念としては、ネットワーク形態で表現される。知識モデルをネットワーク図で表現した知識ネットワーク
図100の例について、
図1を参照して説明する。本例では、機械加工分野における知識モデルに関する知識ネットワーク
図100を例に挙げる。
【0017】
図1に示すように、知識ネットワーク
図100は、複数のノード図形110と、ノード図形110同士を繋ぐリンク図形120とを備える。ノード図形110は、ボックス等の任意の図形、テキストを含む図形、アイコン等で表される。ノード図形110は、知識モデルにおける因子を表す。リンク図形120は、直線、曲線、カギ線等で表される。本例では、リンク図形120は、関係性に関する方向性を規定するために矢印線にて表す。リンク図形120は、知識モデルにおける因子同士を繋ぐ関係性を表す。なお、
図1に示す知識ネットワーク
図100においては、ノード図形110は、全てテキストが記述可能なボックスにて表しており、リンク図形120は、矢印線にて表している。
【0018】
ここで、因子は、技術用語により定義されている。そして、複数の因子は、技術的な包含関係(上下関係、親子関係、主従関係とも称する)を有する場合、技術的な異種関係を有する場合がある。つまり、因子同士の関係性は、上記の2種類に分類される。
【0019】
例えば、被削材諸元に、被削材熱特性、被削材硬度、被削材伸び等を包含する関係にある。つまり、技術的な包含関係を有する因子として、被削材諸元を上位概念因子とし、被削材熱特性、被削材硬度、被削材伸び等を下位概念因子とする。例えば、技術的に異種関係を有する因子として、被削材熱特性と要求工具耐熱性等である。以下において、技術的な包含関係を有する2つの因子の関係性を、単に包含関係と称し、技術的な異種関係を有する2つの因子の関係性を、単に異種関係と称する。
【0020】
そして、リンク図形120については、包含関係を表す第一リンク図形121と、異種関係を表す第二リンク図形122とを、区別して表示する。つまり、第一リンク図形121と第二リンク図形122とは、異なる表示方法にて表示される。
【0021】
図1では、包含関係を表す第一リンク図形121は、上位概念因子の領域を示す枠線で表しており、下位概念因子が、第一リンク図形121を表す枠線の中に配置される。なお、第一リンク図形121は、枠線の他に、上下に近接して配置され左右に僅かにずらして配置されたノード図形110間を繋ぐL字形で表しても良い。この場合、第一リンク図形121にて繋がれた2つのノード図形110において、上に位置するノード図形110が、上位概念因子に相当する。
【0022】
又、
図1では、異種関係を表す第二リンク図形122は、任意の位置(上下左右)に離れて配置されたノード図形110間を繋ぐ、直線、折れ線等で表す。第二リンク図形122は、因子同士の定義の方向性を表す矢印線にて示す。
【0023】
(3.知識モデル作成支援装置1の構成)
知識モデル作成支援装置1は、上述した知識モデルを作成するための支援装置である。知識モデル作成支援装置1の構成について
図2を参照して説明する。
【0024】
知識モデル作成支援装置1は、第一DB作成部2、第一DB3、第二DB作成部4、第二DB5、第三DB作成部6、第三DB7、知識モデル作成部8を備える。DBは、データベースの略語である。知識モデル作成支援装置1は、3つのDB作成部2,4,6及び3つのDB3,5,7を備える構成としたが、1つずつとしても良いし、2つずつとしても良いし、4以上ずつとしても良い。
【0025】
第一DB作成部2は、後述する用語-関係性抽出モデルを用いて文書データ(テキストデータ)から、複数の用語及び用語同士の関係性を抽出することにより、用語-関係性DBである第一DB3を作成する。つまり、第一DB作成部2では、文書データ(テキストデータ)が入力されると、用語-関係性抽出モデルが実行されることにより、自動的に、複数の用語及び用語同士の関係性が抽出される。第一DB3は、第一DB作成部2により作成された用語及び関係性を記憶する。ここでの用語とは、上述した知識モデルにおける因子を作成するために利用可能な情報であって、関係性とは、上述した知識モデルにおける因子同士の関係性情報を作成するために利用可能な情報である。
【0026】
第二DB作成部4は、第一DB作成部2を構成する用語-関係性抽出モデルとは異なるモデル、例えば、word2vecにより構成される。第二DB作成部4は、word2vecを用いて、文書データから、複数の用語間の関係性を抽出することにより、第二DB5を作成する。第二DB5は、第二DB作成部4により作成された関係性を記憶する。
【0027】
第三DB作成部6は、第一DB作成部2及び第二DB作成部4を構成するモデルとは異なるモデル、例えば、公知の知識グラフにより構成される。第三DB作成部6は、知識グラフを用いて、文書データから、複数の用語間の関係性を抽出することにより、第三DB7を作成する。第三DB7は、第三DB作成部6により作成された関係性を記憶する。
【0028】
知識モデル作成部8は、第一DB3に記憶されている用語と用語間の関係性を用い、さらに第二DB5、第三DB7の各々に記憶されている用語間の関係性を補助として用いて、知識モデルを作成する。例えば、知識モデル作成部8は、第一DB3に記憶されている複数の用語を因子候補とする。そして、知識モデル作成部8は、各DB3,5,7を利用して、登録する因子を配置する場所の候補を挙げたり、着目因子と関係性を有する因子候補を挙げたり、既に作成された知識モデルの検証等をしたりする。知識モデル作成部8は、一部において自動的に行うことができ、他の一部は人が行う。ただし、知識モデル作成部8において、知識モデル作成を完全自動化することも可能である。
【0029】
(4.第一DB3の例)
第一DB(用語-関係性DB)の例について、
図3及び
図4を参照して説明する。
図3に示すように、第一DB3は、参照用語Aと、参照用語Aと関係性を有する関係用語Bと、参照用語Aと関係用語Bとの関係性を表す関係ラベルとを記憶する。例えば、参照用語AとしてW1は、W2,W4,W10と関係性を有しており、それぞれの関係性(関係ラベル)は、Positive、Negative、Positiveである。
【0030】
関係ラベルは、
図4に示すように、例えば、Positive、Negative、Sub、Relationの4種類を定義する。Positiveは、参照用語Aが大きくなれば、関係用語Bが大きくなる関係を表す。Negativeは、参照用語Aが大きくなれば、関係用語Bが小さくなる関係を表す。Subは、参照用語Aが関係用語Bの一種である関係を表す。Relationは、参照用語Aが関係用語Bと何らかの定性的な関係があることを表す。なお、関係ラベルは、上記4種類に限るものではなく、他の種類を含むようにしても良く、自由に設定可能である。
【0031】
(5.第一DB作成部2の構成)
第一DB作成部2の構成について
図5-
図7を参照して説明する。第一DB作成部2は、用語-関係性抽出モデルにより構成される。第一DB作成部2は、
図5に示すように、文書データ取得部11、特徴表現生成部12、用語抽出部13、用語出力部14、トリガワード記憶部15、ペア抽出部16、関係性抽出部17、関係性出力部18を備える。
【0032】
文書データ取得部11は、文書データをテキストデータとして取得する。特徴表現生成部12は、文書データ取得部11にて取得した文書データを構成する各トークンに基づいて、文書データの特徴をベクトルにて表現した特徴表現を生成する。用語抽出部13は、文書データより用語の抽出を行う。詳細には、用語抽出部13は、特徴表現生成部12により生成された特徴表現を用いて、文書データに含まれる用語の抽出を行う。用語出力部14は、用語抽出部13にて抽出された用語を出力する。
【0033】
ここで、用語抽出部13は、入れ子構造20を考慮した用語の抽出を行う。入れ子構造について、
図6を参照して説明する。入れ子構造20とは、用語が用語を内包する構造のことである。入れ子構造20は、複数の内包用語22,23と、複数の内包用語22,23を結合した入れ子外部用語21とにより構成される。
【0034】
例えば、「切削加工」という機械加工用語は、「切削」と「加工」機械加工用語を内包している。この場合、「切削加工」が入れ子外部用語21であり、「切削」、「加工」が内包用語22,23である。入れ子構造を構成する入れ子外部用語21と内包用語22,23とは、例えば、上位下位の関係、属性関係、主述関係等を有する。
【0035】
取得された文書データの一文の例として、「切削速度が増加すると切削温度が増す。」について説明する。当該例文において、用語抽出部13は、「切削速度」、「切削」、「速度」、「増加」、「切削温度」、「温度」、「増す」の用語が抽出される。つまり、入れ子外部用語21としての「切削速度」及び「切削温度」が抽出されると共に、内包用語22,23としての「切削」、「速度」、「温度」が抽出される。
【0036】
トリガワード記憶部15は、予め設定されたトリガワードを記憶する。トリガワードは、2用語間の関係性を導くキーワードである。トリガワードは、物理量を表す用語の変化を表すキーワード等である。トリガワード記憶部15は、例えば、
図7に示すように、「増加する」、「減少する」、「増す」、「減る」、「上がる」、「下がる」、「含む」等である。
【0037】
取得された文書データの一文の例として、「切削速度が増加すると切削温度が増す。」について説明する。当該例文において、トリガワードは、「増加する」、「増す」である。そして、当該トリガワードは、2用語としての「切削速度」と「切削温度」とが、一方が大きくなれば、他方が大きくなるという関係(Positiveの関係ラベル)を導くことができるキーワードである(
図4参照)。
【0038】
ペア抽出部16は、用語抽出部13にて抽出された用語からペアを作成し、後述する関係性抽出部17にて利用されるデータに整形する。用語抽出部13においては入れ子構造20を構成する場合には、入れ子外部用語21と内包用語22,23とを抽出したが、ペア抽出部16においては、最も大きな入れ子外部用語21のみを利用し、内包用語22,23は利用しない。ペア抽出部16においては、ペア作成対象の用語の数がn個の場合、nC2個のペアが作成される。
【0039】
関係性抽出部17は、文書データにトリガワードが含まれる場合、用語抽出部13により抽出された2つの用語の関係性を、トリガワードに基づいて抽出する。関係性抽出部17は、関係性抽出において、トリガワード記憶部15に記憶されたトリガワード、及び、ペア抽出部16にて作成された用語のペア情報を用いる。従って、関係性抽出部17は、文書データに入れ子構造20(
図6に示す)が含まれる場合、入れ子構造20における入れ子外部用語21を関係性抽出対象とし、内包用語22,23を関係性抽出対象としないこととなる。
【0040】
さらに、関係性抽出部17は、特徴表現生成部12により生成された特徴表現を用いて、2つの用語の関係性を抽出する。つまり、上述した用語抽出部13と当該関係性抽出部17とは、特徴表現生成部12により生成された特徴表現を共有して、用語の抽出及び関係性の抽出を行う。関係性出力部18は、関係性抽出部17により抽出された用語同士の関係性を出力する。
【0041】
(6.用語-関係性抽出モデルの詳細構成)
第一DB作成部2を構成する用語-関係性抽出モデルの詳細構成について
図8を参照して説明する。
図8には、特徴表現生成部12、用語抽出部13、ペア抽出部16、関係性抽出部17を示す。例文として、「切削速度が増加すると切削温度が増し、・・」を挙げて説明する。
【0042】
(6-1.特徴表現生成部12)
特徴表現生成部12は、用語抽出部13と関係性抽出部17とに対する共有部を構成する。特徴表現生成部12は、取得した文書データを、トークンに分割し、トークン列xを取得する。例えば、「切」、「削」、「速度」等が、それぞれ1つのトークンである。続いて、トークン列xからトークン表現H1を取得する。トークン表現H1は、トークン列xに対応するベクトルの列にて表現される。トークン表現H1の取得には、トークン列xに対する事前学習モデルを用いる。例えば、事前学習モデルの1つであるBERT(Bidirectional Encoder Representations from Transformers)を用いて、式(1)に示すように、トークン表現H1を取得する。
【0043】
【0044】
続いて、取得したトークン表現H1を畳み込みニューラルネットワーク(CNN)の入力として、式(2)に示すように、中間表現H2を取得する。本例では、中間表現H2が、特徴表現生成部12にて生成される特徴表現に相当する。
【0045】
【0046】
中間表現H2は、設定されたパラメータを用いて生成される。ここで、中間表現H2は、用語の抽出と関係性の抽出の両者に用いる表現である。従って、後述するが、学習フェーズにおいて、用語抽出部13により用語の抽出において発生する用語抽出損失と関係性抽出部17により関係性の抽出において発生する関係性抽出損失とに基づいて学習する。つまり、用語抽出と関係性抽出のそれぞれで発生する損失を用いて、中間表現H2を生成するためのパラメータが更新される。
【0047】
(6-2.用語抽出部13)
用語抽出部13は、入れ子構造20を構成する入れ子外部用語21と内包用語22,23との違いが、用語を構成するトークンの数であることに注目し、トークンの構成数(トークンの長さ)毎に2値の出力をするモデルとなっている。
【0048】
まず、中間表現H2を入力として、式(3)に示すように、長さiのトークン列の表現を得る畳み込み演算を行う。式(3)においてspanCNNiは、カーネルサイズiのフィルタによる畳み込み演算を表し、nentityは、用語を構成するトークン数に対応しており、学習を行う前に与えるハイパーパラメータである。得られた中間表現Viは、トークン数1,2,3,・・・、nに対応するnentity個の中間表現である。
【0049】
【0050】
続いて、式(4)に示すように、トークン数に対応するnentity個の中間表現Viに対して共通の全結合層をそれぞれ作用させて、中間表現Liを生成する。
【0051】
【0052】
全結合の出力は、n
entity個のカーネルサイズごとに対応したトークン数長のシーケンスになる。出力の中身は、
図8に示すように、カーネルサイズの用語を構成するトークンの開始位置に1が立つものとなる。例えば、用語「切削速度」は、3個のトークンから構成され、「切削速度」の開始位置は「切」のトークンの位置であるため、トークン数長「3」且つ「切」のトークン位置に1(黒丸)が立つ。又、用語「速度」は、1個のトークンから構成され、開始位置は「速度」のトークンであるため、トークン数長「1」且つ「速度」のトークン位置に1(黒丸)が立つ。
【0053】
(6-3.ペア抽出部16)
ペア抽出部16は、上述したように、用語抽出部13にて抽出された用語のペアを作成する。ただし、ペア抽出部16は、抽出された用語が入れ子構造20を構成する場合には、最も大きな入れ子外部用語21のみを関係性抽出対象とする。例えば、
図8に示すように、用語抽出部13にて「切削速度」、「切削」、「速度」が抽出されており、この場合、「切削速度」のみを関係性抽出対象とする。従って、
図8において、トークン数長「3」且つトークン「切」の位置に1が立ったままとし、内包用語22,23に相当する「切削」、「速度」に対応する位置は0とする。「切削温度」についても同様である。つまり、ここでは、「切削速度」と「切削温度」のペアが作成される。文書データ1文からn個の用語が抽出された場合、2つの用語を選択してペアを作成するので、
nC
2個のペアが作成される。
【0054】
続いて、作られた各ペアに対してアノテーションファイルを参照して関係ラベル(
図4参照)を付与し、「関係ラベル、用語A、用語B」のトリプレットを作成する。さらに、ペア抽出部16は、用語Aと用語Bの用語位置ベクトルPEiも作成する。用語位置ベクトルは、長さが1文のトークン数のベクトルで、用語が存在する位置に1、用語ではない位置に0が立つベクトルである。
図8においては、ペアの一方の用語「切削速度」については、「切」、「削」、「速度」の位置に1が立ち、残りの位置が0となる。又、ペアの他方の用語「切削温度」については、「切」、「削」、「温度」の位置に1が立ち、残りの位置が0となる。このようにして、ペア抽出部16により、用語位置ベクトルPEiが作成される。
【0055】
(6-4.関係性抽出部17)
関係性抽出部17は、上述したようにトリガワードを考慮したモデルである。まず、共有部としての特徴表現生成部12により生成された中間表現H2に対してトリガワードの情報を追加で与えて、Multi Head Attention層の入力とする。最初に、トリガワード記憶部15(
図5に示す)から参照してVtrigを生成する。Vtrigは、長さが1文中のトークン長(SeqLen)で次元が1のベクトルである。対応するトークンに対してトークンがトリガワードの場合には1が定義され、トリガワードではない場合には0が定義されるベクトルである。そして、式(5)に示すように、Vtrigに対して平均0、分散1の正規分布に基づいた重みで初期化される行列を用いた埋め込み処理を行う。
【0056】
【0057】
続いて、式(6)に示すように、Htrigに対して中間表現H2を次元方向にConcatして、全結合層に入力してQ(query)を生成する。
【0058】
【0059】
又、K(key)は、式(7)に従って生成し、V(value)は、式(8)に従って生成する。
【0060】
【0061】
【0062】
続いて、生成したQ,K,Vを、Multi Head Attention層の入力とし、中間表現H3,Wを生成する。当該Attention層において、Q(query)は検索元(ターゲット)であり、K(key)は検索先(ソース)であり、V(value)はスコアである。
【0063】
【0064】
ここで、Multi Head Attentionは、Q(query)に対してトリガワードの情報を加えたものである。Queryに対しての情報付加なので、「文中における関連度を知りたいもの」として、トリガワードを加えていることになる。又、K(key)、V(value)には中間表現H2の情報が含まれていることを考慮すると、得られる中間表現H3は、「文全体におけるトークンのうちトリガワードに関連するトークンに対して、強く注意がかかった表現」という解釈が可能となる。
【0065】
続いて、式(10)(11)に示すように、得られた中間表現H3に対してスキップコネクションと畳み込み層を2層ずつ通して中間表現H4を生成する。
【0066】
【0067】
【0068】
続いて、式(12)に示すように、ペア抽出部16にて作成した用語位置ベクトルPEiと中間表現H4とを用いて、関係性抽出に用いる2つの用語の表現E1,E2を抽出する。ここで、PEiは、i個目の用語位置ベクトル、*は要素積を表す。
【0069】
【0070】
続いて、式(13)に示すように、得られたE1,E2に対して、Maxpoolingの演算を行い、それぞれの1つのベクトルに整形する。ここで、E1’は、複数のトークンから構成される用語である。
【0071】
【0072】
続いて、式(14)に示すように、E1’をそれぞれ全結合層に入力して、用語としての表現E1”を生成する。
【0073】
【0074】
続いて、式(15)に示すように、E1”とE2”のベクトルの和をとって、さらに、式(16)に示すように、全結合層を通して用語間に存在する各関係の確率を出力する。つまり、Lrelは、長さが関係の種類の数であるベクトルであり、i種類目の関係の確率がLrelのi番目の要素の値により表されており、Lrelベクトル中の確率が高い関係が、当該2つの用語の関係を表すことになる。
【0075】
【0076】
【0077】
(7.学習フェーズ)
(7-1.概要)
上述した用語-関係性抽出モデルは、多くの文書データを取得して機械学習を行う必要がある。特に、本例においては、用語-関係性抽出モデルにおいて、用語抽出部13と関係性抽出部17とにより共有される特徴表現生成部12におけるパラメータを学習する。
【0078】
(7-2.第一学習フェーズ)
第一次の学習としての第一学習フェーズについて、
図9を参照して説明する。第一学習フェーズでは、用語抽出部13により用語の抽出において発生する用語抽出損失Lentityを用いて、特徴表現生成部12における中間表現H2の生成パラメータを更新することにより、第一次の学習を行う。つまり、第一学習フェーズでは、用語抽出損失Lentityに基づいて、生成パラメータを更新するシングルタスク学習処理により学習を行っている。
図9において、第一学習フェーズにて使用していない機能について、破線にて記載する。
【0079】
ここで、用語抽出損失Lentityは、例えば、交差エントロピー損失(Cross Entropy Loss)を用いる。この場合、用語抽出損失Lentityは、式(17)により表される。nは、モデルの出力数、即ち用意するフィルタ数を表し、lは、1文におけるトークン数を表す。各トークンに対するlの予測値と正解yとの差を交差エントロピーで定義する。そして、各フィルタに対応する出力の和をとったものが、用語抽出損失Lentityとなる。なお、用語抽出損失Lentityは、交差エントロピー損失以外に、類似する他の損失の計算式により得られる損失を用いることもできる。
【0080】
【0081】
(7-3.第二学習フェーズ)
第一学習フェーズに次いで、第二次の学習としての第二学習フェーズについて、
図10を参照して説明する。第二学習フェーズでは、用語抽出部13により用語の抽出において発生する用語抽出損失Lentityと、関係性抽出部17により関係性の抽出において発生する関係性抽出損失Lrelationを用いる。そして、第二学習フェーズでは、用語抽出損失Lentity及び関係性抽出損失Lrelationに基づいて、特徴表現生成部12における中間表現H2の生成パラメータを更新することにより、第二次の学習を行う。つまり、第二学習フェーズでは、用語抽出損失Lentity及び関係性抽出損失Lrelationに基づいて、生成パラメータを更新するマルチタスク学習処理により学習を行っている。
【0082】
ここで、関係性抽出損失Lrelationは、式(18)により表される。rは、関係ラベルの種類数であり(
図4参照)、各関係において損失が発生するため、それらの全ての和をとったものを関係性抽出損失Lrelationとする。又、Nentityは、用語抽出が対象とする入れ子構造20の構成用語数である。
【0083】
【0084】
そして、上述の式(17)にて表される用語抽出損失Lentityと、式(18)に示す関係性抽出損失Lrelationとを用いて、式(19)に示すように、全体の損失Lallを生成する。
【0085】
【0086】
ここで、損失の表現には、第一学習フェーズと同様に、例えば、交差エントロピー損失(Cross Entropy Loss)を用いることができる。交差エントロピー損失は、式(20)にて表される。Classは、関係性抽出の対象となるラベルを表す。
【0087】
【0088】
(8.知識モデル作成部8による処理の例)
次に、知識モデル作成部8による処理の例について、
図11-
図14を参照して説明する。ただし、知識モデル作成部8による処理は、以下に限られるものではなく、種々の処理が可能である。さらに、知識モデル作成部8は、完全自動化も可能である。
【0089】
(8-1、第一例)
第一例の処理について
図11を参照して説明する。知識モデル作成部8は、描画可能な描画GUIウィンドウ30において、因子を表すノード図形と因子同士の関係性を表すリンク図形とにより構成される知識ネットワーク図を描画する。描画操作は、作業者が行うことができる。
【0090】
描画GUIウィンドウ30において、作業者が知識ネットワーク図を描画する際に、まず、着目因子を決定する。そうすると、知識モデル作成部8が、DB3,5,7における関係性に関する情報に基づいて、着目因子に対して関係性を有する用語のノード図形の配置候補を描画GUIウィンドウ30に表示する。このとき、複数の配置候補を表示することもできる。特に、複数のDB3,5,7を用いることにより、複数の観点で、配置候補を出力することが可能となる。そして、作業者は、配置候補を決定することで、描画GUIウィンドウ30において、着目因子を知識ネットワーク図に描画(配置)することができる。
【0091】
(8-2.第二例)
第二例の処理について
図12を参照して説明する。描画GUIウィンドウ30において、作業者が、既に描画されている着目因子を選択する。そうすると、知識モデル作成部8は、DB3,5,7における関係性に関する情報に基づいて、着目因子に対して関係性を有する用語を因子候補として表示する。そして、作業者は、因子候補の中から選択することで、選択された因子候補が着目因子に関連付けられた状態で描画GUIウィンドウ30に配置される。
【0092】
(8-3.第三例)
第三例の処理について
図13を参照して説明する。作業者が、文書データをDB作成部2,4,6に入力する。そうすると、知識モデル作成部8は、GUIウィンドウ30に、第一DB3(用語-関係性DB)に基づいて得られた複数の用語を表示する。そして、作業者が、表示された複数の用語の中から選択すると、知識モデル作成部8は、DB3,5,7における関係性に関する情報に基づいて、GUIウィンドウ30に、選択された用語に対して関係性を有する用語を表示する。
【0093】
つまり、GUIウィンドウ30には、作業者が選択した用語と、当該用語に関係性を有する用語とが表示された状態となる。そして、作業者が、表示された複数の用語を選択することで、知識モデル作成部8は、GUIウィンドウ30に、知識ネットワーク図として描画する。
【0094】
(8-4.第四例)
第四例の処理について
図14を参照して説明する。作業者が、文書データをDB作成部2,4,6に入力する。そうすると、知識モデル作成部8は、GUIウィンドウ30に、既存の類似知識モデル候補を表示する。複数の類似知識モデル候補が存在する場合には、作業者の選択によって、選択された類似知識モデル候補がGUIウィンドウ30に、表示される。
【0095】
続いて、知識モデル作成部8は、入力された文書データに基づいて、GUIウィンドウ30に、第一DB3(用語-関係性DB)に基づいて得られた複数の用語を表示する。そして、作業者が、表示された複数の用語の中から選択すると、知識モデル作成部8は、DB3,5,7における関係性に関する情報に基づいて、GUIウィンドウ30に、選択された用語に対して関係性を有する用語を表示する。
【0096】
つまり、GUIウィンドウ30には、類似知識モデルが表示されると共に、作業者が選択した用語と、当該用語に関係性を有する用語とが表示された状態となる。このとき、作業者が選択した用語を着目因子とした場合に、知識モデル作成部8は、GUIウィンドウ30に表示されている類似知識モデルにおいて、着目因子に対して関係性を有しないリンク図形を例えば×印等によって表示する。さらに、知識モデル作成部8は、作業者が選択した用語が類似知識モデルに含まれていない場合には、選択された用語が新たに描画されるようにしても良い。
【0097】
(9.効果)
知識モデル作成支援装置1によれば、文書データから用語及び用語同士の関係性を抽出する用語-関係性抽出モデルを用いて、DB3を作成する。まず、用語-関係性抽出モデルは、文書データから用語を自動的に抽出する。さらに、用語-関係性抽出モデルは、2用語間の関係性を導くトリガワードを予め記憶しておき、文書データに当該トリガワードが含まれる場合に、2つの用語の関係性をトリガワードに基づいて抽出する。このように、用語-関係性抽出モデルは、文書データから用語を自動的に抽出することができると共に、予め設定されたトリガワードを考慮して、文書データに含まれる用語同士の関係性を自動的に抽出することができる。従って、人手によらず、DB3を作成することができる。そして、DB3が作成できれば、DB3を参照して知識モデルを作成することができるため、知識モデルを容易に作成することができる。
【符号の説明】
【0098】
1:知識モデル作成支援装置、 2:第一データベース作成部、 3:第一データベース、 4:第二データベース作成部、 5:第二データベース、 6:第二データベース作成部、 7:第三データベース、 8:知識モデル作成部、 11:文書データ取得部、 12:特徴表現生成部、 13:用語抽出部、 14:用語出力部、 15:トリガワード記憶部、 16:ペア抽出部、 17:関係性抽出部、 18:関係性出力部、 20:入れ子構造、 21:入れ子外部用語、 22,23:内包用語、 100:知識ネットワーク図、 110:ノード図形、 120:リンク図形、 121:第一リンク図形、 122:第二リンク図形、 Lentity:用語抽出損失、 Lrelation:関係性抽出損失