ホーム > 特許ランキング > コニカミノルタ株式会社
特開2022-190985知識グラフ生成装置、コンピュータープログラム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022190985
(43)【公開日】2022-12-27
(54)【発明の名称】知識グラフ生成装置、コンピュータープログラム及び方法
(51)【国際特許分類】
G06F 16/90 20190101AFI20221220BHJP
G06F 16/28 20190101ALI20221220BHJP
【ＦＩ】
G06F16/90 100
G06F16/28
【審査請求】未請求
【請求項の数】25
【出願形態】ＯＬ
(21)【出願番号】P 2021099556
(22)【出願日】2021-06-15
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001900
【氏名又は名称】弁理士法人 ナカジマ知的財産綜合事務所
(72)【発明者】
【氏名】筒川 和樹
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175EA01
5B175KA12
(57)【要約】
【課題】利用者に対して回答を求めることなく、知識グラフを生成することができる知識グラフ生成装置を提供する。
【解決手段】複数のオブジェクトを含むフレーム画像を取得する入出力部１２０と、複数のオブジェクトのうち、２つのオブジェクト間の関係を表すキャプションを生成するキャプション生成部１０２と、前記２つのオブジェクトに相当する２つのエンティティ間の関係を、前記キャプションから抽出し、２つのエンティティ及び抽出した関係からなる知識グラフを生成する知識グラフ生成部１０４とを備える。
【選択図】図１
【解決手段】複数のオブジェクトを含むフレーム画像を取得する入出力部１２０と、複数のオブジェクトのうち、２つのオブジェクト間の関係を表すキャプションを生成するキャプション生成部１０２と、前記２つのオブジェクトに相当する２つのエンティティ間の関係を、前記キャプションから抽出し、２つのエンティティ及び抽出した関係からなる知識グラフを生成する知識グラフ生成部１０４とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数のオブジェクトを含むフレーム画像を取得する取得手段と、
前記複数のオブジェクトのうち、２つのオブジェクト間の関係を表す文字表現を生成する文字表現生成手段と、
前記２つのオブジェクトに相当する２つのエンティティ間の関係を、前記文字表現から抽出し、前記２つのエンティティ及び抽出した前記関係からなる知識グラフを生成する知識グラフ生成手段と
を備えることを特徴とする知識グラフ生成装置。
前記複数のオブジェクトのうち、２つのオブジェクト間の関係を表す文字表現を生成する文字表現生成手段と、
前記２つのオブジェクトに相当する２つのエンティティ間の関係を、前記文字表現から抽出し、前記２つのエンティティ及び抽出した前記関係からなる知識グラフを生成する知識グラフ生成手段と
を備えることを特徴とする知識グラフ生成装置。
【請求項2】
さらに、
知識グラフを記憶するための記憶手段と、
前記知識グラフ生成手段により生成された前記知識グラフを前記記憶手段に書き込む書込手段と
を備えることを特徴とする請求項１に記載の知識グラフ生成装置。
知識グラフを記憶するための記憶手段と、
前記知識グラフ生成手段により生成された前記知識グラフを前記記憶手段に書き込む書込手段と
を備えることを特徴とする請求項１に記載の知識グラフ生成装置。
【請求項3】
さらに、
取得した前記フレーム画像に画像認識を施して複数のオブジェクトを検出し、オブジェクトに相当する特徴ベクトルを前記文字表現生成手段に出力する画像認識手段
を備えることを特徴とする請求項１に記載の知識グラフ生成装置。
取得した前記フレーム画像に画像認識を施して複数のオブジェクトを検出し、オブジェクトに相当する特徴ベクトルを前記文字表現生成手段に出力する画像認識手段
を備えることを特徴とする請求項１に記載の知識グラフ生成装置。
【請求項4】
前記文字表現生成手段は、前記文字表現として、２つのオブジェクト間の関係を示す１つの文章を生成し、
前記知識グラフ生成手段は、前記文章から、前記２つのエンティティ間の関係を抽出する
ことを特徴とする請求項１に記載の知識グラフ生成装置。
前記知識グラフ生成手段は、前記文章から、前記２つのエンティティ間の関係を抽出する
ことを特徴とする請求項１に記載の知識グラフ生成装置。
【請求項5】
前記文字表現生成手段は、前記文字表現として、２つのオブジェクト間の関係を示す複数の文章を生成し、
前記知識グラフ生成手段は、前記複数の文章から、前記２つのエンティティ間の関係を、複数、抽出し、前記２つのエンティティと、抽出した複数の前記関係のそれぞれとを、複数の知識グラフとして、生成する
ことを特徴とする請求項１に記載の知識グラフ生成装置。
前記知識グラフ生成手段は、前記複数の文章から、前記２つのエンティティ間の関係を、複数、抽出し、前記２つのエンティティと、抽出した複数の前記関係のそれぞれとを、複数の知識グラフとして、生成する
ことを特徴とする請求項１に記載の知識グラフ生成装置。
【請求項6】
前記知識グラフ生成手段は、前記複数のオブジェクトに相当する複数のエンティティから、２つのエンティティからなる候補組を、複数個、選択し、前記文字表現から、前記関係を抽出し、抽出した関係と選択した複数個の候補組のそれぞれとからなる複数の知識グラフの候補を生成し、前記文字表現を用いて、生成した複数の知識グラフの候補から、知識グラフを選択する
ことを特徴とする請求項１に記載の知識グラフ生成装置。
ことを特徴とする請求項１に記載の知識グラフ生成装置。
【請求項7】
前記知識グラフ生成手段は、生成した前記複数の知識グラフの候補のそれぞれについて、生成した前記文字表現との類似度を算出し、算出した類似度が所定の閾値以上の知識グラフの候補を、知識グラフとして選択する
ことを特徴とする請求項６に記載の知識グラフ生成装置。
ことを特徴とする請求項６に記載の知識グラフ生成装置。
【請求項8】
前記知識グラフ生成手段は、既知の知識グラフ又は既知の文字表現及び既知の知識グラフを基にして文字表現から知識グラフを生成する方法を予め学習して記憶しており、記憶している方法に基づいて、文字表現を用いて知識グラフを生成する
ことを特徴とする請求項１～７のいずれかに記載の知識グラフ生成装置。
ことを特徴とする請求項１～７のいずれかに記載の知識グラフ生成装置。
【請求項9】
知識グラフを用いて情報処理を行なう情報処理装置であって、
請求項１～８のいずれかに記載の知識グラフ生成装置により、生成された知識グラフを記憶している記憶手段と、
データの入力を受け付ける受付手段と、
前記記憶手段に記憶されている知識グラフを用いて、前記受付手段により入力されたデータに対して、処理を実行する実行手段と
を備えることを特徴とする情報処理装置。
請求項１～８のいずれかに記載の知識グラフ生成装置により、生成された知識グラフを記憶している記憶手段と、
データの入力を受け付ける受付手段と、
前記記憶手段に記憶されている知識グラフを用いて、前記受付手段により入力されたデータに対して、処理を実行する実行手段と
を備えることを特徴とする情報処理装置。
【請求項10】
コンピューターである知識グラフ生成装置において用いられる制御用のコンピュータープログラムであって、
コンピューターに、
複数のオブジェクトを含むフレーム画像を取得する取得ステップと、
前記複数のオブジェクトのうち、２つのオブジェクト間の関係を表す文字表現を生成する文字表現生成ステップと、
前記２つのオブジェクトに相当する２つのエンティティ間の関係を、前記文字表現から抽出し、前記２つのエンティティ及び抽出した前記関係からなる知識グラフを生成する知識グラフ生成ステップと
を実行させるためのコンピュータープログラム。
コンピューターに、
複数のオブジェクトを含むフレーム画像を取得する取得ステップと、
前記複数のオブジェクトのうち、２つのオブジェクト間の関係を表す文字表現を生成する文字表現生成ステップと、
前記２つのオブジェクトに相当する２つのエンティティ間の関係を、前記文字表現から抽出し、前記２つのエンティティ及び抽出した前記関係からなる知識グラフを生成する知識グラフ生成ステップと
を実行させるためのコンピュータープログラム。
【請求項11】
前記知識グラフ生成装置は、知識グラフを記憶するための記憶手段を備え、
前記コンピュータープログラムは、さらに、
前記知識グラフ生成ステップにより生成された前記知識グラフを前記記憶手段に書き込む書込ステップを含む
ことを特徴とする請求項１０に記載のコンピュータープログラム。
前記コンピュータープログラムは、さらに、
前記知識グラフ生成ステップにより生成された前記知識グラフを前記記憶手段に書き込む書込ステップを含む
ことを特徴とする請求項１０に記載のコンピュータープログラム。
【請求項12】
前記コンピュータープログラムは、さらに、
取得した前記フレーム画像に画像認識を施して複数のオブジェクトを検出し、オブジェクトに相当する特徴ベクトルを前記文字表現生成ステップに出力する画像認識ステップ
を含むことを特徴とする請求項１０に記載のコンピュータープログラム。
取得した前記フレーム画像に画像認識を施して複数のオブジェクトを検出し、オブジェクトに相当する特徴ベクトルを前記文字表現生成ステップに出力する画像認識ステップ
を含むことを特徴とする請求項１０に記載のコンピュータープログラム。
【請求項13】
前記文字表現生成ステップは、前記文字表現として、２つのオブジェクト間の関係を示す１つの文章を生成し、
前記知識グラフ生成ステップは、前記文章から、前記２つのエンティティ間の関係を抽出する
ことを特徴とする請求項１０に記載のコンピュータープログラム。
前記知識グラフ生成ステップは、前記文章から、前記２つのエンティティ間の関係を抽出する
ことを特徴とする請求項１０に記載のコンピュータープログラム。
【請求項14】
前記文字表現生成ステップは、前記文字表現として、２つのオブジェクト間の関係を示す複数の文章を生成し、
前記知識グラフ生成ステップは、前記複数の文章から、前記２つのエンティティ間の関係を、複数、抽出し、前記２つのエンティティと、抽出した複数の前記関係のそれぞれとを、複数の知識グラフとして、生成する
ことを特徴とする請求項１０に記載のコンピュータープログラム。
前記知識グラフ生成ステップは、前記複数の文章から、前記２つのエンティティ間の関係を、複数、抽出し、前記２つのエンティティと、抽出した複数の前記関係のそれぞれとを、複数の知識グラフとして、生成する
ことを特徴とする請求項１０に記載のコンピュータープログラム。
【請求項15】
前記知識グラフ生成ステップは、前記複数のオブジェクトに相当する複数のエンティティから、２つのエンティティからなる候補組を、複数個、選択し、前記文字表現から、前記関係を抽出し、抽出した関係と選択した複数個の候補組のそれぞれとからなる複数の知識グラフの候補を生成し、前記文字表現を用いて、生成した複数の知識グラフの候補から、知識グラフを選択する
ことを特徴とする請求項１０に記載のコンピュータープログラム。
ことを特徴とする請求項１０に記載のコンピュータープログラム。
【請求項16】
前記知識グラフ生成ステップは、生成した前記複数の知識グラフの候補のそれぞれについて、生成した前記文字表現との類似度を算出し、算出した類似度が所定の閾値以上の知識グラフの候補を、知識グラフとして選択する
ことを特徴とする請求項１５に記載のコンピュータープログラム。
ことを特徴とする請求項１５に記載のコンピュータープログラム。
【請求項17】
前記知識グラフ生成装置は、既知の知識グラフ又は既知の文字表現及び既知の知識グラフを基にして文字表現から知識グラフを生成する方法を予め学習して記憶しており、
前記知識グラフ生成ステップは、記憶している方法に基づいて、文字表現を用いて知識グラフを生成する
ことを特徴とする請求項１０～１６のいずれかに記載のコンピュータープログラム。
前記知識グラフ生成ステップは、記憶している方法に基づいて、文字表現を用いて知識グラフを生成する
ことを特徴とする請求項１０～１６のいずれかに記載のコンピュータープログラム。
【請求項18】
知識グラフ生成装置において用いられる制御用の方法であって、
複数のオブジェクトを含むフレーム画像を取得する取得ステップと、
前記複数のオブジェクトのうち、２つのオブジェクト間の関係を表す文字表現を生成する文字表現生成ステップと、
前記２つのオブジェクトに相当する２つのエンティティ間の関係を、前記文字表現から抽出し、前記２つのエンティティ及び抽出した前記関係からなる知識グラフを生成する知識グラフ生成ステップと
を含むことを特徴とする方法。
複数のオブジェクトを含むフレーム画像を取得する取得ステップと、
前記複数のオブジェクトのうち、２つのオブジェクト間の関係を表す文字表現を生成する文字表現生成ステップと、
前記２つのオブジェクトに相当する２つのエンティティ間の関係を、前記文字表現から抽出し、前記２つのエンティティ及び抽出した前記関係からなる知識グラフを生成する知識グラフ生成ステップと
を含むことを特徴とする方法。
【請求項19】
前記知識グラフ生成装置は、知識グラフを記憶するための記憶手段を備え、
前記方法は、さらに、
前記知識グラフ生成ステップにより生成された前記知識グラフを前記記憶手段に書き込む書込ステップを含む
ことを特徴とする請求項１８に記載の方法。
前記方法は、さらに、
前記知識グラフ生成ステップにより生成された前記知識グラフを前記記憶手段に書き込む書込ステップを含む
ことを特徴とする請求項１８に記載の方法。
【請求項20】
前記方法は、さらに、
取得した前記フレーム画像に画像認識を施して複数のオブジェクトを検出し、オブジェクトに相当する特徴ベクトルを前記文字表現生成ステップに出力する画像認識ステップ
を含むことを特徴とする請求項１８に記載の方法。
取得した前記フレーム画像に画像認識を施して複数のオブジェクトを検出し、オブジェクトに相当する特徴ベクトルを前記文字表現生成ステップに出力する画像認識ステップ
を含むことを特徴とする請求項１８に記載の方法。
【請求項21】
前記文字表現生成ステップは、前記文字表現として、２つのオブジェクト間の関係を示す１つの文章を生成し、
前記知識グラフ生成ステップは、前記文章から、前記２つのエンティティ間の関係を抽出する
ことを特徴とする請求項１８に記載の方法。
前記知識グラフ生成ステップは、前記文章から、前記２つのエンティティ間の関係を抽出する
ことを特徴とする請求項１８に記載の方法。
【請求項22】
前記文字表現生成ステップは、前記文字表現として、２つのオブジェクト間の関係を示す複数の文章を生成し、
前記知識グラフ生成ステップは、前記複数の文章から、前記２つのエンティティ間の関係を、複数、抽出し、前記２つのエンティティと、抽出した複数の前記関係のそれぞれとを、複数の知識グラフとして、生成する
ことを特徴とする請求項１８に記載の方法。
前記知識グラフ生成ステップは、前記複数の文章から、前記２つのエンティティ間の関係を、複数、抽出し、前記２つのエンティティと、抽出した複数の前記関係のそれぞれとを、複数の知識グラフとして、生成する
ことを特徴とする請求項１８に記載の方法。
【請求項23】
前記知識グラフ生成ステップは、前記複数のオブジェクトに相当する複数のエンティティから、２つのエンティティからなる候補組を、複数個、選択し、前記文字表現から、前記関係を抽出し、抽出した関係と選択した複数個の候補組のそれぞれとからなる複数の知識グラフの候補を生成し、前記文字表現を用いて、生成した複数の知識グラフの候補から、知識グラフを選択する
ことを特徴とする請求項１８に記載の方法。
ことを特徴とする請求項１８に記載の方法。
【請求項24】
前記知識グラフ生成ステップは、生成した前記複数の知識グラフの候補のそれぞれについて、生成した前記文字表現との類似度を算出し、算出した類似度が所定の閾値以上の知識グラフの候補を、知識グラフとして選択する
ことを特徴とする請求項２３に記載の方法。
ことを特徴とする請求項２３に記載の方法。
【請求項25】
前記知識グラフ生成装置は、既知の知識グラフ又は既知の文字表現及び既知の知識グラフを基にして文字表現から知識グラフを生成する方法を予め学習して記憶しており、
前記知識グラフ生成ステップは、記憶している方法に基づいて、文字表現を用いて知識グラフを生成する
ことを特徴とする請求項１８～２４のいずれかに記載の方法。
前記知識グラフ生成ステップは、記憶している方法に基づいて、文字表現を用いて知識グラフを生成する
ことを特徴とする請求項１８～２４のいずれかに記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、２つのエンティティと、２つのエンティティの間の関係（リレーション）とからなる知識グラフを生成する技術に関する。
【背景技術】
【0002】
知識グラフは、２つのエンティティの間のリレーションを直感的に表現するために、有効な記述方法である。
【0003】
特許文献１によると、知識グラフの補完の精度を向上させることができる知識グラフ補完装置は、知識グラフを記憶する知識グラフ記憶部に、未知のエンティティが存在する場合、当該知識グラフ記憶部が記憶する既知の知識グラフのパターンに基づいて、未知のエンティティについてのトリプル（２つのエンティティとその間の関係を言う。）候補を生成し、各トリプル候補の確信度を算出し、確信度が最も高いトリプル候補についての質問文を生成して、利用者に質問を投げかける。質問に対する利用者からの回答を用いて、未知のエンティティについての知識グラフを補完する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２０－１９１００９号公報
【非特許文献】
【0005】
【非特許文献1】Emma Strubell, Patrick Verga, Daniel Andor, David Weiss, Andrew McCallum,「Linguistically-Informed Self-Attention for Semantic Role Labeling」, College of Information and Computer Sciences, University of Massachusetts Amherst，2018年11月12日
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１により開示された技術によると、未知のエンティティを含む知識グラフを補完するため、利用者との間で、対話が必要である。このため、利用者には、回答の手間がかかる、という問題がある。
【0007】
上記の問題を解決するため、本開示に係る態様は、利用者に対して回答を求めることなく、２つのエンティティと、２つのエンティティの間のリレーションからなる知識グラフを生成することができる知識グラフ生成装置、コンピュータープログラム及び方法を提供する。
【課題を解決するための手段】
【0008】
この目的を達成するため、本開示に係る一態様は、知識グラフ生成装置であって、複数のオブジェクトを含むフレーム画像を取得する取得手段と、前記複数のオブジェクトのうち、２つのオブジェクト間の関係を表す文字表現を生成する文字表現生成手段と、前記２つのオブジェクトに相当する２つのエンティティ間の関係を、前記文字表現から抽出し、前記２つのエンティティ及び抽出した前記関係からなる知識グラフを生成する知識グラフ生成手段とを備えることを特徴とする。
【0009】
ここで、さらに、知識グラフを記憶するための記憶手段と、前記知識グラフ生成手段により生成された前記知識グラフを前記記憶手段に書き込む書込手段とを備える、としてもよい。
【0010】
ここで、さらに、取得した前記フレーム画像に画像認識を施して複数のオブジェクトを検出し、オブジェクトに相当する特徴ベクトルを前記文字表現生成手段に出力する画像認識手段を備えるとしてもよい。
【0011】
ここで、前記文字表現生成手段は、前記文字表現として、２つのオブジェクト間の関係を示す１つの文章を生成し、前記知識グラフ生成手段は、前記文章から、前記２つのエンティティ間の関係を抽出してもよい。
【0012】
ここで、前記文字表現生成手段は、前記文字表現として、２つのオブジェクト間の関係を示す複数の文章を生成し、前記知識グラフ生成手段は、前記複数の文章から、前記２つのエンティティ間の関係を、複数、抽出し、前記２つのエンティティと、抽出した複数の前記関係のそれぞれとを、複数の知識グラフとして、生成してもよい。
【0013】
ここで、前記知識グラフ生成手段は、前記複数のオブジェクトに相当する前記複数のエンティティから、２つのエンティティからなる候補組を、複数個、選択し、前記文字表現から、前記関係を抽出し、抽出した関係と選択した複数個の候補組のそれぞれとからなる複数の知識グラフの候補を生成し、前記文字表現を用いて、生成した複数の知識グラフの候補から、知識グラフを選択してもよい。
【0014】
ここで、前記知識グラフ生成手段は、生成した前記複数の知識グラフの候補のそれぞれについて、生成した前記文字表現との類似度を算出し、算出した類似度が所定の閾値以上の知識グラフの候補を、知識グラフとして選択してもよい。
【0015】
ここで、前記知識グラフ生成手段は、既知の知識グラフ又は既知の文字表現及び既知の知識グラフを基にして文字表現から知識グラフを生成する方法を予め学習して記憶しており、記憶している方法に基づいて、文字表現を用いて知識グラフを生成してもよい。
【0016】
また、本開示の一態様は、知識グラフを用いて情報処理を行なう情報処理装置であって、上記に記載の知識グラフ生成装置により、生成された知識グラフを記憶している記憶手段と、データの入力を受け付ける受付手段と、前記記憶手段に記憶されている知識グラフを用いて、前記受付手段により入力されたデータに対して、処理を実行する実行手段とを備えることを特徴とする。
【0017】
また、本開示の一態様は、コンピューターである知識グラフ生成装置において用いられる制御用のコンピュータープログラムであって、コンピューターに、複数のオブジェクトを含むフレーム画像を取得する取得ステップと、前記複数のオブジェクトのうち、２つのオブジェクト間の関係を表す文字表現を生成する文字表現生成ステップと、前記２つのオブジェクトに相当する２つのエンティティ間の関係を、前記文字表現から抽出し、前記２つのエンティティ及び抽出した前記関係からなる知識グラフを生成する知識グラフ生成ステップとを実行させることを特徴とする。
【0018】
ここで、前記知識グラフ生成装置は、知識グラフを記憶するための記憶手段を備え、前記コンピュータープログラムは、さらに、前記知識グラフ生成ステップにより生成された前記知識グラフを前記記憶手段に書き込む書込ステップを含む、としてもよい。
【0019】
ここで、前記コンピュータープログラムは、さらに、取得した前記フレーム画像に画像認識を施して複数のオブジェクトを検出し、オブジェクトに相当する特徴ベクトルを前記文字表現生成ステップに出力する画像認識ステップを含むとしてもよい。
【0020】
ここで、前記文字表現生成ステップは、前記文字表現として、２つのオブジェクト間の関係を示す１つの文章を生成し、前記知識グラフ生成ステップは、前記文章から、前記２つのエンティティ間の関係を抽出してもよい。
【0021】
ここで、前記文字表現生成ステップは、前記文字表現として、２つのオブジェクト間の関係を示す複数の文章を生成し、前記知識グラフ生成ステップは、前記複数の文章から、前記２つのエンティティ間の関係を、複数、抽出し、前記２つのエンティティと、抽出した複数の前記関係のそれぞれとを、複数の知識グラフとして、生成してもよい。
【0022】
ここで、前記知識グラフ生成ステップは、前記複数のオブジェクトに相当する前記複数のエンティティから、２つのエンティティからなる候補組を、複数個、選択し、前記文字表現から、前記関係を抽出し、抽出した関係と選択した複数個の候補組のそれぞれとからなる複数の知識グラフの候補を生成し、前記文字表現を用いて、生成した複数の知識グラフの候補から、知識グラフを選択してもよい。
【0023】
ここで、前記知識グラフ生成ステップは、生成した前記複数の知識グラフの候補のそれぞれについて、生成した前記文字表現との類似度を算出し、算出した類似度が所定の閾値以上の知識グラフの候補を、知識グラフとして選択してもよい。
【0024】
ここで、前記知識グラフ生成装置は、既知の知識グラフ又は既知の文字表現及び既知の知識グラフを基にして文字表現から知識グラフを生成する方法を予め学習して記憶しており、前記知識グラフ生成ステップは、記憶している方法に基づいて、文字表現を用いて知識グラフを生成してもよい。
【0025】
また、本開示の一態様は、知識グラフ生成装置において用いられる制御用の方法であって、複数のオブジェクトを含むフレーム画像を取得する取得ステップと、前記複数のオブジェクトのうち、２つのオブジェクト間の関係を表す文字表現を生成する文字表現生成ステップと、前記２つのオブジェクトに相当する２つのエンティティ間の関係を、前記文字表現から抽出し、前記２つのエンティティ及び抽出した前記関係からなる知識グラフを生成する知識グラフ生成ステップとを含むことを特徴とする。
【0026】
ここで、前記知識グラフ生成装置は、知識グラフを記憶するための記憶手段を備え、前記方法は、さらに、前記知識グラフ生成ステップにより生成された前記知識グラフを前記記憶手段に書き込む書込ステップを含む、としてもよい。
【0027】
ここで、前記方法は、さらに、取得した前記フレーム画像に画像認識を施して複数のオブジェクトを検出し、オブジェクトに相当する特徴ベクトルを前記文字表現生成ステップに出力する画像認識ステップを含むとしてもよい。
【0028】
ここで、前記文字表現生成ステップは、前記文字表現として、２つのオブジェクト間の関係を示す１つの文章を生成し、前記知識グラフ生成ステップは、前記文章から、前記２つのエンティティ間の関係を抽出してもよい。
【0029】
ここで、前記文字表現生成ステップは、前記文字表現として、２つのオブジェクト間の関係を示す複数の文章を生成し、前記知識グラフ生成ステップは、前記複数の文章から、前記２つのエンティティ間の関係を、複数、抽出し、前記２つのエンティティと、抽出した複数の前記関係のそれぞれとを、複数の知識グラフとして、生成してもよい。
【0030】
ここで、前記知識グラフ生成ステップは、前記複数のオブジェクトに相当する前記複数のエンティティから、２つのエンティティからなる候補組を、複数個、選択し、前記文字表現から、前記関係を抽出し、抽出した関係と選択した複数個の候補組のそれぞれとからなる複数の知識グラフの候補を生成し、前記文字表現を用いて、生成した複数の知識グラフの候補から、知識グラフを選択してもよい。
【0031】
ここで、前記知識グラフ生成ステップは、生成した前記複数の知識グラフの候補のそれぞれについて、生成した前記文字表現との類似度を算出し、算出した類似度が所定の閾値以上の知識グラフの候補を、知識グラフとして選択してもよい。
【0032】
ここで、前記知識グラフ生成装置は、既知の知識グラフ又は既知の文字表現及び既知の知識グラフを基にして文字表現から知識グラフを生成する方法を予め学習して記憶しており、前記知識グラフ生成ステップは、記憶している方法に基づいて、文字表現を用いて知識グラフを生成してもよい。
【発明の効果】
【0033】
この態様によると、利用者に対して回答を求めることなく、２つのエンティティと、２つのエンティティの間のリレーションとからなる知識グラフを生成することができる、という優れた効果を奏する。
【図面の簡単な説明】
【0034】
【図1】一つの実施の形態としての知識グラフ生成装置１０の構成を示すブロック図である。
【図2】動画像データ１３１の内容を示す。
【図3】知識データベース１５０に記憶されている知識グラフの例を示す。
【図4】静止画像１３４からキャプション１４１、１４２を生成するプロセスを示す。
【図5】（ａ）キャプション１４１から生成される類似文１４１ａ、１４１ｂを示す。（ｂ）キャプション１４２から生成される類似文１４２ａ、１４２ｂを示す。
【図6】（ａ）キャプション１４１から知識グラフ１６１を生成するプロセスを示す。（ｂ）形態素解析、構文解析及び意味解析のプロセスを適用する例を示す。
【図7】キャプション１４１、類似文１４１ａ、１４１ｂ、・・・から生成される知識グラフ１７１、１７２、１７３、・・・を示す。
【図8】変形例として、キャプション１８１ａ、１８１ｂから知識グラフを生成するプロセスを示す。
【図9】実施の形態の応用例（１）としての危険予測装置１０ａの構成を示すブロック図である。
【図10】ルールテーブル１６５のデータ構造の一例を示す。
【図11】危険予測装置１０ａの動作を示すフローチャートである。
【図12】実施の形態の応用例（２）としての検索装置１０ｂの構成を示すブロック図である。
【図13】シーンテーブル１９０のデータ構造の一例を示す。
【図14】検索装置１０ｂの動作を示すフローチャートである。
【図15】実施の形態の応用例（３）としてのＶＱＡ装置１０ｃの構成を示すブロック図である。
【図16】入力データ１２７から解答データ３０３を生成するプロセスを示す。
【図17】実施の形態の応用例（４）としての知識グラフ補完装置１０ｄの構成を示すブロック図である。
【図18】知識グラフを補完するプロセスを示す。
【図19】実施の形態の変形例として、文章生成において、確率を用いて、一つの単語の後に続く単語を選択する様子を示す。
【図20】知識グラフの例を示す。
【発明を実施するための形態】
【0035】
１ 実施の形態
一つの実施の形態としての知識グラフ生成装置１０について、説明する。
一つの実施の形態としての知識グラフ生成装置１０について、説明する。
【0036】
１．１ 知識グラフ生成装置１０
知識グラフ生成装置１０は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０６、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０７、ＲＡＭ（Ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）１０８、バス１０９、記憶部１０５及び入出力部１２０から構成されている。ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５及び入出力部１２０は、バス１０９を介して、相互に接続されている。
知識グラフ生成装置１０は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０６、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０７、ＲＡＭ（Ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）１０８、バス１０９、記憶部１０５及び入出力部１２０から構成されている。ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５及び入出力部１２０は、バス１０９を介して、相互に接続されている。
【0037】
ＲＡＭ１０８は、読出し及び書込みが可能な不揮発性の半導体メモリから構成されており、ＣＰＵ１０６によるプログラム実行時のワークエリアを提供する。
【0038】
ＲＯＭ１０７は、読出しのみが可能な不揮発性の半導体メモリから構成されており、知識グラフ生成装置１０における処理を実行させるためのコンピュータープログラムである制御プログラム等を格納している。
【0039】
ＣＰＵ１０６は、ＲＯＭ１０７に記憶されている制御プログラムに従って動作する。
【0040】
ＣＰＵ１０６が、ＲＡＭ１０８をワークエリアとして用いて、ＲＯＭ１０７に記憶されている制御プログラムに従って動作することにより、ＣＰＵ１０６、ＲＯＭ１０７及びＲＡＭ１０８は、機能的に、画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４を構成する。
【0041】
（１）入出力部１２０及び記憶部１０５
入出力部１２０（取得手段、書込手段）は、記憶部１０５に記憶されているデータの読み出し、及び、記憶部１０５に対するデータの書き込みを行なう。
入出力部１２０（取得手段、書込手段）は、記憶部１０５に記憶されているデータの読み出し、及び、記憶部１０５に対するデータの書き込みを行なう。
【0042】
記憶部１０５（記憶手段）は、例えば、ハードディスクユニットから構成されている。
【0043】
記憶部１０５は、図１に示すように、動画像データ１３１及び知識データベース１５０を記憶している。
【0044】
（動画像データ１３１）
動画像データ１３１は、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）により規定された形式を有する動画像データである。図２には、スマートフォンを持った男性が階段を降りていく様子を撮影した動画像の例を示す。この図に示すように、動画像データ１３１は、時系列に沿って並ぶ静止画像（フレーム画像）１３２、１３３、１３４、１３５、・・・を含んでいる。静止画像１３２、１３３、１３４、１３５、・・・は、それぞれ、識別番号により識別される。
動画像データ１３１は、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）により規定された形式を有する動画像データである。図２には、スマートフォンを持った男性が階段を降りていく様子を撮影した動画像の例を示す。この図に示すように、動画像データ１３１は、時系列に沿って並ぶ静止画像（フレーム画像）１３２、１３３、１３４、１３５、・・・を含んでいる。静止画像１３２、１３３、１３４、１３５、・・・は、それぞれ、識別番号により識別される。
【0045】
各静止画像は、１又は複数のオブジェクト画像を含んでいる。各オブジェクト画像には、１又は複数のオブジェクトが表現されている。ここで、オブジェクトは、人や物である。
【0046】
例えば、図４に示す静止画像１３４は、３個のオブジェクト画像１３４ａ、１３４ｂ、１３４ｃを含んでいる。オブジェクト画像１３４ａには、人及びスマートフォンが表されている。また、オブジェクト画像１３４ｂには、人の腕及びスマートフォンが表されている。また、オブジェクト画像１３４ｃには、人の足及び階段が表されている。ここで、人、人の腕、人の足、スマートフォン、階段は、それぞれ、オブジェクトである。
【0047】
（知識データベース１５０）
知識データベース１５０は、知識グラフを記憶するためのデータベースである。
知識データベース１５０は、知識グラフを記憶するためのデータベースである。
【0048】
知識データベース１５０は、図３に示すように、複数の知識グラフ１５１、１５１ａ、１５１ｂ、・・・を記憶するための領域を備えている。
【0049】
知識グラフ１５１は、エンティティ１（１５２）、エンティティ２（１５４）、及び、エンティティ１（１５２）とエンティティ２（１５４）とを関係付けるリレーション１５３から構成されている。リレーション１５３には、ラベルが付されている。知識グラフ１５１は、識別番号１５５により識別される。その他の知識グラフ１５１ａ、１５１ｂ、・・・も、知識グラフ１５１と同じ構造を有している。
【0050】
例えば、知識グラフ１５１ａは、エンティティ１（１５２ａ）「人」、エンティティ２（１５４ａ）「階段」、及び、エンティティ１（１５２ａ）とエンティティ２（１５４ａ）とを関係付けるリレーション１５３ａから構成されている。リレーション１５３ａには、ラベル「歩く」が付されている。知識グラフ１５１ａは、識別番号１５５ａ「ＩＤ００２」により識別される。
【0051】
また、知識グラフ１５１ｂは、エンティティ１（１５２ｂ）「人」、エンティティ２（１５４ｂ）「スマートフォン」、及び、エンティティ１（１５２ｂ）とエンティティ２（１５４ｂ）とを関係付けるリレーション１５３ｂから構成されている。リレーション１５３ｂには、ラベル「見る」が付されている。知識グラフ１５１ｂは、識別番号１５５ｂ「ＩＤ００３」により識別される。
【0052】
ここで、オブジェクトとエンティティとは、実質的に同一の概念である。オブジェクト画像に含まれる実体をオブジェクトと呼び、知識グラフの構成要素である実体をエンティティと呼ぶ。
【0053】
（２）画像認識部１０１
画像認識部１０１（画像認識手段）は、以下に示すようにして、取得したフレーム画像に画像認識を施して、複数のオブジェクトを検出する。なお、エンティティ（オブジェクト）は、以下に説明するように、コードとして表現される。
画像認識部１０１（画像認識手段）は、以下に示すようにして、取得したフレーム画像に画像認識を施して、複数のオブジェクトを検出する。なお、エンティティ（オブジェクト）は、以下に説明するように、コードとして表現される。
【0054】
画像認識部１０１には、一例として、ニューラルネットワークが組み込まれている。ニューラルネットワークは、公知であり、説明を省略する。このニューラルネットワークは、例えば、動物（人を含む）及び物、動物及び物の動作、動物及び物の状態、物と物との関係等を表した多数の画像をあらかじめ学習している。
【0055】
ここで、動物とは、例えば、人、男性、女性、犬、猫等である。物とは、例えば、容器、スマートフォン、階段等である。また、動物の動作とは、歩く、見る、立つ等である。さらに、物の状態とは、例えば、物が容器である場合、容器の蓋が開いている状態、又は、閉じている状態であり、物がスマートフォンである場合、着信を知らせるＬＥＤランプが点滅している状態である。
【0056】
画像認識部１０１は、入出力部１２０を介して、記憶部１０５から動画像データ１３１を読み出す。
【0057】
画像認識部１０１は、一例として、図４に示すように、組み込まれたニューラルネットワークを用いて、画像認識により、動画像データ１３１に含まれる静止画像１３４から、１又は複数のオブジェクトを検出する（プロセスＰ０１）。
【0058】
次に、画像認識部１０１は、動画像データ１３１に含まれる静止画像から認識して区別した動物及び物に該当する領域（オブジェクト）の特徴ベクトルを生成し、生成した特徴ベクトルをキャプション生成部１０２に対して出力する。また、画像認識部１０１は、動画像データ１３１に含まれる静止画像から認識して区別した動物および物、動物の動作並びに物の状態等をそれぞれ示すコード（番号）を生成し、生成したコードを、キャプション生成部１０２及び知識グラフ生成部１０４に対して出力してもよい。
【0059】
（３）キャプション生成部１０２
キャプション生成部１０２（文字表現生成手段）は、以下に示すようにして、複数のオブジェクトのうち、２つのオブジェクト間の関係を表すキャプション（文字表現、文章）を生成する。
キャプション生成部１０２（文字表現生成手段）は、以下に示すようにして、複数のオブジェクトのうち、２つのオブジェクト間の関係を表すキャプション（文字表現、文章）を生成する。
【0060】
キャプション生成部１０２には、例えば、Ｔｒａｎｓｆｏｒｍｅｒモデル等のＳｅｑ２Ｓｅｑモデルが組み込まれている。Ｔｒａｎｓｆｏｒｍｅｒモデルは、ｅｎｃｏｄｅｒ及びｄｅｃｏｄｅｒから構成され、単語間の距離（Ｐｏｓｉｔｉｏｎａｌ Ｅｎｃｏｄｉｎｇ）、注意メカニズム（Ｍｕｌｔｉ－ｈｅａｄ Ａｔｔｅｎｔｉｏｎ）、全結合（Ｆｅｅｄ Ｆｏｒｗａｒｄ）等が用いられている。Ｔｒａｎｓｆｏｒｍｅｒモデル、Ｓｅｑ２Ｓｅｑモデルは、公知であるので、説明を省略する。
【0061】
キャプション生成部１０２は、一例として、図４に示すように、画像認識部１０１から、特徴ベクトルを受け取る。特徴ベクトルを受け取ると、キャプション生成部１０２は、Ｔｒａｎｓｆｏｒｍｅｒモデル等の言語モデルを用いて、受け取った特徴ベクトルに対応する動物及び物、動物の動作並びに物の状態等を組み合わせて、キャプションを生成する（プロセスＰ０２）。
【0062】
キャプション生成部１０２により生成されるキャプションの例は、「男性が階段を歩いている」、「男性がスマートフォンを見ている」等である。このように、キャプションは、２つのオブジェクト間の関係を表す文章である。
【0063】
キャプション生成部１０２は、生成したキャプションを類似文生成部１０３に対して出力する。
【0064】
上記の通り、キャプション生成部１０２は、２つのオブジェクト間の関係を示す１つの文章を生成する。
【0065】
（４）類似文生成部１０３
類似文生成部１０３（文字表現生成手段）には、例えば、上述したＴｒａｎｓｆｏｒｍｅｒモデルが組み込まれている。なお、類似文生成部１０３は、キャプション生成部１０２に組み込まれたＴｒａｎｓｆｏｒｍｅｒモデルを用いる、としてもよい。
類似文生成部１０３（文字表現生成手段）には、例えば、上述したＴｒａｎｓｆｏｒｍｅｒモデルが組み込まれている。なお、類似文生成部１０３は、キャプション生成部１０２に組み込まれたＴｒａｎｓｆｏｒｍｅｒモデルを用いる、としてもよい。
【0066】
類似文生成部１０３は、キャプション生成部１０２から、キャプションを受け取る。次に、類似文生成部１０３は、Ｔｒａｎｓｆｏｒｍｅｒモデルを用いて、受け取ったキャプションに類似する類似文を生成する。
【0067】
一例として、図５（ａ）に示すように、類似文生成部１０３は、キャプション１４１「男性が階段を歩いている」から、類似文１４１ａ「男が階段を歩いている」及び類似文１４１ｂ「人が階段を歩いている」を生成する。また、一例として、図５（ｂ）に示すように、類似文生成部１０３は、キャプション１４２「男性がスマートフォンを見ている」から、類似文１４２ａ「男性が携帯電話を見ている」及び類似文１４２ｂ「男性がスマホを見ている」を生成する。
【0068】
類似文生成部１０３は、受け取ったキャプション及び生成した類似文を知識グラフ生成部１０４に対して、出力する。
【0069】
ここで、一例として、「男性」、「男」、「人」等の意味の上で類似している単語には、それぞれ、発生確率が予め設定されている、としてもよい。また、一例として、「スマートフォン」、「携帯電話」、「スマホ」等の意味の上で類似している単語にも、それぞれ、発生確率が予め設定されている、としてもよい。この場合、類似文を生成する際に、各単語に設定された確率に応じて、生成した類似文の発生する確率を設定してもよい。類似文生成部１０３は、複数の類似文のうち、設定された確率が、所定の閾値以上の場合に、その類似文を採用してもよい。
【0070】
このように、類似文生成部１０３は、キャプションに類似し、２つのオブジェクト間の関係を示す１つの類似文を生成する。
【0071】
こうして、キャプション生成部１０２及び類似文生成部１０３により、２つのオブジェクト間の関係を示す複数の文章を生成する。
【0072】
（５）知識グラフ生成部１０４
知識グラフ生成部１０４（知識グラフ生成手段）は、以下に示すように、２つのオブジェクトに相当する２つのエンティティ間の関係を、２つのオブジェクト間の関係を表す文章から抽出し、２つのエンティティ及び抽出した前記関係からなる知識グラフを生成する。
知識グラフ生成部１０４（知識グラフ生成手段）は、以下に示すように、２つのオブジェクトに相当する２つのエンティティ間の関係を、２つのオブジェクト間の関係を表す文章から抽出し、２つのエンティティ及び抽出した前記関係からなる知識グラフを生成する。
【0073】
知識グラフ生成部１０４は、画像認識部１０１から、動物及び物、動物の動作並びに物の状態等をそれぞれ示す特徴ベクトルを受け取る。受け取った特徴ベクトルから、動物及び物を表すエンティティを生成する。
【0074】
知識グラフ生成部１０４は、類似文生成部１０３から、キャプション及び類似文を受け取る。ここでは、キャプション及び類似文を文章と呼ぶ。
【0075】
知識グラフ生成部１０４は、受け取った全ての文章について、各文章を解釈して、動作主、対象及び述語を抽出する。
【0076】
例えば、知識グラフ生成部１０４は、図６（ａ）に示すように、文章「男性が階段を歩いている」を解釈して（プロセスＰ０６）、動作主１４５ａ「男が」、対象１４５ｂ「階段を」及び述語１４５ｃ「歩いている」を抽出する。
【0077】
次に、知識グラフ生成部１０４は、生成したエンティティのうち、動作主に相当するエンティティを、エンティティ１とする。また、知識グラフ生成部１０４は、生成したエンティティのうち、対象に相当するエンティティを、エンティティ２とする。さらに、知識グラフ生成部１０４は、述語をリレーションとする。このようにして、知識グラフ生成部１０４は、エンティティ１、エンティティ２及びリレーションからなる知識グラフを生成する。
【0078】
例えば、知識グラフ生成部１０４は、図６（ａ）に示すように、動作主１４５ａ「男性が」をエンティティ１（１６２）「男性」とし、対象１４５ｂ「階段を」をエンティティ２（１６４）「階段」とし、述語１４５ｃ「歩いている」をリレーション１６３「歩く」として、エンティティ１（１６２）、エンティティ２（１６４）及びリレーション１６３からなる知識グラフ１６１を生成する。
【0079】
このようにして、知識グラフ生成部１０４は、図７に一例として示すように、キャプション１４１、類似文１４１ａ、類似文１４１ｂ、キャプション１４２、類似文１４２ａ、類似文１４２ｂのそれぞれについて、知識グラフ１７１、１７２、１７３、１７４、１７５、１７６を生成する。
【0080】
次に、知識グラフ生成部１０４は、入出力部１２０を介して、生成した知識グラフを記憶部１０５の知識データベース１５０に書き込む。
【0081】
また、知識グラフ生成部１０４は、複数の文章（キャプション及び類似文）から、２つのエンティティ間の関係を、複数、抽出し、２つのエンティティと、抽出した複数の関係のそれぞれとを、複数の知識グラフとして、生成してもよい。
【0082】
（変形例１）
なお、知識グラフ生成部１０４は、Ｄｅｅｐ Ｌｅａｒｎｉｎｇベースの手法を用いて、Ｓｅｍａｎｔｉｃ Ｒｏｌｅ Ｌａｂｅｌｉｎｇ（意味役割付与）を行い、その結果を用いて、知識グラフを生成してもよい。
なお、知識グラフ生成部１０４は、Ｄｅｅｐ Ｌｅａｒｎｉｎｇベースの手法を用いて、Ｓｅｍａｎｔｉｃ Ｒｏｌｅ Ｌａｂｅｌｉｎｇ（意味役割付与）を行い、その結果を用いて、知識グラフを生成してもよい。
【0083】
つまり、知識グラフ生成部１０４は、既知の知識グラフ又は既知の文章及び既知の知識グラフを基にして文章から知識グラフを生成する方法を予め学習して記憶しており、記憶している方法に基づいて、文章から知識グラフを生成してもよい。
【0084】
ここで、既知の知識グラフ及び既知の文章（元の文章）の例は、以下の通りである。
【0085】
エンティティ１：「carnival glass」
リレーション：「derived from」
エンティティ２：「glass」
元の文章：「The word "carnival glass" is derived from "glass"」
知識グラフ生成部１０４は、これらを用いて、Ｅｎｄ－ｔｏ－Ｅｎｄで、知識グラフのエンティティ１、２、リレーションを文章から推定するモデルを学習する。
リレーション：「derived from」
エンティティ２：「glass」
元の文章：「The word "carnival glass" is derived from "glass"」
知識グラフ生成部１０４は、これらを用いて、Ｅｎｄ－ｔｏ－Ｅｎｄで、知識グラフのエンティティ１、２、リレーションを文章から推定するモデルを学習する。
【0086】
このモデルを用いて、知識グラフ生成部１０４は、文章を単語に分割し、後述する特徴ベクトルに変換し、Ｔｒａｎｓｆｏｒｍｅｒモデルのｅｎｃｏｄｅｒに入力する。次に、Ｔｒａｎｓｆｏｒｍｅｒモデルのｄｅｃｏｄｅｒを、全結合層などに置き換え、エンティティ１、２、リレーションに相当する単語を推定してもよい。
【0087】
（変形例２）
また、知識グラフ生成部１０４は、構文解析等を行なうことにより、予め定めたルールをベースとして、意味役割付与を行い、その結果を用いて、知識グラフを生成してもよい。以下の順で意味役割付与を行い、知識グラフを得る。
また、知識グラフ生成部１０４は、構文解析等を行なうことにより、予め定めたルールをベースとして、意味役割付与を行い、その結果を用いて、知識グラフを生成してもよい。以下の順で意味役割付与を行い、知識グラフを得る。
【0088】
（ａ）形態素解析：文章を形態素に分かち、品詞を推定する。
【0089】
（ｂ）構文解析：品詞の上位に存在する主部、述部、名詞句、動詞句などの構造を発見する。
【0090】
（ｃ）意味解析：文章内の主体や動作の対象が何かという意味を推定する。
【0091】
図６（ｂ）に、文章に形態素解析、構文解析及び意味解析を施して、知識グラフを生成する例を示す。
【0092】
知識グラフ生成部１０４は、文章３１に、形態素解析を施して、形態素３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅに分解する（プロセスＰ０７）。文章３１「私はおにぎりを食べた」は、形態素３２ａ「私」、形態素３２ｂ「は」、形態素３２ｃ「おにぎり」、形態素３２ｄ「を」及び形態素３２ｅ「食べた」に分解される。形態素３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅは、それぞれ、代名詞、助詞、名詞、助詞、動詞（過去形）である。
【0093】
次に、知識グラフ生成部１０４は、形態素３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅに、構文解析を施して、名詞句３３ａ「私」、助詞３３ｂ「は」、動詞句３３ｃ「おにぎりを食べた」に分類し、さらに、名詞句３３ａ及び助詞３３ｂを主部３３ｄ「私は」とし、動詞句３３ｃを述部３３ｅ「おにぎりを食べた」とする（プロセスＰ０８）。
【0094】
次に、知識グラフ生成部１０４は、主部３３ｄ及び述部３３ｅに、意味解析を施して、主体３４ａ「私」、動作３４ｂ「食べる」、動詞の対象３４ｃ「おにぎり」及び時制３４ｄ「過去」を生成する（プロセスＰ０９）。
【0095】
次に、知識グラフ生成部１０４は、画像認識部１０１から受け取ったコードから生成したエンティティのうち、主体３４ａ「私」に相当するエンティティを、エンティティ１（３５ａ）「私」とし、動作３４ｂ「食べる」をリレーション３５ｂとし、画像認識部１０１から受け取ったコードから生成した生成したエンティティのうち、動詞の対象３４ｃ「おにぎり」に相当するエンティティを、エンティティ２（３５ｃ）とし、エンティティ１（３５ａ）、リレーション３５ｂ、エンティティ２（３５ｃ）からなる知識グラフ３５を生成する（プロセスＰ１０）。
【0096】
１．２ まとめ
以上説明したように、知識グラフ生成装置１０は、取得したフレーム画像に画像認識を施してオブジェクトを検出し、そのうちの２つのオブジェクトから前記２つのエンティティを生成する画像認識部１０１、検出した２つのオブジェクトに相当する特徴ベクトルから、２つのオブジェクト間の関係を表すオリジナル文章を生成するキャプション生成部１０２、生成したオリジナル文章から当該オリジナル文章に類似する複数の類似文章を生成する類似文生成部１０３、生成したオリジナル文章及び複数の類似文章を用いて、２つのエンティティと、２つのエンティティ間の関係からなる複数の知識グラフを生成する知識グラフ生成部１０４を備える。
以上説明したように、知識グラフ生成装置１０は、取得したフレーム画像に画像認識を施してオブジェクトを検出し、そのうちの２つのオブジェクトから前記２つのエンティティを生成する画像認識部１０１、検出した２つのオブジェクトに相当する特徴ベクトルから、２つのオブジェクト間の関係を表すオリジナル文章を生成するキャプション生成部１０２、生成したオリジナル文章から当該オリジナル文章に類似する複数の類似文章を生成する類似文生成部１０３、生成したオリジナル文章及び複数の類似文章を用いて、２つのエンティティと、２つのエンティティ間の関係からなる複数の知識グラフを生成する知識グラフ生成部１０４を備える。
【0097】
このように、知識グラフ生成装置１０は、利用者に対して回答を求めることなく、画像から、２つのエンティティと２つのエンティティの間のリレーションとからなる知識グラフを生成することができる。
【0098】
なお、キャプションは、フレーム画像内の人や物体の関係性を表しているので、フレーム画像が表す意味を反映した知識グラフを生成するために、キャプションを用いることは、有用である。
【0099】
（１）なお、上記においては、知識グラフ生成装置１０は、キャプション生成部１０２及び類似文生成部１０３を備えるとしているが、これには限定されない。
【0100】
知識グラフ生成装置１０は、類似文生成部１０３を備えていない、としてもよい。
【0101】
この場合、キャプション生成部１０２は、一例として、２つのオブジェクト画像１３４ａ、１３４ｃ（図４）から、キャプション「男性が階段を歩いている」を生成し、キャプションの類似文を生成することなく、生成したキャプションを知識グラフ生成部１０４に対して、出力してもよい。
【0102】
ここで、知識グラフ生成部１０４は、生成したキャプションを用いて、２つのエンティティの関係を抽出し、２つのエンティティと、２つのエンティティ間の関係とからなる知識グラフを生成してもよい。
【0103】
（２）知識グラフ生成部１０４は、次のようにして、知識グラフを生成してもよい。
【0104】
非特許文献１には、Ｓｅｍａｎｔｉｃ Ｒｏｌｅ Ｌａｂｅｌｉｎｇ（ＳＲＬ、誰が、誰に対して、何をしたかという情報を抽出）をメインタスクとし、述語特定、係り受け解析、品詞の特定をサブタスクとして行うＥｎｄ－ｔｏ－Ｅｎｄのマルチタスク手法が記載されている。知識グラフ生成部１０４は、この手法を用いて、ＳＲＬの結果から、主体をエンティティ１とし、動作をリレーションとし、動作の対象をエンティティ２として、知識グラフを生成してもよい。
【0105】
１．３ 変形例
知識グラフ生成装置１０の変形例について、説明する。
知識グラフ生成装置１０の変形例について、説明する。
【0106】
この変形例では、知識グラフ生成部１０４は、図８に一例として示すように、類似文生成部１０３から受け取った文章としてのキャプション１８１ａ、１８１ｂ（類似文であってもよい。）をベクトル化して、文章毎に特徴ベクトル１８２を生成する（プロセスＰ１１）。ここで、キャプション１８１ａは、一例として、「男性が階段を歩いている」であり、キャプション１８１ｂは、「男性がスマートフォンを見ている」である。
【0107】
文章毎の特徴ベクトルの生成の手順について、説明する。
【0108】
知識グラフ生成部１０４は、受け取った文章から固定次元の分散表現を得る。例えば、ＳＷＥＭ（Ｓｉｍｐｌｅ Ｗｏｒｄ－Ｅｍｂｅｄｄｉｎｇ－ｂａｓｅｄ Ｍｅｔｈｏｄｓ）や、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ），ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）などのディープラーニングによるモデルを用いて、文章を特徴ベクトルに変換してもよい。ＳＷＥＭ、ＬＳＴＭ、ＣＮＮ，ＢＥＲＴは公知であるので、説明を省力する。ここで、文章が「男性が階段を歩いている」である場合、その特徴ベクトルは、例えば、（２．３１５９３６７Ｅ－１, ５．３１５２９１２９Ｅ－１,－６．２８２１９４２６Ｅ－１,－７．７３２１２９６９Ｅ－１,・・・）である（図８参照）。
【0109】
このようにして、知識グラフ生成部１０４は、文章毎に、その特徴ベクトルを生成する。
【0110】
記憶部１０５は、分類モデル１８３を予め記憶している。
【0111】
分類モデル１８３は、図８に一例として示すように、複数のリレーションから構成される。例えば、分類モデル１８３は、リレーション１８３ａ「歩く」、リレーション１８３ｂ「見る」、・・・等を含んでいる。
【0112】
次に、知識グラフ生成部１０４は、文章毎に生成した特徴ベクトルの中の、リレーション（例えば、「歩く」）が分類モデル１８３の中に存在するか否かを判断し、存在する場合、リレーション１８６「歩く」を特定する（プロセスＰ１２）。なお、存在しない場合、知識グラフ生成部１０４は、この特徴ベクトルから、リレーションを特定しない。このため、以下の処理は、実行されず、知識グラフは、生成されない。
【0113】
次に、知識グラフ生成部１０４は、画像認識部１０１から受け取ったコードから生成したエンティティのうちの２つのエンティティと、特定したリレーションとの全ての組合せを生成する（プロセスＰ１３）。
【0114】
ここで、図８に示す例においては、エンティティ１は、「男性」、「階段」、「スマートフォン」であり、エンティティ２も、「男性」、「階段」、「スマートフォン」であり、リレーションは、「歩く」、「見る」である。
【0115】
また、エンティティ１、エンティティ２及び特定したリレーションの組合せは、図８に示す例においては、知識グラフ１８４ａ、１８４ｂ、１８４ｃ、・・・である。
【0116】
次に、知識グラフ生成部１０４は、生成した組合せから、文章を作成する（プロセスＰ１４）。図８に示す例においては、文章１８５ａ、１８５ｂ、１８５ｃ、・・・が生成される。
【0117】
次に、知識グラフ生成部１０４は、受け取ったキャプション１８１ａが、生成した文章１８５ａ、１８５ｂ、１８５ｃ、・・・のいずれに類似しているかを判定する（プロセスＰ１５）。類似の判定をする際に、例えば、文章１８５ａ、１８５ｂ、１８５ｃ、・・・から特徴ベクトルを生成し、生成した特徴ベクトルと、受け取ったキャプション１８１ａの特徴ベクトルとを比較してもよい。
【0118】
次に、知識グラフ生成部１０４は、文章１８５ａ、１８５ｂ、１８５ｃ、・・・のうち、受け取ったキャプション１８１ａに類似する文章に対応する知識グラフを選択する。知識グラフ生成部１０４は、選択した知識グラフを知識データベースに１５０に書き込む（プロセスＰ１６）。
【0119】
なお、知識グラフ生成部１０４は、文章１８５ａ、１８５ｂ、１８５ｃ、・・・のうち、受け取ったキャプション１８１ａに最も類似する文章に対応する知識グラフを選択してもよい。また、知識グラフ生成部１０４は、文章１８５ａ、１８５ｂ、１８５ｃ、・・・のうち、受け取ったキャプション１８１ａとの類似度が、所定の閾値以上の文章に対応する知識グラフを選択してもよい。
【0120】
以上説明したように、知識グラフ生成部１０４は、複数のオブジェクトに相当する複数のエンティティから、２つのエンティティからなる候補組を、複数個、選択し、生成された文章（キャプション又は類似文）から、関係を抽出し、抽出した関係と選択した複数個の候補組のそれぞれとからなる複数の知識グラフの候補を生成し、前記文章を用いて、生成した複数の知識グラフの候補から、知識グラフを選択してもよい。
【0121】
また、知識グラフ生成部１０４は、生成した複数の知識グラフの候補のそれぞれについて、生成した文章（キャプション又は類似文）との類似度を算出し、算出した類似度が所定の閾値以上の知識グラフの候補を、知識グラフとして選択してもよい。
【0122】
このように、変形例においても、画像から、２つのエンティティと、２つのエンティティの間のリレーションとからなる知識グラフを生成することができる。
【0123】
また、複数の類似文を生成することにより、複数種類の知識グラフを仮に生成し、そのうち、確度の高い知識グラフを知識データベース追加することができる。
【0124】
また、自然言語モデルにおいて、似た意味を持つ単語は、似た特徴ベクトルとなる性質を利用して、同様の類似文を容易に生成することができる。
【0125】
１．４ 応用例（１）
実施の形態の応用例（１）としての危険予測装置１０ａ（情報処理装置）について説明する。
実施の形態の応用例（１）としての危険予測装置１０ａ（情報処理装置）について説明する。
【0126】
危険予測装置１０ａは、撮影された動画像データにより、撮影された状況の危険度を推定する。
【0127】
（１）危険予測装置１０ａ
危険予測装置１０ａは、図９に示すように、ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５（記憶手段）、バス１０９、入力部１１１、カメラ１１２、出力部１１３、スピーカー１１４及び入出力部１２０から構成されている。ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５、入力部１１１、出力部１１３及び入出力部１２０は、バス１０９を介して、相互に接続されている。
危険予測装置１０ａは、図９に示すように、ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５（記憶手段）、バス１０９、入力部１１１、カメラ１１２、出力部１１３、スピーカー１１４及び入出力部１２０から構成されている。ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５、入力部１１１、出力部１１３及び入出力部１２０は、バス１０９を介して、相互に接続されている。
【0128】
危険予測装置１０ａのＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５、バス１０９及び入出力部１２０は、それぞれ、実施の形態の知識グラフ生成装置１０のＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５、バス１０９及び入出力部１２０と、同様の構成を有している。
【0129】
危険予測装置１０ａは、実施の形態の知識グラフ生成装置１０の機能に加えて、固有の機能を有している。
【0130】
ここでは、知識グラフ生成装置１０との相違点を中心として説明する。
【0131】
ＲＯＭ１０７には、危険予測装置１０ａにおける処理を実行させるためのコンピュータープログラムである制御プログラム等が格納されている。
【0132】
ＣＰＵ１０６が、ＲＡＭ１０８をワークエリアとして用いて、ＲＯＭ１０７に記憶されている制御プログラムに従って動作することにより、ＣＰＵ１０６、ＲＯＭ１０７及びＲＡＭ１０８は、機能的に、画像認識部１０１、キャプション生成部１０２、類似文生成部１０３、知識グラフ生成部１０４及び危険判定部１１０を構成する。
【0133】
画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４は、それぞれ、実施の形態の知識グラフ生成装置１０の画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４と同一の構成を有している。
【0134】
（２）記憶部１０５
記憶部１０５は、動画像データ１３１、知識データベース１５０、ルールテーブル１６５を記憶している。また、記憶部１０５は、動画像データ１７０を記憶するための領域を備えている。
記憶部１０５は、動画像データ１３１、知識データベース１５０、ルールテーブル１６５を記憶している。また、記憶部１０５は、動画像データ１７０を記憶するための領域を備えている。
【0135】
動画像データ１３１及び知識データベース１５０は、それぞれ、実施の形態の動画像データ１３１及び知識データベース１５０と同一である。
【0136】
知識データベース１５０は、既に、動画像データ１３１から生成した知識グラフを記憶している、とする。
【0137】
ルールテーブル１６５は、一例として、図１０に示すように、複数のルールデータ１６６を予め記憶しているデータテーブルである。各ルールデータ１６６は、知識データベース１５２に含まれる知識グラフを用いる際の危険度を示す。
【0138】
各ルールデータ１６６は、識別番号１６７、条件１６８及び危険度１６９を対応付けて含んでいる。
【0139】
識別番号１６７は、対応するルールデータ１６６を一意に識別するための識別情報である。
【0140】
条件１６８は、対応する危険度１６９が適用される条件を示す。条件１６８は、知識データベース１５０に含まれる知識グラフを識別する識別情報からなる。条件１６８は、例えば、一つの知識グラフを識別する一つの識別情報からなる場合があり、この場合、条件１６８は、一つの知識グラフのみを用いることを示す。また、条件１６８は、例えば、二つの知識グラフを識別する二つの識別情報からなる場合がある。この場合、二つの知識グラフは、ＡＮＤ条件により結合される。さらに、条件１６８は、例えば、三つ以上の知識グラフを識別する三つ以上の識別情報からなる場合もある。
【0141】
危険度１６９は、対応するルールデータ１６６が適用される場合の危険度を示す。危険度１６９は、例えば、「０」、「１」、「３」、・・・、「９」のいずれかの値を取る。「０」は、最も低い危険度であり、「９」は、最も高い危険度である。
【0142】
危険度１６９は、知識グラフに応じて、人手により、設定される。
【0143】
例えば、図１０に示すように、識別番号「Ｒ００１」により識別されるルールデータは、条件「ＩＤ００２」及び危険度「１」を含む。条件「ＩＤ００２」は、知識データベース１５０に含まれる知識グラフ１５１ａ（図３）を示している。知識グラフ１５１ａは、人が階段を歩くことを示しているので、その危険度は、比較的低い（危険度「１」）。
【0144】
また、例えば、図１０に示すように、識別番号「Ｒ００２」により識別されるルールデータは、条件「ＩＤ００３」及び危険度「０」を含む。条件「ＩＤ００３」は、知識データベース１５０に含まれる知識グラフ１５１ｂ（図３）を示している。知識グラフ１５１ｂは、人がスマートフォンを見ることを示しているので、その危険度は、極めて低い（危険度「０」）。
【0145】
また、例えば、図１０に示すように、識別番号「Ｒ００３」により識別されるルールデータは、条件「ＩＤ００２ ＡＮＤ ＩＤ００３」及び危険度「５」を含む。条件に含まれる「ＩＤ００２」は、知識データベース１５０に含まれる知識グラフ１５１ａを示し、条件に含まれる「ＩＤ００３」は、知識データベース１５０に含まれる知識グラフ１５１ｂを示している。つまり、条件「ＩＤ００２ ＡＮＤ ＩＤ００３」は、知識グラフ１５１ａ、かつ、知識グラフ１５１ｂが成立する場合を示している。この場合、人が階段を歩きながら、スマートフォンを見ることを示しているので、その危険度は、比較的高い（危険度「５」）。
【0146】
（３）入力部１１１及びカメラ１１２
カメラ１１２（受付手段）は、撮影により、動画像データを生成し、生成した動画像データを入力部１１１に対して出力する。
カメラ１１２（受付手段）は、撮影により、動画像データを生成し、生成した動画像データを入力部１１１に対して出力する。
【0147】
入力部１１１（受付手段）は、カメラ１１２から動画像データを受け取り、受け取った動画像データを、バス１０９を介して、記憶部１０５に、動画像データ１７０として書き込む。
【0148】
（４）出力部１１３及びスピーカー１１４
出力部１１３は、危険判定部１１０の制御により、アラーム音を示す電気信号をスピーカー１１４に対して、出力する。
出力部１１３は、危険判定部１１０の制御により、アラーム音を示す電気信号をスピーカー１１４に対して、出力する。
【0149】
スピーカー１１４は、出力部１１３から、アラーム音を示す電気信号を受信すると、受信した電気信号を音に変換して、アラーム音として、出力する。
【0150】
（５）画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４
実施の形態で説明した機能に加えて、画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４は、記憶部１０５に動画像データ１７０が書き込まれると、実施の形態で説明した方法と同様にして、動画像データ１７０から一つ又は複数の知識グラフを生成し、生成した一つ又は複数の知識グラフを危険判定部１１０に対して、出力する。
実施の形態で説明した機能に加えて、画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４は、記憶部１０５に動画像データ１７０が書き込まれると、実施の形態で説明した方法と同様にして、動画像データ１７０から一つ又は複数の知識グラフを生成し、生成した一つ又は複数の知識グラフを危険判定部１１０に対して、出力する。
【0151】
（６）危険判定部１１０
危険判定部１１０（実行手段）は、記憶部１０５に動画像データ１７０が書き込まれると、知識グラフ生成部１０４から、動画像データ１７０に基づいて生成された一つ又は複数の知識グラフを受け取る。
危険判定部１１０（実行手段）は、記憶部１０５に動画像データ１７０が書き込まれると、知識グラフ生成部１０４から、動画像データ１７０に基づいて生成された一つ又は複数の知識グラフを受け取る。
【0152】
危険判定部１１０は、動画像データ１７０に基づいて生成された一つ又は複数の知識グラフが、ルールテーブル１６０内の条件のいずれかに一致するか否かを判断する。
【0153】
動画像データ１７０に基づいて生成された一つ又は複数の知識グラフが、ルールテーブル１６０内の条件のいずれかに一致する場合、危険判定部１１０は、ルールテーブル１６０から、対応する危険度を抽出する。
【0154】
次に、危険判定部１１０は、抽出した危険度と閾値（例えば、「４」）とを比較して、抽出した危険度が閾値より低い場合、危険度が低いと判断して、処理を終了する。
【0155】
一方、抽出した危険度が閾値より高い場合、又は、抽出した危険度が閾値に一致する場合、危険度が高いと判断して、危険判定部１１０は、出力部１１３に対して、アラーム音を示す電気信号をスピーカー１１４に対して、出力するように、制御する。この場合、スピーカー１１４は、出力部１１３から受信した電気信号を音に変換して、アラーム音として、出力する。
【0156】
このように、危険判定部１１０は、記憶部１０５の知識データベース１５０に記憶されている知識グラフを用いて、カメラ１１２及び入力部１１１により入力されたデータに対して、処理を実行する。
【0157】
（７）危険予測装置１０ａにおける動作
危険予測装置１０ａにおける動作について、図１１に示すフローチャートを用いて、説明する。
危険予測装置１０ａにおける動作について、図１１に示すフローチャートを用いて、説明する。
【0158】
カメラ１１２は、撮影により、動画像データを生成する（ステップＳ２０１）。
【0159】
画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４は、カメラ１１２により生成された動画像データから、知識グラフを生成する（ステップＳ２０２）。
【0160】
危険判定部１１０は、生成された知識グラフと、ルールテーブル１６０とを比較する（ステップＳ２０３）。
【0161】
生成された知識グラフが、ルールテーブル１６０内の条件と一致する場合（ステップＳ２０４で「ＹＥＳ」）、危険判定部１１０は、生成された知識データと一致する条件を含むルールデータから危険度を抽出する（ステップＳ２０５）。
【0162】
危険判定部１１０は、抽出した危険度と閾値とを比較する（ステップＳ２０６）。
【0163】
抽出した危険度が閾値より高い場合、又は、抽出した危険度が閾値に一致する場合（ステップＳ２０６で「≧」）、危険判定部１１０は、出力部１１３に対して、アラーム音を出力するように制御する。スピーカー１１４は、アラーム音を出力する（ステップＳ２０７）。これで、一連の処理を終了する。
【0164】
生成された知識グラフが、ルールテーブル１６０内の条件と一致しない場合（ステップＳ２０４で「ＮＯ」）、又は、抽出した危険度が閾値より低い場合（ステップＳ２０６で「＜」）、処理を終了する。
【0165】
以上により、危険予測装置１０ａにおける動作を終了する。
【0166】
（８）まとめ
以上説明したように、知識データベース及びルールテーブルを用いて、カメラによる撮影により生成された動画像データから、動画像が撮影される状況の危険度を推定することができる。
以上説明したように、知識データベース及びルールテーブルを用いて、カメラによる撮影により生成された動画像データから、動画像が撮影される状況の危険度を推定することができる。
【0167】
１．５ 応用例（２）
実施の形態の応用例（２）としての検索装置１０ｂ（情報処理装置）について説明する。
実施の形態の応用例（２）としての検索装置１０ｂ（情報処理装置）について説明する。
【0168】
（１）検索装置１０ｂ
検索装置１０ｂは、予め記憶している動画像データの複数のシーンの中から、新たに入力した動画像のシーンに一致する又は類似するシーンを検索する。
検索装置１０ｂは、予め記憶している動画像データの複数のシーンの中から、新たに入力した動画像のシーンに一致する又は類似するシーンを検索する。
【0169】
ここで、シーンは、一つの塊として意味を有し、連続する複数の静止画像から構成される。例えば、男性が食事をするシーン、男性が階段を歩くシーン、男性がスマートフォンを見るシーン等である。また、例えば、男性が階段を歩いている場合に、階段の上段を歩く場面を一つのシーンとし、階段の中段を歩く場面を一つのシーンとし、階段の下段を歩く場面を一つのシーンとしてもよい。
【0170】
検索装置１０ｂは、図１２に示すように、ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５（記憶手段）、バス１０９、入力部１１１、カメラ１１２、出力部１１６、モニター１１７から構成されている。ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５、入力部１１１、出力部１１６及び入出力部１２０は、バス１０９を介して、相互に接続されている。
【0171】
検索装置１０ｂのＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５、バス１０９及び入出力部１２０は、それぞれ、実施の形態の知識グラフ生成装置１０のＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５、バス１０９及び入出力部１２０と、同様の構成を有している。
【0172】
検索装置１０ｂは、実施の形態の知識グラフ生成装置１０の機能に加えて、固有の機能を有している。
【0173】
ここでは、知識グラフ生成装置１０との相違点を中心として説明する。
【0174】
ＲＯＭ１０７には、検索装置１０ｂにおける処理を実行させるためのコンピュータープログラムである制御プログラム等が格納されている。
【0175】
ＣＰＵ１０６が、ＲＡＭ１０８をワークエリアとして用いて、ＲＯＭ１０７に記憶されている制御プログラムに従って動作することにより、ＣＰＵ１０６、ＲＯＭ１０７及びＲＡＭ１０８は、機能的に、画像認識部１０１、キャプション生成部１０２、類似文生成部１０３、知識グラフ生成部１０４及び類似判定部１１５を構成する。
【0176】
画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４は、それぞれ、実施の形態の知識グラフ生成装置１０の画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４と同一の構成を有している。
【0177】
（２）記憶部１０５
記憶部１０５は、動画像データ１３１、知識データベース１５０、シーンテーブル１９０を記憶している。また、記憶部１０５は、動画像データ１７０を記憶するための領域を備えている。
記憶部１０５は、動画像データ１３１、知識データベース１５０、シーンテーブル１９０を記憶している。また、記憶部１０５は、動画像データ１７０を記憶するための領域を備えている。
【0178】
動画像データ１３１及び知識データベース１５０は、それぞれ、実施の形態の動画像データ１３１及び知識データベース１５０と同一である。なお、検索装置１０ｂの知識データベース１５０は、既に、動画像データ１３１内の全てのシーンについて、それぞれ、知識グラフを記憶している、とする。
【0179】
シーンテーブル１９０は、一例として、図１３に示すように、複数のシーンデータ１９１を予め記憶しているデータテーブルである。各シーンデータ１９１は、知識データベース１５２に含まれる知識グラフと動画像データ１３１内のシーンの対応関係を示す。
【0180】
各シーンデータ１９１は、シーンの識別番号１９２と知識グラフの識別番号１９３とを対応付けて含んでいる。
【0181】
シーンの識別番号１９２は、動画像データ１３１内のシーンを一意に識別するための識別情報である。
【0182】
知識グラフの識別番号１９３は、知識データベース１５２に含まれる知識グラフを一意に識別するための識別情報である。
【0183】
知識データベース１５２に含まれる知識グラフが特定されれば、シーンテーブル１９０を用いて、特定された知識グラフに対応する動画像データ１３１内のシーンを特定することができる。
【0184】
（３）入力部１１１及びカメラ１１２
カメラ１１２（受付手段）は、撮影により、動画像データを生成し、生成した動画像データを入力部１１１に対して出力する。
カメラ１１２（受付手段）は、撮影により、動画像データを生成し、生成した動画像データを入力部１１１に対して出力する。
【0185】
入力部１１１（受付手段）は、カメラ１１２から動画像データを受け取り、受け取った動画像データを、バス１０９を介して、記憶部１０５に、動画像データ１７０として書き込む。
【0186】
（４）出力部１１６及びモニター１１７
出力部１１６は、類似判定部１１５の制御により、特定されたシーンを識別する識別番号をモニター１１７に対して、出力する。
出力部１１６は、類似判定部１１５の制御により、特定されたシーンを識別する識別番号をモニター１１７に対して、出力する。
【0187】
モニター１１７は、出力部１１６から、特定されたシーンを識別する識別番号を受信すると、受信した識別番号を表示する。
【0188】
（５）画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４
実施の形態で説明した機能に加えて、画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４は、記憶部１０５に動画像データ１７０が書き込まれると、実施の形態で説明した方法と同様にして、動画像データ１７０から一つ又は複数の知識グラフを生成し、生成した一つ又は複数の知識グラフを類似判定部１１５に対して、出力する。
実施の形態で説明した機能に加えて、画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４は、記憶部１０５に動画像データ１７０が書き込まれると、実施の形態で説明した方法と同様にして、動画像データ１７０から一つ又は複数の知識グラフを生成し、生成した一つ又は複数の知識グラフを類似判定部１１５に対して、出力する。
【0189】
（６）類似判定部１１５
類似判定部１１５は、記憶部１０５に動画像データ１７０が書き込まれると、知識グラフ生成部１０４から、動画像データ１７０に基づいて生成された一つ又は複数の知識グラフを受け取る。
類似判定部１１５は、記憶部１０５に動画像データ１７０が書き込まれると、知識グラフ生成部１０４から、動画像データ１７０に基づいて生成された一つ又は複数の知識グラフを受け取る。
【0190】
類似判定部１１５は、動画像データ１７０に基づいて生成された一つ又は複数の知識グラフが、知識データベース１５０内の知識グラフのいずれかに一致するか否かを判断する。
【0191】
動画像データ１７０に基づいて生成された一つ又は複数の知識グラフが、知識データベース１５０内の知識グラフのいずれかに一致する場合、類似判定部１１５は、シーンテーブル１９０から、一致する知識グラフを識別する識別番号に対応するシーンの識別番号を抽出する。
【0192】
次に、類似判定部１１５は、抽出したシーンの識別番号を出力部１１６に対して、出力して、抽出したシーンの識別番号をモニター１１７に表示するように、制御する。
【0193】
一方、動画像データ１７０に基づいて生成された一つ又は複数の知識グラフが、知識データベース１５０内の知識グラフのいずれにも一致しない場合、類似判定部１１５は、一致するシーンが存在しない旨を示すメッセージを出力部１１６に対して、出力して、当該メッセージをモニター１１７に表示するように、制御する。モニター１１７は、当該メッセージを表示する。
【0194】
このように、類似判定部１１５は、記憶部１０５の知識データベース１５０に記憶されている知識グラフを用いて、カメラ１１２及び入力部１１１により入力されたデータに対して、処理を実行する。
【0195】
（７）検索装置１０ｂにおける動作
検索装置１０ｂにおける動作について、図１４に示すフローチャートを用いて、説明する。
検索装置１０ｂにおける動作について、図１４に示すフローチャートを用いて、説明する。
【0196】
カメラ１１２は、撮影により、動画像データを生成する（ステップＳ２３１）。
【0197】
画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４は、カメラ１１２により生成された動画像データから、知識グラフを生成する（ステップＳ２３２）。
【0198】
類似判定部１１５は、生成された知識グラフと、知識データベース１５０内の知識グラフとを比較する（ステップＳ２３３）。
【0199】
生成された知識グラフが、知識データベース１５０内の知識グラフのいずれかと一致する場合（ステップＳ２３４で「ＹＥＳ」）、類似判定部１１５は、シーンテーブル１９０から、一致する知識グラフを識別する識別番号に対応するシーンの識別番号を抽出する（ステップＳ２３５）。次に、類似判定部１１５は、抽出したシーンの識別番号を出力部１１６に対して、出力して、抽出したシーンの識別番号をモニター１１７に表示するように、制御する。モニター１１７は、抽出したシーンの識別番号を表示する（ステップＳ２３６）。これで、一連の処理を終了する。
【0200】
一方、動画像データ１７０に基づいて生成された一つ又は複数の知識グラフが、知識データベース１５０内の知識グラフのいずれにも一致しない場合（ステップＳ２３４で「ＮＯ」）、類似判定部１１５は、一致するシーンが存在しない旨を示すメッセージを出力部１１６に対して、出力して、当該メッセージをモニター１１７に表示するように、制御する。モニター１１７は、当該メッセージを表示する（ステップＳ２３７）。これで、一連の処理を終了する。
【0201】
（８）まとめ
以上説明したように、知識データベース及びシーンテーブルを用いて、予め記憶している動画像のシーンの中から、カメラによる撮影により生成された動画像データ内のシーンと一致する、又は、類似するシーンを検索することができる。
以上説明したように、知識データベース及びシーンテーブルを用いて、予め記憶している動画像のシーンの中から、カメラによる撮影により生成された動画像データ内のシーンと一致する、又は、類似するシーンを検索することができる。
【0202】
なお、上記においては、生成された知識グラフが、知識データベース１５０内の知識グラフのいずれかと一致する場合、モニター１１７は、抽出したシーンの識別番号を表示する。しかし、これには限定されない。
【0203】
生成された知識グラフが、知識データベース１５０内の知識グラフのいずれかと一致する場合、類似判定部１１５は、シーンテーブル１９０から、一致する知識グラフを識別する識別番号に対応するシーンの識別番号を抽出し、抽出したシーンの識別番号を出力部１１６に対して、出力し、出力部１１６は、受け取ったシーンの識別番号により識別されるシーンを動画像データ１３１から抽出し、シーンの識別番号と抽出したシーンとをモニター１１７に出力してもよい。モニター１１７は、シーンの識別番号とシーンとを表示する。
【0204】
１．６ 応用例（３）
実施の形態の応用例（３）としてのＶＱＡ（Ｖｉｓｕａｌ Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ）装置１０ｃ（情報処理装置）について説明する。
実施の形態の応用例（３）としてのＶＱＡ（Ｖｉｓｕａｌ Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ）装置１０ｃ（情報処理装置）について説明する。
【0205】
ＶＱＡ装置１０ｃは、知識データベースを用いて、画像及び質問データから、質問に対する解答を得る。
【0206】
（１）ＶＱＡ装置１０ｃ
ＶＱＡ装置１０ｃは、図１５に示すように、ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５（記憶手段）、バス１０９、入力部１２６、出力部１１６、モニター１１７及び入出力部１２０から構成されている。ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５、入力部１２６、出力部１１６及び入出力部１２０は、バス１０９を介して、相互に接続されている。
ＶＱＡ装置１０ｃは、図１５に示すように、ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５（記憶手段）、バス１０９、入力部１２６、出力部１１６、モニター１１７及び入出力部１２０から構成されている。ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５、入力部１２６、出力部１１６及び入出力部１２０は、バス１０９を介して、相互に接続されている。
【0207】
ＶＱＡ装置１０ｃのＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５、バス１０９及び入出力部１２０は、それぞれ、実施の形態の知識グラフ生成装置１０のＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５、バス１０９及び入出力部１２０と、同様の構成を有している。
【0208】
ＶＱＡ装置１０ｃは、実施の形態の知識グラフ生成装置１０の機能に加えて、固有の機能を有している。
【0209】
ここでは、知識グラフ生成装置１０との相違点を中心として説明する。
【0210】
ＲＯＭ１０７には、ＶＱＡ装置１０ｃにおける処理を実行させるためのコンピュータープログラムである制御プログラム等が格納されている。
【0211】
ＣＰＵ１０６が、ＲＡＭ１０８をワークエリアとして用いて、ＲＯＭ１０７に記憶されている制御プログラムに従って動作することにより、ＣＰＵ１０６、ＲＯＭ１０７及びＲＡＭ１０８は、機能的に、画像認識部１０１、キャプション生成部１０２、類似文生成部１０３、知識グラフ生成部１０４及びＶＱＡ部１４０を構成する。
【0212】
画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４は、それぞれ、実施の形態の知識グラフ生成装置１０の画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４と同一の構成を有している。
【0213】
（２）記憶部１０５
記憶部１０５は、動画像データ１３１、知識データベース１５０を記憶している。
記憶部１０５は、動画像データ１３１、知識データベース１５０を記憶している。
【0214】
動画像データ１３１及び知識データベース１５０は、それぞれ、実施の形態の動画像データ１３１及び知識データベース１５０と同一である。
【0215】
知識データベース１５０は、既に、動画像データ１３１から生成した知識グラフを記憶している、とする。
【0216】
（３）入力部１２６
入力部１２６（受付手段）は、入力データ１２７の入力を受け付ける。
入力部１２６（受付手段）は、入力データ１２７の入力を受け付ける。
【0217】
入力データ１２７は、図１６に一例として示すように、画像１２７ａ及び質問データ１２７ｂから構成されている。画像１２７ａは、例えば、静止画像である。質問データ１２７ｂは、例えば、「人は何を見ているか？」という質問を表したテキストデータである。
【0218】
入力部１２６は、受け付けた入力データ１２７をＶＱＡ部１４０に対して出力する。
【0219】
（４）出力部１１６及びモニター１１７
出力部１１６は、ＶＱＡ部１４０から、質問に対する解答データを受け取る。解答データを受け取ると、受け取った解答データをモニター１１７に出力する。
出力部１１６は、ＶＱＡ部１４０から、質問に対する解答データを受け取る。解答データを受け取ると、受け取った解答データをモニター１１７に出力する。
【0220】
モニター１１７は、出力部１１６から、解答データを受け取ると、受け取った解答データを表示する。
【0221】
（５）画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４
実施の形態で説明した機能に加えて、画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４は、ＶＱＡ部１４０から画像１２７ａを受け取る。画像１２７ａを受け取ると、実施の形態で説明した方法と同様にして、画像１２７ａから一つの知識グラフ３０１（図１６）を生成し、生成した知識グラフ３０１をＶＱＡ部１４０に対して、出力する。
実施の形態で説明した機能に加えて、画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４は、ＶＱＡ部１４０から画像１２７ａを受け取る。画像１２７ａを受け取ると、実施の形態で説明した方法と同様にして、画像１２７ａから一つの知識グラフ３０１（図１６）を生成し、生成した知識グラフ３０１をＶＱＡ部１４０に対して、出力する。
【0222】
（６）ＶＱＡ部１４０
ＶＱＡ部１４０は、入力部１２６から入力データ１２７を受け取る。入力データ１２７は、上記の通り、一例として、画像１２７ａ及び質問データ１２７ｂを含む。
ＶＱＡ部１４０は、入力部１２６から入力データ１２７を受け取る。入力データ１２７は、上記の通り、一例として、画像１２７ａ及び質問データ１２７ｂを含む。
【0223】
入力データ１２７を受け取ると、ＶＱＡ部１４０は、画像認識部１０１に対して、画像１２７ａを出力して、画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４に対して、画像１２７ａの知識グラフの生成を指示する。ＶＱＡ部１４０は、知識グラフ生成部１０４から、知識グラフ３０１（図１６）を受け取る（プロセスＰ５１）。
【0224】
また、入力データ１２７を受け取ると、ＶＱＡ部１４０は、質問データ１２７ｂに対して、言語解析を実施して、質問型の知識グラフ３０２（図１６）を生成する（プロセスＰ５２）。
【0225】
ＶＱＡ部１４０は、知識グラフ３０１と、知識データベース１５０内の知識グラフとを比較して、一致する知識グラフが存在するか否かを判定する（プロセスＰ５３）。
【0226】
一致する知識グラフが存在する場合、ＶＱＡ部１４０は、知識データベース１５０から、一致する知識グラフ１５１ｂ（図１６）を抽出する。
【0227】
次に、ＶＱＡ部１４０は、抽出した知識グラフ１５１ｂと、生成した質問型の知識グラフ３０２とを比較して（プロセスＰ５４）、質問型の知識グラフ３０２内の「何？」に相当するエンティティを特定する。ここで、図１６に示す例においては、ＶＱＡ部１４０は、解答データ３０３として、「スマートフォン」を得る。
【0228】
ＶＱＡ部１４０は、解答データ３０３を出力部１１６に対して出力して、解答データ３０３をモニター１１７に出力するように、制御する。モニター１１７は、解答データ３０３を表示する（プロセスＰ５５）。
【0229】
このように、ＶＱＡ部１４０は、記憶部１０５に記憶されている知識データベース１５０の知識グラフを用いて、入力部１２６により入力されたデータに対して、処理を実行する。
【0230】
（７）まとめ
以上説明したように、知識データベースを用いて、画像及び質問から、質問に対する解答を得ることができる。
以上説明したように、知識データベースを用いて、画像及び質問から、質問に対する解答を得ることができる。
【0231】
１．７ 応用例（４）
実施の形態の応用例（４）としての知識グラフ補完装置１０ｄ（情報処理装置）について説明する。
実施の形態の応用例（４）としての知識グラフ補完装置１０ｄ（情報処理装置）について説明する。
【0232】
（１）知識グラフ補完装置１０ｄ
知識グラフ補完装置１０ｄは、図１７に示すように、ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５（記憶手段）、バス１０９、入力部１１８、マイク１１９、出力部１１３、スピーカー１１４及び入出力部１２０から構成されている。ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５、入力部１１８、出力部１１３及び入出力部１２０は、バス１０９を介して、相互に接続されている。
知識グラフ補完装置１０ｄは、図１７に示すように、ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５（記憶手段）、バス１０９、入力部１１８、マイク１１９、出力部１１３、スピーカー１１４及び入出力部１２０から構成されている。ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５、入力部１１８、出力部１１３及び入出力部１２０は、バス１０９を介して、相互に接続されている。
【0233】
知識グラフ補完装置１０ｄのＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５、バス１０９及び入出力部１２０は、それぞれ、実施の形態の知識グラフ生成装置１０のＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８、記憶部１０５、バス１０９及び入出力部１２０と、同様の構成を有している。
【0234】
知識グラフ補完装置１０ｄは、実施の形態の知識グラフ生成装置１０の機能に加えて、固有の機能を有している。
【0235】
ここでは、知識グラフ生成装置１０との相違点を中心として説明する。
【0236】
ＲＯＭ１０７には、知識グラフ補完装置１０ｄにおける処理を実行させるためのコンピュータープログラムである制御プログラム等が格納されている。
【0237】
ＣＰＵ１０６が、ＲＡＭ１０８をワークエリアとして用いて、ＲＯＭ１０７に記憶されている制御プログラムに従って動作することにより、ＣＰＵ１０６、ＲＯＭ１０７及びＲＡＭ１０８は、機能的に、画像認識部１０１、キャプション生成部１０２、類似文生成部１０３、知識グラフ生成部１０４、対話生成部１２１、音声認識部１２２、言語解析部１２３及び補完部１２４を構成する。
【0238】
画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４は、それぞれ、実施の形態の知識グラフ生成装置１０の画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４と同一の構成を有している。
【0239】
（２）記憶部１０５
記憶部１０５は、動画像データ１３１及び知識データベース１５０を記憶している。
記憶部１０５は、動画像データ１３１及び知識データベース１５０を記憶している。
【0240】
知識データベース１５０は、一例として、図１８に示すように、既に、知識グラフ１５１、１５１ａ、１５１ｂ、・・・に加えて、未知のエンティティ１５４ｃを含む知識グラフ１５１ｃを含んでいる。
【0241】
（３）入力部１１８及びマイク１１９
マイク１１９（受付手段）は、音声の入力を受け付け、音声をアナログの電気信号に変換して、アナログの音声信号を入力部１１８に対して出力する。
マイク１１９（受付手段）は、音声の入力を受け付け、音声をアナログの電気信号に変換して、アナログの音声信号を入力部１１８に対して出力する。
【0242】
入力部１１８（受付手段）は、マイク１１９からアナログの音声信号を受け取り、受け取ったアナログをデジタルの音声信号に変換し、デジタルの音声信号を、バス１０９を介して、音声認識部１２２に対して、出力する。
【0243】
（４）出力部１１３及びスピーカー１１４
出力部１１３は、対話生成部１２１から、デジタルのメッセージ音データを受信し、受信したデジタルのメッセージ音データをアナログのメッセージ音信号に変換し、アナログのメッセージ音信号をスピーカー１１４に対して、出力する。
出力部１１３は、対話生成部１２１から、デジタルのメッセージ音データを受信し、受信したデジタルのメッセージ音データをアナログのメッセージ音信号に変換し、アナログのメッセージ音信号をスピーカー１１４に対して、出力する。
【0244】
スピーカー１１４は、出力部１１３から、アナログのメッセージ音信号を受信し、受信したメッセージ音信号を音に変換して、音として、出力する。
【0245】
（５）画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４
画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４は、実施の形態で説明した機能を有する。
画像認識部１０１、キャプション生成部１０２、類似文生成部１０３及び知識グラフ生成部１０４は、実施の形態で説明した機能を有する。
【0246】
（６）対話生成部１２１
対話生成部１２１は、知識データベース１５０から未知のエンティティを含む知識グラフを抽出する。次に、抽出した知識グラフについて、未知のエンティティが何であるかを問う対話文を生成する（図１８のプロセスＰ４１）。また、対話生成部１２１は、抽出した未知のエンティティを含む知識グラフを補完部１２４に対して、出力する。
対話生成部１２１は、知識データベース１５０から未知のエンティティを含む知識グラフを抽出する。次に、抽出した知識グラフについて、未知のエンティティが何であるかを問う対話文を生成する（図１８のプロセスＰ４１）。また、対話生成部１２１は、抽出した未知のエンティティを含む知識グラフを補完部１２４に対して、出力する。
【0247】
図１８に示す知識データベース１５０においては、一例として、知識グラフ１５１ｃが未知のエンティティ１５４ｃを含む。未知のエンティティ１５４ｃは、操作の対象物であるので、対話生成部１２１は、対話文２０１「人が操作する対象物は何ですか？」を生成する。
【0248】
対話生成部１２１は、生成した対話文をデジタルのメッセージ音データに変換し、メッセージ音データを出力部１１３に出力して、アナログのメッセージ音信号をスピーカー１１４から出力するように、制御する。
【0249】
（７）音声認識部１２２
音声認識部１２２は、入力部１１８から、デジタルの音声信号を受信する。音声認識部１２２は、デジタルの音声信号に対して、音声認識を施して、音素の集合体を生成する（図１８のプロセスＰ４２）。
音声認識部１２２は、入力部１１８から、デジタルの音声信号を受信する。音声認識部１２２は、デジタルの音声信号に対して、音声認識を施して、音素の集合体を生成する（図１８のプロセスＰ４２）。
【0250】
例えば、デジタルの音声信号が「パソコンです」である場合、音声認識部１２２は、音素の集合体「パ」、「ソ」、「コ」、「ン」、「デ」、「ス」を生成する。
【0251】
音声認識部１２２は、生成した音素の集合体を言語解析部１２３に対して、出力する。
【0252】
（８）言語解析部１２３
言語解析部１２３は、音声認識部１２２から音素の集合体を受信する。
言語解析部１２３は、音声認識部１２２から音素の集合体を受信する。
【0253】
言語解析部１２３は、受信した音素の集合体に対して、言語解析を施して、単語を生成する（図１８のプロセスＰ４３）。
【0254】
一例として、音素の集合体「パ」、「ソ」、「コ」、「ン」、「デ」、「ス」を受信した場合、言語解析部１２３は、音素の集合体から、単語「パソコン」及び単語「です」を生成する。
【0255】
言語解析部１２３は、生成した単語を補完部１２４に対して、出力する。
【0256】
（９）補完部１２４
補完部１２４は、対話生成部１２１から、未知のエンティティを含む知識グラフを受け取る。また、補完部１２４は、言語解析部１２３から、単語を受け取る。
補完部１２４は、対話生成部１２１から、未知のエンティティを含む知識グラフを受け取る。また、補完部１２４は、言語解析部１２３から、単語を受け取る。
【0257】
補完部１２４は、言語解析部１２３から受け取った単語により、未知のエンティティを含む知識グラフを補完する（図１８のプロセスＰ４４）。
【0258】
図１８に示す例においては、補完部１２４は、知識グラフ１５１ｃの未知のエンティティ１５４ｃを、単語「パソコン」により、補完して、知識グラフ２０３を生成する。
【0259】
補完部１２４は、知識データベース１５０内の未知のエンティティを含む知識グラフを、補完により生成した知識グラフに書き換える（図１８のプロセスＰ４５）。
【0260】
（１０）まとめ
以上説明したように、対話生成部１２１、音声認識部１２２、言語解析部１２３及び補完部１２４は、記憶部１０５に記憶されている知識データベース１５０の知識グラフを用いて、マイク１１９及び入力部１１８により入力されたデータに対して、処理を実行する。
以上説明したように、対話生成部１２１、音声認識部１２２、言語解析部１２３及び補完部１２４は、記憶部１０５に記憶されている知識データベース１５０の知識グラフを用いて、マイク１１９及び入力部１１８により入力されたデータに対して、処理を実行する。
【0261】
上記の通り、知識データベース内の未知のエンティティを含む知識グラフを、補完により生成した知識グラフに書き換えることができる。
【0262】
２ その他の変形例
本開示に係る態様は、上記において説明した実施の形態及び変形例には、限定されない。次に示すように構成してもよい。
本開示に係る態様は、上記において説明した実施の形態及び変形例には、限定されない。次に示すように構成してもよい。
【0263】
（１）キャプション生成部１０２は、次に示すようにして、複数種類の文章を生成してもよい。
【0264】
文章生成では、文章の一部（ｘ１：ｔ－１）が与えられたとき、その後に続く単語（ｘｔ）の確率を予測する。続く単語の確率に従って、続く単語を選択する（図１９参照）。
【0265】
図１９に示すように、単語３２１「Ｔｈｅ」が与えられたとき、次に続く単語３２２「ｃａｒ」を選択する。ここで、単語「ｎｉｃｅ」、単語「ｄｏｇ」、単語「ｃａｒ」、・・・の確率は、それぞれ、「０．５」、「０．４」、「０．２」、・・・であると予測されたとする。単語３２２「ｃａｒ」の確率は、上位から３番目の「０．２」である。このように、最も確率の高い単語以外を選択することもできる。次に、単語３２２「ｃａｒ」に続く単語として、単語３２３「ｄｒｉｖｅｓ」を選択する。ここで、単語「ｄｒｉｖｅｓ」、単語「ｉｓ」、単語「ｓｔｏｐｓ」、・・・の確率は、それぞれ、「０．６」、「０．４」、「０．１」、・・・であると予測されたとする。単語３２３「ｄｒｉｖｅｓ」は、選択できる複数の単語のうち、その確率が最も高い。
【0266】
文章の各単語ｘｉが語彙Ｖから選択されたものであり（ｘｉ∈Ｖ）、文章をｘ=（ｘ１,・・・ｘｎ）とすると、文章ｘを生成する確率は、以下の通りである。
【0267】
【数1】
【0268】
（ａ）決定論的デコーディング：最も確率の高い単語を選択
（ｂ）確率論的デコーディング：予測された確率分布Ｐ（ｘｔ|ｘ１,・・・,ｘｔ－１）からサンプリングする。
（ｂ）確率論的デコーディング：予測された確率分布Ｐ（ｘｔ|ｘ１,・・・,ｘｔ－１）からサンプリングする。
【0269】
確率論的デコーディングを用いることで、複数種類の文章を生成することができる。
【0270】
なお、低確率の単語を生成することを防ぐためには、ｔｏｐ－Ｋサンプリング（上位Ｋ個から選択）が有効である。
【0271】
（２）エンティティ１、リレーション及びエンティティ２からなる知識グラフの例を図２０に示す。
【0272】
【0273】
ここで、知識グラフは、人の行動を示すだけではなく、以下のような関係も示すことができる。
【0274】
知識グラフ３５３は、エンティティ１「スマートフォン」、リレーション「表示」、エンティティ２「メッセージ」からなり、スマートフォンが、メッセージを表示することを示す。つまり、知識グラフ３５３は、スマートフォンの動作を示す。
【0275】
知識グラフ３５４は、エンティティ１「Ａ氏」、リレーション「友人」、エンティティ２「Ｂ氏」からなり、Ａ氏が、Ｂ氏と友人であることを示す。つまり、知識グラフ３５４は、Ａ氏とＢ氏との関係を示す。
【0276】
知識グラフ３５５は、エンティティ１「学生」、リレーション「行く」、エンティティ２「学校」からなり、学生が、学校へ行くことを示す。つまり、知識グラフ３５５は、学生の行動を示す。
【0277】
知識グラフ３５６は、エンティティ１「学生」、リレーション「属する」、エンティティ２「学校」からなり、学生が、学校に属することを示す。つまり、知識グラフ３５６は、学生の帰属関係を示す。
【0278】
知識グラフ３５７は、エンティティ１「象」、リレーション「大きい」、エンティティ２「ねずみ」からなり、象が、ねずみより大きいことを示す。つまり、知識グラフ３５７は、象とねずみの大小関係を示す。
【0279】
知識グラフ３５８は、エンティティ１「鉄球」、リレーション「重い」、エンティティ２「羽」からなり、鉄球が、羽より重いことを示す。つまり、知識グラフ３５８は、鉄球と羽との重さの関係を示す。
【0280】
知識グラフ３５９は、エンティティ１「目玉焼き」、リレーション「材料」、エンティティ２「タマゴ」からなり、目玉焼きの材料がタマゴであることを示す。つまり、知識グラフ３５９は、目玉焼きとタマゴが材料で関係している、ことを示す。
【0281】
知識グラフ３６０は、エンティティ１「目玉焼き」、リレーション「調理方法」、エンティティ２「焼く」からなり、目玉焼きは、焼くことにより調理されることを示す。つまり、知識グラフ３６０は、目玉焼きと焼く行為が調理方法で関係している、ことを示す。
【0282】
知識グラフ３６１は、エンティティ１「目玉焼き」、リレーション「調理器具」、エンティティ２「フライパン」からなり、目玉焼きは、フライパンを用いて調理されることを示す。つまり、知識グラフ３６１は、目玉焼きと焼く行為が調理器具で関係している、ことを示す。
【0283】
知識グラフ３６２は、エンティティ１「ニワトリ」、リレーション「親子」、エンティティ２「ヒヨコ」からなり、ニワトリとヒヨコとは、親子関係にあることを示している。
【0284】
知識グラフ３６３は、エンティティ１「卵」、リレーション「孵る」、エンティティ２「雛」からなり、卵から雛が孵ることを示す。つまり、知識グラフ３６３は、卵から雛への変化の関係を関係している。
【0285】
知識グラフ３６４は、エンティティ１「空」、リレーション「色」、エンティティ２「青」からなり、空の色が青であることを示す。つまり、知識グラフ３６４は、空について、色という一つの属性を示している。
【0286】
知識グラフ３６５は、エンティティ１「台風」、リレーション「発生」、エンティティ２「暴風」からなり、台風により暴風が発生することを示す。つまり、知識グラフ３６５は台風と暴風との因果関係を示している。
【0287】
上記の通り、知識グラフは、人の行動を示すだけではなく、エンティティ１とエンティティ２との間の様々な関係を表現することができる。
【0288】
（３）上記の実施の形態においては、画像認識部１０１は、動画像データに含まれる１枚の静止画像から、複数のオブジェクトを特定する。知識グラフ生成部１０４は、１枚の静止画像から、特定された複数のオブジェクト（複数のエンティティ）のうち、２つのエンティティ間の関係を示す知識グラフを生成する。
【0289】
しかし、これには、限定されない。
【0290】
画像認識部１０１は、動画像データに含まれる第１の静止画像から第１のオブジェクトを特定する。また、画像認識部１０１は、動画像データに含まれる第２のオブジェクトを特定してもよい。知識グラフ生成部１０４は、第１の静止画像から、特定された第１のオブジェクト（第１のエンティティ）と、第２の静止画像から、特定された第２のオブジェクト（第２のエンティティ）との間の関係を示す知識グラフを生成してもよい。
【0291】
（４）上記の実施の形態に示す方法に代えて、次のようにしてもよい。
【0292】
画像認識部１０１は、フレーム画像から、複数のオブジェクトを検出し、検出したオブジェクトから「階段」、「スマートフォン」等を認識し、その認識結果を示すコードをキャプション生成部１０２に出力してもよい。キャプション生成部１０２は、コードを受け取り、受け取ったコードを用いて、２つのオブジェクト間の関係を表すキャプション（文字表現、文章）を生成してもよい。
【0293】
（５）上記の実施の形態、変形例を組み合わせてもよい。
【産業上の利用可能性】
【0294】
本開示に係る態様は、利用者に対して回答を求めることなく、２つのエンティティと、２つのエンティティの間のリレーションとからなる知識グラフを生成することができる、という優れた効果を奏し、知識グラフを生成する技術として好適である。
【符号の説明】
【0295】
１０ 知識グラフ生成装置
１０ａ 危険予測装置
１０ｂ 検索装置
１０ｃ ＶＱＡ装置
１０ｄ 知識グラフ補完装置
１０１ 画像認識部
１０２ キャプション生成部
１０３ 類似文生成部
１０４ 知識グラフ生成部
１０５ 記憶部
１０６ ＣＰＵ
１０７ ＲＯＭ
１０８ ＲＡＭ
１０９ バス
１１０ 危険判定部
１１１ 入力部
１１２ カメラ
１１３ 出力部
１１４ スピーカー
１１５ 類似判定部
１１６ 出力部
１１７ モニター
１１８ 入力部
１１９ マイク
１２０ 入出力部
１２１ 対話生成部
１２２ 音声認識部
１２３ 言語解析部
１２４ 補完部
１４０ ＶＱＡ部
１０ａ 危険予測装置
１０ｂ 検索装置
１０ｃ ＶＱＡ装置
１０ｄ 知識グラフ補完装置
１０１ 画像認識部
１０２ キャプション生成部
１０３ 類似文生成部
１０４ 知識グラフ生成部
１０５ 記憶部
１０６ ＣＰＵ
１０７ ＲＯＭ
１０８ ＲＡＭ
１０９ バス
１１０ 危険判定部
１１１ 入力部
１１２ カメラ
１１３ 出力部
１１４ スピーカー
１１５ 類似判定部
１１６ 出力部
１１７ モニター
１１８ 入力部
１１９ マイク
１２０ 入出力部
１２１ 対話生成部
１２２ 音声認識部
１２３ 言語解析部
１２４ 補完部
１４０ ＶＱＡ部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】