(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023072435
(43)【公開日】2023-05-24
(54)【発明の名称】知識データ生成装置及びプログラム
(51)【国際特許分類】
G06F 16/908 20190101AFI20230517BHJP
G10L 15/10 20060101ALI20230517BHJP
G06F 16/90 20190101ALI20230517BHJP
【ＦＩ】
G06F16/908
G10L15/10 200W
G06F16/90 100
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021184993
(22)【出願日】2021-11-12
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100121119
【弁理士】
【氏名又は名称】花村 泰伸
(72)【発明者】
【氏名】小松 佑人
(72)【発明者】
【氏名】藤沢 寛
(72)【発明者】
【氏名】藤津 智
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175EA01
5B175FB03
(57)【要約】
【課題】様々なコンテンツの連携を実現し、精度の高いコンテンツを提示するためのデータを生成する。
【解決手段】知識データ生成装置１のデータ処理部１１は、放送番組コンテンツを構成するマルチモーダルな音声データ、画像データ及び字幕データに対し、対応する音声認識処理、物体認識処理等を施し、各処理に応じた１または複数のキーワードを求める。スコア算出部１３は、処理毎の重みを用いて、各処理に応じた１または複数のキーワードをスコア化し、同一のキーワード毎に、各処理を統合した１フレームのスコアを求める。キーワード選択部１４は、複数のキーワードのうち、スコアが最大のキーワードを選択し、コンテンツ情報及び選択したキーワードを、知識データとして生成する。
【選択図】図２
【解決手段】知識データ生成装置１のデータ処理部１１は、放送番組コンテンツを構成するマルチモーダルな音声データ、画像データ及び字幕データに対し、対応する音声認識処理、物体認識処理等を施し、各処理に応じた１または複数のキーワードを求める。スコア算出部１３は、処理毎の重みを用いて、各処理に応じた１または複数のキーワードをスコア化し、同一のキーワード毎に、各処理を統合した１フレームのスコアを求める。キーワード選択部１４は、複数のキーワードのうち、スコアが最大のキーワードを選択し、コンテンツ情報及び選択したキーワードを、知識データとして生成する。
【選択図】図２
【特許請求の範囲】
【請求項1】
コンテンツに関するキーワードを求め、前記コンテンツの識別情報及び前記キーワードを、所望コンテンツを検索する際に用いる知識データとして生成する知識データ生成装置であって、
前記コンテンツは、複数種類のデータにより構成されるものとして、
前記複数種類のデータのそれぞれについて、当該データに応じた所定の処理にて文章の文字列を検出し、前記文章の文字列から前記キーワードを求めるデータ処理部と、
前記データ処理部により前記複数種類のデータについて求めた複数のキーワードのそれぞれをスコア化し、同一のキーワード毎に、全ての前記所定の処理を統合したスコアを算出するスコア算出部と、
前記複数のキーワードのうち、前記スコア算出部により算出された前記スコアが最大となる前記キーワードを選択し、前記コンテンツの識別情報及び選択された前記キーワードからなる前記知識データを生成するキーワード選択部と、
を備えたことを特徴とする知識データ生成装置。
前記コンテンツは、複数種類のデータにより構成されるものとして、
前記複数種類のデータのそれぞれについて、当該データに応じた所定の処理にて文章の文字列を検出し、前記文章の文字列から前記キーワードを求めるデータ処理部と、
前記データ処理部により前記複数種類のデータについて求めた複数のキーワードのそれぞれをスコア化し、同一のキーワード毎に、全ての前記所定の処理を統合したスコアを算出するスコア算出部と、
前記複数のキーワードのうち、前記スコア算出部により算出された前記スコアが最大となる前記キーワードを選択し、前記コンテンツの識別情報及び選択された前記キーワードからなる前記知識データを生成するキーワード選択部と、
を備えたことを特徴とする知識データ生成装置。
【請求項2】
請求項１に記載の知識データ生成装置において、
前記コンテンツは、音声データ、画像データ及び字幕データのうちの２つまたは３つのデータから構成されるものとして、
前記データ処理部は、
前記コンテンツに前記音声データが含まれる場合、前記音声データの１フレームに対して音声認識処理を施し、音声についての文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、
前記コンテンツに前記画像データが含まれる場合、前記画像データの１フレームに対して物体認識処理を施し、物体の名称を含む文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、前記画像データの１フレームに対して文字認識処理及び形態素解析処理を施し、文字を含む文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、
前記コンテンツに前記字幕データが含まれる場合、前記字幕データの１フレームに対して形態素解析処理を施し、字幕についての文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、
前記スコア算出部は、
前記データ処理部により前記２つまたは３つのデータについて求めた複数のキーワードのそれぞれをスコア化し、同一のキーワード毎に、前記音声データに対する前記音声認識処理、前記画像データに対する前記物体認識処理、前記画像データに対する前記文字認識処理及び前記形態素解析処理、並びに、前記字幕データに対する前記形態素解析処理を統合した１フレームのスコアを算出し、
前記キーワード選択部は、
前記複数のキーワードのうち、前記スコア算出部により算出された前記１フレームのスコアが最大となる前記キーワードを選択し、前記知識データを生成する、ことを特徴とする知識データ生成装置。
前記コンテンツは、音声データ、画像データ及び字幕データのうちの２つまたは３つのデータから構成されるものとして、
前記データ処理部は、
前記コンテンツに前記音声データが含まれる場合、前記音声データの１フレームに対して音声認識処理を施し、音声についての文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、
前記コンテンツに前記画像データが含まれる場合、前記画像データの１フレームに対して物体認識処理を施し、物体の名称を含む文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、前記画像データの１フレームに対して文字認識処理及び形態素解析処理を施し、文字を含む文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、
前記コンテンツに前記字幕データが含まれる場合、前記字幕データの１フレームに対して形態素解析処理を施し、字幕についての文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、
前記スコア算出部は、
前記データ処理部により前記２つまたは３つのデータについて求めた複数のキーワードのそれぞれをスコア化し、同一のキーワード毎に、前記音声データに対する前記音声認識処理、前記画像データに対する前記物体認識処理、前記画像データに対する前記文字認識処理及び前記形態素解析処理、並びに、前記字幕データに対する前記形態素解析処理を統合した１フレームのスコアを算出し、
前記キーワード選択部は、
前記複数のキーワードのうち、前記スコア算出部により算出された前記１フレームのスコアが最大となる前記キーワードを選択し、前記知識データを生成する、ことを特徴とする知識データ生成装置。
【請求項3】
請求項１に記載の知識データ生成装置において、
前記コンテンツは、音声データ、画像データ及び字幕データのうちの２つまたは３つのデータから構成されるものとして、
前記データ処理部は、
前記コンテンツに前記音声データが含まれる場合、前記音声データの１フレームに対して音声認識処理を施し、音声についての文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、
前記コンテンツに前記画像データが含まれる場合、前記画像データの１フレームに対して物体認識処理を施し、物体の名称を含む文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、前記画像データの１フレームに対して文字認識処理及び形態素解析処理を施し、文字を含む文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、
前記コンテンツに前記字幕データが含まれる場合、前記字幕データの１フレームに対して形態素解析処理を施し、字幕についての文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、
前記スコア算出部は、
前記データ処理部により前記２つまたは３つのデータについて求めた複数のキーワードのそれぞれをスコア化し、同一のキーワード毎に、前記音声データに対する前記音声認識処理、前記画像データに対する前記物体認識処理、前記画像データに対する前記文字認識処理及び前記形態素解析処理、並びに、前記字幕データに対する前記形態素解析処理を統合した１フレームのスコアを算出し、予め設定されたＮフレーム（Ｎ個の連続フレーム、Ｎは２以上の整数）について前記１フレームのスコアを加算することで、Ｎフレームのスコアを算出し、
前記キーワード選択部は、
前記複数のキーワードのうち、前記スコア算出部により算出された前記Ｎフレームのスコアが最大となる前記キーワードを選択し、前記知識データを生成する、ことを特徴とする知識データ生成装置。
前記コンテンツは、音声データ、画像データ及び字幕データのうちの２つまたは３つのデータから構成されるものとして、
前記データ処理部は、
前記コンテンツに前記音声データが含まれる場合、前記音声データの１フレームに対して音声認識処理を施し、音声についての文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、
前記コンテンツに前記画像データが含まれる場合、前記画像データの１フレームに対して物体認識処理を施し、物体の名称を含む文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、前記画像データの１フレームに対して文字認識処理及び形態素解析処理を施し、文字を含む文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、
前記コンテンツに前記字幕データが含まれる場合、前記字幕データの１フレームに対して形態素解析処理を施し、字幕についての文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、
前記スコア算出部は、
前記データ処理部により前記２つまたは３つのデータについて求めた複数のキーワードのそれぞれをスコア化し、同一のキーワード毎に、前記音声データに対する前記音声認識処理、前記画像データに対する前記物体認識処理、前記画像データに対する前記文字認識処理及び前記形態素解析処理、並びに、前記字幕データに対する前記形態素解析処理を統合した１フレームのスコアを算出し、予め設定されたＮフレーム（Ｎ個の連続フレーム、Ｎは２以上の整数）について前記１フレームのスコアを加算することで、Ｎフレームのスコアを算出し、
前記キーワード選択部は、
前記複数のキーワードのうち、前記スコア算出部により算出された前記Ｎフレームのスコアが最大となる前記キーワードを選択し、前記知識データを生成する、ことを特徴とする知識データ生成装置。
【請求項4】
請求項２または３に記載の知識データ生成装置において、
前記スコア算出部は、
前記コンテンツに前記音声データが含まれる場合、前記音声データに対する前記音声認識処理に対する予め設定された重みを用いて、当該音声データについて求めた前記キーワードをスコア化し、
前記コンテンツに前記画像データが含まれる場合、前記画像データに対する前記物体認識処理、並びに、前記画像データに対する前記文字認識処理及び前記形態素解析処理のそれぞれに対する予め設定された重みを用いて、当該画像データについて求めた前記キーワードをスコア化し、
前記コンテンツに前記字幕データが含まれる場合、前記字幕データに対する前記形態素解析処理に対する予め設定された重みを用いて、当該字幕データについて求めた前記キーワードをスコア化する、ことを特徴とする知識データ生成装置。
前記スコア算出部は、
前記コンテンツに前記音声データが含まれる場合、前記音声データに対する前記音声認識処理に対する予め設定された重みを用いて、当該音声データについて求めた前記キーワードをスコア化し、
前記コンテンツに前記画像データが含まれる場合、前記画像データに対する前記物体認識処理、並びに、前記画像データに対する前記文字認識処理及び前記形態素解析処理のそれぞれに対する予め設定された重みを用いて、当該画像データについて求めた前記キーワードをスコア化し、
前記コンテンツに前記字幕データが含まれる場合、前記字幕データに対する前記形態素解析処理に対する予め設定された重みを用いて、当該字幕データについて求めた前記キーワードをスコア化する、ことを特徴とする知識データ生成装置。
【請求項5】
コンテンツに関するキーワードを求め、前記コンテンツの識別情報及び前記キーワードを、所望コンテンツを検索する際に用いる知識データとして生成する知識データ生成装置を構成するコンピュータを、
前記コンテンツを構成する複数種類のデータのそれぞれについて、当該データに応じた所定の処理にて文章の文字列を検出し、前記文章の文字列から前記キーワードを求めるデータ処理部、
前記データ処理部により前記複数種類のデータについて求めた複数のキーワードのそれぞれをスコア化し、同一のキーワード毎に、全ての前記所定の処理を統合したスコアを算出するスコア算出部、及び、
前記複数のキーワードのうち、前記スコア算出部により算出された前記スコアが最大となる前記キーワードを選択し、前記コンテンツの識別情報及び選択された前記キーワードからなる前記知識データを生成するキーワード選択部として機能させるためのプログラム。
前記コンテンツを構成する複数種類のデータのそれぞれについて、当該データに応じた所定の処理にて文章の文字列を検出し、前記文章の文字列から前記キーワードを求めるデータ処理部、
前記データ処理部により前記複数種類のデータについて求めた複数のキーワードのそれぞれをスコア化し、同一のキーワード毎に、全ての前記所定の処理を統合したスコアを算出するスコア算出部、及び、
前記複数のキーワードのうち、前記スコア算出部により算出された前記スコアが最大となる前記キーワードを選択し、前記コンテンツの識別情報及び選択された前記キーワードからなる前記知識データを生成するキーワード選択部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツを検索するためのデータベースを生成する技術に関する。
【背景技術】
【0002】
従来、コンテンツ同士を意味的に結び付けることでコンテンツを連携させ、ユーザの所望するコンテンツを提示する技術の開発が進められている。コンテンツを連携させる技術とは、コンテンツ同士を繋げる技術である。
【0003】
例えば教育分野において、ユーザによる自発的な学習を補助するために、現在使用しているコンテンツに関連するコンテンツを提示する手法が開示されている（例えば、特許文献１及び非特許文献１を参照）。
【0004】
一般に、指導者がユーザの習熟度を完全にかつ適切に把握することは困難であり、ユーザ自身の習熟度に合わせて、ユーザの自発的な学習が求められる。一方で、学習に使用するコンテンツも電子教材の普及に伴い、多種多様なものが作られている。
【0005】
ユーザは、自学自習する際に、多様なコンテンツの中から自分に合ったものを検索する必要があり、習熟度に応じたコンテンツ検索方法が所望されていた。つまり、ユーザの自発的な学習を補助するために、現在の学習に使用しているコンテンツから、これに関連するコンテンツを提示することが可能な手法が所望されていた。
【0006】
このような手法の例として、特許文献１には、学習指導要領を元に学習領域を定め、その中から学年、教科及び教科書単元に基づいて、レコメンド教材のコンテンツをユーザへ提示する手法が開示されている。
【0007】
また、非特許文献１には、教科書に記載されている各単元の導入部に基づいて、学習順序及び学習系統を構造化し、構造化されたデータを用いてユーザに学習支援を行う手法が開示されている。
【0008】
このようなコンテンツ提示手法は、ユーザの学習に対する習熟度の差が大きいという状況を考慮したものである。例えば、一斉授業のような画一的な教育方法では、ユーザの習熟度に合った教育を提供することができないため、このようなコンテンツ提示手法が用いられる。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開２０１５－１８１５９号公報
【非特許文献】
【0010】
【非特許文献1】後藤隆友、“オントロジーに基づく数学教育支援システムの提案”、電子情報通信学会技術研究報告、ＥＴ、教育工学 105(581)、7-12、2006
【発明の概要】
【発明が解決しようとする課題】
【0011】
しかしながら、前述の特許文献１に記載された学習指導要領を元にコンテンツを提示する手法、及び前述の非特許文献１に記載された学習順序を元にコンテンツを提示する手法では、ユーザは、現在の学習に使用しているコンテンツに関連するコンテンツとして、教材以外のコンテンツ（例えば放送番組コンテンツ）の提示を受けることが難しい。
【0012】
つまり、前述の手法では、学習指導要領等に関連する領域及びこれに近接した領域のコンテンツが提示されることとなり、提示されるコンテンツの領域が限定されてしまう。このため、ユーザは、学習のためのコンテンツの提示を受けることができるが、その効果は十分でないという問題があった。
【0013】
また、前述の手法では、ユーザがコンテンツの提示を受けた後に、引き続きコンテンツの提示を受けるためには、データを入力し直す必要があり、人手及び作業時間のコストがかかってしまう。
【0014】
ここで、ユーザは、教材のコンテンツに加え、教材以外の例えば放送番組コンテンツの提示を受けることができれば、効果的な学習を実現できることが期待される。
【0015】
このような効果的な学習を実現するために、教材以外の様々な領域のコンテンツも提示可能とするデータベースの構築が必要となる。
【0016】
教育分野だけでなく、教育以外の分野においても、現在使用しているコンテンツに関連するコンテンツを、様々な領域から検索して提示するためには、コンテンツ同士を連携させるデータベースの構築を自動化する必要がある。構築したデータベースを用いることにより、様々な領域のコンテンツの連携が実現され、ユーザは、精度の高い所望のコンテンツを検索することができる。以下、コンテンツ同士を連携するために用いるデータを「知識データ」という。
【0017】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、様々なコンテンツの連携を実現し、精度の高いコンテンツを提示するためのデータを生成する知識データ生成装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0018】
前記課題を解決するために、請求項１の知識データ生成装置は、コンテンツに関するキーワードを求め、前記コンテンツの識別情報及び前記キーワードを、所望コンテンツを検索する際に用いる知識データとして生成する知識データ生成装置であって、前記コンテンツは、複数種類のデータにより構成されるものとして、前記複数種類のデータのそれぞれについて、当該データに応じた所定の処理にて文章の文字列を検出し、前記文章の文字列から前記キーワードを求めるデータ処理部と、前記データ処理部により前記複数種類のデータについて求めた複数のキーワードのそれぞれをスコア化し、同一のキーワード毎に、全ての前記所定の処理を統合したスコアを算出するスコア算出部と、前記複数のキーワードのうち、前記スコア算出部により算出された前記スコアが最大となる前記キーワードを選択し、前記コンテンツの識別情報及び選択された前記キーワードからなる前記知識データを生成するキーワード選択部と、を備えたことを特徴とする。
【0019】
また、請求項２の知識データ生成装置は、請求項１に記載の知識データ生成装置において、前記コンテンツが、音声データ、画像データ及び字幕データのうちの２つまたは３つのデータから構成されるものとして、前記データ処理部が、前記コンテンツに前記音声データが含まれる場合、前記音声データの１フレームに対して音声認識処理を施し、音声についての文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、前記コンテンツに前記画像データが含まれる場合、前記画像データの１フレームに対して物体認識処理を施し、物体の名称を含む文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、前記画像データの１フレームに対して文字認識処理及び形態素解析処理を施し、文字を含む文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、前記コンテンツに前記字幕データが含まれる場合、前記字幕データの１フレームに対して形態素解析処理を施し、字幕についての文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、前記スコア算出部が、前記データ処理部により前記２つまたは３つのデータについて求めた複数のキーワードのそれぞれをスコア化し、同一のキーワード毎に、前記音声データに対する前記音声認識処理、前記画像データに対する前記物体認識処理、前記画像データに対する前記文字認識処理及び前記形態素解析処理、並びに、前記字幕データに対する前記形態素解析処理を統合した１フレームのスコアを算出し、前記キーワード選択部が、前記複数のキーワードのうち、前記スコア算出部により算出された前記１フレームのスコアが最大となる前記キーワードを選択し、前記知識データを生成する、ことを特徴とする。
【0020】
また、請求項３の知識データ生成装置は、請求項１に記載の知識データ生成装置において、前記コンテンツが、音声データ、画像データ及び字幕データのうちの２つまたは３つのデータから構成されるものとして、前記データ処理部が、前記コンテンツに前記音声データが含まれる場合、前記音声データの１フレームに対して音声認識処理を施し、音声についての文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、前記コンテンツに前記画像データが含まれる場合、前記画像データの１フレームに対して物体認識処理を施し、物体の名称を含む文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、前記画像データの１フレームに対して文字認識処理及び形態素解析処理を施し、文字を含む文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、前記コンテンツに前記字幕データが含まれる場合、前記字幕データの１フレームに対して形態素解析処理を施し、字幕についての文章の文字列を検出し、前記文章の文字列から前記キーワードを求め、前記スコア算出部が、前記データ処理部により前記２つまたは３つのデータについて求めた複数のキーワードのそれぞれをスコア化し、同一のキーワード毎に、前記音声データに対する前記音声認識処理、前記画像データに対する前記物体認識処理、前記画像データに対する前記文字認識処理及び前記形態素解析処理、並びに、前記字幕データに対する前記形態素解析処理を統合した１フレームのスコアを算出し、予め設定されたＮフレーム（Ｎ個の連続フレーム、Ｎは２以上の整数）について前記１フレームのスコアを加算することで、Ｎフレームのスコアを算出し、前記キーワード選択部が、前記複数のキーワードのうち、前記スコア算出部により算出された前記Ｎフレームのスコアが最大となる前記キーワードを選択し、前記知識データを生成する、ことを特徴とする。
【0021】
また、請求項４の知識データ生成装置は、請求項２または３に記載の知識データ生成装置において、前記スコア算出部が、前記コンテンツに前記音声データが含まれる場合、前記音声データに対する前記音声認識処理に対する予め設定された重みを用いて、当該音声データについて求めた前記キーワードをスコア化し、前記コンテンツに前記画像データが含まれる場合、前記画像データに対する前記物体認識処理、並びに、前記画像データに対する前記文字認識処理及び前記形態素解析処理のそれぞれに対する予め設定された重みを用いて、当該画像データについて求めた前記キーワードをスコア化し、前記コンテンツに前記字幕データが含まれる場合、前記字幕データに対する前記形態素解析処理に対する予め設定された重みを用いて、当該字幕データについて求めた前記キーワードをスコア化する、ことを特徴とする。
【0022】
さらに、請求項５のプログラムは、コンテンツに関するキーワードを求め、前記コンテンツの識別情報及び前記キーワードを、所望コンテンツを検索する際に用いる知識データとして生成する知識データ生成装置を構成するコンピュータを、前記コンテンツを構成する複数種類のデータのそれぞれについて、当該データに応じた所定の処理にて文章の文字列を検出し、前記文章の文字列から前記キーワードを求めるデータ処理部、前記データ処理部により前記複数種類のデータについて求めた複数のキーワードのそれぞれをスコア化し、同一のキーワード毎に、全ての前記所定の処理を統合したスコアを算出するスコア算出部、及び、前記複数のキーワードのうち、前記スコア算出部により算出された前記スコアが最大となる前記キーワードを選択し、前記コンテンツの識別情報及び選択された前記キーワードからなる前記知識データを生成するキーワード選択部として機能させることを特徴とする。
【発明の効果】
【0023】
以上のように、本発明によれば、様々なコンテンツの連携を実現し、精度の高いコンテンツを提示するためのデータを生成することができる。
【図面の簡単な説明】
【0024】
【図1】本発明の実施形態による知識データ生成装置を用いた全体システムの概要を説明する図である。
【図2】本発明の実施形態による知識データ生成装置の構成例を示すブロック図である。
【図3】入力部、データ処理部及びスコア算出部による実施例１の処理例を示すフローチャートである。
【図4】スコア算出部による実施例１のスコア算出例を説明する図である。
【図5】キーワード選択部による実施例１の処理例を示すフローチャートである。
【図6】ＧＵＩによる表示例を説明する図である。
【図7】入力部、データ処理部及びスコア算出部による実施例２の処理例を示すフローチャートである。
【図8】スコア算出部による実施例２のスコア算出例を説明する図である。
【図9】キーワード選択部による実施例２の処理例を示すフローチャートである。
【発明を実施するための形態】
【0025】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔本発明の概要〕
まず、本発明の概要について説明する。本発明は、コンテンツを構成する複数種類のマルチモーダルなデータを用いて、コンテンツとその他の様々なコンテンツとの間を繋げるために用いる知識データを生成するものである。
〔本発明の概要〕
まず、本発明の概要について説明する。本発明は、コンテンツを構成する複数種類のマルチモーダルなデータを用いて、コンテンツとその他の様々なコンテンツとの間を繋げるために用いる知識データを生成するものである。
【0026】
図１は、本発明の実施形態による知識データ生成装置を用いた全体システムの概要を説明する図である。このシステムは、知識データ生成装置１、所定分野の領域のデータベース（ＤＢ）からなる外部データ２－１、図書館データ（図書館が管理しているデータ）のコンテンツからなる外部データ２－２、及び博物館データ（博物館が管理しているデータ）のコンテンツからなる外部データ２－３等、番組情報の放送番組コンテンツからなる放送局データ３－１、及びニュースの放送番組コンテンツからなる放送局データ３－２等、並びに、ユーザ端末４－１，４－２，４－３等を備えて構成される。
【0027】
知識データ生成装置１は、例えば放送局データ３－１から、放送番組コンテンツを構成する音声データ、画像データ及び字幕データを入力し、これらの複数種類のマルチモーダルなデータを用いて、当該放送番組コンテンツを表す最適な意味合いの語彙をキーワードとして求める。そして、知識データ生成装置１は、当該放送番組コンテンツを識別するための情報（識別情報）等のコンテンツ情報、及びキーワードからなる知識データを生成する。
【0028】
知識データ生成装置１は、放送局データ３－１，３－２等、外部データ２－１，２－２，２－３等のコンテンツを用いて知識データを生成することで、知識データのＤＢを構築する。
【0029】
ユーザ端末４－１，４－２，４－３等を操作するユーザは、例えば放送局データ３－１における健康番組の放送番組コンテンツを視聴しているときに、当該放送番組コンテンツから選定したキーワードにより、知識データのＤＢを用いた検索を行う。
【0030】
例えば、ユーザ端末４－１を操作するユーザは、「ＤＮＡ診断」に関連するコンテンツの取得を希望する場合、知識データのＤＢを用いた検索が行われることで、放送局データ３－２から「がんのＤＮＡ診断」のコンテンツ等を取得する。また、ユーザ端末４－２を操作するユーザは、放送局データ３－１から「生物ＤＮＡの構造」のコンテンツ、外部データ２－３から「人体ＩＩ遺伝子」のコンテンツ等を取得する。
【0031】
このように、知識データを用いることで、様々な分野のコンテンツ（外部データ２－１，２－２，２－３等及び放送局データ３－１，３－２等のコンテンツ）を繋げることができ、ユーザに対し、所望のコンテンツをレコメンドすることができる。また、ユーザの興味関心を広げた形で、コンテンツを提示することができる。
【0032】
つまり、知識データ生成装置１により、様々なコンテンツの連携を実現し、精度の高いコンテンツを提示するための知識データを生成することができる。以下、外部データ２－１，２－２，２－３等を総称して外部データ２といい、放送局データ３－１，３－２等を総称して放送局データ３という。
【0033】
〔知識データ生成装置１〕
次に、知識データ生成装置１について説明する。図２は、本発明の実施形態による知識データ生成装置１の構成例を示すブロック図である。
次に、知識データ生成装置１について説明する。図２は、本発明の実施形態による知識データ生成装置１の構成例を示すブロック図である。
【0034】
この知識データ生成装置１は、入力部１０、データ処理部１１、メモリ１２、スコア算出部１３及びキーワード選択部１４を備えている。データ処理部１１は、音声処理部１１－１、画像物体処理部１１－２、画像文字処理部１１－３及び字幕処理部１１－４を備えている。
【0035】
知識データ生成装置１は、コンテンツに含まれる画像データだけでなく、音声データ及び字幕データを用いて、コンテンツを表す最適な意味合いの語彙をキーワードとして求める。
【0036】
入力部１０は、外部データ２及び放送局データ３のうち例えば放送局データ３から、放送番組コンテンツを識別するための情報等のコンテンツ情報、及び放送番組コンテンツのデータ（音声データ、画像データ及び字幕データ）を入力する。そして、入力部１０は、コンテンツ情報をキーワード選択部１４に出力する。
【0037】
入力部１０は、放送番組コンテンツのデータから音声データ、画像データ及び字幕データを抽出し、これらのデータをデータ処理部１１に出力する。具体的には、入力部１０は、音声データを音声処理部１１－１に、画像データを画像物体処理部１１－２及び画像文字処理部１１－３に、字幕データを字幕処理部１１－４にそれぞれ出力する。
【0038】
データ処理部１１は、入力部１０から音声データ、画像データ及び字幕データを入力し、当該放送番組コンテンツの動画像のフレーム毎に、これらのマルチモーダルなデータを用いて、当該放送番組コンテンツに対する最適なキーワードを求め、フレーム毎のキーワードをメモリ１２に格納する。
【0039】
具体的には、音声処理部１１－１は、入力部１０から音声データを入力し、フレーム毎に、当該音声データに対して音声認識処理を施し、キーワードを求める。そして、音声処理部１１－１は、音声認識処理により求めたキーワードをメモリ１２に格納する。音声データに対する音声認識処理にてキーワードを求める処理は既知であるため、ここでは詳細な説明を省略する。
【0040】
画像物体処理部１１－２は、入力部１０から画像データを入力し、フレーム毎に、当該画像データに対して物体認識処理を施し、キーワードを求める。そして、画像物体処理部１１－２は、画像データに対する物体認識処理により求めたキーワードをメモリ１２に格納する。画像データに対する物体認識処理にてキーワードを求める処理は既知であるため、ここでは詳細な説明を省略する。
【0041】
画像文字処理部１１－３は、入力部１０から画像データを入力し、フレーム毎に、画像データに対して文字認識処理及び形態素解析処理を施し、キーワードを求める。そして、画像文字処理部１１－３は、画像データに対する文字認識処理及び形態素解析処理により求めたキーワードをメモリ１２に格納する。画像データに対する文字認識処理及び形態素解析処理にてキーワードを求める処理は既知であるため、ここでは詳細な説明を省略する。
【0042】
字幕処理部１１－４は、入力部１０から字幕データを入力し、フレーム毎に、字幕データに対して形態素解析処理を施し、キーワードを求める。そして、字幕処理部１１－４は、字幕データに対する形態素解析処理により求めたキーワードをメモリ１２に格納する。字幕データに対する形態素解析処理にてキーワードを求める処理は既知であるため、ここでは詳細な説明を省略する。
【0043】
これにより、メモリ１２には、放送番組コンテンツの動画像のフレーム毎に、音声データに対する音声認識処理（以下、「音声認識処理」という。）、画像データに対する物体認識処理、画像データに対する文字認識処理等、及び字幕データに対する形態素解析処理（以下、「字幕解析処理」という。）より得られたそれぞれのキーワードが、リスト化された状態で格納される。
【0044】
スコア算出部１３は、メモリ１２から、フレーム毎に、音声認識処理、画像データからの物体認識処理、画像データからの文字認識処理等、及び字幕解析処理により得られたそれぞれのキーワードを読み出す。また、スコア算出部１３は、音声認識処理、画像データからの物体認識処理、画像データからの文字認識処理等、及び字幕解析処理についての重み（処理毎の重み）を入力する。処理毎の重みは、予め設定され、ユーザの操作により変更することができる。
【0045】
スコア算出部１３は、１フレームにつき、同一のキーワード毎に、音声認識処理、画像データからの物体認識処理、画像データからの文字認識処理等、及び字幕解析処理のそれぞれについて、当該キーワードの個数をカウントする。そして、スコア算出部１３は、同一のキーワード毎に、各処理のカウント値に重みを乗算することで、各処理の乗算結果を求め、各処理の乗算結果を加算（マージ）することで、キーワード毎の１フレームのスコアを求める。スコア算出部１３は、同一のキーワード毎に、１フレームのスコアをメモリ１２に格納する。
【0046】
これにより、メモリ１２には、後述する図４に示すとおり、同一のキーワード毎の１フレームのスコア（キーワード毎の各処理につき合計したスコア）が格納される。
【0047】
後述する実施例２においては、さらに、スコア算出部１３は、メモリ１２から、予め設定されたＮ個の連続するフレームについて、キーワード毎の１フレームのスコアを読み出し、キーワード毎に、Ｎ個の連続するフレームのスコアを加算することで、Ｎフレーム（Ｎ個の連続するフレーム）のスコアを求める。Ｎは、２以上の整数である。スコア算出部１３は、Ｎフレームのスコアを、メモリ１２に格納する。
【0048】
これにより、メモリ１２には、後述する図８に示すとおり、キーワード毎のＮフレームのスコア（Ｎ個の連続するフレームについてキーワード毎の各処理につき合計したスコア）が格納される。
【0049】
キーワード選択部１４は、入力部１０からコンテンツ情報を入力すると共に、メモリ１２から、キーワード毎に、当該キーワードを読み出すと共に、後述する実施例１においては１フレームのスコアを読み出し、後述する実施例２においてはＮフレームのスコアを読み出す。
【0050】
キーワード選択部１４は、読み出したキーワード毎のスコアに対応する複数のキーワードのうち、スコアが最大のキーワードを選択する。そして、キーワード選択部１４は、後述する実施例１においては当該１フレームを特定するための情報、後述する実施例２においては当該Ｎフレームを特定するための情報を、コンテンツ情報に追加する。
【0051】
キーワード選択部１４は、当該放送番組コンテンツを識別するための情報等に加え、当該１フレームまたは当該Ｎフレームを特定するための情報を含むコンテンツ情報、及び選択したキーワードを知識データとして出力することで、図示しないメモリに格納する。
【0052】
以上のように、本発明の実施形態の知識データ生成装置１によれば、コンテンツを構成するマルチモーダルなデータを用いて、キーワードを求め、複数のキーワードのそれぞれをスコア化してスコアが最大のキーワードを選択し、当該キーワードを含む知識データを生成する。
【0053】
このように、様々な分野の外部データ２及び放送局データ３のコンテンツを用いて知識データが生成された場合、知識データには、コンテンツの意味合いの幅が広がった複数のキーワードが含まれることとなる。そして、この知識データを用いて、ユーザによる所望のコンテンツの検索が行われることで、様々なコンテンツの連携を実現することができる。また、知識データは、コンテンツを構成するマルチモーダルなデータを用いて生成され、かつ様々な分野の外部データ２及び放送局データ３のコンテンツを用いて生成される。この知識データを用いることで、精度の高いコンテンツの提示を実現することができる。
【0054】
例えば、知識データのキーワード同士が比較され、同一または類似するキーワードに対応するコンテンツが検索されることで、ユーザは、関連するコンテンツの提示を受けることができる。また、ユーザが指定するキーワードと、知識データのキーワードとが比較され、同一または類似するキーワードに対応するコンテンツが検索されることで、ユーザは、指定したキーワードに対応するコンテンツの提示を得ることができる。
【0055】
教育分野の領域において、前述の特許文献１では、学習指導要領を元にコンテンツが提示され、前述の非特許文献１では、教科書に記載された学習順序を元にコンテンツが提示されるため、提示されるコンテンツの範囲が限定されていた。また、コンテンツは、ユーザの習熟度に関係することなく提示されてしまう。
【0056】
これに対し、本発明の実施形態では、知識データが、コンテンツを構成するマルチモーダルなデータを用いて生成される。そして、この知識データを用いて検索が行われ、コンテンツがユーザに提示される。
【0057】
例えば、知識データに含まれるキーワード同士が比較されることで、ユーザが指定したキーワードと同一のキーワードに対応する他の分野のコンテンツの提示が可能となる。このため、学習指導要領及び教科書に記載された学習順序に依存することなく、コンテンツの提示が可能となる。
【0058】
また、知識データを用いて、ユーザが指定したキーワードに類似するキーワードに対応するコンテンツが検索されることで、検索されたコンテンツのリストの提示が可能となる。ユーザは、そのリストを参照することで、自身の習熟度または興味に応じて、次に学習するコンテンツを自発的に選択することができる。
【0059】
つまり、本発明の実施形態の知識データ生成装置１によれば、様々なコンテンツの連携を実現し、精度の高いコンテンツを提示するための知識データを生成することができる。
【0060】
〔実施例１〕
次に、図２に示した知識データ生成装置１による実施例１の処理について説明する。実施例１は、放送番組コンテンツの動画像について、マルチモーダルなデータを用いてキーワードを求め、キーワードをスコア化して１フレームのスコアを求め、複数のキーワードのうち１フレームのスコアが最大のキーワードを選択することで、知識データを生成する。
次に、図２に示した知識データ生成装置１による実施例１の処理について説明する。実施例１は、放送番組コンテンツの動画像について、マルチモーダルなデータを用いてキーワードを求め、キーワードをスコア化して１フレームのスコアを求め、複数のキーワードのうち１フレームのスコアが最大のキーワードを選択することで、知識データを生成する。
【0061】
図３は、入力部１０、データ処理部１１及びスコア算出部１３による実施例１の処理例を示すフローチャートである。
【0062】
入力部１０は、例えば放送局データ３から、放送番組コンテンツを構成する音声データ、画像データ及び字幕データ等を入力する（ステップＳ３０１，Ｓ３０２，Ｓ３０３）。
【0063】
音声処理部１１－１は、ステップＳ３０１から移行して、放送番組コンテンツの動画像における１フレームの音声データに対して音声認識処理を施し（ステップＳ３０４）、音声認識処理が正常に行われたか否かを判定する（ステップＳ３０５）。
【0064】
音声処理部１１－１は、ステップＳ３０５において、音声認識処理が正常に行われたと判定した場合（ステップＳ３０５：Ｙ）、ステップＳ３１２へ移行する。一方、音声処理部１１－１は、ステップＳ３０５において、音声認識処理が正常に行われなかったと判定した場合（ステップＳ３０５：Ｎ）、音声処理部１１－１の処理を終了する。
【0065】
画像物体処理部１１－２は、ステップＳ３０２から移行して、放送番組コンテンツの動画像における１フレームの画像データに対して物体認識処理を施し（ステップＳ３０６）、物体認識処理が正常に行われたか否かを判定する（ステップＳ３０７）。
【0066】
画像物体処理部１１－２は、ステップＳ３０７において、物体認識処理が正常に行われたと判定した場合（ステップＳ３０７：Ｙ）、ステップＳ３１２へ移行する。一方、画像物体処理部１１－２は、ステップＳ３０７において、物体認識処理が正常に行われなかったと判定した場合（ステップＳ３０７：Ｎ）、画像物体処理部１１－２の処理を終了する。
【0067】
画像文字処理部１１－３は、ステップＳ３０２から移行して、放送番組コンテンツの動画像における１フレームの画像データに対して文字認識処理及び形態素解析処理を施す（ステップＳ３０８）。そして、画像文字処理部１１－３は、文字認識処理及び形態素解析処理が正常に行われたか否かを判定する（ステップＳ３０９）。
【0068】
画像文字処理部１１－３は、ステップＳ３０９において、文字認識処理及び形態素解析処理が正常に行われたと判定した場合（ステップＳ３０９：Ｙ）、ステップＳ３１２へ移行する。一方、画像文字処理部１１－３は、ステップＳ３０９において、文字認識処理が正常に行われなかったと判定した場合、または形態素解析処理が正常に行われなかったと判定した場合（ステップＳ３０９：Ｎ）、画像文字処理部１１－３の処理を終了する。
【0069】
字幕処理部１１－４は、ステップＳ３０３から移行して、放送番組コンテンツの動画像における１フレームの字幕データに対して形態素解析処理を施し（ステップＳ３１０）、形態素解析処理が正常に行われたか否かを判定する（ステップＳ３１１）。
【0070】
字幕処理部１１－４は、ステップＳ３１１において、形態素解析処理が正常に行われたと判定した場合（ステップＳ３１１：Ｙ）、ステップＳ３１２へ移行する。一方、字幕処理部１１－４は、ステップＳ３１１において、形態素解析処理が正常に行われなかったと判定した場合（ステップＳ３１１：Ｎ）、字幕処理部１１－４の処理を終了する。
【0071】
音声処理部１１－１、画像物体処理部１１－２、画像文字処理部１１－３及び字幕処理部１１－４は、ステップＳ３０５（Ｙ），Ｓ３０７（Ｙ），Ｓ３０９（Ｙ），Ｓ３１１（Ｙ）から移行して、それぞれの処理結果からキーワードを求めてリスト化し、リスト化したキーワードをメモリ１２に格納する（ステップＳ３１２）。
【0072】
具体的には、音声処理部１１－１は、音声データに対する音声認識処理により、音声についての文章の文字列を検出し、検出された文章の文字列からキーワードを求める。また、画像物体処理部１１－２は、画像データに対する物体認識処理により物体を含む領域を検出し、当該領域から物体の名称を含む文章の文字列を検出し、検出された文章の文字列からキーワードを求める。例えば物体が「自動車」の場合、物体の名称を含む文章の文字列として「自動車が走っています。」等が検出される。
【0073】
画像文字処理部１１－３は、画像データに対する文字認識処理及び形態素解析処理により、文字を含む文章の文字列を検出し、検出された文章の文字列からキーワードを求める。また、字幕処理部１１－４は、字幕データに対する形態素解析処理により、字幕についての文章の文字列を検出し、検出された文章の文字列からキーワードを求める。
【0074】
これにより、放送番組コンテンツの動画像における１フレームについて、音声認識処理、画像データに対する物体認識処理、画像データに対する文字認識処理等、及び字幕解析処理により得られたそれぞれの１または複数のキーワードが、リスト化された状態でメモリ１２に格納される。
【0075】
スコア算出部１３は、メモリ１２から、１フレームについて、音声認識処理、画像データに対する物体認識処理、画像データに対する文字認識処理等、及び字幕解析処理により得られたそれぞれの１または複数のキーワードを読み出す。
【0076】
スコア算出部１３は、同一のキーワード毎に、音声認識処理、画像データに対する物体認識処理、画像データに対する文字認識処理等、及び字幕解析処理のそれぞれについて、当該同一のキーワードの個数をカウントする。そして、スコア算出部１３は、同一のキーワード毎の各処理について、カウント値に予め設定された重み（処理毎の重み）を乗算することで、キーワードをスコア化し、各処理の乗算結果を加算することで、同一のキーワード毎に、各処理を統合した１フレームのスコアを求め、メモリ１２に格納する（ステップＳ３１３）。
【0077】
図４は、スコア算出部１３による実施例１のスコア算出例を説明する図である。音声認識処理の重みとして０．５、画像データからの物体認識処理の重みとして０．８、画像データからの文字認識処理等の重みとして０．７、字幕解析処理の重みとして０．９が予め設定されているものとする。
【0078】
また、音声処理部１１－１により、１個の「スノーボード」のキーワード等が生成され、画像物体処理部１１－２により、２個の「スキー」、１個の「スケートボード」及び１個の「卓球」のキーワード等が生成されたものとする。例えば画像データに、２人がスキーをしている状態が表れている場合、画像物体処理部１１－２は、２個の「スキー」のキーワードを求めることとなる。さらに、画像文字処理部１１－３により、１個の「スキー」のキーワード等が生成され、字幕処理部１１－４により、１個の「スキー」のキーワードが生成されたものとする。
【0079】
この場合、スコア算出部１３により、「スキー」のキーワードについて、画像データからの物体認識処理により得られたキーワードの数である２個に、画像データからの物体認識処理の重みである０．８が乗算されることで、画像データからの物体認識処理のスコアとして１．６が得られる。また、スコア算出部１３により、「スキー」のキーワードについて、画像データからの文字認識処理等により得られたキーワードの数である１個に、画像データからの文字認識処理等の重みである０．７が乗算されることで、画像データからの文字認識処理等のスコアとして０．７が得られる。さらに、スコア算出部１３により、「スキー」のキーワードについて、文字解析処理により得られたキーワードの数である１個に、文字解析処理の重みである０．９が乗算されることで、文字解析処理のスコアとして０．９が得られる。
【0080】
そして、スコア算出部１３により、これらのスコア１．６，０．７，０．９が加算されることで、「スキー」のキーワードについて、１フレームのスコアとして３．２が得られる。
【0081】
同様に、スコア算出部１３により、「スノーボード」のキーワードについて、１フレームのスコアとして０．５が得られ、「スケートボード」「卓球」のキーワードについて、１フレームのスコアとして０．８が得られる。
【0082】
尚、「ボール」等のキーワードについては、１フレームのスコアは０である。これらのキーワードは、メモリ１２に予め設定されたものである。
【0083】
また、図３において、１フレームの音声データ、画像データ及び字幕データについて、ステップＳ３０５（Ｎ）にて音声認識処理が正常に行われず、かつステップＳ３０７（Ｎ）にて物体認識処理が正常に行われず、かつステップＳ３０９（Ｎ）により文字認識処理等が正常に行われず、かつステップＳ３１１（Ｎ）により形態素解析処理が正常に行われていない場合には、ステップＳ３１２，Ｓ３１３の処理は行われない。
【0084】
図５は、キーワード選択部１４による実施例１の処理例を示すフローチャートである。キーワード選択部１４は、メモリ１２から、キーワードに対応する１フレームのスコアを取得する（読み出す）（ステップＳ５０１）。
【0085】
キーワード選択部１４は、当該キーワードについて、１フレームのスコアが最大値よりも大きいか否かを判定する（ステップＳ５０２）。尚、最大値は、初期値として０が設定されているものとする。
【0086】
キーワード選択部１４は、ステップＳ５０２において、１フレームのスコアが最大値よりも大きいと判定した場合（ステップＳ５０２：Ｙ）、当該１フレームのスコアを最大値に設定することで、最大値を更新し（ステップＳ５０３）、ステップＳ５０４へ移行する。
【0087】
一方、キーワード選択部１４は、ステップＳ５０２において、１フレームのスコアが最大値よりも大きくないと判定した場合（ステップＳ５０２：Ｎ）、ステップＳ５０４へ移行する。
【0088】
キーワード選択部１４は、ステップＳ５０３またはステップＳ５０２（Ｎ）から移行して、全てのキーワード（メモリ１２に格納されている全てのキーワード）についての処理が完了したか否かを判定する（ステップＳ５０４）。
【0089】
キーワード選択部１４は、ステップＳ５０４において、全てのキーワードについての処理が完了していないと判定した場合（ステップＳ５０４：Ｎ）、ステップＳ５０１へ移行し、メモリ１２から、次のキーワードに対応する１フレームのスコアを読み出す。そして、キーワード選択部１４は、ステップＳ５０２，Ｓ５０３の処理を行う。
【0090】
一方、キーワード選択部１４は、ステップＳ５０４において、全てのキーワードについての処理が完了したと判定した場合（ステップＳ５０４：Ｙ）、メモリ１２に格納された複数のキーワードのうち、スコアが最大のキーワード（ステップＳ５０３にて最後に最大値を更新したときの１フレームのスコアに対応するキーワード）を選択する（ステップＳ５０５）。図４に示したスコア算出例においては、キーワード選択部１４により、１フレームのスコアが最大（３．２）である「スキー」のキーワードが選択される。
【0091】
キーワード選択部１４は、コンテンツ情報、及びステップＳ５０５にて選択したキーワードを知識データとして出力する（ステップＳ５０６）。例えばキーワードは、ＧＵＩ（Graphical User Interface：グラフィカルユーザインターフェース）による表示データとして出力され、また、知識データは、ファイルとしてメモリに格納される。
【0092】
図６は、ＧＵＩによるキーワード等の表示例を説明する図である。図２の知識データ生成装置１に備えた図示しないメモリには、フレーム毎に（フレームを単位とした時間毎に）、コンテンツを構成する画像データ、音声処理部１１－１等により生成されたキーワード、画像物体処理部１１－２により認識された物体を含む領域、スコアが最大のキーワード等が格納されているものとする。
【0093】
知識データ生成装置１に備えた図示しない表示部は、メモリから、ユーザにより指定された時間（図６に示す指定時間（ｃ１））に対応するフレームについての画像データ等を読み出す。また、表示部は、メモリに格納されたフレーム毎のキーワードに基づいて、所定の時間範囲におけるフレーム毎に、キーワードの有無を判断する。そして、表示部は、画像データ、キーワードの有無のデータ等の画面を、表示装置に表示する。
【0094】
図６の画面の下部には、所定の時間範囲において、文字、物体、音声及び字幕についてのキーワードが生成された時間帯が横バーとして表示されている（ｃ２）。横軸は時間を示す。また、ユーザにより指定された時間を指定時間として、縦線が示されている（ｃ１）。「スキー」は、ユーザによる指定時間ｃ１に対応するフレームにおいて、スコアが最大のキーワードである（ｃ３）。
【0095】
図６の画面の左上部には、ユーザによる指定時間ｃ１に対応するフレームについて、画像データａ１が表示され、当該画像データａ１内に、画像データに対する物体認識処理により検出された物体を含む領域ａ２，ａ３，ａ４が表示されている。画像物体処理部１１－２により、この領域ａ２，ａ３，ａ４に含まれる物体の名称がキーワードとして求められる。
【0096】
図６の画面に右上部には、ユーザによる指定時間ｃ１に対応するフレームについて、スコアが最大のキーワードとして「スキー」が表示され（ｂ１）、文字及び音声についてはキーワードが生成されなかったことを示す「×」、物体及び字幕についてはキーワードが生成されたことを示す「●」が表示されている（ｂ２）。また、音声データに対する音声認識処理により検出された文章の文字列「考え 信じ」が表示され（ｂ３）、字幕データに対する形態素解析処理により検出された文章の文字列「スキーに生きると考えたのです。」が表示されている（ｂ４）。
【0097】
以上のように、知識データ生成装置１の実施例１の処理によれば、データ処理部１１は、放送番組コンテンツを構成するマルチモーダルな音声データ、画像データ及び字幕データを用いて、それぞれ音声データに対する音声認識処理、画像データに対する物体認識処理、画像データに対する文字認識処理及び形態素解析処理、並びに、字幕データに対する形態素解析処理にて、各処理に応じた１または複数のキーワードを求める。
【0098】
スコア算出部１３は、処理毎の重みを用いて、各処理に応じた１または複数のキーワードをスコア化し、同一のキーワード毎に、各処理を統合した１フレームのスコアを求める。
【0099】
キーワード選択部１４は、複数のキーワードのうち、スコアが最大のキーワードを選択し、コンテンツ情報及び選択したキーワードを、知識データとして生成する。
【0100】
これにより、例えば１つのコンテンツにおいて、この知識データを用いて、当該コンテンツにおけるフレーム間のマッチングが行われることで、ユーザは、コンテンツ内の１つのフレームを基準にして、当該フレームに関連するフレームを得ることができる。また、この知識データを用いることで、様々なコンテンツの連携を実現することができ、ユーザに対し、精度の高いコンテンツを検索して提示することができる。
【0101】
〔実施例２〕
次に、図２に示した知識データ生成装置１による実施例２の処理について説明する。実施例２は、放送番組コンテンツの動画像について、マルチモーダルなデータを用いてキーワードを求め、キーワードをスコア化してＮフレームのスコアを求め、複数のキーワードのうちＮフレームのスコアが最大のキーワードを選択することで、知識データを生成する。スコアが最大のキーワードは、Ｎフレームのスコアに基づいて選択されるため、フレーム毎のスコアのバラツキを吸収することができ、結果として、精度の高い知識データを得ることができる。
次に、図２に示した知識データ生成装置１による実施例２の処理について説明する。実施例２は、放送番組コンテンツの動画像について、マルチモーダルなデータを用いてキーワードを求め、キーワードをスコア化してＮフレームのスコアを求め、複数のキーワードのうちＮフレームのスコアが最大のキーワードを選択することで、知識データを生成する。スコアが最大のキーワードは、Ｎフレームのスコアに基づいて選択されるため、フレーム毎のスコアのバラツキを吸収することができ、結果として、精度の高い知識データを得ることができる。
【0102】
図７は、入力部１０、データ処理部１１及びスコア算出部１３による実施例２の処理例を示すフローチャートである。
【0103】
ステップＳ７０１の処理は、図３のステップＳ３０１～Ｓ３１３の処理と同様であるため、ここでは説明を省略する。
【0104】
これにより、放送番組コンテンツの動画像における１フレームにつき、音声認識処理、画像データからの物体認識処理、画像データからの文字認識処理等、及び字幕解析処理により得られたそれぞれの１または複数のキーワードが、リスト化された状態でメモリ１２に格納される。また、放送番組コンテンツの動画像における１フレームにつき、同一のキーワード毎に、各処理を統合した１フレームのスコアがメモリ１２に格納される。
【0105】
スコア算出部１３は、ステップＳ７０１から移行して、キーワード毎に、メモリ１２から１フレームのスコアを取得し（読み出し）、１フレーム前までの合計スコアに当該１フレームのスコアを加算することで、当該フレームまでの合計スコア（ｎフレームの合計スコア）を求める（ステップＳ７０２）。ｎは、今回のフレームの番号を示す。
【0106】
尚、スコア算出部１３は、ステップＳ７０２において、初期処理の際に、１フレーム前までの合計スコアを０として扱う。
【0107】
スコア算出部１３は、Ｎフレーム分の処理が完了したか否かを判定する（ステップＳ７０３）。スコア算出部１３は、ステップＳ７０３において、Ｎフレーム分の処理が完了していないと判定した場合（ステップＳ７０３：Ｎ）、ステップＳ７０１へ移行する。前述のとおり、Ｎは２以上の整数である。
【0108】
これにより、ステップＳ７０１において、次のフレームについての処理が行われ、同一のキーワード毎に、各処理を統合した１フレームのスコアがメモリ１２に格納され、ステップＳ７０２において、同一のキーワード毎に、当該フレームまでの合計スコアが算出される。
【0109】
一方、スコア算出部１３は、ステップＳ７０３において、Ｎフレーム分の処理が完了したと判定した場合（ステップＳ７０３：Ｙ）、キーワード毎に、最初のフレームから数えてＮ個の連続するフレームのスコアの加算結果である合計スコアを、Ｎフレームの合計スコアとしてメモリ１２に格納する（ステップＳ７０４）。
【0110】
図８は、スコア算出部１３による実施例２のスコア算出例を説明する図である。図８には、第（ｎ－ｘ）番目、第（ｎ－３）番目、第（ｎ－２）番目、第（ｎ－１）番目、第ｎ番目（現在）等のフレームについて、図７のステップＳ７０１の処理により算出されたキーワード毎の１フレームのスコアが示されている。
【0111】
例えば、第ｎ番目のフレームについて、「スキー」のキーワードのスコアは３．２、「スノーボード」のキーワードのスコアは０．５、「スケートボード」「卓球」のキーワードのスコアは０．８である。
【0112】
スコア算出部１３により、「スキー」のキーワードについて、最初のフレームから数えてＮ個のフレームのスコアの加算結果１１５．５が、Ｎフレームの合計スコアとして得られる。同様に、「スノーボード」のキーワードについて、最初のフレームから数えてＮ個のフレームのスコアの結果４５．２が、Ｎフレームの合計スコアとして得られる。「ボール」「スケートボード」等についても、Ｎフレームの合計スコアが得られる。
【0113】
尚、「凧」等のキーワードについては、Ｎフレームの合計スコアは０である。これらのキーワードは、メモリ１２に予め設定されたものである。
【0114】
図９は、キーワード選択部１４による実施例２の処理例を示すフローチャートである。キーワード選択部１４は、メモリ１２から、キーワードに対応するＮフレームの合計スコアを取得する（読み出す）（ステップＳ９０１）。
【0115】
キーワード選択部１４は、当該キーワードについて、Ｎフレームの合計スコアが最大値よりも大きいか否かを判定する（ステップＳ９０２）。尚、最大値は、初期値として０が設定されているものとする。
【0116】
キーワード選択部１４は、ステップＳ９０２において、Ｎフレームの合計スコアが最大値よりも大きいと判定した場合（ステップＳ９０２：Ｙ）、当該Ｎフレームの合計スコアを最大値に設定することで、最大値を更新し（ステップＳ９０３）、ステップＳ９０４へ移行する。
【0117】
一方、キーワード選択部１４は、ステップＳ９０２において、Ｎフレームの合計スコアが最大値よりも大きくないと判定した場合（ステップＳ９０２：Ｎ）、ステップＳ９０４へ移行する。
【0118】
キーワード選択部１４は、ステップＳ９０３またはステップＳ９０２（Ｎ）から移行して、全てのキーワード（メモリ１２に格納されている全てのキーワード）についての処理が完了したか否かを判定する（ステップＳ９０４）。
【0119】
キーワード選択部１４は、ステップＳ９０４において、全てのキーワードについての処理が完了していないと判定した場合（ステップＳ９０４：Ｎ）、ステップＳ９０１へ移行し、メモリ１２から、次のキーワードに対応するＮフレームの合計スコアを読み出す。そして、キーワード選択部１４は、ステップＳ９０２，Ｓ９０３の処理を行う。
【0120】
一方、キーワード選択部１４は、ステップＳ９０４において、全てのキーワードについての処理が完了したと判定した場合（ステップＳ９０４：Ｙ）、メモリ１２に格納された複数のキーワードのうち、合計スコアが最大のキーワード（ステップＳ９０３にて最後に最大値を更新したときのＮフレームの合計スコアに対応するキーワード）を選択する（ステップＳ９０５）。図８に示したスコア算出例においては、キーワード選択部１４により、Ｎフレームの合計スコアが最大（１１５．５）である「スキー」のキーワードが選択される。
【0121】
キーワード選択部１４は、コンテンツ情報、及びステップＳ９０５にて選択したキーワードを知識データとして出力する（ステップＳ９０６）。例えばキーワードは、ＧＵＩによる表示データとして出力され、また、知識データは、ファイルとしてメモリに格納される。
【0122】
以上のように、知識データ生成装置１の実施例２の処理によれば、データ処理部１１は、放送番組コンテンツを構成するマルチモーダルな音声データ、画像データ及び字幕データを用いて、それぞれ音声データに対する音声認識処理、画像データに対する物体認識処理、画像データに対する文字認識処理及び形態素解析処理、並びに、字幕データに対する形態素解析処理にて、各処理に応じた１または複数のキーワードを求める。
【0123】
スコア算出部１３は、処理毎の重みを用いて、各処理に応じた１または複数のキーワードをスコア化し、キーワード毎に、各処理を統合したＮフレームの合計スコアを求める。
【0124】
キーワード選択部１４は、複数のキーワードのうち、合計スコアが最大のキーワードを選択し、コンテンツ情報及び選択したキーワードを、知識データとして生成する。
【0125】
これにより、例えば複数のコンテンツにおいて、この知識データを用いてコンテンツ間のマッチングが行われることで、ユーザは、関連するコンテンツを得ることができる。また、例えば１つのコンテンツにおいて、この知識データを用いて複数の連続するフレーム間のマッチングが行われることで、関連する複数の連続するフレームを得ることができる。したがって、この知識データを用いることで、様々なコンテンツの連携を実現することができ、ユーザに対し、精度の高いコンテンツを検索して提示することができる。
【0126】
また、図３～図５に示した実施例１では、１フレームのスコアに基づいてキーワードを選択するが、この実施例２では、Ｎフレームの合計スコアに基づいてキーワードを選択する。これにより、フレーム毎のスコアのバラツキが、選択されるキーワードへ反映されることを回避することができ、精度の高い知識データを得ることができる。結果として、様々なコンテンツの連携を精度高く実現することができ、また、一層精度の高いコンテンツの検索を実現することができる。
【0127】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【0128】
例えば図２に示した知識データ生成装置１では、放送番組コンテンツを構成する音声データ、画像データ及び字幕データを用いて、知識データを生成するようにした。これに対し、知識データ生成装置１は、これらのデータのうちの任意の２つのデータを用いて、知識データを生成するようにしてもよい。また、知識データ生成装置１は、音声データ、画像データ及び字幕データ以外のデータ（２つ以上の所定数のデータ）を用いて、知識データを生成するようにしてもよい。つまり、知識データ生成装置１は、コンテンツを構成するマルチモーダルなデータを用いて知識データを生成することができれば、データの種類は何でもよい。
【0129】
また、図２に示した知識データ生成装置１のデータ処理部１１は、音声データに対する音声認識処理、画像データに対する物体認識処理、画像データに対する文字認識処理及び形態素解析処理、並びに、字幕データに対する形態素解析処理を行い、各処理に応じた１または複数のキーワードを求めるようにした。本発明は、音声データ等に対する処理をこれらの処理に限定するものではなく、他の処理を行うようにしてもよい。コンテンツを構成するデータに対する処理によって、１または複数のキーワードを求めることができれば、当該処理は何でもよい。
【0130】
また、データ処理部１１は、キーワードを求める際に、複数のキーワードが予め格納されたテーブルを利用するようにしてもよい。例えば、データ処理部１１は、音声データに対する音声認識処理に応じて仮のキーワードを求め、仮のキーワードのスコア値及びテーブルに格納されたキーワードのスコア値を比較することで、テーブルから当該仮のキーワードに最も近い１または複数のキーワードを読み出し、読み出したキーワードをメモリ１２に格納する。このテーブルは、音声データに対する音声認識処理、画像データに対する物体認識処理等の処理毎に備えるようにしてもよい。
【0131】
また、知識データ生成装置１により、例えば教育分野の知識データが生成される場合、このテーブルは、学年別のものであってもよい。例えば、中学１年生用のコンテンツ検索のための知識データが生成される場合、テーブルには、中学１年生に適用するキーワードが格納されている。また、このテーブルは、ジャンル別（科目（国語、算数等）別）のものであってもよい。
【0132】
データ処理部１１は、キーワードを求める際に、学年別またはジャンル別のテーブルを用いて、キーワードを求めるようにしてもよいし、学年別及びジャンル別のテーブルを用いて、キーワードを求めるようにしてもよい。後者の場合、データ処理部１１は、学年別及びジャンル別の両方のテーブルに格納された同一のキーワードを対象にして、前述のスコア値を比較する等して、キーワードを求める。
【0133】
また、知識データ生成装置１により、生涯教育用の知識データが生成される場合、このテーブルは、年代別のものであってもよい。
【0134】
尚、本発明の実施形態による知識データ生成装置１のハードウェア構成としては、通常のコンピュータを使用することができる。知識データ生成装置１は、ＣＰＵ等、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【0135】
知識データ生成装置１に備えた入力部１０、データ処理部１１（音声処理部１１－１、画像物体処理部１１－２、画像文字処理部１１－３及び字幕処理部１１－４）、メモリ１２、スコア算出部１３及びキーワード選択部１４の各機能は、これらの機能を記述したプログラムをＣＰＵ等に実行させることによりそれぞれ実現される。
【0136】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵ等に読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【0137】
１ 知識データ生成装置
２，２－１，２－２，２－３ 外部データ
３，３－１，３－２ 放送局データ
４，４－１，４－２，４－３ ユーザ端末
１０ 入力部
１１ データ処理部
１１－１ 音声処理部
１１－２ 画像物体処理部
１１－３ 画像文字処理部
１１－４ 字幕処理部
１２ メモリ
１３ スコア算出部
１４ キーワード選択部
２，２－１，２－２，２－３ 外部データ
３，３－１，３－２ 放送局データ
４，４－１，４－２，４－３ ユーザ端末
１０ 入力部
１１ データ処理部
１１－１ 音声処理部
１１－２ 画像物体処理部
１１－３ 画像文字処理部
１１－４ 字幕処理部
１２ メモリ
１３ スコア算出部
１４ キーワード選択部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】