特許 7593498 情報処理方法、情報処理装置、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】情報処理方法、情報処理装置、およびプログラム

(51)【国際特許分類】

   G10L 15/00 20130101AFI20241126BHJP

   G09B 5/06 20060101ALI20241126BHJP

【ＦＩ】

G10L15/00 200Z

G09B5/06

【請求項の数】 7

(21)【出願番号】P 2023532903

(86)(22)【出願日】2021-07-05

(86)【国際出願番号】 JP2021025358

(87)【国際公開番号】W WO2023281605

(87)【国際公開日】2023-01-12

【審査請求日】2023-11-21

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】井元 麻衣子

(72)【発明者】

【氏名】瀬下 仁志

【審査官】大野 弘

(56)【参考文献】

【文献】特開２０１４－０８５９９８（ＪＰ，Ａ）

【文献】特開２００７－０８６５９２（ＪＰ，Ａ）

【文献】特開２００４－０３７８４９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／００

Ｇ０９Ｂ ５／０６

(57)【特許請求の範囲】

【請求項1】

ハードウェアプロセッサおよびメモリを備える装置が実行する情報処理方法であって、
ユーザ端末から第１データを取得する取得過程と、
前記第１データに係る第１文書コンテンツの第１部分と、発話音声に係る第２文書コンテンツの第２部分との類似度を算出する算出過程と、
前記類似度が第１閾値を超えていることに基づいて、前記第１部分のデータに、前記第２部分のデータと、前記第２文書コンテンツ中で前記第２部分に続く第３部分のデータと、の少なくとも一方を含む第２データを対応付けた、第３データを生成する生成過程と、
前記第３データを前記ユーザ端末へ出力する出力過程と
を備える、情報処理方法。

【請求項2】

前記第２データは、前記第３部分のデータを含む、請求項１に記載の情報処理方法。

【請求項3】

前記類似度が、前記第１閾値を超えていないが第２閾値を超えている場合、前記第１文書コンテンツ中での前記第１部分の位置と、前記発話音声中での前記第２部分に係る発話音声の位置との近似度を算出する算出過程と、
前記近似度が第３閾値を下回っていることに基づいて、前記第３データを生成する生成過程と
をさらに備える、請求項１又は２に記載の情報処理方法。

【請求項4】

前記第１文書コンテンツ中での前記第１部分の位置と、前記発話音声中での前記第２部分に係る発話音声の位置との近似度を算出する算出過程と、
前記類似度が、前記第１閾値を超えていないが第２閾値を超えている場合、前記近似度が第３閾値を下回っていることに基づいて、前記第３データを生成する生成過程と
をさらに備える、請求項１又は２に記載の情報処理方法。

【請求項5】

記憶部に記憶される、前記発話音声を含む音声コンテンツに係る第４データ、に基づいて、前記第２文書コンテンツのデータを生成する生成過程をさらに備える、請求項１乃至４のいずれかに記載の情報処理方法。

【請求項6】

ユーザ端末から第１データを取得する、取得部と、
前記第１データに係る第１文書コンテンツの第１部分と、発話音声に係る第２文書コンテンツの第２部分との類似度を算出する、算出部と、
前記類似度が第１閾値を超えていることに基づいて、前記第１部分のデータに、前記第２部分のデータと、前記第２文書コンテンツ中で前記第２部分に続く第３部分のデータと、の少なくとも一方を含む第２データを対応付けた、第３データを生成する、生成部と、
前記第３データを前記ユーザ端末へ出力する、出力部と
を備える、情報処理装置。

【請求項7】

請求項１乃至５のいずれかに記載の情報処理方法が備える各過程を前記ハードウェアプロセッサに実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の実施形態は、情報処理方法、情報処理装置、およびプログラムに関する。

【背景技術】

【0002】

画像コンテンツおよび音声コンテンツからなるコンテンツを視聴して学習するサービスが普及してきている。受講者は、このようなコンテンツを視聴して学習しながら、後々の復習のためにコンテンツの内容を書き留める。

【0003】

受講者が、音声コンテンツ中で発話される音声（以下、発話音声とも称する。）を聞きながら、発話される内容を自分なりに整理して、発話された言葉とは別の言葉を用いてその内容を書き留めることがある。このように書き留められた部分については、受講者がその部分を深く理解できている可能性が高い。

【0004】

しかしながら、受講者がコンテンツを視聴しながらこの作業を行うのは容易ではない。このため、受講者の意識は、発話される内容をそのまま書き留めることに向いてしまいやすい（例えば、非特許文献１を参照）。

【先行技術文献】

【非特許文献】

【0005】

【文献】Pam A. Mueller and Daniel M. Oppenheimer. “The Pen Is Mightier Than the Keyboard: Advantages of Longhand Over Laptop Note Taking”, Psychological Science published online 23 April 2014

【発明の概要】

【発明が解決しようとする課題】

【0006】

発話される内容をそのまま書き留めることに受講者の意識が向いている間に、受講者が、発話されている内容を聞き逃してしまうことがある。このように聞き逃した内容を、受講者は書き留めることができない。このため、受講者は、このように聞き逃してしまった内容を復習できない。

【0007】

この発明は上記事情に着目してなされたもので、音声コンテンツ中で発話される内容をユーザが記録している間に当該ユーザが聞き逃した可能性がある発話音声に関係するデータを抽出する技術を提供しようとするものである。

【課題を解決するための手段】

【0008】

上記課題を解決するために、この発明の一態様の情報処理方法は、ハードウェアプロセッサおよびメモリを備える装置により実行され、ユーザ端末から第１データを取得する取得過程と、前記第１データに係る第１文書コンテンツの第１部分と、発話音声に係る第２文書コンテンツの第２部分との類似度を算出する算出過程と、前記類似度が第１閾値を超えていることに基づいて、前記第１部分のデータに、前記第２部分のデータと、前記第２文書コンテンツ中で前記第２部分に続く第３部分のデータと、の少なくとも一方を含む第２データを対応付けた、第３データを生成する生成過程と、前記第３データを前記ユーザ端末へ出力する出力過程とを含む。

【発明の効果】

【0009】

この発明の一態様によれば、音声コンテンツ中で発話される内容をユーザが記録している間に当該ユーザが聞き逃した可能性がある発話音声に関係するデータを抽出する技術を提供することが可能とされる。

【図面の簡単な説明】

【0010】

【図1】図１は、この発明の第１実施形態に係る情報処理装置として用いられるサーバ装置およびユーザ端末の概略的な構成を示す図である。

【図2】図２は、この発明の第１実施形態に係る情報処理装置として用いられるサーバ装置およびユーザ端末のハードウェア構成の一例を示すブロック図である。

【図3】図３は、この発明の第１実施形態に係る情報処理装置として用いられるサーバ装置の制御部のソフトウェア構成の一例を示すブロック図である。

【図4】図４は、この発明の第１実施形態に係るユーザ端末の制御部のソフトウェア構成の一例を示すブロック図である。

【図5】図５は、この発明の第１実施形態に係るユーザ端末のユーザ文書データ記憶部に記憶されるデータの構造を示す図である。

【図6】図６は、この発明の第１実施形態に係る情報処理装置として用いられるサーバ装置のコンテンツデータ記憶部に記憶されるデータの構造を示す図である。

【図7】図７は、この発明の第１実施形態に係る情報処理装置として用いられるサーバ装置の支援データ記憶部に記憶されるデータの構造を示す図である。

【図8】図８は、この発明の第１実施形態に係る情報処理装置として用いられるサーバ装置およびユーザ端末により実行される動作の一例を示すフローチャートである。

【図9】図９は、この発明の第１実施形態に係る情報処理装置として用いられるサーバ装置が支援データ生成部の制御の下で行う動作の詳細を説明するための図である。

【図10】図１０は、この発明の第１実施形態に係るユーザ端末が表示データ出力部の制御の下で行う動作の詳細を説明するための図である。

【発明を実施するための形態】

【0011】

以下、図面を参照してこの発明に係る実施形態を説明する。なお、図面中に示される各機能ブロックは、示されているように区別されていることは必須ではない。例えば、一部の機能が例示の機能ブロックとは別の機能ブロックにより実行されてもよい。さらに、例示の機能ブロックがさらに細かい機能サブブロックに分割されていてもよい。また、以下の説明における各機能ブロックおよび各構成要素の名称は便宜的なものであり、各機能ブロックおよび各構成要素の構成および動作を限定するものではない。

【0012】

［第１実施形態］
（構成例）
（１）概略構成図
図１は、この発明の第１実施形態に係るサーバ装置ＳＶおよびユーザ端末ＵＴの概略的な構成を示す。

【0013】

ユーザ端末ＵＴは、例えば、スマートフォン、携帯端末（例えばタブレット端末）、およびパーソナルコンピュータ等である。ユーザ端末ＵＴは、サーバ装置ＳＶとの間でデータを送受信可能である。ユーザ端末ＵＴには、例えば表示部ＤＰが接続されている。本明細書では、ユーザ端末ＵＴに表示部ＤＰが接続されているものとして説明を行うが、ユーザ端末ＵＴと表示部ＤＰとが一体となっていてもよい。表示部ＤＰは、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、および有機ＥＬ（Electroluminescence）ディスプレイ等である。

【0014】

例えば、ユーザ端末ＵＴを用いて、ユーザは、学習することを望むコンテンツ（以下、学習コンテンツとも称する。）を視聴する。より具体的には、ユーザ端末ＵＴは、例えば、学習コンテンツに係るコンテンツデータＣＴＤを再生することにより、表示部ＤＰの表示画面上に画像コンテンツを表示させ、（図示していない）出力部から音声コンテンツを出力する。当該画像コンテンツおよび音声コンテンツを通してユーザは学習する。ユーザ端末ＵＴは、例えば、学習中のユーザによるキーボード等を介した入力に基づいて、ユーザ文書データ生成部５１の制御の下、ユーザ文書データＵＤを生成する。本実施形態では、学習コンテンツが画像コンテンツと音声コンテンツとを含むものとして説明を行うが、学習コンテンツは、例えば音声コンテンツのみからなるものであってもよい。画像コンテンツは、例えば、スライドコンテンツまたは動画コンテンツであり、それらを組み合わせたものであってもよい。音声コンテンツには発話音声が含まれる。

【0015】

ユーザ端末ＵＴは、ユーザ文書データＵＤに係る文書コンテンツを表示部ＤＰに表示させ得る。表示部ＤＰに表示される当該文書コンテンツを通して、ユーザは、過去に学習した学習コンテンツを復習し得る。

【0016】

ユーザ端末ＵＴは、このような復習に先立ち、ユーザ文書データＵＤをサーバ装置ＳＶに送信し得る。サーバ装置ＳＶは、比較部１３３の制御の下、当該ユーザ文書データＵＤに係る文書コンテンツと、コンテンツデータＣＴＤに係る発話音声の内容とを比較し、当該比較に基づく支援データＡＤを生成する。支援データＡＤは、文書コンテンツのデータを含む。当該文書コンテンツは、上記発話音声の内容のうち、例えば、ユーザが学習中に聞き逃した可能性がある部分に係るものである。サーバ装置ＳＶは、ユーザ端末ＵＴに当該支援データＡＤを送信する。

【0017】

ユーザ端末ＵＴは、ユーザ文書データＵＤに係る文書コンテンツとともに、当該支援データＡＤに係る文書コンテンツを、表示部ＤＰに表示させる。表示部ＤＰに表示されるこれら文書コンテンツを通して、ユーザは、過去に学習したコンテンツを復習し得る。

【0018】

（２）サーバ装置およびユーザ端末のハードウェア構成
図２は、サーバ装置ＳＶおよびユーザ端末ＵＴのハードウェア構成の一例を示すブロック図である。本明細書では、サーバ装置ＳＶとユーザ端末ＵＴとを組み合わせたものをシステムＳＹＳとも称する。

【0019】

サーバ装置ＳＶは、制御部１、プログラム記憶部２、データ記憶部３、入出力インタフェース（入出力Ｉ／Ｆ）４、およびバスＢＵＳ１を含む。プログラム記憶部２、データ記憶部３、および入出力インタフェース４、の各々は、バスＢＵＳ１を介して制御部１に接続される。

【0020】

制御部１は、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを有する。

【0021】

プログラム記憶部２は、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせたものである。プログラム記憶部２は、ＯＳ（Operating System）等のミドルウェアに加えて、本実施形態に係る各種制御処理の実行のために用いられるプログラムを格納する。

【0022】

データ記憶部３は、記憶媒体として、例えば、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとを組み合わせたものである。データ記憶部３は、制御部１が有するハードウェアプロセッサの作業領域として使用され、データを一時的に保持し、バッファおよびキャッシュとして機能する。

【0023】

入出力インタフェース４は、制御部１による制御の下、通信ネットワークＮＷにより定義される通信プロトコルを使用して、ユーザ端末ＵＴとの間で伝送されるデータの送受信を行う。入出力インタフェース４は、例えば有線ＬＡＮまたは無線ＬＡＮに対応するインタフェースにより構成される。

【0024】

ユーザ端末ＵＴは、制御部５、プログラム記憶部６、データ記憶部７、入出力インタフェース８、およびバスＢＵＳ２を含む。プログラム記憶部６、データ記憶部７、および入出力インタフェース８、の各々は、バスＢＵＳ２を介して制御部５に接続される。

【0025】

制御部５については、制御部１について説明したのと同様の説明が成り立つ。プログラム記憶部６については、プログラム記憶部２について説明したのと同様の説明が成り立つ。データ記憶部７については、データ記憶部３について行った説明において、制御部１を制御部５に置き換えた説明が成り立つ。入出力インタフェース８については、入出力インタフェース４について行った説明において、制御部１を制御部５に、ユーザ端末ＵＴをサーバ装置ＳＶに置き換えた説明が成り立つ。

【0026】

入出力インタフェース８には、例えば入力部ＩＰおよび表示部ＤＰが接続される。入力部ＩＰは、例えば、キーボード、マウス、およびタッチパッド等である。入力部ＩＰと表示部ＤＰが、タッチパネルにより実現されていてもよい。

【0027】

（３）サーバ装置に係るソフトウェア構成
図３は、サーバ装置ＳＶの制御部１のソフトウェア構成の一例を示すブロック図である。図３では、当該ソフトウェア構成の制御の下で行われる各処理に係るデータの送受信等に関連する構成も併せて示されている。以下の同様の図面についても同じである。

【0028】

制御部１は、例えば、コンテンツ要求取得部１１、コンテンツデータ出力部１２、支援データ生成部１３、および支援データ出力部１４を含む。制御部１が含む各部の処理機能は、制御部１が、プログラム記憶部２に格納されるプログラムを、制御部１のハードウェアプロセッサに実行させることにより実現される。プログラム記憶部２に格納されるプログラムが用いられるものとして説明を行ったが、用いられるプログラムは、通信ネットワークＮＷを通して提供されるものであってもよい。

【0029】

入出力インタフェース４は、ユーザ端末ＵＴから通信ネットワークＮＷを介して送信されるコンテンツ要求を受け取り、当該コンテンツ要求を制御部１に入力する。入出力インタフェース４は、制御部１から出力されるデータを受け取り、制御部１からの指示にしたがって、当該データを上記ユーザ端末ＵＴに通信ネットワークＮＷを介して送信する。

【0030】

データ記憶部３は、例えば、ユーザ文書データ記憶部３１、コンテンツデータ記憶部３２、ユーザ文書分割データ記憶部３３、発話文書分割データ記憶部３４、および支援データ記憶部３５を含む。

【0031】

ユーザ文書データ記憶部３１は、ユーザ文書データＵＤ、および、ユーザ文書データＵＤに係る学習コンテンツの識別子を記憶する。

【0032】

コンテンツデータ記憶部３２は、コンテンツデータＣＴＤ、および、コンテンツデータＣＴＤに係る学習コンテンツの識別子を記憶する。コンテンツデータ記憶部３２はサーバ装置ＳＶに含まれているものとして説明するが、例えばクラウドコンピューティング上に設けられていてもよい。

【0033】

ユーザ文書分割データ記憶部３３および発話文書分割データ記憶部３４は、支援データ生成部１３による処理の途中のデータを記憶する。

【0034】

支援データ記憶部３５は、支援データＡＤを記憶する。

【0035】

コンテンツ要求取得部１１は、入出力インタフェース４を介して、ユーザ端末ＵＴから送信されるコンテンツ要求を取得する処理を行う。コンテンツ要求には、ユーザ文書データＵＤと、当該ユーザ文書データＵＤに係る学習コンテンツの識別子とが含まれる。コンテンツ要求取得部１１は、例えば、当該ユーザ文書データＵＤおよび当該識別子を、ユーザ文書データ記憶部３１に記憶させる処理を行う。当該記憶処理では、当該ユーザ文書データＵＤが当該識別子に対応付けされる。

【0036】

コンテンツデータ出力部１２は、コンテンツデータ記憶部３２から、当該識別子に対応付けられたコンテンツデータＣＴＤを読み出し、当該コンテンツデータＣＴＤを、入出力インタフェース４を介してサーバ装置ＳＶの外部に出力し、ユーザ端末ＵＴに送信する処理を行う。

【0037】

支援データ生成部１３は、上記ユーザ文書データＵＤおよび上記コンテンツデータＣＴＤに基づいて支援データＡＤを生成する処理を行う。より具体的には次の通りである。

【0038】

支援データ生成部１３は、例えば、ユーザ文書データ分割部１３１、コンテンツデータ処理部１３２、および比較部１３３を含む。

【0039】

ユーザ文書データ分割部１３１は、ユーザ文書データ記憶部３１から上記ユーザ文書データＵＤを読み出し、当該ユーザ文書データＵＤを分割したデータ（以下、ユーザ文書分割データとも称する。）を生成する処理を行う。より具体的には、次の通りである。ユーザ文書データ分割部１３１は、当該ユーザ文書データＵＤに係る文書コンテンツをいくつかの部分に分割した各部分について、当該部分のデータであるユーザ文書分割データを生成する処理を行う。ユーザ文書データ分割部１３１は、生成したユーザ文書分割データをユーザ文書分割データ記憶部３３に記憶させる処理を行う。

【0040】

コンテンツデータ処理部１３２は、コンテンツデータ記憶部３２から上記コンテンツデータＣＴＤを読み出し、当該コンテンツデータＣＴＤに係る発話音声の内容を文書で表した文書コンテンツのデータ（以下、発話文書データとも称する。）を生成する処理を行う。

【0041】

コンテンツデータ処理部１３２は、当該発話文書データを分割したデータ（以下、発話文書分割データとも称する。）を生成する処理を行う。より具体的には、次の通りである。コンテンツデータ処理部１３２は、当該発話文書データに係る文書コンテンツをいくつかの部分に分割した各部分について、当該部分のデータである発話文書分割データを生成する処理を行う。コンテンツデータ処理部１３２は、生成した発話文書分割データを発話文書分割データ記憶部３４に記憶させる処理を行う。

【0042】

比較部１３３は、ユーザ文書分割データ記憶部３３から或るユーザ文書分割データを読み出し、発話文書分割データ記憶部３４から或る発話文書分割データを読み出し、当該ユーザ文書分割データに係る文書コンテンツと、当該発話文書分割データに係る文書コンテンツとを比較する処理を行う。当該比較処理では、当該２つの文書コンテンツの類似度を算出する処理が行われる。比較部１３３は、当該類似度に基づいて、当該ユーザ文書分割データに、当該発話文書分割データが対応するか否かを判定する処理を行う。比較部１３３は、当該ユーザ文書分割データに当該発話文書分割データが対応すると判定した場合、次に説明する処理を行う。なお、当該判定が行われた発話文書分割データのことを、以下、対応する発話文書分割データとも称する。

【0043】

比較部１３３は、発話文書分割データ記憶部３４から或る発話文書分割データを読み出す処理を行う。当該発話文書分割データは、元の発話文書データに係る文書コンテンツのうち、上記対応する発話文書分割データに係る部分に後続する部分のデータ（以下、後続する発話文書分割データとも称する。）である。比較部１３３は、当該ユーザ文書分割データ、当該対応する発話文書分割データ、および、当該後続する発話文書分割データを、支援データ記憶部３５に記憶させる処理を行う。当該記憶処理では、当該ユーザ文書分割データに、当該対応する発話文書分割データおよび当該後続する発話文書分割データが対応付けされる。

【0044】

比較部１３３は、ユーザ文書分割データと発話文書分割データとの他の組み合わせについても、上記で説明したのと同様の処理を行い得る。これにより、支援データ記憶部３５に、ユーザ文書分割データと、当該ユーザ文書分割データに対応付けられた、対応する発話文書分割データおよび後続する発話文書分割データと、の組み合わせが、順次記憶されていく。このように支援データ記憶部３５に記憶されるデータが、本実施形態で用いられる支援データＡＤである。

【0045】

支援データ出力部１４は、支援データ記憶部３５から支援データＡＤを読み出し、当該支援データＡＤを、入出力インタフェース４を介してサーバ装置ＳＶの外部に出力し、ユーザ端末ＵＴに送信する処理を行う。

【0046】

（４）ユーザ端末に係るソフトウェア構成
図４は、ユーザ端末ＵＴの制御部５のソフトウェア構成の一例を示すブロック図である。

【0047】

制御部５は、例えば、ユーザ文書データ生成部５１、コンテンツ要求送信部５２、コンテンツデータ取得部５３、支援データ取得部５４、および表示データ出力部５５を含む。制御部５が含む各部の処理機能は、制御部５が、プログラム記憶部６に格納されるプログラムを、制御部５のハードウェアプロセッサに実行させることにより実現される。プログラム記憶部６に格納されるプログラムが用いられるものとして説明を行ったが、用いられるプログラムは、通信ネットワークＮＷを通して提供されるものであってもよい。

【0048】

入出力インタフェース８は、制御部５から出力されるコンテンツ要求を受け取り、制御部５からの指示にしたがって、当該コンテンツ要求をサーバ装置ＳＶに通信ネットワークＮＷを介して送信する。入出力インタフェース８は、サーバ装置ＳＶから通信ネットワークＮＷを介して送信される、コンテンツデータＣＴＤおよび支援データＡＤを受け取り、当該コンテンツデータＣＴＤおよび支援データＡＤを制御部５に入力する。

【0049】

データ記憶部７は、例えば、ユーザ文書データ記憶部７１、コンテンツデータ記憶部７２、および支援データ記憶部７３を含む。

【0050】

ユーザ文書データ記憶部７１は、ユーザ文書データＵＤ、および、ユーザ文書データＵＤに係る学習コンテンツの識別子を記憶する。

【0051】

コンテンツデータ記憶部７２は、コンテンツデータＣＴＤを記憶する。

【0052】

支援データ記憶部７３は、支援データＡＤを記憶する。

【0053】

ユーザ文書データ生成部５１は、ユーザ文書データＵＤを生成し、当該ユーザ文書データＵＤ、および、当該ユーザ文書データＵＤに係る学習コンテンツの識別子を、ユーザ文書データ記憶部７１に記憶させる処理を行う。当該記憶処理では、当該ユーザ文書データＵＤが当該識別子に対応付けされる。

【0054】

ユーザ文書データＵＤの当該生成処理は、例えば、当該学習コンテンツを学習中のユーザによる入力部ＩＰを介した入力に基づくものである。このように生成されるユーザ文書データＵＤは、当該データＵＤに係る文書コンテンツ中のいくつかの箇所について、当該箇所に関係するユーザからの入力が行われていた時刻の情報を含むものであってもよい。

【0055】

コンテンツ要求送信部５２は、例えば、入力部ＩＰを介したユーザによる入力に応じて次の処理を行う。すなわち、コンテンツ要求送信部５２は、ユーザ文書データ記憶部７１から、ユーザ文書データＵＤと、当該ユーザ文書データＵＤに係る学習コンテンツの識別子とを読み出し、当該ユーザ文書データＵＤおよび当該識別子を含むコンテンツ要求を生成する処理を行う。コンテンツ要求送信部５２は、当該コンテンツ要求を、入出力インタフェース８を介してサーバ装置ＳＶに送信する処理を行う。

【0056】

コンテンツデータ取得部５３は、入出力インタフェース８を介して、サーバ装置ＳＶから送信されるコンテンツデータＣＴＤを取得する処理を行う。サーバ装置ＳＶによる当該コンテンツデータＣＴＤの送信は、サーバ装置ＳＶが上記コンテンツ要求を取得したことに応じて行ったものである。当該コンテンツデータＣＴＤは、サーバ装置ＳＶが、上記識別子に対応付けて記憶していたものである。コンテンツデータ取得部５３は、当該コンテンツデータＣＴＤをコンテンツデータ記憶部７２に記憶させる処理を行う。

【0057】

支援データ取得部５４は、入出力インタフェース８を介して、サーバ装置ＳＶから送信される支援データＡＤを取得する処理を行う。サーバ装置ＳＶによる当該支援データＡＤの送信は、サーバ装置ＳＶが上記コンテンツ要求を取得したことに応じて行ったものである。当該支援データＡＤは、サーバ装置ＳＶが、例えば上記ユーザ文書データＵＤに基づいて生成したものである。支援データ取得部５４は、当該支援データＡＤを支援データ記憶部７３に記憶させる処理を行う。

【0058】

表示データ出力部５５は、ユーザ文書データ記憶部７１から上記ユーザ文書データＵＤを読み出し、コンテンツデータ記憶部７２から上記コンテンツデータＣＴＤを読み出し、支援データ記憶部７３から当該支援データＡＤを読み出す処理を行う。表示データ出力部５５は、当該ユーザ文書データＵＤ、当該コンテンツデータＣＴＤ、および当該支援データＡＤに基づく情報を、入出力インタフェース８を介して表示部ＤＰに出力する処理を行う。より具体的には次の通りである。

【0059】

表示データ出力部５５は、例えば、コンテンツデータ出力部５５１、要約候補情報出力部５５２、および要約支援情報出力部５５３を含む。

【0060】

コンテンツデータ出力部５５１は、当該コンテンツデータＣＴＤを表示部ＤＰに出力する処理を行う。

【0061】

要約候補情報出力部５５２は、当該ユーザ文書データＵＤと、支援データＡＤ中のユーザ文書分割データとに基づく情報を、表示部ＤＰに出力する処理を行う。

【0062】

要約支援情報出力部５５３は、支援データＡＤ中の発話文書分割データを表示部ＤＰに出力する処理を行う。

【0063】

（５）データ構造
図５は、ユーザ文書データ記憶部７１に記憶されるデータの構造を示す。
ユーザ文書データ記憶部７１は、学習コンテンツの識別子（以下、コンテンツ識別子とも称する。）のカラムと、ユーザ文書データのカラムとを有する。ユーザ文書データ記憶部７１には、各レコードとして、１つの学習コンテンツに関係するデータが記憶される。図５では、次に説明するようにユーザ文書データ記憶部７１中に記憶されるいくつかのレコードの例が示されている。

【0064】

ユーザ文書データ記憶部７１への或るユーザ文書データＵＤの記憶に際して、或るレコードとして、コンテンツ識別子のカラムに当該ユーザ文書データＵＤに係る学習コンテンツの識別子が記憶され、ユーザ文書データのカラムに当該ユーザ文書データＵＤが記憶される。

【0065】

当該識別子は、当該学習コンテンツを一意的に識別するために用いられる。

【0066】

当該ユーザ文書データＵＤは、例えば、当該学習コンテンツを学習中のユーザによるキーボード等の入力部ＩＰを介した入力に基づいて生成されたものであるが、これに限定されない。当該データＵＤは、例えば、ユーザ端末ＵＴが例えばスマートフォンのようにカメラを備えている場合、ユーザが物理的に存在するノートに書き留めた文字情報が当該カメラを用いて撮影されて生成されるような、画像コンテンツに係るものであってもよい。あるいは、当該データＵＤは、例えば、ユーザ端末がタブレット型やラップトップのパーソナルコンピュータ等である場合、スタイラスペンや指で書き留められた文字情報が保存されて生成されるような、画像コンテンツに係るものであってもよい。このように生成されるデータＵＤのファイル形式は、例えば拡張子「．ｄｏｃ」、拡張子「．ｐｄｆ」、および拡張子「．ｐｎｇ」等で表されるものであるが、これらに限定されない。

【0067】

このように、ユーザ文書データ記憶部７１では、１つのレコードとして、当該識別子および当該ユーザ文書データＵＤが、互いに対応付けられて記憶される。

【0068】

本実施形態では、一例として、ユーザ文書データＵＤが、例えばテキスト情報からなる文書コンテンツに係るような場合について説明を行っている。しかしながら、本実施形態はこれに限定されない。ユーザ文書データＵＤが画像コンテンツに係るものである場合、ユーザ文書データ分割部１３１が、ユーザ文書分割データの生成処理の前に、例えば光学文字認識（Optical Character Recognition：ＯＣＲ）の技術を用いて、当該画像コンテンツから文字情報を抽出した文書コンテンツのデータを生成する処理を行う。ユーザ文書データ分割部１３１は、当該データに対して、ユーザ文書データＵＤに対して行うと説明している処理を行う。

【0069】

図６は、コンテンツデータ記憶部３２に記憶されるデータの構造を示す。
コンテンツデータ記憶部３２は、コンテンツ識別子のカラムと、コンテンツデータのカラムとを有する。コンテンツデータ記憶部３２には、各レコードとして、１つの学習コンテンツに関係するデータが記憶されている。図６では、次に説明するようにコンテンツデータ記憶部３２中に記憶されているいくつかのレコードの例が示されている。

【0070】

コンテンツデータ記憶部３２中の１つのレコードとして、コンテンツ識別子のカラムに或る学習コンテンツの識別子が記憶され、コンテンツデータのカラムに当該学習コンテンツに係るコンテンツデータＣＴＤが記憶されている。

【0071】

当該識別子は、当該学習コンテンツを一意的に識別するために用いられる。図６の例では、或る学習コンテンツの識別子として、当該学習コンテンツの識別子として図５の例で用いられていたのと同一の識別子が用いられている。

【0072】

当該コンテンツデータＣＴＤは１つのファイルで構成されていてもよいし、複数のファイルで構成されていてもよい。コンテンツデータＣＴＤを構成するファイルは、スライドコンテンツおよび動画コンテンツ等のような画像コンテンツに係るものであってもよいし、音声コンテンツに係るものであってもよい。このようなファイルのファイル形式は、例えば拡張子「．ｍｐ４」、拡張子「．ｍｏｖ」、拡張子「．ｐｄｆ」、および拡張子「．ｐｐｔｘ」等で表されるものであるが、これらに限定されない。

【0073】

このように、コンテンツデータ記憶部３２では、１つのレコードとして、当該識別子および当該コンテンツデータＣＴＤが、互いに対応付けられて記憶されている。

【0074】

図７は、支援データ記憶部３５に記憶されるデータの構造を示す。
支援データ記憶部３５は、例えば、ユーザ文書分割データのカラムと、対応する発話文書分割データのカラムと、後続する発話文書分割データのカラムとを有する。図７では、次に説明するように支援データ記憶部３５中に記憶されるいくつかのレコードの例が示されている。

【0075】

支援データ記憶部３５への或るユーザ文書分割データＵＤＤの記憶に際して、或るレコードとして、ユーザ文書分割データのカラムに当該データＵＤＤが記憶され、対応する発話文書分割データのカラムに、当該データＵＤＤに対応する発話文書分割データＣＤＤが記憶され、後続する発話文書分割データのカラムに、当該データＵＤＤに係る後続する発話文書分割データＣＤＤが記憶される。

【0076】

このように、支援データ記憶部３５では、１つのレコードとして、当該データＵＤＤ、当該対応する発話文書分割データＣＤＤ、および当該後続する発話文書分割データＣＤＤが、互いに対応付けられて記憶される。

【0077】

本実施形態では、このように支援データ記憶部３５に、支援データＡＤとして、ユーザ文書分割データＵＤＤに対応付けられて、対応する発話文書分割データＣＤＤおよび後続する発話文書分割データが記憶されるものとして説明する。しかしながら、支援データＡＤとして、対応する発話文書分割データＣＤＤと、後続する発話文書分割データと、のうち一方のみが記憶されるようにしてもよい。この場合、支援データ記憶部３５は、上述した、対応する発話文書分割データのカラムと、後続する発話文書分割データのカラムとのうち、一方を有していなくてもよい。

【0078】

（動作例）
次に、以上のように構成されたシステムＳＹＳの動作例を説明する。

【0079】

（１）動作フロー
図８は、サーバ装置ＳＶおよびユーザ端末ＵＴにより実行される動作の一例を示すフローチャートである。以下で説明する動作は一例に過ぎず、本実施形態に係る動作はこれに限定されるものではない。

【0080】

当該動作に先立ち、ユーザ端末ＵＴを用いて、ユーザが、例えば、学習コンテンツを視聴する。例えば学習中のユーザによる入力部ＩＰを介した入力に基づいて、ユーザ端末ＵＴの制御部５が、ユーザ文書データ生成部５１の制御の下、ユーザ文書データＵＤを生成し、当該ユーザ文書データＵＤ、および、上記学習コンテンツの識別子を、ユーザ文書データ記憶部７１に記憶させる。ユーザは、当該学習コンテンツの復習を行う際に、例えば、入力部ＩＰを介してユーザ端末ＵＴに入力を行う。例えば、ユーザからの当該入力により、図８のフローチャートに示される動作が開始される。

【0081】

ユーザ端末ＵＴの制御部５は、コンテンツ要求送信部５２の制御の下、ユーザ文書データ記憶部７１から上記ユーザ文書データＵＤを読み出し、当該ユーザ文書データＵＤを含むコンテンツ要求をサーバ装置ＳＶに送信する（ＳＴ０１）。当該コンテンツ要求には、上記識別子も含まれる。

【0082】

サーバ装置ＳＶの制御部１は、コンテンツ要求取得部１１の制御の下、当該コンテンツ要求を介して当該ユーザ文書データＵＤを取得する（ＳＴ０２）。制御部１は、当該コンテンツ要求に応じて、コンテンツデータ出力部１２の制御の下、コンテンツデータ記憶部３２から、上記識別子に対応付けられたコンテンツデータＣＴＤを読み出し、当該コンテンツデータＣＴＤをユーザ端末ＵＴに送信してもよい。

【0083】

制御部１は、ユーザ文書データ分割部１３１の制御の下、当該ユーザ文書データＵＤに係る文書コンテンツをいくつかの部分に分割した各部分について、当該部分のデータであるユーザ文書分割データＵＤＤを生成する（ＳＴ０３）。このように生成されるユーザ文書分割データＵＤＤのうち、元のユーザ文書データＵＤに係る文書コンテンツ中でユーザにより先に記録された部分に係るものから順に、ユーザ文書分割データＵＤＤ０、ユーザ文書分割データＵＤＤ１、ユーザ文書分割データＵＤＤ２、・・・、ユーザ文書分割データＵＤＤ（ｐ－１）（ｐは２以上の整数）と称する。制御部１は、ユーザ文書データ分割部１３１の制御の下、生成したユーザ文書分割データＵＤＤをユーザ文書分割データ記憶部３３に記憶させる。

【0084】

続いて、制御部１は、コンテンツデータ処理部１３２の制御の下、発話文書分割データＣＤＤを生成する（ＳＴ０４）。より具体的には、次の通りである。

【0085】

制御部１は、コンテンツデータ記憶部３２から、上記識別子に対応付けられたコンテンツデータＣＴＤを読み出し、当該コンテンツデータＣＴＤに係る発話音声の内容を文書で表した文書コンテンツのデータである発話文書データを生成する。当該発話文書データの生成処理は、例えば何らかの音声認識技術を用いて行われる。制御部１は、当該発話文書データに係る文書コンテンツをいくつかの部分に分割した各部分について、当該部分のデータである発話文書分割データＣＤＤを生成する。このように生成される発話文書分割データＣＤＤのうち、元のコンテンツデータＣＴＤに係る発話音声中で先に発話される部分に係るものから順に、発話文書分割データＣＤＤ０、発話文書分割データＣＤＤ１、発話文書分割データＣＤＤ２、・・・、発話文書分割データＣＤＤ（ｑ－１）（ｑは２以上の整数）と称する。制御部１は、生成した発話文書分割データＣＤＤを発話文書分割データ記憶部３４に記憶させる。

【0086】

なお、上記でＳＴ０３を付して説明した動作（以下、ＳＴ０３の動作とも称する。類似する他の記載についても同じである。）と、ＳＴ０４の動作は、逆の順序で行われてもよいし、部分的にオーバーラップして行われてもよい。

【0087】

続いて、制御部１は、次のように支援データＡＤを生成する。

【0088】

先ず、制御部１は、比較部１３３の制御の下、変数ｉの値を０に設定する（ＳＴ０５）。

【0089】

続いて、制御部１は、比較部１３３の制御の下、ユーザ文書分割データ記憶部３３からユーザ文書分割データＵＤＤｉを読み出す。この時点では、ユーザ文書分割データＵＤＤ０が読み出される。制御部１は、比較部１３３の制御の下、発話文書分割データ記憶部３４から例えば発話文書分割データＣＤＤ０を読み出す。制御部１は、比較部１３３の制御の下、ユーザ文書分割データＵＤＤｉに係る文書コンテンツと、発話文書分割データＣＤＤ０に係る文書コンテンツと、の類似度を算出する。算出される類似度は、対象の２つの文書コンテンツが類似しているほど高い値となる。制御部１は、同様に、発話文書分割データ記憶部３４から例えば発話文書分割データＣＤＤ１を読み出し、ユーザ文書分割データＵＤＤｉに係る文書コンテンツと、発話文書分割データＣＤＤ１に係る文書コンテンツと、の類似度を算出する。以下、同様であり、制御部１は、比較部１３３の制御の下、このようにして、整数ｊが０から（ｑ－１）の整数の各々のケースについて、ユーザ文書分割データＵＤＤｉに係る文書コンテンツと、発話文書分割データＣＤＤｊに係る文書コンテンツと、の類似度を算出する（ＳＴ０６）。

【0090】

制御部１は、このように算出した類似度のうち、例えば最も高い類似度に関して、次に説明する動作を行う。

【0091】

制御部１は、比較部１３３の制御の下、当該類似度が閾値ＶＳＨを超えているか否かを判定する（ＳＴ０７）。

【0092】

当該類似度が閾値ＶＳＨを超えていると判定された場合（ＳＴ０７，Ｙｅｓ）、制御部１は、比較部１３３の制御の下、当該類似度の算出に用いられた発話文書分割データＣＤＤが、ユーザ文書分割データＵＤＤｉに対応する発話文書分割データＣＤＤであると判定し、次に説明する動作を行う。

【0093】

制御部１は、発話文書分割データ記憶部３４から、後続する発話文書分割データＣＤＤを読み出す。当該後続する発話文書分割データＣＤＤは、元の発話文書データに係る文書コンテンツのうち、上記対応する発話文書分割データＣＤＤに係る部分に後続する部分のデータである。制御部１は、当該ユーザ文書分割データＵＤＤｉ、当該対応する発話文書分割データＣＤＤ、および、当該後続する発話文書分割データＣＤＤを、支援データ記憶部３５に記憶させる。当該記憶処理では、当該データＵＤＤｉに、当該対応する発話文書分割データＣＤＤおよび当該後続する発話文書分割データＣＤＤが対応付けされる。支援データ記憶部３５に記憶されるデータが、本実施形態で用いられる支援データＡＤであり、当該記憶処理により、支援データＡＤが生成または更新される（ＳＴ１１）。

【0094】

上記類似度が閾値ＶＳＨを超えていないと判定された場合（ＳＴ０７，Ｎｏ）、制御部１は、比較部１３３の制御の下、当該類似度が、閾値ＶＳＭを超えているか否かを判定する（ＳＴ０８）。閾値ＶＳＭは閾値ＶＳＨより低い。

【0095】

当該類似度が閾値ＶＳＭを超えていると判定された場合（ＳＴ０８，Ｙｅｓ）、制御部１は、比較部１３３の制御の下、ユーザ文書分割データＵＤＤｉに係る文書コンテンツの、元のユーザ文書データＵＤに係る文書コンテンツ中での位置と、当該類似度の算出に用いられた発話文書分割データＣＤＤに係る発話音声の、コンテンツデータＣＴＤに係る発話音声中での位置との近似度を算出する（ＳＴ０９）。算出される近似度は、対象の２つの位置が近いほど低い値となる。制御部１は、比較部１３３の制御の下、当該近似度が閾値ＶＮを下回っているか否かを判定する（ＳＴ１０）。

【0096】

当該近似度が閾値ＶＮを下回っていると判定された場合（ＳＴ１０，Ｙｅｓ）、制御部１は、比較部１３３の制御の下、当該発話文書分割データＣＤＤが、ユーザ文書分割データＵＤＤｉに対応する発話文書分割データＣＤＤであると判定し、ＳＴ１１の動作を行う。

【0097】

ＳＴ１１の動作に続いて、または、上記類似度が閾値ＶＳＭを超えていないと判定された場合（ＳＴ０８，Ｎｏ）、あるいは、上記近似度が閾値ＶＮを下回っていないと判定された場合（ＳＴ１０，Ｎｏ）、制御部１は、比較部１３３の制御の下、全てのｉについて処理が完了したか否かを判定する（ＳＴ１２）。この時点では、ｉが０以外のケースについては処理が行われていない。制御部１は、このように全てのｉについて処理が完了しているわけではない場合（ＳＴ１２，Ｎｏ）、比較部１３３の制御の下、変数ｉの値を１だけインクリメントする（ＳＴ１３）。

【0098】

続いて、制御部１は、次のユーザ文書分割データＵＤＤに関係する処理を、ＳＴ０６の動作から繰り返す。制御部１は、このようにＳＴ０６からＳＴ１３までの動作を繰り返し続け、ＳＴ１１の動作を行う都度、支援データ記憶部３５に記憶される支援データＡＤを更新する。

【0099】

制御部１は、ユーザ文書分割データＵＤＤ（ｐ－１）に関係する処理に続くＳＴ１２の動作において、全てのｉについて処理が完了したと判定する。この場合（ＳＴ１２，Ｙｅｓ）、制御部１は、支援データ出力部１４の制御の下、支援データ記憶部３５から支援データＡＤを読み出し、当該支援データＡＤをユーザ端末ＵＴに送信する（ＳＴ１４）。

【0100】

ユーザ端末ＵＴの制御部５は、支援データ取得部５４の制御の下、当該支援データＡＤを取得する（ＳＴ１５）。

【0101】

制御部５は、表示データ出力部５５の制御の下、当該支援データＡＤに基づく情報を、表示部ＤＰに出力する（ＳＴ１６）。表示部ＤＰの表示画面上に表示されるコンテンツを通して、ユーザは、過去に学習したコンテンツを復習し得る。

【0102】

上述した動作例は、サーバ装置ＳＶおよびユーザ端末ＵＴが実行する動作の一例に過ぎない。
上記では、ＳＴ０７からＳＴ１１の動作が、算出された類似度のうちもっとも高い類似度に関して行われる場合について説明した。しかしながら、算出された類似度の各々に関してこれらの動作が行われてもよい。この場合、算出された類似度の各々に関してこれらの動作が行われた後に、ＳＴ１２の動作に進む。

【0103】

さらに、上述したＳＴ０７の動作とＳＴ０８の動作は逆の順序で行われてもよい。この場合、次のように動作が行われる。先ず、類似度が閾値ＶＳＭを超えているか否かの判断が先にされる。当該類似度が閾値ＶＳＭを超えていないと判断された場合には、ＳＴ１２の動作に進むが、当該類似度が閾値ＶＳＭを超えていると判断された場合には、当該類似度が閾値ＶＳＨを超えているか否かが判断される。当該類似度が閾値ＶＳＨを超えていると判断された場合には、ＳＴ１１の動作に進む。当該類似度が閾値ＶＳＨを超えていないと判断された場合には、ＳＴ０９の動作に進む。

【0104】

さらに、上述したＳＴ０９の動作は、例えば、ＳＴ０７の動作およびＳＴ０８の動作より先に行われてもよい。例えば、ＳＴ０６の動作に続いて、最も高い類似度の算出に用いられた発話文書分割データＣＤＤについてＳＴ０９の動作が行われる。当該動作に続いて、ＳＴ０７以降の動作が行われる。

【0105】

さらに、上述したように、算出された類似度の各々に関してＳＴ０７からＳＴ１１の動作が行われる場合には、ＳＴ０９の動作が、ＳＴ０６の動作の前に、または、ＳＴ０６の動作と並行して、各発話文書分割データＣＤＤについて行われてもよい。

【0106】

（２）サーバ装置による支援データ生成処理の詳細
図９は、図８を参照して説明した、サーバ装置ＳＶの支援データ生成部１３の制御の下で行われる各ＳＴの動作の詳細を説明するための図である。

【0107】

先ず、ＳＴ０３の動作について説明する。
ユーザ文書データＵＤに係る文書コンテンツでは、図９に示されるように、複数の領域ＵＲを用いたグループ分けが行われる。より具体的には、当該文書コンテンツが、ユーザにより先に記録された方から順に、領域ＵＲ０内の文書コンテンツ、領域ＵＲ１内の文書コンテンツ、領域ＵＲ２内の文書コンテンツ、領域ＵＲ３内の文書コンテンツ、・・・、領域ＵＲ（ｐ－１）内の文書コンテンツに分けられる。

【0108】

このようなグループ分けは、例えば次のように行われる。
例えば、当該文書コンテンツの各行について、当該行に含まれる文字情報が１つのグループを構成するように、グループ分けが行われてもよい。あるいは、当該文書コンテンツ中の隣接する単語間の共起頻度に基づいてグループ分けが行われてもよい。あるいは、当該文書コンテンツ中の余白に基づいてグループ分けが行われてもよい。あるいは、何らかのトピック分析技術に基づいてグループ分けが行われてもよい。あるいは、複数の領域ＵＲそれぞれの面積が実質的に同一となるようにグループ分けが行われてもよい。

【0109】

図８の例のＳＴ０３の動作では、ユーザ文書データ分割部１３１の制御の下、領域ＵＲ０内の文書コンテンツのデータであるユーザ文書分割データＵＤＤ０が生成され、領域ＵＲ１内の文書コンテンツのデータであるユーザ文書分割データＵＤＤ１が生成され、領域ＵＲ２内の文書コンテンツのデータであるユーザ文書分割データＵＤＤ２が生成され、領域ＵＲ３内の文書コンテンツのデータであるユーザ文書分割データＵＤＤ３が生成され、・・・、領域ＵＲ（ｐ－１）内の文書コンテンツのデータであるユーザ文書分割データＵＤＤ（ｐ－１）が生成される。

【0110】

次に、ＳＴ０４の動作について説明する。
コンテンツデータＣＴＤに基づいて発話文書データが生成される。当該発話文書データに係る文書コンテンツにおいても、図９に示されるように、複数の領域ＣＲを用いたグループ分けが行われる。より具体的には、当該文書コンテンツが、元のコンテンツデータＣＴＤに係る発話音声中で先に発話される方に係るものから順に、領域ＣＲ０内の文書コンテンツ、領域ＣＲ１内の文書コンテンツ、領域ＣＲ２内の文書コンテンツ、領域ＣＲ３内の文書コンテンツ、・・・、領域ＣＲ（ｑ－１）内の文書コンテンツに分けられる。

【0111】

このようなグループ分けは、例えば次のように行われる。
例えば、当該文書コンテンツの各行について、当該行に含まれる文字情報が１つのグループを構成するように、グループ分けが行われてもよい。あるいは、当該文書コンテンツ中の隣接する単語間の共起頻度に基づいてグループ分けが行われてもよい。あるいは、当該文書コンテンツ中の余白に基づいてグループ分けが行われてもよい。当該余白は、例えば、発話音声が無い区間に対応する。あるいは、何らかのトピック分析技術に基づいてグループ分けが行われてもよい。あるいは、複数の領域ＵＲそれぞれの面積が実質的に同一となるようにグループ分けが行われてもよい。各領域ＵＲの面積は、例えば、当該領域内の文書コンテンツの発話時間に比例し得る。

【0112】

図８の例のＳＴ０４の動作では、コンテンツデータ処理部１３２の制御の下、領域ＣＲ０内の文書コンテンツのデータである発話文書分割データＣＤＤ０が生成され、領域ＣＲ１内の文書コンテンツのデータである発話文書分割データＣＤＤ１が生成され、領域ＣＲ２内の文書コンテンツのデータである発話文書分割データＣＤＤ２が生成され、領域ＣＲ３内の文書コンテンツのデータである発話文書分割データＣＤＤ３が生成され、・・・、領域ＣＲ（ｑ－１）内の文書コンテンツのデータである発話文書分割データＣＤＤ（ｑ－１）が生成される。

【0113】

次に、比較部１３３の制御の下で行われるいくつかのＳＴの動作について、これらの動作がユーザ文書分割データＵＤＤ１に関して行われる場合の例を説明する。

【0114】

図８の例のＳＴ０６の動作では、例えば、整数ｊが０から（ｑ－１）の整数の各々のケースについて、ユーザ文書分割データＵＤＤ１に係る文書コンテンツと、発話文書分割データＣＤＤｊに係る文書コンテンツと、の類似度が算出される。図９では、このうちの、整数ｊが２の場合が示されている。

【0115】

当該類似度の算出処理は、対象の２つの文書コンテンツの間で文字列および／またはトピックがどれだけ類似しているかに基づくものであってもよい。当該類似度の算出処理は、グループ分けの粒度によって異なる技術に基づくものであってもよい。例えば、当該類似度の算出処理は、対象の２つの文書コンテンツの間の最長共通文字列の長さに基づくものであってもよい。あるいは、当該類似度の算出処理は、対象の２つの文書コンテンツの間での単語の共起割合に基づくものであってもよい。当該単語の共起割合は、例えば（共起文字数）／（文書コンテンツ内の文字数）に基づく。あるいは、当該類似度の算出処理は、何らかのトピック分析技術に基づくものであってもよい。

【0116】

このように算出された類似度のうち、ユーザ文書分割データＵＤＤ１に係る文書コンテンツと、発話文書分割データＣＤＤ２に係る文書コンテンツと、の類似度が最も高かったものとして説明する。

【0117】

図８の例のＳＴ０７およびＳＴ０８の動作では、当該最も高い類似度が閾値と比較される。

【0118】

当該類似度が閾値ＶＳＨを超えている場合、ユーザ文書分割データＵＤＤ１に、当該最も高い類似度の算出に用いられた発話文書分割データＣＤＤ２が対応すると判定され、ＳＴ１１の動作が行われる。

【0119】

当該類似度が閾値ＶＳＨを超えていないが、図８の例のＳＴ０８の動作において閾値ＶＳＭを超えている場合、図８の例のＳＴ０９の動作において、次に説明する処理が行われる。

【0120】

ユーザ文書分割データＵＤＤ１に係る文書コンテンツの、元のユーザ文書データＵＤに係る文書コンテンツ中での位置と、発話文書分割データＣＤＤ２に係る発話音声の、コンテンツデータＣＴＤに係る発話音声中での位置との近似度が算出される。

【0121】

ユーザ文書分割データＵＤＤ１に係る文書コンテンツの、ユーザ文書データＵＤに係る文書コンテンツ中での位置は、例えば、（データＵＤＤ１に係る領域ＵＲ１より前にある領域ＵＲ０の面積）／（領域ＵＲの面積の総和）の数値で示される。

【0122】

あるいは、ユーザ文書データＵＤが、当該データＵＤに係る文書コンテンツ中のいくつかの箇所について、当該箇所に関係するユーザからの入力が行われていた時刻の情報を含む場合、当該位置は次のように求められてもよい。すなわち、当該位置は、（データＵＤに係る文書コンテンツのための入力をユーザが始めてからデータＵＤＤ１に係る文書コンテンツのための入力をユーザが始めるまでの時間）／（データＵＤに係る文書コンテンツのための入力をユーザが初めてから終わるまでの時間）の数値で示されてもよい。

【0123】

発話文書分割データＣＤＤ２に係る発話音声の、コンテンツデータＣＴＤに係る発話音声中での位置は、例えば、（コンテンツデータＣＴＤに係る発話音声の開始からデータＣＤＤ２に係る発話音声の開始までの時間）／（コンテンツデータＣＴＤに係る発話音声の開始から終了までの時間）の数値で示される。

【0124】

あるいは、当該位置は、例えば、（データＣＤＤ２に係る領域ＣＲ２より前にある領域ＣＲ０およびＣＲ１の面積の和）／（領域ＣＲの面積の総和）の数値で示されてもよい。

【0125】

この２つの数値の差の絶対値により上記近似度が算出される。

【0126】

当該近似度が閾値ＶＮを下回っている場合、ユーザ文書分割データＵＤＤ１に発話文書分割データＣＤＤ２が対応すると判定され、ＳＴ１１の動作が行われる。

【0127】

図８の例のＳＴ１１の動作では、当該データＵＤＤ１、当該対応する発話文書分割データＣＤＤ２、および、後続する発話文書分割データＣＤＤ３が、支援データＡＤ中のデータとして記憶される。支援データＡＤでは、当該データＵＤＤ１に、当該対応する発話文書分割データＣＤＤ２、および、当該後続する発話文書分割データＣＤＤ３が、対応付けされている。

【0128】

支援データＡＤ中でこのように対応付けされている、ユーザ文書分割データＵＤＤ１、発話文書分割データＣＤＤ２、および、発話文書分割データＣＤＤ３は、図８の例のＳＴ１６の動作において利用される。より具体的には、要約候補情報出力部５５２の制御の下でユーザ文書分割データＵＤＤ１が利用され、要約支援情報出力部５５３の制御の下で発話文書分割データＣＤＤ２およびＣＤＤ３が利用される。次の図を参照しながらより詳細に説明する。

【0129】

（３）ユーザ端末による支援データに基づく情報出力処理の詳細
図１０は、図８を参照して説明した、ユーザ端末ＵＴの表示データ出力部５５の制御の下で行われるＳＴ１６の動作の詳細を説明するための図である。図中の破線の枠および一点鎖線の枠は、説明のために示されているものであり、表示部ＤＰの表示画面上に表示される画像ではない。

【0130】

ユーザ端末ＵＴに接続される表示部ＤＰの表示画面では、例えば表示領域ＤＲ１および表示領域ＤＲ２が表示される。
表示領域ＤＲ１には、要約候補情報出力部５５２の制御の下、ユーザ文書データＵＤに係る文書コンテンツが表示される。表示領域ＤＲ２には、コンテンツデータ出力部５５１の制御の下、例えば、コンテンツデータＣＴＤに係る画像コンテンツが表示される。

【0131】

表示領域ＤＲ１では、要約候補情報出力部５５２の制御の下、ユーザ文書データＵＤに係る文書コンテンツのうち、支援データＡＤ中のユーザ文書分割データＵＤＤに係る文書コンテンツがハイライト表示される。図１０では、当該ハイライト表示される文書コンテンツは＜＜ ＞＞で囲まれている。図１０では、支援データＡＤ中のユーザ文書分割データＵＤＤ１に係る文書コンテンツがハイライト表示される様子が破線の枠で囲まれて示されている。なお、表示領域ＤＲ１では、要約候補情報出力部５５２の制御の下、ユーザ文書データＵＤに係る文書コンテンツが表示されることなく、支援データＡＤ中のユーザ文書分割データＵＤＤに係る文書コンテンツのみが表示されてもよい。

【0132】

例えば、表示部ＤＰの表示画面中に表示されるカーソルが、ユーザによる操作に基づいて、ハイライト表示される或る文書コンテンツに合わされた場合、要約支援情報出力部５５３の制御の下、当該表示画面において、例えば、当該文書コンテンツの上下左右のいずれかに表示領域ＤＲ３、表示領域ＤＲ４が表示される。図１０では、ハイライト表示されるユーザ文書分割データＵＤＤ１に係る文書コンテンツにカーソルが合わされた場合の例が示されている。

【0133】

表示領域ＤＲ３では、要約支援情報出力部５５３の制御の下、支援データＡＤ中で当該データＵＤＤ１に対応付けられている、対応する発話文書分割データＣＤＤ２、に係る文書コンテンツが表示される。

【0134】

表示領域ＤＲ４では、要約支援情報出力部５５３の制御の下、支援データＡＤ中で当該データＵＤＤ１に対応付けられている、後続する発話文書分割データＣＤＤ３、に係る文書コンテンツが表示される。

【0135】

（効果）
第１実施形態に係るサーバ装置ＳＶは、ユーザ端末ＵＴからユーザ文書データＵＤを取得する。ユーザ文書データＵＤは、或る学習コンテンツを学習中のユーザによる入力に基づいて生成されたものである。サーバ装置ＳＶは、当該ユーザ文書データＵＤに基づいて或るユーザ文書分割データＵＤＤを生成する。当該ユーザ文書分割データＵＤＤは、元のユーザ文書データＵＤに係る文書コンテンツ中の或る部分のデータである。一方、サーバ装置ＳＶは、上記学習コンテンツに係るコンテンツデータＣＴＤを読み出し、当該コンテンツデータＣＴＤに係る発話音声の内容を文書で表した文書コンテンツのデータである発話文書データを生成する。サーバ装置ＳＶは、当該発話文書データに基づいて或る発話文書分割データＣＤＤを生成する。当該発話文書分割データＣＤＤは、元の発話文書データに係る文書コンテンツ中の或る部分のデータである。サーバ装置ＳＶは、当該ユーザ文書分割データＵＤＤに係る文書コンテンツと、当該発話文書分割データＣＤＤに係る文書コンテンツとの類似度を算出する。

【0136】

サーバ装置ＳＶは、当該類似度に基づいて、当該ユーザ文書分割データＵＤＤに当該発話文書分割データＣＤＤが対応するか否かを判定する。サーバ装置ＳＶは、当該ユーザ文書分割データＵＤＤに当該発話文書分割データＣＤＤが対応すると判定した場合、当該ユーザ文書分割データＵＤＤ、当該対応する発話文書分割データＣＤＤ、および、後続する発話文書分割データＣＤＤを、支援データ記憶部３５に記憶させる。当該後続する発話文書分割データＣＤＤは、元の発話文書データに係る文書コンテンツのうち、当該対応する発話文書分割データＣＤＤに係る部分に後続する部分のデータである。当該記憶処理では、当該ユーザ文書分割データＵＤＤに、当該対応する発話文書分割データＣＤＤおよび当該後続する発話文書分割データＣＤＤが対応付けされる。このようにして、支援データ記憶部３５内に支援データＡＤが生成される。サーバ装置ＳＶは、支援データＡＤをユーザ端末ＵＴに送信する。

【0137】

支援データＡＤ中のユーザ文書分割データＵＤＤに係る文書コンテンツは、ユーザが、学習コンテンツ中で発話される内容をそのまま記録したものである可能性が高い。このように記録された部分については、ユーザがその部分を深くは理解できていない可能性がある。したがって、図１０を参照して説明したように当該データＵＤＤに係る文書コンテンツを表示部ＤＰの表示画面上でハイライト表示させると、ユーザは、発話音声の内容をそのまま記録していた箇所が容易にわかり、上記学習コンテンツの内容を効率的に復習することが可能となり得る。ユーザは、例えば、ハイライト表示される文書の内容を自分なりに整理してから、その内容を要約して別の表現で記録しなおすことができる。

【0138】

さらに、図１０を参照して説明したように、支援データＡＤ中で当該データＵＤＤに対応付けられている発話文書分割データＣＤＤに係る文書コンテンツが、当該表示画面上で表示され得る。具体的には次の通りである。上記対応する発話文書分割データＣＤＤに係る文書コンテンツが表示され得る。さらに、上記後続する発話文書分割データＣＤＤに係る文書コンテンツが表示され得る。このように表示される文書コンテンツは、発話される内容をそのまま記録するのにユーザの意識が向いているあまり、ユーザが聞き逃してしまった可能性がある発話音声を文書で表したものである。したがって、このように表示される文書コンテンツを利用すると、ユーザは、聞き逃してしまった部分を再度聞くために学習コンテンツを視聴しなおす必要が無く、ゆえに効率的に復習をすることができる。ユーザは、このように表示される文書コンテンツを参照しながら、上述したようにハイライト表示される文書の内容を要約することができる。図９を参照して説明したグループ分けの粒度が大きい場合には、例えば、上記対応する発話文書分割データＣＤＤに係る文書コンテンツの表示が、ユーザにとって、より有用になり得る。一方、グループ分けの粒度が小さい場合には、例えば、上記後続する発話文書分割データＣＤＤに係る文書コンテンツの表示が、ユーザにとって、より有用になり得る。

【0139】

サーバ装置ＳＶは、上記ユーザ文書分割データＵＤＤに上記発話文書分割データＣＤＤが対応するか否かの判定を、より具体的には次のように行う。上記類似度が、閾値ＶＳＨを超えている場合に、サーバ装置ＳＶは、当該データＵＤＤに当該データＣＤＤが対応すると判定する。上記類似度が閾値ＶＳＨを超えていないが閾値ＶＳＭを超えている場合には、次の処理が行われる。サーバ装置ＳＶは、当該データＵＤＤに係る文書コンテンツの、元のユーザ文書データＵＤに係る文書コンテンツ中での位置と、当該データＣＤＤに係る発話音声の、コンテンツデータＣＴＤに係る発話音声中での位置との近似度を算出する。当該近似度が閾値ＶＮを下回っていれば、サーバ装置ＳＶは、当該データＵＤＤに当該データＣＤＤが対応すると判定する。

【0140】

例えば、発話される内容をユーザがそのまま記録する場合、発話される内容を一言一句違えずに記録することは難しい。発話された内容とは部分的に異なって記録された箇所は、発話された内容との単純な文字列比較では抽出されないことがある。これは、このような文字列比較は、対象の文字情報の間で完全に一致する文字列を見つけるものだからである。一方、上述したように、第１実施形態に係るサーバ装置ＳＶによると、ユーザ文書分割データＵＤＤに発話文書分割データＣＤＤが対応するか否かの判定が、データＵＤＤに係る文書コンテンツと当該データＣＤＤに係る文書コンテンツとの類似度に加えて、上述したような近似度にも基づいて行われ得る。また、類似度の算出処理は、文字列比較に基づくものに限定されない。このため、第１実施形態に係るサーバ装置ＳＶによると、従来の技術では抽出されないようなデータＵＤＤを抽出し、支援データＡＤに含めるようにすることができる。

【0141】

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

【符号の説明】

【0142】

ＳＹＳ…システム
ＳＶ…サーバ装置
ＵＴ…ユーザ端末
ＮＷ…通信ネットワーク
１，５…制御部
２，６…プログラム記憶部
３，７…データ記憶部
４，８…入出力インタフェース
ＢＵＳ…バス
ＩＰ…入力部
ＤＰ…表示部
１１…コンテンツ要求取得部
１２…コンテンツデータ出力部
１３…支援データ生成部
１３１…ユーザ文書データ分割部
１３２…コンテンツデータ処理部
１３３…比較部
１４…支援データ出力部
３１…ユーザ文書データ記憶部
３２…コンテンツデータ記憶部
３３…ユーザ文書分割データ記憶部
３４…発話文書分割データ記憶部
３５…支援データ記憶部
５１…ユーザ文書データ生成部
５２…コンテンツ要求送信部
５３…コンテンツデータ取得部
５４…支援データ取得部
５５…表示データ出力部
５５１…コンテンツデータ出力部
５５２…要約候補情報出力部
５５３…要約支援情報出力部
７１…ユーザ文書データ記憶部
７２…コンテンツデータ記憶部
７３…支援データ記憶部
ＣＴＤ…コンテンツデータ
ＵＤ…ユーザ文書データ
ＡＤ…支援データ
ＵＤＤ…ユーザ文書分割データ
ＣＤＤ…発話文書分割データ
ＵＲ，ＣＲ…領域
ＤＲ…表示領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】