【国等の委託研究の成果に係る記載事項】(出願人による申告)平成24年度、総務省、デジタル・ディバイド解消に向けた技術等研究開発支援、産業技術力強化法第19条の適用を受ける特許出願
【文献】
廣澤 一輝,遠隔要約筆記入力支援技術の改良について,第75回(平成25年)全国大会講演論文集(4),一般社団法人情報処理学会,2013年 3月 6日,pp.4-407〜4-408
【文献】
三好 茂樹,Webベースで実現した新しいリアルタイム字幕提示システムの開発とその経緯,ヒューマンインタフェースシンポジウム2004 論文集 [CD−ROM],ヒューマンインタフェース学会,2004年10月 6日,pp.661-664
【文献】
加藤 直人,日英同時通訳者の翻訳単位,言語処理学会第11回年次大会発表論文集,日本,言語処理学会,2005年 3月15日,pp.859-862
【文献】
西村 知也,遠隔要約筆記での入力支援について,第74回(平成24年)全国大会講演論文集(4),一般社団法人情報処理学会,2012年 3月 6日,pp.4-509〜4-510
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0022】
(実施の形態)
以下、本発明の実施の形態における、要約筆記支援システム、要約筆記支援装置、要約筆記支援方法、及びプログラムについて、
図1〜
図8を参照しながら説明する。
【0023】
[システム構成]
最初に、本実施の形態における要約筆記支援システムの全体構成について
図1を用いて説明する。
図1は、本発明の実施の形態における要約筆記支援システムの全体構成を概略的に示す図である。なお、
図2中、同一または同等の部分には同一の符号を付して示す。
【0024】
図1に示す要約筆記支援システム100は、話者の発話の要約筆記を支援するためのシステムである。
図1に示すように、要約筆記支援システム100は、要約筆記支援装置10と、要約筆記を行う筆記者が使用する端末装置(以下「筆記者端末」と表記する。)30と、要約筆記を利用する端末装置(以下「利用者端末」と表記する。)40と、を備えている。
【0025】
また、
図1に示すように、要約筆記支援装置10は、音声解析部11と、割当制御部12と、音声配信部13とを備えている。音声解析部11は、発話の音声から無音区間を特定する。
【0026】
割当制御部12は、筆記者に割り当てられた割当時間毎に、無音区間が、各割当時間の終点を基準とした範囲内に存在するかどうかを判定し、存在すると判定する場合にこの割当時間の終点を無音区間に基づいて変更する。
【0027】
音声配信部13は、割当時間毎に、各割当時間が割り当てられている筆記者の筆記者端末30に、その割当時間の開始点と終点とを特定する時間情報と、発話の音声データとを送信する。
【0028】
更に、
図1に示すように、筆記者端末30は、テキスト送信部32を備えている。テキスト送信部32は、筆記者が、割り当てられた割当時間の音声に対して要約筆記を行ってテキストデータを入力すると、その要約筆記のテキストデータを、要約筆記支援装置10に送信する。
【0029】
このように、本実施の形態では、各筆記者に割り当てられ割当時間毎に、終盤付近の無音区間の特定が行われ、無音区間が特定された場合は、割当時間が無音区間で区切られるように、割当時間の調整が行われる。つまり、本実施の形態では、複数の筆記者が交代しながら要約筆記を行う場合において、交代がやりやすいように、割当時間の調整が行われる。このため、交代の前後の内容の聞き逃し、入力し忘れといったミスの発生が抑制される。
【0030】
続いて、
図2を用いて、本実施の形態における要約筆記支援システムの構成について更に具体的に説明する。
図2は、本発明の実施の形態における要約筆記支援システムの構成を具体的に示すブロック図である。なお、
図2中、同一または同等の部分には同一の符号を付して示す。また、
図2中の
図1で示された符号と同一の符号が付された部分は、
図1で同一符号が付された部分と同一のものを示している。
【0031】
[システム構成:要約筆記支援装置]
図2に示すように、本実施の形態では、要約筆記支援装置10は、音声解析部11、割当制御部12、及び音声配信部13に加えて、受信部21と、入力制御部22と、重複削除部23と、文章リスト格納部24と、送信部25とを備えている。
【0032】
これらのうち、上述した、音声解析部11、割当制御部12、及び音声配信部13は、要約筆記支援装置10において、音声配信機能1を付与する。また、受信部21、入力制御部22、重複削除部23、文章リスト格納部24、及び送信部25は、要約筆記支援装置10において、後述するように重複削除機能2を付与する。
【0033】
また、本実施の形態では、要約筆記支援装置10は、コンピュータにプログラムを導入することによって構築されている。このとき、要約筆記支援装置10を構築するコンピュータは、1台であっても良いし、2台以上であっても良い。例えば、1台のコンピュータで上述の音声配信機能1を構築し、別の1台のコンピュータで上述の重複削除機能2を構築しても良い。
【0034】
本実施の形態では、まず、講演又は講義における講師等といった話者の発話は、マイク等によって集音され、そこで音声データに変換された後、要約筆記支援装置10に入力される。音声解析部11は、音声認識エンジンを利用して、入力された音声データから、無音区間を特定し、特定した無音区間の開始点と終点とを割当制御部12に出力する。
【0035】
また、本実施の形態においては、音声解析部11は、特定した無音区間のうち、長さが閾値以下の無音区間を更に特定し、この長さが閾値以下の無音区間についてのみ開始点と終点を割当制御部12に出力することもできる。これは、例えば、1秒以下の無音区間は、話者において息継ぎを行っている区間に該当することが多く、話の切れ目としやすいからである。また、この場合、割当制御部12は、長さが閾値以下の無音区間を用いて、割当制御を実行する。
【0036】
また、本実施の形態では、割当制御部12は、上述した処理に加えて、現在の割当時間に続いて別の筆記者に割り当てられる次の割当時間の開始時間を、現在の割当時間と次の割当時間とが設定された時間分重なるように設定することができる。この場合、要約筆記者の交代はよりいっそう簡単となり、ミスの発生の更なる抑制が図られる。
【0037】
また、本実施の形態では、音声配信部13は、現在の割当時間が割り当てられている筆記者の筆記者端末30に、上述した時間情報と音声データとの送信後に、現在の割当時間の終了を通知することもできる。更に、音声配信部13は、現在の割当時間の次の割当時間が割り当てられている別の筆記者の筆記者端末30に、次の割当時間の開始を通知することもできる。
【0038】
重複削除部23は、筆記者端末30から、筆記者に割り当てられた割当時間における要約筆記のテキストデータが送信されてきた場合に、重複している文字列の削除を行う。重複削除部21は、まず、送信されてきたテキストデータの先頭側にある文字列と、別の筆記者に割り当てられた前回の割当時間における要約筆記のテキストデータの末尾側にある文字列とを比較する。そして、重複削除部23は、両者が一致する場合に、送信されてきたテキストデータから、一致している先頭側の文字列を削除する。
【0039】
具体的には、本実施の形態では、筆記者端末30から、筆記者に割り当てられた割当時間における要約筆記のテキストデータが送信されてくると、受信部21がこれを受信し、受信したテキストデータを、入力制御部22に入力する。そして、入力制御部22は、割当時間毎に、筆記者の筆記者端末から送信されてきたテキストデータを蓄積し、送信されてきた順に結合する。また、入力制御部22は、統合後のテキストデータを重複削除部23に入力する。
【0040】
この場合、重複削除部23は、最新の割当時間において統合されたテキストデータの先頭側にある文字列と、前回の割当時間において統合されたテキストデートの末尾側にある文字列とを比較する。そして、重複削除部23は、両者が一致する場合、最新の割当時間において統合されたテキストデータから、一致している先頭側の文字列を削除する、なお、前回の割当時間において統合されたテキストデータは、文章リスト(後述の
図4参照)として、文章リスト格納部24に格納されている。
【0041】
送信部25は、重複削除部23によって削除が行われた場合は、先頭側の文字列が削除されたテキストデータを、利用者端末40に送信する。一方、送信部25は、重複削除部23によって削除が行われなかった場合は、送信されてきたテキストデータ(統合後のテキストデータ)を、そのまま利用者端末40に送信する。
【0042】
また、本実施の形態では、割当制御部12が、割当時間それぞれに、順に番号を付与することができ、この場合、音声配信部13は、時間情報及び音声データに加えて、この時間情報が特定する割当時間に付与された番号(以下「割当番号」と表記する。)も、筆記者端末30に送信することができる。そして、筆記者端末30に割当番号が送信された場合は、筆記者端末30では、テキスト送信部32は、テキストデータに、対応する割当番号を付与し、対応する割当番号が付与されたテキストデータを送信することになる。
【0043】
また、筆記者端末30から送信されてきテキストデータに、割当時間を示す割当番号が付与されている場合は、入力制御部22は、割当番号によってテキストデータの割当時間を管理することができる。即ち、入力制御部22は、同一の割当番号が付与されたテキストデータを一つに統合する。
【0044】
また、この場合は、重複制御部は、現在の割当番号のテキストデータと、一つ前の割当番号のテキストデータとを比較して重複部分の削除を実行する。また、文章リスト格納部24は、文章リストにおいて、この割当番号も登録する。更に、送信部25は、テキストデータに加えて、テキストデータに付与されている割当番号も、利用者端末40に送信する。
【0045】
ここで、
図3及び
図4を用いて、要約筆記支援装置10の機能について更に具体的に説明する。まず、
図3を用いて、音声配信機能1について説明する。
図3は、
図2に示す音声解析部、割当制御部12、及び音声配信部での処理を模式的に示す図である。
【0046】
図3に示すように、音声解析部11は、発話音声51の音声データが入力されると、音声認識エンジンを利用して、これを、音声区間52−1〜52−3と無音区間53−1〜53−4とに分解する。そして、音声解析部11は、無音区間53−1〜53−4を特定する情報を、割当制御部12に出力する。
【0047】
割当制御部12は、音声解析部11からの情報に基づいて、無音区間53−1〜53−4を特定する。そして、割当制御部12は、筆記者Aに割り当てられる割当時間61と、無音区間53−1〜54−1とを比較する。そして、割当制御部12は、各無音区間が、割当時間61の終点61bを基準とした範囲内に存在しているかどうかを判定する。具体的には、割当制御部12は、各無音区間が、終点61bの前に設定される前指定区間71と後に設定される後指定区間72とを合せた区間内に存在しているかどうかを判定する。
【0048】
図3の例では、無音区間53−2が、前指定区間71と後指定区間72とを合わせた区間内に存在しているので、割当制御部12は、割当時間61を無音区間53−2(終点)で区切り、割当時間62とする。
【0049】
また、これに併せて、割当制御部12は、筆記者Bに割り当てる割当時間63と筆記者Aに割り当てる割当時間62とが重なるように、割当時間63の開始点63aを設定する。具体的には、割当制御部12は、割当時間63の開始点63aを、割当時間62の終点62bの前に、重複区間81の分だけ早くなるように設定する。
【0050】
その後、音声配信部13は、新たな割当時間62の開始点62aと終点62bとを特定する時間情報と、発話の音声データ91とを送信する。また、音声配信部13は、筆記者Bの筆記者端末30に、割当時間63の新たに設定された開始点63aを通知する。
【0051】
続いて、
図4を用いて、重複削除機能2について説明する。
図4は、
図2に示す文章リスト格納部に格納されている文章リストの一例を示す図である。
【0052】
本実施の形態では、受信部21は、筆記者端末30から、割当時間を示す割当番号が付与されたテキストデータを受信し、受信したテキストデータと割当番号とを入力制御部22に渡す。
【0053】
入力制御部22は、筆記者端末30から、入力完了の通知を受け取るまで、同一の割当番号が付与されたテキストデータを蓄積する。そして、入力制御部22は、筆記者端末30から入力完了の通知が送信されてくると、同一の割当番号が付与されたテキストデータを結合し、割当番号と結合したテキストデータを重複削除部23へ渡す。
【0054】
重複削除部23は、割当番号とテキストデータとを受け取ると、文章リスト格納部24に格納されている文章リストを検索する。
図4に示すように、文章リストは、結合されたテキストデータと、それに付与されていた割当番号とを登録している。
【0055】
そして、重複削除部23は、検索の結果、文章リストから、割当番号が一つ若いテキストデータを特定できた場合は、特定したテキストデータを抽出する。そして、重複削除部23は、文章リストから抽出したテキストデータの末尾側の文字列と、入力制御部22から渡された統合後のテキストデータの先頭側の文字列とを比較し、両者が重複している場合は、後者の先頭側の文字列を削除する。
【0056】
その後、重複削除部23は、文字列が削除されたテキストデータを、送信部25に渡す。また、重複削除部23は、文字列が削除されたテキストデータと、その割当番号とを、文章リスト登録する。
【0057】
一方、重複削除部23は、検索の結果、文章リストから、割当番号が一つ若いテキストデータを特定できなかった場合は、入力制御部22から渡された統合後のテキストデータを、送信部25に渡す。また、重複削除部23は、このテキストデータと、その割当番号とを、文章リスト登録する。
【0058】
[システム構成:筆記者端末]
図2に示すように、筆記者端末30には、音声再生装置6と、入力装置7とが接続されている。音声再生装置6は、例えば、筆記者端末30に備えられているスピーカー等である。入力装置7は、マウス、キーボード、タッチパネルといった入力機器である。
【0059】
また、
図2に示すように、筆記者端末30は、上述したテキスト送信部32に加えて、音声受信部31と、入力装置7から入力されたテキストデータを受け付けるテキスト入力部32とを備えている。
【0060】
音声受信部31は、要約筆記支援装置10から音声データを受信し、これを音声再生装置6に出力する。これにより、音声再生装置6が、話者の音声を再生する。そして、筆記者は、音声を聞きながら、要約筆記を行い、入力装置7を介してテキストデータを入力する。テキスト入力部32は、入力されたテキストデータを受け付けると、これをテキスト送信部32に渡す。
【0061】
テキスト送信部32は、テキスト入力部32から受け取ったテキストデータに、音声配信部13から送信されてきた割当番号を付与し、割当番号が付与されたテキストデータを、要約筆記支援装置10に送信する。
【0062】
[システム構成:利用者端末]
図2に示すように、利用者端末40に表示装置8が接続されている。表示装置8は、利用者端末40に接続又は内蔵された液晶表示装置等である。また、
図2に示すように、利用者端末40は、テキスト受信部41と、表示部42とを備えている。
【0063】
テキスト受信部41は、要約筆記支援装置10の送信部25から送信されてくるテキストデータと、これに付与されている割当番号とを受信し、これらを表示部42に渡す。表示部42は、送信されてきたテキストデータを、割当番号と共に、割当番号の順に、表示装置8の画面に表示させる。この結果、利用者である聴覚障害者は、話者の音声の要約筆記を確認することができる。
【0064】
また、上述した筆記者端末30及び利用者端末40は、プログラムをコンピュータに実行させることによって構築できる。この場合、コンピュータとしては、パーソナルコンピュータ、更には、スマートフォン、タブレット型端末も挙げられる。
【0065】
[システム動作]
次に、本発明の実施の形態における要約筆記支援システム100の動作について
図5〜
図7を用いて説明する。以下の説明においては、適宜
図1〜
図4を参酌する。また、以下の例では、要約筆記支援システム100は、例えば、学校、講演会等での講義に利用されているとする。
【0066】
また、本実施の形態では、要約筆記支援システム100を動作させることによって、要約筆記支援方法が実施される。よって、本実施の形態における要約筆記支援方法の説明は、以下の要約筆記支援システム100の動作説明に代える。
【0067】
[システム動作:要約筆記支援装置]
まず、
図5を用いて、要約筆記支援装置10における動作について説明する。
図5は、本発明の実施の形態における要約筆記支援装置の動作を示すフロー図である。
【0068】
最初に、授業が開始され、講師を含む話者が音声を発する。これにより、話者の発話は、マイク等によって集音され、そこで音声データに変換された後、要約筆記支援装置10へと出力される。そして、
図5に示すように、音声解析部11は、音声データを受け取り(ステップA1)、音声認識エンジンを利用して、音声データから、無音区間を特定し、特定した無音区間の開始点と終点とを割当制御部12に出力する(ステップA2)。
【0069】
次に、割当制御部12は、無音区間が、現在の割当時間の終点を基準とした範囲内に存在するかどうかを判定し、存在すると判定する場合に、現在の割当時間の終点を無音区間に基づいて変更する(ステップA3)。また、割当制御部12は、現在の割当時間に続いて別の筆記者に割り当てられる次の割当時間の開始時間を、現在の割当時間と次の割当時間とが設定された時間分重なるように設定する。
【0070】
音声配信部13は、現在の割当時間が割り当てられている筆記者の筆記者端末30に、現在の割当時間の開始点と終点とを特定する時間情報と、発話の音声データと、現在の割当時間に対応する割当番号とを送信する(ステップA4)。
【0071】
また、ステップA3で変更があった場合は、音声配信部13は、変更後の割当時間の開始点と終点とを特定する時間情報を送信する。更に、音声配信部13は、現在の割当時間の次の割当時間が割り当てられている別の筆記者の筆記者端末30に、次の割当時間の開始を通知する。
【0072】
次に、筆記者端末30から、筆記者に割り当てられた割当時間における要約筆記のテキストデータが送信されてくると、受信部21は、これを受信し、受信したテキストデータと、それに付与されている割当番号とを、入力制御部22に渡す(ステップA5)。
【0073】
入力制御部22は、同一の割当番号が付与されたテキストデータを送信されてきた順に蓄積すると共に、受信部21において、筆記者端末30からの入力完了の通知が受信されているかどうかを判定する(ステップA6)。
【0074】
ステップA6の判定の結果、受信されていない場合は、再度ステップA5が実行される。一方、ステップA6の判定の結果、受信されている場合は、入力制御部22は、同一の割当番号が付与されたテキストデータを結合し、割当番号と結合したテキストデータを重複削除部23へ渡す。
【0075】
重複削除部23は、割当番号とテキストデータとを受け取ると、文章リスト格納部24に格納されている文章リストを検索し、割当番号が一つ若いテキストデータを抽出する。そして、重複削除部23は、文章リストから抽出したテキストデータの末尾側の文字列と、入力制御部22から渡された統合後のテキストデータの先頭側の文字列とを比較し、両者が重複している場合は、後者の先頭側の文字列を削除する(ステップA7)。
【0076】
次に、重複削除部23は、文字列が削除されたテキストデータを、送信部25に渡す。また、重複削除部23は、文字列が削除されたテキストデータと、その割当番号とを、文章リストに登録する(ステップA8)。
【0077】
なお、重複削除部23は、検索によって、割当番号が一つ若いテキストデータを特定できなかった場合は、入力制御部22から渡された統合後のテキストデータを、送信部25に渡す。また、重複削除部23は、このテキストデータと、その割当番号とを、文章リスト登録する。
【0078】
その後、送信部25は、重複削除部23から受け取ったテキストデータと、それに付与された割当番号とを、利用者端末40に送信する(ステップA9)。また、ステップA1〜A9は繰り返し実行される。更に、本実施の形態では、ステップA1〜A4と、ステップA5〜A9とは、それぞれ独立に平行して実行されていても良い。
【0079】
[システム動作:筆記者端末]
続いて、
図6を用いて、筆記者端末30における動作について説明する。
図6は、本発明の実施の形態における筆記者端末の動作を示すフロー図である。
【0080】
図6に示すように、まず、音声受信部31が、要約筆記支援装置10から音声データと割当番号とを受信する(ステップB1)。そして、音声受信部31が、受信した音声データを音声再生装置6に出力すると、音声再生装置6によって、話者の音声が再生される(ステップB2)。
【0081】
続いて、筆記者は、音声を聞きながら、要約筆記を行い、入力装置7を介してテキストデータを入力する。これにより、テキスト入力部32は、テキストデータの入力を受け付ける(ステップB3)。そして、テキスト入力部32は、テキストデータをテキスト送信部32に渡す。
【0082】
テキスト送信部32は、テキスト入力部32から受け取ったテキストデータに、音声配信部13から送信されてきた割当番号を付与し、割当番号が付与されたテキストデータを、要約筆記支援装置10に送信する(ステップB4)。
【0083】
ステップB4の実行後、要約筆記支援装置10においては、上述のステップA5が実行される。また、ステップB1〜B4は、音声データと割当番号とが、要約筆記支援装置10から送信されてくる度に実行される。
【0084】
[システム動作:利用者端末]
続いて、
図7を用いて、利用者端末40における動作について説明する。
図7は、本発明の実施の形態における利用者端末の動作を示すフロー図である。
【0085】
図7に示すように、まず、テキスト受信部41は、要約筆記支援装置10の送信部25から送信されてくるテキストデータと、これに付与されている割当番号とを受信する(ステップC1)。そして、送信部25は、受信したテキストデータと割当番号とを表示部42に渡す。
【0086】
次に、表示部42は、送信されてきたテキストデータを、割当番号と共に、割当番号の順に、表示装置8の画面に表示させる(ステップC2)。この結果、利用者である聴覚障害者は、話者の音声の要約筆記を確認することができる。
【0087】
[実施の形態における効果]
以上のように、本発明の実施の形態によれば、割当時間が無音区間で区切られるように、割当時間の調整が行われ、更に、割当時間の設定は、連続する割当時間が一部重なるように行われる。このため、複数の筆記者が交代しながら要約筆記を行う場合において、交代がやりやすくなるので、交代の前後の内容の聞き逃し、入力し忘れといったミスの発生が抑制される。また、割当時間が重なる部分で、複数の筆記者が重複して入力した文字列は削除されてから、利用者に提示されるので、利用者にとって、要約筆記が理解し易いものとなる。
【0088】
また、これらの結果、本実施の形態によれば、経験の浅い筆記者が要約筆記を行っても、精度の高い要約筆記を提供することができるため、要約筆記者不足という問題の解決も図られる。更に、疑似的な連携入力を実現できるので、情報の即時性などの向上が図られる。
【0089】
[変形例]
本実施の形態は、上述の例に、限定されるものではない。例えば、本実施の形態では、筆記者端末30に、割当時間の重複箇所を通知し、筆記者において重複した箇所での入力を控えるように指示することもできる。この場合は、重複削除部23における処理は省略できる。
【0090】
[プログラム]
本実施の形態におけるプログラムは、コンピュータに、
図5に示すステップA1〜A9を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における要約筆記支援装置10を実現することができる。この場合、コンピュータのCPU(Central Processing Unit)は、音声解析部11、割当制御部12、音声配信部13、受信部21、入力制御部22、重複削除部23、送信部25として機能し、処理を行なう。
【0091】
また、要約筆記支援装置10を、例えば、2台のコンピュータで実現する場合は、1台のコンピュータに、
図5に示すステップA1〜A4を実行させるプログラムをインストールし、実行させれば良い。そして、もう1台のコンピュータに、
図5に示すステップA5〜A9を実行させるプログラムをインストールし、実行させれば良い。
【0092】
ここで、本実施の形態におけるプログラムを実行することによって、要約筆記支援装置10、筆記者端末30、及び利用者端末40を実現するコンピュータについて
図8を用いて説明する。
図8は、本発明の実施の形態における要約筆記支援装置、筆記者端末、及び利用者端末を実現するコンピュータの一例を示すブロック図である。
【0093】
図8に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。
【0094】
CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
【0095】
また、記憶装置113の具体例としては、ハードディスクの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
【0096】
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
【0097】
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記憶媒体、又はCD−ROM(Compact Disk Read Only Memory)などの光学記憶媒体が挙げられる。
【実施例1】
【0098】
続いて、
図9を用いて、本発明の実施例について説明する。
図9は、
図5に示した重複文字列の削除処理の具体例を示す図である。なお、以下においては、
図5に示したステップA5〜A9の具体例に焦点を当てて説明する。
【0099】
まず、受信部21が、割当番号が4のテキストデータ「進みました。今日は 12行目、XXXXの改新から進めていきます。」を受信するとする(ステップA5)。受信部21は、この割当番号とテキストデータとを入力制御部22へ渡す。
【0100】
次に、筆記者端末30から入力の完了が通知されているとすると(ステップA6)、入力制御部22は、このテキストデータ「進みました。今日は 12行目、XXXXの改新から進めていきます。」入力制御部22に渡す。
【0101】
次に、重複削除部23は、割当番号とテキストデータとを受け取り、直前の割当番号として「3」を算出し、そして、文章リスト格納部24に格納されている文章リストを検索する。
図4に示すように、割当番号3のテキストデータが登録されているので、重複駆除部23は、割当番号が3のテキストデータ「昨日はXXXX年に起こったXXXの乱まで進みました。」を取得する。
【0102】
そして、重複削除部23は、文章リストから抽出した割当番号が3のテキストデータの末尾側の文字列と、割当番号が4のテキストデータの先頭側の文字列とを比較し、両者の重複している文字列「進みました」を特定する。その後、重複削除部23は、重複している文字列「進みました」を削除する(ステップA7)。
【0103】
次に、重複削除部23は、文字列が削除された割当番号4のテキストデータ「今日は、12行目、XXXXの改新から進めていきます。」を、送信部25に渡す。また、重複削除部23は、文字列が削除された割当番号4のテキストデータと、その割当番号「4」とを、文章リストに登録する(ステップA8)。その後、送信部25は、文字列が削除された割当番号4のテキストデータと、割当番号「4」とを、利用者端末40に送信する(ステップA9)。
【0104】
その後、利用者端末40においては、テキスト受信部41が、割当番号「4」とテキストデータ「今日は、12行目、XXXXの改新から進めていきます。」とを受信する(ステップC1)。そして、利用者端末40の表示画面には、割当番号1〜4の各テキストデータが、割当番号の順に表示される(ステップC2)。
【0105】
上述した実施の形態の一部又は全部は、以下に記載する(付記1)〜(付記26)によって表現することができるが、以下の記載に限定されるものではない。
【0106】
(付記1)
話者の発話の要約筆記を支援するためのシステムであって、
要約筆記支援装置と、前記要約筆記を行う筆記者が使用する筆記者端末と、前記要約筆記を利用する利用者端末とを備え、
前記要約筆記支援装置は、
前記発話の音声から無音区間を特定する、音声解析部と、
前記要約筆記を行う筆記者に割り当てられた割当時間毎に、前記無音区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、前記無音区間が前記範囲内に存在すると判定する場合に当該割当時間の終点を前記無音区間に基づいて変更する、割当制御部と、
前記割当時間毎に、当該割当時間が割り当てられている筆記者の前記筆記者端末に、当該割当時間の開始点と終点とを特定する時間情報と、前記発話の音声データとを送信する、音声配信部と、を備え、
前記筆記者端末は、
前記筆記者に割り当てられた割当時間における要約筆記のテキストデータを、前記要約筆記支援装置に送信する、テキスト送信部を備えている、
ことを特徴とする要約筆記支援システム。
【0107】
(付記2)
前記
要約筆
記支援装置が、
前記筆記者端末から、前記筆記者に割り当てられた割当時間における要約筆記のテキストデータが送信されてきた場合に、送信されてきた前記テキストデータの先頭側にある文字列と、別の筆記者に割り当てられた前回の割当時間における要約筆記のテキストデータの末尾側にある文字列とを比較し、そして、両者が一致する場合に、送信されてきた前記テキストデータから、一致している先頭側の文字列を削除する、重複削除部と、
削除が行われた場合は、先頭側の文字列が削除された前記テキストデータを、前記利用者端末に送信し、削除が行われなかった場合は、送信されてきた前記テキストデータを、前記利用者端末に送信する、送信部と、
を更に備えている、付記1に記載の要約筆記支援システム。
【0108】
(付記3)
前記
要約筆記
記支援装置において、前記割当制御部が、更に、当該割当時間に続いて別の筆記者に割り当てられる次の割当時間の開始時間を、当該割当時間と前記次の割当時間とが設定された時間分重なるように設定する、
付記1または2に記載の要約筆記支援システム。
【0109】
(付記4)
前記
要約筆
記支援装置において、前記音声配信部が、
当該割当時間が割り当てられている筆記者の筆記者端末に、前記時間情報と前記音声データとの送信後に、当該割当時間の終了を通知し、
当該割当時間の次の割当時間が割り当てられている別の筆記者の筆記者端末に、次の割当時間の開始を通知する、
付記1〜3のいずれかに記載の要約筆記支援システム。
【0110】
(付記5)
前記
要約筆
記支援装置が、前記割当時間毎に、前記筆記者の筆記者端末から送信されてきたテキストデータを蓄積し、送信されてきた順に結合する、入力制御部を更に備え、
前記
要約筆
記支援装置において、前記重複削除部が、最新の割当時間において統合されたテキストデータの先頭側にある文字列と、前回の割当時間において統合されたテキストデートの末尾側にある文字列とを比較し、そして、両者が一致する場合に、最新の割当時間において統合されたテキストデータから、一致している先頭側の文字列を削除する、
付記2に記載の要約筆記支援システム。
【0111】
(付記6)
前記
要約筆
記支援
装置において、
前記割当制御部が、前記割当時間それぞれに、順に番号を付与し、
前記音声配信部が、前記時間情報及び前記音声データに加えて、前記時間情報が特定する割当時間に付与された番号を、送信し、
前記筆記者端末において、
前記テキスト送信部が、前記テキストデータに対応する番号を付与し、前記対応する番号が付与された前記テキストデータを送信し、
前記
要約筆
記支援
装置において、
前記入力制御部が、同一の番号が付与されたテキストデータを一つに統合する、付記5に記載の要約筆記支援システム。
【0112】
(付記7)
前記
要約筆
記支援
装置において、前記送信部が、前記テキストデータに加えて、前記テキストデータに付与されている番号を前記利用者端末に送信し、
前記利用者端末が、送信されてきた前記テキストデータを、それに付与されている前記番号の順に、画面に表示させる、
付記6に記載の要約筆記支援システム。
【0113】
(付記8)
前記
要約筆
記支援装置において、
前記音声解析部は、前記発話の音声から特定した無音区間のうち、長さが閾値以下の無音区間を更に特定し、
前記割当制御部が、特定された長さが閾値以下の無音区間を用いて、判定を行う、付記1〜7のいずれかに記載の要約筆記支援システム。
【0114】
(付記9)
話者の発話の要約筆記を支援するための装置であって、
前記発話の音声から無音区間を特定する、音声解析部と、
前記要約筆記を行う筆記者に割り当てられた割当時間毎に、前記無音区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、前記無音区間が前記範囲内に存在すると判定する場合に当該割当時間の終点を前記無音区間に基づいて変更する、割当制御部と、
前記割当時間毎に、当該割当時間が割り当てられている筆記者が使用する端末装置に、当該割当時間の開始点と終点とを特定する時間情報と、前記発話の音声データとを送信する、音声配信部と、
を備えている、ことを特徴とする要約筆記支援装置。
【0115】
(付記10)
前記筆記者が使用する端末装置から、前記筆記者に割り当てられた割当時間における要約筆記のテキストデータが送信されてきた場合に、送信されてきた前記テキストデータの先頭側にある文字列と、別の筆記者に割り当てられた前回の割当時間における要約筆記のテキストデータの末尾側にある文字列とを比較し、そして、両者が一致する場合に、送信されてきた前記テキストデータから、一致している先頭側の文字列を削除する、重複削除部と、
削除が行われた場合は、先頭側の文字列が削除された前記テキストデータを、要約筆記を利用する利用者の端末装置に送信し、削除が行われなかった場合は、送信されてきた前記テキストデータを、要約筆記を利用する利用者の端末装置に送信する、送信部と、
を更に備えている、付記9に記載の要約筆記支援装置。
【0116】
(付記11)
前記割当制御部が、更に、当該割当時間に続いて別の筆記者に割り当てられる次の割当時間の開始時間を、当該割当時間と前記次の割当時間とが設定された時間分重なるように設定する、
付記9または10に記載の要約筆記支援装置。
【0117】
(付記12)
前記音声配信部が、
当該割当時間が割り当てられている筆記者が使用する端末装置に、前記時間情報と前記音声データとの送信後に、当該割当時間の終了を通知し、
当該割当時間の次の割当時間が割り当てられている別の筆記者が使用する端末装置に、次の割当時間の開始を通知する、
付記9〜11に記載の要約筆記支援装置。
【0118】
(付記13)
前記割当時間毎に、前記筆記者が使用する端末装置から送信されてきたテキストデータを蓄積し、送信されてきた順に結合する、入力制御部を更に備え、
前記重複削除部が、最新の割当時間において統合されたテキストデータの先頭側にある文字列と、前回の割当時間において統合されたテキストデートの末尾側にある文字列とを比較し、そして、両者が一致する場合に、最新の割当時間において統合されたテキストデータから、一致している先頭側の文字列を削除する、
付記11に記載の要約筆記支援装置。
【0119】
(付記14)
前記音声解析部は、前記発話の音声から特定した無音区間のうち、長さが閾値以下の無音区間を更に特定し、
前記割当制御部が、特定された長さが閾値以下の無音区間を用いて、判定を行う、付記9〜13のいずれかに記載の要約筆記支援装置。
【0120】
(付記15)
話者の発話の要約筆記を支援するための方法であって、
(a)前記発話の音声から無音区間を特定する、ステップと、
(b)前記要約筆記を行う筆記者に割り当てられた割当時間毎に、前記無音区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、前記無音区間が前記範囲内に存在すると判定する場合に当該割当時間の終点を前記無音区間に基づいて変更する、ステップと、
(c)前記割当時間毎に、当該割当時間が割り当てられている筆記者が使用する筆記者端末に、当該割当時間の開始点と終点とを特定する時間情報と、前記発話の音声データとを送信する、ステップと、
を有する、ことを特徴とする要約筆記支援方法。
【0121】
(付記16)
(d)前記筆記者端末から、前記筆記者に割り当てられた割当時間における要約筆記のテキストデータが送信されてきた場合に、送信されてきた前記テキストデータの先頭側にある文字列と、別の筆記者に割り当てられた前回の割当時間における要約筆記のテキストデータの末尾側にある文字列とを比較し、そして、両者が一致する場合に、送信されてきた前記テキストデータから、一致している先頭側の文字列を削除する、ステップと、
(e)前記(d)のステップで削除が行われた場合に、先頭側の文字列が削除された前記テキストデータを、前記利用者端末に送信する、ステップと、
(f)前記(d)のステップで削除が行われなかった場合に、送信されてきた前記テキストデータを、前記利用者端末に送信する、ステップと、
を更に有する、付記15に記載の要約筆記支援方法。
【0122】
(付記17)
(g)前記(b)のステップの実行後に、当該割当時間に続いて別の筆記者に割り当てられる次の割当時間の開始時間を、当該割当時間と前記次の割当時間とが設定された時間分重なるように設定する、ステップを、
更に有する、付記15または16に記載の要約筆記支援方法。
【0123】
(付記18)
(h)当該割当時間が割り当てられている筆記者の筆記者端末に、前記(c)のステップによる前記時間情報と前記音声データとの送信後に、当該割当時間の終了を通知し、当該割当時間の次の割当時間が割り当てられている別の筆記者の筆記者端末に、次の割当時間の開始を通知する、ステップを、
更に有する、付記15〜17のいずれかに記載の要約筆記支援方法。
【0124】
(付記19)
(i)前記割当時間毎に、前記筆記者の筆記者端末から送信されてきたテキストデータを蓄積し、送信されてきた順に結合する、ステップを更に有し、
前記(d)のステップにおいて、最新の割当時間において統合されたテキストデータの先頭側にある文字列と、前回の割当時間において統合されたテキストデートの末尾側にある文字列とを比較し、そして、両者が一致する場合に、最新の割当時間において統合されたテキストデータから、一致している先頭側の文字列を削除する、
付記16に記載の要約筆記支援方法。
【0125】
(付記20)
前記(a)のステップにおいて、前記発話の音声から特定した無音区間のうち、長さが閾値以下の無音区間を更に特定し、
前記(b)のステップにおいて、特定された長さが閾値以下の無音区間を用いて、判定を行う、付記15〜19のいずれかに記載の要約筆記支援方法。
【0126】
(付記21)
コンピュータによって、話者の発話の要約筆記を支援するためのプログラムであって、
前記コンピュータに、
(a)前記発話の音声から無音区間を特定する、ステップと、
(b)前記要約筆記を行う筆記者に割り当てられた割当時間毎に、前記無音区間が、当該割当時間の終点を基準とした範囲内に存在するかどうかを判定し、前記無音区間が前記範囲内に存在すると判定する場合に当該割当時間の終点を前記無音区間に基づいて変更する、ステップと、
(c)前記割当時間毎に、当該割当時間が割り当てられている筆記者が使用する筆記者端末に、当該割当時間の開始点と終点とを特定する時間情報と、前記発話の音声データとを送信する、ステップと、
を実行させるプログラム。
【0127】
(付記22)
(d)前記筆記者端末から、前記筆記者に割り当てられた割当時間における要約筆記のテキストデータが送信されてきた場合に、送信されてきた前記テキストデータの先頭側にある文字列と、別の筆記者に割り当てられた前回の割当時間における要約筆記のテキストデータの末尾側にある文字列とを比較し、そして、両者が一致する場合に、送信されてきた前記テキストデータから、一致している先頭側の文字列を削除する、ステップと、
(e)前記(d)のステップで削除が行われた場合に、先頭側の文字列が削除された前記テキストデータを、前記利用者端末に送信する、ステップと、
(f)前記(d)のステップで削除が行われなかった場合に、送信されてきた前記テキストデータを、前記利用者端末に送信する、ステップと、
を更に前記コンピュータに実行させる、付記21に記載のプログラム。
【0128】
(付記23)
(g)前記(b)のステップの実行後に、当該割当時間に続いて別の筆記者に割り当てられる次の割当時間の開始時間を、当該割当時間と前記次の割当時間とが設定された時間分重なるように設定する、ステップを、
更に前記コンピュータに実行させる、付記21または22に記載のプログラム。
【0129】
(付記24)
(h)当該割当時間が割り当てられている筆記者の筆記者端末に、前記(c)のステップによる前記時間情報と前記音声データとの送信後に、当該割当時間の終了を通知し、当該割当時間の次の割当時間が割り当てられている別の筆記者の筆記者端末に、次の割当時間の開始を通知する、ステップを、
更に前記コンピュータに実行させる、付記21〜23のいずれかに記載のプログラム。
【0130】
(付記25)
(i)前記割当時間毎に、前記筆記者の筆記者端末から送信されてきたテキストデータを蓄積し、送信されてきた順に結合する、ステップを更に前記コンピュータに実行させる、
前記(d)のステップにおいて、最新の割当時間において統合されたテキストデータの先頭側にある文字列と、前回の割当時間において統合されたテキストデートの末尾側にある文字列とを比較し、そして、両者が一致する場合に、最新の割当時間において統合されたテキストデータから、一致している先頭側の文字列を削除する、
付記22に記載のプログラム。
【0131】
(付記26)
前記(a)のステップにおいて、前記発話の音声から特定した無音区間のうち、長さが閾値以下の無音区間を更に特定し、
前記(b)のステップにおいて、特定された長さが閾値以下の無音区間を用いて、判定を行う、付記21〜25のいずれかに記載のプログラム。