特開 2015-127894 支援装置、情報処理方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-127894(P2015-127894A)

(43)【公開日】2015年7月9日

(54)【発明の名称】支援装置、情報処理方法、及び、プログラム

(51)【国際特許分類】

   G06F 17/21 20060101AFI20150612BHJP

   G06F 3/16 20060101ALI20150612BHJP

   G10L 15/22 20060101ALI20150612BHJP

   G10L 15/00 20130101ALI20150612BHJP

【ＦＩ】

   G06F17/21 596A

   G06F3/16 320H

   G10L15/22 470Z

   G10L15/00 200B

   G06F17/21 580Z

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

【全頁数】17

(21)【出願番号】特願2013-273221(P2013-273221)

(22)【出願日】2013年12月27日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２５年度、独立行政法人科学技術振興機構の研究成果展開事業 戦略的イノベーション創出推進プログラムにおける研究課題「高齢者の経験・知識・技能を社会の推進力とするためのＩＣＴ基盤「高齢者クラウド」の研究開発」委託事業につき、産業技術力強化法第１９条の適用を受ける特許出願

(71)【出願人】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100108501

【弁理士】

【氏名又は名称】上野 剛史

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【復代理人】

【識別番号】100143502

【弁理士】

【氏名又は名称】明石 英也

(72)【発明者】

【氏名】新川 香

(72)【発明者】

【氏名】齋藤 新

(72)【発明者】

【氏名】佐藤 大介

(72)【発明者】

【氏名】カッツォーリ、エルニッサ

【テーマコード（参考）】

5B109

【Ｆターム（参考）】

5B109NG02

5B109QB01

(57)【要約】

【課題】複数の作業者により字幕の修正を繰り返す場合、字幕の修正をどのタイミングで終了するか適切に判断することができなかった。また、字幕の修正のみを繰り返すと局所最適に陥ってしまい字幕の品質を十分に向上させることができなかった。
【解決手段】複数のユーザによる表現情報の作成を支援する支援装置であって、表現対象を表現した第１表現情報を複数のユーザのうちいずれか一のユーザに編集させて、第２表現情報として取得する編集部と、表現対象を表現する新たな第３表現情報を複数のユーザのうちいずれか一のユーザから入力する入力部と、第２表現情報及び第３表現情報を統合して統合表現情報を生成する第１統合部とを備える支援装置、当該支援装置を用いた情報処理方法、及び、当該支援装置を動作させるプログラムを提供する。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数のユーザによる表現情報の作成を支援する支援装置であって、
表現対象を表現した第１表現情報を複数のユーザのうちいずれか一のユーザに編集させて、第２表現情報として取得する編集部と、
前記表現対象を表現する新たな第３表現情報を複数のユーザのうちいずれか一のユーザから入力する入力部と、
前記第２表現情報及び前記第３表現情報を統合して統合表現情報を生成する第１統合部と、
を備える支援装置。

【請求項2】

前記統合表現情報を新たな前記第１表現情報として前記編集部に供給し、前記編集部による処理を繰り返させる制御部とを更に備え、
前記編集部は、前記新たな第１表現情報を受け取り、複数のユーザのうちいずれか一のユーザに提示して編集させて、当該ユーザから別の第２表現情報を取得する、
請求項１に記載の支援装置。

【請求項3】

前記入力部は、複数のユーザのうちいずれか一のユーザから別の第３表現情報を入力し、
前記第１統合部は、前記別の第２表現情報と、前記別の第３表現情報を統合して統合表現情報を生成する、
請求項２に記載の支援装置。

【請求項4】

前記第１表現情報と当該第１表現情報を編集した第２表現情報とが相違するか否か判断する判断部を更に備え、
前記判断部が前記第１表現情報と前記第２表現情報とが相違すると判断したことに応じて、前記入力部は前記複数のユーザのうちいずれか一のユーザから前記第３表現情報を取得する、
請求項１から３のいずれか１項に記載の支援装置。

【請求項5】

前記編集部は、入力された第１表現情報を順次複数のユーザのうちいずれか一のユーザにより編集させていき、基準回数の編集後の第２表現情報を取得し、
前記判断部は、予め定められた基準回数の前記編集部による編集において、前記第１表現情報と前記第２表現情報とが相違すると判断された場合に、前記入力部は第３表現情報を入力する、
請求項４に記載の支援装置。

【請求項6】

前記判断部が前記第１表現情報と前記第２表現情報とが相違しないと判断したことに応じて、前記編集部は、再度、当該第１表現情報を前記複数のユーザのうちいずれか一のユーザに提示して編集させる、
請求項４又は５に記載の支援装置。

【請求項7】

前記判断部は、予め定められた第２基準回数連続した回数の編集において前記第１表現情報と前記第２表現情報とが一致したと判断されたことに応じて、前記編集部による編集を中止させる、
請求項４から６のいずれか１項に記載の支援装置。

【請求項8】

表現対象から第１表現情報を自動的に生成する自動認識部を更に備え、
前記編集部は、繰り返しの初回において、前記自動認識部が生成した第１表現情報を複数のユーザのうちいずれか一のユーザに編集させる、
請求項２又は３に記載の支援装置。

【請求項9】

入力済の１以上の第１表現情報、１以上の第２表現情報、及び、１以上の第３表現情報を統合する第２統合部を更に備え、
前記第２統合部により統合された表現情報を作成済の表現情報として出力する、
請求項１から８のいずれか１項に記載の支援装置。

【請求項10】

表現対象のコンテンツを分割して、複数の前記表現対象を生成する分割部を更に備える、
請求項１から９のいずれか１項に記載の支援装置。

【請求項11】

前記表現対象は、音声を含み、
前記第１表現情報、前記第２表現情報、及び、前記第３表現情報は、前記音声の内容を表すテキストである、
請求項１から１０のいずれか１項に記載の支援装置。

【請求項12】

複数のユーザによる表現情報の作成を支援するためにコンピュータにより実行される情報処理方法であって、
表現対象を表現した第１表現情報を複数のユーザのうちいずれか一のユーザに編集させて、第２表現情報として取得する編集段階と、
前記表現対象を表現する新たな第３表現情報を複数のユーザのうちいずれか一のユーザから入力する入力段階と、
前記第２表現情報及び前記第３表現情報を統合して統合表現情報を生成する第１統合段階と、
を備える情報処理方法。

【請求項13】

複数のユーザによる表現情報の作成を支援するためのプログラムであって、
コンピュータに実行されると、当該コンピュータを、
表現対象を表現した第１表現情報を複数のユーザのうちいずれか一のユーザに編集させて、第２表現情報として取得する編集部と、
前記表現対象を表現する新たな第３表現情報を複数のユーザのうちいずれか一のユーザから入力する入力部と、
前記第２表現情報及び前記第３表現情報を統合して統合表現情報を生成する第１統合部と、
して機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、支援装置、情報処理方法、及び、プログラムに関する。

【背景技術】

【0002】

音声から字幕を生成する手法が知られている（例えば、特許文献１及び２）。また、作業者に字幕を作成させ、別の作業者に作成済みの字幕を修正させることで、複数の作業者を協力させて字幕を生成する方法が知られている（例えば、特許文献３）。また、複数の作業者により字幕の修正をさせる方法が知られている（例えば、特許文献４）。また、自動音声認識により作成した字幕を作業者により修正する方法が知られている（例えば、非特許文献１）。また、複数の作業者が生成したテキストを合成する方法が知られている（例えば、非特許文献２）。
［特許文献１］特開２００５−２２８１７８号公報
［特許文献２］特開２００８−３２７８９号公報
［特許文献３］特開２０１０−１５７９６１号公報
［特許文献４］特開２００４−２２６９１０号公報
［非特許文献１］長妻，福田，柳沼，広瀬，"クラウドソーシングを活用した効率良い字幕作成方法"，電子情報通信学会 信学技報，Ｖｏｌ．１１２，Ｎｏ．３３６（２０１２）
［非特許文献２］Ｉ．Ｎａｉｍ，Ｄ．Ｇｉｌｄｅａ，Ｗ．Ｌａｓｅｃｋｉ，Ｊ．Ｐ．Ｂｉｇｈａｍ，"Ｔｅｘｔ Ａｌｉｇｎｍｅｎｔ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｃｒｏｗｄ Ｃａｐｔｉｏｎｉｎｇ" Ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ， ＨＬＴ−ＮＡＡＣＬ， ｐａｇｅ ２０１−２１０ （２０１３）

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかし、字幕の修正のみを連続して繰り返すと字幕が局所最適化されて、字幕の品質を十分に向上させることができなかった。また、従来の方法により複数の作業者により字幕の修正を繰り返す場合、字幕の修正をどのタイミングで終了するか適切に判断することができなかった。

【課題を解決するための手段】

【0004】

本発明の第１の態様においては、複数のユーザによる表現情報の作成を支援する支援装置であって、表現対象を表現した第１表現情報を複数のユーザのうちいずれか一のユーザに編集させて、第２表現情報として取得する編集部と、表現対象を表現する新たな第３表現情報を複数のユーザのうちいずれか一のユーザから入力する入力部と、第２表現情報及び第３表現情報を統合して統合表現情報を生成する第１統合部とを備える支援装置、当該支援装置を用いた情報処理方法、及び、当該支援装置を動作させるプログラムを提供する。

【0005】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0006】

【図1】本実施形態の支援装置１０の構成を示す。

【図2】本実施形態の支援装置１０の処理フローを示す。

【図3】本実施形態における第３表現情報の入力画面の一例を示す。

【図4】本実施形態における第１表現情報の編集画面の一例を示す。

【図5】本実施形態における表現情報の統合方法の一例を示す。

【図6】本実施形態における支援装置１０の効果の一例を示す箱ひげ図である。

【図7】本実施形態における支援装置１０の効果の一例を示す箱ひげ図である。

【図8】本実施形態における支援装置１０の効果の一例を示す箱ひげ図である。

【図9】本実施形態の変形例における支援装置１０の処理フローを示す。

【図10】コンピュータ１９００のハードウェア構成の一例を示す。

【発明を実施するための形態】

【0007】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0008】

図１は、本実施形態の支援装置１０の構成を示す。支援装置１０は、複数のユーザにより表現対象から表現情報を作成する作業を支援する。例えば、支援装置１０は、オーディオ又はビデオ等の音声を含む表現対象のコンテンツから音声の内容を表す字幕等のテキストである表現情報を作成する作業を支援する。一例として、支援装置１０は、音声の内容を表すテキストとして、人物の話した内容をそのまま表す字幕のテキスト、又は、人物の話した内容を翻訳したテキストを生成する作業を支援してよい。支援装置１０は、分割部１０２、自動認識部１０４、編集部１０６、判断部１０８、入力部１１０、第１統合部１１２、制御部１１４、及び、第２統合部１２０を備える。

【0009】

分割部１０２は、表現対象のコンテンツを分割して、作業の対象となる複数の表現対象を生成する。例えば、分割部１０２は、ビデオ等の音声を含む表現対象のコンテンツを入力し、コンテンツを文単位、パラグラフ単位、又はコンテキスト単位等のまとまりごとに分割して、複数の表現対象を生成する。分割部１０２は、音声の切れ目及び／又は発声者の変化等を検出することにより、表現対象のコンテンツを分割してよい。分割部１０２は、生成した表現対象を自動認識部１０４に供給する。

【0010】

自動認識部１０４は、分割部１０２から受け取った表現対象から、当該表現対象を表現した第１表現情報を自動的に生成する。例えば、自動認識部１０４は、従来技術である自動音声認識（ＡＳＲ）により、表現対象の音声から音声の内容を表すテキストを生成する。自動認識部１０４は、生成したテキストを第１表現情報として編集部１０６に供給する。

【0011】

編集部１０６は、第１表現情報を複数のユーザのうちいずれか一のユーザに編集させて、編集した結果を第２表現情報として取得する。ここで、第１表現情報を編集する一のユーザを第１ユーザとする。編集部１０６は、編集前の第１表現情報及び編集後の第２表現情報を判断部１０８に供給し、第２表現情報を第１統合部１１２及び第２統合部１２０に供給する。

【0012】

判断部１０８は、編集部１０６の編集において、第１表現情報と当該第１表現情報を編集した第２表現情報とが相違するか否か判断する。判断部１０８は、第１表現情報と第２表現情報とが相違しないと判断したことに応じて、編集部１０６に再度当該第１表現情報を第１ユーザに提示させて編集させる。

【0013】

この再編集において、判断部１０８は、予め定められた基準回数連続した回数の編集において、第１表現情報と第２表現情報とが一致したか否か判断する。判断部１０８は、予め定められた基準回数連続した回数の編集において第１表現情報と第２表現情報とが一致したと判断したことに応じて、編集部１０６による編集を中止させ、第２統合部１２０にその旨を通知する。

【0014】

入力部１１０は、判断部１０８が第１表現情報と第２表現情報とが相違すると判断したことに応じて、表現対象を表現する新たな第３表現情報を複数のユーザのうちいずれか一のユーザから入力する。ここで、第３表現情報を入力する一のユーザを第２ユーザとする。入力部１１０は、入力した第３表現情報を第１統合部１１２及び第２統合部１２０に供給する。

【0015】

第１統合部１１２は、第３表現情報を受け取ったことに応じて、第２表現情報及び第３表現情報を統合して統合表現情報を生成する。第１統合部１１２は、統合表現情報を制御部１１４に供給する。

【0016】

制御部１１４は、統合表現情報を新たな第１表現情報として編集部１０６に供給し、編集部１０６に新たな第１表現情報を第１ユーザに提示して編集させて、第１ユーザから別の第２表現情報を取得させる。これにより、制御部１１４は、編集部１０６による表現情報の編集処理を繰り返させる。

【0017】

第２統合部１２０は、判断部１０８の判断により、編集処理の繰り返しが終了したことに応じて、入力済の１以上の第１表現情報、１以上の第２表現情報、及び、１以上の第３表現情報を統合して、統合された表現情報を生成する。例えば、第２統合部１２０は、判断部１０８が編集部１０６の編集を中止させたことに応じて、統合した表現情報を作成済の表現情報として出力する。

【0018】

このように、支援装置１０は、編集部１０６による編集された第２表現情報の取得、入力部１１０による新たな第３表現情報の入力、及び、第１統合部による第２表現情報と第３表現情報との統合の処理を繰り返す。そして、支援装置１０は、予め定められた基準回数連続した回数の編集で修正がないと判断した場合に繰り返しの処理を終了し、それまでに生成された第１表現情報、第２表現情報、及び、第３表現情報を統合して出力する。

【0019】

これにより、支援装置１０は、表現情報の品質が向上して修正が生じなくなったタイミングを字幕等の修正を終了する基準のタイミングとして判断することができる。また、支援装置１０によれば、表現情報が修正された場合、すなわち表現情報に修正の余地があると判断された場合にユーザに表現情報を新規に入力させるので、局所最適化を防ぐことができる。

【0020】

図２は、本実施形態の支援装置１０の処理フローを示す。本実施形態において、支援装置１０は、Ｓ１００〜Ｓ１７０の処理を実行することにより、複数のユーザによる表現情報の作成を支援する。支援装置１０は、分割部１０２がコンテンツを分割して生成した複数の表現情報のそれぞれについて処理フローを実行してよい。

【0021】

まず、Ｓ１１０において、自動認識部１０４は、ＡＳＲにより、表現対象から第１表現情報となるテキストを自動的に生成する（ＡＳＲ）。自動認識部１０４は、生成した第１表現情報を編集部１０６に供給する。

【0022】

次に、支援装置１０は、図２において点線で示すＳ１２０〜Ｓ１６０に係る繰り返し処理を１回以上実行する。

【0023】

Ｓ１２０において、第１表現情報となるテキストを第１ユーザに編集させて、第２表現情報として取得する（ＦＩＸ）。例えば、編集部１０６は、第１ユーザに表現対象の音声を提供し、第１ユーザに第１表現情報のテキストを編集可能な状態で提示して、第１ユーザに第１表現情報を直接修正させて、第２表現情報となるテキストを取得する。一例として、編集部１０６は、ネットワーク経由で、第１ユーザの情報端末に表現対象及び第１表現情報のテキストのデータを供給し、第１ユーザの情報端末から第２表現情報のテキストを取得してよい。

【0024】

１回目の繰り返し処理において、編集部１０６は、自動認識部１０４が生成した第１表現情報を第１ユーザに提示して第２表現情報を取得する。２回目以降の繰り返し処理において、編集部１０６は、第１統合部１１２が生成した統合表現情報を第１表現情報として第１ユーザに提示し、前回入力された第２表現情報と異なってよい別の第２表現情報を取得する。編集部１０６は、編集前の第１表現情報及び編集後の第２表現情報を判断部１０８に供給し、第２表現情報を第１統合部１１２及び第２統合部１２０に供給する。

【0025】

次に、Ｓ１３０において、判断部１０８は、直前のＳ１２０の編集において、第１表現情報と当該第１表現情報を編集した第２表現情報とが相違するか否か判断する。即ち、判断部１０８は、直前のＳ１２０において第１表現情報が編集により修正されたか否か判断する。判断部１０８は、判断部１０８が第１表現情報と第２表現情報とが相違すると判断した場合は処理をＳ１４０に進め、第１表現情報と第２表現情報とが相違しないと判断した場合は処理をＳ１６０に進める。

【0026】

Ｓ１４０において、表現対象を表現する新たな第３表現情報を第２ユーザから入力する（ＴＹＰＥ）。例えば、入力部１１０は、第２ユーザに表現対象の音声を提供して、第２ユーザに表現対象に対応する第３表現情報となるテキストを入力させる。一例として、入力部１１０は、ネットワーク経由で、第２ユーザの情報端末に表現対象のデータを供給し、第２ユーザの情報端末から第３表現情報のテキストを取得してよい。

【0027】

複数回の繰り返し処理において、入力部１１０は、前回入力された第３表現情報と異なってよい別の第３表現情報を第２ユーザから入力する。入力部１１０は、入力した第３表現情報を第１統合部１１２及び第２統合部１２０に供給する。

【0028】

Ｓ１５０において、第１統合部１１２は、第２表現情報及び第３表現情報を統合して統合表現情報を生成する（ＭＥＲＧＥ）。例えば、まず、第１統合部１１２は、第２表現情報のテキスト及び第３表現情報のテキストを複数の単語の要素に分割する。

【0029】

第１統合部１１２は、要素のうち第２表現情報のテキスト及び第３表現情報の対応する位置に共通して含まれる同一の単語、及び、類似する単語（例えば、既存の単語のミススペル、及び／又は、異形同音異義語等）を対応付ける。例えば、第１統合部１１２は、Ｌｅｖｅｎｓｈｔｅｉｎ Ｄｉｓｔａｎｃｅが予め定められた閾値以内の単語を類似する単語として検出し、単語同士を対応付けてよい。第１統合部１１２は、対応付けられた単語を基準として対応付けられていない単語を含む全ての単語を配置する。

【0030】

第１統合部１１２は、第２表現情報のテキスト及び第３表現情報のテキストにおいて互いに対応する２つの要素が存在した場合はより正しいと推定されるものを選択し、対応する要素が存在しない場合は当該要素を含めるように新しく統合されたテキストを統合表現情報として生成してよい。

【0031】

第１統合部１１２は、繰り返し処理ごとに統合表現情報を生成する。例えば、複数の繰り返し処理のそれぞれにおいて、第１統合部１１２は、前回取得したものと異なってよい別の第２表現情報と、前回取得したものと異なってよい別の第３表現情報を統合して新しい統合表現情報を生成する。

【0032】

第１統合部１１２は、生成した統合表現情報を制御部１１４に供給する。制御部１１４は、統合表現情報を新たな第１表現情報として編集部１０６に供給し、処理をＳ１２０に戻す。これにより、２回目以降のＳ１２０の処理において、制御部１１４は、編集部１０６に新たな第１表現情報を第１ユーザに提示させ、別の第２表現情報を取得させる。

【0033】

Ｓ１６０において、判断部１０８は、予め定められた基準回数連続した回数の編集において、第１表現情報と第２表現情報とが一致したか否か判断する。例えば、判断部１０８は、予め定められた基準回数（ｎ回：例えば２回）連続してＳ１２０→Ｓ１３０→Ｓ１６０となる処理が基準回数連続して繰り返されたか否か判断する。

【0034】

判断部１０８は、予め定められた基準回数連続した回数の編集において、第１表現情報と第２表現情報とが一致したと判断する場合は処理をＳ１７０に進め、そうでない場合は処理をＳ１２０に戻す。

【0035】

Ｓ１７０において、第２統合部１２０は、編集部１０６及び入力部１１０に入力済みの１以上の第１表現情報、１以上の第２表現情報、及び、１以上の第３表現情報を統合して、統合された表現情報を生成する。例えば、第２統合部１２０は、入力済みの全ての第１表現情報、第２表現情報、及び、第３表現情報を統合してよい。

【0036】

まず、第２統合部１２０は、統合の対象となる複数の表現情報のそれぞれを複数の文節、単語、及び／又は、文字等の要素に分割し、複数の表現情報の対応する位置に共通して含まれる同一の要素、及び、類似する要素を対応付けてよい。ここで、第２統合部１２０は、Ｌｅｖｅｎｓｈｔｅｉｎ Ｄｉｓｔａｎｃｅが予め定められた閾値以内の要素を類似する要素として検出し、要素同士を対応付けてよい。更に、第２統合部１２０は、Ｍｕｌｔｉｐｌｅ Ｓｅｑｕｅｎｃｅ Ａｌｉｇｎｍｅｎｔ（ＭＳＡ）を利用して、対応付けられた要素のアライメントを実行してよい。更に、第２統合部１２０は、Ａ＊アルゴリズムを利用してアライメント処理の計算量を低減してもよい。

【0037】

次に、第２統合部１２０は、Ｍａｊｏｒｉｔｙ Ｖｏｔｅ等により、最終的な表現情報に採用すべき要素を決定してよい。ここで、第２統合部１２０は、第２表現情報を第１表現情報及び第３表現情報よりも大きく重みづけを付与してよい。これにより、支援装置１０は、修正の結果をより重く反映することができる。支援装置１０は、第２統合部１２０により統合された表現情報を作成済の表現情報として出力する。

【0038】

このように、支援装置１０は、繰り返しの初回において、編集部１０６に自動認識部１０４が生成した第１表現情報を第１ユーザに編集させ、編集において修正があれば入力部１１０に新しく第３表現情報を入力させ、修正がなければ編集部１０６に再度編集処理をさせる。支援装置１０は、編集において修正がないことが基準回数連続して発生するまで、編集部１０６による編集と入力部１１０による入力を繰り返す。

【0039】

ここで、支援装置１０は、複数の繰り返し処理において、第１ユーザ及び第２ユーザを、それぞれ同一のユーザ及び／又は異なるユーザとしてよい。異なる第１ユーザ及び／又は異なる第２ユーザから第２表現情報及び／又は第３表現情報を入力する場合、支援装置１０は、多様性のある表現情報を取得することが期待できる。また、同一の第１ユーザ及び／又は同一の第２ユーザから第２表現情報及び／又は第３表現情報を入力する場合、支援装置１０は、繰り返しが進むごとに改善された表現情報を取得することが期待できる。また、第１ユーザとなるユーザは、第２ユーザとなるユーザと共通してもよく、異なっていてもよい。

【0040】

また、支援装置１０は、Ｓ１７０の処理を省略してもよい。この場合、支援装置１０は、最後のＳ１２０の処理で編集された第２表現情報を作成済の表現情報として出力してよい。

【0041】

また、支援装置１０は、Ｓ１２０→Ｓ１３０→Ｓ１４０→Ｓ１５０→Ｓ１２０の繰り返し処理が、合計又は連続で、予め定められた基準回数（例えば、２回）以上行われたことに応じて、処理をＳ１７０に進めてよい。これにより、支援装置１０は、編集の繰り返し処理が必要以上に行われて表現情報の生成が長引くことを防ぐことができる。

【0042】

図３は、本実施形態のＳ１４０における第３表現情報の入力画面の一例を示す。図示するように、第２ユーザは、情報端末等で表現対象の音声を動画等と共に再生し、表現対象に対応する第３表現情報となるテキストを入力して、入力部１１０に取得させる。

【0043】

図４は、本実施形態のＳ１２０における第１表現情報の編集画面の一例を示す。図示するように、第１ユーザは、情報端末等で表現対象の音声を動画等と共に再生し、予め表示された第１表現情報を編集して第２表現情報を作成し、編集部１０６に取得させる。

【0044】

図５は、本実施形態のＳ１５０における表現情報の統合方法の一例を示す。ＦＩＸの行は、第１統合部１１２が編集部１０６から受け取った第２表現情報に対応するテキストを示す。ＴＹＰＥの行は、第１統合部１１２が入力部１１０から受け取った第３表現情報に対応するテキストを示す。ＭＥＲＧＥの行は、第１統合部１１２が第２表現情報及び第３表現情報を統合して生成した統合表現情報に対応するテキストを示す。

【0045】

図示するように、第１統合部１１２は、第２表現情報及び第３表現情報のテキストを複数の要素に分割して、これらの要素をアライメントした後に統合する。例えば、第１統合部１１２は、第２表現情報及び第３表現情報に共通して含まれる単語「Ｉｔ」、「ｍｕｓｔ」、及び、「ｓｕｐｐｌｙｉｎｇ」を対応付けて同じ位置（１番目、２番目、及び６番目）に配置する。

【0046】

第１統合部１１２は、Ｌｅｖｅｎｓｈｔｅｉｎ Ｄｉｓｔａｎｃｅにより単語等の要素を対応付けることに加えて／代えて、異形同音異義語及び／又はスペルミスに対応する複数の単語を対応付けてよい。例えば、第１統合部１１２は、第２表現情報及び第３表現情報に含まれる異形同音異義語でないスペルミスの関係にある単語「ｃｏｎｓｉｄｅｒ」と「ｃｏｎｓｄｅｒ」及び異形同音異義語の単語「ｄｉｓｃ」と「ｄｉｓｋ」を対応付けて同じ位置（５番目及び７番目）に配置してよい。第１統合部１１２は、対応付けられた単語を基準として対応付けられない単語「ｎｏｗ」及び「ｎｏｔ」を異なる位置（３番目及び４番目）に配置する。

【0047】

ここで、第１統合部１１２は、配置した単語から統合表現情報を生成する。例えば、第１統合部１１２は、対応する複数の単語が存在しない単語（例えば「ｎｏｔ」及び「ｎｏｗ」）は、そのまま統合表現情報に採用する。また、第１統合部１１２は、対応する複数の単語が存在する場合は、１個の単語を選択して統合表現情報に採用する。

【0048】

例えば、対応する複数の単語が異形同音異義語である場合、第１統合部１１２は、第３表現情報（ＴＹＰＥ）に係る単語を選択する。これは、第２表現情報（ＦＩＸ）に係る単語は、自動音声認識（ＡＳＲ）に由来する単語が含まれている可能性があり、異形同音異義語について文脈的に正しくない可能性が高いためである。一例として、第１統合部１１２は、７番目に異形同音異義語として配置された「ｄｉｓｃ」及び「ｄｉｓｋ」から第３表現情報（ＴＹＰＥ）に係る「ｄｉｓｋ」を採用する。

【0049】

また、対応する複数の単語が異形同音異義語でない場合、第１統合部１１２は、第２表現情報（ＦＩＸ）に係る単語を選択する。このような場合、第３表現情報（ＴＹＰＥ）に係る単語は、単なる誤入力である可能性が高いためである。一例として、第１統合部１１２は、５番目に配置された異形同音異義語でない「ｃｏｎｓｉｄｅｒ」及び「ｃｏｎｓｄｅｒ」から第２表現情報（ＦＩＸ）に係る「ｃｏｎｓｉｄｅｒ」を採用する。

【0050】

この結果、第１統合部１１２は、第２表現情報（ＦＩＸ）及び第３表現情報（ＴＹＰＥ）から統合表現情報として「Ｉｔ ｍｕｓｔ ｎｏｔ ｎｏｗ ｃｏｎｓｉｄｅｒ ｓｕｐｐｌｙｉｎｇ ｄｉｓｋ」を生成する。この統合表現情報においては「ｎｏｔ」及び「ｎｏｗ」が重複して含まれるが、支援装置１０は、この後の繰り返しの処理及び第２統合部１２０による統合処理により当該重複を解消することができる。このように、支援装置１０は、異形同音異義語の場合に自動音声認識（ＡＳＲ）に基づかない第３表現情報（ＴＹＰＥ）に係る単語を採用し、そうでない場合は第２表現情報（ＦＩＸ）に係る単語を採用することにより、支援装置１０はより高い精度で統合表現情報を生成することができる。

【0051】

図６は、本実施形態における支援装置１０の効果の一例を示す箱ひげ図である。図６は、４種類の異なる方法で字幕を生成した場合の単語誤り率（Ｗｏｒｄ Ｅｒｒｏｒ Ｒａｔｅ：ＷＥＲ）を示す。

【0052】

図中の最も左の列（ＡＳＲ）は、自動音声認識（ＡＳＲ）のみを用いて音声から字幕を生成した場合の単語誤り率を示す。左から２番目の列（ＣａｐＣａｐ）は、本実施形態の支援装置１０を用いて音声から字幕を生成した場合の単語誤り率を示す。左から３番目の列（Ｔｙｐｅ）は、ユーザに字幕を新規に入力させて字幕を生成した場合（すなわち入力部１１０が生成した第３表現情報単独）の単語誤り率を示す。左から４番目の列（ＦＩＸ）は、ＡＳＲから生成した字幕を１回ユーザが修正した場合（すなわち、自動認識部１０４が生成した第１表現情報が編集部１０６により１回編集された第２表現情報）の単語誤り率を示す。

【0053】

単語誤り率は、ＷＥＲ＝（Ｉ＋Ｄ＋Ｓ）／Ｎにより計算される。ここで、Ｉは正しい字幕に至るまでに必要な挿入文字数を示し、Ｄは正しい字幕に至るまでに必要な削除文字数を示し、Ｓは正しい字幕に至るまでに必要な置換文字数を示し、Ｎは正しい字幕の文字数を示す。

【0054】

図中の大きさの異なる箱は、各方法のＷＥＲのうち第１四分位点から第３四分位点までの範囲に含まれるサンプルのＷＥＲの分布を示す。矩形内の中央線は、矩形に含まれるサンプルのＷＥＲの中央値を示す。−（ひげ）及び＋のプロットは、第１四分位点から第３四分位点までの範囲の１．５倍の範囲に含まれるサンプル、及び、当該１．５倍の範囲に含まれずデータ範囲全体に含まれるサンプルのＷＥＲを示す。

【0055】

図示するように、本実施形態の支援装置１０による結果（ＣａｐＣａｐ）は、矩形が約０％のＷＥＲと一致し、最もＷＥＲが低い結果となった。これにより、本実施形態の支援装置１０によると、他の方法よりも優れた字幕の生成を支援できることは明らかである。

【0056】

図７は、本実施形態における支援装置１０の効果の一例を示す箱ひげ図である。図７は、本実施形態の支援装置１０を用いた場合に、Ｓ１１０のＡＳＲ段階のみにより生成された字幕（左側の列）、及び、Ｓ１１０のＡＳＲ段階→Ｓ１２０のＦＩＸ→Ｓ１３０のＴＹＰＥ→Ｓ１５０のＭＥＲＧＥを経て生成された字幕（右側の列）を示す。図示するように、ＡＳＲにより生成された字幕より、ＦＩＸ、ＴＹＰＥ、及びＭＥＲＧＥを経て生成された字幕の方が低いＷＥＲを有する。

【0057】

図８は、本実施形態における支援装置１０の効果の別の一例を示す箱ひげ図である。図８は、本実施形態の支援装置１０を用いた場合に、Ｓ１１０のＡＳＲ段階→Ｓ１２０のＦＩＸ→Ｓ１３０のＴＹＰＥ→Ｓ１５０のＭＥＲＧＥを経て生成された字幕（左側の列）、及び、Ｓ１１０のＡＳＲ段階→Ｓ１２０のＦＩＸ→Ｓ１３０のＴＹＰＥ→Ｓ１５０のＭＥＲＧＥ→Ｓ１２０のＦＩＸ→Ｓ１３０のＴＹＰＥ→Ｓ１５０のＭＥＲＧＥを経て生成された字幕（右側の列）を示す。

【0058】

図８に示すように、ＦＩＸ、ＴＹＰＥ、及びＭＥＲＧＥの繰り返しを１回のみ経て生成された字幕より、繰り返しを２回経て生成された字幕の方が低いＷＥＲを有する。従って、本実施形態の支援装置１０により、ＦＩＸ、ＴＹＰＥ、及びＭＥＲＧＥの繰り返しを少なくとも２回実行することにより、十分に正確性の高い字幕の生成を支援できることが明らかである。例えば、支援装置１０は、Ｓ１２０→Ｓ１３０→Ｓ１４０→Ｓ１５０の繰り返し処理を予め定められた回数（例えば、２回）経た場合には、繰り返し処理を終了してＳ１７０に処理を進めてもよい。

【0059】

図９は、本実施形態の変形例における支援装置１０の処理フローを示す。本変形例において、編集部１０６は、入力された第１表現情報を順次第１ユーザにより編集させていき、基準回数の編集後の第２表現情報を取得し、予め定められた基準回数の編集において第１表現情報と第２表現情報とが相違すると判断部１０８が判断した場合に、入力部１１０は第３表現情報を入力する。

【0060】

以下、本変形例において、図２において説明した実施形態と同様の部分については説明を省略することがある。例えば、本変形例の支援装置１０は、Ｓ２１０、Ｓ２２０、Ｓ２４０、及び、Ｓ２７０の処理を、それぞれ図２のＳ１１０、Ｓ１２０、Ｓ１４０、及び、Ｓ１７０の処理と同様に実行してよい。

【0061】

本変形例のＳ２３０において、判断部１０８は、直前のＳ２２０の編集において、第１表現情報と当該第１表現情報を編集した第２表現情報とが相違するか否か判断する。判断部１０８は、判断部１０８が第１表現情報と第２表現情報とが相違すると判断した場合は処理をＳ２３２に進め、第１表現情報と第２表現情報とが相違しないと判断した場合は処理をＳ２６０に進める。

【0062】

Ｓ２３２において、判断部１０８は、Ｓ１２０において、予め定められた基準回数（ｍ回）の連続した編集において第１表現情報と第２表現情報とが相違するか否か判断する。例えば、判断部１０８は、予め定められた基準回数連続してＳ２２０→Ｓ２３０→Ｓ２３２と進む処理が基準回数連続して繰り返されたか否か判断する。判断の結果が肯定的である場合、判断部１０８は、処理をＳ２４０に進め、そうでない場合には処理をＳ２２０に戻す。

【0063】

Ｓ２６０において、判断部１０８は、Ｓ２２０の複数回の編集において、予め定められた基準回数（ｎ回）の連続した編集において、第１表現情報と第２表現情報とが一致したか否か判断する。例えば、判断部１０８は、予め定められた基準回数連続してＳ２２０→Ｓ２３０→Ｓ２６０と進む処理が基準回数連続して繰り返されたか否か判断する。なお、ｎ及びｍは、同一又は異なる自然数であってよい。例えば、ｎ＝２、ｍ＝２であってよい。

【0064】

判断部１０８は、予め定められた基準回数連続した回数の編集において、第１表現情報と第２表現情報とが一致したと判断する場合は処理をＳ２７０に進め、そうでない場合は処理をＳ２２０に戻す。

【0065】

このように、本変形例の支援装置１０は、編集において修正がないことが基準回数連続して発生するまで、編集部１０６による編集と入力部１１０による入力を繰り返すことに加え、編集における修正が基準回数連続して発生するまで編集部１０６による編集を繰り返す。これにより、本変形例の支援装置１０によれば、複数回の連続する編集を経て品質がより向上した第２表現情報と第３表現情報とを統合するので、最終的に生成する表現情報の品質を更に向上することができる。

【0066】

ここまで説明した本実施形態及び変形例の支援装置１０は、表現対象として音声を含む情報を用い、第１表現情報、第２表現情報、及び、第３表現情報として音声の内容を表す字幕等のテキストを生成することを支援したが、これに限られない。例えば、支援装置１０は、表現対象として音声に代えて／加えて、写真、イラスト、テキスト及び／又は符号等を含む静止画、及び／又は、動画等を用いてよく、表現情報は表現対象に対応する字幕、翻訳、及び／又は、音符等でもよい。

【0067】

図１０は、支援装置１０として機能するコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部を備える。

【0068】

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

【0069】

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、有線又は無線によりネットワークを介して他の装置と通信する。また、通信インターフェイスは、通信を行うハードウェアとして機能する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。

【0070】

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続するとともに、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

【0071】

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

【0072】

コンピュータ１９００にインストールされ、コンピュータ１９００を支援装置１０として機能させるプログラムは、分割モジュールと、自動認識モジュールと、編集モジュールと、判断モジュールと、入力モジュールと、第１統合モジュールと、制御モジュールと、第２統合モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、分割部１０２と、自動認識部１０４と、編集部１０６と、判断部１０８と、入力部１１０と、第１統合部１１２と、制御部１１４と、第２統合部１２０としてそれぞれ機能させてよい。

【0073】

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である分割部１０２と、自動認識部１０４と、編集部１０６と、判断部１０８と、入力部１１０と、第１統合部１１２と、制御部１１４と、第２統合部１２０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の支援装置１０が構築される。

【0074】

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

【0075】

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０及び外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。

【0076】

本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

【0077】

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすか否かを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

【0078】

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

【0079】

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。

【0080】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0081】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0082】

１０ 支援装置、１０２ 分割部、１０４ 自動認識部、１０６ 編集部、１０８ 判断部、１１０ 入力部、１１２ 第１統合部、１１４ 制御部、１２０ 第２統合部、１９００ コンピュータ、２０００ ＣＰＵ、２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス、２０４０ ハードディスクドライブ、２０５０ フレキシブルディスク・ドライブ、２０６０ ＣＤ−ＲＯＭドライブ、２０７０ 入出力チップ、２０７５ グラフィック・コントローラ、２０８０ 表示装置、２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ、２０９０ フレキシブルディスク、２０９５ ＣＤ−ＲＯＭ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】