特許 7166373 音声ファイルに対するテキスト変換記録とメモをともに管理する方法、システム、およびコンピュータ読み取り可能な記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-27

(45)【発行日】2022-11-07

(54)【発明の名称】音声ファイルに対するテキスト変換記録とメモをともに管理する方法、システム、およびコンピュータ読み取り可能な記録媒体

(51)【国際特許分類】

   G10L 15/22 20060101AFI20221028BHJP

   G10L 15/00 20130101ALI20221028BHJP

【ＦＩ】

G10L15/22 460Z

G10L15/00 200A

G10L15/22 453

【請求項の数】 18

(21)【出願番号】P 2021021396

(22)【出願日】2021-02-15

(65)【公開番号】P2022052695

(43)【公開日】2022-04-04

【審査請求日】2021-02-15

(31)【優先権主張番号】10-2020-0122847

(32)【優先日】2020-09-23

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】505205812

【氏名又は名称】ネイバー コーポレーション

【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ

(73)【特許権者】

【識別番号】321003371

【氏名又は名称】ＬＩＮＥ株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】シン ジウン

(72)【発明者】

【氏名】ファン ギルファン

(72)【発明者】

【氏名】チョン イェリム

(72)【発明者】

【氏名】オ ヒャンナム

(72)【発明者】

【氏名】イム デヒョン

【審査官】大野 弘

(56)【参考文献】

【文献】再公表特許第２０１６／１６３０２８（ＪＰ，Ａ１）

【文献】特開２０１８－０９７２３９（ＪＰ，Ａ）

【文献】特開２０１０－２３８０５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／２２

Ｇ１０Ｌ １５／００

(57)【特許請求の範囲】

【請求項1】

コンピュータ装置が実行する音声記録管理方法であって、
前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記音声記録管理方法は、
前記少なくとも１つのプロセッサにより、音声をテキストに変換して音声記録を生成する段階、
前記少なくとも１つのプロセッサにより、前記音声の録音中または再生中に作成されたメモを前記音声記録とマッチングして管理する段階、および
前記少なくとも１つのプロセッサにより、前記音声記録と前記メモを連係させて提供する段階
を含み、
前記提供する段階は、
前記音声記録に含まれた話者発声区間のテキストに対し、該当の区間に作成されたメモの有無によってメモタグを表示する段階、および
前記メモタグが選択される場合、該当のテキストの発声区間に作成されたメモの全文を表示する段階
を含む、
音声記録管理方法。

【請求項2】

前記提供する段階は、
デュアルビュー方式によって前記音声記録と前記メモをともに表示する段階
を含む、請求項１に記載の音声記録管理方法。

【請求項3】

前記提供する段階は、
タイムスタンプを基準として前記音声記録と前記メモを時間的にマッチングして表示する段階
を含む、請求項１に記載の音声記録管理方法。

【請求項4】

前記提供する段階は、
前記音声記録について、話者発声区間のテキストごとに、該当の区間の基点を示すタイムスタンプを表示する段階、および
前記メモについて、メモごとに、メモ作成時点の音声録音時間または音声再生時間を示すタイムスタンプを表示する段階
を含む、請求項１に記載の音声記録管理方法。

【請求項5】

前記生成する段階は、
クライアントが録音した音声ファイルまたは前記クライアントがアップロードした音声ファイルを受信し、話者発声区間に該当する音声データをテキストに変換する段階
を含む、請求項１に記載の音声記録管理方法。

【請求項6】

前記管理する段階は、
前記音声記録のタイムスタンプを基準として前記音声の録音中または再生中に作成されたメモをマッチングして管理すること
を特徴とする、請求項１に記載の音声記録管理方法。

【請求項7】

前記音声の話者発声区間に作成されたメモを前記話者発声区間の音声記録とマッチングして管理する段階は、
前記音声の話者発声区間ごとに、作成されたメモを前記話者発声区間の音声記録とマッチングして管理すること
を特徴とする、請求項１に記載の音声記録管理方法。

【請求項8】

コンピュータ装置が実行する音声記録管理方法であって、
前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記音声記録管理方法は、
前記少なくとも１つのプロセッサにより、音声をテキストに変換して音声記録を生成する段階、
前記少なくとも１つのプロセッサにより、前記音声の録音中または再生中に作成されたメモを前記音声記録とマッチングして管理する段階、および
前記少なくとも１つのプロセッサにより、前記音声記録と前記メモを連係させて提供する段階
を含み、
前記音声記録管理方法は、
前記少なくとも１つのプロセッサにより、前記音声の録音中または再生中に少なくとも１つの話者発声区間にブックマークを記録する段階
をさらに含み、
前記提供する段階は、
前記音声記録に含まれたテキストのうち、ブックマークが記録された話者発声区間のテキストに対して編集機能を提供する段階
を含む、音声記録管理方法。

【請求項9】

前記提供する段階は、
話者またはキーワードを利用して、前記音声記録と前記メモのうちの少なくとも１つをグルーピングして提供する段階
を含む、請求項１に記載の音声記録管理方法。

【請求項10】

請求項１～９のうちのいずれか一項に記載の音声記録管理方法をコンピュータに実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体。

【請求項11】

コンピュータ装置であって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
音声をテキストに変換して音声記録を生成する音声記録生成部、
前記音声の録音中または再生中に作成されたメモを前記音声記録とマッチングして管理するメモマッチング管理部、および
前記音声記録と前記メモと連係させて提供する音声記録提供部
を含み、
前記音声記録提供部は、
前記音声記録に含まれた話者発声区間のテキストに対し、該当の区間に作成されたメモの有無によってメモタグを表示し、
前記メモタグが選択される場合、該当のテキストの発声区間に作成されたメモの全文を表示すること
を特徴とする、
コンピュータ装置。

【請求項12】

前記音声記録提供部は、
デュアルビュー方式によって前記音声記録と前記メモをともに表示すること
を特徴とする、請求項１１に記載のコンピュータ装置。

【請求項13】

前記音声記録提供部は、
タイムスタンプを基準として前記音声記録と前記メモを時間的にマッチングして表示すること
を特徴とする、請求項１１に記載のコンピュータ装置。

【請求項14】

前記音声記録提供部は、
前記音声記録の場合は、話者発声区間のテキストごとに、該当の区間の基点を示すタイムスタンプを表示し、
前記メモの場合は、メモごとに、メモ作成時点の音声録音時間または音声再生時間を示すタイムスタンプを表示すること
を特徴とする、請求項１１に記載のコンピュータ装置。

【請求項15】

前記音声記録生成部は、
クライアントが録音した音声ファイルまたは前記クライアントがアップロードした音声ファイルを受信し、話者発声区間に該当する音声データをテキストに変換すること
を特徴とする、請求項１１に記載のコンピュータ装置。

【請求項16】

前記メモマッチング管理部は、
前記音声記録のタイムスタンプを基準として前記音声の録音中または再生中に作成されたメモをマッチングして管理すること
を特徴とする、請求項１１に記載のコンピュータ装置。

【請求項17】

コンピュータ装置であって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
音声をテキストに変換して音声記録を生成する音声記録生成部、
前記音声の録音中または再生中に作成されたメモを前記音声記録とマッチングして管理するメモマッチング管理部、および
前記音声記録と前記メモと連係させて提供する音声記録提供部
を含み、
前記メモマッチング管理部は、
前記音声の録音中または再生中に少なくとも１つの話者発声区間にブックマークを記録し、
前記音声記録提供部は、
前記音声記録に含まれたテキストのうち、ブックマークが記録された話者発声区間のテキストに対して編集機能を提供すること
を特徴とする、
コンピュータ装置。

【請求項18】

前記音声記録提供部は、
話者またはキーワードを利用して、前記音声記録と前記メモのうちの少なくとも１つをグルーピングして提供すること
を特徴とする、請求項１１に記載のコンピュータ装置。

【発明の詳細な説明】

【技術分野】

【0001】

以下の説明は、音声をテキストに変換した音声記録を管理する技術に関する。

【背景技術】

【0002】

モバイル音声変換技術の流れとしては、モバイルデバイスで音声を録音し、音声録音が終われば、録音された区間の音声をテキストに変換してディスプレイ上に表示するのが一般的である。

【0003】

このような音声変換技術の一例として、特許文献１（公開日２０１４年５月２３日）には、音声録音およびテキスト変換を実行する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】韓国公開特許第１０－２０１４－００６２２１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

録音された音声をテキストに変換した記録と録音された音声に関連して作成されたメモとをマッチングして管理する方法とシステムを提供する。

【0006】

デュアルビュー（ｄｕａｌ ｖｉｅｗ）方式によって音声記録とメモをともに表示する方法とシステムを提供する。

【0007】

話者やキーワードなどの多様なフィルタリング基準によって音声記録とメモをグルーピングして提供する方法とシステムを提供する。

【課題を解決するための手段】

【0008】

コンピュータ装置が実行する音声記録管理方法であって、前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記音声記録管理方法は、前記少なくとも１つのプロセッサにより、音声をテキストに変換して音声記録を生成する段階、前記少なくとも１つのプロセッサにより、前記音声の録音中または再生中に作成されたメモを前記音声記録とマッチングして管理する段階、および前記少なくとも１つのプロセッサにより、前記音声記録と前記メモを連係させて提供する段階を含む、音声記録管理方法を提供する。

【0009】

一側面によると、前記提供する段階は、デュアルビュー方式によって前記音声記録と前記メモをともに表示する段階を含んでよい。

【0010】

他の側面によると、前記提供する段階は、タイムスタンプを基準として前記音声記録と前記メモを時間的にマッチングして表示する段階を含んでよい。

【0011】

また他の側面によると、前記提供する段階は、前記音声記録の場合は、話者発声区間のテキストごとに、該当の区間の基点を示すタイムスタンプを表示する段階、および前記メモの場合は、メモごとに、メモ作成時点の音声録音時間または音声再生時間を示すタイムスタンプを表示する段階を含んでよい。

【0012】

また他の側面によると、前記提供する段階は、前記音声記録に含まれた話者発声区間のテキストに対し、該当の区間に作成されたメモの有無によってメモタグを表示する段階、および前記メモタグが選択される場合、該当のテキストの発声区間に作成されたメモの全文を表示する段階を含んでよい。

【0013】

また他の側面によると、前記生成する段階は、クライアントが録音した音声ファイルまたは前記クライアントがアップロードした音声ファイルを受信し、話者発声区間に該当する音声データをテキストに変換する段階を含んでよい。

【0014】

また他の側面によると、前記管理する段階は、前記音声記録のタイムスタンプを基準として前記音声の録音中または再生中に作成されたメモをマッチングして管理してよい。

【0015】

また他の側面によると、前記管理する段階は、前記音声の話者発声区間に作成されたメモと前記話者発声区間の音声記録をマッチングして管理してよい。

【0016】

また他の側面によると、前記音声記録管理方法は、前記少なくとも１つのプロセッサにより、前記音声の録音中または再生中に少なくとも１つの話者発声区間にブックマークを記録する段階をさらに含み、前記提供する段階は、前記音声記録に含まれたテキストのうち、ブックマークが記録された話者発声区間のテキストに対して編集機能を提供する段階を含んでよい。

【0017】

さらに他の側面によると、前記提供する段階は、話者またはキーワードを利用して、前記音声記録と前記メモのうちの少なくとも１つをグルーピングして提供する段階を含んでよい。

【0018】

前記音声記録管理方法をコンピュータに実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体を提供する。

【0019】

コンピュータ装置であって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、音声をテキストに変換して音声記録を生成する音声記録生成部、前記音声の録音中または再生中に作成されたメモを前記音声記録とマッチングして管理するメモマッチング管理部、および前記音声記録と前記メモを連係させて提供する音声記録提供部を含む、コンピュータ装置を提供する。

【発明の効果】

【0020】

本発明の実施形態によると、録音された音声をテキストに変換した記録と録音された音声と関連して作成されたメモをマッチングし、デュアルビューによって表示することにより、音声記録とメモを便利に探索することができる。

【0021】

本発明の実施形態によると、音声記録とメモを話者またはキーワード別にグルーピングするフィルタリング機能を提供することにより、サービス利用に対するユーザの利便性を向上させることができる。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態における、ネットワーク環境の例を示した図である。

【図2】本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。

【図3】本発明の一実施形態における、コンピュータ装置のプロセッサが含むことのできる構成要素の例を示した図である。

【図4】本発明の一実施形態における、コンピュータ装置が実行することのできる方法の例を示したフローチャートである。

【図5】本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。

【図6】本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。

【図7】本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。

【図8】本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。

【図9】本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。

【図10】本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。

【図11】本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。

【図12】本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。

【図13】本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。

【図14】本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。

【図15】本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。

【発明を実施するための形態】

【0023】

以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。

【0024】

本発明の実施形態に係る音声記録管理システムは、少なくとも１つのコンピュータ装置によって実現されてよく、本発明の実施形態に係る音声記録管理方法は、音声記録管理システムに含まれる少なくとも１つのコンピュータ装置によって実行されてよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行するコンピュータプログラムの制御にしたがって本発明の実施形態に係る音声記録管理方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置に結合されて音声記録管理方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。

【0025】

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。また、図１のネットワーク環境は、本実施形態に適用可能な環境の一例を説明したものに過ぎず、本実施形態に適用可能な環境が図１のネットワーク環境に限定されることはない。

【0026】

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータ装置のうちの１つを意味してよい。

【0027】

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

【0028】

サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０にサービス（一例として、音声記録管理サービス（または、議事録管理サービス）、コンテンツ提供サービス、グループ通話サービス（または、音声会議サービス）、メッセージングサービス、メールサービス、ソーシャルネットワークサービス、、地図サービス、翻訳サービス、金融サービス、決済サービス、検索サービスなど）を提供するシステムであってよい。

【0029】

図２は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器１１０、１２０、１３０、１４０それぞれやサーバ１５０、１６０それぞれは、図２に示したコンピュータ装置２００によって実現されてよい。

【0030】

このようなコンピュータ装置２００は、図２に示すように、メモリ２１０、プロセッサ２２０、通信インタフェース２３０、および入力／出力インタフェース２４０を含んでよい。メモリ２１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ２１０とは区分される別の永続的記録装置としてコンピュータ装置２００に含まれてもよい。また、メモリ２１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ２１０とは別のコンピュータ読み取り可能な記録媒体からメモリ２１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース２３０を通じてメモリ２１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１７０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置２００のメモリ２１０にロードされてよい。

【0031】

プロセッサ２２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１０または通信インタフェース２３０によって、プロセッサ２２０に提供されてよい。例えば、プロセッサ２２０は、メモリ２１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

【0032】

通信インタフェース２３０は、ネットワーク１７０を介してコンピュータ装置２００が他の装置（一例として、上述した記録装置）と互いに通信するための機能を提供してもよい。一例として、コンピュータ装置２００のプロセッサ２２０がメモリ２１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース２３０の制御にしたがってネットワーク１７０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１７０を経てコンピュータ装置２００の通信インタフェース２３０を通じてコンピュータ装置２００に受信されてよい。通信インタフェース２３０を通じて受信された信号や命令、データなどは、プロセッサ２２０やメモリ２１０に伝達されてよく、ファイルなどは、コンピュータ装置２００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

【0033】

入力／出力インタフェース２４０は、入力／出力装置２５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、マウスなどの装置を、出力装置は、ディスプレイ、スピーカなどのような装置を含んでよい。他の例として、入力／出力インタフェース２４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２５０は、コンピュータ装置２００と１つの装置で構成されてもよい。

【0034】

また、他の実施形態において、コンピュータ装置２００は、図２の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置２００は、上述した入力／出力装置２５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、データベースなどのような他の構成要素をさらに含んでもよい。

【0035】

以下では、音声ファイルに対する記録とメモをともに提供する方法およびシステムの具体的な実施形態について説明する。

【0036】

最近のモバイルデバイスでは音声録音機能やメモ機能などを提供しており、多くの人が会議のような多様な状況で録音機能を活用するようになった。このとき、録音とは別に、重要な内容や添付の内容などに関しては個別にメモをとることが多々ある。

【0037】

従来技術では、音声録音機能とメモ機能は個別の機能として提供されていたため、音声録音ファイルとメモを同時に確認することに困難があり、メモを見ながら内容を推測することが多かった。言い換えれば、音声とメモをそれぞれ別に確認するしかなく、これにより、録音された内容の全体の流れを把握しながらメモを確認することに困難があった。

【0038】

このような問題を解決するために、本実施形態では、録音された音声をテキストに変換した結果（以下、「音声記録」と称する）と、録音された音声と関連して作成されたメモをマッチングして管理する音声記録管理サービスを提供する。

【0039】

本実施形態は、音声録音およびテキスト変換を含む音声記録機能とメモ機能を統合された１つの機能として提供し、音声記録とメモをマッチングしてともに管理することを目的とする。

【0040】

図３は、本発明の一実施形態における、コンピュータ装置のプロセッサが含むことのできる構成要素の例を示したブロック図であり、図４は、本発明の一実施形態における、コンピュータ装置が実行することのできる方法の例を示したフローチャートである。

【0041】

本実施形態に係るコンピュータ装置２００は、クライアントを対象に、クライアント上にインストールされた専用アプリケーションやコンピュータ装置２００と関連するウェブ／モバイルサイトへの接続によって音声記録管理サービスを提供してよい。コンピュータ装置２００には、コンピュータによって実現された音声記録管理システムが構成されてよい。

【0042】

コンピュータ装置２００のプロセッサ２２０は、図４に係る音声記録管理方法を実行するための構成要素として、図３に示すように、音声記録生成部３１０、メモマッチング管理部３２０、および音声記録提供部３３０を含んでよい。実施形態によって、プロセッサ２２０の構成要素は、選択的にプロセッサ２２０に含まれても除外されてもよい。また、実施形態によって、プロセッサ２２０の構成要素は、プロセッサ２２０の機能の表現のために分離されても併合されてもよい。

【0043】

このようなプロセッサ２２０およびプロセッサ２２０の構成要素は、図３の音声記録管理方法が含む段階４１０～４３０を実行するようにコンピュータ装置２００を制御してよい。例えば、プロセッサ２２０およびプロセッサ２２０の構成要素は、メモリ２１０が含むオペレーティングシステムのコードと、少なくとも１つのプログラムのコードとによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。

【0044】

ここで、プロセッサ２２０の構成要素は、コンピュータ装置２００に記録されたプログラムコードが提供する命令にしたがってプロセッサ２２０によって実行される、互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。例えば、コンピュータ装置２００が音声記録を生成するように上述した命令にしたがってコンピュータ装置２００を制御するプロセッサ２２０の機能的表現として、音声記録生成部３１０が利用されてよい。

【0045】

プロセッサ２２０は、コンピュータ装置２００の制御と関連する命令がロードされたメモリ２１０から必要な命令を読み取ってよい。この場合、前記読み取られた命令は、以下で説明する段階４１０～４３０をプロセッサ２２０が実行するように制御するための命令を含んでよい。

【0046】

以下で説明する段階４１０～４３０は、図４に示した順とは異なる順で実行されることもあるし、段階４１０～４３０のうちの一部が省略されたり追加の過程が含まれたりすることもある。

【0047】

図４を参照すると、段階４１０で、音声記録生成部３１０は、クライアントから受信された音声をテキストに変換して音声記録を生成してよい。クライアント側のデバイスでは、録音機能を実行させて録音した音声ファイルを伝達してもよいし、デバイス上に記録されている音声ファイルを伝達してもよい。音声記録生成部３１０は、周知の音声認識技術を利用して、話者による発声区間に該当する音声データをテキストに変換した結果である音声記録を生成してよい。このとき、音声記録生成部３１０は、音声記録を生成する過程において話者ごとに発声区間を分割する話者分割技術を適用してよい。音声記録生成部３１０は、会議、インタビュー、取引、裁判などのように多くの話者が順不同に発声する状況で録音された音声ファイルの場合には、発声内容を話者ごとに分割して自動記録してよい。

【0048】

段階４２０で、メモマッチング管理部３２０は、クライアントが音声録音中に作成するか音声再生中に作成したメモをクライアントから受信し、段階４１０で生成された音声記録とマッチングして管理してよい。メモマッチング管理部３２０は、クライアントが音声を録音した時間を基準として、音声記録中および録音実行中に作成されたメモをマッチングしてよい。音声記録は、話者発声区間の基点を示すタイムスタンプを含んでよく、メモマッチング管理部３２０は、音声記録のタイムスタンプを基準として該当の区間に作成されたメモをともに管理してよい。これと同じように、メモマッチング管理部３２０は、音声記録が存在する音声ファイルに対し、クライアントが音声を再生する時間を基準として、音声記録中および音声再生中に作成されたメモをマッチングして記録してよい。言い換えれば、メモマッチング管理部３２０は、特定の時点の発声区間に作成されたメモを該当の時点の音声記録とマッチングして管理することができる。

【0049】

段階４３０で、音声記録提供部３３０は、クライアントから音声記録に対する選択命令が受信される場合、該当の音声記録を音声記録とマッチングされたメモと連係させて提供してよい。音声記録提供部３３０は、音声録音中に作成されるか音声再生中に作成されたメモを音声記録とともに簡単かつ便利に確認できるするように、音声記録とメモをデュアルビュー方式によって並べて表示してよい。デュアルビュー方式とは、音声記録とメモを二列に並べて表示する方式であって、これは、音声をテキストに変換した音声記録と該当の音声の録音時間や再生時間に作成されたメモを並べて表示することで対話記録を簡単に探索できるようにするインタフェースを提供するものである。音声記録提供部３３０は、音声記録とメモをデュアル表示する方式の他にも、クライアントの選択にしたがい、音声記録とメモのうちの１つを単独表示する方式で実現されることも可能である。

【0050】

図５～１５は、本発明の実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。

【0051】

図５～１５は、クライアント上にインストールされた専用アプリケーションやコンピュータ装置２００と関連するウェブ／モバイルサイト上のインタフェース画面であって、音声記録管理画面５００の例を示している。

【0052】

図５～９は、音声記録を生成する過程を説明するための音声記録管理画面５００の例を示してる。

【0053】

図５を参照すると、音声記録管理画面５００は、音声記録管理サービスのホーム画面構成であって、サービス提供のための主要メニューリストが含まれてよく、一例として、音声記録をフォルダ単位で管理するためのフォルダリスト５０１が含まれてよい。また、音声記録管理画面５００には、新たな音声記録を生成するための「新規ノート作成」メニュー５０２が含まれてよい。

【0054】

プロセッサ２２０は、音声記録管理画面５００から「新規ノート作成」メニュー５０２が選択される場合、図６に示すように、音声記録生成画面６１０を提供してよい。音声記録生成画面６１０には、音声記録のタイトルを入力するための「タイトル」入力欄６１１、参加者情報を入力するための「参加者」入力欄６１２、音声録音のための「録音開始」メニュー６１３、音声ファイルをアップロードするための「ファイルアップロード」メニュー６１４などが含まれてよい。言い換えれば、プロセッサ２２０は、音声記録を生成するために、録音機能とファイルアップロード機能を提供してよい。

【0055】

プロセッサ２２０は、音声記録生成画面６１０から「録音開始」メニュー６１３が選択される場合、図７に示すように、音声録音画面７２０を提供してよい。音声録音画面７２０は、基本的な録音インタフェースであって、録音が実行された時間情報、録音を一時停止するための一時停止ボタン、録音を終了するための終了ボタンなどが含まれてよい。

【0056】

特に、音声録音画面７２０は、録音中にメモを作成できるようにするメモインタフェース７２１と、録音中にブックマークを記録できるようにするブックマークインタフェース７２２が含まれてよい。このとき、メモインタフェース７２１は、テキストによる入力はもちろん、写真や動画撮影機能、ファイル添付機能などが含まれてよい。ユーザは、メモインタフェース７２１を利用することで、録音中に該当の音声と関連する重要な内容や添付の内容などをメモとして作成することができ、メモの他にも、ブックマークインタフェース７２２を利用することで、重要区間の録音時点にブックマークを記録することができる。録音実行時間を基準として録音中に入力されたメモやブックマークが記録されてよく、例えば、メモの作成が始まった時点の録音実行時間がメモ作成時間に記録されてよく、ブックマークが入力された時点の録音実行時間がブックマーク指定時間として記録されてよい。

【0057】

音声記録に対するブックマークとしては、ブックマークインタフェース７２２を利用した手動設定を説明しているが、これに限定されてはならず、自動設定機能による実現も可能である。例えば、事前に定められた主要キーワード（一例として、音声記録のタイトルやタグなど）が発声される区間にブックマークが自動で記録されるようにしてよい。

【0058】

プロセッサ２２０は、音声記録生成画面６１０から「ファイルアップロード」メニュー６１４が選択される場合、クライアントが音声ファイルを探索できるようにするためのファイル探索画面を提供し、ファイル探索画面から特定のファイルが選択されれば、図８に示すように、選択されたファイルをアップロードするファイルアップロード画面８３０を提供してよい。ファイルアップロード画面８３０には、選択されたファイに関する情報（例えば、ファイル名、ファイルの長さなど）とともに、ファイルアップロードの進行状況を示すプログレスバー８３１が含まれてよい。

【0059】

プロセッサ２２０は、音声録音画面７２０による音声録音が完了するか、ファイルアップロード画面８３０によるファイルアップロードが完了すれば、図９に示すように、音声をテキストに変換する音声記録生成過程の進行状況９１５を音声記録生成画面６１０に表示してよい。録音の場合は、録音と同時進行で音声ファイルがリアルタイムでアップロードされるか、あるいは録音の完了にともなって録音された音声ファイル全体が一括アップロードされてよい。

【0060】

プロセッサ２２０は、音声記録生成過程が完了した音声ファイルに対し、音声記録とメモ（および、ブックマーク）を時間的にマッチングしてともに提供してよい。

【0061】

図１０～１５は、音声記録を提供する過程を説明するための音声記録管理画面５００の例を示した図である。

【0062】

図１０を参照すると、プロセッサ２２０は、音声記録管理画面５００に提供されたファイルリストから特定の音声記録が選択される場合、該当のタイトルの音声記録に対し、デュアルビュー方式によって音声記録領域１０４０とメモ領域１０５０をともに表示してよい。音声記録管理画面５００には、音声記録生成過程で入力されたタイトル１０４１と参加者情報１０４２が提供されてよく、音声ファイルの再生を制御するためのコントローラ領域１０６０が含まれてよい。

【0063】

音声記録領域１０４０では、各区間の音声を変換したテキストが発声区間ごとに表示されてよい。このとき、音声ファイルでテキストが表示される時点を基準にタイムスタンプが表示されてよい。メモ領域１０５０には、音声ファイルの録音中に作成されたメモが表示されてよく、各メモには、メモ作成が始まった時点の録音実行時間が該当のメモのタイムスタンプとして表示されてよい。

【0064】

プロセッサ２２０は、音声記録領域１０４０とメモ領域１０５０を二列で並べて表示してよい。このとき、音声記録領域１０４０とメモ領域１０５０は、タイムスタンプを基準にマッチングさせて表示してよい。例えば、話者１が発声した００分０２秒時点に作成されたメモは、該当の発声区間のテキストと同一線上に表示してよい。

【0065】

音声記録領域１０４０とメモ領域１０５０をタイムスタンプに基づく同一線上に表示するのではなく、単にそれぞれの時間順にしたがって整列することも可能である。この他にも、音声記録領域１０４０とメモ領域１０５０を整列する方式は、デュアルビュー方式の範囲内であれば、いくらでも変更可能である。

【0066】

コントローラ領域１０６０には、プログレスバー、再生／一時停止ボタン、早送りボタン、巻き戻しボタン、音量調節ボタンなどが含まれてよく、メモが作成された区間を示すメモインジケータ１０６１とブックマークが記録された区間を示すブックマークインジケータ１０６２が、プログレスバー上に表示されてよい。

【0067】

メモインジケータ１０６１とブックマークインジケータ１０６２を一目で区分できるように、インジケータのディスプレイ要素（例えば、色や形状など）を互いに異なるように適用してよい。

【0068】

プロセッサ２２０は、ユーザが音声記録領域１０４０から特定の発声区間のテキストを選択する場合、該当の区間の音声を再生してよい。メモ領域１０５０から特定のメモを選択する場合も同じように、該当のメモが作成された区間の音声が再生されてもよい。

【0069】

プロセッサ２２０は、音声記録領域１０４０とメモ領域１０５０の相互間の選択領域を同期化してよい。例えば、ユーザが音声記録領域１０４０から特定の発声区間のテキストが選択される場合、該当の区間に作成されたメモ領域１０５０内のメモをハイライト表示してよい。

【0070】

ユーザは、音声記録領域１０４０とメモ領域１０５０を同時に確認することができ、コントローラ領域１０６０内のプログレスバー上のメモインジケータ１０６１とブックマークインジケータ１０６２によって簡単かつ便利な探索が可能となるため、対話内容を一目で把握することが可能となる。

【0071】

図１１を参照すると、プロセッサ２２０は、音声記録領域１０４０でブックマークが指定された発声区間のテキストを他の区間のテキストと区別して表示してよく、例えば、該当の区間のテキストに対してブックマークアイコン１１７１を表示してよい。ブックマークアイコン１１７１を表示する以外にも、ブックマークが指定された発声区間のテキストにハイライトを適用することも可能である。

【0072】

また、プロセッサ２２０は、音声記録領域１０４０でブックマークが指定された発声区間のテキストに対して「編集」メニュー１１７２を提供し、ブックマーク区間のテキスト編集を誘導してもよい。

【0073】

プロセッサ２２０は、音声記録領域１０４０でブックマークが指定された発声区間のテキストに対して「編集」メニュー１１７２が選択される場合、図１２に示すように、該当の区間のテキストを編集できるようにする編集画面１２７０を提供してよい。音声記録領域１０４０でブックマークが指定された発声区間のテキストは、編集画面１２７０で編集されたテキストに更新されてよい。

【0074】

プロセッサ２２０は、音声記録領域１０４０に含まれたブックマーク区間の他にも、発声区間のテキストそれぞれに対して編集機能を提供してもよく、メモ領域１０５０に含まれたメモを編集できるようにする機能を提供してもよい。

【0075】

また、プロセッサ２２０は、音声記録領域１０４０とメモ領域１０５０に対し、話者やキーワードなどを利用したグルーピングによるフィルタリング機能を提供してよい。

【0076】

プロセッサ２２０は、音声記録領域１０４０から特定の話者が選択される場合、該当の話者の発声区間に対する音声記録とメモのうちの少なくとも１つをグルーピングして表示してよい。言い換えれば、特定の話者が発声した区間の音声記録と該当の話者の発声区間に対して作成されたメモを１つにまとめて表示してよい。

【0077】

また、プロセッサ２２０は、ユーザが入力したキーワードを基準に、該当のキーワードを含む音声記録とメモのうちの少なくとも１つをグルーピングして表示することも可能である。キーワードを利用したメモグルーピングの場合は、該当のキーワードを含むメモ、または該当のキーワードを含む発声区間に作成されたメモをグルーピング対象としてよい。話者やキーワードの他にも、音声記録とメモを分類することのできる多様な基準がフィルタリングに活用されてよい。

【0078】

プロセッサ２２０は、音声記録領域１０４０とメモ領域１０５０をともに表示するデュアルビュー方式の他にも、ユーザの選択にしたがい、音声記録領域１０４０とメモ領域１０５０のうちの１つを選択的に表示するビューモードを提供してよい。

【0079】

図１３を参照すると、プロセッサ２２０は、音声記録領域１０４０は表示せずにメモ領域１０５０だけを表示してよい。このとき、音声ファイルの再生を制御するためのコントローラ領域１０６０がともに提供されてよい。

【0080】

ユーザは、音声を聞きながらメモ領域１０５０に含まれたメモの確認が可能となるが、さらに、プロセッサ２２０は、音声再生中にメモを追加で作成できるようにするインタフェースを提供してよい。

【0081】

図１４を参照すると、プロセッサ２２０は、メモ領域１０５０は表示せずに音声記録領域１０４０だけを表示してよい。このとき、音声ファイルの再生を制御するためのコントローラ領域１０６０がともに提供されてよい。

【0082】

音声記録領域１０４０だけを表示するビューモードでは、音声記録領域１０４０でメモが作成された発声区間のテキストを他の区間のテキストと区別して表示してよく、例えば、該当のテキストの発声区間には作成されたメモが存在することを示すタグとしてメモアイコン１４４１を表示してよい。

【0083】

プロセッサ２２０は、音声記録領域１０４０から特定のテキストのメモアイコン１４４１が選択される場合、図１５に示すように、該当のテキストの発声区間に作成されたメモの全文１５８０を表示してよい。

【0084】

音声記録領域１０４０とメモ領域１０５０をともに表示するデュアルビューモードはもちろん、音声記録領域１０４０とメモ領域１０５０のうちの１つを選択的に表示するビューモードでも、相互間の探索と確認を可能にするインタフェースが提供されてよい。

【0085】

このように、本発明の実施形態によると、録音された音声をテキストに変換した記録と録音された音声と関連して作成されたメモをマッチングしてデュアルビューとして表示することにより、音声記録とメモを便利に探索することができる。

【0086】

また、本発明の実施形態によると、音声記録とメモを話者またはキーワードごとにグルーピングするフィルタリング機能を提供することにより、サービス利用に対するユーザの利便性を向上させることができる。

【0087】

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0088】

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

【0089】

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。

【0090】

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

【0091】

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

【符号の説明】

【0092】

２２２：プロセッサ
３１０：音声記録生成部
３２０：メモマッチング管理部
３３０：音声記録提供部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】