特許 7663909 キーボードマクロ機能を活用した自動音声認識器および音声認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-09

(45)【発行日】2025-04-17

(54)【発明の名称】キーボードマクロ機能を活用した自動音声認識器および音声認識方法

(51)【国際特許分類】

   G06F 3/16 20060101AFI20250410BHJP

   G10L 15/10 20060101ALI20250410BHJP

   G10L 15/22 20060101ALI20250410BHJP

   G10L 15/28 20130101ALI20250410BHJP

   G06F 3/01 20060101ALI20250410BHJP

   G16H 15/00 20180101ALI20250410BHJP

【ＦＩ】

G06F3/16 650

G10L15/10 200W

G10L15/22 460Z

G10L15/28 230K

G06F3/16 630

G06F3/01 510

G16H15/00

【請求項の数】 4

(21)【出願番号】P 2022525632

(86)(22)【出願日】2020-08-05

(65)【公表番号】

(43)【公表日】2023-01-18

(86)【国際出願番号】 KR2020010359

(87)【国際公開番号】W WO2021085811

(87)【国際公開日】2021-05-06

【審査請求日】2022-04-28

(31)【優先権主張番号】10-2019-0135488

(32)【優先日】2019-10-29

(33)【優先権主張国・地域又は機関】KR

【前置審査】

(73)【特許権者】

【識別番号】522173295

【氏名又は名称】パズル エイアイ カンパニー リミテッド

【氏名又は名称原語表記】ＰＵＺＺＬＥ ＡＩ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】６Ｆ，２２，Ｂａｎｐｏ－ｄａｅｒｏ Ｓｅｏｃｈｏ－ｇｕ Ｓｅｏｕｌ ０６７１６，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】ジョン、ハ リン

【審査官】木内 康裕

(56)【参考文献】

【文献】特開２００５－０２７９７８（ＪＰ，Ａ）

【文献】特開２００６－２２３３５７（ＪＰ，Ａ）

【文献】特表２００４－５３０２０５（ＪＰ，Ａ）

【文献】特開平１１－２４４３２１（ＪＰ，Ａ）

【文献】特開２０１７－１８２０７５（ＪＰ，Ａ）

【文献】特開２０１６－１０２９２０（ＪＰ，Ａ）

【文献】特開２００５－１９２０２４（ＪＰ，Ａ）

【文献】特開２００８－２０３５１６（ＪＰ，Ａ）

【文献】特開２０１２－１４０１８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／１６

Ｇ１０Ｌ １５／１０

Ｇ１０Ｌ １５／２２

Ｇ１０Ｌ １５／２８

Ｇ０６Ｆ ３／０１

Ｇ１６Ｈ １５／００

(57)【特許請求の範囲】

【請求項1】

キーボードマクロ機能を活用した自動音声認識器で遂行される自動音声認識方法において、
転写データ生成部がマイクで入力される音声データに基づいて転写（ｔｒａｎｓｃｒｉｐｔｉｏｎ）データを生成する段階；および、
ラベリング部が前記生成された転写データにマクロ機能を遂行するために既設定されたラベリング対象単語が含まれると、前記生成された転写データにラベリングしセッション化して保存する段階；を含み、
キーボードとマウスを用いることなく、音声入力のみか、または、音声入力とフットスイッチの操作のみで行えることによって、操作者の手による操作が不要であり、
オンオフ操作機能を具備したフットスイッチを複数備え、各フットスイッチ、または、オンにするフットスイッチの組み合わせによって、制御内容が異なり、
前記複数のフットスイッチのうちの１つのフットスイッチは、前記転写データを生成する段階を司り、オンの状態の時、前記マイクで入力される音声データに基づいて転写（ｔｒａｎｓｃｒｉｐｔｉｏｎ）データを生成し、
前記ラベリング対象単語は、使用者またはサービス提供者によって予め設定された特定の単語であり、また、特定のラベリング対象単語に対応する特定のマクロ機能を遂行するための単語であり、また、関連ファイルを付随させるためのラベルであり、
更に、前記生成された転写データを仮想キーボードが入力する方式でユーティリティプログラム上のデータ入力可能な空間に表示してディスプレイする段階；と、
マクロ遂行部が前記生成された転写データに既設定されたラベリング対象単語が含まれると、前記セッション化して保存する段階でセッション化されて保存された転写データを呼び出してマクロ機能による動作を遂行する段階；を含み、
開始を示す特定のキーワードの入力があれば、終了を示す特定のキーワードの入力までの間に音声認識された転写データを、セッション化して保存し、テキストとしてディスプレイに表示し、
また、ラベリング部が前記生成された転写データにマクロ機能を遂行するために既設定されたラベリング対象単語が含まれなくても、当該転写データに特定の命令が含まれていれば、その命令に応じて動作を遂行させることが可能である
ことを特徴キーボードマクロ機能を活用した自動音声認識方法。

【請求項2】

テンプレート呼び出し部がマクロ機能により既設定された転写データの文章テンプレートを呼び出す段階；および、
テンプレート反映部がマイクで入力される音声データに基づいて呼び出された文章テンプレートの変数値が入力されて反映する段階；をさらに含む
請求項１に記載のキーボードマクロ機能を活用した自動音声認識方法。

【請求項3】

請求項１に記載のキーボードマクロ機能を活用した自動音声認識方法を実行するための自動音声認識器であって、
マイクで入力される音声データに基づいて転写（ｔｒａｎｓｃｒｉｐｔｉｏｎ）データを生成する転写データ生成部；および、
前記転写データ生成部で生成された転写データにマクロ機能を遂行するために既設定されたラベリング対象単語が含まれると、前記生成された転写データにラベリングしセッション化して保存するラベリング部；を含み、
キーボードとマウスを用いることなく、音声入力のみか、または、音声入力とフットスイッチの操作のみで行えることによって、操作者の手による操作が不要であり、
オンオフ操作機能を具備したフットスイッチを複数備え、各フットスイッチ、または、オンにするフットスイッチの組み合わせによって、制御内容が異なり、
前記複数のフットスイッチのうちの１つのフットスイッチは、転写データ生成部を司り、オンの状態の時、前記マイクで入力される音声データに基づいて転写（ｔｒａｎｓｃｒｉｐｔｉｏｎ）データを生成し、
更に、前記転写データ生成部で生成された転写データを仮想キーボードが入力する方式でユーティリティプログラム上のデータ入力可能な空間に表示するディスプレイ部；と、
前記転写データ生成部で生成された転写データに既設定されたラベリング対象単語が含まれると、前記ラベリング部でセッション化された転写データを呼び出してマクロ機能による動作を遂行するマクロ遂行部；と、
情報を表示するディスプレイ；とを含む
ことを特徴とするキーボードマクロ機能を活用した自動音声認識器。

【請求項4】

前記マクロ機能により既設定された転写データの文章テンプレートを呼び出すテンプレート呼び出し部；および、
マイクで入力される音声データに基づいて呼び出された文章テンプレートの変数値が入力されて反映するテンプレート反映部；をさらに含む
請求項３に記載のキーボードマクロ機能を活用した自動音声認識器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はキーボードマクロ機能を活用した自動音声認識器および音声認識方法に関し、より詳細には、音声データを転写してラベリング作業を遂行するキーボードマクロ機能を活用した医療用自動音声認識器および音声認識方法に関する。

【背景技術】

【0002】

既存のＥＭＲ（電子医務記録、Ｅｌｅｃｔｒｏｎｉｃ Ｍｅｄｉｃａｌ Ｒｅｃｏｒｄ）システムは患者の医療記録がすべて電子的に入力されて管理されるという長所があるものの、医療スタッフの業務が患者の治療よりも記録自体に重点が置かれている。

【0003】

しかし、診療の際に医師は患者ではなく医務記録を入力するコンピュータ画面を見て診療しなければならない状況が発生することになる。

【0004】

特に手術室や臨床病理課のように、診療と同時に手を使えない場合にはマウス／キーボードの使用が難しいため、診療と同時に医務記録紙や患者の診療記録のためには別途の操作を遂行しなければならず、このために補助者の助けが必要となる。

【0005】

一方、特許文献１：韓国登録特許１０－０３５４３６５号（発明の名称：音声コマンド入力認識機能がある相互作用型コンピュータ制御ディスプレイシステムおよびそのシステムへの音声コマンド入力提供方法）には、音声コマンド入力認識機能がある相互作用型コンピュータ制御ディスプレイシステムおよびそのシステムへの音声コマンド入力提供方法に関するもので、音声コマンド入力認識（ｓｐｅｅｃｈ ｃｏｍｍａｎｄ ｉｎｐｕｔ ｒｅｃｏｇｎｉｔｉｏｎ）および視覚フィードバック（ｖｉｓｕａｌ ｆｅｅｄｂａｃｋ）のための対話型乃至相互作用型コンピュータ制御ディスプレイシステム（ｉｎｔｅｒａｃｔｉｖｅ ｃｏｍｐｕｔｅｒ ｃｏｎｔｒｏｌｌｅｄ ｄｉｓｐｌａｙ ｓｙｓｔｅｍ）に関するものであって、このシステムは対応する多数のシステム動作をそれぞれ開始（ｉｎｉｔｉａｔｅ）させる多数の音声コマンドを事前決定する手段と、前記多数のコマンドそれぞれに関連した音声用語集合（ａｎ ａｓｓｏｃｉａｔｅｄ ｓｅｔ ｏｆ ｓｐｅｅｃｈ ｔｅｒｍｓ）を提供する手段を含む。

【0006】

この時、それぞれの用語は自身に関連したコマンドに関連性（ｒｅｌｅｖａｎｃｅ）を有し、音声コマンドと音声用語を感知する手段を含み、音声コマンドの感知に応答して前記コマンドをディスプレイする手段と、前記コマンドの中の一つに関連性を有する感知された音声用語に応答してその関連コマンドをディスプレイする手段を提供する

【0007】

このように、一般的に音声を認識して音声コマンドによる機能を提供する技術に関しては持続的に開発が行われている。

【先行技術文献】

【特許文献】

【0008】

【文献】韓国登録特許１０－０３５４３６５号（発明の名称：音声コマンド入力認識機能がある相互作用型コンピュータ制御ディスプレイシステムおよびそのシステムへの音声コマンド入力提供方法）

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明はこのような技術的背景で導き出されたもので、医療現場で電子医務記録、手術記録紙の作成など、実際に患者診療時に診療記録のために手を使用し難い状況で音声をすぐにテキスト形態で記録して便利な自動音声認識器および音声認識方法を提供することにその目的がある。

【0010】

また、医療現場で記録システムの入力欄に常時活性化されている音声認識器を通じて音声がテキストに転写され、別途のキーボードやマウスなしにキーボードマクロ入力器を通じて、音声入力だけでも必要な情報の検索や命令を遂行するようにすることができるため、情報処理の効率性が高い自動音声認識器および音声認識方法を提供しようとする。

【課題を解決するための手段】

【0011】

前記の課題を達成するための本発明は次のような構成を含む。
すなわち、本発明の一実施例に係るキーボードマクロ機能を活用した自動音声認識器で遂行される医療用自動音声認識方法は、転写データ生成部がマイクで入力される音声データに基づいて転写（ｔｒａｎｓｃｒｉｐｔｉｏｎ）データを生成する段階およびラベリング部が前記生成された転写データにマクロ機能を遂行するために既設定されたラベリング対象単語が含まれると、前記生成された転写データにラベリングしセッション化して保存する段階を含むことを特徴とする、。

【0012】

本発明の一様相によると、マクロ遂行部が前記生成された転写データに既設定されたラベリング対象単語が含まれると、前記セッション化して保存する段階でセッション化されて保存された転写データを呼び出してマクロ機能による動作を遂行する段階をさらに含む。

【0013】

一方、キーボードマクロ機能を活用した音声認識器は、マイクで入力される音声データに基づいて転写（ｔｒａｎｓｃｒｉｐｔｉｏｎ）データを生成する転写データ生成部および前記転写データ生成部で生成された転写データにマクロ機能を遂行するために既設定されたラベリング対象単語が含まれると、前記生成された転写データにラベリングしセッション化して保存するラベリング部を含む。

【0014】

本発明の一様相によると、キーボードマクロ機能を活用した自動音声認識器は、転写データ生成部で生成された転写データに既設定されたラベリング対象単語が含まれると、前記ラベリング部でセッション化された転写データを呼び出してマクロ機能による動作を遂行するマクロ遂行部をさらに含む。

【発明の効果】

【0015】

本発明によると、医療現場で電子医務記録、手術記録紙の作成など、実際に患者診療時に診療記録のために手を使用し難い状況で音声をすぐにテキスト形態で記録して便利な自動音声認識器および音声認識方法を提供できる効果が導き出される。

【0016】

また、本発明に係るキーボードマクロ機能を活用した自動音声認識器および音声認識方法によると、特に医療現場で記録システムの入力欄に常時活性化されている音声認識器を通じて音声がテキストに転写され、別途のキーボードやマウスなしにキーボードマクロ入力器を通じて、音声入力だけでも必要な情報の検索や命令を遂行するようにすることができるため、情報処理効率性が高い医療用自動音声認識器および音声認識方法を提供することができる。

【0017】

具体的には、手術室で手術中の場合のように、別途のマウスやキーボードの操作が不可能な状況で環境にかかわらず直接音声で医療情報を記録できるため情報の正確度を高めることができ、患者の治療や手術過程に対する集中度をさらに高めることができる。

【0018】

ひいては、医療環境の特性上医師が患者を診療しながら医務記録を入力する時間がさほどないため、入力方式を音声入力に代替することによって便宜性を増大させることができ、医者の時間効率性を高めることができる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施例に係るキーボードマクロ機能を活用した医療用自動音声認識器の動作を説明するための例示図である。

【図2】本発明の一実施例に係るキーボードマクロ機能を活用した医療用自動音声認識器の構成を図示したブロック図である。

【図3】本発明の一実施例に係るキーボードマクロ機能を活用した医療用自動音声認識方法を図示したフローチャートである。

【発明を実施するための形態】

【0020】

以下、添付された図面を参照して本発明に係る好ましい実施例を詳細に説明する。

【0021】

図１は、本発明の一実施例に係るキーボードマクロ機能を活用した医療用自動音声認識器の動作を説明するための例示図である。

【0022】

図１でのように、一実施例に係るキーボードマクロ機能を活用した自動音声認識器１０は医療現場でマイクを通じて音声メッセージを受信する。そうすると、自動音声認識器１０は音声認識器サーバー２０と通信を遂行しながら音声データに基づいた転写データを生成する。

【0023】

この時、音声認識器サーバー２０は一実施例に係る医療用自動音声認識サービスを提供するプラットホームを含む。そして音声認識器サーバー２０は自動音声認識器１０に音声データを転写するために必要な基盤情報を提供することができる。

【0024】

自動音声認識器１０は転写データに基づいて自動でキーボード入力機能を遂行する。すなわち、一実施例に係る自動音声認識器１０は実際に物理的なキーボードやマウスの操作信号が入力されなくてもキーボードマクロ入力器の機能によって転写データによる動作や機能を遂行することができる。

【0025】

本発明によると、自動音声認識器１０が医療現場で記録システムの入力欄に活用されている音声認識器サーバー２０を通じて入力された音声をテキストに転写した後、キーボードマクロ入力器を通じて別途のマウスやキーボードの使用することなく自動で入力されて保存される。

【0026】

一例として、音声内容のうち撮影位置情報などを別途にラベリングしてセッションに保存し、撮影位置や特定の情報に関して音声で要請すると、撮影位置に関連した情報をハイライトして見せてくれるか音声でフィードバックし、音声テンプレート内の空欄すなわち、変数値に対する修正および入力処理も可能である。

【0027】

また、一実施例に係る自動音声認識器１０は電子医務記録（ＥＭＲ）プログラムだけでなく、メモ帳、チャットプログラム、ハングルやワード、エクセルのような多様なユーティリティプログラム上のデータ入力可能な空間に認識された音声を転写してテキスト形態で出力することができる。

【0028】

既存には音声認識された転写されたテキスト形式の情報をマウスでスクラップしてコピーし、必要な領域に貼り付ける作業が必要であった。しかし、本発明の一実施例に係る自動音声認識器１０は音声認識された内容を直接仮想のキーボードが入力される方式でテキスト変換して画面出力するため、プログラム上に直接キーボードで入力するのと同様に画面出力されることが可能である。

【0029】

これに伴い、自動音声認識器１０で認識される音声をテキスト形式で表示するにおいて、転写された内容を適用可能なプログラムの範囲が広いという長所がある。

【0030】

したがって、一実施例に係る自動音声認識器１０は医療産業内でＥＭＲプログラムの種類にかかわらず、入力欄が存在すれば別途の連動作業なしに入力欄の中に音声認識を経て出た結果物を実際のキーボードで入力するように入力することができる。

【0031】

また、一実施例に係る自動音声認識器１０は電子医務記録（ＥＭＲ）プログラムだけでなく、医療映像保存伝送システム（ＰＡＣＳ）および各種医療プログラムにも適用され得る。

【0032】

一実施例において、自動音声認識器１０はＩＰが割り当てられた端末機であって、インターネット等を通じて音声認識器サーバー２０とネットワーク通信を遂行する。一例として、デスクトップＰＣ（ｄｅｓｋｔｏｐ ＰＣ）、スレートＰＣ（ｓｌａｔｅ ＰＣ）、ノートパソコン（ｎｏｔｅｂｏｏｋ ｃｏｍｐｕｔｅｒ）ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））などが該当し得る。

【0033】

もちろん、本発明が適用可能な端末機は前述した種類に限定されず、外部装置と通信が可能な形態の端末機をすべて含むように解釈され得る。

【0034】

それだけでなく、例えば、携帯性と移動性が保障される無線通信装置として、ナビゲーション、ＰＣＳ（Ｐｅｒｓｏｎａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）－２０００、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）－２０００、Ｗ－ＣＤＭＡ（Ｗ－Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ Ｉｎｔｅｒｎｅｔ）端末、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）、スマートパッド（ｓｍａｒｔｐａｄ）、タブレットＰＣ（Ｔａｂｌｅｔ ＰＣ）などのようなすべての種類のハンドヘルド（Ｈａｎｄｈｅｌｄ）基盤の無線通信装置をすべて含むように解釈され得る。

【0035】

図２は、本発明の一実施例に係るキーボードマクロ機能を活用した自動音声認識器の構成を図示したブロック図である。

【0036】

図２のように、一実施例に係るキーボードマクロ機能を活用した自動音声認識器１０はマイク１７０で入力される音声データを受信する。そしてフットスイッチ３０でオン／オフ信号が入力される。

【0037】

また、ディスプレイ部４０を通じて音声データで要請される動作を遂行することによって必要な情報を画面に表示することができる。

【0038】

この時、ディスプレイ部４０を通じて情報を画面に表示するにおいて、医療機関の電子医務記録（ＥＭＲ）プログラムだけでなく、メモ帳、チャットプログラム、ハングルやワード、エクセルのような多様なユーティリティプログラム上のデータ入力可能な空間に認識された音声を転写してテキスト形態で出力することができる。

【0039】

音声認識された内容を直接仮想キーボードが入力される方式でテキスト変換して画面出力してくれるので、プログラム上に直接キーボードで入力するのと同様に画面出力されることが可能である。

【0040】

これに伴い、自動音声認識器１０で認識される音声をテキスト形式で表示するにおいて転写した内容を適用可能なプログラムの範囲が広いという長所がある。

【0041】

したがって、一実施例に係る自動音声認識器１０は医療産業内でＥＭＲプログラムの種類にかかわらず、入力欄が存在すれば別途の連動作業なしに入力欄の中に音声認識を経て出た結果物を実際のキーボードで入力するように入力することができる。

【0042】

それだけでなく、自動音声認識器１０は多様な映像機器や医療機器と連動することも可能である。すなわち、一実施例において、マイク１７０で入力される音声データまたはフットスイッチ３０のオン／オフ操作により連動される映像機器や医療機器の動作を制御することもできる。

【0043】

一様相において、フットスイッチ３０はオンオフ操作機能を具備する。一実施例に係る自動音声認識器１０は、一つのフットスイッチ３０を足で踏んでいる間音声認識器内のマイク１７０が活性化され、足を離すとマイク１７０が非活性化されるように具現される。

【0044】

既存には、自動音声認識器１０を活性化するにはマイクに内蔵されたボタンで録音を活性化したり、マウスのクリックを通じてマイクを活性化しなければならなかった。本発明のこのような様相によると、手を使用し難い状況でフットスイッチ３０で発信される信号を自動音声認識器１０で駆動されるプログラムで受けて音声認識器１０を活性化させるトリガーとして活用することによって便利さを提供することができる。使用者の選択によりマイクに内蔵されたボタンやマウスのクリックを通じてマイクを活性化できるように具現されてもよい。

【0045】

また、他の実施例によると、フットスイッチ３０が複数個備えられる。そしてフットスイッチ３０が複数個となる場合、オン状態のフットスイッチ３０ごとに入力する行を変えたり、保存されたテンプレートを呼び出すなど、互いに異なる機能を遂行するように設定してもよい。

【0046】

さらに他の実施例によると、自動音声認識器１０とマイク１７０が活性化された状態で自動音声認識器１０はマイク１７０で入力される音声をセッション形態で記録しながら注視していて、特定の開始キーワード例えば「記録開始」のような既設定されたキーワードが検出されると、以降からは音声認識された結果物をキーボードマクロ基盤入力器で入力する。

【0047】

すなわち、「記録開始」というキーワードによって転写したデータをキーボードで入力する形態でディスプレイ部４０に表示するように具現される。

【0048】

反面、特定の終了キーワード（「記録終了」）が検出されると、以降からは音声認識された結果物を再びセッション形態で記録して特定の開始キーワードが検出されるまで待機することになる。すなわち、「記録終了」のように記録を終了する意味の既設定されたキーワードが認識されると、以降には音声認識がされても転写した内容がディスプレイ部４０に表示されないように具現され得る。

【0049】

一様相において、本発明によると、医療現場で記録システムの入力欄に常時活性化されている自動音声認識器１０を通じて入力される音声をテキストに転写し、別途のキーボードやマウスなしにキーボードマクロ入力器を通じて転写されたテキストが入力される方式の自動音声入力器を提供することができる。

【0050】

一実施例に係るキーボードマクロ機能を活用した自動音声認識器１０は、通信部１００、保存部１１０、転写データ生成部１２０、ラベリング部１３０、マクロ遂行部１４０、テンプレート呼び出し部１５０およびテンプレート反映部１６０を含む。

【0051】

通信部１００は有線通信を支援するための通信モジュールと、無線通信を支援するための移動通信モジュールをすべて含むことができる。移動通信モジュールは、移動通信のための技術標準または通信方式（例えば、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉ Ａｃｃｅｓｓ ２０００）、ＥＶＤＯ（Ｅｎｈａｎｃｅｄ Ｖｏｉｃｅ－Ｄａｔａ Ｏｐｔｉｍｉｚｅｄ ｏｒ Ｅｎｈａｎｃｅｄ Ｖｏｉｃｅ－Ｄａｔａ Ｏｎｌｙ）、ＷＣＤＭＡ（登録商標）（Ｗｉｄｅｂａｎｄ ＣＤＭＡ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＨＳＵＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ－Ａｄｖａｎｃｅｄ）等）により構築された移動通信網上で基地局および外部の端末のうち少なくとも一つと無線信号を送受信する。

【0052】

一実施例において、通信部１００は音声認識器サーバー２０とデータ通信を遂行する。マイクで入力される音声データに基づいて転写データを生成する過程で必要な情報を音声認識器サーバー２０から受信することができる。

【0053】

また、通信部１００は物理的に分離された医療測定機器または医療映像機器と通信を遂行することができる。通信部１００は医療測定機器または医療映像機器から有線通信や近距離無線通信方式で医療データや映像データを受信することができる。また、医療測定機器または医療映像機器に制御信号を送信することも可能である。

【0054】

保存部１１０は音声データに基づいて転写データを生成するためのプログラムを保存する。ここで、保存部１１０は電源が供給されなくても保存された情報を維持し続ける不揮発性保存装置および揮発性保存装置を通称するものである。

【0055】

例えば、保存部１１０はコンパクトフラッシュ（登録商標）（ｃｏｍｐａｃｔ ｆｌａｓｈ；ＣＦ）カード、ＳＤ（ｓｅｃｕｒｅ ｄｉｇｉｔａｌ）カード、メモリスティック（ｍｅｍｏｒｙ ｓｔｉｃｋ）、ソリッドステートドライブ（ｓｏｌｉｄ－ｓｔａｔｅ ｄｒｉｖｅ；ＳＳＤ）およびマイクロ（ｍｉｃｒｏ）ＳＤカードなどのようなＮＡＮＤフラッシュメモリ（ＮＡＮＤ ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスクドライブ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ；ＨＤＤ）などのようなマグネチックコンピュータ記憶装置およびＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどのような光学ディスクドライブ（ｏｐｔｉｃａｌ ｄｉｓｃ ｄｒｉｖｅ）等を含むことができる。

【0056】

一実施例において、保存部１１０は転写データを生成するためのプログラムと転写データからマクロ機能遂行のためのラベリング対象単語を保存する。ラベリング対象単語は予め使用者によって設定されたものであり得る。

【0057】

転写データ生成部１２０は保存部１１０に保存されたプログラムを実行させることによって、マイク１７０で入力される音声データに基づいて転写（ｔｒａｎｓｃｒｉｐｔｉｏｎ）データを生成する。

【0058】

自動音声認識において、源泉データが音声である場合には必要な情報を直接抽出することが不可能であるため、転写データ生成部１２０はマイク１７０で入力される音声データの文字列を変換する転写過程が必須である。

【0059】

一実施例において、転写データ生成部１２０はテキスト形式の転写データを生成することができる。

【0060】

ラベリング部１３０は転写データ生成部１２０で生成された転写データにマクロ機能を遂行するために既設定されたラベリング対象単語が含まれると、生成された転写データにラベリングしセッション化して保存部１１０に保存する。

【0061】

ラベリング部１３０は転写データにマクロ機能の遂行のためのラベリング単語対象単語が含まれたかどうかを把握する。

【0062】

ラベリング対象単語は使用者またはサービス提供者によって既設定されたものである。例えば「撮影部位」、「撮影位置」、「容量」、「見せて」、「行を変えて」、「括弧をつけて」のようなキーワードで具現される。すなわち、ラベリング対象単語はマクロ機能を遂行するためのキーワードとなり得る。

【0063】

例えば、マイク１７０を通じて「この撮影位置はａｓｃｅｎｄｉｎｇ ｃｏｌｏｎである」という音声データが入力されると、ラベリング部１３０は「撮影位置」をラベリングしてセッションに保管することができる。

【0064】

この時、ラベリング部１３０は「撮影位置」というラベリングに対して音声で入力される撮影位置とともに医療撮影機器から入力される撮影データを共にラベリングして保存する。撮影データは例えば超音波やＭＲＩ技法で撮影されたイメージや動画ファイルであり得る。

【0065】

補助的様相において、ラベリング部１３０は使用者がキーワードを入力することになると、入力した検索語から単語関連性を判断して医学用語を考慮したオントロジー（Ｏｎｔｏｌｏｇｙ）ロジックで意味の範囲を把握して、意味の範囲内にキーワード検索範囲を制限することも可能である。これに伴い、音声データを転写して処理する過程でより正確度の高い音声認識が可能となり得る。

【0066】

すなわち、一実施例に係るキーボードマクロ機能を活用した自動音声認識器１０は、マイク１７０で入力される音声データをテキスト形態に変換してセッションのように持っていることができる。したがって、医療環境の特性上手の使用が難しい場合にも現在の状況を記録し記憶する補助記憶装置としての役割をすることができる。

【0067】

例えば、マイクを通じて予め約定されたコードを音声で入力した後に患者の名前や診療コードのような情報を入力すると、最近ラベリング部１３０でセッション化して保存された転写データに識別コードとして追加することができる。

【0068】

マクロ遂行部１４０は転写データ生成部１２０で生成された転写データに既設定されたラベリング対象単語が含まれると、ラベリング部１３０でセッション化された転写データを呼び出してマクロ（ｍａｃｒｏ ｉｎｓｔｒｕｃｔｉｏｎ）機能による動作を遂行する。

【0069】

すなわち、マクロ遂行部１４０は転写データにマクロ機能を遂行することに設定されたラベリング単語が入力されると、それにしたがって遂行するように設定された機能を遂行することができる。

【0070】

例えば、「撮影位置を教えて」という音声データが入力されると、これまでラベリング部１３０でセッション化されて保存された記録内容のうち、「撮影位置」に関連した情報をハイライトさせて可視的なデータで区分されるように提供することができる。それだけでなく、音声を通じて撮影位置に関するデータに関する情報をフィードバックすることも可能である。

【0071】

また、「撮影位置」というラベリング情報とともにマッチングされるように、保存された医療映像機器からの撮影イメージまたは撮影映像情報をさらに提供することができる。

【0072】

例えば「映像撮影、Ｔｒａｎｓｖｅｒｓｅ ｃｏｌｏｎを通ってきたし、これからａｓｃｅｎｄｉｎｇ ｃｏｌｏｎに入る。」という音声が認識されると、転写データ生成部１２０がこれを転写データに変換し、マクロ遂行部１４０は「映像撮影」というラベリングを認識して医療映像機器で撮影される映像を認識される転写データとともに保存するように遂行することができる。

【0073】

その後、「映像検索、Ｔｒａｎｓｖｅｒｓｅ ｃｏｌｏｎでａｓｃｅｎｄｉｎｇ ｃｏｌｏｎ」という音声が認識されると、転写データ生成部１２０がこれを転写データに変換し、マクロ遂行部１４０は「映像検索」というラベリングを認識して保存された情報のうち、医療映像機器で該当部位撮影データと認識されるデータを抽出して検索結果として提供することができる。

【0074】

一様相において、テンプレート呼び出し部１５０はマクロ機能により既設定された転写データの文章テンプレートを呼び出す。文章テンプレート形式はいずれか一つに限定されない。文章テンプレート形式は短文章形式だけでなく複数の文章を含む形式で具現されてもよい。

【0075】

テンプレート呼び出し部１５０は例えば、「１番テンプレート呼び出し」、「１番テンプレートを呼び出して」のような音声データが入力されると、保存されたテンプレートリストから１番テンプレートに指定されたテンプレート文章を呼び出すことができる。

【0076】

ここで、テンプレート呼び出し部１５０は遠隔保存媒体である遠隔テンプレートサーバーに記録された内容を呼び出す方法でテンプレートを呼び出してもよい。すなわち、多様で、アップデート可能なテンプレート形態を利用することができる。

【0077】

この時、テンプレートの区分は一連番号で区分するか、状況別キーワードで区分するように具現されてもよい。テンプレート区分のための識別情報すなわち、一連番号や状況別キーワードは使用者によって予め設定されたものであり得る。

【0078】

この時、テンプレート呼び出し部１５０で呼び出されるテンプレート文章は音声形態で出力されるか画面を通じて可視的な形態で出力され得る。

【0079】

テンプレート反映部１６０はマイク１７０で入力される音声データに基づいて呼び出された文章テンプレートの変数値が入力されて反映する。

【0080】

使用者は音声形態で出力されるか画面を通じて可視的な形態で出力されるテンプレート呼び出し部１５０で呼び出されたテンプレート文章を確認しながら音声で変数値を入力することができる。

【0081】

例えばテンプレート呼び出し部１５０で呼び出されたテンプレート文章が「ｃｉｍｅｔｒｏｐｉｕｍ １）＿＿＿注射後２）＿＿＿ Ｌｉｄｏｃａｎｅスプレーで咽頭麻酔を施行する」である場合に、使用者はマイク１７０を通じて音声で「変数値１番５ｍｇ」、「変数値２番１０％」を入力してテンプレート文章の内容を修正したり変数値を新しく入力することができる。

【0082】

すなわち、繰り返され得る状況に対しては予めテンプレート文章を設定しておいて、診療検査後に患者により変更され得る変数値のみを入力することによって、診療記録や手術進行状況を入力するにおいて便宜性を提供することができる。

【0083】

この時、テンプレート呼び出し部１５０で呼び出されたテンプレート文章の変数値を入力することは、多様な形態で変形および適用が可能である。

【0084】

テンプレート反映部１６０は、入力される変数値を反映して新しく生成されるテンプレート文章をラベリング部１３０またはマクロ遂行部１４０に提供してセッション化されて保存されるようにするか、それによる動作を遂行するようにする。

【0085】

すなわち、マクロ遂行部１４０は変数値が反映された転写データを利用してその機能による必要な動作を遂行したりラベリング部１３０で新しいデータとして認識してセッション化して保存することができる。

【0086】

本発明の追加的な様相により、一実施例に係る自動音声認識器１０はオンオフ操作機能を具備したフットスイッチ３０をさらに含む。

【0087】

そして、転写データ生成部１２０はフットスイッチ３０がオン（ＯＮ）状態の時、マイク１７０で入力される音声データに基づいて転写（ｔｒａｎｓｃｒｉｐｔｉｏｎ）データを生成する。

【0088】

この様相によると、手を使用し難い状況でフットスイッチ３０で発信される信号を自動音声認識器１０で駆動されるプログラムで受けて音声認識器１０を活性化させるトリガーとして活用することによって、便利さを提供することができる。

【0089】

ひいては、フットスイッチ３０が複数個備えられ得る。フットスイッチ３０が複数個の場合にスイッチがオンになるフットスイッチの種類および個数によって入力する行を変えたり、保存されたテンプレートを呼び出すなどの機能をするように具現され得る。

【0090】

例えば、フットスイッチａ、ｂ、ｃがある場合に、フットスイッチａがオンの状態であればマイクで入力される音声データから転写データを生成し、フットスイッチｂのみがオンの状態であればマイクで入力される音声データから転写データを生成してそのまま保存し、フットスイッチｃのみがオンの状態であればテンプレート呼び出しモードで動作するように具現される。

【0091】

また、フットスイッチａとｂが同時にスイッチオンの状態であれば初期状態に戻るように具現されてもよい。フットスイッチ３０の操作によって遂行される機能はこれに限定されるものではなく、多様な変形例を包括するように解釈される。すなわち、複数のフットスイッチ３０を利用して手を使って入力しなくてもより多様な操作信号の入力が可能となる。

【0092】

本発明の一様相において、キーボードマクロ機能を活用した医療用自動音声認識器は人工知能モジュールをさらに含むことができる。

【0093】

人工知能（ＡＩ）モジュールはマイク１７０で入力される音声データによって要請される多様な機能をさらに遂行することができる。また、人工知能モジュールはディープラーニング（Ｄｅｅｐ ｌｅａｒｎｎｉｎｇ）訓練モジュールを含んで、音声認識による動作を訓練を通じて自己学習するように具現されてもよい。一実施例において、人工知能モジュールは音声で認識される転写データによって必要な情報をウェブ検索を通じて追加で提供してもよい。

【0094】

図３は、本発明の一実施例に係るキーボードマクロ機能を活用した医療用自動音声認識方法を図示したフローチャートである。

【0095】

キーボードマクロ機能を活用した医療用自動音声認識器で遂行される医療用自動音声認識方法において、まず、転写データ生成部はマイクで音声データが入力されると（Ｓ３００）、マイクで入力される音声データに基づいて転写（ｔｒａｎｓｃｒｉｐｔｉｏｎ）データを生成する（Ｓ３２０）。

【0096】

この時、転写データを生成する段階は、オンオフ操作機能を具備したフットスイッチがオン（ＯＮ）の状態の時（Ｓ３１０）、マイクで入力される音声データに基づいて転写（ｔｒａｎｓｃｒｉｐｔｉｏｎ）データを生成する。

【0097】

この様相によると、手を使用し難い状況でフットスイッチで発信される信号を医療用自動音声認識器で駆動されるプログラムで受けて音声認識器を活性化させるトリガーとして活用することによって、便利さを提供することができる。

【0098】

そして、ラベリング部は転写データ生成部で生成された転写データにマクロ機能を遂行するために既設定されたラベリング対象単語が含まれると（Ｓ３３０）、生成された転写データにラベリングしセッション化して保存する（Ｓ３４０、Ｓ３５０）。

【0099】

ラベリング部は転写データにマクロ機能の遂行のためのラベリング単語対象単語が含まれたかどうかを把握する。

【0100】

ラベリング対象単語は使用者またはサービス提供者によって既設定されたものである。例えば「撮影部位」、「撮影位置」、「容量」、「見せて」のようなキーワードで具現される。すなわちラベリング対象単語はマクロ機能を遂行するためのキーワードとなり得る。

【0101】

例えば、マイクを通じて「この撮影位置はａｓｃｅｎｄｉｎｇ ｃｏｌｏｎである」という音声データが入力されると、ラベリング部は「撮影位置」をラベリングしてセッションに保管することができる。

【0102】

すなわち、マイクで入力される音声データをテキスト形態に変換してセッションのように持っていることができる。したがって、医療環境の特性上手の使用が難しい場合にも現在の状況を記録して記憶する補助記憶装置としての役割をすることができる。

【0103】

反面、マクロ遂行部は転写データ生成部で生成された転写データに既設定されたラベリング対象単語が含まれると、セッション化して保存する段階でセッション化されて保存された転写データを呼び出してマクロ機能による動作を遂行する（Ｓ３６０、Ｓ３６５）。

【0104】

一実施例において、マクロ遂行部は転写データにマクロ機能を遂行することに設定されたラベリング単語が入力されると、それにより遂行するように設定された機能を遂行することができる。

【0105】

例えば、「撮影位置を教えて」という音声データが入力されると、これまでラベリング部１３０でセッション化されて保存された記録内容のうち、「撮影位置」に関連した情報をハイライトさせて可視的なデータで提供することができる。それだけでなく、音声を通じてフィードバックすることも可能である。

【0106】

本発明の一様相において、テンプレート呼び出し部がマクロ機能により既設定された転写データの文章テンプレートを呼び出すと（Ｓ３７０）、テンプレート反映部はマイクで入力される音声データに基づいて呼び出された文章テンプレートの変数値が入力されて反映する（Ｓ３７５）。

【0107】

テンプレート呼び出し部は例えば、「１番テンプレート呼び出し」、「１番テンプレートを呼び出して」のような音声データが入力されると、保存されたテンプレートリストから１番テンプレートに指定されたテンプレート文章を呼びだすことができる。

【0108】

この時、テンプレートの区分は一連番号で区分するか、ある状況に対するキーワードで区分可能に具現されてもよい。

【0109】

テンプレート呼び出し部で呼び出されるテンプレート文章は音声形態で出力されるか画面を通じて可視的な形態で出力され得る。

【0110】

そして、テンプレート反映部はマイクで入力される音声データに基づいて呼び出された文章テンプレートの変数値が入力されて反映する。

【0111】

使用者は音声形態で出力されるか画面を通じて可視的な形態で出力されるテンプレート呼び出し部で呼び出されたテンプレート文章を確認して変数値を入力することができる。

【0112】

例えば、テンプレート呼び出し部で呼び出されたテンプレート文章が「ｃｉｍｅｔｒｏｐｉｕｍ １）＿＿＿注射後２）＿＿＿ Ｌｉｄｏｃａｎｅスプレーで咽頭麻酔を施行する」である場合に、変数値として「１番５ｍｇ」、「２番１０％」を入力してテンプレート文章の内容を修正および新しく入力することができる。呼び出されたテンプレート文章の変数値を入力することは、多様な形態で変形および適用が可能である。

【0113】

テンプレート反映部は入力される変数値を反映して新しく生成されるテンプレート文章をラベリング部またはマクロ遂行部に提供してセッション化されて保存されるようにしたり、それによる動作を遂行するようにする。

【0114】

追加的に、一実施例に係るキーボードマクロ機能を活用した医療用自動音声認識方法によると、医療用自動音声認識器はラベリング単語が含まれていない一般の音声データ命令に対してもそれによる動作を遂行できる（Ｓ３８０）。

【0115】

その後、ディスプレイ部を通じて音声データで要請される動作を遂行することによって必要な情報を画面に表示してくれる。

【0116】

この時、ディスプレイ部を通じて情報を画面に表示するにおいて、医療機関の電子医務記録（ＥＭＲ）プログラムだけでなく、メモ帳、チャットプログラム、ハングルやワード、エクセルのような多様なユーティリティプログラム上のデータ入力可能な空間に認識された音声を転写してテキスト形態で出力することができる（Ｓ３９０）。

【0117】

音声認識された内容を直接仮想キーボードが入力される方式でテキスト変換して画面出力してくれるので、プログラム上に直接キーボードで入力するのと同様に画面出力されることが可能である。

【0118】

前述した方法はアプリケーションで具現されるか、多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で具現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。

【0119】

前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるかコンピュータソフトウェア分野の当業者に高地になっている使用可能なものであってもよい。

【0120】

コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存し遂行するように特別に構成されたハードウェア装置が含まれる。

【0121】

プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。

【図1】

【図2】

【図3】