(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-06
(45)【発行日】2022-07-14
(54)【発明の名称】会議補助用翻訳ツールのための方法およびシステム
(51)【国際特許分類】
G06F 3/0481 20220101AFI20220707BHJP
G06F 40/58 20200101ALI20220707BHJP
【FI】
G06F3/0481
G06F40/58
(21)【出願番号】P 2020133029
(22)【出願日】2020-08-05
【審査請求日】2020-08-05
(31)【優先権主張番号】10-2020-0063672
(32)【優先日】2020-05-27
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】505205812
【氏名又は名称】ネイバー コーポレーション
【氏名又は名称原語表記】NAVER Corporation
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】シン ジュンヒ
(72)【発明者】
【氏名】イ ウンヨン
(72)【発明者】
【氏名】ユ ドゥソン
(72)【発明者】
【氏名】チェ フン
(72)【発明者】
【氏名】パク ミンシク
(72)【発明者】
【氏名】キム ジョンウォン
(72)【発明者】
【氏名】チェ ボンヒョン
(72)【発明者】
【氏名】キム ジョンミン
【審査官】三吉 翔子
(56)【参考文献】
【文献】特開2015-060458(JP,A)
【文献】特開2001-236347(JP,A)
【文献】V-CUBE ミーティング 外国語会議,online,2018年01月12日,https://web.archive.org/web/20180112215916/https://jp.vcube.com/service/meeting/overview/howto/speechrecognition
【文献】Zoomのアレコレ便利帳,online,2020年05月10日,1, 13-14,https://web.archive.org/web/20200510103957/https://www.a.u-tokyo.ac.jp/wp-content/uploads/online_lectures/zoom_sugino.pdf
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/0481
G06F 40/58
(57)【特許請求の範囲】
【請求項1】
コンピュータ装置が実行する翻訳提供方法であって、
前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、
当該翻訳提供方法は、
前記少なくとも1つのプロセッサにより、会議補助用ツールとして、会議で使用される言語として設定された複数の言語のうちのいずれか1つの言語で入力された文章である原文と、該原文を前記複数の言語のうちの残りの他の言語に翻訳した翻訳文が含まれた画面を表示する段階を含み、
前記画面には、画面モードを切り換えるためのスイッチングUIが含まれ
、
前記表示する段階は、
前記スイッチングUIを利用した画面モードの選択により、前記原文と前記翻訳文を、前記複数の言語とは異なる第3の言語に翻訳された参照文と併記して表示する基本モード、または前記原文と前記翻訳文を字幕形態で表示する字幕モードで表示することを特徴とする、
翻訳提供方法。
【請求項2】
前記表示する段階は、
前記原文と前記翻訳文を、前記複数の言語とは異なる第3の言語に翻訳された参照文と併記して表示する段階を含み、
前記原文を、前記翻訳文および前記参照文と区別して表示することを特徴とする、
請求項1に記載の翻訳提供方法。
【請求項3】
前記表示する段階は、
前記原文と前記翻訳文を、前記複数の言語とは異なる第3の言語に翻訳された参照文と併記して表示する段階を含み、
前記原文、前記翻訳文、および前記参照文を、同じ言語別に整列して表示することを特徴とする、
請求項1に記載の翻訳提供方法。
【請求項4】
前記併記して表示する段階は、
前記会議に参加する複数のユーザが含まれたチャットルームで、各ユーザ別の対話メッセージとして、前記原文、前記翻訳文、および前記参照文を併記して表示し、
前記複数の言語のうち、前記コンピュータ装置のユーザの使用言語に該当する文章を最初の列に整列することを特徴とする、
請求項
3に記載の翻訳提供方法。
【請求項5】
前記翻訳提供方法は、
前記少なくとも1つのプロセッサにより、前記スイッチングUIを利用した画面モードの選択により、前記原文と前記翻訳文とを字幕形態で表示する字幕モード画面に切り換える段階をさらに含む、
請求項1に記載の翻訳提供方法。
【請求項6】
前記字幕モード画面には、他の画面モードに切り換えるためのUI、前記字幕モード画面が前面に位置されるように固定するためのUI、前記字幕モード画面の透明度を調節するためのUI、前記字幕モード画面の大きさを調節するためのUIのうちの少なくとも1つのUIを含むことを特徴とする、請求項
5に記載の翻訳提供方法。
【請求項7】
前記表示する段階は、
前記会議に参加する複数のユーザが含まれたチャットルームで、各ユーザ別の対話メッセージとして、前記原文および前記翻訳文を併記して表示する段階を含み、
前記原文のうち、前記コンピュータ装置のユーザによって入力された原文に対して文章を修正するための修正UIが提供されることを特徴とする、
請求項1に記載の翻訳提供方法。
【請求項8】
前記修正UIによって修正中の原文の場合、修正前の原文と翻訳文との代わりに修正による状態情報が表示され、修正が完了すれば、修正された原文と翻訳文とに変換されて表示されることを特徴とする、請求項
7に記載の翻訳提供方法。
【請求項9】
前記表示する段階は、
前記画面がモバイルバージョンの画面の場合、前記モバイルバージョンの画面上には、前記原文および前記翻訳文のうちで前記コンピュータ装置のユーザの使用言語に該当する文章だけを表示することを特徴とする、
請求項1に記載の翻訳提供方法。
【請求項10】
前記表示する段階は、
前記モバイルバージョンの画面に表示された文章のうちから前記コンピュータ装置のユーザによって特定の文章が選択される場合、前記特定の文章の原文を表示することを特徴とする、
請求項
9に記載の翻訳提供方法。
【請求項11】
前記表示する段階は、
前記モバイルバージョンの画面に表示された文章のうちから前記コンピュータ装置のユーザによって特定の文章が選択される場合、前記特定の文章を前記複数の言語とは異なる第3の言語に翻訳した参照文を表示することを特徴とする、
請求項
9に記載の翻訳提供方法。
【請求項12】
前記表示する段階は、
前記会議に参加する複数のユーザが含まれたチャットルームで、各ユーザ別の対話メッセージとして、前記原文と前記翻訳文を併記して表示する段階を含み、
当該翻訳提供方法は、
前記少なくとも1つのプロセッサにより、前記ユーザ別の対話メッセージを含む議事録文書ファイルを記録する段階をさらに含む、
請求項1に記載の翻訳提供方法。
【請求項13】
前記記録する段階は、
前記ユーザ別の対話メッセージとして、前記複数の言語のうちから前記コンピュータ装置のユーザによって選択された言語に該当する文章を選別して前記議事録文書ファイルとして記録することを特徴とする、
請求項
12に記載の翻訳提供方法。
【請求項14】
請求項1~
13のうちのいずれか一項に記載の翻訳提供方法を前記コンピュータ装置に実行させる、コンピュータプログラム。
【請求項15】
請求項1~
13のうちのいずれか一項に記載の翻訳提供方法をコンピュータに実行させるためのプログラムが格納されている、非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項16】
コンピュータ装置であって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、
前記少なくとも1つのプロセッサは、
会議補助用ツールとして、会議で使用される言語として設定された複数の言語のうちのいずれか1つの言語で入力された文章である原文と、前記原文を前記複数の言語のうちの残りの他の言語に翻訳した翻訳文とが含まれた画面を表示する翻訳表示部を含み、
前記画面には、画面モードを切り換えるためのスイッチングUIが含まれ
、
前記翻訳表示部は、前記原文と前記翻訳文を、前記複数の言語とは異なる第3の言語に翻訳された参照文と併記する基本モードで表示し、
前記少なくとも1つのプロセッサは、
前記スイッチングUIを利用した画面モードの選択により、前記原文と前記翻訳文とを字幕形態で表示する字幕モード画面に切り換える画面切換部をさらに含むことを特徴とする、
コンピュータ装置。
【請求項17】
前記翻訳表示部は、
前記会議に参加する複数のユーザが含まれたチャットルームで、各ユーザ別の対話メッセージとして、前記原文および前記翻訳文を、前記複数の言語とは異なる第3の言語に翻訳された参照文と併記して表示し、
前記原文を、前記翻訳文および前記参照文と区別して表示し、
前記原文、前記翻訳文、および前記参照文を、同じ言語別に整列して表示することを特徴とする、
請求項
16に記載のコンピュータ装置。
【発明の詳細な説明】
【技術分野】
【0001】
以下の説明は、会議補助用翻訳ツールを提供する技術に関する。
【背景技術】
【0002】
テレビ会議はビジネス環境において幅広く利用されており、参加者が地理的に分散して位置している場合であっても、ビデオとオーディオをリアルタイムで互いに共有することができる。
【0003】
テレビ会議に参加する各ユーザの通信デバイスは、ビデオやオーディオを送信するためにカメラやマイクロフォンを使用し、受信されたビデオやオーディオを再生させるためにディスプレイやスピーカを使用するのが通常である。
【0004】
このようなテレビ会議は、ある1つの位置から少なくとも1つの他の位置にネットワークを介してリアルタイムで送信されるビデオやオーディオのデジタル圧縮を行う。通信デバイスは、ビデオとオーディオの圧縮と圧縮解除を行うことで、ネットワークを介したデータ連動(data linkage)を維持する。
【0005】
例えば、特許文献1(登録日2004年02月10日)には、多者間信号制御サーバを利用したテレビ会議方法が開示されている。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
多国語翻訳結果を同時に表示する基本モードと翻訳結果を字幕形態で表示する字幕モードを必要に応じてスイッチングして活用することができる、会議補助用翻訳ツールを提供する。
【0008】
会議の主体言語の翻訳結果とともに、参照言語の翻訳結果を併記して提供することができる、会議補助用翻訳ツールを提供する。
【0009】
翻訳結果を他のアプリケーションの画面上に字幕形態で提供し、会議補助用ツールとして活用することができる、会議補助用翻訳ツールを提供する。
【課題を解決するための手段】
【0010】
コンピュータ装置が実行する翻訳提供方法であって、コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、翻訳提供方法は、少なくとも1つのプロセッサにより、会議補助用ツールとして会議で使用される言語として設定された複数の言語のうちのいずれか1つの言語で入力された文章である原文と、原文を残りの他の言語に翻訳した翻訳文とが含まれた画面を表示する段階を含み、画面には画面モードを切り換えるためのスイッチングUIが含まれることを特徴とする、翻訳提供方法を提供する。
【0011】
一側面によると、表示する段階は、スイッチングUIを利用した画面モードの選択により、原文と翻訳文を、複数の言語とは異なる第3の言語に翻訳された参照文と併記して表示する基本モード、または原文と翻訳文を字幕形態で表示する字幕モードで表示してよい。
【0012】
他の側面によると、表示する段階は、原文と翻訳文を、複数の言語とは異なる第3の言語に翻訳された参照文と併記して表示する段階を含み、原文は、翻訳文および参照文と区別して表示してよい。
【0013】
また他の側面によると、表示する段階は、原文と翻訳文を、複数の言語とは異なる第3の言語に翻訳された参照文と併記して表示する段階を含み、原文、翻訳文、および参照文は、同じ言語別に整列して表示してよい。
【0014】
また他の側面によると、併記して表示する段階は、会議に参加する複数のユーザが含まれたチャットルームで、各ユーザ別の対話メッセージとして、原文、翻訳文、および参照文を併記して表示し、複数の言語のうちでコンピュータ装置のユーザの使用言語に該当する文章を最初の列に整列してよい。
【0015】
また他の側面によると、翻訳提供方法は、少なくとも1つのプロセッサにより、スイッチングUIを利用した画面モードの選択により、原文と翻訳文を字幕形態で表示する字幕モード画面に切り換える段階をさらに含んでよい。
【0016】
また他の側面によると、字幕モード画面には、他の画面モードに切り換えるためのUI、字幕モード画面が前面(foreground)に位置されるように固定するためのUI、字幕モード画面の透明度を調節するためのUI、字幕モード画面の大きさを調節するためのUIのうちの少なくとも1つのUIを含んでよい。
【0017】
また他の側面によると、表示する段階は、会議に参加する複数のユーザが含まれたチャットルームで、各ユーザ別の対話メッセージとして、原文と翻訳文を併記して表示する段階を含み、原文のうちでコンピュータ装置のユーザによって入力された原文に対し、文章を修正するための修正UIが提供されてよい。
【0018】
また他の側面によると、修正UIによって修正中の原文の場合、修正前の原文と翻訳文の代わりに修正による状態情報が表示され、修正が完了すれば、修正された原文と翻訳文に変換されて表示されてよい。
【0019】
また他の側面によると、表示する段階は、画面がモバイルバージョン画面の場合、モバイルバージョンの画面上に、原文と翻訳文のうちでコンピュータ装置のユーザの使用言語に該当する文章だけを表示してよい。
【0020】
また他の側面によると、表示する段階は、モバイルバージョンの画面に表示された文章のうちからコンピュータ装置のユーザによって特定の文章が選択される場合、特定の文章の原文を表示してよい。
【0021】
また他の側面によると、表示する段階は、モバイルバージョンの画面に表示された文章のうちからコンピュータ装置のユーザによって特定の文章が選択される場合、特定の文章を複数の言語とは異なる第3の言語に翻訳した参照文を表示してよい。
【0022】
また他の側面によると、表示する段階は、会議に参加する複数のユーザが含まれたチャットルームで、各ユーザ別の対話メッセージとして、原文と翻訳文を併記して表示する段階を含み、翻訳提供方法は、少なくとも1つのプロセッサにより、ユーザ別の対話メッセージを含む議事録文書ファイルを記録する段階をさらに含んでよい。
【0023】
さらに他の側面によると、記録する段階は、ユーザ別の対話メッセージとして、複数の言語のうちからコンピュータ装置のユーザによって選択された言語に該当する文章を選別し、議事録文書ファイルとして記録してよい。
【0024】
翻訳提供方法をコンピュータ装置に実行させるために非一時的なコンピュータ読み取り可能な記憶媒体に格納される、コンピュータプログラムを提供する。
【0025】
翻訳提供方法をコンピュータに実行させるためのプログラムが格納されている、非一時的なコンピュータ読み取り可能な記憶媒体を提供する。
【0026】
コンピュータ装置であって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、少なくとも1つのプロセッサは、会議補助用ツールとして会議で使用される言語として設定された複数の言語のうちのいずれか1つの言語で入力された文章である原文と、原文を残りの他の言語に翻訳した翻訳文とが含まれた画面を表示する翻訳表示部を含み、画面には画面モードを切り換えるためのスイッチングUIが含まれることを特徴とする、コンピュータ装置を提供する。
【発明の効果】
【0027】
本発明の実施形態によると、多国語翻訳結果を同時に表示する基本モードと翻訳結果を字幕形態で表示する字幕モードを必要に応じてスイッチングして活用することにより、利便性と拡張性を高めることができる。
【0028】
本発明の実施形態によると、会議の主体言語の翻訳結果とともに参照言語の翻訳結果を併記して提供することにより、誤訳の発生時の誤った意思伝達を最小化することができる。
【0029】
本発明の実施形態によると、翻訳結果を他のアプリケーションの画面上に字幕形態で提供して会議補助用ツールとして活用することができ、これによって効率的な会議環境を提供することができる。
【図面の簡単な説明】
【0030】
【
図1】本発明の一実施形態における、ネットワーク環境の例を示した図である。
【
図2】本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。
【
図3】本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示した図である。
【
図4】本発明の一実施形態における、電子機器が実行することのできる方法の例を示したフローチャートである。
【
図5】テレビ会議のインタフェース画面の例を示した図である。
【
図6】本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。
【
図7】本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。
【
図8】本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。
【
図9】本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。
【
図10】本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。
【
図11】本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。
【
図12】本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。
【
図13】本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。
【
図14】本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。
【
図15】本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。
【発明を実施するための形態】
【0031】
以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。
【0032】
本発明の実施形態は、会議補助用翻訳ツールを提供する技術に関する。
【0033】
本明細書で具体的に開示される事項を含む実施形態は、多様な言語を使用するユーザが参加する会議で活用することのできる翻訳ツールを提供し、多国語での疎通をサポートすることができる。
【0034】
図1は、本発明の一実施形態における、ネットワーク環境の例を示した図である。
図1のネットワーク環境は、複数の電子機器110、120、130、140、複数のサーバ150、160、およびネットワーク170を含む例を示している。このような
図1は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が
図1のように限定されることはない。
【0035】
複数の電子機器110、120、130、140は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器110、120、130、140の例としては、スマートフォン、携帯電話、ナビゲーション、PC(personal computer)、ノート型PC、デジタル放送用端末、PDA(Personal Digital Assistant)、PMP(Portable Multimedia Player)、タブレット、ゲームコンソール、ウェアラブルデバイス、IoT(internet of things)デバイス、VR(virtual reality)デバイス、AR(augmented reality)デバイスなどがある。一例として、
図1では、電子機器110の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器110は、実質的に無線または有線通信方式を利用し、ネットワーク170を介して他の電子機器120、130、140および/またはサーバ150、160と通信することのできる多様な物理的なコンピュータシステムのうちの1つを意味してよい。
【0036】
通信方式が限定されることはなく、ネットワーク170が含むことのできる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など)を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてよい。例えば、ネットワーク170は、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでよい。さらに、ネットワーク170は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター-バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の1つ以上を含んでもよいが、これらに限定されることはない。
【0037】
サーバ150、160それぞれは、複数の電子機器110、120、130、140とネットワーク170を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する1つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ150は、ネットワーク170を介して接続した複数の電子機器110、120、130、140に第1サービスを提供するシステムであってよく、サーバ160も、ネットワーク170を介して接続した複数の電子機器110、120、130、140に第2サービスを提供するシステムであってよい。より具体的な例として、サーバ150は、複数の電子機器110、120、130、140においてインストールされて実行されるコンピュータプログラムであるアプリケーションを通じ、該当のアプリケーションが目的とするサービス(一例として、翻訳サービスなど)を第1サービスとして複数の電子機器110、120、130、140に提供してよい。他の例として、サーバ160は、上述したアプリケーションのインストールおよび実行のためのファイルを複数の電子機器110、120、130、140に配布するサービスを第2サービスとして提供してよい。
【0038】
図2は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。
図2では、電子機器に対する例として電子機器110の内部構成およびサーバ150の内部構成について説明する。また、他の電子機器120、130、140やサーバ160も、上述した電子機器110またはサーバ150と同一または類似の内部構成を有してよい。
【0039】
電子機器110およびサーバ150は、メモリ211、221、プロセッサ212、222、通信モジュール213、223、および入力/出力インタフェース214、224を含んでよい。メモリ211、221は、非一時的なコンピュータ読み取り可能な記憶媒体であって、RAM(random access memory)、ROM(read only memory)、ディスクドライブ、SSD(solid state drive)、フラッシュメモリ(flash memory)などのような非一時的な大容量記憶装置を含んでよい。ここで、ROM、SSD、フラッシュメモリ、ディスクドライブのような非一時的な大容量記憶装置は、メモリ211、221とは区分される別の非一時的な記憶装置として電子機器110やサーバ150に含まれてもよい。また、メモリ211、221には、オペレーティングシステムと、少なくとも1つのプログラムコード(一例として、電子機器110においてインストールされて実行されるブラウザや、特定のサービスの提供のために電子機器110にインストールされるアプリケーションなどのためのコード)が格納されてよい。このようなソフトウェア構成要素は、メモリ211、221とは別のコンピュータ読み取り可能な記憶媒体からロードされてよい。このような別のコンピュータ読み取り可能な記憶媒体は、フロッピー(登録商標)ドライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリカードなどのコンピュータ読み取り可能な記憶媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記憶媒体ではない通信モジュール213、223を通じてメモリ211、221にロードされてもよい。例えば、少なくとも1つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム(一例として、上述したサーバ160)がネットワーク170を介して提供するファイルによってインストールされるコンピュータプログラム(一例として、上述したアプリケーション)に基づいてメモリ211、221にロードされてよい。
【0040】
プロセッサ212、222は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ211、221または通信モジュール213、223によって、プロセッサ212、222に提供されてよい。例えば、プロセッサ212、222は、メモリ211、221のような記憶装置に格納されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
【0041】
通信モジュール213、223は、ネットワーク170を介して電子機器110とサーバ150とが互いに通信するための機能を提供してもよいし、電子機器110および/またはサーバ150が他の電子機器(一例として、電子機器120)または他のサーバ(一例として、サーバ160)と通信するための機能を提供してもよい。一例として、電子機器110のプロセッサ212がメモリ211のような記憶装置に格納されたプログラムコードにしたがって生成した要求が、通信モジュール213の制御にしたがってネットワーク170を介してサーバ150に伝達されてよい。これとは逆に、サーバ150のプロセッサ222の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール223とネットワーク170を経て電子機器110の通信モジュール213を通じて電子機器110に受信されてよい。例えば、通信モジュール213を通じて受信されたサーバ150の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ212やメモリ211に伝達されてよく、コンテンツやファイルなどは、電子機器110がさらに含むことのできる記憶媒体(上述した非一時的な記憶装置)に格納されてよい。
【0042】
入力/出力インタフェース214は、入力/出力装置215とのインタフェースのための手段であってよい。例えば、入力装置は、キーボード、マウス、マイクロフォン、カメラなどの装置を、出力装置は、ディスプレイ、スピーカ、触覚フィードバックデバイスなどのような装置を含んでよい。他の例として、入力/出力インタフェース214は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。入力/出力装置215は、電子機器110と1つの装置で構成されてもよい。また、サーバ150の入力/出力インタフェース224は、サーバ150に接続するかサーバ150が含むことのできる入力または出力のための装置(図示せず)とのインタフェースのための手段であってよい。より具体的な例として、電子機器110のプロセッサ212がメモリ211にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ150や電子機器120が提供するデータを利用して構成されるサービス画面やコンテンツが、入力/出力インタフェース214を通じてディスプレイに表示されてよい。
【0043】
また、他の実施形態において、電子機器110およびサーバ150は、
図2の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器110は、上述した入力/出力装置215のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、GPS(Global Positioning System)モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。
【0044】
以下では、会議補助用翻訳を提供するための方法およびシステムの具体的な実施形態について説明する。
【0045】
図3は、本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示したブロック図であり、
図4は、本発明の一実施形態における、電子機器が実行することのできる方法の例を示したフローチャートである。
【0046】
本実施形態に係る電子機器110には、コンピュータで実現された翻訳提供システムが構成されてよい。一例として、翻訳提供システムは、独立的に動作するプログラム形態で実現されてもよいし、あるいは特定のアプリケーション(例えば、テレビ会議システム)のイン-アプリ(in-app)形態で構成され、前記特定のアプリケーション上で動作が可能となるように実現されてもよいし、場合によっては、サーバ150との連動によって翻訳サービスを提供してもよい。
【0047】
電子機器110にインストールされたアプリケーションが提供する命令に基づき、電子機器110に実現された翻訳提供システムは、
図4に示した翻訳提供方法を実行してよい。
【0048】
図4に係る翻訳提供方法を実行するために、電子機器110のプロセッサ212は、構成要素として、
図3に示すように、翻訳表示部310、画面切換部320、および文書記録部330を含んでよい。実施形態によっては、プロセッサ212の構成要素は、選択的にプロセッサ212に含まれても除外されてもよい。また、実施形態によっては、プロセッサ212の構成要素は、プロセッサ212の機能の表現のために分離されても併合されてもよい。
【0049】
このようなプロセッサ212およびプロセッサ212の構成要素は、
図4の翻訳提供方法が含む段階410~430を実行するように電子機器110を制御してよい。例えば、プロセッサ212およびプロセッサ212の構成要素は、メモリ211が含むオペレーティングシステムのコードと少なくとも1つのプログラムのコードとによる命令(instruction)を実行するように実現されてよい。
【0050】
ここで、プロセッサ212の構成要素は、電子機器110に格納されたプログラムコードが提供する命令(一例として、電子機器110で実行されたアプリケーションが提供する命令)にしたがってプロセッサ212によって実行される、プロセッサ212の互いに異なる機能(different functions)の表現であってよい。例えば、電子機器110が翻訳結果を表示するように上述した命令にしたがって電子機器110を制御するプロセッサ212の機能的表現として、翻訳表示部310が利用されてよい。
【0051】
プロセッサ212は、電子機器110の制御と関連する命令がロードされたメモリ211から必要な命令を読み取ってよい。この場合、前記読み取られた命令は、以下で説明される段階410~430をプロセッサ212が実行するように制御するための命令を含んでよい。
【0052】
図4を参照すると、段階410で、翻訳表示部310は、会議の参加者が会議で使用する言語、つまり、会議の主体言語として設定された複数の使用言語のうちのいずれか1つの使用言語で入力された文章(以下、「原文」とする)と、残りの他の使用言語に翻訳された文章(以下、「翻訳文」とする)とを表示してよい。原文は、各会議の参加者の使用言語で入力された原語文章を意味し、翻訳文は、原文が会議の他の参加者の使用言語に翻訳された文章を意味する。翻訳表示部310は、オンライン上のテレビ会議やオフライン上の会議などに参加するユーザ(会議の参加者)が含まれたチャットルームで、サーバ150から受信された原文と翻訳文を表示してよい。
【0053】
本発明は、会議補助用として活用することのできる翻訳ツールを提供するものである。このとき、翻訳ツールは、テレビ会議システムに制限されることはなく、オンライン上の会議はもちろん、オフライン上の会議補助ツールとして活用されてもよい。実施形態によっては、サーバ150と関連するテレビ会議システムに含まれる形態で実現されることも可能である。
【0054】
本発明に係る翻訳ツールは、音声認識基盤システムとして、入力/出力インタフェース214を通じてユーザの音声入力を受信してよい。一例として、電子機器110は、対話基盤のインタフェースによってユーザの音声入力を受信してよい。例えば、電子機器110は、対話基盤インタフェースとして、電子機器110が含むマイク、または電子機器110と連動するマイクのような音声入力装置を通じてユーザの発話による音声入力を受信してよい。
【0055】
翻訳ツールは、音声入力を受信するための入力手段と、音声入力に対する翻訳結果を表示するためのディスプレイ手段とを含んでよい。このとき、翻訳ツールは、モバイルバージョンとPCバージョンを含んでよく、より正確に音声を入力するために、モバイルバージョンとPCバージョンを活用することで入力手段をディスプレイ手段と分離することも可能である。一例として、スマートフォンやウェアラブルデバイスなどにインストールされたモバイルバージョンの翻訳ツールを音声入力手段として活用し、コンピュータ、ノート型パンコン、PCなどにインストールされたPCバージョンの翻訳ツールをメインディスプレイ手段として活用してよい。
【0056】
本実施形態では、発話音声を認識して翻訳結果を提供すると説明しているが、これに限定されることはなく、音声入力の他にも、テキスト入力、OCR(optical character reader)認識などのようなすべての形態の入力を含んでよい。
【0057】
サーバ150は、翻訳ツールと関連するメッセージングサービスを提供するものであって、多国語翻訳結果を共有するためのチャットルームを支援してよい。会議の参加者は、それぞれ、使用言語を選択してから会議の参加者が含まれたチャットルームに参加してよく、チャットルーム内でマイクボタンを押して使用言語で発話してよい。
【0058】
翻訳ツールは、多国語で行われる会議環境において、会議の参加者である一ユーザの発話音声に対する音声認識結果とともに、他のユーザの言語に翻訳した結果を同時に表示してよい。サーバ150は、会議の参加者の発話による音声入力を受信し、受信された音声入力に対する音声認識結果を原文で提供すると同時に、会議の他の参加者の使用言語に翻訳された翻訳文をともに提供してよい。
【0059】
さらに、サーバ150は、会議の参加者の使用言語、つまり、会議の主体言語の他に、参照言語として設定された第3言語に翻訳された文章(以下、「参照文」とする)を追加で提供してよい。これは、誤訳の発生時の誤った意思伝達を最小化するためのものであり、参照可能な補助翻訳として第3言語翻訳文を提供してよい。第3言語としては会議の参加者の使用言語ではない他の言語が設定され、すべてのユーザを対象に共通するデフォルト言語を適用してもよいし、他の例としては、ユーザ別に各ユーザが選択した言語でカスタマイズ設定することも可能である。
【0060】
翻訳表示部310は、翻訳ツール画面として、会議の参加者が含まれたチャットルーム画面上に多国語翻訳結果を表示するが、原文と翻訳文、さらに参照文を併記する基本モードで表示してよい。
【0061】
段階420で、画面切換部320は、画面モードの選択により、翻訳ツール画面を基本モードから字幕モードに切り換えてよい。翻訳ツール画面には、必要に応じて画面モードを切り換えることのできるスイッチングUIが含まれ、画面モードは、原文と翻訳文を参照文とともに併記する基本モードと、参照文を除いて原文と翻訳文を字幕形態で表示する字幕モードとを含んでよい。画面切換部320は、スイッチングUIを利用したモードの選択により、基本モードと字幕モードとの画面切換を提供してよい。
【0062】
段階430で、文書記録部330は、議事録ダウンロード機能によって多国語翻訳結果を文書ファイル形態で記録してよい。本実施形態では、チャットルームにおけるユーザ識別によって音声入力段階で会議の参加者(発話者)が明確に区分されるため、会議の参加者別の対話内容の形態で議事録のダウンロードが可能となる。文書記録部330は、会議参加者別の対話内容を、会議に使用される複数の使用言語と参照言語のうちの特定の言語の文章として選別して作成した文書ファイルを記録してよい。例えば、文書記録部330は、会議の参加者別の対話内容に対し、多国語翻訳結果のうちから電子機器110のユーザが選択した言語の文章をダウンロードして議事録文書ファイルとして記録してよい。このとき、文書記録部330は、議事録文書を電子機器110のユーザが選択したファイルフォーマットでダウンロードして記録してよい。
【0063】
以下では、会議補助用翻訳ツールに係る実施形態について詳しく説明する。
【0064】
図5は、テレビ会議のインタフェース画面500の例を示している。4人のユーザが参加するテレビ会議環境において、ユーザ1とユーザ3は韓国語(KR)を使用し、ユーザ2とユーザ4は日本語(JP)を使用すると仮定する。
【0065】
テレビ会議の環境とは別に、テレビ会議に参加するユーザ1~4は、互いに異なる2つの電子機器でモバイルバージョンとPCバージョンの翻訳ツールをそれぞれ実行する。モバイルバージョンを入力手段として活用し、PCバージョンをメインディスプレイ手段として活用する。翻訳ツール上に生成されたチャットルームにはユーザ1~4が参加しており、該当のチャットルームの会議の主体言語として、ユーザ1とユーザ3の使用言語は韓国語(KR)が設定され、ユーザ2とユーザ4の使用言語は日本語(JP)が設定される。
【0066】
参照言語は、韓国語(KR)と日本語(JP)ではない第3言語が設定され、例えば、英語(US)が設定される。
【0067】
図6~15は、本発明の一実施形態における、翻訳ツールのインタフェース画面の例を示した図である。
【0068】
図6は、PCバージョンの翻訳ツール画面例であって、基本モード画面600の例を示している。
【0069】
図6を参照すると、プロセッサ212は、翻訳ツール画面として会議の参加者、つまり、ユーザ1~4が参加するチャットルーム画面を表示してよい。このとき、会議参加者別の対話内容は、原文610、翻訳文620、参照文630を併記した基本モードで表示されてよい。
【0070】
プロセッサ212は、会議の参加者が使用言語として設定した会議の主体言語、つまり、韓国語と日本語の他に、第3言語翻訳を参照することができるように参照文630を併記してよい。プロセッサ212は、原文610、翻訳文620、参照文630を、個別メッセージを示す吹き出し形態で表示してよい。
【0071】
プロセッサ212は、原文610、翻訳文620、参照文630を各言語別に同じ列に整列して表記してよい。例えば、プロセッサ212は、原文610、翻訳文620、参照文630を、韓国語列61、日本語列62、英語列63にまとめて表記してよい。基本モード画面600がユーザ1の電子機器に表示された翻訳ツール画面であるとするとき、最初の列にはユーザ1の使用言語(KR)に該当する文章が整列されてよく、参照言語の文章は最後の列に整列されてよい。ユーザ2の電子機器に表示された翻訳ツール画面では、最初の列にユーザ2の使用言語(JP)に該当する文章が整列されてよい。
【0072】
プロセッサ212は、原文610、翻訳文620、参照文630のうちで原文610を他の文章と区別し、可読性を高める形態で表示してよい。原文610を示す吹き出しにハイライトを適用してもよく、他の文章と文字の色や吹き出しの色などが異なるように適用してもよい。
【0073】
原文610、翻訳文620、参照文630のうちで原文610だけを異にして表記してもよいし、実施形態によっては、原文610、翻訳文620、参照文630をそれぞれ異なるように表記することも可能である。
【0074】
基本モード画面600には、字幕モードに切り換えるためのモード切換ボタン601が含まれてよい。
【0075】
【0076】
基本モード画面600でモード切換ボタン601を入力する場合、
図7に示すように字幕モード画面700に切り換わってよい。字幕モード画面700は、会議の参加者別の対話内容に該当する原文710と翻訳文720を字幕形態で表示する画面モードである。
【0077】
字幕モード画面700では、参照文が省略されてよい。
【0078】
字幕モード画面700は、会議中に利用される他のアプリケーション画面70とともに表示されて会議補助用ツールとして活用されてよく、例えば、他のアプリケーション画面70上にオーバレイさせて活用してよい。
【0079】
プロセッサ212は、会議の参加者別の対話内容として原文710と翻訳文720を行単位で順に表示してよい。字幕モード画面700がユーザ1の電子機器に表示された翻訳ツール画面であると仮定するとき、ユーザ1の使用言語(KR)に該当する文章が先に表示され、他の使用言語(JP)に該当する文章が次に表示されてよい。
【0080】
字幕モード画面700は、会議中に利用される他のアプリケーション画面70とともに活用されることにより、多様な付加機能が提供されてよい。一例として、字幕モード画面700には、基本モードに切り換えるためのモード切換ボタン701、画面を固定させるための画面固定ボタン702、画面透明度を調節するための透明度調節ボタン703などが含まれてよい。
【0081】
字幕モード画面700でモード切換ボタン701が入力される場合、
図6を参照しながら説明した基本モード画面600に切り換わってよい。
【0082】
プロセッサ212は、画面固定ボタン702によって固定状態が設定される場合、他のアプリケーションが実行されたとしても、字幕モード画面700に該当するレイヤを常に前面(foreground)に位置させるように固定してよい。
【0083】
プロセッサ212は、透明度調節ボタン703を利用した操作に対応して字幕モード画面700の透明度を調節してよい。字幕モード画面700が他のアプリケーションの画面70上に表示される場合、字幕モード画面700の透明度を調節することにより、下に表示された他のアプリケーション画面70が見えるようになる。
【0084】
図8を参照すると、字幕モード画面700の枠にカーソルが位置する場合、該当のカーソルが字幕モード画面700の大きさを調節するための大きさ調節UI804に変換されてよい。大きさ調節UI804を利用して字幕モード画面700を希望の大きさに調節してよく、このとき、字幕モード画面700の大きさに合わせて字幕モード画面700内のフォントサイズが自動で調節されてよい。
【0085】
本実施形態では、原文に対して修正機能を提供することができる。
【0086】
図9を参照すると、プロセッサ212は、会議の参加者である電子機器110のユーザ本人が入力した原文それぞれに対し、該当の文章を修正するための修正ボタン905を提供してよい。
【0087】
プロセッサ212は、基本モード画面600で修正ボタン905が選択される場合、
図10に示すように、該当の原文に対して修正を行うことができるように、キーボードが含まれた文章修正画面1040を提供してよい。文章修正画面1040には、修正ボタン905が選択された原文内容が自動入力されてよく、入力された文章を修正することのできる機能が含まれてよい。
【0088】
修正ボタン905が選択された直後から、原文修正中には、すべての会議参加者側の基本モード画面600上から修正前の原文と翻訳文は消え、修正による状態情報(例えば、「原文修正中」メッセージ)が表示されてよい。
【0089】
原文の修正が完了すれば、基本モード画面600上には、修正前の原文と翻訳文が修正後の原文と翻訳文に変換されて表示されてよい。
【0090】
図11に示すように、プロセッサ212は、字幕モード画面700でも電子機器110のユーザ本人が入力した原文710を修正するための修正ボタン1105を提供してよく、修正ボタン1105を利用した原文修正中に、すべての会議参加者側の字幕モード画面700上には、修正前の原文と翻訳文の代わりに修正による状態情報(例えば、「原文修正中」メッセージ)が表示されてよい。
【0091】
したがって、本発明に係る翻訳ツールでは、音声の誤入力または誤認識が発生したとしても、会議参加者である本人が入力した原文を修正することが可能となる。原文修正中に修正前の原文と翻訳文の代わりに状態情報を表示することにより、誤った意思伝達を最小化することができる。
【0092】
上述では、PCバージョンの翻訳ツールにおける修正機能について説明しているが、これに限定されることはなく、以下で説明するモバイルバージョンの翻訳ツールにも修正機能が含まれてよい。
【0093】
図12~15は、モバイルバージョンの翻訳ツール画面の例を示した図である。
【0094】
電子機器110がスマートフォンなどのように画面のサイズが小さいモバイル機器の場合、会議の参加者別の対話内容は、電子機器110のユーザ本人が設定した使用言語の文章だけが表示されてよい。
【0095】
図12は、韓国語(KR)を使用言語として設定したユーザ1の電子機器に表示されたモバイルバージョンの翻訳ツール画面1200を示しており、
図13は、日本語(JP)を使用言語として設定したユーザ2の電子機器に表示されたモバイルバージョンの翻訳ツール画面1300を示している。
【0096】
図12と
図13に示すように、会議中の対話内容は、韓国語ユーザ側では韓国語文章だけが表示され、日本語ユーザ側では日本語文章だけが表示されてよい。
【0097】
モバイルバージョンの翻訳ツール画面でも、会議参加者別の対話内容は、個別メッセージを示す吹き出し形態で表示されてよい。
【0098】
プロセッサ212は、電子機器110のユーザが他のユーザの対話内容、つまり、相手の吹き出しを選択する場合、相手が自身の使用言語で入力した原文を併記して表示してよい。
【0099】
図14を参照すると、韓国語(KR)を使用言語として設定したユーザ1の電子機器側の翻訳ツール画面1200では、ユーザ1とユーザ2の対話内容が韓国語文章だけで表示されるようになるが、このとき、ユーザ1がユーザ2の吹き出し1401を選択する場合、該当の吹き出し1401の下には、ユーザ2が日本語(JP)で入力した原文1402がともに表示されてよい。
【0100】
他の例として、プロセッサ212は、電子機器110のユーザが他のユーザの対話内容、つまり、相手の吹き出しを選択する場合、参照言語に翻訳された参照文を併記して表示してよい。
【0101】
図15を参照すると、韓国語(KR)を使用言語として設定したユーザ1の電子機器側の翻訳ツール画面1200では、ユーザ1とユーザ2の対話内容が韓国語文章だけで表示されるようになるが、このとき、ユーザ1がユーザ2の吹き出し1401を選択する場合、該当の吹き出し1401の下には参照言語、つまり、英語(US)に翻訳された参照文1503がともに表示されてよい。
【0102】
このように、本発明の実施形態によると、多国語翻訳結果を同時に表示する基本モードと翻訳結果を字幕形態で表示する字幕モードを必要に応じてスイッチングして活用することにより、利便性と拡張性を高めることができる。また、本発明の実施形態によると、会議の主体言語の翻訳結果とともに参照言語の翻訳結果を併記して提供することにより、誤訳の発生時の誤った意思伝達を最小化することができる。さらに、本発明の実施形態によると、翻訳結果を他のアプリケーションの画面上に字幕形態で提供して会議補助用ツールとして活用することができ、これによって効率的な会議環境を提供することができる。
【0103】
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および/またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
【0104】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記憶媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読み取り可能な記憶媒体に格納されてよい。
【0105】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に格納されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して格納するものであっても、実行またはダウンロードのために一時格納するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記憶手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例は、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD-ROMおよびDVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどを含み、プログラム命令が格納されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記憶媒体または格納媒体が挙げられる。
【0106】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
【0107】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【符号の説明】
【0108】
212:プロセッサ
310:翻訳表示部
320:画面切換部
330:文書記録部