特表 2024-519739 音声及びビデオの翻訳機

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-21

(54)【発明の名称】音声及びビデオの翻訳機

(51)【国際特許分類】

   G10L 13/10 20130101AFI20240514BHJP

   G10L 15/00 20130101ALI20240514BHJP

   G10L 13/00 20060101ALI20240514BHJP

   G10L 21/0208 20130101ALI20240514BHJP

   G10L 17/00 20130101ALI20240514BHJP

   G10L 15/10 20060101ALI20240514BHJP

   H04N 5/92 20060101ALI20240514BHJP

【ＦＩ】

G10L13/10 112C

G10L15/00 200C

G10L13/00 100G

G10L21/0208 100

G10L17/00 200C

G10L15/10 500N

H04N5/92 010

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023568566

(86)(22)【出願日】2022-05-05

(85)【翻訳文提出日】2023-12-19

(86)【国際出願番号】 US2022027852

(87)【国際公開番号】W WO2022235918

(87)【国際公開日】2022-11-10

(31)【優先権主張番号】63/184,746

(32)【優先日】2021-05-05

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

２．ＪＡＶＡ

３．ＶＩＳＵＡＬ ＢＡＳＩＣ

(71)【出願人】

【識別番号】523419473

【氏名又は名称】ディープ メディア インク．

【氏名又は名称原語表記】ＤＥＥＰ ＭＥＤＩＡ ＩＮＣ．

【住所又は居所原語表記】２００ ２ｎｄ Ｓｔｒｅｅｔ， ＃１１５， Ｏａｋｌａｎｄ， Ｃａｌｉｆｏｒｎｉａ ９４６０７，Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】110000268

【氏名又は名称】オリジネイト弁理士法人

(72)【発明者】

【氏名】リジュル，グプタ

(72)【発明者】

【氏名】エマ，ブラウン

(57)【要約】

必要に応じて音声およびビデオを翻訳するシステムおよび方法。翻訳は、合成メディアとＡＩシステムを使用して生成されたデータを含む。独自の一連のステップを実行する独自のプロセッサおよびジェネレータを通じて、システムおよび方法は、さまざまな音声特性（例えば、感情、ペース、慣用句、皮肉、ジョーク、口調、音素など）を考慮できるより正確な翻訳を生成する。これらの音声特徴は入力メディアで識別され、入力メディアの特徴を反映するために翻訳された出力に合成的に組み込まれる。いくつかの実施形態は、話者の顔および／または唇が生成された音声をネイティブに話しているように見えるように入力ビデオを操作するシステムおよび方法をさらに含む。

【特許請求の範囲】

【請求項1】

第１の入力言語での入力音声を含む入力メディアファイルを取得し、
前記第１の入力言語とは異なる第１の出力言語を取得し、
入力音声を複数の音声セグメントに分割し、前記複数の音声セグメント内の各音声セグメントは、前記各音声セグメントの話者を識別するための話者識別情報を含み、
前記複数の音声セグメント内の各音声セグメントに対して、前記各音声セグメント内の各単語または音素のペーシング情報を識別し、
入力トランスクリプションを取得し、前記入力トランスクリプションは、前記各音声セグメントで話された単語に対応するテキストを含み、
感情データおよびトーンデータを含む入力メタ情報を取得し、前記感情データは、所定の感情のリストからの１つ以上の検出可能な感情に対応し、
少なくともタイミング情報および前記感情データに基づいて、前記入力トランスクリプションおよび前記入力メタ情報を前記第１の出力言語に翻訳し、翻訳されたトランスクリプションおよびメタ情報が前記入力トランスクリプションおよび前記入力メタ情報と比較して同様の感情およびペーシングを含むようにし、
翻訳された入力トランスクリプションおよびメタ情報を使用して、翻訳された音声を生成することを特徴とするメディアファイル内の音声を翻訳する方法。

【請求項2】

前記入力メディアファイルはコンピュータ可読フォーマットであることを特徴とする請求項１に記載のメディアファイル内の音声を翻訳する方法。

【請求項3】

１つのボーカルストリームを別のボーカルストリームから分割し、背景雑音を低減し、または前記ボーカルストリームの品質を向上させるために、前記入力音声を前処理することをさらに含むことを特徴とする請求項１に記載のメディアファイル内の音声を翻訳する方法。

【請求項4】

前記入力ビデオを前処理して唇の動き追跡データを捕捉することをさらに含むことを特徴とする請求項１に記載のメディアファイル内の音声を翻訳する方法。

【請求項5】

前記入力音声を前記複数の音声セグメントに分割し、前記ペーシング情報を識別することは、前記入力メディアファイルを入力として受信するように構成された話者ダイアライゼーションプロセッサによって実行されることを特徴とする請求項１に記載のメディアファイル内の音声を翻訳する方法。

【請求項6】

テキストトランスクリプションは、国際音声アルファベットに従ってフォーマットされることを特徴とする請求項１に記載のメディアファイル内の音声を翻訳する方法。

【請求項7】

前記入力トランスクリプションは、前記各音声セグメントの話者の解剖学的ランドマークに対応する感情分析および追跡データをさらに含むことを特徴とする請求項１に記載のメディアファイル内の音声を翻訳する方法。

【請求項8】

前記入力音声の前記入力トランスクリプションを取得することは、前記入力音声をテキストに変換するように構成された人工知能（ＡＩ）ジェネレータに前記入力音声を提供することを含むことを特徴とする請求項１に記載のメディアファイル内の音声を翻訳する方法。

【請求項9】

前記入力メタ情報を取得することが、前記メタ情報を識別するように構成されたＡＩメタ情報プロセッサに前記入力音声および前記入力トランスクリプションを提供することを含む請求項１に記載のメディアファイル内の音声を翻訳する方法。

【請求項10】

前記入力トランスクリプションおよび前記入力メタ情報を翻訳することは、前記入力トランスクリプションおよび前記入力メタ情報を、前記翻訳されたトランスクリプションおよびメタ情報を生成するように構成されたＡＩトランスクリプションおよびメタ翻訳ジェネレータに提供することを含むことを特徴とする請求項１に記載のメディアファイル内の音声を翻訳する方法。

【請求項11】

同様のペーシングには、２０％以下の差が含まれることを特徴とする請求項１に記載のメディアファイル内の音声を翻訳する方法。

【請求項12】

前記翻訳された音声を生成することは、前記翻訳された音声を生成するように構成されたＡＩ音声翻訳ジェネレータに、前記翻訳されたトランスクリプションおよび前記メタ情報を提供することを含むことを特徴とする請求項１に記載のメディアファイル内の音声を翻訳する方法。

【請求項13】

前記各音声セグメントの前記翻訳された音声を単一の音声ファイルにつなぎ合わせることをさらに含むことを特徴とする請求項１に記載のメディアファイル内の音声を翻訳する方法。

【請求項14】

前記入力メディアファイルは入力ビデオを含むことを特徴とする請求項１に記載のメディアファイル内の音声を翻訳する方法。

【請求項15】

前記翻訳された音声および前記入力ビデオをビデオ同期ジェネレータに提供し、前記ビデオ同期ジェネレータによって、前記翻訳された音声が前記入力ビデオと同期する同期ビデオを生成することをさらに含むことを特徴とする請求項１に記載のメディアファイル内の音声を翻訳する方法。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願］
本出願は、同じ発明者によって２０２１年５月５日に出願された「画像翻訳機」と題する米国仮出願第６３／１８４，７４６号に対する優先権の利益を主張し、その全内容はあらゆる目的で参照により本明細書に組み込まれる。
［技術分野］
本発明は、一般に、ビデオおよび音声の操作に関する。より具体的には、音声翻訳と話者の唇に合わせることに関連する。

【背景技術】

【0002】

従来の音声翻訳技術は非常に退屈で時間がかかる。多くの場合、１人以上の個人が音声を聞き、録音し、書き写し、翻訳する必要がある。 翻訳された音声を既存のビデオにダビングすることはさらに困難になる可能性があり、多くの場合、多大な人的投資と介入が必要になる。さらに、翻訳された音声は、対応するビデオ内の話者の唇の動きと同期することはほとんどない。

【0003】

従って、より効率的かつ効果的に音声を翻訳し、ビデオ内で話者の唇に合わせるシステムと方法が必要とされる。しかしながら、本発明がなされた時点で技術全体を考慮すると、従来技術の欠点をどのように克服できるかは、本発明の分野の当業者には明らかではなかった。

【0004】

参照された公開物はすべて、その全体が参照により本明細書に組み込まれる。さらに、本明細書に組み込まれる参考文献における用語の定義または使用が、本明細書で提供されるその用語の定義と一致しない、または矛盾する場合、ここで提供される用語の定義が適用され、参考文献内のその用語の定義は適用されない。

【0005】

本発明の開示を容易にするために従来の技術の特定の態様が議論されてきたが、出願人はこれらの技術的態様を決して放棄するものではなく、特許請求された発明は、本明細書で議論される従来の技術的態様の１つまたは複数を包含し得ることが考えられる。

【0006】

本発明は、上述した従来技術の問題および欠陥の１つまたは複数に対処することができる。しかし、本発明は、多くの技術分野における他の問題や欠陥に対処するのに有用であることが判明する可能性があると考えられる。従って、特許請求される発明は、必ずしも、本明細書で議論される特定の問題または欠陥のいずれかに対処することに限定されるものとして解釈されるべきではない。

【0007】

本明細書において、文書、行為、または知識項目が参照または議論されている場合、この参照または議論は、その文書、行為、知識項目、またはそれらの組み合わせが、優先日に公的に入手可能、公衆に知られているもの、共通一般知識の一部、または適用される法的規定に基づく先行技術を構成するものであったこと、を認めるものではなく、または、この明細書が関係する問題を解決する試みに関連することが知られていることを認めるものではない。

【発明の概要】

【発明が解決しようとする課題】

【0008】

改善された音声およびビデオの翻訳機に対する長年満たされていなかったニーズは、新しく、有用で、自明ではない発明によって満たされる。

【課題を解決するための手段】

【0009】

本発明は、メディアファイル内の音声を翻訳するシステムおよび方法を含む。この方法の一実施形態は、入力メディアファイルを最初に取得することを含む。いくつかの実施形態では、入力メディアファイルはコンピュータ可読フォーマットである。入力メディアファイルは、第１の入力言語による入力された音声を含み、いくつかの実施形態では、入力されたビデオを含む。この方法は、第１の出力言語を取得することをさらに含み、第１の出力言語は第１の入力言語とは異なる。

【0010】

いくつかの実施形態は、入力された音声を前処理して、ある音声の流れを別の音声の流れから分割し、雑音を低減し、または音声の流れの品質を向上させることをさらに含む。また、いくつかの実施形態は唇の動きの追跡データを捕捉するために入力されたビデオを前処理することを含む。

【0011】

その入力が取得されると、入力された音声は複数の音声セグメントに分割される。複数の音声セグメント内の各音声セグメントは、各音声セグメントの話者を識別するための話者識別情報を含む。複数の音声セグメント内の各音声セグメントについて、ペーシング情報は、各音声セグメント内の各単語または音素のために識別される。いくつかの実施形態では、入力された音声を複数の音声セグメントに分割し、タイミング情報を識別することは、入力されたメディアファイルを入力として受信するように構成された話者ダイアライゼーションプロセッサによって実行される。

【0012】

さらに、この新規な方法は入力された録音を取得することを含む。その入力されたトランスクリプションには、各音声セグメントで話された単語に対応するテキストが含まれる。テキストの転写は、国際音声アルファベットに従ってフォーマットされるとよい。さらに、入力されたトランスクリプションは、各音声セグメントの話者の解剖学的ランドマークに対応する感情分析および追跡データをさらに含むとよい。いくつかの実施形態では、入力音声の入力されたトランスクリプションを取得することは、入力された音声をテキストに変換するように構成された人工知能（ＡＩ）生成器に入力音声を提供することを含む。

【0013】

そして、入力されたメタ情報を取得する。メタ情報には、感情データやトーンデータが含まれる。感情データは、所定の感情のリストからの１つ以上の検出可能な感情に対応する。同様に、トーンデータは、所定の感情のリストまたはトーンのスペクトルからの１つ以上の検出可能なトーンに対応するとよい。いくつかの実施形態では、入力されたメタ情報を取得することは、メタ情報を識別するように構成されたＡＩメタ情報プロセッサに入力された音声および入力されたトランスクリプションを提供することを含む。

【0014】

メタデータが取得されると、翻訳されたトランスクリプションおよびメタ情報には、入力された録音および入力されたメタ情報と比較して、同様の感情およびペーシングが含まれるように、入力されたトランスクリプションおよび入力されたメタ情報は、少なくともタイミング情報および感情データに基づいて第１の出力言語に翻訳される。いくつかの実施形態では、同様のペーシングには、表音文字間のハミング距離の差が２０％以下であること、および適切な位置での休止、呼吸、およびつなぎ音が含まれることを含む。いくつかの実施形態では、入力されたトランスクリプションおよび入力されたメタ情報を翻訳することは、入力トされたトランスクリプションおよび入力されたメタ情報を、翻訳されたトランスクリプションおよびメタ情報を生成するように構成されたＡＩトランスクリプションおよびメタ翻訳ジェネレータに提供することを含む。

【0015】

最後に、翻訳されて入力されたトランスクリプションとメタ情報を使用して、翻訳された音声が生成される。いくつかの実施形態では、翻訳された音声を生成することは、翻訳された音声を生成するように構成されたＡＩ音声翻訳ジェネレータに、翻訳されたトランスクリプションおよびメタ情報を提供することを含む。

【0016】

方法のいくつかの実施形態は、各音声セグメントの翻訳された音声を単一の音声ファイルにつなぎ合わせる（又は単一の音声ファイルに戻す）ことをさらに含む。いくつかの実施形態は、翻訳された音声および入力されたビデオをビデオ同期生成器に提供し、ビデオ同期生成器によって、翻訳された音声が入力されたビデオと同期する同期ビデオを生成することをさらに含む。

【0017】

本発明のこれらおよび他の重要な目的、利点、および特徴は、本開示が進むにつれて明らかにする。

【0018】

従って、本発明は、以下に説明する開示で例示される構造、要素の組み合わせ、部品の配置の特徴を含み、本発明の範囲は特許請求の範囲に示される。

【図面の簡単な説明】

【0019】

本発明をより十分に理解するには、添付図面と関連させた以下の詳細な説明を参照するとよい。

【図1】本発明の一実施形態のブロック図である。

【図2】本発明の一実施形態のフローチャートである。

【図3】入力されたトランスクリプションを生成するためのプロセスの一実施形態のブロック図である。

【図4】入力されたメタ情報を生成するプロセスの一実施形態のブロック図である。

【図5】翻訳されたトランスクリプションおよび／または翻訳されたメタ情報を生成するためのプロセスの一実施形態のブロック図である。

【図6】翻訳された音声を生成するためのプロセスの一実施形態のブロック図である。

【図7】翻訳された音声を有する同期ビデオを生成するためのプロセスの一実施形態のブロック図である。

【図8】翻訳された音声を有する同期ビデオを生成し、後処理プロセスを実行してより高品質の出力ビデオを生成するためのプロセスの一実施形態のブロック図である。

【図9】本発明の一実施形態の実施のブロック図である。

【図10】本発明の一実施形態の実施のブロック図である。

【図11】本発明の一実施形態の実施のブロック図である。

【図12】本発明の一実施形態の実施のブロック図である。

【図13】本発明の一実施形態の実施のブロック図である。

【発明を実施するための形態】

【0020】

以下の好ましい実施形態の詳細な説明では、その一部を形成する添付図面が参照され、図面には、本発明を実施することができる特定の実施形態が例示として示されている。他の実施形態が利用されてもよく、本発明の範囲から逸脱することなく構造上の変更が行われてもよいことを理解することができる。

【0021】

本明細書および添付の特許請求の範囲で使用される場合、単数形には、内容が明確に別段の指示をしない限り、複数の指示対象も含まれる。本明細書および添付の特許請求の範囲で使用される「または」という用語は、文脈上内容が明らかに別段の指示をしない限り、一般に「および／または」を含む意味で使用される。

【0022】

「いくつかの実施形態では」、「いくつかの実施形態によると」、「示された実施形態では」、「他の実施形態では」などの語句は、一般に、フレーズに続く特定の構成、構造、または特徴は、少なくとも１つの実施に含まれることを意味する。また、そのようなフレーズは、必ずしも同じ実施形態または異なる実施形態を指すわけではない。

【0023】

以下の説明では、説明の目的で、本技術の実施形態の完全な理解を提供するために、多くの特定の詳細が記載される。しかしながら、当業者には、本技術の実施形態は、これらの特定の詳細のいくつかがなくても実施できることが明らかである。ここで紹介される技術は、専用のハードウェア（例えば回路）として、ソフトウェアおよび／またはファームウェアで適切にプログラムされたプログラマブル回路として、または専用の回路とプログラマブル回路の組み合わせとして具体化することができる。従って、実施形態は、プロセスを実行するようにコンピュータ（または他の電子デバイス）をプログラムするために使用され得る命令を記憶した機械可読媒体を含むとよい。機械可読媒体には、フロッピーディスク、光ディスク、コンパクトディスク読み取り専用メモリ(CD-ROM)、光磁気ディスク、ROM、ランダム アクセスメモリ(RAM)、消去可能なプログラマブル読み取り専用メモリ(EPROM)、電気的に消去可能なプログラマブル読み取り専用メモリ( EEPROM）、磁気カードまたは光カード、フラッシュメモリ、または電子命令の保存に適したその他のタイプのメディア/機械可読メディアなどが含まれるが、これらに限定されない。

【0024】

ここで本発明の詳細を参照すると、いくつかの実施形態は、メモリ、視覚的ディスプレイを備えたユーザインターフェース（「グラフィックユーザインターフェース」または「ＧＵＩ」とも呼ばれる）、および本明細書に記載される少なくともステップを実行するプログラムを実行するプロセッサを有する１つ以上のコンピュータシステムを含む。いくつかの実施形態では、本発明は、コンピュータで実行可能な方法、または本明細書で説明されるステップを実行するためのソフトウェアで具体化される方法である。ハードウェアとソフトウェアの詳細については、以下の「ハードウェアとソフトウェアのインフラストラクチャの実施例」のセクションを参照するとよい。

【0025】

メディアファイルとは、ビデオファイル及び／又は音声ファイルを示す。これらのメディアファイルは、当業者に知られている任意のファイルフォーマットを持つことができる。メディアファイルの主題は、メディアファイル内の音声の発信元である識別可能な物体、話者、人物、または動物である。各メディア ファイルには複数の主題が含まれる場合がある。

【0026】

入力メディアファイルは、翻訳のために翻訳者に提供される、または翻訳者によって取得されるメディアファイルである。出力メディアファイルは、翻訳が行われた入力メディアファイルの合成または操作されたバージョンである。出力メディアファイルには、入力メディアファイルで話されている言語とは異なる言語を話しているように見える１人以上の人物（題材）が描かれている。いくつかの実施形態では、出力メディアファイルは、さらに、新しい言語に従って動く人物の顔のランドマーク（例えば、人物の唇）の少なくとも一部を含む。

【0027】

現在の翻訳の取り組みはテキストからテキストへのソリューションに基づいているため、音声及び／又はビデオを含むコミュニケーションでは役に立たない。音声及び／又はビデオには、電話、ビデオ通話、音声ブックの翻訳、字幕の作成、ネイティブに見えるビデオの生成などが含まれるが、これらに限定されない。本発明は、合成メディア(つまり、生成ＡＩ、敵対的生成ネットワーク、ディープフェイクシステム、および元の形式からメディアを操作するように構成されたその他のシステムや方法を使用して作成されたメディア)を作成および使用して、トレーニングおよび推論(推論とは、ＡＩベースのシステムを使用して出力を作成することを指す専門用語であり、この場合は合成メディアである)中にテキスト、音声およびビデオ情報を組み合わせて、エンドツーエンドの翻訳システムを可能にする。

【0028】

本発明のシステムおよび方法は、独自の一連のステップを実行する独自のプロセッサおよびジェネレータを通じて、さまざまな音声特性（例えば、慣用句、皮肉、ジョーク、口調、音素など）を考慮できるより正確な翻訳を生成する。さらに、音声翻訳は、対応する音声信号（メルスペクトグラムおよび／または生の音声波形など）のデジタル表現を生成ＡＩに組み込むことにより、話者の声のアイデンティティ、トーン、イントネーション、感情などと一致する。さらに、このシステムは、プログレッシブGANを含む高解像度の生成ＡＩを通じて、話者の顔（少なくとも話者の唇）が生成された音声をネイティブに話しているように見えるようにビデオを生成／操作できる。

【0029】

図１に示されているように、本発明は一般に、入力ビデオ１０４、入力音声１０６を含むことができ、また任意で入力トランスクリプション１０８を含むことができる入力メディアファイル１０２を含む。また、入力言語１１０および出力言語１１２は翻訳器１１４に提供される。翻訳器１１４は、入力情報を使用して出力メディア１２２を作成する。出力メディア１２２は、出力ビデオ１１６、出力音声１１８、および／または出力言語に翻訳された言語を含む出力トランスクリプション１２０を含むとよい。

【0030】

入力メディア１０２は、本明細書に記載されるように翻訳機１１４を構成し得る様々なプリプロセッサまたはジェネレータのうちの１つまたは複数に提供される場合、コンピュータ可読フォーマットに変換および／または提供されるとよい。さまざまな入力のためのコンピュータ可読フォーマットの非限定的な例は、バイナリベクトルおよび文字列のベクトルを含む。バイナリベクトルは、１ホットベクトルおよびマルチクラスベクトルを含むがこれらに限定されない、当技術分野で知られている任意のものであるとよい。同様に、文字列のベクトルは、当技術分野で知られているものであれば何でもよい。いくつかの実施形態は、１つ以上の入力を国際音声アルファベット（ＩＰＡ）の文字列に変換する。後続の段落で説明するように、IPA 文字列を使用すると、異なる言語の同じ単語間の音声の区別に関連するエラーが軽減される。

【0031】

いくつかの実施形態では、ユーザは、入力言語１１０および／または出力言語１１２を識別する。いくつかの実施形態では、入力言語１１０および出力言語１１２は、本明細書に記載されるものと同様のコンピュータ可読フォーマットで示され、提供される。例えば、入力言語１１０および出力言語１１２は、単一の１状態がそれぞれの言語に対応するすべての可能な言語のサイズのバイナリベクトルの形式で提供することができる。いくつかの実施形態では、入力言語１１０は、音声認識ソフトウェアによって自動的に識別される。同様に、いくつかの実施形態は、入力トランスクリプション１０８を自動的に作成する音声テキスト変換（ＳＴＴ）システム／ソフトウェアを含む。

【0032】

以下でより詳細に説明するように、本発明のいくつかの実施形態は、翻訳前に入力情報を識別、抽出、および／または操作するための１つ以上のプロセッサ（「プリプロセッサ」とも呼ばれる）を含む。さらに、いくつかの実施形態は、様々な情報の合成生成を通じて翻訳を改善するように構成された複数のジェネレータから構成される翻訳機を含む。本発明のいくつかの実施形態は、翻訳の品質および／または出力メディアの品質を改善するように構成されたポストプロセッサをさらに含む。これらのさまざまなコンポーネントについては、後続のセクションで詳しく説明する。

【0033】

図２は、翻訳プロセス２００の広範な概要を示しており、図３～７の図に少なくとも部分的に対応する。図示されるように、翻訳プロセス２００の例示的な実施形態は、ステップ２０２において、まずデジタル入力メディアファイル１０２を受信または取得することを含む。入力メディアファイルは、当技術分野で知られている任意のシステムおよび方法を介して取得または提供されるとよい。

【0034】

前述したように、入力メディアファイル１０２は、ビデオ、音声、および／またはトランスクリプト情報を含むとよい。簡潔かつ明確にするために、以下の説明は、入力音声１０６を伴う入力ビデオ１０４を有する入力メディアファイル１０２を参照する。入力メディアファイルが単なる音声ファイルの場合、ビデオ翻訳に対応する手順は実行されません。さらに、入力メディアファイル１０２は複数または単一のデジタル入力ファイルとして提供することができるが、例示的な図は入力ビデオ１０４および入力音声１０６を別々の入力として示している。

【0035】

ここで図３を参照すると、いくつかの実施形態は、以下に説明するように、入力メディア１０２を前処理するステップを含む。入力メディア１０２は、ビデオプリプロセッサ１２４および／または音声プリプロセッサ１２６に提供されるとよい。いくつかの実施形態では、これらのプリプロセッサは、話者ダイアライゼーションプロセッサが入力音声１０６を正しく分割し、入力トランスクリプション生成器１２７がより正確な入力トランスクリプション１０８を生成する能力を向上させるように構成される。

【0036】

音声プリプロセッサ１２６は、話者ごとに音声コンテンツを別々の音声トラックに分割し、背景ノイズを除去またはクリーンアップし、音声品質データを向上させるプロセスを含むとよい。これらのプロセスは、本明細書に列挙したプロセスを実行できる任意の既知のシステムおよび方法を使用して実行することができる。また、いくつかの実施形態では、音声プリプロセッサ１２６は、当技術分野で知られているような音声認識ソフトウェアを使用して入力言語１１０を自動的に識別するように構成されている。

【0037】

ビデオプリプロセッサ１２４は、ビデオ内の人物（被写体）を識別し、追跡するためのプロセスを含むとよい。例えばビデオプリプロセッサ１２４は、例えば、８ｐｔの２Ｄランドマーク、６８ｐｔの２Ｄランドマーク、他の２Ｄ顔ランドマーク、他の３Ｄ顔ランドマークを使用する顔検出ソフトウェアを使用して、ビデオに描かれた各被写体を追跡する顔境界ボックスを作成することができる。

【0038】

いくつかの実施形態では、ビデオプリプロセッサ１２４は、例えば１３ｐｔの２Ｄ身体ランドマーク、他の２Ｄ身体ランドマーク、他の３Ｄ身体ランドマークなどを使用する身体追跡ソフトウェアを使用して、各被写体を追跡する身体境界ボックスを作成することができる。あらゆるタイプの境界ボックスまたはアイデンティティ追跡ソフトウェアを使用して、ビデオのフレーム全体で被写体を識別および追跡できる。いくつかの実施形態では、ビデオプリプロセッサ１２４は、ビデオ内の特定の音声セグメント中にどの話者が話しているのかを決定するために使用される唇の動きを識別および追跡するように構成されている。

【0039】

いくつかの実施形態では、ビデオプリプロセッサ１２４の出力は音声プリプロセッサ１２６に供給される。ビデオ情報を音声プリプロセッサ１２６に供給することにより、音声プリプロセッサ１２６は、音声だけでは区別することが難しい単語／現象（例えば、「Ｂ」対「Ｖ」の発音）をよりよく理解できるようになる。

【0040】

ここで図２～３を参照すると、入力メディアファイル１０２が取得された後、ステップ２０４で話者ダイアライゼーションが実行される。いくつかの実施形態では、ステップ２０４で、入力メディア１０２および入力言語１１０が話者ダイアリゼーションプロセッサ１２５に提供される。いくつかの実施形態では、入力音声１０６は、入力ビデオ１０４なしで話者ダイアライゼーションプロセッサ１２５に提供される。いくつかの実施形態は、元の入力音声１０６を、前処理された音声出力とともに音声プリプロセッサ１２６から話者ダイアライゼーションプロセッサ１２５に提供する。

【0041】

話者ダイアライゼーションプロセッサ１２５は、識別可能な話者に従って入力音声１０６を均一な音声セグメントに分割するように構成されている。最終的に、話者ダイアライゼーションプロセッサ１２５は、入力メディア１０２内の１人以上の話者を識別し、各音声文字列（音声セグメントとも呼ばれる）を適切な話者と関連付ける一連のステップを実行する。いくつかの実施形態では、話者ダイアライゼーションプロセッサ１２５からの出力は、入力音声１０６に対応する一連の音声セグメントを含み、各セグメントは話者識別子または話者の身元への参照を含んでいる。いくつかの実施形態では、話者ダイアライゼーションプロセッサ１２５は、音声内の各単語／音節／音素のタイムコード（例えば、各単語の開始時間と終了時間）を取り込み、誰が話しているのかを識別し、話された単語を識別し、話者の関連する特徴を特定するように構成されている。話者ダイアライゼーションプロセッサ１２５からの出力は、咳、くしゃみ、会話の一時停止、および話者によって生成される他の非言語音声セグメントまたは非言語ノイズの識別および関連するタイムコードをさらに含むことができる。他の話者ダイアライゼーション情報と同様に、このデータはシステム全体に供給される。話者ダイアライゼーションプロセッサ１２５は、特定の音声セグメントと話者を識別して関連付け、および／または上述の他の情報のいずれかを取り込むように構成された、当技術分野で知られている任意の話者ダイアライゼーションシステムであるとよい。

【0042】

話者ダイアライゼーションプロセッサ１２５のいくつかの実施形態は、入力ビデオ１０４に基づいて、特定の音声セグメントを話者に関連付けるようにさらに構成される。これは、各話者の顔、識別可能な特徴、および／または顔の動きを追跡することによって達成される。例えば、いくつかの実施形態は、顔の曲線分析を使用して、特定の音声セグメントについて話者の特徴を追跡、識別、および捕捉する。このような実施形態では、話者ダイアライゼーションプロセッサ１２５からの出力には、一連の音声セグメントに関連付けられた顔の曲線データがさらに含まれる。話者ダイアライゼーションからの出力は、必ずしもビデオ自体ではなく、それよりも、その中に含まれる、または関連付けられた関連付けを含むコンピュータ読み取り可能なデータである。

【0043】

顔の曲線分析に関連するデータには、顔が描かれている開始時間と終了時間、他の対象者と比較した個々の対象者のアイデンティティ、性別、画面上の時間、音声に基づく発話時間、および誰が話しているのかを識別するための唇同期分析を含むとよい。この情報の全てを、誰が話しているのか、またその識別可能な特徴が声の特徴にどのような影響を与えるのかを判断するために使用することができる。例えば、男性と女性の両方の対象者が同時に話しているビデオが動画表示されている場合、男性的な口調の認識は、その話者を男性として識別するのに役立つ。

【0044】

顔情報を各音声セグメントに関連付けることは、後続のセクションで説明するように、同期ビデオ１４６を生成するのにさらに役立つ。しかしながら、いくつかの入力メディア１０２は、入力ビデオ１０４を含まない。さらに、本発明のいくつかの実施形態は、翻訳された音声を入力ビデオ１０２にさらに同期することなく、翻訳された音声を出力する。これらの例では、話者ダイアライゼーションプロセッサ１２５は、音声セグメントを顔追跡データと関連付ける必要がない。

【0045】

話者ダイアリゼーションに続いて、ステップ２０６で出力が入力トランスクリプション生成器１２７に提供され、入力トランスクリプションを生成する。図３を参照すると、話者ダイアライゼーション後の音声の話者が識別された各セグメントは、入力トランスクリプション生成器１２７に提供され、音声セグメントをセグメント化された入力トランスクリプション１０８に変換する。入力トランスクリプション１０８は、以下に説明するデータを含む入力トランスクリプション１０８を生成するように構成された任意の既知のシステムまたは方法を使用して生成されるとよい。

【0046】

入力トランスクリプション１０８には、話された単語のみから、口の動き、音素、タイムスタンプ、および他のそのような説明に関する非常に詳細なデータまで、あらゆるものが含まれ得る。多くの場合、入力トランスクリプション１０８には、話されている言語、名前／固有名詞の識別、感情分析、単語および／または音節のタイムスタンプ／時間インデックス、および／または音声で話している個別の人物ごとのタイムスタンプを伴う音素が含まれる。

【0047】

また、いくつかの実施形態では、元の未処理の入力ビデオ１０４および／または入力音声１０６は、入力トランスクリプション生成器１２７に提供される。また、いくつかの実施形態では、ビデオプリプロセッサ１２４および／または音声プリプロセッサ１２６からの出力は、入力トランスクリプション生成器１２７に提供される。さらに、いくつかの実施形態は、入力言語１１０を入力トランスクリプション生成器１２７に提供する。

【0048】

いくつかの実施形態では、入力トランスクリプション１０８は、ユーザによって提供または準備される。そのような状況では、本発明は、入力トランスクリプション生成器１２７を含まないか、または単に入力トランスクリプション１０８を生成するステップをバイパスするかのいずれかである。いくつかの実施形態は、検討のためにユーザに入力トランスクリプション１０８を提示し、ユーザにトランスクリプションを修正する機能を提供する。ユーザは、入力を修正し、修正された入力を入力トランスクリプション生成器１２７に送信して、改善された出力を生成することができる。

【0049】

ここで図２および図４を参照すると、いくつかの実施形態は、ステップ２０８で入力音声１０６および入力トランスクリプション１０８からメタ情報を識別することをさらに含む。図４に示すように、いくつかの実施形態は、入力音声１０６、入力トランスクリプション１０８、および入力言語１１０をメタ情報プロセッサ１３０に送信する。いくつかの実施形態では、入力音声１０６および／または入力ビデオ１０４には、プリプロセッサ１２４および／または１２６からメタ情報プロセッサ１３０への出力が提供される。同様に、いくつかの実施形態は、元の入力トランスクリプション１０８および／またはテキストプリプロセッサ１２８を介して処理された後の入力トランスクリプション１０８を提供する。

【0050】

いくつかの実施形態では、テキストプリプロセッサ１２８は、テキストを音素分析に変換し、および／または感情／感情分析を実行するように構成される。これらの分析は、音声セグメントに対応するデータおよび関連する話者ダイアライゼーションデータを含む入力トランスクリプション１０８からそのようなデータを抽出するように構成された任意の既知のシステムおよび方法を使用して実行されるとよい。

【0051】

メタ情報プロセッサ１３０は、各音声セグメントを有する様々なメタ情報を識別し、関連付けるように構成されとよい。メタ情報の非限定的な例としては、感情、ストレス、ペーシング／韻律／リズム、音素分析、口調、年齢、性別、人種を含む。いくつかの実施形態では、メタ情報プロセッサ１３０は、少なくとも感情データおよび各音声セグメントを有するペーシングデータを識別し、関連付ける。

【0052】

感情データには、検出可能なあらゆる感情が含まれる。感情の非限定的な例は、幸せ、悲しみ、怒り、怖い、混乱、興奮、疲れ、皮肉、嫌悪、恐怖、および驚きを含む。さらに、感情データを、感情の所定のリストに編集することができ、類似性を判断するために、感情を、１ホットまたはマルチクラスベクトル、ニューラル ネットワークの最後から２番目の層またはシャム ネットワークの出力などのコンピュータ可読フォーマットを使用して、１つ以上のプロセッサおよびジェネレータに通信できる。同じアプローチを、他のさまざまなタイプのメタ情報を識別して伝達するために使用できる。

【0053】

ペーシング／韻律／リズム（以下「ペーシング」と呼びます）は、各音節、単語、その他の音素、非言語音声（咳、笑い、あえぎなど）または音声の一時停止に関連付けられた測定可能な時間であり、0.05 秒の分解能で表される。ペーシング情報が既知であり、データを通して流れる場合、ジェネレータは同じペースに一致する、またはほぼ一致する出力を生成できる。その結果、翻訳されたテキスト、音声、および／またはビデオは、入力された音声、ビデオ、および／またはテキストと同様の、または一致するペースを持つように生成される。

【0054】

様々なメタ情報を、上述の１つ以上のメタ情報を識別し生成するように構成された任意の既知のシステムおよび方法を使用して識別および生成することができる。いくつかの実施形態では、各音声セグメントの感情データおよびペーシングデータを識別および生成するように構成された任意の既知のシステムおよび方法を使用して、様々なメタ情報を識別および生成することができる。

【0055】

メタ情報プロセッサ１３０は、各音声セグメントのメタ情報を識別して取得し、メタ情報を各音声セグメントに関連付ける。この情報の組み合わせは、入力メタ情報１３１として捕捉される。この情報を捕捉して提供することは、発話中の独自性が捕捉される。この情報を使用して、ＡＩジェネレータを特徴についてトレーニングし、感情が話し方にどのような影響を与えるかを知ることができる。トレーニング後、ＡＩジェネレータは、ステートメントが感情を含むときを認識し、特定された感情を含む合成音声を生成できる。適切にトレーニングされた場合、メタ情報プロセッサは、例えば、怒りや異なるアクセント、感情、ペーシングなどのさまざまなレベルの音声などの複数のラベルが付いた出力を生成できる。

【0056】

いくつかの実施形態では、メタ情報プロセッサ１３０は、メタ情報および話者ダイアライゼーションデータが各音声セグメントに関連付けられている入力メタ情報１３１を生成する。従って、入力メタ情報１３１は、トランスクリプションおよびメタ翻訳ジェネレータ１３２によって使用可能な形式の話者ダイアライゼーションデータに関するペーシングおよびタイムコードを含む。いくつかの実施形態では、入力メタ情報１３１は、音素に変換された話者ダイアライゼーションデータを含み、これにより、システムは、その後、音素の類似性に基づいて、入力と一致するように翻訳された出力を調整できるようになる。

【0057】

いくつかの実施形態では、入力メタ情報１３１は、ユーザによって提供または準備される。そのような状況では、本発明は、メタ情報プロセッサ１３０を含まないか、または入力メタ情報１３１を生成するステップを単にバイパスするかのいずれかである。いくつかの実施形態は、レビューのために入力メタ情報１３１をユーザに提示し、入力メタ情報１３１を変更する機能をユーザに提供する。いくつかの実施形態は、変更のために入力をユーザに提示するステップを含み、ユーザは入力を変更し、その後、変更された入力をＡＩメタ情報プロセッサ１３０に送信して、改善された出力を生成することができる。

【0058】

ステップ２１０で、本発明は、入力トランスクリプション１０８を入力言語１１０から出力言語１１２に翻訳する。図５に例示されるように、様々な入力がトランスクリプションおよびメタ翻訳ジェネレータ１３２に提供され、入力されたトランスクリプションを、翻訳されたトランスクリプション１３４および翻訳されたメタ情報１３５の形式で出力言語１１２に翻訳する。

【0059】

いくつかの実施形態では、入力は、入力トランスクリプション１０８、テキストプリプロセッサ１２８からの出力、および入力メタ情報１３１のみを含む。また、いくつかの実施形態では、入力は、入力ビデオ１０４、音声入力１０６、ビデオプリプロセッサ１２４からの出力、および／または音声プリプロセッサ１２６からの出力を含む。さらに、入力言語１１０および出力言語１１２は、トランスクリプションおよびメタ翻訳ジェネレータ１３２に提供される。いくつかの実施形態は、入力トランスクリプション１０８（未処理または前処理された）および入力言語１１０並びに出力言語１１２をトランスクリプションおよびメタ翻訳ジェネレータ１３２に送信するだけである。いくつかの実施形態は、翻訳されたトランスクリプション１３４を生成するために、少なくとも入力トランスクリプション１０８（未処理または前処理された）並びに入力言語１１０および出力言語１１２をトランスクリプションおよびメタ翻訳ジェネレータ１３２に送信する。

【0060】

入力メタ情報１３１を含めることは、トランスクリプションおよびメタ翻訳ジェネレータ１３２が、入力メタ情報１３１を通じて識別される様々な音声特徴を有する翻訳されたトランスクリプション１３４および翻訳されたメタ情報１３５を生成することができる。このような特徴は、皮肉、ユーモア、音素、音素に一致するペーシングなどを含むが、これらに限定されない。また、入力音声１０６および／または音声プリプロセッサ１２６の出力をトランスクリプションおよびメタ翻訳ジェネレータ１３２に供給することは、音声内に含まれる皮肉、ユーモア、イディオム、およびその他の情報をトランスクリプションが不変にさせる。また、入力ビデオ１０４および／またはビデオプリプロセッサ１２４からのビデオ情報は、トランスクリプションおよびメタ翻訳ジェネレータ１３２への入力として提供されてもよく、これは、他の感情情報を含むことができ、翻訳されたトランスクリプション１３４および翻訳されたメタ情報１３５をさらに改善することができる。

【0061】

いくつかの入力メディア１０２では、入力音声１０６で複数の言語が話される場合がある（例えば、英語とスペイン語）。この情報は多くの場合、入力トランスクリプション１０８内に含まれる。複数の入力言語１１０を翻訳する場合、トランスクリプションおよびメタ翻訳ジェネレータ１３２には、入力言語ごと（例えば、英語からドイツ語およびスペイン語からドイツ語、または英語からドイツ語およびスペイン語からフランス語）に特定の出力言語１１２が提供される。

【0062】

いくつかの実施形態では、翻訳されたトランスクリプション１３４および／または翻訳されたメタ情報１３５は、ユーザによって提供または準備される。そのような状況では、本発明は、トランスクリプションおよびメタ翻訳ジェネレータ１３２を含まないか、あるいは、翻訳されたトランスクリプション１３４および／または翻訳されたメタ情報１３５を生成するステップを単にバイパスするかのいずれかである。いくつかの実施形態は、翻訳されたトランスクリプション１３４および／または翻訳されたメタ情報１３５をレビューのためにユーザに提示し、翻訳されたトランスクリプション１３４および／または翻訳されたメタ情報１３５を修正する機能をユーザに提供する。いくつかの実施形態は、変更のために入力をユーザに提示するステップを含み、ユーザは入力を変更し、その後、変更された入力をトランスクリプションおよびメタ翻訳ジェネレータ１３２に送信して、改善された出力を生成することができる。

【0063】

図２および図６に詳述されているように、翻訳されたトランスクリプション１３４および翻訳されたメタ情報１３５が取得されると、本発明は、音声翻訳ジェネレータ１３８を使用して、入力音声１０６を入力言語１１０から出力言語１１２に翻訳し、それによって、ステップ２１４で翻訳された音声１４０を生成することができる。いくつかの実施形態では、音声翻訳ジェネレータ１３８の入力は、出力言語１１２および翻訳されたトランスクリプション１３４、および／または翻訳されたテキストプリプロセッサ１３６からの出力を含む。

【0064】

翻訳テキストプリプロセッサ１３６は、テキストを音素分析に変換し、および／または感情分析またはセンチメント分析を実行するように構成されている。これらの分析は、音声セグメントに対応する翻訳データおよび関連する話者ダイアリゼーションデータを含む、翻訳されたトランスクリプション１３４からそのようなデータを抽出するように構成された任意の既知のシステムおよび方法を使用して実行することができる。従って、翻訳されたテキストプリプロセッサ１３６からの出力は、これらの分析からのデータがコンピュータ可読フォーマットで含み、出力データを音声翻訳ジェネレータ１３８に提供することができる。

【0065】

いくつかの実施形態は、音声翻訳ジェネレータ１３８への入力として、入力メタ情報１３１および／または翻訳されたメタ情報１３５をさらに含む。いくつかの実施形態では、音声翻訳ジェネレータ１３８のための入力は、出力言語１１２および入力音声１０６および／または音声プリプロセッサ１２６からの出力を含む。

【0066】

図６にさらに例示されるように、音声翻訳ジェネレータ１３８への入力は、入力言語１１０、出力言語１１２、入力メディア１０２、ビデオプリプロセッサ１２４および音声プリプロセッサ１２６からの出力、入力トランスクリプション１０８、テキストプリプロセッサ１２８からの出力、入力メタ情報１３１、翻訳されたトランスクリプション１３４、翻訳されたテキストプリプロセッサ１３６からの出力、および／または翻訳されたメタ情報１３５を含むことができる。

【0067】

いくつかの実施形態は、翻訳された音声を生成するために、翻訳されたトランスクリプション１３４、翻訳されたメタ情報１３５、および出力言語１１２を音声翻訳ジェネレータ１３８に送信するだけである。いくつかの実施形態では、出力言語１１２は、翻訳されたトランスクリプション１３４内に含まれるか、翻訳されたトランスクリプション１３４から決定されるとよい。いくつかの実施形態は、翻訳された音声１４０を生成するために、少なくとも翻訳されたトランスクリプション１３４、翻訳されたメタ情報１３５、および出力言語１１２を音声翻訳ジェネレータ１３８に送信する。

【0068】

前述したように、いくつかの実施形態は、ビデオプリプロセッサ１２４および／または音声プリプロセッサ１２６からの出力を送信することも含む。ビデオおよび／または音声情報を追加することは、音声の特徴、感情、話者のアイデンティティなどを組み込むことで翻訳結果を向上させる。

【0069】

いくつかの実施形態は、翻訳された音声１４０を生成するために、入力音声１０６（前処理済みおよび／または未処理）および出力言語１１２のみを音声翻訳ジェネレータ１３８に送信する。いくつかの実施形態は、翻訳された音声１４０を生成するために、少なくとも入力音声１０６（前処理済みおよび／または未処理）および出力言語１１２を音声翻訳ジェネレータ１３８に送信する。入力音声１０６は、入力時に分割されて、音声を管理可能な分割領域（例えば、１５秒未満（＜１５秒）または３０秒未満（＜３０秒））に削減し、および／または自動調整を通じて最終結果を改善することができる。

【0070】

翻訳されたトランスクリプション１３４、翻訳されたメタ情報１３５、および出力言語１１２が音声翻訳ジェネレータ１３８に送られる主な入力または唯一の入力である場合、音声翻訳ジェネレータ１３８は、汎用のサードパーティクラウドＴＴＳシステム、カスタムクラウドＴＴＳシステム、サードパーティのオンデバイスＴＴＳシステム、またはカスタムオンデバイスＴＴＳシステムを含むが、これらに限定されず、テキストスピーチ（ＴＴＳ）ジェネレータを含んでもよい。さらに、音声翻訳ジェネレータ１３８は、前処理音声から得られる、性別、年齢、感情特性などの音声特性を識別し、組み込むように構成されるとよい。従って、結果として得られる翻訳された音声１４０は、ＴＴＳで通常提供されるものよりもはるかに多くの情報を含む。例えば、翻訳された音声１４０は、話された言葉、感情、ペース、ポーズ、トーン、韻律、強さ／トーン、ストレス、声の同一性などと一致する。その結果、翻訳された音声は元の人の声では伝わらないが、ジェネレータは人の声に非常によく一致する。音声が入力メディア１０２と同じ話者に対応する訓練データを使用してジェネレータが訓練される場合、ジェネレータは、およそ９９％の音声一致を有する合成翻訳音声を生成することができる。同じ話者からの音声でトレーニングされていない場合、ジェネレータは、約 80% 以上の音声一致を持つ合成翻訳音声を生成できる。

【0071】

いくつかの実施形態は、翻訳された音声出力１４０を検討のためにユーザに提示し、翻訳された音声出力１４０を修正する機能をユーザに提供する。ユーザは、入力を修正でき、その後、修正された入力を音声翻訳ジェネレータ１３８に送信して、改善された出力を生成する。

【0072】

さらに、いくつかの実施形態は、最終的な翻訳された音声出力１４０を改善するように構成されたポストプロセッサを含む。ポストプロセッサは、翻訳された音声１４０を元の音声背景音、効果音などを含む単一の音声ストリームにつなぎ戻すように構成されている。いくつかの実施形態では、ポストプロセッサは、元の音声サウンドパラメータ（例えば、プロの音声混合からのもの）と、元の音声入力１０６の監視されていない暗黙の特性とを自動的に照合する。いくつかの実施形態では、ポストプロセッサは、話者ダイアライゼーションなどの音声前処理からの情報を直接再組み込むように構成されている。

【0073】

翻訳プロセスのこの時点で、翻訳された音声１４０をエンドユーザに提示または提供することができる。しかしながら、いくつかの実施形態は、翻訳された音声１４０と一致するように話者の顔の動きを同期させるステップをさらに含む。図２および図７のステップ２１６は、この追加のプロセスに対応する詳細を提供する。いくつかの実施形態では、入力ビデオ１０４、ビデオプリプロセッサ１２４からの出力、および翻訳された音声１４０は、同期ビデオ１４６を出力するビデオ同期ジェネレータ１４４に提供される。いくつかの実施形態は、翻訳された音声１４０、ビデオプリプロセッサ１２４からの出力、および入力ビデオ１０４のみをビデオ同期ジェネレータ１４４に送信する。

【0074】

いくつかの実施形態は、少なくとも翻訳された音声１４０、ビデオプリプロセッサ１２４からの出力、および入力ビデオ１０４をビデオ同期ジェネレータ１４４に送信する。図７に例示されるように、いくつかの実施形態は、入力言語１１０、ビデオプリプロセッサ１２４からの出力、入力音声１０６、音声プリプロセッサ１２６からの出力、入力トランスクリプション１０８、テキストプリプロセッサ１２８からの出力、入力メタ情報１３１、翻訳されたトランスクリプション１３４、翻訳されたテキストプリプロセッサ１３６からの出力、翻訳されたメタ情報１３５、および／または翻訳された音声プリプロセッサ１４２からビデオ同期ジェネレータ１４４への出力をさらに提供する。

【0075】

提供された情報を使用して、ビデオ同期ジェネレータ１４４は、翻訳された音声１４０が入力ビデオ１０４にダビングされ、話者の顔の動きが翻訳された音声１４０と一致する同期ビデオ１４６を生成する。より具体的には、ビデオ同期ジェネレータ１４４は、翻訳されたビデオを作成し、境界ボックスおよび／または顔のランドマーク、口／唇のランドマークなどに基づいて翻訳されたビデオを元のビデオに再結合して、話者の顔の動きが翻訳された音声１４０と確実に一致するようにする。

【0076】

いくつかの実施形態は、同期ビデオ１４６をレビューのためにユーザに提示し、同期ビデオ１４６を変更する機能をユーザに提供する。いくつかの実施形態では、ユーザは入力を変更し、その後、変更された入力を送信して、改善された出力を生成することができる。

【0077】

いくつかの実施形態では、ビデオ同期生成器１４４は、対象者の唇と合わせるためのオプティカルフローネットワーク／オプティカルフローロスを含む。いくつかの実施形態では、ビデオは、別個の顔、シーンカットなどを考慮して、入力時に分割されてもよい。

【0078】

図８に例示されるように、いくつかの実施形態は、様々なデータを同期ビデオ１４６に再統合するように構成された後処理ステップをさらに含む。いくつかの実施形態は、これらのステップを実行するように構成されたビデオポストプロセッサ１４８を含む。後処理後、出力ビデオ１５０をユーザに提供することができる。

【0079】

いくつかの実施形態では、ビデオポストプロセッサ１４８は、入力ビデオ１０４、翻訳トランスクリプション１３４、翻訳された音声１４０、および同期ビデオ１４６を入力として受信する。ビデオポストプロセッサ１４８は、これらの入力を使用して、元のビデオの光学パラメータ（例えば、プロのビデオミキシング、ビデオカラーリングなどからの）および元のビデオ入力の教師なしの暗黙の特性を自動的に照合する。

【0080】

本発明のいくつかの実施形態は、ＧＡＮｓ／ＭＬ／ＡＩ（総称して「ＡＩ」と呼ぶ）を使用して、上述の翻訳プロセスの出力および効率を改善する。様々なＡＩは、教師あり、教師なし、および/または半教師ありの方法でトレーニングされるとよい。そして、結果として得られるトレーニングされたＡＩプロセッサとジェネレータを使用して、より効率的な方法で大幅に改善された翻訳を生成できる。

【0081】

一般に、ＡＩを採用する実施形態は、ＡＩシステムの意図された機能に基づいて２つのタイプのＡＩを有する。一般に、これらのＡＩシステムを前処理ＡＩと生成ＡＩに分類できる。ＡＩプロセッサ／プリプロセッサは、情報の変換、抽出、識別、編集のようなタスクをより効果的かつ効率的に実行するように設計されたシステムである。これに対し、ＡＩジェネレータは、操作または変換されたメディアなどの合成情報を生成するように構成されたシステムである。

【0082】

以下のシステムは、前処理ＡＩによって置き換えられるとよい。ビデオプリプロセッサ１２４、音声プリプロセッサ１２６、話者ダイアライゼーションプロセッサ１２５、テキストプリプロセッサ１２８、翻訳テキストプリプロセッサ１３６、翻訳された音声プリプロセッサ１４２、およびメタ情報プロセッサ１３０。同様に、以下のジェネレータは、生成ＡＩによって置き換えられるとよい。入力トランスクリプションジェネレータ１２７、トランスクリプションおよびメタ翻訳ジェネレータ１３２、翻訳テキストプリプロセッサ１３６、音声翻訳ジェネレータ１３８、翻訳された音声プリプロセッサ１４２、およびビデオ同期ジェネレータ１４４。さまざまな前処理ＡＩと生成ＡＩのそれぞれは、以下で個別に詳しく説明される。

【0083】

ビデオプリプロセッサ
本発明のいくつかの実施形態では、ビデオプリプロセッサ１２４は前処理ＡＩである。ビデオプリプロセッサ１２４は、識別および追跡システムおよび方法を使用してビデオ内の被写体を識別および追跡するためのプロセス（前のセクションで特定したプロセスなど）を含むとよい。これらのシステムおよび方法は、当技術分野で知られている任意のＡＩ処理システムであってよい。例えば、ビデオプリプロセッサ１２４は、顔ランドマーク分析、顔追跡アルゴリズム、顔トリミングおよび位置合わせアルゴリズム、シーン識別、ならびに復元および超解像度を含むとよい。

【0084】

いくつかの実施形態では、ビデオプリプロセッサ１２４は、唇の動きを識別し追跡するように構成されたＡＩを含む。唇の動きを追跡することで、ＡＩはビデオ内の特定の音声セグメント中にどの話者が話しているのかを判断できる。唇の動きを追跡するために使用されるシステムおよび方法は、当技術分野で知られている任意のＡＩ処理システムであるとよく、顔のランドマーク分析、顔追跡アルゴリズム、顔のトリミングおよび位置合わせアルゴリズム、分類、セグメンテーション、および唇からテキストへのアルゴリズムを含むが、これらに限定されない。

【0085】

いくつかの実施形態では、ビデオプリプロセッサ１２４は、入力ビデオ１０４および／または入力ビデオ１０４のコンピュータ可読表現を受信するように構成される。同様に、ビデオプリプロセッサ１２４はコンピュータ可読データを出力する。いくつかの実施形態では、コンピュータ可読データは、バイナリベクトルおよび／または文字列のベクトルで提供される。バイナリベクトルは、当技術分野で知られている任意のものであるとよく、１ホットベクトルおよびマルチクラスベクトルを含むが、これらに限定されない。同様に、文字列のベクトルは、当技術分野で知られているものであればいかなるものでもよい。いくつかの実施形態は、ＩＰＡに基づく文字列を使用する。ＩＰＡ文字列を使用することは、異なる言語の同じ単語間の音声の区別に関連するエラーを軽減する。

【0086】

いくつかの実施形態は、ビデオプリプロセッサＡＩの出力を、レビューおよび潜在的な修正のためにユーザに提示する。ビデオ プリプロセッサＡＩがトレーニングされていても、ユーザによって出力が改善される場合があるとよい。従って、いくつかの実施形態は、変更のためにユーザに出力を提示するステップを含む。

【0087】

音声プリプロセッサ
本発明のいくつかの実施形態では、音声プリプロセッサ１２６は前処理ＡＩである。ＡＩ音声プリプロセッサ１２６は、話者ごとに音声コンテンツを分割し、背景雑音を除去またはクリーンアップし、音声品質データを向上させるためのプロセスを含むとよい。これらのプロセスは、本明細書に列挙したプロセスを実行できる任意の既知のＡＩプリプロセッサを使用して実行されるとよい。例えば、ＡＩ音声プリプロセッサ１２６は、音声源分離、ノイズ削減、音声復元、および超解像度を含むとよい。

【0088】

ＡＩビデオプリプロセッサ１２４と同様に、ＡＩ音声プリプロセッサ１２６は、入力音声１０６および／または入力音声１０６のコンピュータ可読表現を受信するように構成されている。同様に、ＡＩ音声プリプロセッサ１２６は、本明細書に記載されているようなコンピュータ可読データを出力する。いくつかの実施形態は、ＡＩ音声プリプロセッサ１２６の出力を、レビューおよび潜在的な修正のためにユーザに提示する。ＡＩ音声プリプロセッサ１２６がトレーニングされた場合でも、出力がユーザによって改善される可能性がある場合があってもよい。従って、いくつかの実施形態は、変更のためにユーザに出力を提示するステップを含む。

【0089】

スピーカーダイアライゼーションプロセッサ
本発明のいくつかの実施形態では、話者ダイアライゼーション（ＳＤ）プロセッサ１２５は前処理ＡＩである。ＡＩ ＳＤプロセッサ１２５は、識別可能な話者に従って入力音声１０６を均一な音声セグメントに分割するためのプロセスを含むとよい。ＡＩ ＳＤプロセッサ１２５は、話者ダイアライゼーションを実行するための当業者に知られている任意のシステムおよび方法であるとよい。最終的に、ＡＩ ＳＤプロセッサ１２５は、入力メディア１０２内の１人以上の話者を識別し、各文字列または音声セグメントを適切な話者と関連付ける一連のステップを実行する。いくつかの実施形態では、ＡＩ ＳＤプロセッサ１２５からの出力は、話者識別子または話者の身元への参照を含んでいる各セグメントを有する入力音声１０６に対応する一連の音声セグメントを含む。いくつかの実施形態では、ＡＩ ＳＤプロセッサ１２５は、音声内の各単語のタイムコード、誰が話しているのか、話者が何を言っているか、各話者が話しているとき、話者の身元、話された単語、および話者の関連する特徴を捉えるようにさらに構成されている。さらに、ＡＩ ＳＤプロセッサ１２５は、咳、くしゃみ、発話中の一時停止、および話者によって生成される他の非言語音声セグメントまたは非言語ノイズを識別することができる。他のSD情報と同様に、このデータはシステム全体に供給される。

【0090】

さらに、ＡＩ ＳＤプロセッサ１２５のいくつかの実施形態は、入力ビデオ１０４に基づいて、特定の音声セグメントを話者と関連付けるように構成される。これは、各話者の顔、識別可能な特徴、および／または顔の動きを追跡することによって達成される。例えば、いくつかの実施形態は、顔の軌跡分析を使用して、特定の音声セグメントについて話者の特徴を追跡、識別、および捕捉する。さらに、このような実施形態では、ＡＩ ＳＤプロセッサ１２５からの出力は、一連の音声セグメントに関連付けられた顔の軌跡データを含む。話者ダイアライゼーションからの出力は、必ずしもビデオ自体である必要はなく、その中に含まれる、または関連付けられた関連付けを含むコンピュータ読み取り可能なデータであるとよい。

【0091】

顔の軌跡分析に関連するデータは、顔が描かれている開始時間と終了時間、他の対象者と比較した個々の対象者のアイデンティティ、性別、画面上の時間、音声に基づく発話時間、および誰が話しているのかを識別するための唇同期分析を含むとよい。この情報はすべてを、誰が話しているのか、またその識別可能な特徴がその声の特徴にどのような影響を与えるのかを判断するために使用できる。

【0092】

ＡＩ ＳＤプロセッサ１２５は、特定の音声セグメントに、話者を識別し、関連付けるように構成された、当技術分野で知られている任意のＡＩ話者ダイアライゼーションシステムであってよい。例えば、ＡＩ ＳＤプリプロセッサ１２５は、ＣＮＮｓ、ＲＮＮｓ、ＬＳＴＭｓ、ＧＮＮｓ、Ｔｒａｎｓｆｏｒｍｅｒｓ、ＧＡＮｓ、またはその他のＭＬアーキテクチャに基づく、ＡＷＳ、Ｇｏｏｇｌｅ、ＩＢＭなど、又は、音声活動検出、音声分割、話者はめ込み、セグメントクラスタリング、アフィニティマトリックス、ＭＡＰエンコーディングによって提供される第三者のＳＤツールであってもよい。

【0093】

ＡＩ ＳＤプリプロセッサ１２５は、本明細書に記載されているようなコンピュータ可読フォーマットで入力メディア１０２および入力言語１１０を受信するように構成されている。いくつかの実施形態では、入力音声１０６は、入力ビデオ１０４なしでＡＩ ＳＤプロセッサ１２５に提供される。いくつかの実施形態では、入力ビデオ１０４および／または入力音声１０６がＡＩ ＳＤプロセッサ１２５に提供される。いくつかの実施形態は、元の入力音声１０６を、前処理された音声出力とともに音声プリプロセッサ１２６からＡＩ ＳＤプロセッサ１２５に提供する。

【0094】

前述のＡＩプリプロセッサと同様に、ＡＩ ＳＤプリプロセッサ１２５は、本明細書で説明するようなコンピュータ可読データを出力する。より具体的には、ＡＩ ＳＤプリプロセッサ１２５は、各音声セグメントが話者識別情報を含むデータを出力する。

【0095】

いくつかの実施形態は、ＡＩレビューおよび潜在的に修正を行うためにＳＤプリプロセッサ１２５の出力をユーザに提示する。ＡＩ ＳＤプリプロセッサ１２５ がトレーニングされている場合でも、出力をユーザによって改善できる場合があるとよい。従って、いくつかの実施形態は、変更のために出力をユーザに提示するステップを含む。

【0096】

テキストプリプロセッサ
本発明のいくつかの実施形態では、テキストプリプロセッサ１２８は前処理ＡＩである。ＡＩテキストプリプロセッサ１２８は、入力トランスクリプション１０８などのテキスト内の音素を検出および分析するためのプロセスを含むとよい。ＡＩテキストプリプロセッサ１２８は、テキスト内の感情／センチメント、品詞、固有名詞、および慣用句を検出および分析するためのプロセスをさらに含むとよい。これらのプロセスは、本明細書に列挙したプロセスを実行できる任意の既知のＡＩプリプロセッサを使用して実行されるとよい。例えば、ＡＩテキストプリプロセッサ１２８は、辞書検索またはトランスフォーマモデルまたはＧＡＮモデルを通じて生成されたＩＰＡまたは同様のシステムに基づく音声分析、感情分析、品詞分析、固有名詞分析、および熟語検出アルゴリズムを含むとよい。

【0097】

ＡＩテキストプリプロセッサ１２８は、入力トランスクリプション１０８および／または入力トランスクリプション１０８を備えたコンピュータ可読表現もしくは入力トランスクリプション１０８に関連付けられたデータを受信するように構成されている。いくつかの実施形態では、これらの入力は、ＳＤプロセッサ１２５および入力トランスクリプション生成器１２７のために、各音声セグメントに対応するＳＤデータを含む。ＡＩテキストプリプロセッサ１２８は、音素および／または感情データを、本明細書で説明するタイプなどのコンピュータ可読データとして出力する。また、このデータは、各音声セグメントに対応するSDデータと関連付けて出力される。

【0098】

いくつかの実施形態は、ＡＩテキストプリプロセッサ１２８の出力を、検討および潜在的な修正のためにユーザに提示する。ＡＩテキストプリプロセッサ１２８がトレーニングされている場合でも、ユーザによって出力を改善できる場合があるとよい。従って、いくつかの実施形態は、変更のために出力をユーザに提示するステップを含む。

【0099】

メタ情報プロセッサ
本発明のいくつかの実施形態では、メタ情報プロセッサ１３０はＡＩジェネレータである。ＡＩメタ情報プロセッサ１３０は、各音声セグメントに関連付けられた様々なメタ情報を識別し、生成するように構成されている。メタ情報の非限定的な例は、感情、ストレス、ペーシング／韻律／リズム、音素分析、年齢、性別、人種を含む。いくつかの実施形態では、ＡＩメタ情報プロセッサ１３０は、各音声セグメント内の単語の少なくとも感情データを識別し、生成する。

【0100】

ＡＩメタ情報プロセッサ１３０は、上述のメタ情報のうちの１つ以上を識別し、生成するように構成された任意のＡＩプロセッサであってもよい。ＡＩプロセッサの非限定的な例は、顔の感情検出、顔年齢検出、顔性別検出、顔類似ベクトル生成、口唇韻律分析、音声感情検出、音声年齢検出、音声性別検出、音声韻律分析、音声強度分析、音声ピッチ検出、音声活動検出、テキスト感情検出、及びテキストの意味検出を実行するように構成されたＣＮＮｓ、ＲＮＮｓ、ＬＳＴＭｓを含む。

【0101】

さらに、いくつかの実施形態では、ＡＩメタ情報プロセッサ１３０は、入力音声１０６および入力トランスクリプション１０８を受信する。いくつかの実施形態は、ＡＩメタ情報プロセッサ１３０への入力として、入力言語１１０、入力ビデオ１０４、出力プリプロセッサ１２４、プリプロセッサ１２６からの出力、および／またはテキストプリプロセッサ１２８からの出力を含む。

【0102】

いくつかの実施形態では、ＡＩメタ情報プロセッサ１３０は、メタ情報およびＳＤデータが各音声セグメントに関連付けられた合成入力メタ情報１３１を生成する。従って、入力メタ情報１３１は、トランスクリプションおよびメタ翻訳ジェネレータ１３２によって使用可能な形式のＳＤデータ上のペーシングおよびタイムコードを含む。いくつかの実施形態では、入力メタ情報１３１は、音素に変換されたＳＤデータを含み、これにより、システムは、その後、音素の類似性に基づいて、入力と一致するように翻訳された出力を調整できるようになる。さらに、いくつかの実施形態は、ＳＤデータに関連付けられた音声／ビデオ分析からの感情データを含む。

【0103】

ＡＩメタ情報プロセッサ１３０からの出力メタ情報は、他の様々なジェネレータを直接的または間接的に通過する。その結果、生成された翻訳されたテキスト、音声、および／またはビデオは、入力された音声、ビデオ、および／またはテキストと同様の、または一致するペースを持つように生成される。

【0104】

ＡＩメタ情報プロセッサ１３０のいくつかの実施形態は、各音声セグメントのメタ情報を識別および取得し、各音声セグメントに関連付けられたメタ情報を生成するようにトレーニングされる。ＡＩメタ情報プロセッサ１３０は、特定のタイプのメタ情報に対応する各層を備えた複数のネットワーク層から構成されるとよい。

【0105】

さらに、感情データを認識して生成するためにＡＩメタ情報プロセッサ１３０をトレーニングすることは、様々な感情を捕捉して翻訳に挿入できるため、システム全体が改善される。直接翻訳は、様々な感情が認識されず、伝わらないため、音声の解釈に大きな影響を与える可能性がある。さらに、感情データを捕捉しないと、音声翻訳はビデオで描写される目に見える感情と同期しません。これに対し、訓練されたＡＩメタ情報プロセッサ１３０は、後続のプリプロセッサおよびジェネレータを介して伝達される感情データを認識および生成することができる。

【0106】

ＡＩメタ情報プロセッサ１３０は訓練されているため、発話中の特徴に対応するメタ情報を生成することができる。例えば、ＡＩメタ情報プロセッサ１３０は、感情が音声にどのような影響を与えるかを知るための特性について訓練することができる。トレーニング後、ＡＩメタ情報プロセッサ１３０は、ステートメントに感情が含まれる時期を認識し、対応するメタデータを生成することができる。後続の ＡＩジェネレータは、特定された感情を含む合成音声を生成できる。適切にトレーニングされた場合、メタ情報プロセッサは、複数のラベルが付いた出力、例えば、様々なレベルの怒りや異なるアクセント、感情、ペースなどを備えた音声を生成できる。

【0107】

いくつかの実施形態では、ＡＩメタ情報プロセッサ１３０は、結果を改善するために、音声および／または前処理されたビデオ情報（例えば、切り取られた顔、口の動きの検出など）に基づいてトレーニングされる。音声情報はイントネーションと意味を伝える。従って、訓練されたＡＩメタ情報プロセッサ１３０（教師なしまたは半教師ありの方法で）は、文字通りの意味を超えてトランスクリプション結果を改善する。音声を供給することは、音声に含まれる皮肉、ユーモア、慣用句、その他の情報に対してトランスクリプションを不変にさせる。

【0108】

翻訳されたテキストプリプロセッサ
本発明のいくつかの実施形態では、翻訳されたテキストプリプロセッサ１３６は前処理ＡＩである。ＡＩ翻訳テキストプリプロセッサ１３６は、翻訳されたトランスクリプション１３４などのテキスト内の音素を検出および分析するためのプロセスを含むとよい。さらに、ＡＩ翻訳テキストプリプロセッサ１３６は、テキスト、品詞、固有名詞、および慣用句内の感情／情緒を検出および分析するためのプロセスを含むとよい。これらのプロセスは、本明細書に列挙したプロセスを実行できる任意の既知のＡＩプリプロセッサを使用して実行されるとよい。例えば、ＡＩ翻訳テキストプリプロセッサ１３６は、辞書検索またはトランスフォーマモデルまたはＧＡＮモデルを通じて生成されたＩＰＡまたは同様のシステムに基づく音声分析、感情分析、品詞分析、固有名詞分析、および慣用句検出アルゴリズムを含むとよい。

【0109】

ＡＩ翻訳テキストプリプロセッサ１３６は、翻訳されたトランスクリプション１３４、および／または、入力され翻訳されたトランスクリプション１３４のコンピュータ可読表現もしくは入力され翻訳されたトランスクリプション１３４に関連するデータを受信するように構成されている。いくつかの実施形態では、これらの入力は、ＳＤプロセッサ１２５および入力トランスクリプション生成器１２７のために、各音声セグメントに対応するＳＤデータを含む。いくつかの実施形態では、ＡＩ翻訳されたテキストプリプロセッサ１３６への入力は、入力および／または翻訳されたメタ情報をさらに含む。

【0110】

ＡＩ翻訳されたテキストプリプロセッサ１３６は、音素および／または感情データを、本明細書で説明するタイプなどのコンピュータ可読データとして出力する。また、このデータは、各音声セグメントに対応するＳＤデータおよび／またはメタ情報と関連付けて出力される。

【0111】

いくつかの実施形態は、ＡＩ翻訳されたテキストプリプロセッサ１３６の出力を、検討および潜在的な修正のためにユーザに提示する。ＡＩ翻訳されたテキストプリプロセッサ１３６が訓練された場合でも、出力がユーザによって改善される可能性がある場合があるとよい。従って、いくつかの実施形態は、変更のために出力をユーザに提示するステップを含む。

【0112】

翻訳された音声プリプロセッサ
本発明のいくつかの実施形態では、翻訳された音声プリプロセッサ１４２は前処理ＡＩである。ＡＩ翻訳された音声プリプロセッサ１４２は、話者ごとに分割された音声コンテンツを再結合し、背景雑音を除去またはクリーンアップし、音声品質データを向上させるためのプロセスを含むとよい。例えば、ＡＩ翻訳された音声プリプロセッサ１４２は、音声源識別、ノイズ削減、音声復元、および超解像度を含むとよい。

【0113】

ＡＩ翻訳された音声プリプロセッサ１４２は、翻訳された音声１４０および／または翻訳された音声１４０のコンピュータ可読表現もしくは翻訳された音声１４０に関連付けられたデータを受信するように構成されている。いくつかの実施形態では、これらの入力は、各音声セグメントに対応するＳＤデータおよびメタ情報を含む。同様に、また、出力は、各音声セグメントに対応するＳＤデータとメタ情報を含むとよい。さらに、入力データおよび出力データは、本明細書で説明するタイプなどのような任意のコンピュータ可読フォーマットであってもよい。

【0114】

いくつかの実施形態は、ＡＩ翻訳された音声プリプロセッサ１４２の出力を、検討および潜在的な修正のためにユーザに提示する。ＡＩ翻訳された音声プリプロセッサ１４２が訓練された場合でも、出力がユーザによって改善される場合があるとよい。従って、いくつかの実施形態は、変更のために出力をユーザに提示するステップを含む。

【0115】

上記の様々な前処理ＡＩの出力は、軌跡分析（例：顔、トリミング、整列、個別のアイデンティティ、タイムコード、位置）、アイデンティティ特性（例：年齢、人種、性別など）、音声分析（例：声、タイムコードのトリミング、正規化された音量、ノイズ削減、個別のアイデンティティ）、音声の特性（例：感情、口調、ペースなど）、話者ダイアライゼーション（例：整列されたテキスト－「誰がいつ何を話しているか」と音素分析）、テキストの特徴（例：話者ダイアライゼーションの結果に一致した感情分析）を含む。これらの出力は、以下で説明するＡＩジェネレータに直接供給される。次に、ＡＩジェネレータが新しい（つまり、翻訳された）テキスト、音声、およびビデオを生成する。声は元の話者のように聞こえ、ビデオは話者の唇が音声と一致するように操作される。

【0116】

入力トランスクリプションジェネレータ
本発明のいくつかの実施形態では、入力トランスクリプションジェネレータ１２７はＡＩジェネレータである。ＡＩ入力トランスクリプション生成器１２７は、ＳＤデータ出力を受信し、入力トランスクリプションを合成的に生成するように構成されている。また、いくつかの実施形態では、元の未処理の入力ビデオ１０４および／または入力音声１０６は、入力トランスクリプション生成器１２７に提供される。また、いくつかの実施形態では、ビデオプリプロセッサ１２４および／または音声プリプロセッサ１２６からの出力は、入力トランスクリプション生成器１２７に提供される。さらに、いくつかの実施形態は、入力言語１１０を入力トランスクリプション生成器１２７に提供する。

【0117】

前に説明したように、ＳＤデータのいくつかの実施形態は、話者識別情報を有するセグメント化された音声（「音声セグメント」）を含む。従って、ＡＩ入力トランスクリプション生成器１２７の実施形態は、音声部分の音声セグメントを入力トランスクリプションに変換する。より具体的には、ＡＩ入力トランスクリプション生成器１２７は、話された単語のみから、口の動き、音素、タイムスタンプ、および他の同様の説明に関する非常に詳細なデータに至るまで、あらゆるものを含むトランスクリプションを合成的に生成する。多くの場合、入力トランスクリプション１０８は、話されている言語、名前／固有名詞の識別、感情分析、単語および／または音節のタイムスタンプ／時間インデックス、および／または音声で話している別個の主題ごとのタイムスタンプを伴う音素を含む。いくつかの実施形態では、ＡＩ入力トランスクリプション生成器１２７は、入力を受信し、本明細書に記載されるようなコンピュータ可読フォーマットで出力を生成するように構成される。

【0118】

ＡＩ入力トランスクリプション生成器１２７は、ＳＤからの結果を解釈および統合して、システムの残りのコンポーネントによって使用可能なフォーマットをエクスポートする非ＡＩベースのアルゴリズムを含むとよい。いくつかの実施形態では、ＡＩ入力トランスクリプション生成器１２７は、訓練されたＡＩジェネレータである。いくつかの実施形態では、ＡＩ入力トランスクリプション生成器１２７は、結果を改善するために、音声および／または前処理されたビデオ情報（例えば、切り取られた顔、口の動きの検出など）に基づいてトレーニングされる。音声情報はイントネーションと意味を伝える。従って、訓練されたＡＩ入力トランスクリプション生成器１２７（教師なしまたは半教師ありの方法で）は、文字通りの意味を超えてトランスクリプション結果を改善することになる。音声を供給することは、音声に含まれる皮肉、ユーモア、慣用句、その他の情報に対してトランスクリプションを不変にさせる。

【0119】

ビデオ情報は、その他の感情情報を含むとよい。従って、同様の教師なしまたは半教師ありの方法でビデオ情報に関してＡＩ入力トランスクリプション生成器１２７を訓練することは、トランスクリプション翻訳結果をさらに改善させる。

【0120】

ＡＩ入力トランスクリプション生成器１２７のいくつかの実施形態は、異なる言語からのＩＰＡ文字の識別および生成、および音声および／またはビデオ入力からのペーシングについてさらに訓練される。ＩＰＡ文字およびペーシングを識別および生成することに関してＡＩ入力トランスクリプション生成器１２７を訓練することによって、ＡＩ入力トランスクリプション生成器１２７は、ある言語からの入力を、入力音声のペーシングと一致するＩＰＡｓのトランスクリプションに変換する能力を開発する。ＩＰＡｓを使用することで、システムは様々な単語の代替翻訳を生成し、ペーシングの観点から翻訳が同期できることを確実にする。これに対し、ある言語から別の言語に直接翻訳すると、多くの場合、間隔が不一致になり、最終的に翻訳された音声が入力音声のペースと一致しなくなる。さらに下流に進むと、翻訳された音声が唇の動きのペースと一致しないため、システムは話者の唇を同期できなくなる。

【0121】

トランスクリプションおよびメタ翻訳ジェネレータ
本発明のいくつかの実施形態では、トランスクリプションおよびメタ翻訳（ＴＭＴ）ジェネレータ１３２はＡＩジェネレータである。ＡＩ ＴＭＴジェネレータ１３２は、１つ以上の入力から翻訳されたトランスクリプションおよび翻訳されたメタ情報を生成するように構成されている。ＡＩ ＴＭＴジェネレータ１３２は、１つ以上の入力から翻訳されたトランスクリプションおよび翻訳されたメタ情報を生成するように構成された任意のＡＩジェネレータであるとよい。非限定的な例は、ペーシング、音素、メタ、およびその他の情報を統合するように変更された ＢＥＲＴ／ＧＰＴ３などのトランスフォーマー ベースのモデル、ＧＡＮベースのモデル、および、ペーシング、音素、メタ、その他の情報を統合する別のＡＩベースの翻訳モデルを含む。

【0122】

いくつかの実施形態では、入力は、入力トランスクリプション１０８（未処理、またはテキストプリプロセッサ１２８を使用して前処理された）、入力言語１１０、出力言語１１２、および入力メタ情報１３１のみを含む。いくつかの実施形態では、これらの入力は、ＩＰＡ表音文字のペーシング情報を含む。ＡＩ ＴＭＴジェネレータ１３２を使用することは、ＩＰＡ音声に一致するだけでなく、ＩＰＡ音声に関連付けられたペーシングおよびタイムコードにも一致する翻訳された言葉の合成生成が可能になる。厳密な翻訳はペーシングエラーを含むが、合成生成された翻訳はこれらのエラーを回避できる。

【0123】

いくつかの実施形態では、入力は、入力ビデオ１０４、音声入力１０６、ビデオプリプロセッサ１２４からの出力、および／または音声プリプロセッサ１２６からの出力も含む。いくつかの実施形態は、翻訳されたトランスクリプション１３４を生成するために、入力トランスクリプション１０８（未処理または前処理済み）および入力言語１１０および出力言語１１２のみをＡＩ ＴＭＴ生成器１３２に送信する。いくつかの実施形態は、翻訳されたトランスクリプション１３４を生成するために、少なくとも入力トランスクリプション１０８（未処理または前処理された）ならびに入力言語１１０および出力言語１１２をＡＩ ＴＭＴジェネレータ１３２に送信する。

【0124】

入力メタ情報１３１を含めることにより、ＡＩ ＴＭＴジェネレータ１３２が、入力メタ情報１３１を通じて識別される様々な音声特徴を有する翻訳されたトランスクリプション１３４および翻訳されたメタ情報１３５を生成することができる。このような特徴には、皮肉、ユーモア、音素、音素に一致するペーシングなどが含まれるが、これらに限定されない。入力音声１０６および／または音声プリプロセッサ１２６の出力をＡＩ ＴＭＴ生成器１３２に供給することにより、音声内に含まれる皮肉、ユーモア、慣用句、およびその他の情報に対してトランスクリプションを不変にさせる。入力ビデオ１０４および／またはビデオプリプロセッサ１２４からのビデオ情報は、ＡＩ ＴＭＴ生成器１３２への入力として提供されてもよく、これは、他の感情情報を含むことができ、翻訳されたトランスクリプション１３４および翻訳されたメタ情報１３５をさらに改善することができる。

【0125】

いくつかの入力メディア１０２では、入力音声１０６で複数の言語が話される場合がある（例えば、英語とスペイン語）。この情報は多くの場合、入力トランスクリプション１０８内にある。複数の入力言語１１０を翻訳する場合、ＡＩ ＴＭＴジェネレータ１３２は、入力言語ごとに特定の出力言語１１２が提供される（例えば、英語からドイツ語、スペイン語からドイツ語、または英語からドイツ語、スペイン語からフランス語）。

【0126】

ＡＩ ＴＭＴ生成器１３２のいくつかの実施形態は、上述の１つ以上の入力を有するデータに基づいてトレーニングされる。いくつかの実施形態では、ＡＩ ＴＭＴ生成器１３２は、結果を改善するために、音声および／または前処理されたビデオ情報（例えば、切り取られた顔、口の動きの検出など）に基づいてトレーニングされる。音声情報はイントネーションと意味を伝える。従って、訓練されたＡＩ ＴＭＴジェネレータ１３２（教師なしまたは半教師ありの方法で）は、文字通りの意味を超えてトランスクリプション結果を改善することになる。音声を供給することは、音声に含まれる皮肉、ユーモア、慣用句、その他の情報に対してトランスクリプションを不変にさせる。

【0127】

ビデオ情報は、同様の教師なしまたは半教師ありの方法でトレーニング中にＡＩ ＴＭＴジェネレータ１３２に供給される他の感情情報を含むとよく、これはトランスクリプション翻訳結果をさらに改善させる。また、ＡＩ ＴＭＴジェネレータ１３２は、音声プリプロセッサに供給されるビデオプリプロセッサ出力を使用してトレーニングされるとよい。

【0128】

いくつかの実施形態では、ＡＩ ＴＭＴジェネレータ１３２を、ユーザによって直接更新することができる。例えば、ユーザは文字通り翻訳を修正することで、テキスト翻訳自体を編集できる。そして、それらの翻訳はＡＩによって音素に変換される。

【0129】

音声翻訳ジェネレータ
本発明のいくつかの実施形態では、音声翻訳ジェネレータ１３８はＡＩジェネレータである。ＡＩ音声翻訳ジェネレータ１３８は、１つ以上の入力から翻訳された音声を生成するように構成されている。ＡＩ音声翻訳ジェネレータ１３８は、本明細書で説明される１つ以上の入力から翻訳された音声を生成するように構成された任意のＡＩジェネレータであるとよい。非限定的な例は、クラウドＴＴＳシステム、カスタム クラウドＴＴＳシステム、第三者のオンデバイスＴＴＳシステム、カスタム オンデバイスＴＴＳシステムＴａｃｏＴｒｏｎ２ベースのメソッド、ＭｅｌＧＡＮ、Ｓｅｑ２ＳｅｑまたはＷａｖ２Ｗａｖベースのメソッド、Ｖｏｉｃｅ－Ｃｌｏｎｉｎｇベースのメソッド、ＦａｓｔＳｐｅｅｃｈ２などの非自己回帰ベースのメソッドを含む。

【0130】

いくつかの実施形態では、ＡＩ音声翻訳ジェネレータ１３８の入力は、出力言語１１２および翻訳されたトランスクリプション１３４、および／または翻訳されたテキストプリプロセッサ１３６からの出力を含む。いくつかの実施形態は、ＡＩ音声翻訳ジェネレータ１３８への入力として、入力メタ情報１３１および／または翻訳されたメタ情報１３５をさらに含む。

【0131】

音声翻訳ジェネレータ１３８への入力は、入力言語１１０、入力メディア１０２、ビデオプリプロセッサ１２４および音声プリプロセッサ１２６からの出力、入力トランスクリプション１０８、および／またはテキストプリプロセッサ１２８からの出力をさらに含むことができる。

【0132】

ＡＩ音声翻訳ジェネレータ１３８のいくつかの実施形態は、翻訳された音声を生成するために、翻訳されたトランスクリプション１３４、翻訳されたメタ情報１３５、および出力言語１１２のみを必要とする。いくつかの実施形態は、翻訳された音声１４０を生成するために、入力音声１０６（前処理済みおよび／または未処理）および出力言語１１２のみが必要である。

【0133】

ＡＩ音声翻訳ジェネレータ１３８のいくつかの実施形態は、上述の１つ以上の入力を有するデータに基づいてトレーニングされる。いくつかの実施形態では、ＡＩ音声翻訳ジェネレータ１３８は、出力を向上させる、前述のジェネレータと一般的に同じ種類の情報に基づいてトレーニングされる。例えば、ビデオおよび／または音声情報を追加することは、音声の特徴、感情、話者の身元、音声の特徴、性別、年齢などを組み込むことで翻訳結果を向上させる。従って、トレーニングにより、結果として得られる翻訳された音声１４０は、ＴＴＳで通常提供されるものよりもはるかに多くの情報を含む。例えば、翻訳された音声１４０は、話された言葉、感情、ペース、ポーズ、トーン、韻律、強さ、ストレス、声の同一性などと一致する。

【0134】

ＡＩ音声翻訳ジェネレータ１３８のいくつかの実施形態は、２段階ＧＡＮに基づいている。最初の段階は、感情やその他のメタ情報をトレーニングと推論に統合するために、独自のエンコーダーおよびデコーダー構造を備えた従来のＧＡＮである。感情とメタ特性を認識して生成する方法を学習するために、これらの複数の追加のエンコーダーとデコーダーを提供する。従って、このＡＩ音声翻訳ジェネレータ１３８のトレーニングには、生成された感情およびメタ特性とトレーニングデータとの間の損失またはエラーを検出するように構成された追加の固有の損失関数がさらに含まれる。

【0135】

第２ステージのＧＡＮも同様に設計されているが、第１ステージのジェネレータからの出力を第２ステージのジェネレータへの入力として受け入れる。この方法で ＧＡＮｓを階層化すると、生成される出力のリアリズムが向上し、その結果、ジェネレータが現実的な合成翻訳を生成する能力も向上する。

【0136】

いくつかの実施形態では、音声の前処理から得られる、性別、年齢、感情特性などの音声特性、「ワンショット」アプローチを使用すること、および／または、インスタンスの正規化の有無にかかわらず、話者、コンテンツ、および／または感情表現を解きほぐすことによって、ＡＩ音声翻訳ジェネレータ１３８は、グローバルスタイルトークンに対してトレーニング／推論を実行する。

【0137】

ビデオ同期ジェネレータ
本発明のいくつかの実施形態では、ビデオ同期ジェネレータ１４４はＡＩジェネレータである。ＡＩビデオ同期ジェネレータ１４４は、１つ以上の入力から翻訳された音声を生成するように構成されている。ＡＩビデオ同期ジェネレータ１４４は、本明細書で説明される１つ以上の入力から翻訳された音声を入力ビデオと同期するように構成された任意のＡＩジェネレータであるとよい。非限定的な例には、Ｗａｖ２Ｌｉｐ、ＰＣ－ＡＶＳ、ＮＰＦＡＰ、ＨｅａｄＮｅＲＦ、ＦａｃｅＦｏｒｍｅｒ、およびＬｉｐＳｙｎｃ３ｄが含まれる。

【0138】

いくつかの実施形態では、ＡＩビデオ同期ジェネレータ１４４は、入力ビデオ１０４、ビデオプリプロセッサ１２４からの出力、および翻訳された音声１４０から同期ビデオを生成するように構成される。いくつかの実施形態は、同期ビデオ１４６を生成するために、翻訳された音声１４０、ビデオプリプロセッサ１２４からの出力、および入力ビデオ１０４のみを必要とする。ＡＩビデオ同期ジェネレータ１４４のいくつかの実施形態は、入力言語１１０、ビデオプリプロセッサ１２４からの出力、入力音声１０６、音声プリプロセッサ１２６からの出力、入力トランスクリプション１０８、テキストプリプロセッサ１２８からの出力、入力メタ情報１３１、翻訳されたトランスクリプション１３４、翻訳されたテキストプリプロセッサ１３６からの出力、翻訳されたメタ情報１３５、および／または翻訳された音声プリプロセッサ１４２からの出力を受信するように構成されている。

【0139】

ジェネレータアーキテクチャ、トレーニングおよび推論のためのＧＡＮのアーキテクチャ、およびトレーニングに関して、ＡＩビデオ同期ジェネレータ１４４は、ＡＩ音声翻訳ジェネレータ１３８と実質的に同じである。しかしながら、ＡＩビデオ同期ジェネレータ１４４は、上述した入力の１つ以上の組み合わせから同期ビデオ１４６を生成するように訓練され、構成される。

【0140】

さらに、ＡＩビデオ同期ジェネレータ１４４は、再訓練された「Ｗａｖ２Ｌｉｐ」ＧＡＮに基づくことができる。複数のプログレッシブＧＡＮを含んでもよく、および／または、オプティカルフローネットワーク/オプティカルフロー損失の考慮事項を含んでもよい。

【0141】

ＡＩビデオ同期ジェネレータ１４４はまた、境界ボックスまたは顔のランドマーク、口／唇のランドマークに基づいて、翻訳されたビデオを元のビデオに再結合するためのＡＩを含むとよい。それは、元のビデオの光学パラメータ（例えば、プロのビデオミキシング、ビデオカラーリングなど）と、元のビデオ入力の監視されていない暗黙の「特性」とを自動的に一致させるとよい。

【0142】

いくつかの場合では、ＭｅｌＳｐｅｃｔｏｇｒａｍを未処理の音声波形に変換するためにカスタムＧＡＮによってトレーニングされた追加の第２段階ジェネレータ（ＭｅｌＧａｎ、ＷａｖｅＧＡＮ、ＷａｖｅＧｌｏｗ、ＶｏｉｃｅＦｉｘｅｒ など）を使用して、ＡＩビデオ同期ジェネレータ１４４（第１段階のＧＡＮとして機能する）からのアーティファクトと低解像度を改善する。この第２段階のジェネレータは、アーティファクトと低解像度を改善するために、第２段階の方法でサイクル再構成データに基づいてトレーニングされるとよい。

【0143】

ＡＩビデオ同期ジェネレータ１４４のいくつかの実施形態は、同期されたビデオの品質を高めるための第２段階のジェネレータを含む。第２段階のジェネレータは、強化されたビデオを生成するために、入力ビデオ１０４および同期ビデオ１４６のみを必要とする。強化には、最大ビデオサイズの増加、アーティファクト（例えば、ＧＡＮｓの古典的なアーティファクトおよびＡＩビデオ同期ジェネレータ１４４に特有の他のアーティファクト）の低減、およびリアリズムの強化が含まれるが、これらに限定されない。例えば、第２段階のジェネレータはビデオのサイズを（例：９６、２５６、５１２）からより大きなサイズ（例:それぞれ２５６、５１２、１０２４、最大２０４８）に増やすことができ、これにより、ビデオ品質ジェネレータからの出力が元のビデオに再挿入されるため、４Ｋ品質のビデオを効果的に生成できる。元のビデオは３８４０×２１６０以上であるとよいが、一方、顔軌跡ビデオのサイズは５１２～２０４８であるとよい。

【0144】

第２段階のジェネレータは、教師あり、教師なし、または半教師ありでトレーニングされたＧＡＮベースのネットワークによって実現されるとよい。それは、グローバルスタイルトークンを含むとよく、カスタムの独自データで再トレーニングされた「ＦｅｗｓｈｏｔＶｉｄ２Ｖｉｄ」、「Ｐｉｘ２ＰｉｘＨＤ」、「ＧＦＰＧＡＮ」、「Ｐｉｘ２Ｓｔｙｌｅ２Ｐｉｘ」または「Ｖｉｄ２ＶｉｄＨＤ」モデルに基づくとよく、プログレッシブＧＡＮｓを含むとよく、および／または、オプティカルフローネットワーク／オプティカルフロー損失を含むとよい。

【0145】

典型的な実例
実施例１．１が図９に示されている。そこに示されているように、既存のメディア ファイル（つまり、音声／ビデオ コンテンツ）がコンピュータデバイスを通じて送信され、入力メディア１０２になります。メディアファイルは音声チャネルを含まなければならない。ただし、メディアファイルはデバイス（スマートフォンアプリ、デスクトップ アプリ、ウェブアプリなど）に記録されることが可能であり、アップロードされることが可能である。デバイス（スマートフォンアプリ、デスクトップアプリ、ウェブアプリなど）からアップロードされ、または共有クラウド データリンク（例:Ｇｏｏｇｌｅ Ｄｒｉｖｅ、Ｄｒｏｐｂｏｘ、ＡＷＳなど）を通じて送信される。

【0146】

トランスクリプション１０８は、本明細書で説明されるように、入力音声１０６から取得される。トランスクリプション１０８を取得するには、入力音声１０６および入力言語１１０のみが必要である。いくつかの実施形態は、トランスクリプションを取得するために第三者のクラウドベースのサービス（例えば、Ｇｏｏｇｌｅ、ＡＷＳなど）を使用する。また、カスタムのクラウドベースの技術を使用して、機械学習ライブラリ（Ｐｙｔｏｒｃｈ、Ｔｅｎｓｏｒｆｌｏｗ、Ｃａｆｆｅなど）で記述されたトランスクリプションを取得する。また、組み込みのオンデバイス サービスを使用してトランスクリプション（Ｓｉｒｉなど）を取得する。また、カスタムのオンデバイス サービスを使用して、エッジ言語（ＣｏｒｅＭＬ、ＴＦＬｉｔｅなど）で書かれたトランスクリプションを取得する。前に説明したように、トランスクリプション１０８は、多くの場合、話している各人によって指定された、各オブジェクト（単語／音節／音素）のタイムスタンプを有する単語および／または音節および／または音素の辞書を含む。

【0147】

ユーザは、元のまたは翻訳された購読のトランスクリプション１０８を更新するとよい。ユーザは、元の言語でのトランスクリプションを修正することができ、および／または、スラングや固有名詞などに関するより詳細な情報を追加することができ、その結果、元の言語および/または翻訳された言語での結果を改善できる。

【0148】

テキストプリプロセッサ１３６は、翻訳されたテキスト１３６のタイムスタンプを調整して、音声翻訳ジェネレータ１３８が翻訳された音声のタイミングを元の音声と同期させるのを助ける。

【0149】

ビデオプリプロセッサ１２４は、顔認識およびすべての顔の位置合わせを実行して、入力ビデオ１０４内の顔の「軌跡」を見つけてトリミングする。これは、クラウドまたはオンデバイスで行われるとよい。

【0150】

次に、音声翻訳ジェネレータ１３８は、翻訳された音声１４０を生成するために、翻訳されたトランスクリプション１３４（出力言語１１２を含む）のみを入力として受け取る。音声翻訳ジェネレータ１３８は、タイムスタンプ情報を使用して、音声生成入力を適切なサイズのセグメント（例えば、～１．０秒～３０．０秒）に分割し、翻訳された音声１４０を入力音声１０６と同期させるとよい。音声翻訳ジェネレータ１３８は、長い形式のコンテンツ（＞１２０．０秒）の音声翻訳生成を処理するために、情報をセグメント（例えば、～１．０秒～３０．０秒）に分割してもよい。

【0151】

音声生成は、Ｇｏｏｇｌｅ、ＡＷＳ、Ａｐｐｌｅなどの第三者 ＴＴＳプロバイダーを通じて、または、例えばＴａｃｏＴｒｏｎ２、ＭｅｌｌｏＴｒｏｎ、ＦｌｏｗＴｒｏｎなど(クラウドまたはオンデバイスのいずれか)からインスピレーションを得たカスタムＴＴＳ実装を通じて行うことができます。

【0152】

音声翻訳ジェネレータ１３８からの出力は、元の音声と同じ長さを有する翻訳された音声ファイル１４０である。翻訳された音声ファイル１４０は、元の音声からの背景／周囲雑音データを含むとよく、元の音声から声データ／音響を削除した翻訳音声データ／音声を含むとよい。また、翻訳された声データ／音声は、元の音声の話されている要素と時間的に厳密に一致する。

【0153】

ビデオ同期ジェネレータ１４４は、翻訳されたビデオ１４６を生成するために、翻訳された音声１４０、前処理されたビデオ、および入力ビデオ１０４を入力として受け取る。ビデオ同期ジェネレータ１４４は、カスタムデータセットで訓練されたＷａｖ２Ｌｉｐモデル、またはＷａｖ２Ｌｉｐに触発されたモデルを使用するとよいが、追加のデータ増強および訓練中の「ブラックアウト」セクションの変更を伴うカスタムデータセットで訓練されたモデルを使用してもよい。ビデオ同期ジェネレータ１４４は、生成された出力を元のビデオに挿入するためのポストプロセッサ（非「二次ステージ」）を含むとよく、それは元の顔ランドマーク／口ランドマークに基づくマスキングを含むとよい。

【0154】

実施例１．２は、図１０に示されるようなエンドツーエンドの翻訳デバイスである。この実施例には、出力を改善する第２段階のビデオ品質ジェネレータをさらに含む。このジェネレータは、Ｗａｖ２Ｌｉｐからインスピレーションを得たカスタムモデルからのサイクル再構成データセットからのペアデータでトレーニングされるとよく、または、ＦｅｗＳｈｏｔＶｉｄ２Ｖｉｄ ネットワークに基づいてトレーニングされるとよい。

【0155】

実施例１．３は、図１１に示されるようなエンドツーエンドの翻訳デバイスである。この実施例は、入力音声１０６を音声翻訳ジェネレータ１３８に入力して、元の話者の声の特徴、アイデンティティ、感情などと一致する音声翻訳を作成することをさらに含む。音声翻訳ジェネレータ１３８は、カスタムデータに基づいて訓練された適応音声変換ネットワークに触発されたカスタムモデルを用いて教師なし方式で実施されるとよい。さらに、音声翻訳ジェネレータ１３８は、第２段階の品質向上ポストプロセッサとして、サイクル再構成データに基づいてトレーニングされ、カスタムトレーニングされたＷａｖｅＧｌｏｗネットワークを含むとよい。音声翻訳ジェネレータ１３８は、入力音声１０６からの音声特性、アイデンティティ、感情などを実施例１．１からの音声翻訳出力に適用するとよい。

【0156】

実施例１．４は、図１２に示されるようなエンドツーエンド翻訳デバイスである。実施例１．４は、音声プリプロセッサ１２６を含み、この音声プリプロセッサ１２６は背景雑音分離、話者ダイアライゼーション、および／またはセマンティックセグメンテーションを含むとよい。音声プリプロセッサ１２６からの出力は、トランスクリプション結果の品質および精度を向上させ、音声翻訳の品質および精度を向上させるために使用されるとよい。

【0157】

実施例１．５は、図１３に示されるようなエンドツーエンドの翻訳デバイスである。実施例１．５は、前処理された音声入力をトランスクリプションおよびメタ翻訳ジェネレータ１３２に提供することを含む。このアプローチは、トランスクリプション翻訳の品質と精度を向上させようとカスタムＧＡＮネットワークまたはＴｒａｎｓｆｏｒｍｅｒネットワークをトレーニングするために使用されるとよい。また、このアプローチは、元の音声入力に基づいて、翻訳結果が皮肉、ユーモア、慣用句などを認識できるようにするとよい。また、品質と精度を向上させるために、トランスクリプション翻訳ジェネレータのより高度な教師なしおよび半教師ありトレーニングを可能にするとよく、また、トレーニング（例: フューショットおよびワンショット ネットワーク）中に頻繁にまたはまったく見られない言語でのトランスクリプション結果を可能にするとよい。

【0158】

いくつかの実施形態では、本発明は、リアルタイム結果またはリアルタイムに近い結果を提供する拡張現実（ＡＲ）トランスレータである。ＡＲトランスレータは、事前に録音されたコンテンツおよびライブ音声または音声／ビデオチャットで、すべての言語にわたるシームレスなコミュニケーションを可能にする。

【0159】

ハードウェアとソフトウェアのインフラストラクチャの例
本発明は、ソフトウェアベースの命令に応答してアクションを実行する様々なコンピューティングシステムおよび／またはプラットフォーム上で実施されるとよい。以下は、本発明を可能にするために利用されるとよい情報技術の先行基礎を提供する。

【0160】

以下の特許請求の範囲に記載されるコンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であるとよい。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、またはデバイス、あるいはそれらの任意の適切な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（すべてではないリスト）は、次のようなものを含む。１本以上のワイヤを備えた電気接続、ポータブル コンピュータ ディスケット、ハードディスク、ランダム アクセス メモリ（RAM）、読み取り専用メモリ（ROM）、消去可能なプログラマブル読み取り専用メモリ（EPROMまたはフラッシュ メモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、またはこれらの任意の適切な組み合わせが挙げられる。この文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって使用される、またはそれらに関連して使用されるプログラムを含む、または記憶できる任意の非一時的有形媒体であるとよい。

【0161】

コンピュータ可読信号媒体は、例えばベースバンドまたは搬送波の一部として、その中に組み込まれたコンピュータ可読プログラムコードを有する伝播データ信号を含むとよい。このような伝播信号は、電磁気、光、またはそれらの任意の適切な組み合わせを含むが、これらに限定されない、様々な形態のうちのいずれかを取るとよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを通信、伝播、または移送できる任意のコンピュータ可読媒体であるとよい。

【0162】

コンピュータ可読媒体上に具現化されたプログラムコードは、無線、有線、光ファイバケーブル、無線周波数など、またはそれらの任意の適切な組み合わせを含むが、これらに限定されない任意の適切な媒体を使用して送信されるとよい。本発明の態様の動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｃ＃、Ｃ＋＋、Ｖｉｓｕａｌ Ｂａｓｉｃなどのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されるとよい。

【0163】

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して説明されるとよい。フローチャート図および／またはブロック図の各ブロック、およびフローチャート図および／またはブロック図のブロックの組み合わせを、コンピュータプログラム命令によって実施できることは理解されるだろう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図またはブロックで指定された機能／動作を実施するための手段を作製するような機械を生産するとよい。

【0164】

これらのコンピュータプログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスを特定の方法で機能させることができるコンピュータ可読媒体に格納されてもよく、その結果、フローチャートおよび／またはブロック図のブロック又はブロックで指定された機能／動作を実施する命令を含む、コンピュータ可読媒体に格納された命令は、製品を生産する。

【0165】

コンピュータプログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、または他の装置にロードされて、一連の動作ステップをコンピュータ、他のプログラム可能な装置、または他の装置上で実行させることもでき、コンピュータまたは他のプログラム可能な装置上で実行される命令が、フローチャートおよび／またはブロック図のブロックで指定された機能／動作を実装するためのプロセスを提供するように、コンピュータ実装プロセスを生成する。

【0166】

上述の利点、および前述の説明から明らかな利点は、効率的に達成される。本発明の範囲から逸脱することなく上記の構成に特定の変更を加えることができるため、上記の説明に含まれる、または添付の図面に示されるすべての事項は、限定的な意味ではなく例示として解釈されることが意図される。

【0167】

また、以下の特許請求の範囲は、本明細書に記載された本発明の一般的および特定の特徴のすべてを網羅することを意図しており、言葉遣い上、それらの間にあると言える本発明の範囲のすべての記述を網羅することを意図していることも理解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【国際調査報告】