ホーム > 特許ランキング > 楽天グループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-29
(45)【発行日】2024-06-06
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G06N 3/08 20230101AFI20240530BHJP
G06N 3/0475 20230101ALI20240530BHJP
G06F 40/44 20200101ALI20240530BHJP
【ＦＩ】
G06N3/08
G06N3/0475
G06F40/44
【請求項の数】
25
(21)【出願番号】P 2023070594
(22)【出願日】2023-04-24
(62)【分割の表示】P 2021202244の分割
【原出願日】2021-12-14
(65)【公開番号】P2023099060
(43)【公開日】2023-07-11
【審査請求日】2023-05-10
(73)【特許権者】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(74)【代理人】
【識別番号】100109380
【弁理士】
【氏名又は名称】小西 恵
(74)【代理人】
【識別番号】100109036
【弁理士】
【氏名又は名称】永岡 重幸
(72)【発明者】
【氏名】アルベルト ポンセラス
【審査官】福西 章人
(56)【参考文献】
【文献】特開２０２０－１２６３６０（ＪＰ，Ａ）
【文献】国際公開第２０２１／０７７５５９（ＷＯ，Ａ１）
【文献】特開昭６３－３１１４７３（ＪＰ，Ａ）
【文献】特開平０１－１０６１６１（ＪＰ，Ａ）
【文献】特開２０２１－１４４２５６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
Ｇ０６Ｆ ４０／４４
(57)【特許請求の範囲】
【請求項1】
機械翻訳元である第１の自然言語シーケンスと機械翻訳先である第２の自然言語シーケンスとを対応付けて、学習データとして格納する第１の学習データセットを取得するデータセット取得部と、前記データセット取得部により取得された前記第１の学習データセットの前記第２の自然言語シーケンス中で、非敬語表現および敬語表現のいずれかを示す敬語表現レベルを表すセグメントを抽出し、抽出された前記セグメントの前記敬語表現レベルを解析する解析部と、
前記解析部による前記セグメントの解析結果に基づいて、前記敬語表現を示すセグメントを生成し、前記第１の学習データセットを、生成された前記敬語表現を示すセグメントを含み、前記第１の学習データセットに対して、前記第２の自然言語シーケンスにおける前記敬語表現が前記非敬語表現より豊富化された第２の学習データセットに変換するデータセット変換部と、
前記データセット変換部により変換された前記第２の学習データセットを学習モデルに入力して、前記学習モデルを学習させる学習実行部と
を備え、
前記データセット変換部は、前記第２の自然言語シーケンス中の前記セグメントを、前記敬語表現を示すセグメントで置き換えて、前記第２の自然言語シーケンスを前記第２の学習データセットに出力することを特徴とする情報処理装置。
【請求項2】
前記解析部は、前記第１のデータセットの前記第２の自然言語シーケンス中で、語尾変化する箇所を前記セグメントとして抽出することを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記データセット変換部は、前記敬語表現レベルごとに動詞形態を定義する変換ルールを参照して、テキストマッチングにより、前記第２の自然言語シーケンス中の前記セグメントを、前記第２の学習データセットに出力すべき前記敬語表現のセグメントに変換することを特徴とする請求項１または２に記載の情報処理装置。
【請求項4】
前記敬語表現レベルは、前記非敬語表現および複数の敬語表現のいずれかを示し、
前記データセット変換部は、前記第１の学習データセットを、前記複数の敬語表現のうち、いずれかの敬語表現が前記非敬語表現より豊富化された前記第２の学習データセットに変換する
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
【請求項5】
前記学習モデルは、前記非敬語表現および前記敬語表現にそれぞれ対応する複数の出力チャネルを備えることを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
【請求項6】
情報処理装置が実行する情報処理方法であって、機械翻訳元である第１の自然言語シーケンスと機械翻訳先である第２の自然言語シーケンスとを対応付けて、学習データとして格納する第１の学習データセットを取得するステップと、
取得された前記第１の学習データセットの前記第２の自然言語シーケンス中で、非敬語表現および敬語表現のいずれかを示す敬語表現レベルを表すセグメントを抽出し、抽出された前記セグメントの前記敬語表現レベルを解析するステップと、
前記セグメントの解析結果に基づいて、前記敬語表現を示すセグメントを生成し、前記第１の学習データセットを、生成された前記敬語表現を示すセグメントを含み、前記第１の学習データセットに対して、前記第２の自然言語シーケンスにおける前記敬語表現が前記非敬語表現より豊富化された第２の学習データセットに変換するステップと、
変換された前記第２の学習データセットを、前記非敬語表現および前記敬語表現にそれぞれ対応する複数の出力チャネルを備える学習モデルに入力して、前記学習モデルを学習させるステップと
を含み、
前記変換するステップにおいて、前記第２の自然言語シーケンス中の前記セグメントを、前記敬語表現を示すセグメントで置き換えて、前記第２の自然言語シーケンスを前記第２の学習データセットに出力する
むことを特徴とする情報処理方法。
【請求項7】
情報処理をコンピュータに実行させるための情報処理プログラムであって、該プログラムは、前記コンピュータに、機械翻訳元である第１の自然言語シーケンスと機械翻訳先である第２の自然言語シーケンスとを対応付けて、学習データとして格納する第１の学習データセットを取得するデータセット取得処理と、
前記データセット取得処理により取得された前記第１の学習データセットの前記第２の自然言語シーケンス中で、非敬語表現および敬語表現のいずれかを示す敬語表現レベルを表すセグメントを抽出し、抽出された前記セグメントの前記敬語表現レベルを解析する解析処理と、
前記解析処理による前記セグメントの解析結果に基づいて、前記敬語表現を示すセグメントを生成し、前記第１の学習データセットを、生成された前記敬語表現を示すセグメントを含み、前記第１の学習データセットに対して、前記第２の自然言語シーケンスにおける前記敬語表現が前記非敬語表現より豊富化された第２の学習データセットに変換するデータセット変換処理と、
前記データセット変換処理により変換された前記第２の学習データセットを、前記非敬語表現および前記敬語表現にそれぞれ対応する複数の出力チャネルを備える学習モデルに入力して、前記学習モデルを学習させる学習実行処理と
を含む処理を実行させるためのものであり、
前記データセット変換処理は、前記第２の自然言語シーケンス中の前記セグメントを、前記敬語表現を示すセグメントで置き換えて、前記第２の自然言語シーケンスを前記第２の学習データセットに出力することを特徴とする情報処理プログラム。
【請求項8】
機械翻訳元である第１の自然言語シーケンスと機械翻訳先である第２の自然言語シーケンスとを対応付けて、学習データとして格納する第１の学習データセットを取得するデータセット取得部と、
前記データセット取得部により取得された前記第１の学習データセットの前記第２の自然言語シーケンス中で、非敬語表現および敬語表現のいずれかを示す敬語表現レベルを表すセグメントを抽出し、抽出された前記セグメントの前記敬語表現レベルを解析する解析部と、
前記解析部による前記セグメントの解析結果に基づいて、前記敬語表現を示すセグメントを生成し、前記第１の学習データセットを、生成された前記敬語表現を示すセグメントを含み、前記第１の学習データセットに対して、前記第２の自然言語シーケンスにおける前記敬語表現が前記非敬語表現より豊富化された第２の学習データセットに変換するデータセット変換部と、
前記データセット変換部により変換された前記第２の学習データセットを学習モデルに入力して、前記学習モデルを学習させる学習実行部と
を備え、
前記データセット変換部は、前記解析部により抽出された前記セグメントが示す敬語表現レベル以外の敬語表現レベルを示すセグメントを生成し、生成されたセグメントを含む前記第２の自然言語シーケンスを生成し、複数の前記第２の自然言語シーケンスにそれぞれ対応する複数の前記第２の学習データセットを生成することを特徴とする情報処理装置。
【請求項9】
前記解析部は、前記第１のデータセットの前記第２の自然言語シーケンス中で、語尾変化する箇所を前記セグメントとして抽出する
ことを特徴とする請求項８に記載の情報処理装置。
【請求項10】
前記敬語表現レベルは、前記非敬語表現および複数の敬語表現のいずれかを示し、前記データセット変換部は、前記第１の学習データセットを、前記複数の敬語表現のうち、いずれかの敬語表現が前記非敬語表現より豊富化された前記第２の学習データセットに変換する
ことを特徴とする請求項８または９に記載の情報処理装置。
【請求項11】
前記学習モデルは、前記非敬語表現および前記敬語表現にそれぞれ対応する複数の出力チャネルを備える
ことを特徴とする請求項８から１０のいずれか１項に記載の情報処理装置。
【請求項12】
情報処理装置が実行する情報処理方法であって、
機械翻訳元である第１の自然言語シーケンスと機械翻訳先である第２の自然言語シーケンスとを対応付けて、学習データとして格納する第１の学習データセットを取得するステップと、
取得された前記第１の学習データセットの前記第２の自然言語シーケンス中で、非敬語表現および敬語表現のいずれかを示す敬語表現レベルを表すセグメントを抽出し、抽出された前記セグメントの前記敬語表現レベルを解析するステップと、
前記セグメントの解析結果に基づいて、前記敬語表現を示すセグメントを生成し、前記第１の学習データセットを、生成された前記敬語表現を示すセグメントを含み、前記第１の学習データセットに対して、前記第２の自然言語シーケンスにおける前記敬語表現が前記非敬語表現より豊富化された第２の学習データセットに変換するステップと、
変換された前記第２の学習データセットを、前記非敬語表現および前記敬語表現にそれぞれ対応する複数の出力チャネルを備える学習モデルに入力して、前記学習モデルを学習させるステップと
を含み、
前記変換するステップにおいて、抽出された前記セグメントが示す敬語表現レベル以外の敬語表現レベルを示すセグメントを生成し、生成されたセグメントを含む前記第２の自然言語シーケンスを生成し、複数の前記第２の自然言語シーケンスにそれぞれ対応する複数の前記第２の学習データセットを生成することを特徴とする情報処理方法。
【請求項13】
情報処理をコンピュータに実行させるための情報処理プログラムであって、該プログラムは、前記コンピュータに、
機械翻訳元である第１の自然言語シーケンスと機械翻訳先である第２の自然言語シーケンスとを対応付けて、学習データとして格納する第１の学習データセットを取得するデータセット取得処理と、
前記データセット取得処理により取得された前記第１の学習データセットの前記第２の自然言語シーケンス中で、非敬語表現および敬語表現のいずれかを示す敬語表現レベルを表すセグメントを抽出し、抽出された前記セグメントの前記敬語表現レベルを解析する解析処理と、
前記解析処理による前記セグメントの解析結果に基づいて、前記敬語表現を示すセグメントを生成し、前記第１の学習データセットを、生成された前記敬語表現を示すセグメントを含み、前記第１の学習データセットに対して、前記第２の自然言語シーケンスにおける前記敬語表現が前記非敬語表現より豊富化された第２の学習データセットに変換するデータセット変換処理と、
前記データセット変換処理により変換された前記第２の学習データセットを、前記非敬語表現および前記敬語表現にそれぞれ対応する複数の出力チャネルを備える学習モデルに入力して、前記学習モデルを学習させる学習実行処理と
を含む処理を実行させるためのものであり、
前記データセット変換処理は、前記解析処理により抽出された前記セグメントが示す敬語表現レベル以外の敬語表現レベルを示すセグメントを生成し、生成されたセグメントを含む前記第２の自然言語シーケンスを生成し、複数の前記第２の自然言語シーケンスにそれぞれ対応する複数の前記第２の学習データセットを生成することを特徴とする情報処理プログラム。
【請求項14】
機械翻訳元である第１の自然言語シーケンスと機械翻訳先である第２の自然言語シーケンスとを対応付けて、学習データとして格納する第１の学習データセットを取得するデータセット取得部と、
前記データセット取得部により取得された前記第１の学習データセットの前記第２の自然言語シーケンス中で、非敬語表現および敬語表現のいずれかを示す敬語表現レベルを表すセグメントを抽出し、抽出された前記セグメントの前記敬語表現レベルを解析する解析部と、
前記解析部による前記セグメントの解析結果に基づいて、前記敬語表現を示すセグメントを生成し、前記第１の学習データセットを、生成された前記敬語表現を示すセグメントを含み、前記第１の学習データセットに対して、前記第２の自然言語シーケンスにおける前記敬語表現が前記非敬語表現より豊富化された第２の学習データセットに変換するデータセット変換部と、
前記データセット変換部により変換された前記第２の学習データセットを学習モデルに入力して、前記学習モデルを学習させる学習実行部と、
前記解析部により抽出された前記セグメントの前記敬語表現レベルを分類する分類器と、を備え、
前記データセット変換部は、前記分類器が出力する前記敬語表現レベルの前記分類結果を、前記第２の学習データセットに格納すべき前記第１の自然言語シーケンスに付加することを特徴とする情報処理装置。
【請求項15】
前記解析部は、前記第１のデータセットの前記第２の自然言語シーケンス中で、語尾変化する箇所を前記セグメントとして抽出する
ことを特徴とする請求項１４に記載の情報処理装置。
【請求項16】
前記敬語表現レベルは、前記非敬語表現および複数の敬語表現のいずれかを示し、
前記データセット変換部は、前記第１の学習データセットを、前記複数の敬語表現のうち、いずれかの敬語表現が前記非敬語表現より豊富化された前記第２の学習データセットに変換する
ことを特徴とする請求項１４または１５に記載の情報処理装置。
【請求項17】
前記学習モデルは、前記非敬語表現および前記敬語表現にそれぞれ対応する複数の出力チャネルを備える
ことを特徴とする請求項１４から１６のいずれか１項に記載の情報処理装置。
【請求項18】
情報処理装置が実行する情報処理方法であって、
機械翻訳元である第１の自然言語シーケンスと機械翻訳先である第２の自然言語シーケンスとを対応付けて、学習データとして格納する第１の学習データセットを取得するステップと、
取得された前記第１の学習データセットの前記第２の自然言語シーケンス中で、非敬語表現および敬語表現のいずれかを示す敬語表現レベルを表すセグメントを抽出し、抽出された前記セグメントの前記敬語表現レベルを解析するステップと、
前記セグメントの解析結果に基づいて、前記敬語表現を示すセグメントを生成し、前記第１の学習データセットを、生成された前記敬語表現を示すセグメントを含み、前記第１の学習データセットに対して、前記第２の自然言語シーケンスにおける前記敬語表現が前記非敬語表現より豊富化された第２の学習データセットに変換するステップと、
変換された前記第２の学習データセットを、前記非敬語表現および前記敬語表現にそれぞれ対応する複数の出力チャネルを備える学習モデルに入力して、前記学習モデルを学習させるステップと
を含み、
前記変換するステップにおいて、抽出された前記セグメントの前記敬語表現レベルを分類する分類器が出力する前記敬語表現レベルの前記分類結果を、前記第２の学習データセットに格納すべき前記第１の自然言語シーケンスに付加することを特徴とする情報処理方法。
【請求項19】
情報処理をコンピュータに実行させるための情報処理プログラムであって、該プログラムは、前記コンピュータに、
機械翻訳元である第１の自然言語シーケンスと機械翻訳先である第２の自然言語シーケンスとを対応付けて、学習データとして格納する第１の学習データセットを取得するデータセット取得処理と、
前記データセット取得処理により取得された前記第１の学習データセットの前記第２の自然言語シーケンス中で、非敬語表現および敬語表現のいずれかを示す敬語表現レベルを表すセグメントを抽出し、抽出された前記セグメントの前記敬語表現レベルを解析する解析処理と、
前記解析処理による前記セグメントの解析結果に基づいて、前記敬語表現を示すセグメントを生成し、前記第１の学習データセットを、生成された前記敬語表現を示すセグメントを含み、前記第１の学習データセットに対して、前記第２の自然言語シーケンスにおける前記敬語表現が前記非敬語表現より豊富化された第２の学習データセットに変換するデータセット変換処理と、
前記データセット変換処理により変換された前記第２の学習データセットを、前記非敬語表現および前記敬語表現にそれぞれ対応する複数の出力チャネルを備える学習モデルに入力して、前記学習モデルを学習させる学習実行処理と
を含む処理を実行させるためのものであり、
前記データセット変換処理は、抽出された前記セグメントの前記敬語表現レベルを分類する分類器が出力する前記敬語表現レベルの前記分類結果を、前記第２の学習データセットに格納すべき前記第１の自然言語シーケンスに付加することを特徴とする情報処理プログラム。
【請求項20】
機械翻訳元である第１の自然言語シーケンスと機械翻訳先である第２の自然言語シーケンスとを対応付けて、学習データとして格納する第１の学習データセットを取得するデータセット取得部と、
前記データセット取得部により取得された前記第１の学習データセットの前記第２の自然言語シーケンス中で、非敬語表現および敬語表現のいずれかを示す敬語表現レベルを表すセグメントを抽出し、抽出された前記セグメントの前記敬語表現レベルを解析する解析部と、
前記解析部による前記セグメントの解析結果に基づいて、前記敬語表現を示すセグメントを生成し、前記第１の学習データセットを、生成された前記敬語表現を示すセグメントを含み、前記第１の学習データセットに対して、前記第２の自然言語シーケンスにおける前記敬語表現が前記非敬語表現より豊富化された第２の学習データセットに変換するデータセット変換部と、
前記データセット変換部により変換された前記第２の学習データセットを学習モデルに入力して、前記学習モデルを学習させる学習実行部と、
前記解析部により抽出された前記セグメントの前記敬語表現レベルを分類する分類器と、を備え、
前記データセット変換部は、前記解析部により抽出された前記セグメントのうち、前記敬語表現を示すセグメントを特定し、特定されたセグメントを含む前記第２の自然言語シーケンスと対応する前記第１の自然言語シーケンスを抽出して前記第２のデータセットに出力することを特徴とする情報処理装置。
【請求項21】
前記解析部は、前記第１のデータセットの前記第２の自然言語シーケンス中で、語尾変化する箇所を前記セグメントとして抽出する
ことを特徴とする請求項２０に記載の情報処理装置。
【請求項22】
前記敬語表現レベルは、前記非敬語表現および複数の敬語表現のいずれかを示し、
前記データセット変換部は、前記第１の学習データセットを、前記複数の敬語表現のうち、いずれかの敬語表現が前記非敬語表現より豊富化された前記第２の学習データセットに変換する
ことを特徴とする請求項２０または２１に記載の情報処理装置。
【請求項23】
前記学習モデルは、前記非敬語表現および前記敬語表現にそれぞれ対応する複数の出力チャネルを備える
ことを特徴とする請求項２０から２２のいずれか１項に記載の情報処理装置。
【請求項24】
情報処理装置が実行する情報処理方法であって、
機械翻訳元である第１の自然言語シーケンスと機械翻訳先である第２の自然言語シーケンスとを対応付けて、学習データとして格納する第１の学習データセットを取得するステップと、
取得された前記第１の学習データセットの前記第２の自然言語シーケンス中で、非敬語表現および敬語表現のいずれかを示す敬語表現レベルを表すセグメントを抽出し、抽出された前記セグメントの前記敬語表現レベルを解析するステップと、
前記セグメントの解析結果に基づいて、前記敬語表現を示すセグメントを生成し、前記第１の学習データセットを、生成された前記敬語表現を示すセグメントを含み、前記第１の学習データセットに対して、前記第２の自然言語シーケンスにおける前記敬語表現が前記非敬語表現より豊富化された第２の学習データセットに変換するステップと、
変換された前記第２の学習データセットを、前記非敬語表現および前記敬語表現にそれぞれ対応する複数の出力チャネルを備える学習モデルに入力して、前記学習モデルを学習させるステップと
を含み、
前記変換するステップにおいて、抽出された前記セグメントのうち、前記敬語表現を示すセグメントを特定し、特定されたセグメントを含む前記第２の自然言語シーケンスと対応する前記第１の自然言語シーケンスを抽出して前記第２のデータセットに出力することを特徴とする情報処理方法。
【請求項25】
情報処理をコンピュータに実行させるための情報処理プログラムであって、該プログラムは、前記コンピュータに、
機械翻訳元である第１の自然言語シーケンスと機械翻訳先である第２の自然言語シーケンスとを対応付けて、学習データとして格納する第１の学習データセットを取得するデータセット取得処理と、
前記データセット取得処理により取得された前記第１の学習データセットの前記第２の自然言語シーケンス中で、非敬語表現および敬語表現のいずれかを示す敬語表現レベルを表すセグメントを抽出し、抽出された前記セグメントの前記敬語表現レベルを解析する解析処理と、
前記解析処理による前記セグメントの解析結果に基づいて、前記敬語表現を示すセグメントを生成し、前記第１の学習データセットを、生成された前記敬語表現を示すセグメントを含み、前記第１の学習データセットに対して、前記第２の自然言語シーケンスにおける前記敬語表現が前記非敬語表現より豊富化された第２の学習データセットに変換するデータセット変換処理と、
前記データセット変換処理により変換された前記第２の学習データセットを、前記非敬語表現および前記敬語表現にそれぞれ対応する複数の出力チャネルを備える学習モデルに入力して、前記学習モデルを学習させる学習実行処理と
を含む処理を実行させるためのものであり、
前記データセット変換処理は、前記解析処理により抽出された前記セグメントのうち、前記敬語表現を示すセグメントを特定し、特定されたセグメントを含む前記第２の自然言語シーケンスと対応する前記第１の自然言語シーケンスを抽出して前記第２のデータセットに出力することを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法およびプログラムに関し、特に、機械翻訳用の学習モデルを機械学習させるための技術に関する。
【背景技術】
【0002】
自然言語処理の応用の１つとして、ニューラルネットワークを使用して自然言語のテキストを機械翻訳する技術が知られている。
ニューラルネットワークで構築される機械翻訳用の学習モデルは、典型的には、入力言語処理系であるエンコーダのニューラルネットワークと、出力言語処理系であるデコーダのニューラルネットワークとを備え、翻訳元であるソース言語のテキストシーケンスを入力して、翻訳先であるターゲット言語のテキストシーケンスを推論して出力する。
ニューラルネットワークで構築される機械翻訳用の学習モデルは、典型的には、入力言語処理系であるエンコーダのニューラルネットワークと、出力言語処理系であるデコーダのニューラルネットワークとを備え、翻訳元であるソース言語のテキストシーケンスを入力して、翻訳先であるターゲット言語のテキストシーケンスを推論して出力する。
【0003】
特許文献１は、ニューラルネットワークを使用した機械翻訳システムを開示する。
具体的には、特許文献１のニューラル機械翻訳システムのエンコーダニューラルネットワークは、入力シーケンスの各入力トークンのそれぞれの順方向表現を生成する入力順方向長短期メモリ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ：ＬＳＴＭ）層と、各入力トークンのそれぞれの逆方向表現を生成する入力逆方向ＬＳＴＭ層と、入力トークンの順方向表現と逆方向表現とを組み合わせた入力トークンの組み合わせ表現を生成する組み合わせ層と、各組合せ表現を順方向に処理して各入力トークンのそれぞれの符号化表現を生成する複数の隠れＬＳＴＭ層を備える。
このニューラル機械翻訳システムのデコーダニューラルネットワークは、各入力トークンの符号化表現に対する加重合計としての所与の位置におけるアテンション文脈ベクトルと出力トークンとを、出力シーケンス内の複数の位置ごとに処理する複数のＬＳＴＭ層と、出力トークンごとにスコアを生成して、出力シーケンスを生成するソフトマックス出力層とを備える。
具体的には、特許文献１のニューラル機械翻訳システムのエンコーダニューラルネットワークは、入力シーケンスの各入力トークンのそれぞれの順方向表現を生成する入力順方向長短期メモリ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ：ＬＳＴＭ）層と、各入力トークンのそれぞれの逆方向表現を生成する入力逆方向ＬＳＴＭ層と、入力トークンの順方向表現と逆方向表現とを組み合わせた入力トークンの組み合わせ表現を生成する組み合わせ層と、各組合せ表現を順方向に処理して各入力トークンのそれぞれの符号化表現を生成する複数の隠れＬＳＴＭ層を備える。
このニューラル機械翻訳システムのデコーダニューラルネットワークは、各入力トークンの符号化表現に対する加重合計としての所与の位置におけるアテンション文脈ベクトルと出力トークンとを、出力シーケンス内の複数の位置ごとに処理する複数のＬＳＴＭ層と、出力トークンごとにスコアを生成して、出力シーケンスを生成するソフトマックス出力層とを備える。
【先行技術文献】
【特許文献】
【0004】
【文献】特表２０１９－５３７０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、翻訳先であるターゲット言語が、敬語表現を持つ場合、１つのソース言語のテキスト（入力シーケンス）から、同じ意味を持つ複数のターゲット言語のテキスト（出力シーケンス）が出力され得る。
【0006】
例えば、ソース言語を英語とし、ターゲット言語を日本語とする場合、翻訳元のテキスト「Ｉ ｄｏｎ’ｔ ｈａｖｅ ｔｉｍｅ ｔｏｄａｙ．」は、「今日は時間がない。」という非敬語表現にも、あるいは「今日は時間がありません。」という敬語表現にも機械翻訳され得る。
ここで、上記の非敬語表現と敬語表現とは、同じ意味内容を持つ等価な表現であるものの、当該テキストの読み手や会話の相手、あるいは当該テキストが使用される状況等を含む広義の文脈に応じて、いずれかが適切に選択されなければ、機械翻訳における翻訳品質が低下してしまう。
ここで、上記の非敬語表現と敬語表現とは、同じ意味内容を持つ等価な表現であるものの、当該テキストの読み手や会話の相手、あるいは当該テキストが使用される状況等を含む広義の文脈に応じて、いずれかが適切に選択されなければ、機械翻訳における翻訳品質が低下してしまう。
【0007】
しかしながら、従来のニューラル機械翻訳システムでは、翻訳先であるターゲット言語が敬語表現（ｈｏｎｏｒｉｆｉｃｓ）を持つ場合であっても、学習モデルを学習させる際に、上記の敬語表現の有無が十分に考慮されているとはいえなかった。
このため、ターゲット言語における敬語表現を、学習モデルに対して十分に学習させることができず、ひいては当該学習済みモデルを用いて推論する機械翻訳の翻訳品質もまた低下してしまうおそれがあった。
このため、ターゲット言語における敬語表現を、学習モデルに対して十分に学習させることができず、ひいては当該学習済みモデルを用いて推論する機械翻訳の翻訳品質もまた低下してしまうおそれがあった。
【0008】
本発明は上記課題を解決するためになされたものであり、その目的は、機械翻訳のターゲット言語が敬語表現を含む場合であっても、高精度な機械翻訳結果を得ることが可能な情報処理装置、情報処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明に係る情報処理装置の一態様は、機械翻訳元である第１の自然言語シーケンスと機械翻訳先である第２の自然言語シーケンスとを対応付けて、学習データとして格納する第１の学習データセットを取得するデータセット取得部と、前記データセット取得部により取得された前記第１の学習データセットの前記第２の自然言語シーケンス中で、非敬語表現および敬語表現のいずれかを示すセグメントを抽出し、抽出された前記セグメントを解析する解析部と、前記解析部による前記セグメントの解析結果に基づいて、前記第１の学習データセットを、前記第１の学習データセットと異なる第２の学習データセットであって、前記第１の学習データセットに対して、前記第２の自然言語シーケンスにおける前記敬語表現が前記非敬語表現より豊富化された第２の学習データセットに変換するデータセット変換部と、前記データセット変換部により変換された前記第２の学習データセットを学習モデルに入力して、前記学習モデルを学習させる学習実行部とを備える。
【0010】
前記解析部は、前記第１のデータセットの前記第２の自然言語シーケンス中で、語尾変化する箇所を前記セグメントとして抽出してよい。
【0011】
前記情報処理装置は、前記解析部により抽出された前記セグメントの敬語表現レベルを分類する分類器をさらに備えてよく、前記データセット変換部は、前記分類器が出力する前記敬語表現レベルの分類結果に基づいて、前記第１の学習データセットを前記第２の学習データセットに変換してよい。
【0012】
前記データセット変換部は、前記分類器が出力する前記敬語表現レベルの前記分類結果を、前記第２の学習データセットに格納すべき前記第１の自然言語シーケンスに付加してよい。
【0013】
前記データセット変換部は、前記第２の自然言語シーケンス中の前記セグメントを、前記敬語表現のセグメントで置き換えて、前記第２の自然言語シーケンスを前記第２の学習データセットに出力してよい。
【0014】
前記データセット変換部は、前記敬語表現レベルごとに動詞形態を定義する変換ルールを参照して、テキストマッチングにより、前記第２の自然言語シーケンス中の前記セグメントを、前記第２の学習データセットに出力すべき前記敬語表現のセグメントに変換してよい。
【0015】
前記データセット変換部は、前記解析部により抽出された前記セグメントが示す敬語表現レベル以外の敬語表現レベルを示すセグメントを生成し、生成されたセグメントを含む前記第２の自然言語シーケンスを生成し、複数の前記第２の自然言語シーケンスにそれぞれ対応する複数の前記第２の学習データセットを生成してよい。
【0016】
前記データセット変換部は、前記解析部により抽出された前記セグメントのうち、前記敬語表現を示すセグメントを特定し、特定されたセグメントを含む前記第２の自然言語シーケンスと対応する前記第１の自然言語シーケンスを前記第２のデータセットに出力してよい。
【0017】
前記データセット変換部は、前記第１の学習データセットを、前記敬語表現に属する複数の敬語表現レベルのうち、より低い敬語表現が前記非敬語表現より豊富化された前記第２の学習データセットに変換してよい。
【0018】
前記学習モデルは、前記非敬語表現および前記敬語表現にそれぞれ対応する複数の出力チャネルを備えてよい。
【0019】
本発明に係る情報処理方法の一態様は、情報処理装置が実行する情報処理方法であって、機械翻訳元である第１の自然言語シーケンスと機械翻訳先である第２の自然言語シーケンスとを対応付けて、学習データとして格納する第１の学習データセットを取得するステップと、取得された前記第１の学習データセットの前記第２の自然言語シーケンス中で、非敬語表現および敬語表現のいずれかを示すセグメントを抽出し、抽出された前記セグメントを解析するステップと、前記セグメントの解析結果に基づいて、前記第１の学習データセットを、前記第１の学習データセットと異なる第２の学習データセットであって、前記第１の学習データセットに対して、前記第２の自然言語シーケンスにおける前記敬語表現が前記非敬語表現より豊富化された第２の学習データセットに変換するステップと、前記データセット変換部により変換された前記第２の学習データセットを学習モデルに入力して、前記学習モデルを学習させるステップと、を含む。
【0020】
本発明に係る情報処理プログラムの一態様は、情報処理をコンピュータに実行させるための情報処理プログラムであって、該プログラムは、前記コンピュータに、機械翻訳元である第１の自然言語シーケンスと機械翻訳先である第２の自然言語シーケンスとを対応付けて、学習データとして格納する第１の学習データセットを取得するデータセット取得処理と、前記データセット取得処理により取得された前記第１の学習データセットの前記第２の自然言語シーケンス中で、非敬語表現および敬語表現のいずれかを示すセグメントを抽出し、抽出された前記セグメントを解析する解析処理と、前記解析処理による前記セグメントの解析結果に基づいて、前記第１の学習データセットを、前記第１の学習データセットと異なる第２の学習データセットであって、前記第１の学習データセットに対して、前記第２の自然言語シーケンスにおける前記敬語表現が前記非敬語表現より豊富化された第２の学習データセットに変換するデータセット変換処理と、前記データセット変換処理により変換された前記第２の学習データセットを学習モデルに入力して、前記学習モデルを学習させる学習実行処理と、を含む処理を実行させるためのものである。
【発明の効果】
【0021】
本発明によれば、機械翻訳のターゲット言語が敬語表現を含む場合であっても、高精度な機械翻訳結果を得ることができる。
上記した本発明の目的、態様及び効果並びに上記されなかった本発明の目的、態様及び効果は、当業者であれば添付図面及び請求の範囲の記載を参照することにより下記の発明を実施するための形態から理解できるであろう。
上記した本発明の目的、態様及び効果並びに上記されなかった本発明の目的、態様及び効果は、当業者であれば添付図面及び請求の範囲の記載を参照することにより下記の発明を実施するための形態から理解できるであろう。
【図面の簡単な説明】
【0022】
【発明を実施するための形態】
【0023】
以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。以下に開示される構成要素のうち、同一機能を有するものには同一の符号を付し、その説明を省略する。なお、以下に開示される実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【0024】
（実施形態１）
本実施形態に係る学習モデル制御装置は、翻訳元であるソース言語のシーケンスと翻訳先であるターゲット言語のシーケンスとを対応付けて記憶する学習用データセットを取得し、取得された学習用データセットを解析して、当該学習用データセットとの比較において非敬語表現より敬語表現が豊富化された学習用データセットに変換する。
本実施形態に係る学習モデル制御装置はまた、変換後の学習用データセットを用いて、機械翻訳用の学習モデルを機械学習させる。
本実施形態に係る学習モデル制御装置は、翻訳元であるソース言語のシーケンスと翻訳先であるターゲット言語のシーケンスとを対応付けて記憶する学習用データセットを取得し、取得された学習用データセットを解析して、当該学習用データセットとの比較において非敬語表現より敬語表現が豊富化された学習用データセットに変換する。
本実施形態に係る学習モデル制御装置はまた、変換後の学習用データセットを用いて、機械翻訳用の学習モデルを機械学習させる。
【0025】
以下では、本実施形態が、翻訳元であるソース言語を英語とし、翻訳先であるターゲット言語を日本語として、機械翻訳用の学習モデルを機械学習させる例を説明するが、本実施形態はこれに限定されない。
本実施形態は、敬語表現を含む言語である機械翻訳に適用可能である。さらに、本実施形態は、敬語表現に限定されることなく、ソース言語の１つのシーケンスが、ターゲット言語の意味的に等価な複数のシーケンスに機械翻訳可能な学習モデルに適用可能である。
本実施形態は、敬語表現を含む言語である機械翻訳に適用可能である。さらに、本実施形態は、敬語表現に限定されることなく、ソース言語の１つのシーケンスが、ターゲット言語の意味的に等価な複数のシーケンスに機械翻訳可能な学習モデルに適用可能である。
【0026】
また、以下では、本実施形態が、ターゲット言語である日本語のシーケンスの語尾変化（ｉｎｆｌｅｃｔｉｏｎ）に着目して敬語表現レベルを解析する例を説明するが、本実施形態はこれに限定されず、例えば、形態素解析によりシーケンス中に記述される名詞や代名詞の種類を解析して、敬語表現レベルを解析してもよい。
【0027】
＜学習モデル制御装置の機能構成＞
図１は、本実施形態に係る学習モデル制御装置１の機能構成の一例を示すブロック図である。
図１に示す学習モデル制御装置１は、データセット取得部１１、解析部１２、データセット変換部１３、出力部１４、および学習実行部１５を備える。学習モデル制御装置１は、機械翻訳用の学習モデル（以下、「機械翻訳モデル」という。）２を、学習用データセット格納部３に格納される学習用データセット、および変換後データセット格納部４に格納される変換後データセットを用いて機械学習させる。
図１は、本実施形態に係る学習モデル制御装置１の機能構成の一例を示すブロック図である。
図１に示す学習モデル制御装置１は、データセット取得部１１、解析部１２、データセット変換部１３、出力部１４、および学習実行部１５を備える。学習モデル制御装置１は、機械翻訳用の学習モデル（以下、「機械翻訳モデル」という。）２を、学習用データセット格納部３に格納される学習用データセット、および変換後データセット格納部４に格納される変換後データセットを用いて機械学習させる。
【0028】
学習モデル制御装置１は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等で構成されるクライアント装置（不図示）とネットワークを介して通信可能に接続してよい。この場合、学習モデル制御装置１はサーバに実装され、クライアント装置は、学習モデル制御装置１が外部と情報の入出力を実行する際のユーザインタフェースを提供してよく、また、学習モデル制御装置１の各コンポーネント１１～１５の一部または全部を備えてもよい。
【0029】
データセット取得部１１は、学習用データセット格納部３から、本実施形態に係る機械学習処理においてデータ変換すべき学習用データセットを取得して、取得された学習用データセットを解析部１２へ供給する。
【0030】
学習用データセット格納部３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成され、機械翻訳モデル２を学習させるための学習用データセットを格納する。学習用データセットは、翻訳元であるソース言語のシーケンスと、翻訳先であるターゲット言語のシーケンスとを対として記憶するパラレルデータセットであってよい。ただし、本実施形態はこれに限定されず、ソース言語のシーケンスとターゲット言語のシーケンスが何らか論理的に関連付けられていればよい。
【0031】
ソース言語およびターゲット言語のシーケンスは、例えば、ピリオドや句点等で終端する１つの文（センテンス）であってよいが、複数の文を含む段落（パラグラフ）等であってもよい。
学習用データセット格納部３に格納されるソース言語およびターゲット言語のシーケンス対はそれぞれ、機械翻訳モデル２を事前学習させるための教師データである。ソース言語のシーケンスと対をなすターゲット言語のシーケンスが、機械翻訳の推論における正解を示す。
学習用データセット格納部３に格納されるソース言語およびターゲット言語のシーケンス対はそれぞれ、機械翻訳モデル２を事前学習させるための教師データである。ソース言語のシーケンスと対をなすターゲット言語のシーケンスが、機械翻訳の推論における正解を示す。
【0032】
データセット取得部１１は、学習用データセット格納部３に予め格納された学習用データセットを読み出すことにより、データ変換すべき学習用データセットを取得してもよく、あるいは、学習用データセットを記憶する同一のまたは異なる対向装置から通信Ｉ／Ｆを介して学習用データセットを受信してもよい。
【0033】
データセット取得部１１はまた、学習モデル制御装置１において機械学習処理を実行するために必要な各種パラメータの入力を受け付ける。データセット取得部１１は、学習モデル制御装置１と通信可能に接続されるクライアント装置のユーザインタフェースを介して、各種パラメータの入力を受け付けてよい。
【0034】
解析部１２は、データセット取得部１１から供給される学習用データセットを解析して、解析結果をデータセット変換部１３へ供給する。
具体的には、解析部１２は、学習用データセット中のターゲット言語のシーケンスに記述される語尾変化（例えば、動詞活用）を解析することにより、当該ターゲット言語のシーケンス（以下、「ターゲットシーケンス」ともいう。）における敬語表現レベルを判定してよい。解析部１２はまた、ターゲットシーケンスにおいて語尾変化（例えば、動詞活用）するセグメントを注目セグメントとして判定してよい。すなわち、注目セグメントとは、異なる敬語表現レベルにおいて、異なる語尾変化が記述されるターゲットシーケンス中のセグメントである。解析部１２が実行するこの判定処理の詳細は、図４を参照して後述する。
具体的には、解析部１２は、学習用データセット中のターゲット言語のシーケンスに記述される語尾変化（例えば、動詞活用）を解析することにより、当該ターゲット言語のシーケンス（以下、「ターゲットシーケンス」ともいう。）における敬語表現レベルを判定してよい。解析部１２はまた、ターゲットシーケンスにおいて語尾変化（例えば、動詞活用）するセグメントを注目セグメントとして判定してよい。すなわち、注目セグメントとは、異なる敬語表現レベルにおいて、異なる語尾変化が記述されるターゲットシーケンス中のセグメントである。解析部１２が実行するこの判定処理の詳細は、図４を参照して後述する。
【0035】
データセット変換部１３は、解析部１２から供給される敬語表現レベルに関する解析結果に基づいて、学習用データセットを変換し、変換後のデータセットを出力部１４へ供給する。
本実施形態において、データセット変換部１３は、データセット取得部１１により取得される学習用データセットのうち、すべてのターゲットシーケンスの注目セグメントを、敬語表現に変換することにより、変換後のデータセットを生成する。すなわち、変換後のデータセットは、変換前の学習用データセットと比較して、非敬語表現より敬語表現が豊富化されていることになる。
なお、本実施形態では、データセット変換部１３は、解析部１２によるターゲットセンテンスに係る敬語表現レベルの判定を経ずに、注目セグメントの変換を含む学習用データセットの変換を行ってよい。
本実施形態において、データセット変換部１３は、データセット取得部１１により取得される学習用データセットのうち、すべてのターゲットシーケンスの注目セグメントを、敬語表現に変換することにより、変換後のデータセットを生成する。すなわち、変換後のデータセットは、変換前の学習用データセットと比較して、非敬語表現より敬語表現が豊富化されていることになる。
なお、本実施形態では、データセット変換部１３は、解析部１２によるターゲットセンテンスに係る敬語表現レベルの判定を経ずに、注目セグメントの変換を含む学習用データセットの変換を行ってよい。
【0036】
具体的には、データセット変換部１３は、語尾が非敬語表現で記述されるターゲットシーケンスを、語尾が敬語表現で記述されるターゲットシーケンスに変換する。
一方、データセット変換部１３は、語尾が敬語表現で記述されるターゲットシーケンスを、そのまま変換後のデータセットに出力してもよく、語尾が異なるレベルの敬語表現で記述されるターゲットシーケンスに変換してもよい。データセット変換部１３が実行するこのデータセット変換処理の詳細は、図５～図７を参照して後述する。
一方、データセット変換部１３は、語尾が敬語表現で記述されるターゲットシーケンスを、そのまま変換後のデータセットに出力してもよく、語尾が異なるレベルの敬語表現で記述されるターゲットシーケンスに変換してもよい。データセット変換部１３が実行するこのデータセット変換処理の詳細は、図５～図７を参照して後述する。
【0037】
出力部１４は、データセット変換部１３から供給される変換後のデータセットを、変換後データセット４に出力する。出力部１４はまた、変換後のデータセットの全部または一部を、表示装置等を介して表示出力してもよい。
【0038】
変換後データセット格納部４は、学習用データセット格納部３と同様、ＨＤＤ、ＳＳＤ等の不揮発性記憶装置で構成され、機械翻訳モデル２を学習させるための変換後データセットを格納する。変換後データセットは、学習用データセットと同様、翻訳元であるソース言語のシーケンス（以下、「ソースシーケンス」ともいう。）と、翻訳先であるターゲット言語のシーケンス（ターゲットシーケンス）とを対として記憶するパラレルデータセットであってよい。
【0039】
学習実行部１５は、変換後データセット格納部１４に格納された変換後データセットを学習データとして機械翻訳モデル２に入力して、ソースシーケンスをターゲットシーケンスに機械翻訳するためのパラメータセットを機械翻訳モデル２に機械学習させる。
【0040】
機械翻訳モデル２は、学習用データセット格納部２に格納されたデータ変換前の学習用データセットで事前学習された学習済み機械翻訳モデル２であってよい。
この場合、学習実行部１５は、データ変換部１３によりデータ変換された変換後データセットを用いて、学習済み機械翻訳モデル２を追加学習させて、ターゲットシーケンスの敬語表現を考慮した機械翻訳のパラメータセットを微調整させることになる。
この場合、学習実行部１５は、データ変換部１３によりデータ変換された変換後データセットを用いて、学習済み機械翻訳モデル２を追加学習させて、ターゲットシーケンスの敬語表現を考慮した機械翻訳のパラメータセットを微調整させることになる。
【0041】
上記の学習フェーズを経て学習した学習済みの機械翻訳モデル２は、推論フェーズにおいて、１つのソースシーケンスに対して、非敬語表現および敬語表現を含む複数のターゲットシーケンスを出力することができる。すなわち、機械翻訳モデル２は、非敬語表現および敬語表現を含む複数のターゲットシーケンスをそれぞれ出力する、複数の出力チャネルを有してよい。
【0042】
あるいは、機械翻訳モデル２は、所望の敬語表現レベルがタグ（トークン）として付与されたソースシーケンスを入力とし、ソースシーケンスに付与された敬語表現レベルと一致する敬語表現レベルを含むターゲットシーケンスを選択的に出力してもよい。また、機械翻訳モデル２は、文脈上の特徴を解析することにより、あるいはユーザからの指示入力にしたがって、複数の敬語表現レベルのうちいずれかの敬語表現レベルを含むターゲットシーケンスを選択的に出力してもよい。
【0043】
＜機械翻訳モデルのネットワーク構成例＞
図２は、本実施形態に係る学習モデル制御装置１が学習させる学習モデルである機械翻訳モデル２をニューラルネットワークに実装する場合のネットワーク構成の一例を示す概念図である。
図２は、機械翻訳モデル２を、ニューラル機械翻訳を実行するＴｒａｎｓｆｏｒｍｅｒベースのモデルに実装する例を示す。ただし、機械翻訳モデル２を実装可能なネットワークはＴｒａｎｓｆｏｒｍｅｒベースのモデルに限定されず、例えば、再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＲＮＮ）や畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）等、あらゆる構造のネットワークに実装されてよい。
図２は、本実施形態に係る学習モデル制御装置１が学習させる学習モデルである機械翻訳モデル２をニューラルネットワークに実装する場合のネットワーク構成の一例を示す概念図である。
図２は、機械翻訳モデル２を、ニューラル機械翻訳を実行するＴｒａｎｓｆｏｒｍｅｒベースのモデルに実装する例を示す。ただし、機械翻訳モデル２を実装可能なネットワークはＴｒａｎｓｆｏｒｍｅｒベースのモデルに限定されず、例えば、再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＲＮＮ）や畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）等、あらゆる構造のネットワークに実装されてよい。
【0044】
図２を参照して、機械翻訳モデル２は、それぞれ異なる時系列データが入力されるエンコーダ部およびデコーダ部を含む。
エンコーダ部は、同一の構造を有する複数のエンコーダ２１、２２・・・をスタックすることにより構成されている。例えば、６つのエンコーダがスタックされてよい。デコーダ部は、同一の構造を有する複数のデコーダ２３、２４・・・をスタックすることにより構成されている。例えば、６つのデコーダがスタックされてよい。
エンコーダ部は、同一の構造を有する複数のエンコーダ２１、２２・・・をスタックすることにより構成されている。例えば、６つのエンコーダがスタックされてよい。デコーダ部は、同一の構造を有する複数のデコーダ２３、２４・・・をスタックすることにより構成されている。例えば、６つのデコーダがスタックされてよい。
【0045】
複数のエンコーダ２１、２２・・・はそれぞれ、翻訳元であるソース言語のソースシーケンスの各要素（入力単語）を処理する。
翻訳元であるソース言語のソースシーケンス中の各要素は、埋め込み層（不図示）により例として５１２次元のベクトルに圧縮され、位置エンコーダ層により位置情報が付加される。エンコーダ２１の自己注意層（Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ）によって、入力シーケンス内（同一シーケンス）内の要素同士の照応関係（アライメント）情報（類似度や重要度等）が獲得され、各ベクトルに付加される。自己注意層の出力は、各種の正規化処理を経て、フィードフォワードネットワーク（全結合層）で活性化関数が適用されて、最終出力値が決定され、さらに正規化処理される。後続するエンコーダ２２以降でも、同様の処理が繰返される。
翻訳元であるソース言語のソースシーケンス中の各要素は、埋め込み層（不図示）により例として５１２次元のベクトルに圧縮され、位置エンコーダ層により位置情報が付加される。エンコーダ２１の自己注意層（Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ）によって、入力シーケンス内（同一シーケンス）内の要素同士の照応関係（アライメント）情報（類似度や重要度等）が獲得され、各ベクトルに付加される。自己注意層の出力は、各種の正規化処理を経て、フィードフォワードネットワーク（全結合層）で活性化関数が適用されて、最終出力値が決定され、さらに正規化処理される。後続するエンコーダ２２以降でも、同様の処理が繰返される。
【0046】
複数のデコーダ２３、２４・・・はそれぞれ、翻訳先であるターゲット言語のターゲットシーケンスの各要素を処理する。
デコーダ２３でも、エンコーダ２１と同様、各要素は、埋め込み層（不図示）により例として５１２次元のベクトルに圧縮され、位置エンコーダ層により位置情報が付加される。デコーダ２３の自己注意層（Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ）によって、同一シーケンス内の要素同士の照応関係情報が獲得され、各ベクトルに付加される。デコーダ２３においては、注意機構（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ Ａｔｔｅｎｔｉｏｎ）が、各種の正規化処理を経た自己注意層の出力をクエリ（Ｑｕｅｒｙ）とし、エンコーダ部の出力をキー（Ｋｅｙ）およびバリュー（Ｖａｌｕｅ）として、ソースシーケンスとターゲットシーケンスの間の要素同士の照応関係情報が獲得され、各ベクトルに付加される。注意機構の出力は、各種の正規化処理を経て、フィードフォワードネットワーク（全結合層）で活性化関数が適用されて、最終出力値が決定され、さらに正規化処理される。後続するデコーダ２４以降でも、同様の処理が繰返される。
デコーダ２３でも、エンコーダ２１と同様、各要素は、埋め込み層（不図示）により例として５１２次元のベクトルに圧縮され、位置エンコーダ層により位置情報が付加される。デコーダ２３の自己注意層（Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ）によって、同一シーケンス内の要素同士の照応関係情報が獲得され、各ベクトルに付加される。デコーダ２３においては、注意機構（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ Ａｔｔｅｎｔｉｏｎ）が、各種の正規化処理を経た自己注意層の出力をクエリ（Ｑｕｅｒｙ）とし、エンコーダ部の出力をキー（Ｋｅｙ）およびバリュー（Ｖａｌｕｅ）として、ソースシーケンスとターゲットシーケンスの間の要素同士の照応関係情報が獲得され、各ベクトルに付加される。注意機構の出力は、各種の正規化処理を経て、フィードフォワードネットワーク（全結合層）で活性化関数が適用されて、最終出力値が決定され、さらに正規化処理される。後続するデコーダ２４以降でも、同様の処理が繰返される。
【0047】
デコーダ部の出力は、線形層（Ｌｉｎｅａｒ）２５により、出力語彙数と同じセル幅を持つロジットベクトルに変換され、Ｓｏｆｔｍａｘ層２６により、各セルの予測確率が算出される。機械翻訳モデル２は、最終的に、最も高い確率を持つセルを選択し、選択されたセルに関連する単語を予想される翻訳として出力する。
【0048】
＜学習モデル制御装置１が実行する機械学習処理＞
図３は、本実施形態に係る学習モデル制御装置１が実行する機械学習処理の概略処理手順の一例を示すフローチャートである。
なお、図３の各ステップは、学習モデル制御装置１のＨＤＤ等の記憶装置に記憶されたプログラムをＣＰＵが読み出し、実行することで実現される。また、図３に示すフローチャートの少なくとも一部をＧＰＵなどの他のハードウエアにより実現してもよい。ハードウエアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）上に自動的に専用回路を生成すればよい。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウエアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。
図３は、本実施形態に係る学習モデル制御装置１が実行する機械学習処理の概略処理手順の一例を示すフローチャートである。
なお、図３の各ステップは、学習モデル制御装置１のＨＤＤ等の記憶装置に記憶されたプログラムをＣＰＵが読み出し、実行することで実現される。また、図３に示すフローチャートの少なくとも一部をＧＰＵなどの他のハードウエアにより実現してもよい。ハードウエアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）上に自動的に専用回路を生成すればよい。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウエアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。
【0049】
Ｓ１で、学習モデル制御装置１のデータセット取得部１１は、学習用データセット格納部３から、学習用データセットを読み出すことにより取得する。
Ｓ１で学習用データセット格納部３から読み出される学習用データセットは、機械翻訳モデル２を学習させるためのデータセットであり、例えば、翻訳元であるソース言語のシーケンス（ソースシーケンス）と、翻訳先であるターゲット言語のシーケンス（ターゲットシーケンス）とを対として記憶するパラレルデータセットであってよい。
Ｓ１で学習用データセット格納部３から読み出される学習用データセットは、機械翻訳モデル２を学習させるためのデータセットであり、例えば、翻訳元であるソース言語のシーケンス（ソースシーケンス）と、翻訳先であるターゲット言語のシーケンス（ターゲットシーケンス）とを対として記憶するパラレルデータセットであってよい。
【0050】
Ｓ２で、学習モデル制御装置１の解析部１２は、Ｓ１で取得される学習用データセットを解析する。
具体的には、解析部１２は、学習用データセット中のターゲットシーケンスに記述される語尾変化（例えば、動詞活用）を解析することにより、当該ターゲットシーケンスにおける敬語表現レベルを判定してよい。解析部１２はまた、ターゲットシーケンスにおいて語尾変化（例えば、動詞活用）するセグメントを注目セグメントとして判定してよい。
具体的には、解析部１２は、学習用データセット中のターゲットシーケンスに記述される語尾変化（例えば、動詞活用）を解析することにより、当該ターゲットシーケンスにおける敬語表現レベルを判定してよい。解析部１２はまた、ターゲットシーケンスにおいて語尾変化（例えば、動詞活用）するセグメントを注目セグメントとして判定してよい。
【0051】
敬語表現レベルの判定の詳細につき、図４を参照して説明する。
図４は、ターゲット言語における複数の敬語表現レベルの一例を説明する図である。
翻訳対象言語が日本語である場合、図４を参照して、１つの文意から、３つの敬語表現レベル４１～４３が派生する。
３つの敬語表現レベル４１～４３は同一の文意を持ち、いずれも、英語のセンテンス「Ｔｈｅｒｅ ａｒｅ ｍａｎｙ ｓｈｏｐｓ ｎｅａｒ ｔｈｅ ｔｒａｉｎ ｓｔａｔｉｏｎ．」に相当する。
図４は、ターゲット言語における複数の敬語表現レベルの一例を説明する図である。
翻訳対象言語が日本語である場合、図４を参照して、１つの文意から、３つの敬語表現レベル４１～４３が派生する。
３つの敬語表現レベル４１～４３は同一の文意を持ち、いずれも、英語のセンテンス「Ｔｈｅｒｅ ａｒｅ ｍａｎｙ ｓｈｏｐｓ ｎｅａｒ ｔｈｅ ｔｒａｉｎ ｓｔａｔｉｏｎ．」に相当する。
【0052】
敬語表現レベル４１は、非敬語（ｉｎｆｏｒｍａｌ）であり、「駅の近くにたくさんのお店がある。」というセンテンスで記述される。敬語表現レベル４２は、丁寧語（ｐｏｌｉｔｅ）であり、「駅の近くにたくさんのお店があります。」というセンテンスで記述される。敬語表現レベル４３は、尊敬語（ｆｏｒｍａｌ／ｈｏｎｏｒｉｆｉｃ）であり、「駅の近くにたくさんのお店がございます。」というセンテンスで記述される。敬語表現レベル４２および４３は、いずれも敬語に属するが、尊敬語である敬語表現レベル４３は、丁寧語である敬語表現レベル４２より高いレベルの敬語表現である。
【0053】
敬語表現レベル４１～４３の各センテンスは、語尾の記述「ある。」、「あります。」、「ございます。」において相違する。すなわち、ソースシーケンスまたはターゲットシーケンス中の語尾変化（ｉｎｆｌｅｃｔｉｏｎ）、典型的には、主たる動詞の活用（ｖｅｒｂ ｃｏｎｊｕｇａｔｉｏｎ）に注目することにより、敬語表現レベルを判定することができることが理解できる。
【0054】
本実施形態では、学習モデル制御装置１の解析部１２は、ターゲットシーケンス中の語尾変化の部分、すなわち語尾の動詞活用の部分を注目セグメントとして特定する。
なお、本実施形態はこれに限定されず、他の敬語表現レベルを識別してもよい。例えば、「伺う。」、「申し上げる。」等の謙譲語、「参る。」、「申す。」等の丁重語は、いずれも上記と同様、シーケンス中の動詞の活用に起因する語尾変化で識別することができる。また、例えば、「お料理」、「ご住所」等の美化語は、シーケンス中の名詞に付加された接頭辞（ｐｒｅｆｉｘ）で識別することができる。さらに、シーケンス（センテンス）を形態素解析して、名詞や代名詞の種別により、敬語表現レベルを識別してもよい。
なお、本実施形態はこれに限定されず、他の敬語表現レベルを識別してもよい。例えば、「伺う。」、「申し上げる。」等の謙譲語、「参る。」、「申す。」等の丁重語は、いずれも上記と同様、シーケンス中の動詞の活用に起因する語尾変化で識別することができる。また、例えば、「お料理」、「ご住所」等の美化語は、シーケンス中の名詞に付加された接頭辞（ｐｒｅｆｉｘ）で識別することができる。さらに、シーケンス（センテンス）を形態素解析して、名詞や代名詞の種別により、敬語表現レベルを識別してもよい。
【0055】
図３に戻り、Ｓ３で、学習モデル制御装置１のデータセット変換部１３は、Ｓ１で取得された学習用データセットを、敬語表現が豊富化された学習用データセットに変換する。
具体的には、データセット変換部１３は、解析部１２による解析結果、すなわち、解析部１２により抽出された注目セグメント、および／または判定された敬語表現レベルに基づいて、Ｓ１で取得された学習用データセットと比較して、非敬語表現より敬語表現が豊富化された、ソースシーケンスおよびターゲットシーケンスの対を含むデータセットを生成する。
具体的には、データセット変換部１３は、解析部１２による解析結果、すなわち、解析部１２により抽出された注目セグメント、および／または判定された敬語表現レベルに基づいて、Ｓ１で取得された学習用データセットと比較して、非敬語表現より敬語表現が豊富化された、ソースシーケンスおよびターゲットシーケンスの対を含むデータセットを生成する。
【0056】
本実施形態において、データセット変換部１３は、Ｓ１で取得される学習用データセットのうち、すべてのターゲットシーケンスの注目セグメントを、敬語表現に変換することにより、変換後のデータセットを生成する。
本実施形態におけるデータセット変換処理の詳細は、図５～図７を参照して後述する。
本実施形態におけるデータセット変換処理の詳細は、図５～図７を参照して後述する。
【0057】
Ｓ４で、学習モデル制御装置１の出力部１４は、Ｓ３で変換された学習用データセットを、変換後データセット格納部４に出力する。
Ｓ５で、学習モデル制御装置１の学習実行部１５は、Ｓ４で変換後データセット格納部４に格納された変換後データセットを学習用データセットとして、機械翻訳モデル２を学習させる。なお、Ｓ１からＳ４は、Ｓ５における機械翻訳モデル２に対する学習実行の前処理（プリプロセス）となる。
機械翻訳モデル２は、学習用データセット格納部３に格納される変換前の学習用データセットで予め学習させた学習済み機械翻訳モデル２であってよい。この場合、Ｓ５における学習は、学習済み機械翻訳モデル２に対する追加的学習となる。
Ｓ５で、学習モデル制御装置１の学習実行部１５は、Ｓ４で変換後データセット格納部４に格納された変換後データセットを学習用データセットとして、機械翻訳モデル２を学習させる。なお、Ｓ１からＳ４は、Ｓ５における機械翻訳モデル２に対する学習実行の前処理（プリプロセス）となる。
機械翻訳モデル２は、学習用データセット格納部３に格納される変換前の学習用データセットで予め学習させた学習済み機械翻訳モデル２であってよい。この場合、Ｓ５における学習は、学習済み機械翻訳モデル２に対する追加的学習となる。
【0058】
＜データセット変換処理詳細＞
図５は、本実施形態に係る学習モデル制御装置１のデータセット変換部１３が実行するデータセット変換処理を説明する概念図である。
図５を参照して、変換前の学習用データセットは、ソースシーケンス５１およびターゲットシーケンス５２の対を含む。例えば、翻訳元のソースシーケンス５１は英語であり、翻訳先のターゲットシーケンス５２は日本語であるものとする。
本実施形態では、データセット変換部１３は、学習用データセットのターゲットシーケンス５２をターゲットシーケンス５３に変換し、一方、ソースシーケンス５１は変換せず、そのまま変換後のデータセットに出力する。
具体的には、データセット変換部１３は、学習用データセットに格納されるすべてのターゲットシーケンス５２を、敬語表現のターゲットシーケンス５３に変換する。
図５は、本実施形態に係る学習モデル制御装置１のデータセット変換部１３が実行するデータセット変換処理を説明する概念図である。
図５を参照して、変換前の学習用データセットは、ソースシーケンス５１およびターゲットシーケンス５２の対を含む。例えば、翻訳元のソースシーケンス５１は英語であり、翻訳先のターゲットシーケンス５２は日本語であるものとする。
本実施形態では、データセット変換部１３は、学習用データセットのターゲットシーケンス５２をターゲットシーケンス５３に変換し、一方、ソースシーケンス５１は変換せず、そのまま変換後のデータセットに出力する。
具体的には、データセット変換部１３は、学習用データセットに格納されるすべてのターゲットシーケンス５２を、敬語表現のターゲットシーケンス５３に変換する。
【0059】
図６は、本実施形態に係る学習モデル制御装置１のデータセット変換部１３が実行するデータセット変換処理の詳細処理手順の一例を示すフローチャートである。
Ｓ３０１で、データセット変換部１３は、解析部１２から得られる学習用データセットの解析結果に基づいて、ターゲットシーケンス５２中の注目セグメントを特定する。
Ｓ３０２で、データセット変換部１３は、Ｓ３０１で特定されたターゲットシーケンス５２中の注目セグメントに、敬語表現への変換ルールを適用する。
Ｓ３０１で、データセット変換部１３は、解析部１２から得られる学習用データセットの解析結果に基づいて、ターゲットシーケンス５２中の注目セグメントを特定する。
Ｓ３０２で、データセット変換部１３は、Ｓ３０１で特定されたターゲットシーケンス５２中の注目セグメントに、敬語表現への変換ルールを適用する。
【0060】
図７は、本実施形態に係る学習モデル制御装置１のデータセット変換部１３が参照する敬語表現への変換ルールの一例を説明する図である。
図７を参照して、変換ルールは、３つの敬語表現レベル、すなわち非敬語表現７１、丁寧語表現７２、および尊敬語表現７３について、それぞれ、語尾変化である動詞の形態のパターンを記述する。
非敬語表現７１の動詞の形態は、「だ」、「だった」、「だから」、「だけど」等を含み、丁寧語表現７２の動詞の形態は、「です」、「でした」、「ましょう」、「でしょう」等を含み、尊敬語表現７３は、「ございます」、「いらっしゃいます」、「致します」、「下さいます」等を含むがこれら図７の例に限定されない。
データセット変換部１３は、テキストマッチングにより、学習用データセットのターゲットシーケンス５２の注目セグメントに記述される動詞の形態が、複数の敬語表現レベルのうちどの敬語表現レベルに属するかを特定し、図７の変換ルールを適用して、注目セグメントの変換先である、敬語表現の動詞の形態を特定する。
図７を参照して、変換ルールは、３つの敬語表現レベル、すなわち非敬語表現７１、丁寧語表現７２、および尊敬語表現７３について、それぞれ、語尾変化である動詞の形態のパターンを記述する。
非敬語表現７１の動詞の形態は、「だ」、「だった」、「だから」、「だけど」等を含み、丁寧語表現７２の動詞の形態は、「です」、「でした」、「ましょう」、「でしょう」等を含み、尊敬語表現７３は、「ございます」、「いらっしゃいます」、「致します」、「下さいます」等を含むがこれら図７の例に限定されない。
データセット変換部１３は、テキストマッチングにより、学習用データセットのターゲットシーケンス５２の注目セグメントに記述される動詞の形態が、複数の敬語表現レベルのうちどの敬語表現レベルに属するかを特定し、図７の変換ルールを適用して、注目セグメントの変換先である、敬語表現の動詞の形態を特定する。
【0061】
図６に戻り、Ｓ３０３で、データセット変換部１３は、学習用データセットのターゲットシーケンス５２中で特定された注目セグメントから、図７の変換ルールを適用して、敬語表現の注目セグメントを生成する。
具体的には、図４を参照して、学習用データセットのターゲットシーケンス５２が非敬語表現４１である「駅の近くにたくさんのお店がある。」であるとすると、Ｓ３０３で、データセット変換部１３は、図７の変換ルールを適用し、当該ターゲットシーケンス５２中の注目セグメント「ある」から、敬語表現に属する丁寧語表現である「あります」の注目セグメントを生成する。
なお、Ｓ３０３で、データセット変換部１３は、学習用データセットのターゲットシーケンス５２の注目セグメントから、複数の敬語表現のいずれか、または複数の敬語表現の注目セグメントを生成してよいが、以下では、変換先である敬語表現の初期値が丁寧語表現（ｐｏｌｉｔｅ）であるものとする。
具体的には、図４を参照して、学習用データセットのターゲットシーケンス５２が非敬語表現４１である「駅の近くにたくさんのお店がある。」であるとすると、Ｓ３０３で、データセット変換部１３は、図７の変換ルールを適用し、当該ターゲットシーケンス５２中の注目セグメント「ある」から、敬語表現に属する丁寧語表現である「あります」の注目セグメントを生成する。
なお、Ｓ３０３で、データセット変換部１３は、学習用データセットのターゲットシーケンス５２の注目セグメントから、複数の敬語表現のいずれか、または複数の敬語表現の注目セグメントを生成してよいが、以下では、変換先である敬語表現の初期値が丁寧語表現（ｐｏｌｉｔｅ）であるものとする。
【0062】
一方、学習用データセットのターゲットシーケンス５２が敬語表現である丁寧語表現４２「駅の近くにたくさんのお店があります。」であるとすると、Ｓ３０３で、データセット変換部１３は、図７の変換ルールを適用し、当該ターゲットシーケンス５２中の注目セグメント「あります」の丁寧語表現への変換が不要であると判定する。
同様に、学習用データセットのターゲットシーケンス５２が敬語表現である尊敬語表現４３「駅の近くにたくさんのお店がございます。」であるとすると、Ｓ３０３で、データセット変換部１３は、図７の変換ルールを適用し、当該ターゲットシーケンス５２中の注目セグメント「ございます」から、同じく敬語表現に属する丁寧語表現である「あります」の注目セグメントを生成する。あるいは、データセット変換部１３は、当該ターゲットシーケンス５２中の注目セグメント「ございます」の丁寧語表現への変換が不要であると判定してもよい。
同様に、学習用データセットのターゲットシーケンス５２が敬語表現である尊敬語表現４３「駅の近くにたくさんのお店がございます。」であるとすると、Ｓ３０３で、データセット変換部１３は、図７の変換ルールを適用し、当該ターゲットシーケンス５２中の注目セグメント「ございます」から、同じく敬語表現に属する丁寧語表現である「あります」の注目セグメントを生成する。あるいは、データセット変換部１３は、当該ターゲットシーケンス５２中の注目セグメント「ございます」の丁寧語表現への変換が不要であると判定してもよい。
【0063】
Ｓ３０４で、データセット変換部１３は、学習データセットのターゲットシーケンス５２中の注目セグメントを、Ｓ３０３で生成された、敬語表現に変換された注目セグメントで置き換える。図４の例において、Ｓ３０４で生成されるターゲットシーケンスは、例えば、敬語表現（丁寧語表現）を語尾とする「駅の近くにたくさんのお店があります。」となる。
Ｓ３０５で、データセット変換部１３は、Ｓ３０４で注目セグメントが敬語表現に置き換えられたターゲットシーケンス５３を、変換後データセットに出力する。
Ｓ３０５で、データセット変換部１３は、Ｓ３０４で注目セグメントが敬語表現に置き換えられたターゲットシーケンス５３を、変換後データセットに出力する。
【0064】
以上説明したように、本実施形態によれば、学習モデル制御装置は、翻訳元であるソース言語のシーケンスと翻訳先であるターゲット言語のシーケンスとを対応付けて記憶する学習用データセットを取得し、取得された学習用データセットを解析して、ターゲット言語のシーケンス中で敬語表現レベルを示す注目セグメントを特定する。学習モデル制御装置はまた、特定された注目セグメントから敬語表現の注目セグメントを生成することにより、ターゲット言語のシーケンスを敬語表現のシーケンスに変換する。
本実施形態に係る学習モデル制御装置はまた、変換後の学習用データセットを用いて、機械翻訳用の学習モデルを機械学習させる。
本実施形態に係る学習モデル制御装置はまた、変換後の学習用データセットを用いて、機械翻訳用の学習モデルを機械学習させる。
【0065】
これにより、変換前の学習用データセットとの比較において、非敬語表現より敬語表現が豊富化された学習用データセットを用いて、機械翻訳用の学習モデルを学習させることができる。
したがって、機械翻訳対象言語が敬語表現等を含む場合であっても、高精度の機械翻訳を実現することができる。
したがって、機械翻訳対象言語が敬語表現等を含む場合であっても、高精度の機械翻訳を実現することができる。
【0066】
（実施形態２）
以下、図８～１０を参照して、本発明の実施形態２を、実施形態１と異なる点についてのみ、詳細に説明する。
実施形態１では、学習モデル制御装置１は、学習用データセットのターゲットシーケンスを、敬語表現のターゲットシーケンスに変換することで、変換後データセットを生成した。
本実施形態では、学習モデル制御装置１は、学習用データセットから、複数の敬語表現レベルのそれぞれについて、１つの学習用データセットを生成することで、敬語表現が豊富化された変換後データセットを生成する。
なお、本実施形態では、データセット変換部１３は、解析部１２によるターゲットセンテンスに係る敬語表現レベルの判定を経ずに、注目セグメントの変換を含む学習用データセットの変換を行ってよい。
以下、図８～１０を参照して、本発明の実施形態２を、実施形態１と異なる点についてのみ、詳細に説明する。
実施形態１では、学習モデル制御装置１は、学習用データセットのターゲットシーケンスを、敬語表現のターゲットシーケンスに変換することで、変換後データセットを生成した。
本実施形態では、学習モデル制御装置１は、学習用データセットから、複数の敬語表現レベルのそれぞれについて、１つの学習用データセットを生成することで、敬語表現が豊富化された変換後データセットを生成する。
なお、本実施形態では、データセット変換部１３は、解析部１２によるターゲットセンテンスに係る敬語表現レベルの判定を経ずに、注目セグメントの変換を含む学習用データセットの変換を行ってよい。
【0067】
本実施形態に係る学習モデル制御装置１の機能構成および概略処理手順は、図１および図３にそれぞれ示す実施形態１に係る学習モデル制御装置１の機能構成および概略処理手順とそれぞれ同様である。
図８は、本実施形態に係る学習モデル制御装置１のデータセット変換部１３が実行するデータセット変換処理を説明する概念図である。
図８を参照して、変換前の学習用データセットは、ソースシーケンス５１およびターゲットシーケンス５２の対を含む。例えば、翻訳元のソースシーケンス５１は英語であり、翻訳先のターゲットシーケンス５２は日本語であるものとする。
本実施形態では、データセット変換部１３は、学習用データセットのソースシーケンス５１およびターゲットシーケンス５２の対から、複数の敬語表現レベルごとに１つのデータセット、合計３セットの意味的に等価なデータセットを生成する。
図８は、本実施形態に係る学習モデル制御装置１のデータセット変換部１３が実行するデータセット変換処理を説明する概念図である。
図８を参照して、変換前の学習用データセットは、ソースシーケンス５１およびターゲットシーケンス５２の対を含む。例えば、翻訳元のソースシーケンス５１は英語であり、翻訳先のターゲットシーケンス５２は日本語であるものとする。
本実施形態では、データセット変換部１３は、学習用データセットのソースシーケンス５１およびターゲットシーケンス５２の対から、複数の敬語表現レベルごとに１つのデータセット、合計３セットの意味的に等価なデータセットを生成する。
【0068】
具体的には、第１のデータセットは、非敬語表現のデータセットであり、シーケンスごとに、非敬語表現（ｉｎｆｏｒｍａｌ）であることを示すタグ８１、ソースシーケンス８２、および非敬語表現のターゲットシーケンス８３を含む。第２のデータセットは、敬語表現に属する丁寧語表現のデータセットであり、シーケンスごとに、丁寧語表現（ｐｏｌｉｔｅ）であることを示すタグ８４、ソースシーケンス８５、および丁寧語表現のターゲットシーケンス８６を含む。第３のデータセットは、敬語表現に属する尊敬語表現のデータセットであり、シーケンスごとに、尊敬語表現（ｆｏｒｍａｌ）であることを示すタグ８７、ソースシーケンス８８、および尊敬語表現のターゲットシーケンス８９を含む。
学習用データセットのソースシーケンス５１は、変換されずにそのまま第１～第３のデータセットのソースシーケンス８２、８５、および８８にそれぞれ出力されてよい。一方、学習用データセットのターゲットシーケンス５２は、３つの敬語表現レベルのターゲットシーケンス８３、８６、および８９にそれぞれ変換されて出力される。
学習用データセットのソースシーケンス５１は、変換されずにそのまま第１～第３のデータセットのソースシーケンス８２、８５、および８８にそれぞれ出力されてよい。一方、学習用データセットのターゲットシーケンス５２は、３つの敬語表現レベルのターゲットシーケンス８３、８６、および８９にそれぞれ変換されて出力される。
【0069】
図９は、本実施形態に係る学習モデル制御装置１のデータセット変換部１３が実行するデータセット変換処理の詳細処理手順の一例を示すフローチャートである。
S３０１で、データセット変換部１３は、実施形態１と同様、解析部１２から得られる学習用データセットの解析結果に基づいて、ターゲットシーケンス５２中の注目セグメントを特定する。
Ｓ３０１に続き、Ｓ３０６で、データセット変換部１３は、Ｓ３０１で特定されたターゲットシーケンス５２中の注目セグメントを、分類器５で分類する。
具体的には、分類器５は、ターゲットシーケンス５２中の注目セグメントを、複数の敬語表現レベル、すなわち非敬語表現、丁寧語表現、および尊敬語表現のいずれかに分類する。
S３０１で、データセット変換部１３は、実施形態１と同様、解析部１２から得られる学習用データセットの解析結果に基づいて、ターゲットシーケンス５２中の注目セグメントを特定する。
Ｓ３０１に続き、Ｓ３０６で、データセット変換部１３は、Ｓ３０１で特定されたターゲットシーケンス５２中の注目セグメントを、分類器５で分類する。
具体的には、分類器５は、ターゲットシーケンス５２中の注目セグメントを、複数の敬語表現レベル、すなわち非敬語表現、丁寧語表現、および尊敬語表現のいずれかに分類する。
【0070】
Ｓ３０７で、データセット変換部１３は、ターゲットシーケンス５２中の注目セグメントが分類された敬語表現レベル以外の他の敬語表現レベルで記述されるセグメントを生成する。
例えば、Ｓ３０６でターゲットシーケンス５２中の注目セグメントが分類器５により非敬語表現に分類されたとすると、Ｓ３０７で、データセット変換部１３は、当該注目セグメントから、丁寧語表現および尊敬語表現のセグメントをそれぞれ生成する。同様に、Ｓ３０６でターゲットシーケンス５２中の注目セグメントが分類器５により丁寧語表現に分類されたとすると、Ｓ３０７で、データセット変換部１３は、当該注目セグメントから、非敬語表現および尊敬語表現のセグメントをそれぞれ生成する。Ｓ３０６でターゲットシーケンス５２中の注目セグメントが分類器５により尊敬語表現に分類されたとすると、Ｓ３０７で、データセット変換部１３は、当該注目セグメントから、非敬語表現および丁寧語表現のセグメントをそれぞれ生成する。
なお、分類器５は、例えば、Ｔｒａｎｓｆｏｒｍｅｒベースのモデル、およびＣＮＮ等の何らかの学習済みの機械学習モデルで構成されてよい。
例えば、Ｓ３０６でターゲットシーケンス５２中の注目セグメントが分類器５により非敬語表現に分類されたとすると、Ｓ３０７で、データセット変換部１３は、当該注目セグメントから、丁寧語表現および尊敬語表現のセグメントをそれぞれ生成する。同様に、Ｓ３０６でターゲットシーケンス５２中の注目セグメントが分類器５により丁寧語表現に分類されたとすると、Ｓ３０７で、データセット変換部１３は、当該注目セグメントから、非敬語表現および尊敬語表現のセグメントをそれぞれ生成する。Ｓ３０６でターゲットシーケンス５２中の注目セグメントが分類器５により尊敬語表現に分類されたとすると、Ｓ３０７で、データセット変換部１３は、当該注目セグメントから、非敬語表現および丁寧語表現のセグメントをそれぞれ生成する。
なお、分類器５は、例えば、Ｔｒａｎｓｆｏｒｍｅｒベースのモデル、およびＣＮＮ等の何らかの学習済みの機械学習モデルで構成されてよい。
【0071】
Ｓ３０８で、データセット変換部１３は、Ｓ３０７で生成されたセグメントを含むターゲットシーケンス８３、８６、および８９と、対応するソースシーケンス８２、８５、および８８とをそれぞれ対として、複数の敬語表現レベルのそれぞれについてパラレルデータセットを生成する。
Ｓ３０９で、データセット変換部１３は、Ｓ３０８で生成された複数のパラレルデータセットのそれぞれのソースシーケンス８２、８５、および８８に対して、対応する敬語表現レベルをタグ（ラベルまたはトークンに相当。）として付与する。
図８を参照して、非敬語表現のデータセットは、非敬語表現（ｉｎｆｏｒｍａｌ）タグ８１が付与されたソースシーケンス８２と、非敬語表現のセグメントを語尾とするターゲットシーケンス８３との対を有する。丁寧語表現のデータセットは、丁寧語表現（ｐｏｌｉｔｅ）タグ８４が付与されたソースシーケンス８５と、丁寧語表現のセグメントを語尾とするターゲットシーケンス８６との対を有する。同様に、尊敬語表現のデータセットは、尊敬語表現（ｐｏｌｉｔｅ）タグ８７が付与されたソースシーケンス８８と、尊敬語表現のセグメントを語尾とするターゲットシーケンス８９との対を有する。ソースシーケンス５１は、ソースシーケンス８２、８５、および８８として変換されることなくそのまま出力されてよい。
Ｓ３０９で、データセット変換部１３は、Ｓ３０８で生成された複数のパラレルデータセットのそれぞれのソースシーケンス８２、８５、および８８に対して、対応する敬語表現レベルをタグ（ラベルまたはトークンに相当。）として付与する。
図８を参照して、非敬語表現のデータセットは、非敬語表現（ｉｎｆｏｒｍａｌ）タグ８１が付与されたソースシーケンス８２と、非敬語表現のセグメントを語尾とするターゲットシーケンス８３との対を有する。丁寧語表現のデータセットは、丁寧語表現（ｐｏｌｉｔｅ）タグ８４が付与されたソースシーケンス８５と、丁寧語表現のセグメントを語尾とするターゲットシーケンス８６との対を有する。同様に、尊敬語表現のデータセットは、尊敬語表現（ｐｏｌｉｔｅ）タグ８７が付与されたソースシーケンス８８と、尊敬語表現のセグメントを語尾とするターゲットシーケンス８９との対を有する。ソースシーケンス５１は、ソースシーケンス８２、８５、および８８として変換されることなくそのまま出力されてよい。
【0072】
図１０は、本実施形態のデータセット変換処理におけるソースセンテンスへの敬語表現レベルのタグ付け（ラベリング）を説明する図である。
図１０を参照して、翻訳元のソース言語を英語、翻訳先のターゲット言語を日本語とする場合、学習用データセットにおいて、英語のソースシーケンス１０１「Ｔｈｅ ｎｕｍｂｅｒ ａｔ ｔｈｅ ｂｏｔｔｏｍ ｏｆ ｔｈｅ ｌｉｓｔ ｄｒｏｐｓ ｏｆｆ．」に対して、日本語のターゲットシーケンス１０３「リストの一番下にある番号がリストから削除されます。」が対応付けられているものとする。この場合、Ｓ３０９で、データセット変換部１３は、分類器５により分類されたターゲットシーケンス１０３の丁寧語表現＜ｐｏｌｉｔｅ＞のタグ（ラベル又はトークンに相当。）をソースシーケンス１０１に付与して、丁寧語表現の敬語表現レベルがタグ付けされたソースシーケンス１０２を生成する。
図１０を参照して、翻訳元のソース言語を英語、翻訳先のターゲット言語を日本語とする場合、学習用データセットにおいて、英語のソースシーケンス１０１「Ｔｈｅ ｎｕｍｂｅｒ ａｔ ｔｈｅ ｂｏｔｔｏｍ ｏｆ ｔｈｅ ｌｉｓｔ ｄｒｏｐｓ ｏｆｆ．」に対して、日本語のターゲットシーケンス１０３「リストの一番下にある番号がリストから削除されます。」が対応付けられているものとする。この場合、Ｓ３０９で、データセット変換部１３は、分類器５により分類されたターゲットシーケンス１０３の丁寧語表現＜ｐｏｌｉｔｅ＞のタグ（ラベル又はトークンに相当。）をソースシーケンス１０１に付与して、丁寧語表現の敬語表現レベルがタグ付けされたソースシーケンス１０２を生成する。
【0073】
Ｓ３０９でソースシーケンス８２、８５、および８８にそれぞれ付与された、分類結果である敬語表現レベルのタグは、パラレルデータセットの追加的な特徴として機械翻訳モデル２に入力され、機械学習に供される。この場合、推論フェーズでは、機械翻訳モデル２に入力されるソースシーケンスに、所定の敬語表現レベルをタグとして付与する前処理が実行され、付与された敬語表現レベルがソースシーケンスの追加的特徴として抽出されてよい。
図９に戻り、Ｓ３１０で、学習モデル制御装置１のデータセット変換部１３は、敬語表現レベルがソースシーケンス８２、８５、および８８にそれぞれ付与された複数のパラレルデータセットを、変換後データセット格納部４に出力する。
図９に戻り、Ｓ３１０で、学習モデル制御装置１のデータセット変換部１３は、敬語表現レベルがソースシーケンス８２、８５、および８８にそれぞれ付与された複数のパラレルデータセットを、変換後データセット格納部４に出力する。
【0074】
本実施形態によれば、さらに、１つの学習用データセットから、複数の敬語表現レベルにそれぞれ対応する複数の学習用データセットが生成される。このため、より多くの学習データであって、かつ敬語表現が豊富化された学習データで、同一の機械翻訳モデル２をより深く学習させることができる。
【0075】
（実施形態３）
以下、図１１および図１２を参照して、本発明の実施形態３を、上記実施形態と異なる点についてのみ、詳細に説明する。
本実施形態では、学習モデル制御装置１は、学習用データセットのソースシーケンスに対して、複数の敬語表現レベルのいずれかのタグを付与することで、変換後データセットを生成する。
以下、図１１および図１２を参照して、本発明の実施形態３を、上記実施形態と異なる点についてのみ、詳細に説明する。
本実施形態では、学習モデル制御装置１は、学習用データセットのソースシーケンスに対して、複数の敬語表現レベルのいずれかのタグを付与することで、変換後データセットを生成する。
【0076】
本実施形態に係る学習モデル制御装置１の機能構成および概略処理手順は、図１および図３にそれぞれ示す実施形態１に係る学習モデル制御装置１の機能構成および概略処理手順とそれぞれ同様である。
図１１は、本実施形態に係る学習モデル制御装置１のデータセット変換部１３が実行するデータセット変換処理を説明する概念図である。
図１１を参照して、変換前の学習用データセットは、ソースシーケンス５１およびターゲットシーケンス５２の対を含む。例えば、翻訳元のソースシーケンス５１は英語であり、翻訳先のターゲットシーケンス５２は日本語であるものとする。
本実施形態では、データセット変換部１３は、学習用データセットのターゲットシーケンス５２の敬語表現レベルを分類し、分類結果であるいずれかの敬語表現レベルをタグ１１１としてソースシーケンス５１に付加して、変換後のデータセットを生成する。一方、データセット変換部１３は、学習用データセットのターゲットシーケンス５２は変換せず、そのまま変換後のデータセットに出力してよい。
図１１は、本実施形態に係る学習モデル制御装置１のデータセット変換部１３が実行するデータセット変換処理を説明する概念図である。
図１１を参照して、変換前の学習用データセットは、ソースシーケンス５１およびターゲットシーケンス５２の対を含む。例えば、翻訳元のソースシーケンス５１は英語であり、翻訳先のターゲットシーケンス５２は日本語であるものとする。
本実施形態では、データセット変換部１３は、学習用データセットのターゲットシーケンス５２の敬語表現レベルを分類し、分類結果であるいずれかの敬語表現レベルをタグ１１１としてソースシーケンス５１に付加して、変換後のデータセットを生成する。一方、データセット変換部１３は、学習用データセットのターゲットシーケンス５２は変換せず、そのまま変換後のデータセットに出力してよい。
【0077】
図１２は、本実施形態に係る学習モデル制御装置１のデータセット変換部１３が実行するデータセット変換処理の詳細処理手順の一例を示すフローチャートである。
S３０１で、データセット変換部１３は、上記実施形態と同様、解析部１２から得られる学習用データセットの解析結果に基づいて、ターゲットシーケンス５２中の注目セグメントを特定する。
Ｓ３０１に続き、Ｓ３０６で、データセット変換部１３は、Ｓ３０１で特定されたターゲットシーケンス５２中の注目セグメントを、分類器５で分類する。
具体的には、分類器５は、ターゲットシーケンス５２中の注目セグメントを、複数の敬語表現レベル、すなわち非敬語表現、丁寧語表現、および尊敬語表現のいずれかに分類する。
S３０１で、データセット変換部１３は、上記実施形態と同様、解析部１２から得られる学習用データセットの解析結果に基づいて、ターゲットシーケンス５２中の注目セグメントを特定する。
Ｓ３０１に続き、Ｓ３０６で、データセット変換部１３は、Ｓ３０１で特定されたターゲットシーケンス５２中の注目セグメントを、分類器５で分類する。
具体的には、分類器５は、ターゲットシーケンス５２中の注目セグメントを、複数の敬語表現レベル、すなわち非敬語表現、丁寧語表現、および尊敬語表現のいずれかに分類する。
【0078】
Ｓ３０６に続き、S３１１で、データセット変換部１３は、S３０６での分類結果である敬語表現レベルのいずれかをタグ（ラベル又はトークンに相当。）として、ソースシーケンス５１に付与する。ソースシーケンス５１には、対応するターゲットシーケンス５２の分類結果である敬語表現レベル、すなわち、非敬語タグ＜ｉｎｆｏｒｍａｌ＞、丁寧語タグ＜ｐｏｌｉｔｅ＞、または尊敬語タグ＜ｆｏｒｍａｌ＞のいずれかがタグ１１１として付与されることになる。
Ｓ３１１でソースシーケンス５２に付与された、分類結果である敬語表現レベルのタグは、変更後のデータセットの追加的な特徴として機械翻訳モデル２に入力され、機械学習に供される。この場合、推論フェーズでは、機械翻訳モデル２に入力されるソースシーケンスに、所定の敬語表現レベルをタグとして付与する前処理が実行され、付与された敬語表現レベルがソースシーケンスの追加的特徴として抽出されてよい。
Ｓ３１１でソースシーケンス５２に付与された、分類結果である敬語表現レベルのタグは、変更後のデータセットの追加的な特徴として機械翻訳モデル２に入力され、機械学習に供される。この場合、推論フェーズでは、機械翻訳モデル２に入力されるソースシーケンスに、所定の敬語表現レベルをタグとして付与する前処理が実行され、付与された敬語表現レベルがソースシーケンスの追加的特徴として抽出されてよい。
【0079】
図１２に戻り、Ｓ３１２で、学習モデル制御装置１のデータセット変換部１３は、敬語表現レベルがソースシーケンス５２に付与されたパラレルデータセットを、変換後データセット格納部４に出力する。変換後のデータセットにおいては、本来、敬語表現として機械翻訳モデルが取り扱うべきターゲットシーケンス５２が、非敬語表現として処理されることなく、対応するソースシーケンス５１への丁寧語表現タグまたは尊敬語表現タグによって敬語表現に属することが明確化されているため、敬語表現が豊富化されたデータセットが生成されることになる。
【0080】
本実施形態によれば、さらに、学習用データセット格納部２に格納されるオリジナルのターゲットシーケンス５２がそのまま、機械翻訳モデル２を学習させるための学習データに供される。このため、オリジナルのターゲットシーケンス５２から所定の敬語表現レベルへのシーケンス変換を必要とする場合と比較して、学習データにおけるターゲットシーケンス５２の品質を維持したまま、敬語表現が豊富化された学習用データセットを用いて機械翻訳モデル２を学習させることができる。
【0081】
（実施形態４）
以下、図１３および図１４を参照して、本発明の実施形態４を、上記実施形態と異なる点についてのみ、詳細に説明する。
本実施形態では、学習モデル制御装置１は、学習用データセットのうち、敬語表現のターゲットシーケンスおよび対応するソースシーケンスを抽出することで、変換後データセットを生成する。
以下、図１３および図１４を参照して、本発明の実施形態４を、上記実施形態と異なる点についてのみ、詳細に説明する。
本実施形態では、学習モデル制御装置１は、学習用データセットのうち、敬語表現のターゲットシーケンスおよび対応するソースシーケンスを抽出することで、変換後データセットを生成する。
【0082】
本実施形態に係る学習モデル制御装置１の機能構成および概略処理手順は、図１および図３にそれぞれ示す実施形態１に係る学習モデル制御装置１の機能構成および概略処理手順とそれぞれ同様である。
図１３は、本実施形態に係る学習モデル制御装置１のデータセット変換部１３が実行するデータセット変換処理を説明する概念図である。
図１３を参照して、変換前の学習用データセットは、ソースシーケンス５１およびターゲットシーケンス５２の対を含む。例えば、翻訳元のソースシーケンス５１は英語であり、翻訳先のターゲットシーケンス５２は日本語であるものとする。
図１３は、本実施形態に係る学習モデル制御装置１のデータセット変換部１３が実行するデータセット変換処理を説明する概念図である。
図１３を参照して、変換前の学習用データセットは、ソースシーケンス５１およびターゲットシーケンス５２の対を含む。例えば、翻訳元のソースシーケンス５１は英語であり、翻訳先のターゲットシーケンス５２は日本語であるものとする。
【0083】
本実施形態では、データセット変換部１３は、学習用データセットのターゲットシーケンス５２のうち、敬語表現に属するターゲットシーケンス１３２を抽出し、かつ当該ターゲットシーケンス１３２に対応するソースシーケンス１３１を抽出して、これら抽出されたターゲットシーケンス１３２およびソースシーケンス１３１を対として、変換後のデータセットに出力する。すなわち、変換後のデータセットは、オリジナルの学習用データセットのサブセットとなる。
【0084】
図１４は、本実施形態に係る学習モデル制御装置１のデータセット変換部１３が実行するデータセット変換処理の詳細処理手順の一例を示すフローチャートである。
S３０１で、データセット変換部１３は、上記実施形態と同様、解析部１２から得られる学習用データセットの解析結果に基づいて、ターゲットシーケンス５２中の注目セグメントを特定する。
Ｓ３０１に続き、Ｓ３１３で、データセット変換部１３は、Ｓ３０１で特定されたターゲットシーケンス５２中の注目セグメントの敬語表現レベルを判定する。
具体的には、データセット変換部１３は、ターゲットシーケンス５２中の注目セグメントが、複数の敬語表現レベル、すなわち非敬語表現、丁寧語表現、および尊敬語表現のいずれであるかを判定する。注目セグメントで敬語表現レベルを判定するには、図７の変換ルールを参照してテキストマッチングにより敬語表現レベルを判定してもよく、あるいは分類器５を用いていずれかの敬語表現レベルに分類してもよい。
S３０１で、データセット変換部１３は、上記実施形態と同様、解析部１２から得られる学習用データセットの解析結果に基づいて、ターゲットシーケンス５２中の注目セグメントを特定する。
Ｓ３０１に続き、Ｓ３１３で、データセット変換部１３は、Ｓ３０１で特定されたターゲットシーケンス５２中の注目セグメントの敬語表現レベルを判定する。
具体的には、データセット変換部１３は、ターゲットシーケンス５２中の注目セグメントが、複数の敬語表現レベル、すなわち非敬語表現、丁寧語表現、および尊敬語表現のいずれであるかを判定する。注目セグメントで敬語表現レベルを判定するには、図７の変換ルールを参照してテキストマッチングにより敬語表現レベルを判定してもよく、あるいは分類器５を用いていずれかの敬語表現レベルに分類してもよい。
【0085】
Ｓ３１４で、データセット変換部１３は、Ｓ３１３で敬語表現に属すると判定された注目セグメントを含むターゲットシーケンスを、学習用データセットから抽出する。例えば、データセット変換部１３は、敬語表現レベルが丁寧語表現（ｐｏｌｉｔｅ）であるターゲットシーケンスを抽出してよい。
Ｓ３１５で、Ｓ３１４で抽出された敬語表現に属するターゲットシーケンス１３２と、当該ターゲットシーケンス１３２に対応するソースシーケンス１３１とを対として、変換後のデータセットを生成し、変換後データセット格納部４に出力する。変換後データセットにおいては、敬語表現に属するターゲットシーケンスおよび対応するソースシーケンスのみがパラレルデータセットとして抽出されているため、敬語表現が豊富化されたデータセットが生成されることになる。
Ｓ３１５で、Ｓ３１４で抽出された敬語表現に属するターゲットシーケンス１３２と、当該ターゲットシーケンス１３２に対応するソースシーケンス１３１とを対として、変換後のデータセットを生成し、変換後データセット格納部４に出力する。変換後データセットにおいては、敬語表現に属するターゲットシーケンスおよび対応するソースシーケンスのみがパラレルデータセットとして抽出されているため、敬語表現が豊富化されたデータセットが生成されることになる。
【0086】
本実施形態によれば、実施形態３と同様、学習用データセット格納部２に格納されるオリジナルのターゲットシーケンス５２がそのまま、機械翻訳モデル２を学習させるための学習データに供される。このため、オリジナルのターゲットシーケンス５２から所定の敬語表現レベルへのシーケンス変換を必要とする場合と比較して、学習データにおけるターゲットシーケンス５２の品質を維持したまま、敬語表現が豊富化された学習用データセットを用いて機械翻訳モデル２を学習させることができる。
【0087】
＜学習モデル制御装置のハードウエア構成＞
図１５は、上記各実施形態に係る学習モデル制御装置１のハードウエア構成の非限定的一例を示す図である。
本実施形態に係る学習モデル制御装置１は、単一または複数の、あらゆるコンピュータ、モバイルデバイス、または他のいかなる処理プラットフォーム上にも実装することができる。
図１５を参照して、学習モデル制御装置１は、単一のコンピュータに実装される例が示されているが、本実施形態に係る学習モデル制御装置１は、複数のコンピュータを含むコンピュータシステムに実装されてよい。複数のコンピュータは、有線または無線のネットワークにより相互通信可能に接続されてよい。
図１５は、上記各実施形態に係る学習モデル制御装置１のハードウエア構成の非限定的一例を示す図である。
本実施形態に係る学習モデル制御装置１は、単一または複数の、あらゆるコンピュータ、モバイルデバイス、または他のいかなる処理プラットフォーム上にも実装することができる。
図１５を参照して、学習モデル制御装置１は、単一のコンピュータに実装される例が示されているが、本実施形態に係る学習モデル制御装置１は、複数のコンピュータを含むコンピュータシステムに実装されてよい。複数のコンピュータは、有線または無線のネットワークにより相互通信可能に接続されてよい。
【0088】
図１５に示すように、学習モデル制御装置１は、ＣＰＵ１５１と、ＲＯＭ１５２と、ＲＡＭ１５３と、ＨＤＤ１５４と、入力部１５５と、表示部１５６と、通信Ｉ／Ｆ１５７と、システムバス１５８とを備えてよい。学習モデル制御装置１はまた、外部メモリを備えてよい。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５１は、学習モデル制御装置１における動作を統括的に制御するものであり、データ伝送路であるシステムバス１５８を介して、各構成部（１５２～１５７）を制御する。なお、ＣＰＵ１５１に替えて、またはこれに加えて、学習モデル制御装置１は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、このＧＰＵにより、機械翻訳モデル２等の学習モデルの学習や推論処理を実行してもよい。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５１は、学習モデル制御装置１における動作を統括的に制御するものであり、データ伝送路であるシステムバス１５８を介して、各構成部（１５２～１５７）を制御する。なお、ＣＰＵ１５１に替えて、またはこれに加えて、学習モデル制御装置１は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、このＧＰＵにより、機械翻訳モデル２等の学習モデルの学習や推論処理を実行してもよい。
【0089】
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５２は、ＣＰＵ１５１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１５４、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の不揮発性メモリや着脱可能な記憶媒体（不図示）等の外部メモリに記憶されていてもよい。
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５３は、揮発性メモリであり、ＣＰＵ１５１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ１５１は、処理の実行に際してＲＯＭ１５２から必要なプログラム等をＲＡＭ１５３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５３は、揮発性メモリであり、ＣＰＵ１５１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ１５１は、処理の実行に際してＲＯＭ１５２から必要なプログラム等をＲＡＭ１５３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
【0090】
ＨＤＤ１５４は、例えば、ＣＰＵ１５１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、ＨＤＤ１５４には、例えば、ＣＰＵ１５１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
入力部１５５は、キーボードやマウス等のポインティングデバイスにより構成される。
表示部１５６は、液晶ディスプレイ（ＬＣＤ）等のモニターにより構成される。表示部１５６は、機械学習処理で使用される各種パラメータや、他の装置との通信で使用される通信パラメータ等を学習モデル制御装置１へ指示入力するためのユーザインタフェースであるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供してよい。
入力部１５５は、キーボードやマウス等のポインティングデバイスにより構成される。
表示部１５６は、液晶ディスプレイ（ＬＣＤ）等のモニターにより構成される。表示部１５６は、機械学習処理で使用される各種パラメータや、他の装置との通信で使用される通信パラメータ等を学習モデル制御装置１へ指示入力するためのユーザインタフェースであるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供してよい。
【0091】
通信Ｉ／Ｆ１５７は、学習モデル制御装置１と外部装置との通信を制御するインタフェースである。
通信Ｉ／Ｆ１５７は、ネットワークとのインタフェースを提供し、ネットワークを介して、外部装置との通信を実行する。通信Ｉ／Ｆ１５７を介して、外部装置との間で各種データや各種パラメータ等が送受信される。本実施形態では、通信Ｉ／Ｆ１５７は、イーサネット（登録商標）等の通信規格に準拠する有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や専用線を介した通信を実行してよい。ただし、本実施形態で利用可能なネットワークはこれに限定されず、無線ネットワークで構成されてもよい。この無線ネットワークは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）等の無線ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。また、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、ＷｉＭＡＸ（登録商標）等の無線ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。さらに、ＬＴＥ／３Ｇ、４Ｇ、５Ｇ等の無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。なお、ネットワークは、各機器を相互に通信可能に接続し、通信が可能であればよく、通信の規格、規模、構成は上記に限定されない。
通信Ｉ／Ｆ１５７は、ネットワークとのインタフェースを提供し、ネットワークを介して、外部装置との通信を実行する。通信Ｉ／Ｆ１５７を介して、外部装置との間で各種データや各種パラメータ等が送受信される。本実施形態では、通信Ｉ／Ｆ１５７は、イーサネット（登録商標）等の通信規格に準拠する有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や専用線を介した通信を実行してよい。ただし、本実施形態で利用可能なネットワークはこれに限定されず、無線ネットワークで構成されてもよい。この無線ネットワークは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）等の無線ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。また、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、ＷｉＭＡＸ（登録商標）等の無線ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。さらに、ＬＴＥ／３Ｇ、４Ｇ、５Ｇ等の無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。なお、ネットワークは、各機器を相互に通信可能に接続し、通信が可能であればよく、通信の規格、規模、構成は上記に限定されない。
【0092】
図１に示す学習モデル制御装置１の各要素のうち少なくとも一部の機能は、ＣＰＵ１５１がプログラムを実行することで実現することができる。ただし、図１に示す学習モデル制御装置１の各要素のうち少なくとも一部の機能が専用のハードウエアとして動作するようにしてもよい。この場合、専用のハードウエアは、ＣＰＵ１５１の制御に基づいて動作する。
【0093】
なお、上記において特定の実施形態が説明されているが、当該実施形態は単なる例示であり、本発明の範囲を限定する意図はない。本明細書に記載された装置及び方法は上記した以外の形態において具現化することができる。また、本発明の範囲から離れることなく、上記した実施形態に対して適宜、省略、置換及び変更をなすこともできる。かかる省略、置換及び変更をなした形態は、請求の範囲に記載されたもの及びこれらの均等物の範疇に含まれ、本発明の技術的範囲に属する。
【符号の説明】
【0094】
１…学習モデル制御装置、２…機械翻訳モデル、３…学習用データセット格納部、４…変換後データセット格納部、５…分類器、２１、２２…エンコーダ、２３、２４…デコーダ、２５…線形処理部、２６…Ｓｏｆｍａｘ、１５１…ＣＰＵ、１５２…ＲＯＭ、１５３…ＲＡＭ、１５４…ＨＤＤ、１５５…入力部、１５６…表示部、１５７…通信Ｉ／Ｆ、１５８…システムバス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】