知財求人 - 知財ポータルサイト「IP Force」
特許7333526漫画の機械翻訳装置、漫画の対訳データベース生成装置、漫画の機械翻訳方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-17
(45)【発行日】2023-08-25
(54)【発明の名称】漫画の機械翻訳装置、漫画の対訳データベース生成装置、漫画の機械翻訳方法およびプログラム
(51)【国際特許分類】
G06F 40/58 20200101AFI20230818BHJP
G06V 30/14 20220101ALI20230818BHJP
G06V 30/194 20220101ALI20230818BHJP
G06V 30/414 20220101ALI20230818BHJP
【ＦＩ】
G06F40/58
G06V30/14 340J
G06V30/194
G06V30/414
【請求項の数】
9
(21)【出願番号】P 2021541830
(86)(22)【出願日】2019-08-27
(86)【国際出願番号】 JP2019033444
(87)【国際公開番号】W WO2021038708
(87)【国際公開日】2021-03-04
【審査請求日】2021-11-08
【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０１８年８月２８日、Ｉｎｎｏｖａｔｉｖｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ ２０１８ 採択技術発表 ｈｔｔｐｓ：／／ｗｗｗ．ｄｃａｊ．ｏｒ．ｊｐ／ｎｅｗｓ／２０１８／０８／ｉｎｎｏｖａｔｉｖｅ－ｔｅｃｈｎｏｌｏｇｉｅｓ－２０１８．ｈｔｍｌ
(73)【特許権者】
【識別番号】521488897
【氏名又は名称】日並 遼太
(73)【特許権者】
【識別番号】521488901
【氏名又は名称】石渡 祥之佑
(74)【代理人】
【識別番号】100180415
【弁理士】
【氏名又は名称】荒井 滋人
(74)【代理人】
【識別番号】100168572
【弁理士】
【氏名又は名称】後藤 仁志
(72)【発明者】
【氏名】日並 遼太
(72)【発明者】
【氏名】石渡 祥之佑
【審査官】成瀬 博之
(56)【参考文献】
【文献】特表２０１８－５２９１３３（ＪＰ，Ａ）
【文献】特開２０１９－１３９６２９（ＪＰ，Ａ）
【文献】特開平０７－２７１９１６（ＪＰ，Ａ）
【文献】特開２００３－０２２２６９（ＪＰ，Ａ）
【文献】村上聡一朗 他4名 SOUICHIROU MURAKAMI，機械翻訳における利用ドメインの自動推定，NTT DOCOMOテクニカル・ジャーナル[online]，一般社団法人 電気通信協会，2019年07月，Vol.27 No.2，13-18頁
【文献】出羽達也，対訳文書から自動抽出した用語対訳による機械翻訳の訳語精度向上，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2001年07月16日，Vol.101 No.189，1-7頁
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ４０／２０－４０／５８
Ｇ０６Ｖ ３０／００－３０／４２４
(57)【特許請求の範囲】
【請求項1】
第１自然言語を用いて作成された漫画を構成する第１自然言語画像より、文字領域を検出する文字領域検出部と、前記文字領域より、前記第１自然言語の文字情報を推定する文字情報推定部と、
前記第１自然言語の文字情報を、対訳データベースを用いたニューラル機械翻訳により第２自然言語の文字情報に翻訳する機械翻訳部と、を備え、
前記対訳データベースは、参照漫画の第１自然言語参照画像に含まれる第１自然言語文字領域と前記参照漫画の第２自然言語参照画像に含まれ、第１自然言語文字領域に対応する第２自然言語文字領域とを検出し、前記第１自然言語文字領域に存在する第１自然言語文字情報および第２自然言語文字領域に存在する第２自然言語文字情報を抽出することにより自動生成した文の対訳情報を含み、
前記文字情報推定部は、学習済み文字認識モデルを用いて前記文字領域より、前記文字情報を推定し、
前記学習済み文字認識モデルは、複数種のフォントについての前記第１自然言語の複数のフォント画像と、前記フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いてＲｅｓｎｅｔイメージ認識モジュールにより機械学習することにより、生成されたものである、漫画の機械翻訳装置。
【請求項2】
前記第１自然言語文字領域からの第１自然言語文字情報の抽出は、学習済み文字認識モデルを用いて前記第１自然言語文字情報を推定することにより行われ、前記学習済み文字認識モデルは、複数種のフォントについての前記第１自然言語の複数のフォント画像と、前記フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いて機械学習することにより、生成されたものである、請求項１に記載の漫画の機械翻訳装置。
【請求項3】
前記第２自然言語文字領域からの第２自然言語文字情報の抽出は、学習済み第２自然言語文字認識モデルを用いて前記第２自然言語文字情報を推定することにより行われ、前記学習済み第２自然言語文字認識モデルは、複数種のフォントについての前記第２自然言語の複数の第２自然言語フォント画像と、当該第２自然言語フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いてＲｅｓｎｅｔイメージ認識モジュールにより機械学習することにより、生成されたものである、請求項１または２に記載の漫画の機械翻訳装置。
【請求項4】
前記第１自然言語が日本語である、請求項１～３のいずれか一項に記載の漫画の機械翻訳装置。
【請求項5】
さらに、前記機械翻訳部により翻訳された前記第２自然言語の文字情報を、前記第１自然言語画像に画像として付与し、第２自然言語画像を生成する、画像生成部を備える、請求項１～４のいずれか一項に記載の漫画の機械翻訳装置。
【請求項6】
参照漫画の第１自然言語参照画像に含まれる第１自然言語文字領域と前記参照漫画の第２自然言語参照画像に含まれ、第１自然言語文字領域に対応する第２自然言語文字領域とを検出する文字領域検出部と、前記第１自然言語文字領域に存在する第１自然言語文字情報および第２自然言語文字領域に存在する第２自然言語文字情報を抽出する対訳情報抽出部と、
前記第１自然言語文字情報の少なくとも一部と、前記第２自然言語文字情報の少なくとも一部とを、文の対訳情報として格納する記憶部とを有し、
前記第１自然言語文字領域から第１自然言語文字情報の抽出は、学習済み文字認識モデルを用いて前記第１自然言語文字情報を推定することにより行われ、
前記学習済み文字認識モデルは、複数種のフォントについての第１自然言語の複数のフォント画像と、前記フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いてＲｅｓｎｅｔイメージ認識モジュールにより機械学習することにより、生成されたものである、漫画の対訳データベース生成装置。
【請求項7】
前記第２自然言語文字領域からの第２自然言語文字情報の抽出は、学習済み第２自然言語文字認識モデルを用いて前記第２自然言語文字情報を推定することにより行われ、前記学習済み第２自然言語文字認識モデルは、複数種のフォントについての第２自然言語の複数の第２自然言語フォント画像と、当該第２自然言語フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いてＲｅｓｎｅｔイメージ認識モジュールにより機械学習することにより、生成されたものである、請求項６に記載の漫画の対訳データベース生成装置。
【請求項8】
プロセッサにより、第１自然言語を用いて作成された漫画を構成する第１自然言語画像より、文字領域を検出することと、
前記文字領域より、前記第１自然言語の文字情報を推定することと、および
前記第１自然言語の文字情報を、対訳データベースを用いたニューラル機械翻訳により第２自然言語の文字情報に翻訳することと、を実行し、
前記対訳データベースは、参照漫画の第１自然言語参照画像に含まれる第１自然言語文字領域と前記参照漫画の第２自然言語参照画像に含まれ、第１自然言語文字領域に対応する第２自然言語文字領域とを検出し、前記第１自然言語文字領域に存在する第１自然言語文字情報および第２自然言語文字領域に存在する第２自然言語文字情報を抽出することにより自動生成した文の対訳情報を含み、
前記第１自然言語文字領域からの第１自然言語文字情報の抽出は、学習済み文字認識モデルを用いて前記第１自然言語文字情報を推定することにより行われ、
前記学習済み文字認識モデルは、複数種のフォントについての前記第１自然言語の複数のフォント画像と、前記フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いてＲｅｓｎｅｔイメージ認識モジュールにより機械学習することにより、生成されたものである、漫画の機械翻訳方法。
【請求項9】
コンピュータを、第１自然言語を用いて作成された漫画を構成する第１自然言語画像より、文字領域を検出する文字領域検出部と、
前記文字領域より、前記第１自然言語の文字情報を推定する文字情報推定部と、
前記第１自然言語の文字情報を、対訳データベースを用いたニューラル機械翻訳により第２自然言語の文字情報に翻訳する機械翻訳部と、を備え、
前記対訳データベースは、参照漫画の第１自然言語参照画像に含まれる第１自然言語文字領域と前記参照漫画の第２自然言語参照画像に含まれ、第１自然言語文字領域に対応する第２自然言語文字領域とを検出し、前記第１自然言語文字領域に存在する第１自然言語文字情報および第２自然言語文字領域に存在する第２自然言語文字情報を抽出することにより自動生成した文の対訳情報を含み、
前記第１自然言語文字領域からの第１自然言語文字情報の抽出は、学習済み文字認識モデルを用いて前記第１自然言語文字情報を推定することにより行われ、
前記学習済み文字認識モデルは、複数種のフォントについての前記第１自然言語の複数のフォント画像と、前記フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いてＲｅｓｎｅｔイメージ認識モジュールにより機械学習することにより、生成されたものである、漫画の機械翻訳装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、漫画の機械翻訳装置、漫画の対訳データベース生成装置、漫画の機械翻訳方法およびプログラムに関する。
【背景技術】
【0002】
近年、コンピュータの処理能力の向上に伴い、ある自然言語で記載された文章を他の自然言語の文章に機械翻訳する方法が注目されており、種々の機械翻訳方法、装置が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－９６３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、現在、漫画の翻訳は、翻訳者の手によって行われている。翻訳者による翻訳では、漫画のストーリー等の状況に応じた柔軟な翻訳が行われるため、精度の高い翻訳が可能である。一方で、翻訳者による翻訳は、比較的費用が高いため、翻訳して他の地域、国において出版しても、著作権者や出版社が十分な利益を得られない場合がある。また、翻訳費用が高いことから、海外の出版社が翻訳権・出版権の買取を拒否し、正規の翻訳版が海外において出版されない場合もある。翻訳者による翻訳は、翻訳作業のために比較的長い時間を要する。したがって、正規の著作権者が漫画の翻訳を行って、他の地域、国において出版する前、あるいは正規の翻訳版が出版できずにいる間に、質の悪い海賊版が市場において売買されていることもあり得る。
【0005】
一方で、機械翻訳を用いた場合、比較的安価かつ迅速な翻訳が可能である。したがって、機械翻訳を用いた場合、翻訳者による翻訳において生じる欠点を解消できる。しかしながら、本発明者らが検討した結果、既存の機械翻訳方法を採用しても、精度の高い漫画の機械翻訳ができないことが判明した。
【0006】
本発明は、上記の課題を解決するためになされたものであって、精度の高い漫画の機械翻訳が可能な漫画の機械翻訳装置、漫画の機械翻訳方法およびプログラムならびにこれらのための漫画の対訳データベース生成装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の課題を解決するために提供される本発明の要旨は、主に以下の通りである。
（１） 第１自然言語を用いて作成された漫画を構成する第１自然言語画像より、文字領域を検出する文字領域検出部と、
前記文字領域より、前記第１自然言語の文字情報を推定する文字情報推定部と、
前記第１自然言語の文字情報を、対訳データベースを用いた機械翻訳により第２自然言語の文字情報に翻訳する機械翻訳部と、を備え、
前記対訳データベースは、参照漫画の第１自然言語参照画像に含まれる第１自然言語文字領域と前記参照漫画の第２自然言語参照画像に含まれ、第１自然言語文字領域に対応する第２自然言語文字領域とを検出し、前記第１自然言語文字領域に存在する第１自然言語文字情報および第２自然言語文字領域に存在する第２自然言語文字情報を抽出することにより自動生成した対訳情報を含む、漫画の機械翻訳装置。
（２） 前記文字情報推定部は、学習済み文字認識モデルを用いて前記文字領域より、前記文字情報を推定し、
前記学習済み文字認識モデルは、前記第１自然言語の１以上のフォント画像と、前記フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いて機械学習することにより、生成されたものである、（１）に記載の漫画の機械翻訳装置。
（３） 前記第１自然言語文字領域からの第１自然言語文字情報の抽出は、学習済み文字認識モデルを用いて前記第１自然言語文字情報を推定することにより行われ、
前記学習済み文字認識モデルは、前記第１自然言語の１以上のフォント画像と、前記フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いて機械学習することにより、生成されたものである、（１）または（２）に記載の漫画の機械翻訳装置。
（４） 前記第２自然言語文字領域からの第２自然言語文字情報の抽出は、学習済み第２自然言語文字認識モデルを用いて前記第２自然言語文字情報を推定することにより行われ、
前記学習済み第２自然言語文字認識モデルは、前記第２自然言語の１以上の第２自然言語フォント画像と、当該第２自然言語フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いて機械学習することにより、生成されたものである、（１）～（３）のいずれか一項に記載の漫画の機械翻訳装置。
（５） 前記第１自然言語が日本語である、（１）～（４）のいずれか一項に記載の漫画の機械翻訳装置。
（６） さらに、前記機械翻訳部により翻訳された前記第２自然言語の文字情報を、前記第１自然言語画像に画像として付与し、第２自然言語画像を生成する、画像生成部を備える、（１）～（５）のいずれか一項に記載の漫画の機械翻訳装置。
（７） 参照漫画の第１自然言語参照画像に含まれる第１自然言語文字領域と前記参照漫画の第２自然言語参照画像に含まれ、第１自然言語文字領域に対応する第２自然言語文字領域とを検出する文字領域検出部と、
前記第１自然言語文字領域に存在する第１自然言語文字情報および第２自然言語文字領域に存在する第２自然言語文字情報を抽出する対訳情報抽出部と、
前記第１言語文字情報の少なくとも一部と、前記第２言語文字情報の少なくとも一部とを、対訳情報として格納する記憶部とを有する、漫画の対訳データベース生成装置。
（８） 前記第１言語文字領域から第１自然言語文字情報の抽出は、学習済み文字認識モデルを用いて前記第１自然言語文字情報を推定することにより行われ、
前記学習済み文字認識モデルは、前記第1自然言語の１以上のフォント画像と、前記フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いて機械学習することにより、生成されたものである、（７）に記載の漫画の対訳データベース生成装置。
（９） 前記第２言語文字領域からの第２自然言語文字情報の抽出は、学習済み第２自然言語文字認識モデルを用いて前記第２自然言語文字情報を推定することにより行われ、
前記学習済み第２自然言語文字認識モデルは、前記第２自然言語の１以上の第２自然言語フォント画像と、当該第２自然言語フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いて機械学習することにより、生成されたものである、（８）に記載の漫画の対訳データベース生成装置。
（１０） プロセッサにより、
第１自然言語を用いて作成された漫画を構成する第１自然言語画像より、文字領域を検出することと、
前記文字領域より、前記第１自然言語の文字情報を推定することと、および
前記第１自然言語の文字情報を、対訳データベースを用いた機械翻訳により第２自然言語の文字情報に翻訳することと、を実行し、
前記対訳データベースは、参照漫画の第１自然言語参照画像に含まれる第１自然言語文字領域と前記参照漫画の第２自然言語参照画像に含まれ、第１自然言語文字領域に対応する第２自然言語文字領域とを検出し、前記第１自然言語文字領域に存在する第１自然言語文字情報および第２自然言語文字領域に存在する第２自然言語文字情報を抽出することにより自動生成した対訳情報を含む、漫画の機械翻訳方法。
（１１） コンピュータを、
第１自然言語を用いて作成された漫画を構成する第１自然言語画像より、文字領域を検出する文字領域検出部と、
前記文字領域より、前記第１自然言語の文字情報を推定する文字情報推定部と、
前記第１自然言語の文字情報を、対訳データベースを用いた機械翻訳により第２自然言語の文字情報に翻訳する機械翻訳部と、を備え、
前記対訳データベースは、参照漫画の第１自然言語参照画像に含まれる第１自然言語文字領域と前記参照漫画の第２自然言語参照画像に含まれ、第１自然言語文字領域に対応する第２自然言語文字領域とを検出し、前記第１自然言語文字領域に存在する第１自然言語文字情報および第２自然言語文字領域に存在する第２自然言語文字情報を抽出することにより自動生成した対訳情報を含む、漫画の機械翻訳装置として機能させるためのプログラム。
（１） 第１自然言語を用いて作成された漫画を構成する第１自然言語画像より、文字領域を検出する文字領域検出部と、
前記文字領域より、前記第１自然言語の文字情報を推定する文字情報推定部と、
前記第１自然言語の文字情報を、対訳データベースを用いた機械翻訳により第２自然言語の文字情報に翻訳する機械翻訳部と、を備え、
前記対訳データベースは、参照漫画の第１自然言語参照画像に含まれる第１自然言語文字領域と前記参照漫画の第２自然言語参照画像に含まれ、第１自然言語文字領域に対応する第２自然言語文字領域とを検出し、前記第１自然言語文字領域に存在する第１自然言語文字情報および第２自然言語文字領域に存在する第２自然言語文字情報を抽出することにより自動生成した対訳情報を含む、漫画の機械翻訳装置。
（２） 前記文字情報推定部は、学習済み文字認識モデルを用いて前記文字領域より、前記文字情報を推定し、
前記学習済み文字認識モデルは、前記第１自然言語の１以上のフォント画像と、前記フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いて機械学習することにより、生成されたものである、（１）に記載の漫画の機械翻訳装置。
（３） 前記第１自然言語文字領域からの第１自然言語文字情報の抽出は、学習済み文字認識モデルを用いて前記第１自然言語文字情報を推定することにより行われ、
前記学習済み文字認識モデルは、前記第１自然言語の１以上のフォント画像と、前記フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いて機械学習することにより、生成されたものである、（１）または（２）に記載の漫画の機械翻訳装置。
（４） 前記第２自然言語文字領域からの第２自然言語文字情報の抽出は、学習済み第２自然言語文字認識モデルを用いて前記第２自然言語文字情報を推定することにより行われ、
前記学習済み第２自然言語文字認識モデルは、前記第２自然言語の１以上の第２自然言語フォント画像と、当該第２自然言語フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いて機械学習することにより、生成されたものである、（１）～（３）のいずれか一項に記載の漫画の機械翻訳装置。
（５） 前記第１自然言語が日本語である、（１）～（４）のいずれか一項に記載の漫画の機械翻訳装置。
（６） さらに、前記機械翻訳部により翻訳された前記第２自然言語の文字情報を、前記第１自然言語画像に画像として付与し、第２自然言語画像を生成する、画像生成部を備える、（１）～（５）のいずれか一項に記載の漫画の機械翻訳装置。
（７） 参照漫画の第１自然言語参照画像に含まれる第１自然言語文字領域と前記参照漫画の第２自然言語参照画像に含まれ、第１自然言語文字領域に対応する第２自然言語文字領域とを検出する文字領域検出部と、
前記第１自然言語文字領域に存在する第１自然言語文字情報および第２自然言語文字領域に存在する第２自然言語文字情報を抽出する対訳情報抽出部と、
前記第１言語文字情報の少なくとも一部と、前記第２言語文字情報の少なくとも一部とを、対訳情報として格納する記憶部とを有する、漫画の対訳データベース生成装置。
（８） 前記第１言語文字領域から第１自然言語文字情報の抽出は、学習済み文字認識モデルを用いて前記第１自然言語文字情報を推定することにより行われ、
前記学習済み文字認識モデルは、前記第1自然言語の１以上のフォント画像と、前記フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いて機械学習することにより、生成されたものである、（７）に記載の漫画の対訳データベース生成装置。
（９） 前記第２言語文字領域からの第２自然言語文字情報の抽出は、学習済み第２自然言語文字認識モデルを用いて前記第２自然言語文字情報を推定することにより行われ、
前記学習済み第２自然言語文字認識モデルは、前記第２自然言語の１以上の第２自然言語フォント画像と、当該第２自然言語フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いて機械学習することにより、生成されたものである、（８）に記載の漫画の対訳データベース生成装置。
（１０） プロセッサにより、
第１自然言語を用いて作成された漫画を構成する第１自然言語画像より、文字領域を検出することと、
前記文字領域より、前記第１自然言語の文字情報を推定することと、および
前記第１自然言語の文字情報を、対訳データベースを用いた機械翻訳により第２自然言語の文字情報に翻訳することと、を実行し、
前記対訳データベースは、参照漫画の第１自然言語参照画像に含まれる第１自然言語文字領域と前記参照漫画の第２自然言語参照画像に含まれ、第１自然言語文字領域に対応する第２自然言語文字領域とを検出し、前記第１自然言語文字領域に存在する第１自然言語文字情報および第２自然言語文字領域に存在する第２自然言語文字情報を抽出することにより自動生成した対訳情報を含む、漫画の機械翻訳方法。
（１１） コンピュータを、
第１自然言語を用いて作成された漫画を構成する第１自然言語画像より、文字領域を検出する文字領域検出部と、
前記文字領域より、前記第１自然言語の文字情報を推定する文字情報推定部と、
前記第１自然言語の文字情報を、対訳データベースを用いた機械翻訳により第２自然言語の文字情報に翻訳する機械翻訳部と、を備え、
前記対訳データベースは、参照漫画の第１自然言語参照画像に含まれる第１自然言語文字領域と前記参照漫画の第２自然言語参照画像に含まれ、第１自然言語文字領域に対応する第２自然言語文字領域とを検出し、前記第１自然言語文字領域に存在する第１自然言語文字情報および第２自然言語文字領域に存在する第２自然言語文字情報を抽出することにより自動生成した対訳情報を含む、漫画の機械翻訳装置として機能させるためのプログラム。
【発明の効果】
【0008】
以上、本発明によれば、精度の高い漫画の機械翻訳が可能な漫画の機械翻訳装置、漫画の機械翻訳方法およびプログラムならびにこれらのための漫画の対訳データベース生成装置を提供することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の一実施形態に係る漫画の機械翻訳装置の機能構成を説明するブロック図である。
【図3】本発明の一実施形態に係る漫画の対訳データベース生成装置の機能構成を説明するブロック図である。
【図12】本発明の一実施形態に係る文字認識モデル生成方法を説明するフローチャートである。
【図13】本発明の一実施形態に係る漫画の対訳データベース生成方法を説明するフローチャートである。
【図14】本発明の一実施形態に係る漫画の機械翻訳方法を説明するフローチャートである。
【発明を実施するための形態】
【0010】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。
＜１．本発明者らによる検討＞
まず、本発明の実施形態の説明に先立ち、本発明者らによる検討について説明する。上述したように、本発明者らが検討したところ、既存の機械翻訳方法を採用しても、精度の高い漫画の機械翻訳ができなかった。
＜１．本発明者らによる検討＞
まず、本発明の実施形態の説明に先立ち、本発明者らによる検討について説明する。上述したように、本発明者らが検討したところ、既存の機械翻訳方法を採用しても、精度の高い漫画の機械翻訳ができなかった。
【0011】
本発明者らは、この理由について以下のような可能性を考慮した。機械翻訳を精度よく行うためには対訳データベース（コーパス）が必要であるが、既存の対訳データベースは漫画の機械翻訳に適していない可能性がある。特に、漫画は、通常の文章とは異なり、漫画中の人物のセリフが主に文として記載されている。このようなセリフは、主語や述語の対応がない場合や、文が途切れている場合も多い。さらには、疑問符、感嘆符、長音符、慢符等の符号の使用方法も作者によって大きく異なる。
【0012】
このような可能性に鑑み、本発明者らは、鋭意検討して漫画の対訳情報を含む特定の対訳データベースを用いたところ、精度の高い機械翻訳が可能となることを見出し、本発明に至った。
【0013】
＜２．システムの概要＞
まず、本実施形態に係る漫画の機械翻訳装置（以下、単に「機械翻訳装置」ともいう）、および漫画の対訳データベース生成装置（以下、単に「対訳データベース生成装置」ともいう）を含む、漫画の機械翻訳システムの概要について説明する。図１は、本発明の一実施形態に係る機械翻訳装置の機能構成を説明するブロック図、図２は、図１に記載の機械翻訳装置において使用される学習済み文字認識モデルを生成する文字認識モデル生成装置の機能構成を説明するブロック図、図３は、本発明の一実施形態に係る対訳データベース生成装置の機能構成を説明するブロック図である。
まず、本実施形態に係る漫画の機械翻訳装置（以下、単に「機械翻訳装置」ともいう）、および漫画の対訳データベース生成装置（以下、単に「対訳データベース生成装置」ともいう）を含む、漫画の機械翻訳システムの概要について説明する。図１は、本発明の一実施形態に係る機械翻訳装置の機能構成を説明するブロック図、図２は、図１に記載の機械翻訳装置において使用される学習済み文字認識モデルを生成する文字認識モデル生成装置の機能構成を説明するブロック図、図３は、本発明の一実施形態に係る対訳データベース生成装置の機能構成を説明するブロック図である。
【0014】
図１に示す機械翻訳装置１００は、第１自然言語としての日本語を用いて作成された漫画中の日本語文字情報を、第２自然言語としての英語文字情報に機械翻訳する装置である。
【0015】
また、図２示す文字認識モデル生成装置２００は、漫画画像に存在する自然言語文字情報を推定するための学習済み文字認識モデルを生成するための装置である。図３に示す対訳データベース生成装置３００は、翻訳済みの参照漫画について、第１自然言語としての日本語と、第２自然言語としての英語との対訳情報を抽出し、対訳データベースを自動生成する装置である。
【0016】
そして、図１に示すように、これらの機械翻訳装置１００、文字認識モデル生成装置２００、対訳データベース生成装置３００は、ネットワーク４００を介して、相互に通信可能であり、漫画の機械翻訳システムを構成している。ここで、文字認識モデル生成装置２００において生成される学習済み文字認識モデルは、機械翻訳装置１００および対訳データベース生成装置３００において利用される。また、対訳データベース生成装置３００において生成される対訳データベースは、機械翻訳装置１００における機械翻訳において使用される。したがって、説明の容易化のため、まず文字認識モデル生成装置２００、対訳データベース生成装置３００、次いで機械翻訳装置１００の順に説明を行う。
【0017】
なお、本実施形態においては、一例として、第１自然言語が日本語であり、第２自然言語が英語である場合について説明する。しかしながら、第１自然言語、第２自然言語は、これらの自然言語に限定されるものではなく、文字を用いて記載される任意の自然言語であることができる。
【0018】
（２．１． 文字認識モデル生成装置２００）
図２に示すように文字認識モデル生成装置２００は、教師データ生成部２１０と、機械学習部２３０と、記憶部２５０とを有する。
図２に示すように文字認識モデル生成装置２００は、教師データ生成部２１０と、機械学習部２３０と、記憶部２５０とを有する。
【0019】
教師データ生成部２１０は、後述する機械学習部２３０で用いる教師データを生成する。具体的には、図４に示すように、教師データ生成部２１０は、複数種のフォントについての文字画像４１１を含む画像、すなわちフォント画像群４１０を用意し、これに変形、傾きおよび／またはノイズを付与した加工文字画像４２１を含む加工文字画像群４２０を生成する。ここで、フォント画像群４１０は、文字画像４１１により構成された単語、文、あるいは文字列もしくは行単位等の複数の文字画像４１１により構成される単位を含んでいてもよい。この場合、これらの単位ごとの文字認識モデルを生成することもできる。次いで、加工フォント画像群４２０中の加工文字画像４２１と、フォント画像群４１０中の文字画像４１１とを組み合わせて、学習用文字画像４３１を複数含む学習用文字画像群４３０を生成する。なお、フォント画像群４１０については、記憶部２５０中に保存されたデータを使用することができる。また、生成した学習用文字画像群４３０等の各種データは、必要に応じて記憶部２５０に送信されて保存されてもよい。
【0020】
なお、本開示においては、学習用文字画像群４３０は、図４に記載される態様に限定されるものではなく、学習用文字画像群４３０は、例えば、漫画に記載される文字画像、その他公知の文字認識データセットの文字画像等の文字画像をさらに含んでいてもよい。
【0021】
さらに、教師データ生成部２１０は、学習用文字画像群４３０中の各学習用文字画像４３１に対応する当該学習用文字画像４３１の文字情報を正解データとして用意する。学習用文字画像群４３０が加工文字画像４２１および文字画像４１１以外の文字画像を含む場合、当該文字画像に対しては必要に応じて手動でまたは自動的に正解データに対応する文字情報が付与されてもよい。そして、教師データ生成部２１０は、例題データである学習用文字画像群４３０と正解データとを含む教師データを生成する。生成した教師データは、機械学習部２３０へ直接出力されてもよいし、記憶部２５０において保存されてもよい。
【0022】
機械学習部２３０は、教師データ生成部２１０において生成した教師データを用いて機械学習を行い、学習済み文字認識モデルを生成する。機械学習において用いられる手法（アルゴリズム）は、特に限定されるものではなく、当業者が利用可能な各種手法を単独でまたは組み合わせて用いることができる。当該手法としては、例えば、ＲｅｓＮｅｔ（残渣ネットワーク）イメージ認識モジュール、ＣＲＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）や、Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ ＬＳＴＭ（Ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）を含むＬＳＴＭ等の畳み込みニューラルネットワークや再帰型ニューラルネットワーク等の各種ニューラルネットワークや、これらの組み合わせを挙げることができる。なお、学習済み文字認識モデルは、文字単位で文字情報を認識するものであってもよいし、単語、文、あるいは文字列もしくは行単位等の複数の文字により構成される単位で文字情報を認識するものであってもよい。機械学習部２３０は、生成した学習済み文字認識モデルを記憶部２５０に保存するとともに、必要に応じて機械翻訳装置１００や対訳データベース生成装置３００へ送信する。
【0023】
記憶部２５０は、教師データや学習済み文字認識モデルの生成に必要な各種情報を保存するとともに、生成した教師データや学習済み文字認識モデルを保存する。教師データや学習済み文字認識モデルの生成に必要な各種情報としては、例えば、フォント情報（文字画像および文字情報）、変形、傾き、ノイズ付与に必要な加工のための情報、機械学習のための手法に関する各種情報等が挙げられる。
【0024】
（２．２． 対訳データベース生成装置３００）
対訳データベース生成装置３００は、翻訳済みの参照漫画について、日本語と、英語との対訳情報を抽出し、対訳データベースを自動生成する。図３に示すように、対訳データベース生成装置３００は、参照画像取得部３１０と、文字領域検出部３３０と、対訳情報抽出部３５０と、記憶部３７０とを有している。
対訳データベース生成装置３００は、翻訳済みの参照漫画について、日本語と、英語との対訳情報を抽出し、対訳データベースを自動生成する。図３に示すように、対訳データベース生成装置３００は、参照画像取得部３１０と、文字領域検出部３３０と、対訳情報抽出部３５０と、記憶部３７０とを有している。
【0025】
参照画像取得部３１０は、翻訳済みの参照漫画中の画像を取得し、日本語参照画像と英語参照画像とを対応付ける。ここで、参照漫画としては、第１の自然言語としての日本語で作成された日本語参照漫画５００Ｊと、第２自然言語としての英語で作成された英語参照漫画５００Ｅとが存在する漫画作品であれば、特に限定されず、任意のものを使用することができる。日本語参照漫画５００Ｊおよび英語参照漫画５００Ｅは、それぞれ電子的なテキストデータが付属していなくてもよい。本実施形態においては、後述する文字領域検出部３３０および対訳情報抽出部３５０により、精度よく、日本語文字情報および英語文字情報を抽出することができる。また、日本語参照漫画５００Ｊおよび英語参照漫画５００Ｅは、少なくともいずれかが翻訳者により翻訳されたものであることが好ましい。これにより、より精度の良い機械翻訳が可能になる。
【0026】
図５に示すように、参照画像取得部３１０は、まず、日本語参照漫画５００Ｊおよび英語参照漫画５００Ｅの各ページの画像を、それぞれ日本語参照画像５１０Ｊｎ、英語参照画像５１０Ｅｍとして取り込む（ここでｎ、ｍは自然数である）。ここで、一般に漫画は、絵と文字により表現されており、翻訳された際にも、原作の漫画と翻訳後の漫画とは、内容部分については、ページごとに対応する。しかしながら、表紙や目次の構成等によっては、原作の漫画と翻訳後の漫画とで対応位置（表紙からのページ数）が異なる場合がある。
【0027】
したがって、参照画像取得部３１０は、取り込まれた日本語参照漫画５００Ｊの取り込まれた日本語参照画像５１０Ｊｎを英語参照漫画５００Ｅの英語参照画像５１０Ｅｍと対応付ける。対応付けのための手法は特に限定されないが、例えば局所的な特徴量を演算することにより行うことができる。具体的には、ＡＫＡＺＥ検出器等の検出器により、日本語参照画像５１０Ｊｎおよび英語参照画像５１０Ｅｍの局所記述子（ｌｏｃａｌ ｄｅｓｃｒｉｐｔｏｒ）を検出する。次いで、日本語参照画像５１０Ｊｎおよび英語参照画像５１０Ｅｍの２つのページのホモグラフィー行列を算出する。ついで、ｉｎｌｉｅｒと判断された局所的特徴のペアをカウントすることにより、日本語参照画像５１０Ｊｎおよび英語参照画像５１０Ｅｍの類似性を判断する。
【0028】
この結果に基づき、参照画像取得部３１０は、日本語参照画像５１０Ｊｎおよび英語参照画像５１０Ｅｍの対応付けを行う。例えば、図５においては、日本語参照画像５１０Ｊ１は英語参照画像５１０Ｅ１に、日本語参照画像５１０Ｊ２は英語参照画像５１０Ｅ３に、日本語参照画像５１０Ｊ３は英語参照画像５１０Ｅ４に対応付けられる。参照画像取得部３１０は、対応付けられた日本語参照画像５１０Ｊｎおよび英語参照画像５１０Ｅｍのペアを文字領域検出部３３０に出力するおよび／または記憶部３７０に保存する。なお、参照画像取得部３１０は、必要に応じて、保存または出力される日本語参照画像５１０Ｊｎおよび英語参照画像５１０Ｅｍに対してこれらの形状が一致するように画像補正を行ってもよい。例えば、参照画像取得部３１０は、日本語参照画像５１０Ｊｎおよび英語参照画像５１０Ｅｍのサイズを統一してもよいし、あるいは日本語参照画像５１０Ｊｎおよび英語参照画像５１０Ｅｍに存在する歪みや傾きを補正してもよい。
【0029】
図６、図７に示すように、文字領域検出部３３０は、日本語参照画像５１０Ｊｎに含まれる日本語文字領域５２０Ｊ、５３０Ｊと英語参照画像５１０Ｅｍに含まれ、日本語文字領域に対応する英語文字領域５２０Ｅ、５３０Ｅとを検出する。
【0030】
日本語文字領域５２０Ｊ、５３０Ｊおよび英語文字領域５２０Ｅ、５３０Ｅの検出は、いかなる手法で行われてもよいが、例えば、物体検出器（ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ）により検出することができる。物体検出器としては、特に限定されるものではなく、例えば、Ｒ－ＣＮＮ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ、Ｆａｓｔ Ｒ－ＣＮＮ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ、Ｍａｓｋ Ｒ－ＣＮＮ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ等のＲ－ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）系物体検出器、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＹＯＬＯ（Ｙｏｕ Ｌｏｏｋ Ｏｎｌｙ Ｏｎｃｅ）、Ｍ２Ｄｅｔ等を用いることができる。
【0031】
また、日本語文字領域５２０Ｊ、５３０Ｊおよび英語文字領域５２０Ｅ、５３０Ｅのうち、一方の自然言語の文字領域のみ検出し、検出した文字領域の位置に基づき、他方の自然言語に存在する文字領域を特定してもよい。通常、漫画の文字情報は、翻訳後においても漫画の絵画中の同一位置に配置されるため、精度の良い文字領域の検出が可能である。さらに、物体検出処理に要する時間が節約される。例えば、図７において、日本語文字領域５２０Ｊ、５３０Ｊを物体検出処理により検出し、その後、英語参照画像５１０Ｅｍ中の日本語文字領域５２０Ｊ、５３０Ｊに対応する部位を英語文字領域５２０Ｅ、５３０Ｅとして特定することができる。
【0032】
対訳情報抽出部３５０は、文字領域検出部３３０により検出された日本語文字領域５２０Ｊ、５３０Ｊおよび英語文字領域５２０Ｅ、５３０Ｅより、それぞれ日本語文字情報５２１Ｊ、５３１Ｊおよび英語文字情報５２１Ｅ、５３１Ｅを抽出する。具体的には、対訳情報抽出部３５０は、日本語文字領域５２０Ｊ、５３０Ｊおよび英語文字領域５２０Ｅ、５３０Ｅにおいて存在する文字列を特定し、文字列に存在する文字情報を抽出する。
【0033】
文字列の特定は、一例として、以下のようにして行うことができる。通常、漫画中の文字列は、黒字で記載され、周囲が白色である。したがって、縦書きの文字列を検出する場合、図８に示すように、対訳情報抽出部３５０は、まず、文字領域５４０について、ピクセルの列５４１に分割し、列５４１中に連結された黒のピクセル部位が存在するか否かを判断し、黒のピクセル部位が存在する列５４３および列群５４５を特定する。その後、対訳情報抽出部３５０は、文字列としては小さい列５４３を除去して、列群５４５を文字列５４５として特定する。その後、必要に応じて、対訳情報抽出部３５０は、文字列５４５について分割を行い、文字画像５４７、５４９を得る。
【0034】
同様に、横書きの文字列を検出する場合、図９に示すように、対訳情報抽出部３５０は、まず、文字領域５５０について、ピクセルの行５５１に分割し、行５５１中に連結された黒のピクセル部位が存在するか否かを判断し、黒のピクセル部位が存在する行および行群５５３を特定する。その後、対訳情報抽出部３５０は、文字列としては小さい行を除去して、行群５５３を文字列５５３として特定する。
【0035】
なお、本開示は、図８、図９に記載される態様に限定されるものではなく、対訳情報抽出部３５０は、文字列単位で物体検出を行うことにより、直接日本語文字領域５２０Ｊ、５３０Ｊおよび英語文字領域５２０Ｅ、５３０Ｅから文字列を検出してもよい。この場合、文字領域検出部３３０を省略することができる。この場合においても、物体検出器としては、特に限定されるものではなく、例えば、Ｒ－ＣＮＮ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ、Ｆａｓｔ Ｒ－ＣＮＮ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ、Ｍａｓｋ Ｒ－ＣＮＮ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ等のＲ－ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）系物体検出器、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＹＯＬＯ（Ｙｏｕ Ｌｏｏｋ Ｏｎｌｙ Ｏｎｃｅ）、Ｍ２Ｄｅｔ等を用いることができる。
【0036】
ついで、対訳情報抽出部３５０は、日本語文字領域５２０Ｊ、５３０Ｊおよび英語文字領域５２０Ｅ、５３０Ｅにおいて特定された文字列から、日本語文字情報５２１Ｊ、５３１Ｊおよび英語文字情報５２１Ｅ、５３１Ｅを抽出する。日本語文字情報５２１Ｊ、５３１Ｊおよび英語文字情報５２１Ｅ、５３１Ｅの抽出は、文字認識モデル生成装置２００において生成した学習済み日本語文字認識モデルおよび学習済み英語文字認識モデルを用いて行うことができる。
【0037】
さらに、対訳情報抽出部３５０は、抽出された日本語文字情報５２１Ｊとこれに対応する英語文字情報５２１Ｅ、また日本語文字情報５３１Ｊとこれに対応する英語文字情報５３１Ｅを１対の文の対訳情報として特定し、後述する対訳データベース３７１に出力する。
【0038】
記憶部３７０は、対訳情報抽出部３５０において行われる処理に必要な各種情報を記憶するとともに、対訳データベース３７１を格納する。対訳情報抽出部３５０において行われる処理に必要な各種情報としては、例えば、学習済み日本語文字認識モデルおよび学習済み英語文字認識モデル等が挙げられる。
【0039】
また、対訳データベース３７１には、少なくとも対訳情報抽出部３５０において抽出された対訳情報を含む。対訳データベース３７１は、さらに、対訳情報抽出部３５０を用いずに得られた対訳情報を有してもよい。
【0040】
（２．３． 機械翻訳装置１００）
図１に示すように、機械翻訳装置１００は、機械翻訳学習部１１０と、漫画画像取得部１２０と、文字領域検出部１３０と、文字情報推定部１４０と、機械翻訳部１５０と、画像生成部１６０と、記憶部１７０とを有している。
図１に示すように、機械翻訳装置１００は、機械翻訳学習部１１０と、漫画画像取得部１２０と、文字領域検出部１３０と、文字情報推定部１４０と、機械翻訳部１５０と、画像生成部１６０と、記憶部１７０とを有している。
【0041】
機械翻訳学習部１１０は、対訳情報抽出部３５０において生成された対訳データベース３７１を用いて、機械翻訳モデルの学習を行う。本実施形態においては、機械翻訳モデルとして、ニューラル機械翻訳器を用いる。ニューラル機械翻訳器としては、特に限定されるものではないが、例えば、Ａｔｔｅｎｔｉｏｎ－ｂａｓｅｄ Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｅｑｕｅｎｃｅ ｔｏ Ｓｅｑｕｅｎｃｅ、Ｔｒａｎｓｆｏｒｍｅｒ等を用いることができる。機械翻訳学習部１１０は、学習済みの機械翻訳モデルを、記憶部１７０へ出力する。
【0042】
漫画画像取得部１２０は、図１０に示すように、翻訳対象の漫画の各ページを漫画画像６００Ｊｎとして取得する（ｎは自然数である）。漫画画像取得部１２０は、必要に応じて、漫画画像６００Ｊｎに対して画像補正を行ってもよい。例えば、漫画画像取得部１２０は漫画画像６００Ｊｎのサイズを各ページ間で統一してもよいし、あるいは漫画画像６００Ｊｎに存在する歪みや傾きを補正してもよい。漫画画像６００Ｊｎの取得方法は、特に限定されず、電子データとして提供されるものを用いてもよいし、紙媒体の漫画をスキャンすることにより得てもよい。なお、ここで翻訳対象の漫画は、日本語にて作成されており、英語に翻訳されることが予定されているとする。
【0043】
文字領域検出部１３０は、漫画画像６００Ｊｎより、文字領域６１０を検出する。文字領域６１０の検出は、文字領域検出部３３０と同様に、いかなる手法で行われてもよいが、例えば、物体検出器（ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ）により検出することができる。物体検出器としては、特に限定されるものではなく、例えば、Ｒ－ＣＮＮ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ、Ｆａｓｔ Ｒ－ＣＮＮ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ、Ｍａｓｋ Ｒ－ＣＮＮ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ等のＲ－ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）系物体検出器、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＹＯＬＯ（Ｙｏｕ Ｌｏｏｋ Ｏｎｌｙ Ｏｎｃｅ）、Ｍ２Ｄｅｔ等を用いることができる。なお、文字領域検出部１３０は、漫画画像６００Ｊｎに存在する文字列を直接文字領域６１０として検出・特定してもよい。
【0044】
文字情報推定部１４０は、検出された文字領域６１０より、日本語の文字情報６２０Ｊを推定する。具体的には、文字情報推定部１４０は、文字領域６１０において存在する文字列を特定し、文字列に存在する文字情報６２０Ｊを抽出する。文字列の特定は、対訳情報抽出部３５０における手法と同様の手法により行うことができる。なお、文字領域検出部１３０が直接文字列を文字領域６１０として検出している場合、文字情報推定部１４０による文字列の特定は省略できる。
【0045】
ついで、文字情報推定部１４０は、文字領域６１０において特定された文字列から文字情報６２０Ｊを抽出する。文字情報６２０Ｊの抽出は、文字認識モデル生成装置２００において生成した学習済み日本語文字認識モデルを用いて行うことができる。
【0046】
機械翻訳部１５０は、文字情報推定部１４０において推定された日本語の文字情報６２０Ｊを、機械翻訳により英語の文字情報６２０Ｅに翻訳する。機械翻訳部１５０における機械翻訳は、機械翻訳学習部１１０において学習した機械翻訳モデルにより行われる。この機械翻訳モデルは、対訳データベース３７１の対訳情報を利用して学習されたものであり、精度のよい翻訳が可能である。
【0047】
画像生成部１６０は、機械翻訳部１５０により翻訳された英語の文字情報６２０Ｅを、日本語で作成された漫画画像６００Ｊｎに画像として付与し、英語の漫画画像６００Ｅｎを生成する。具体的には、図１１に示すように、画像生成部１６０は、漫画画像６００Ｊｎ中の文字領域６１０を白色の領域とし、その後、文字情報６２０Ｅを画像として付与する。なお、文字情報６２０が付与される領域は、文字情報６２０Ｊが存在していた領域に対応していればよく、文字情報６２０Ｊが存在していた領域と一致しなくてもよい。
【0048】
記憶部１７０は、各部に対する入出力が可能であり、各部の処理に必要な情報を保存する。例えば、記憶部１７０は、漫画画像取得部１２０において処理されるための漫画画像６００Ｊｎや、文字情報推定部１４０において使用される学習済み文字認識モデル、機械翻訳学習部１１０において生成したニューラル機械翻訳モデル等を記憶する。
【0049】
＜３．漫画の機械翻訳方法、文字認識モデル生成方法および対訳データベース生成方法＞
次に、上述した機械翻訳装置１００、文字認識モデル生成装置２００および対訳データベース生成装置３００の動作について、漫画の機械翻訳方法、文字認識モデル生成方法および対訳データベース生成方法とともに説明する。なお、上記の装置構成の説明と同様、文字認識モデル生成方法および対訳データベース生成方法を説明した後、漫画の機械翻訳方法について説明する。
次に、上述した機械翻訳装置１００、文字認識モデル生成装置２００および対訳データベース生成装置３００の動作について、漫画の機械翻訳方法、文字認識モデル生成方法および対訳データベース生成方法とともに説明する。なお、上記の装置構成の説明と同様、文字認識モデル生成方法および対訳データベース生成方法を説明した後、漫画の機械翻訳方法について説明する。
【0050】
（３．１ 文字認識モデル生成方法）
本実施形態に係る文字認識モデル生成方法は、プロセッサにより、自然言語の１以上のフォント画像と、前記フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いて機械学習することにより、学習済み文字認識モデルを生成すること、を実行することを含む。
図１２は、本実施形態に係る文字認識モデル生成方法についてのフローチャートである。
本実施形態に係る文字認識モデル生成方法は、プロセッサにより、自然言語の１以上のフォント画像と、前記フォント画像に変形、傾きおよび／またはノイズを付与した画像とを含む教師データを用いて機械学習することにより、学習済み文字認識モデルを生成すること、を実行することを含む。
図１２は、本実施形態に係る文字認識モデル生成方法についてのフローチャートである。
【0051】
本実施形態では、まず、教師データ生成部２１０により教師データが作成される。具体的には、教師データ生成部２１０は、記憶部２５０より、複数種のフォントについての文字画像４１１を含むフォント画像群４１０を取得する（Ｓ１０１）。
次に、教師データ生成部２１０は、フォント画像群４１０中の文字画像４１１に変形、傾きおよび／またはノイズを付与した加工文字画像４２１を含む加工文字画像群４２０を生成する（Ｓ１０３）。
次に、教師データ生成部２１０は、フォント画像群４１０中の文字画像４１１に変形、傾きおよび／またはノイズを付与した加工文字画像４２１を含む加工文字画像群４２０を生成する（Ｓ１０３）。
【0052】
次に、教師データ生成部２１０は、加工フォント画像群４２０中の加工文字画像４２１と、フォント画像群４１０中の文字画像４１１とを組み合わせて、学習用文字画像４３１を複数含む学習用文字画像群４３０を生成する（Ｓ１０５）。
【0053】
最後に、機械学習部２３０により、教師データ生成部２１０において生成した教師データを用いて機械学習を行い、学習済み文字認識モデルを生成する（Ｓ１０７）。
【0054】
以上のようにして得られる学習済み文字認識モデルを用いた場合、多種多様なフォントや、その変形画像に対応して、漫画画像中の文字を認識することができる。すなわち、一般に、漫画は、一般の文書とは異なり、絵とともに文が記載されており、視覚的な要素が大きいことから、同一のページ中であっても、多種多様なフォントが用いられる。また、漫画中の会話のやり取りや状況を、臨場感を持って説明するために、多種多様なフォントがさらに変形されることもある。本発明者らが検討したところ、このような漫画中に記載される文は、一般的な光学式文字認識手段（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）では正確に認識することが困難である。これに対し、上記で得られる学習済み文字認識モデルを用いた場合、精度よく漫画中も文字情報を認識することができる。
【0055】
（３．２ 対訳データベース生成方法）
本実施形態に係る対訳データベース生成方法は、プロセッサにより、参照漫画の第１自然言語参照画像に含まれる第１自然言語文字領域と前記参照漫画の第２自然言語参照画像に含まれ、第１自然言語文字領域に対応する第２自然言語文字領域とを検出することと、
前記第１自然言語文字領域に存在する第１自然言語文字情報および第２自然言語文字領域に存在する第２自然言語文字情報を抽出することと、を実行することを含む。
図１３は、本実施形態に係る漫画の対訳データベース生成方法を説明するフローチャートである。以下、第１自然言語が日本語であり、第２自然言語が英語である場合について説明する。
本実施形態に係る対訳データベース生成方法は、プロセッサにより、参照漫画の第１自然言語参照画像に含まれる第１自然言語文字領域と前記参照漫画の第２自然言語参照画像に含まれ、第１自然言語文字領域に対応する第２自然言語文字領域とを検出することと、
前記第１自然言語文字領域に存在する第１自然言語文字情報および第２自然言語文字領域に存在する第２自然言語文字情報を抽出することと、を実行することを含む。
図１３は、本実施形態に係る漫画の対訳データベース生成方法を説明するフローチャートである。以下、第１自然言語が日本語であり、第２自然言語が英語である場合について説明する。
【0056】
まず、各工程に先立ち、参照画像取得部３１０は、まず、日本語参照漫画５００Ｊおよび英語参照漫画５００Ｅの各ページの画像を、それぞれ日本語参照画像５１０Ｊｎ、英語参照画像５１０Ｅｍとして取り込む（ここでｎ、ｍは自然数である）（Ｓ２０１）。
次に、参照画像取得部３１０は、取り込まれた日本語参照漫画５００Ｊの取り込まれた日本語参照画像５１０Ｊｎを英語参照漫画５００Ｅの英語参照画像５１０Ｅｍと対応付ける（Ｓ２０３）。
次に、参照画像取得部３１０は、取り込まれた日本語参照漫画５００Ｊの取り込まれた日本語参照画像５１０Ｊｎを英語参照漫画５００Ｅの英語参照画像５１０Ｅｍと対応付ける（Ｓ２０３）。
【0057】
次いで、文字領域検出部３３０により、日本語参照画像５１０Ｊｎに含まれる日本語文字領域５２０Ｊ、５３０Ｊと英語参照画像５１０Ｅｍに含まれ、日本語文字領域に対応する英語文字領域５２０Ｅ、５３０Ｅとを検出する（Ｓ２０５）。なお、ここで文字領域検出部３３０は、日本語参照画像５１０Ｊｎ、英語参照画像５１０Ｅｍに含まれる文字列を直接日本語文字領域５２０Ｊ、５３０Ｊ、英語文字領域５２０Ｅ、５３０Ｅとして検出してもよい。
【0058】
次いで、対訳情報抽出部３５０により、文字領域検出部３３０により検出された日本語文字領域５２０Ｊ、５３０Ｊおよび英語文字領域５２０Ｅ、５３０Ｅより、それぞれ日本語文字情報５２１Ｊ、５３１Ｊおよび英語文字情報５２１Ｅ、５３１Ｅを抽出する（Ｓ２０７）。具体的には、対訳情報抽出部３５０により、日本語文字領域５２０Ｊ、５３０Ｊおよび英語文字領域５２０Ｅ、５３０Ｅにおいて存在する文字列を特定し、文字列に存在する文字情報を抽出する。文字領域検出部３３０が直接文字列を日本語文字領域５２０Ｊ、５３０Ｊ、英語文字領域５２０Ｅ、５３０Ｅとして特定した場合には、対訳情報抽出部３５０による文字列の特定は省略されることができる。日本語文字情報５２１Ｊ、５３１Ｊおよび英語文字情報５２１Ｅ、５３１Ｅの抽出は、文字認識モデル生成方法において生成した学習済み日本語文字認識モデルおよび学習済み英語文字認識モデルを用いて行うことができる。
【0059】
最後に、対訳情報抽出部３５０により、抽出された日本語文字情報５２１Ｊとこれに対応する英語文字情報５２１Ｅ、また日本語文字情報５３１Ｊとこれに対応する英語文字情報５３１Ｅを１対の文の対訳情報として特定し（Ｓ２０９）、後述する対訳データベース３７１に出力する。以上を行うことにより、対訳データベース３７１を生成することができる。
【0060】
以上によれば、漫画の対訳データベースを精度よくかつ迅速に自動生成することができる。特に、上記の対訳データベース生成方法は、漫画の対訳のテキストデータを必要とせず、対訳が存在する漫画が存在すればよいことから、多種多様な漫画から対訳を収集することができ、膨大なデータ量の対訳データベースを安価に生成することが容易である。また特に、文字認識モデル生成方法において生成した学習済み文字認識モデルを用いた場合、漫画特有の多種多様なフォントおよびこれの変形物にも対応して精度よく文字情報を認識することが可能となる。この結果、精度の良い対訳データベースを自動生成することが可能となる。
【0061】
（３．３ 漫画の機械翻訳方法）
本実施形態に係る漫画の機械翻訳方法は、プロセッサにより、
第１自然言語を用いて作成された漫画を構成する第１自然言語画像より、文字領域を検出することと、
前記文字領域より、前記第１自然言語の文字情報を推定することと、および
前記第１自然言語の文字情報を、対訳データベースを用いた機械翻訳により第２自然言語の文字情報に翻訳することと、を実行することを含む。
図１４は、本実施形態に係る漫画の機械翻訳方法を説明するフローチャートである。以下、第１自然言語が日本語であり、第２自然言語が英語である場合について説明する。
本実施形態に係る漫画の機械翻訳方法は、プロセッサにより、
第１自然言語を用いて作成された漫画を構成する第１自然言語画像より、文字領域を検出することと、
前記文字領域より、前記第１自然言語の文字情報を推定することと、および
前記第１自然言語の文字情報を、対訳データベースを用いた機械翻訳により第２自然言語の文字情報に翻訳することと、を実行することを含む。
図１４は、本実施形態に係る漫画の機械翻訳方法を説明するフローチャートである。以下、第１自然言語が日本語であり、第２自然言語が英語である場合について説明する。
【0062】
まず、漫画画像取得部１２０により、翻訳対象の漫画の各ページを日本語の漫画画像６００Ｊｎとして取得する（ｎは自然数である）（Ｓ３０１）。次いで、文字領域検出部１３０により、漫画画像６００Ｊｎから文字領域６１０を検出する（Ｓ３０３）。
【0063】
次いで、文字情報推定部１４０により、検出された文字領域６１０から日本語の文字情報６２０Ｊを推定する（Ｓ３０５）。文字情報６２０Ｊの抽出は、文字認識モデル生成装置２００において生成した学習済み日本語文字認識モデルを用いて行うことができる。
【0064】
次いで、機械翻訳部１５０により、文字情報推定部１４０において推定された日本語の文字情報６２０Ｊを、機械翻訳により英語の文字情報６２０Ｅに翻訳する（Ｓ３０７）。機械翻訳は、機械翻訳学習部１１０において学習した機械翻訳モデルにより行われる。
【0065】
最後に、画像生成部１６０により、機械翻訳部１５０により翻訳された英語の文字情報６２０Ｅを、日本語で作成された漫画画像６００Ｊｎに画像として付与し、英語の漫画画像６００Ｅｎを生成する（Ｓ３０７）。
【0066】
以上によれば、上述した漫画の対訳データベースを用いて機械翻訳を行うことにより、精度よくかつ迅速に漫画の機械翻訳を行うことが可能である。また特に、文字認識モデル生成方法において生成した学習済み文字認識モデルを用いた場合、漫画特有の多種多様なフォントおよびこれの変形物にも対応して精度よく文字情報を認識することが可能となる。この結果、機械翻訳の精度がより一層向上する。
【0067】
＜４．ハードウェア構成例＞
最後に、図１５を参照して、本実施形態に係る漫画の機械翻訳装置１００のハードウェア構成について説明する。図１５は、本実施形態に係る漫画の機械翻訳装置のハードウェア構成の一例を示すブロック図である。なお、図１５に示す情報処理装置（コンピュータ）９００は、例えば、図１に示した機械翻訳装置１００を実現し得る。本実施形態に係る機械翻訳装置１００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。なお、漫画の対訳データベース生成装置３００および文字認識モデル生成装置２００についても同様である。
最後に、図１５を参照して、本実施形態に係る漫画の機械翻訳装置１００のハードウェア構成について説明する。図１５は、本実施形態に係る漫画の機械翻訳装置のハードウェア構成の一例を示すブロック図である。なお、図１５に示す情報処理装置（コンピュータ）９００は、例えば、図１に示した機械翻訳装置１００を実現し得る。本実施形態に係る機械翻訳装置１００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。なお、漫画の対訳データベース生成装置３００および文字認識モデル生成装置２００についても同様である。
【0068】
図１５に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）若しくはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の処理回路を有してもよい。
【0069】
ＣＰＵ９０１は、プロセッサの一例であり、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。
【0070】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【0071】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0072】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ ｄｉｓｐｌａｙ）ディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、出力装置９０７は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置を用いる場合は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【0073】
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図１に示す記憶部１７０の機能を実行し得る。
【0074】
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
【0075】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
【0076】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
【0077】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【0078】
＜５．プログラムおよび記録媒体＞
以上、本実施形態に係る機械翻訳装置１００、漫画の対訳データベース生成装置３００および文字認識モデル生成装置２００およびこれを用いた各種方法について説明した。
したがって、本発明は、他の局面において、コンピュータをこれらの装置として機能させるためのプログラムにも関する。また、該プログラムを記憶させた記録媒体も提供される。
以上、本実施形態に係る機械翻訳装置１００、漫画の対訳データベース生成装置３００および文字認識モデル生成装置２００およびこれを用いた各種方法について説明した。
したがって、本発明は、他の局面において、コンピュータをこれらの装置として機能させるためのプログラムにも関する。また、該プログラムを記憶させた記録媒体も提供される。
【0079】
＜６．まとめ＞
以上、図１～１５を参照して、本発明の一実施形態について説明した。以上説明したように、本発明によれば、精度の高い漫画の機械翻訳が可能な漫画の機械翻訳装置、漫画の機械翻訳方法およびプログラムならびにこれらのための漫画の対訳データベース生成装置を提供することができる。特に、上述した漫画の対訳データベースを用いた場合、漫画の機械翻訳の精度が向上する。さらには、上述した学習済み文字認識モデルを用いることにより、従来困難であった漫画の画像より文字情報を精度よく認識することが可能となる。
以上、図１～１５を参照して、本発明の一実施形態について説明した。以上説明したように、本発明によれば、精度の高い漫画の機械翻訳が可能な漫画の機械翻訳装置、漫画の機械翻訳方法およびプログラムならびにこれらのための漫画の対訳データベース生成装置を提供することができる。特に、上述した漫画の対訳データベースを用いた場合、漫画の機械翻訳の精度が向上する。さらには、上述した学習済み文字認識モデルを用いることにより、従来困難であった漫画の画像より文字情報を精度よく認識することが可能となる。
【0080】
なお、本発明は、上記の実施形態に限定されるものではない。例えば、上述した実施形態においては、機械翻訳は、ニューラル機械翻訳であるとして説明したが、これに限定されない。機械翻訳としては、上述した漫画の対訳データベースを用いる限り、あらゆる統計的機械翻訳およびニューラル機械翻訳を用いることができる。
【0081】
また、例えば、上述した実施形態に係る漫画の機械翻訳装置、および漫画の対訳データベース生成装置は、上述した学習済み文字認識モデルを用いることとしたが、これに限定されず、本発明に係る漫画の機械翻訳装置、および漫画の対訳データベース生成装置は、上記学習済み文字認識モデルを用いていなくてもよい。
【0082】
また、例えば、上述した実施形態においては、学習用文字画像群４３０は、加工フォント画像群４２０中の加工文字画像４２１と、フォント画像群４１０中の文字画像４１１とを組み合わせて得られるものとして説明したが、本開示はこれに限定されない。例えば、学習用文字画像群は、加工フォント画像群４２０中の加工文字画像４２１と、フォント画像群４１０中の文字画像４１１を含まなくてもよい。この場合、学習用文字画像群は、漫画に記載される文字画像、その他公知の文字認識データセットの文字画像等のその他の文字画像を含むことができる。
【0083】
また、例えば、対訳データベースの生成における第１自然言語文字領域および第２自然言語文字領域の検出は、上述した物体検出器に限定されるものではなく、例えば、第１自然言語参照画像および第２自然言語参照画像の対応するページを重ね合わせ、異なる部分を第１自然言語文字領域および第２自然言語文字領域として検出してもよい。
【0084】
また、上述した説明では、第１自然言語が日本語であり、第２自然言語が英語であるものとして説明したが、本発明は、上述した実施形態に限定されるものではなく、第１自然言語および第２自然言語は、文字を用いて記載される任意の自然言語であることができる。
【0085】
また、上述した説明では、漫画の機械翻訳装置１００、漫画の対訳データベース生成装置３００および文字認識モデル生成装置２００がそれぞれ１つの情報処理装置によって構成されるものとして説明したが、本発明はこれに限定されない。例えば、漫画の機械翻訳装置、漫画の対訳データベース生成装置および文字認識モデル生成装置は、それぞれ複数の情報処理装置により構成されていてもよい。また、漫画の機械翻訳装置、漫画の対訳データベース生成装置および文字認識モデル生成装置のうち２以上が、一つの情報処理装置において実現されていてもよい。
【0086】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0087】
１００ 機械翻訳装置
１１０ 機械翻訳学習部
１２０ 漫画画像取得部
１３０ 文字領域検出部
１４０ 文字情報推定部
１５０ 機械翻訳部
１６０ 画像生成部
１７０ 記憶部
２００ 文字認識モデル生成装置
２１０ 教師データ生成部
２３０ 機械学習部
２５０ 記憶部
３００ 対訳データベース生成装置
３１０ 参照画像取得部
３３０ 文字領域検出部
３５０ 対訳情報抽出部
３７０ 記憶部
３７１ 対訳データベース
４００ ネットワーク
１１０ 機械翻訳学習部
１２０ 漫画画像取得部
１３０ 文字領域検出部
１４０ 文字情報推定部
１５０ 機械翻訳部
１６０ 画像生成部
１７０ 記憶部
２００ 文字認識モデル生成装置
２１０ 教師データ生成部
２３０ 機械学習部
２５０ 記憶部
３００ 対訳データベース生成装置
３１０ 参照画像取得部
３３０ 文字領域検出部
３５０ 対訳情報抽出部
３７０ 記憶部
３７１ 対訳データベース
４００ ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】