▶ 日本放送協会の特許一覧 ▶ 一般財団法人ＮＨＫサービスセンターの特許一覧
特開2024-160884映像の文字スーパーの内容を判定するためのモデルを生成する学習装置、文字スーパー判定装置及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024160884
(43)【公開日】2024-11-15
(54)【発明の名称】映像の文字スーパーの内容を判定するためのモデルを生成する学習装置、文字スーパー判定装置及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241108BHJP
G06V 10/70 20220101ALI20241108BHJP
【ＦＩ】
G06T7/00 350B
G06V10/70
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023076378
(22)【出願日】2023-05-03
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(71)【出願人】
【識別番号】399060908
【氏名又は名称】一般財団法人ＮＨＫ財団
(74)【代理人】
【識別番号】100121119
【弁理士】
【氏名又は名称】花村 泰伸
(72)【発明者】
【氏名】島野 雄貴
(72)【発明者】
【氏名】▲桑▼野 裕也
(72)【発明者】
【氏名】高橋 正樹
(72)【発明者】
【氏名】今井 篤
(72)【発明者】
【氏名】都木 徹
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA17
5L096EA16
5L096EA43
5L096FA19
5L096FA32
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
【課題】解説音声サービスによりスポーツ中継等の解説音声をユーザへ提供する際に、安定的かつ高速に文字スーパーの内容を判定する。
【解決手段】学習装置１０のかさ増し部１１－１は、球速用文字スーパー画像を、予め設定された最大角度以内のランダムな角度で回転させ、かさ増しを行う。二値化部１２－１は、かさ増し後の球速用文字スーパー画像を二値化し、球速用二値画像を生成する。学習部１３－１は、球速用二値画像及び正解ラベルを用いて、球速用二値画像を入力データとし、球速用ラベルを出力データとするモデルの入力データと出力データとの間の関係を学習し、球速用スーパー内容判定モデルを生成する。学習装置１０は、同様に、ボールカウント用文字スーパー画像及び正解ラベルを用いて、ボールカウント用スーパー内容判定モデルを生成し、打順用文字スーパー画像及び正解ラベルを用いて、打順用スーパー内容判定モデルを生成する。
【選択図】図２
【解決手段】学習装置１０のかさ増し部１１－１は、球速用文字スーパー画像を、予め設定された最大角度以内のランダムな角度で回転させ、かさ増しを行う。二値化部１２－１は、かさ増し後の球速用文字スーパー画像を二値化し、球速用二値画像を生成する。学習部１３－１は、球速用二値画像及び正解ラベルを用いて、球速用二値画像を入力データとし、球速用ラベルを出力データとするモデルの入力データと出力データとの間の関係を学習し、球速用スーパー内容判定モデルを生成する。学習装置１０は、同様に、ボールカウント用文字スーパー画像及び正解ラベルを用いて、ボールカウント用スーパー内容判定モデルを生成し、打順用文字スーパー画像及び正解ラベルを用いて、打順用スーパー内容判定モデルを生成する。
【選択図】図２
【特許請求の範囲】
【請求項1】
文字スーパーを含む映像の解説テキストが生成される際に用いる、前記文字スーパーの内容を判定するためのモデルを生成する学習装置において、
前記文字スーパーの画像を文字スーパー画像として入力し、前記文字スーパー画像に含まれる文字の領域と前記文字を除く領域とを区別するように、前記文字スーパー画像を構成する各画素を二値化し、二値画像を生成する二値化部と、
前記文字スーパー画像に付与されたラベルであって、前記文字スーパー画像に含まれる文字を識別するための前記ラベルを正解ラベルとして、
前記二値化部により生成された前記二値画像及び前記正解ラベルを用いて、前記二値画像を入力データとし、前記二値画像に含まれる文字を識別するためのラベルを出力データとするモデルにおける前記入力データと前記出力データとの間の関係を学習し、スーパー内容判定モデルを生成する学習部と、
を備えたことを特徴とする学習装置。
前記文字スーパーの画像を文字スーパー画像として入力し、前記文字スーパー画像に含まれる文字の領域と前記文字を除く領域とを区別するように、前記文字スーパー画像を構成する各画素を二値化し、二値画像を生成する二値化部と、
前記文字スーパー画像に付与されたラベルであって、前記文字スーパー画像に含まれる文字を識別するための前記ラベルを正解ラベルとして、
前記二値化部により生成された前記二値画像及び前記正解ラベルを用いて、前記二値画像を入力データとし、前記二値画像に含まれる文字を識別するためのラベルを出力データとするモデルにおける前記入力データと前記出力データとの間の関係を学習し、スーパー内容判定モデルを生成する学習部と、
を備えたことを特徴とする学習装置。
【請求項2】
請求項１に記載の学習装置において、
さらに、前記文字スーパー画像を、予め設定された最大角度以内のランダムな角度で回転させることで、前記文字スーパー画像のかさ増しを行うかさ増し部を備え、
前記二値化部は、
前記かさ増し部によりかさ増しが行われた複数の前記文字スーパー画像のそれぞれについて、前記二値画像を生成する、ことを特徴とする学習装置。
さらに、前記文字スーパー画像を、予め設定された最大角度以内のランダムな角度で回転させることで、前記文字スーパー画像のかさ増しを行うかさ増し部を備え、
前記二値化部は、
前記かさ増し部によりかさ増しが行われた複数の前記文字スーパー画像のそれぞれについて、前記二値画像を生成する、ことを特徴とする学習装置。
【請求項3】
文字スーパーを含む映像の解説テキストを生成するために、前記文字スーパーの内容を判定する文字スーパー判定装置において、
映像を入力し、前記映像の予め設定された領域から、前記文字スーパーの画像を文字スーパー画像として切り出す画像切り出し部と、
前記画像切り出し部により切り出された前記文字スーパー画像に含まれる文字の領域と前記文字を除く領域とを区別するように、前記文字スーパー画像を構成する各画素を二値化し、二値画像を生成する二値化部と、
請求項１または２に記載の学習装置により生成されたスーパー内容判定モデルを用いて、前記二値化部により生成された前記二値画像から、当該二値画像に含まれる前記文字を識別するためのラベルを判定する判定部と、
を備えたことを特徴とする文字スーパー判定装置。
映像を入力し、前記映像の予め設定された領域から、前記文字スーパーの画像を文字スーパー画像として切り出す画像切り出し部と、
前記画像切り出し部により切り出された前記文字スーパー画像に含まれる文字の領域と前記文字を除く領域とを区別するように、前記文字スーパー画像を構成する各画素を二値化し、二値画像を生成する二値化部と、
請求項１または２に記載の学習装置により生成されたスーパー内容判定モデルを用いて、前記二値化部により生成された前記二値画像から、当該二値画像に含まれる前記文字を識別するためのラベルを判定する判定部と、
を備えたことを特徴とする文字スーパー判定装置。
【請求項4】
請求項３に記載の文字スーパー判定装置において、
前記画像切り出し部は、
前記映像の予め設定された領域の平均輝度値を算出し、前記平均輝度値が予め設定された閾値以下である場合、前記映像に前記文字スーパーが含まれていると判定し、前記領域から前記文字スーパー画像を切り出し、前記平均輝度値が前記閾値よりも大きい場合、前記映像に前記文字スーパーが含まれていないと判定する、ことを特徴とする文字スーパー判定装置。
前記画像切り出し部は、
前記映像の予め設定された領域の平均輝度値を算出し、前記平均輝度値が予め設定された閾値以下である場合、前記映像に前記文字スーパーが含まれていると判定し、前記領域から前記文字スーパー画像を切り出し、前記平均輝度値が前記閾値よりも大きい場合、前記映像に前記文字スーパーが含まれていないと判定する、ことを特徴とする文字スーパー判定装置。
【請求項5】
請求項３に記載の文字スーパー判定装置において、
さらに、前記判定部により判定された前記ラベルに対応する文字を、予め設定されたテンプレートに挿入し、前記映像のシーンを解説するための前記解説テキストを生成する解説テキスト生成部を備えたことを特徴とする文字スーパー判定装置。
さらに、前記判定部により判定された前記ラベルに対応する文字を、予め設定されたテンプレートに挿入し、前記映像のシーンを解説するための前記解説テキストを生成する解説テキスト生成部を備えたことを特徴とする文字スーパー判定装置。
【請求項6】
請求項３に記載の文字スーパー判定装置において、
さらに、前記判定部により判定された前記ラベルを入力したときの当該ラベルを第一ラベルとし、前記第一ラベルの直前に入力したラベルを第二ラベルとして、前記第一ラベルを入力し、前記第一ラベルと前記第二ラベルとが異なると判定した場合、整合性チェックＯＫを判断して前記第一ラベルを出力し、前記第一ラベルと前記第二ラベルとが同じであると判定した場合、整合性チェックＮＧを判断する整合部と、
前記整合部により出力された前記第一ラベルに対応する文字を、予め設定されたテンプレートに挿入し、前記映像のシーンを解説するための前記解説テキストを生成する解説テキスト生成部と、
を備えたことを特徴とする文字スーパー判定装置。
さらに、前記判定部により判定された前記ラベルを入力したときの当該ラベルを第一ラベルとし、前記第一ラベルの直前に入力したラベルを第二ラベルとして、前記第一ラベルを入力し、前記第一ラベルと前記第二ラベルとが異なると判定した場合、整合性チェックＯＫを判断して前記第一ラベルを出力し、前記第一ラベルと前記第二ラベルとが同じであると判定した場合、整合性チェックＮＧを判断する整合部と、
前記整合部により出力された前記第一ラベルに対応する文字を、予め設定されたテンプレートに挿入し、前記映像のシーンを解説するための前記解説テキストを生成する解説テキスト生成部と、
を備えたことを特徴とする文字スーパー判定装置。
【請求項7】
請求項３に記載の文字スーパー判定装置において、
さらに、前記判定部により判定された前記ラベルを入力したときの当該ラベルを第三ラベルとして、所定時点から前記第三ラベルを入力した時点までの経過時間を求め、前記経過時間が予め設定された閾値の時間を経過していると判定した場合、整合性チェックＯＫを判断して前記第三ラベルを出力し、前記経過時間が前記閾値の時間を経過していないと判定した場合、整合性チェックＮＧを判断する整合部と、
前記整合部により出力された前記第三ラベルに対応する文字を、予め設定されたテンプレートに挿入し、前記映像のシーンを解説するための前記解説テキストを生成する解説テキスト生成部と、を備え、
前記整合部により前記経過時間を求めるための前記所定時点を、前記解説テキスト生成部が、前記第三ラベルの直前に前記整合部により出力されたラベルに対応する文字について前記解説テキストを生成した時点とする、ことを特徴とする文字スーパー判定装置。
さらに、前記判定部により判定された前記ラベルを入力したときの当該ラベルを第三ラベルとして、所定時点から前記第三ラベルを入力した時点までの経過時間を求め、前記経過時間が予め設定された閾値の時間を経過していると判定した場合、整合性チェックＯＫを判断して前記第三ラベルを出力し、前記経過時間が前記閾値の時間を経過していないと判定した場合、整合性チェックＮＧを判断する整合部と、
前記整合部により出力された前記第三ラベルに対応する文字を、予め設定されたテンプレートに挿入し、前記映像のシーンを解説するための前記解説テキストを生成する解説テキスト生成部と、を備え、
前記整合部により前記経過時間を求めるための前記所定時点を、前記解説テキスト生成部が、前記第三ラベルの直前に前記整合部により出力されたラベルに対応する文字について前記解説テキストを生成した時点とする、ことを特徴とする文字スーパー判定装置。
【請求項8】
文字スーパーを含む映像の解説テキストが生成される際に用いる、前記文字スーパーの内容を判定するためのモデルを生成する学習装置を構成するコンピュータを、
前記文字スーパーの画像を文字スーパー画像として入力し、前記文字スーパー画像に含まれる文字の領域と前記文字を除く領域とを区別するように、前記文字スーパー画像を構成する各画素を二値化し、二値画像を生成する二値化部、及び、
前記文字スーパー画像に付与されたラベルであって、前記文字スーパー画像に含まれる文字を識別するための前記ラベルを正解ラベルとして、
前記二値化部により生成された前記二値画像及び前記正解ラベルを用いて、前記二値画像を入力データとし、前記二値画像に含まれる文字を識別するためのラベルを出力データとするモデルにおける前記入力データと前記出力データとの間の関係を学習し、スーパー内容判定モデルを生成する学習部として機能させるためのプログラム。
前記文字スーパーの画像を文字スーパー画像として入力し、前記文字スーパー画像に含まれる文字の領域と前記文字を除く領域とを区別するように、前記文字スーパー画像を構成する各画素を二値化し、二値画像を生成する二値化部、及び、
前記文字スーパー画像に付与されたラベルであって、前記文字スーパー画像に含まれる文字を識別するための前記ラベルを正解ラベルとして、
前記二値化部により生成された前記二値画像及び前記正解ラベルを用いて、前記二値画像を入力データとし、前記二値画像に含まれる文字を識別するためのラベルを出力データとするモデルにおける前記入力データと前記出力データとの間の関係を学習し、スーパー内容判定モデルを生成する学習部として機能させるためのプログラム。
【請求項9】
文字スーパーを含む映像の解説テキストを生成するために、前記文字スーパーの内容を判定する文字スーパー判定装置を構成するコンピュータを、
映像を入力し、前記映像の予め設定された領域から、前記文字スーパーの画像を文字スーパー画像として切り出す画像切り出し部、
前記画像切り出し部により切り出された前記文字スーパー画像に含まれる文字の領域と前記文字を除く領域とを区別するように、前記文字スーパー画像を構成する各画素を二値化し、二値画像を生成する二値化部、及び、
請求項１または２に記載の学習装置により生成されたスーパー内容判定モデルを用いて、前記二値化部により生成された前記二値画像から、当該二値画像に含まれる前記文字を識別するためのラベルを判定する判定部として機能させるためのプログラム。
映像を入力し、前記映像の予め設定された領域から、前記文字スーパーの画像を文字スーパー画像として切り出す画像切り出し部、
前記画像切り出し部により切り出された前記文字スーパー画像に含まれる文字の領域と前記文字を除く領域とを区別するように、前記文字スーパー画像を構成する各画素を二値化し、二値画像を生成する二値化部、及び、
請求項１または２に記載の学習装置により生成されたスーパー内容判定モデルを用いて、前記二値化部により生成された前記二値画像から、当該二値画像に含まれる前記文字を識別するためのラベルを判定する判定部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像の文字スーパーの内容を判定するためのモデルを生成する学習装置、映像の文字スーパーの内容を判定する文字スーパー判定装置、及びこれらのプログラムに関し、特に、視覚障害者の視聴を支援する技術等において、ながら視聴を行う健常者を含む多くのユーザに向けた音声配信サービスに使用する技術である。
【背景技術】
【0002】
放送は、視聴者の視覚及び聴覚へ情報を提供するメディアである。しかし、放送により提供される映像情報は、視覚障害者にはほとんど伝わらない。そこで、映像情報を補完するためのサービスとして、解説音声サービスが提案されている（例えば特許文献１を参照）。
【0003】
解説音声サービスは、例えば番組を放送すると共に、その放送番組の解説音声を視聴者へ提供するものである。しかし、スポーツ中継等の生放送番組については、コストの問題、技術的な困難さ等から解説音声サービスがほとんど実現されていないのが現状である。
【0004】
このような状況に鑑みて、生放送番組についても解説音声サービスを実現するために、本件特許出願の同一の出願人によりなされた、本件特許出願時に未公開の特願２０２２－０８２８７８号公報に記載の解説音声制作配信システムが提案されている。
【0005】
この解説音声制作配信システムは、画像認識技術を用いて解説テキストを自動的に付与したり、解説音声を提供する情報源を拡張したりすることで、システム自体の拡張性及び汎用性を実現し、解説音声サービスの品質の向上を図るものである。
【0006】
また、解説音声サービスに用いる技術として、本件特許出願の同一の出願人によりなされた、本件特許出願時に未公開の特願２０２３－０１６９３３号公報に記載のものも提案されている。この技術は、ユーザ操作に従って解説音声の情報量を個別に設定することで、解説音声サービスの質を向上させるものである。
【0007】
一方で、画像から文字を認識する汎用的な画像認識技術として、光学文字認識 （ＯＣＲ）によるTesseract（テッセラクト）と呼ばれる光学文字認識エンジンが知られている（例えば非特許文献１を参照）。この光学文字認識エンジンは、２００７年から更新されており、現在に至っている（例えば非特許文献２を参照）。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２０１７－２０３８２７号公報
【非特許文献】
【0009】
【非特許文献1】Ray Smith，“An Overview of the Tesseract OCR Engine”，ICDAR，pp.629-633，2007
【非特許文献2】“tesseract OCR/tesseract”、［online］、GitHub,Inc.、［令和５年４月６日検索］、インターネット＜ＵＲＬ：https://github.com/tesseract-ocr/tesseract＞
【発明の概要】
【発明が解決しようとする課題】
【0010】
前述の解説音声制作配信システムは、コストを抑え、技術的困難さを軽減した上で、解説音声サービスを実現するものであるが、オペレータによる手動（人手）にて解説テキストを生成する場合が多く、オペレーションに限界があるという問題があった。
【0011】
例えば、解説を付与すべきイベントが一度に大量に発生した場合、オペレータによる解説テキストを生成する手動の処理では、十分に対応することができず、オペレータには大きな負荷となっていた。
【0012】
また、野球中継放送における球速が表示された文字スーパーのような表示時間の短い情報については、オペレータは見逃し易く、それを見逃した場合には、その解説をユーザへ提供することができなくなってしまう。
【0013】
このように、オペレータによる手動にて解説テキストを生成する負荷を低減し、放送番組の映像のシーンの解説を、映像に応じてリアルタイムにユーザへ提供する仕組みが所望されていた。
【0014】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、解説音声サービスによりスポーツ中継等の解説音声をユーザへ提供する際に、安定的かつ高速に文字スーパーの内容を判定可能な学習装置、文字スーパー判定装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0015】
前記課題を解決するために、請求項１の学習装置は、文字スーパーを含む映像の解説テキストが生成される際に用いる、前記文字スーパーの内容を判定するためのモデルを生成する学習装置において、前記文字スーパーの画像を文字スーパー画像として入力し、前記文字スーパー画像に含まれる文字の領域と前記文字を除く領域とを区別するように、前記文字スーパー画像を構成する各画素を二値化し、二値画像を生成する二値化部と、前記文字スーパー画像に付与されたラベルであって、前記文字スーパー画像に含まれる文字を識別するための前記ラベルを正解ラベルとして、前記二値化部により生成された前記二値画像及び前記正解ラベルを用いて、前記二値画像を入力データとし、前記二値画像に含まれる文字を識別するためのラベルを出力データとするモデルにおける前記入力データと前記出力データとの間の関係を学習し、スーパー内容判定モデルを生成する学習部と、を備えたことを特徴とする。
【0016】
また、請求項２の学習装置は、請求項１に記載の学習装置において、さらに、前記文字スーパー画像を、予め設定された最大角度以内のランダムな角度で回転させることで、前記文字スーパー画像のかさ増しを行うかさ増し部を備え、前記二値化部が、前記かさ増し部によりかさ増しが行われた複数の前記文字スーパー画像のそれぞれについて、前記二値画像を生成する、ことを特徴とする。
【0017】
さらに、請求項３の文字スーパー判定装置は、文字スーパーを含む映像の解説テキストを生成するために、前記文字スーパーの内容を判定する文字スーパー判定装置において、映像を入力し、前記映像の予め設定された領域から、前記文字スーパーの画像を文字スーパー画像として切り出す画像切り出し部と、前記画像切り出し部により切り出された前記文字スーパー画像に含まれる文字の領域と前記文字を除く領域とを区別するように、前記文字スーパー画像を構成する各画素を二値化し、二値画像を生成する二値化部と、請求項１または２に記載の学習装置により生成されたスーパー内容判定モデルを用いて、前記二値化部により生成された前記二値画像から、当該二値画像に含まれる前記文字を識別するためのラベルを判定する判定部と、を備えたことを特徴とする。
【0018】
また、請求項４の文字スーパー判定装置は、請求項３に記載の文字スーパー判定装置において、前記画像切り出し部が、前記映像の予め設定された領域の平均輝度値を算出し、前記平均輝度値が予め設定された閾値以下である場合、前記映像に前記文字スーパーが含まれていると判定し、前記領域から前記文字スーパー画像を切り出し、前記平均輝度値が前記閾値よりも大きい場合、前記映像に前記文字スーパーが含まれていないと判定する、ことを特徴とする。
【0019】
また、請求項５の文字スーパー判定装置は、請求項３に記載の文字スーパー判定装置において、さらに、前記判定部により判定された前記ラベルに対応する文字を、予め設定されたテンプレートに挿入し、前記映像のシーンを解説するための前記解説テキストを生成する解説テキスト生成部を備えたことを特徴とする。
【0020】
また、請求項６の文字スーパー判定装置は、請求項３に記載の文字スーパー判定装置において、さらに、前記判定部により判定された前記ラベルを入力したときの当該ラベルを第一ラベルとし、前記第一ラベルの直前に入力したラベルを第二ラベルとして、前記第一ラベルを入力し、前記第一ラベルと前記第二ラベルとが異なると判定した場合、整合性チェックＯＫを判断して前記第一ラベルを出力し、前記第一ラベルと前記第二ラベルとが同じであると判定した場合、整合性チェックＮＧを判断する整合部と、前記整合部により出力された前記第一ラベルに対応する文字を、予め設定されたテンプレートに挿入し、前記映像のシーンを解説するための前記解説テキストを生成する解説テキスト生成部と、を備えたことを特徴とする。
【0021】
また、請求項７の文字スーパー判定装置は、請求項３に記載の文字スーパー判定装置において、さらに、前記判定部により判定された前記ラベルを入力したときの当該ラベルを第三ラベルとして、所定時点から前記第三ラベルを入力した時点までの経過時間を求め、前記経過時間が予め設定された閾値の時間を経過していると判定した場合、整合性チェックＯＫを判断して前記第三ラベルを出力し、前記経過時間が前記閾値の時間を経過していないと判定した場合、整合性チェックＮＧを判断する整合部と、前記整合部により出力された前記第三ラベルに対応する文字を、予め設定されたテンプレートに挿入し、前記映像のシーンを解説するための前記解説テキストを生成する解説テキスト生成部と、を備え、前記整合部により前記経過時間を求めるための前記所定時点を、前記解説テキスト生成部が、前記第三ラベルの直前に前記整合部により出力されたラベルに対応する文字について前記解説テキストを生成した時点とする、ことを特徴とする。
【0022】
さらに、請求項８のプログラムは、文字スーパーを含む映像の解説テキストが生成される際に用いる、前記文字スーパーの内容を判定するためのモデルを生成する学習装置を構成するコンピュータを、前記文字スーパーの画像を文字スーパー画像として入力し、前記文字スーパー画像に含まれる文字の領域と前記文字を除く領域とを区別するように、前記文字スーパー画像を構成する各画素を二値化し、二値画像を生成する二値化部、及び、前記文字スーパー画像に付与されたラベルであって、前記文字スーパー画像に含まれる文字を識別するための前記ラベルを正解ラベルとして、前記二値化部により生成された前記二値画像及び前記正解ラベルを用いて、前記二値画像を入力データとし、前記二値画像に含まれる文字を識別するためのラベルを出力データとするモデルにおける前記入力データと前記出力データとの間の関係を学習し、スーパー内容判定モデルを生成する学習部として機能させることを特徴とする。
【0023】
また、請求項９のプログラムは、文字スーパーを含む映像の解説テキストを生成するために、前記文字スーパーの内容を判定する文字スーパー判定装置を構成するコンピュータを、映像を入力し、前記映像の予め設定された領域から、前記文字スーパーの画像を文字スーパー画像として切り出す画像切り出し部、前記画像切り出し部により切り出された前記文字スーパー画像に含まれる文字の領域と前記文字を除く領域とを区別するように、前記文字スーパー画像を構成する各画素を二値化し、二値画像を生成する二値化部、及び、請求項１または２に記載の学習装置により生成されたスーパー内容判定モデルを用いて、前記二値化部により生成された前記二値画像から、当該二値画像に含まれる前記文字を識別するためのラベルを判定する判定部として機能させることを特徴とする。
【発明の効果】
【0024】
以上のように、本発明によれば、解説音声サービスによりスポーツ中継等の解説音声をユーザへ提供する際に、安定的かつ高速に文字スーパーの内容を判定することができる。
【図面の簡単な説明】
【0025】
【図1】本発明の実施形態による学習装置及び文字スーパー判定装置を含む解説音声制作配信システムの全体構成例を説明する概略図である。
【図2】本発明の実施形態による学習装置の構成例を示すブロック図である。
【図3】学習装置の球速用学習処理例を示すフローチャートである。
【図4】学習部の処理例（ステップＳ３０４）を説明する図である。
【図5】球速用スーパー内容判定モデルの構造例を示す概略図である。
【図6】本発明の実施形態による文字スーパー判定装置の構成例を示すブロック図である。
【図7】文字スーパー判定装置の処理例を示すフローチャートである。
【図8】攻守判定部の処理例（ステップＳ７０２）を示すフローチャートである。
【図9】画像切り出し部の処理例（ステップＳ７０３，Ｓ７０４）を説明する図である。
【図10】（１）は、映像の例を示す図である。（２）は、文字スーパーの例を示す図である。
【図11】判定部の処理例（ステップＳ７０６－１）を説明する図である。
【図12】整合部による球速整合性チェックの例（ステップＳ７０７－１）を示すフローチャートである。
【図13】整合部によるボールカウント（ストライク）整合性チェックの例（ステップＳ７０７－２）を示すフローチャートである。
【図14】整合部によるボールカウント（アウト）整合性チェックの例（ステップＳ７０７－２）を示すフローチャートである。
【図15】整合部による打順整合性チェックの例（ステップＳ７０７－３）を示すフローチャートである。
【図16】解説テキスト生成部の処理例を説明する図である。
【図17】実験結果を示す図である。
【発明を実施するための形態】
【0026】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、番組の映像に付加されたリアルタイムの表示情報に着目したものであり、例えばスポーツ中継番組の野球中継において、映像に表示される文字スーパー（球速、ボールカウント及び打順）を学習データとして学習済モデルを生成し、当該学習済モデルを用いて、映像の画像認識を行うことで文字スーパーの内容を判定するものである。そして、判定された文字スーパーの内容から、映像のシーンを解説するための解説テキストが生成され、その解説音声がユーザへ提供される。
【0027】
これにより、解説音声サービスによりスポーツ中継等の解説音声をユーザへ提供する際に、安定的かつ高速に文字スーパーの内容を判定することができる。
【0028】
〔解説音声制作配信システム〕
まず、解説音声サービスを実現する解説音声制作配信システムについて説明する。図１は、本発明の実施形態による学習装置及び文字スーパー判定装置を含む解説音声制作配信システムの全体構成例を説明する概略図である。
まず、解説音声サービスを実現する解説音声制作配信システムについて説明する。図１は、本発明の実施形態による学習装置及び文字スーパー判定装置を含む解説音声制作配信システムの全体構成例を説明する概略図である。
【0029】
この解説音声制作配信システム６は、解説音声制作装置１、複数の情報源２、音声合成装置３、配信装置４及び携帯端末５を備えて構成される。
【0030】
解説音声制作装置１は、ライブ配信しているスポーツ番組等の解説音声を制作する際の解説テキストを発話毎に生成する装置である。解説音声制作装置１は、複数の情報源２のそれぞれから、ライブ配信しているスポーツ番組の試合状況等に応じたリアルタイムのデータを入力する。
【0031】
そして、解説音声制作装置１は、データの入力元である情報源２独自のデータフォーマットに従ってデータを解析することで、データからテキスト要素を抽出し、テキスト要素にラベルを付与し、ラベルが付与されたテキスト要素を情報管理テーブルに格納する。
【0032】
ここで、テキスト要素は、生成したい解説テキスト(発話したい内容のテキスト)を構成する１または複数の要素である。ラベルは、テキスト要素の内容を識別するための属性の情報である。
【0033】
解説音声制作装置１は、発話の解説テキストを生成するために、テンプレートに定義された発話定義データに従い、情報管理テーブルからラベルが付与されたテキスト要素を読み出す。そして、解説音声制作装置１は、ラベルが付与されたテキスト要素及び再生時刻を含むＪｓｏｎデータである発話データを生成すると共に、解説テキストを生成する。
【0034】
解説音声制作装置１は、発話毎に、発話データ及び解説テキストを音声合成装置３へ出力すると共に、発話データを配信装置４へ出力する。
【0035】
情報源２は、例えば競技種目毎の複数の情報源からなる。図１に示すように、野球の複数の情報源としては、例えばＯＤＦの仕様に従ったオリンピック関連のデータを配信する情報源２－１、ＢＩＳの仕様に従ったプロ野球関連のデータを配信する情報源２－２がある。また、放送番組を視聴しているオペレータの手動入力ツールの操作により、所定の仕様に従った野球関連のデータを配信する情報源２－３がある。
【0036】
さらに、オペレータの手動操作によることなく、予め生成されたスーパー内容判定モデルを用いた自動入力ツールにより、映像から画像認識による文字スーパーの内容を自動的かつリアルタイムに判定し、文字スーパーの内容等を反映した解説テキストを生成し、Ｊｓｏｎデータからなる発話データを生成し、発話データ等をリアルタイムのデータとして配信する情報源２－４がある。この情報源２－４は、本発明の実施形態による学習装置１０及び文字スーパー判定装置２０に相当する。
【0037】
尚、解説音声制作装置１は、この情報源２－４から発話データ等を入力した場合、発話データ及び解説テキストの生成処理を行うことなく、発話データ及び解説テキストを音声合成装置３へ出力し、発話データを配信装置４へ出力する。
【0038】
音声合成装置３は、解説音声制作装置１から発話データ及び解説テキストを入力し、既存技術により、解説テキストから合成音を生成することで音声ファイルを生成する。そして、音声合成装置３は、発話データ及び音声ファイルを配信装置４へ出力する。
【0039】
配信装置４は、解説音声制作装置１から発話データを入力すると共に、音声合成装置３から発話データ及び音声ファイルを入力し、同じ発話データの音声ファイルを発話データと共に携帯端末５へ配信する。
【0040】
携帯端末５は、配信装置４から配信された発話データ及び音声ファイルを受信し、発話データ及び音声ファイルを用いて、発話対象の音声の再生を行う。
【0041】
図１に示した解説音声制作配信システム６は、放送、インターネット等の映像メディアサービスに適用することができ、また、携帯アプリでの緊急速報に代表されるセキュリティシステム等、様々な用途にも適用することができる。
【0042】
以下、スポーツ中継番組のうち野球中継の番組を対象として、映像に含まれる文字スーパーの内容を判定するための学習済モデルを生成する例について説明する。また、野球中継の番組の映像に対し、当該学習済モデルを用いて、映像に含まれる文字スーパーの内容を判定し、その内容を反映した解説テキストを生成する例について説明する。尚、文字には数字が含まれるものとし、以下の野球中継の番組の映像については、文字スーパーの数字を判定するものとする。
【0043】
〔学習装置１０〕
まず、本発明の実施形態による学習装置１０について説明する。図２は、本発明の実施形態による学習装置１０の構成例を示すブロック図である。
まず、本発明の実施形態による学習装置１０について説明する。図２は、本発明の実施形態による学習装置１０の構成例を示すブロック図である。
【0044】
この学習装置１０は、映像に含まれる文字スーパーの内容を判定するための学習済モデルであるスーパー内容判定モデルを生成する装置である。学習装置１０は、かさ増し部１１－１，１１－２，１１－３、二値化部１２－１，１２－２，１２－３、学習部１３－１，１３－２，１３－３及び記憶部１４を備えている。
【0045】
かさ増し部１１－１、二値化部１２－１及び学習部１３－１は、球速用文字スーパー画像及び当該球速用文字スーパー画像に付与されたラベル（正解ラベル）を用いて、球速用スーパー内容判定モデルを生成する。球速用文字スーパー画像の正解ラベルは、［０］～［９］，［Ｎｏｎｅ］のうちのいずれかのラベルである。
【0046】
球速用文字スーパー画像とは、野球中継の映像に含まれる文字スーパーに使用される球速表示において、１桁の数字に対応する画像である。例えば後述する図１０（１）に示す映像に含まれる文字スーパーには、球速として「１４２ｋｍ／ｈ」が表示されている。球速用文字スーパー画像は、これらの数字［１］［４］［２］のそれぞれに対応する１桁の数字を含む画像に相当する。
【0047】
また、かさ増し部１１－２、二値化部１２－２及び学習部１３－２は、ボールカウント用文字スーパー画像及び当該ボールカウント用文字スーパー画像に付与されたラベル（正解ラベル）を用いて、ボールカウント用スーパー内容判定モデルを生成する。ボールカウント用文字スーパー画像の正解ラベルは、［０］～［３］，［Ｎｏｎｅ］のうちのいずれかのラベルである。
【0048】
尚、ボールカウントには、ボール（Ｂ）、ストライク（Ｓ）及びアウト（Ｏ）の３つのカウントがある。
【0049】
ボールカウント用文字スーパー画像とは、野球中継の映像に含まれる文字スーパーに使用されるボールカウント表示において、１桁の数字に対応する画像である。例えば後述する図１０（１）に示す映像に含まれる文字スーパーには、ボール（Ｂ）として［２］、ストライク（Ｓ）として［２］、アウト（Ｏ）として［０］のボールカウントが表示されている。ボールカウント用文字スーパー画像は、これらの数字［２］［２］［０］のそれぞれに対応する１桁の数字を含む画像に相当する。
【0050】
また、かさ増し部１１－３、二値化部１２－３及び学習部１３－３は、打順用文字スーパー画像及び当該打順用文字スーパー画像に付与されたラベル（正解ラベル）を用いて、打順用スーパー内容判定モデルを生成する。打順用文字スーパー画像の正解ラベルは、［１］～［９］，［Ｎｏｎｅ］のうちのいずれかのラベルである。
【0051】
打順用文字スーパー画像とは、野球中継の映像に含まれる文字スーパーに使用される打順表示において、１桁の数字に対応する画像である。例えば後述する図１０（１）に示す映像に含まれる文字スーパーには、打順［４］［５］［６］が表示されている。打順用文字スーパー画像は、これらの数字［４］［５］［６］のそれぞれに対応する１桁の数字を含む画像に相当する。
【0052】
球速用スーパー内容判定モデルを生成するための球速用文字スーパー画像、ボールカウント用スーパー内容判定モデルを生成するためのボールカウント用文字スーパー画像、及び打順用スーパー内容判定モデルを生成するための打順用文字スーパー画像は、例えば野球中継の映像に含まれる文字スーパーの画像から切り出したものが用いられる。
【0053】
このように、学習装置１０により生成されるモデルは、球速、ボールカウント及び打順の全てに対応する１つのモデルではなく、それぞれに対応する合計３つのモデルである。つまり、球速については球速用スーパー内容判定モデル、ボールカウントについてはボールカウント用スーパー内容判定モデル、打順については打順用スーパー内容判定モデルが生成されるように、区別している。
【0054】
これは、球速、ボールカウント及び打順について、これらのフォント及びサイズが異なり、またレンジも異なるからである。例えば、球速の各桁のレンジは０～９であり、ボールカウントのレンジは０～３であり、打順のレンジは１～９であり、それぞれのレンジが異なる。
【0055】
したがって、モデルを分けることにより、１つのモデルを用いる場合に比べ、球速、ボールカウント及び打順の判定精度を向上させることができる。
【0056】
（球速用スーパー内容判定モデルの生成）
まず、かさ増し部１１－１、二値化部１２－１及び学習部１３－１が球速用スーパー内容判定モデルを生成する処理について説明する。図３は、学習装置１０の球速用学習処理例を示すフローチャートである。
まず、かさ増し部１１－１、二値化部１２－１及び学習部１３－１が球速用スーパー内容判定モデルを生成する処理について説明する。図３は、学習装置１０の球速用学習処理例を示すフローチャートである。
【0057】
図２及び図３を参照して、学習装置１０は、映像に含まれる文字スーパーに表示される複数の桁の数字からなる球速について、複数の桁にそれぞれ使用される１桁の数字（０～９）を含む球速用文字スーパー画像を入力すると共に、当該球速用文字スーパー画像に付与されたラベル（正解ラベル、［０］～［９］のうちのいずれかを示すラベル）を入力する（ステップＳ３０１）。
【0058】
この場合、学習装置１０は、スーパーの表示がオン（スーパーオン）に設定されている場合に対応するため、前述のデータを正例データとして入力する。一方、学習装置１０は、スーパーの表示がオフ（スーパーオフ）に設定されている場合に対応して、負例データも入力する。つまり、学習装置１０は、球速が反映されていない画像及びこの画像に付与されたラベル（正解ラベル、［Ｎｏｎｅ］を示すラベル）を、球速用文字スーパー画像及び正解ラベルとして入力する。
【0059】
かさ増し部１１－１は、１桁の数字（０～９）を含む球速用文字スーパー画像または数字を含まない球速用文字スーパー画像を入力する。そして、かさ増し部１１－１は、予め設定された最大角度以内の複数のランダムな角度を設定し、球速用文字スーパー画像を、複数のランダムな角度のそれぞれにて回転させることで、かさ増しを行う（ステップＳ３０２）。
【0060】
かさ増し部１１－１は、かさ増しされた複数の回転後の球速用文字スーパー画像を生成し、これらの画像のそれぞれをかさ増し後の球速用文字スーパー画像として二値化部１２－１に出力する。
【0061】
例えば予め設定された最大角度として、５度が用いられる。これは、野球中継の番組においては、球速を表す数字が反転したり、横に倒れたりすることはなく、比較的変化が少ないからである。また、かさ増し部１１－１により、例えば１枚の球速用文字スーパー画像から１０００枚のかさ増し後の球速用文字スーパー画像が生成される。
【0062】
これにより、入力した球速用文字スーパー画像に回転を加えてかさ増しすることで、効率的な学習を行うことができ、過学習を抑制することができる。また、後述する文字スーパー判定装置２０において、未知の映像に含まれる文字スーパーに対する認識率を高めることができる。
【0063】
二値化部１２－１は、かさ増し部１１－１から、かさ増し後の球速用文字スーパー画像を入力し、球速用文字スーパー画像に含まれる文字（本例では数字）の領域と文字を除く領域とを区別するように、球速用文字スーパー画像を構成する各画素を二値化する（ステップＳ３０３）。そして、二値化部１２－１は、二値化により球速用二値画像を生成し、球速用二値画像を学習部１３－１に出力する。
【0064】
このように、二値化部１２－１が球速用二値画像を生成し、学習部１３－１が球速用二値画像を用いて学習処理を行うことにより、この学習処理を簡易にすることができる。後述する二値化部１２－２，１２－３及び学習部１３－２，１３－３についても同様である。
【0065】
学習部１３－１は、二値化部１２－１から球速用二値画像を入力すると共に、学習装置１０が入力した球速用文字スーパー画像に付与された正解ラベルを入力する。
【0066】
学習部１３－１は、球速用二値画像及び正解ラベルを用いて、球速用二値画像を入力データとし、球速用二値画像のラベル（球速用ラベル）を出力データとするモデルにおける入力データと出力データとの間の関係を学習し、学習済モデルとして球速用スーパー内容判定モデルを生成する（ステップＳ３０４）。そして、学習部１３－１は、球速用スーパー内容判定モデル（のパラメータ）を記憶部１４に格納する（ステップＳ３０５）。
【0067】
図４は、学習部１３－１の処理例（ステップＳ３０４）を説明する図である。図４に示すように、球速用二値画像を入力データとし、球速用ラベルを出力データとするモデル（生成対象の球速用スーパー内容判定モデル）に対し、二値化部１２－１により生成された球速用二値画像が入力され、球速用ラベルが判定され出力される。球速用ラベルは、０～９，Ｎｏｎｅのうちのいずれかを示すラベルである。
【0068】
そして、更新部により、学習部１３－１が入力した正解ラベルと、モデルが出力した球速用ラベルとが同一になるように、モデルのパラメータが更新される。
【0069】
このようなモデルのパラメータを更新する学習処理としては、例えば誤差逆伝播法（back propagation）が用いられる。また、モデルとしては、例えば後述する図５に示すニューラルネットワークが用いられる。尚、モデルは、入力データと出力データとの間の関係を、教師あり学習により学習できるものであれば、どのようなニューラルネットワークであってもよい。
【0070】
図５は、球速用スーパー内容判定モデルの構造例を示す概略図である。この球速用スーパー内容判定モデルは、主として、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）及び順伝播ニューラルネットワーク（Feed Forward Neural Network：ＦＦＮ）により構成される。また、過学習の抑制のために、ドロップアウト（Dropout）層が設けられている。
【0071】
具体的には、この球速用スーパー内容判定モデルは、ＣＮＮ及び整流化線形ユニット（ＲｅＬＵ）並びに最大値プーリング（Maxpooling）層が３層設けられており、さらに、Dropout層、平滑化（Flatten）層、ＦＦＮ及びＲｅＬＵ、並びにＦＦＮ及びソフトマックス（Softmax）関数の層により構成される。
【0072】
入力層には、球速用二値画像が入力データとして入力される。出力層からは、［０］～［９］，［Ｎｏｎｅ］のそれぞれに対応する球速用ラベルのうち、スコアが最大の球速用ラベルが出力データとして出力される。図５の例では、［２］の球速用ラベルが出力されることを示している。
【0073】
尚、図５の構造例は、球速用スーパー内容判定モデルだけでなく、ボールカウント用スーパー内容判定モデル及び打順用スーパー内容判定モデルにも適用がある。これらのモデルは、最終の出力層の次元数が異なるだけで、他の構造については同じである。
【0074】
このように、球速用文字スーパー画像がかさ増しされて球速用二値画像が生成され、球速用二値画像及び正解ラベルを用いて、球速用スーパー内容判定モデルが生成される。
【0075】
（ボールカウント用スーパー内容判定モデルの生成）
次に、かさ増し部１１－２、二値化部１２－２及び学習部１３－２がボールカウント用スーパー内容判定モデルを生成する処理について説明する。
次に、かさ増し部１１－２、二値化部１２－２及び学習部１３－２がボールカウント用スーパー内容判定モデルを生成する処理について説明する。
【0076】
学習装置１０は、映像に含まれる文字スーパーに表示されるボール、ストライク及びアウトのカウント数を示す１桁の数字からなるボールカウントを含むボールカウント用文字スーパー画像を入力すると共に、当該ボールカウント用文字スーパー画像に付与されたラベル（正解ラベル、［０］～［３］のうちのいずれかを示すラベル）を入力する。
【0077】
この場合、学習装置１０は、スーパーオンに設定されている場合に対応するため、前述のデータを正例データとして入力する。一方、学習装置１０は、スーパーオフに設定されている場合に対応して、負例データも入力する。つまり、学習装置１０は、ボールカウントが反映されていない画像及びこの画像に付与されたラベル（正解ラベル、［Ｎｏｎｅ］を示すラベル）を、ボールカウント用文字スーパー画像及び正解ラベルとして入力する。
【0078】
かさ増し部１１－２は、１桁の数字（０～３）を含むボールカウント用文字スーパー画像または数字を含まないボールカウント用文字スーパー画像を入力する。そして、かさ増し部１１－２は、かさ増し部１１－１と同様の処理を行い、かさ増し後のボールカウント用文字スーパー画像を二値化部１２－２に出力する。
【0079】
二値化部１２－２は、かさ増し部１１－２から、かさ増し後のボールカウント用文字スーパー画像を入力し、二値化部１２－１と同様の処理を行い、ボールカウント用二値画像を学習部１３－２に出力する。
【0080】
学習部１３－２は、二値化部１２－２からボールカウント用二値画像を入力すると共に、学習装置１０が入力したボールカウント用文字スーパー画像に付与された正解ラベルを入力する。そして、学習部１３－２は、ボールカウント用二値画像及び正解ラベルを用いて、学習部１３－１の処理と同様に、ボールカウント用二値画像を入力データとし、ボールカウント用二値画像のラベル（ボールカウント用ラベル）を出力データとするモデルにおける入力データと出力データとの間の関係を学習し、学習済モデルとしてボールカウント用スーパー内容判定モデルを生成する。そして、学習部１３－２は、ボールカウント用スーパー内容判定モデル（のパラメータ）を記憶部１４に格納する。
【0081】
このように、ボールカウント用文字スーパー画像がかさ増しされてボールカウント用二値化画像が生成され、ボールカウント用二値画像及び正解ラベルを用いて、ボールカウント用スーパー内容判定モデルが生成される。
【0082】
（打順用スーパー内容判定モデルの生成）
次に、かさ増し部１１－３、二値化部１２－３及び学習部１３－３が打順用スーパー内容判定モデルを生成する処理について説明する。
次に、かさ増し部１１－３、二値化部１２－３及び学習部１３－３が打順用スーパー内容判定モデルを生成する処理について説明する。
【0083】
学習装置１０は、映像に含まれる文字スーパーに表示される１桁の数字からなる打順について、その１桁の数字（１～９）を含む打順用文字スーパー画像を入力すると共に、当該打順用文字スーパー画像に付与されたラベル（正解ラベル、［１］～［９］のうちのいずれかを示すラベル）を入力する。
【0084】
この場合、学習装置１０は、スーパーオンに設定されている場合に対応するため、前述のデータを正例データとして入力する。一方、学習装置１０は、スーパーオフに設定されている場合に対応して、負例データも入力する。つまり、学習装置１０は、打順が反映されていない画像及びこの画像に付与されたラベル（正解ラベル、［Ｎｏｎｅ］を示すラベル）を、打順用文字スーパー画像及び正解ラベルとして入力する。
【0085】
かさ増し部１１－３は、１桁の数字（１～９）を含む打順用文字スーパー画像または数字を含まない打順用文字スーパー画像を入力する。そして、かさ増し部１１－３は、かさ増し部１１－１と同様の処理を行い、かさ増し後の打順用文字スーパー画像を二値化部１２－３に出力する。
【0086】
二値化部１２－３は、かさ増し部１１－３から、かさ増し後の打順用文字スーパー画像を入力し、二値化部１２－１と同様の処理を行い、打順用二値画像を学習部１３－３に出力する。
【0087】
学習部１３－３は、二値化部１２－３から打順用二値画像を入力すると共に、学習装置１０が入力した打順用文字スーパー画像に付与された正解ラベルを入力する。そして、学習部１３－３は、打順用二値画像及び正解ラベルを用いて、学習部１３－１の処理と同様に、打順用二値画像を入力データとし、打順用二値画像のラベル（打順用ラベル）を出力データとするモデルにおける入力データと出力データとの間の関係を学習し、学習済モデルとして打順用スーパー内容判定モデルを生成する。そして、学習部１３－３は、打順用スーパー内容判定モデル（のパラメータ）を記憶部１４に格納する。
【0088】
このように、打順用文字スーパー画像がかさ増しされて打順用二値化画像が生成され、打順用二値画像及び正解ラベルを用いて、打順用スーパー内容判定モデルが生成される。
【0089】
以上のように、本発明の実施形態の学習装置１０によれば、かさ増し部１１－１は、球速用文字スーパー画像を、予め設定された最大角度以内のランダムな角度で回転させることで、かさ増しを行う。二値化部１２－１は、かさ増し後の球速用文字スーパー画像を二値化し、球速用二値画像を生成する。
【0090】
学習部１３－１は、球速用二値画像及び正解ラベルを用いて、球速用二値画像を入力データとし、球速用ラベルを出力データとするモデルにおける入力データと出力データとの間の関係を学習し、学習済モデルとして球速用スーパー内容判定モデルを生成し、記憶部１４に格納する。
【0091】
かさ増し部１１－２、二値化部１２－２及び学習部１３－２は、かさ増し部１１－１、二値化部１２－１及び学習部１３－１と同様の処理を行い、ボールカウント用文字スーパー画像及び正解ラベルを用いて、ボールカウント用スーパー内容判定モデルを生成し、記憶部１４に格納する。
【0092】
かさ増し部１１－３、二値化部１２－３及び学習部１３－３は、かさ増し部１１－１、二値化部１２－１及び学習部１３－１と同様の処理を行い、打順用文字スーパー画像及び正解ラベルを用いて、打順用スーパー内容判定モデルを生成し、記憶部１４に格納する。
【0093】
このようにして生成された球速用スーパー内容判定モデル、ボールカウント用スーパー内容判定モデル及び打順用スーパー内容判定モデルは、文字スーパー判定装置２０により用いられる。
【0094】
文字スーパー判定装置２０は、野球中継の映像を入力し、これらのモデルを用いて、野球中継の映像に含まれる文字スーパーから球速用ラベル、ボールカウント用ラベル及び打順用ラベルを判定し、これらのラベルのそれぞれを反映した解説テキストを生成することができる。
【0095】
したがって、文字スーパーを含む映像の解説テキストを生成する際に、安定的かつ高速に文字スーパーの内容を判定することができる。
【0096】
つまり、図１に示したとおり、解説音声制作配信システム６から、解説テキストの発話データ及び音声ファイルが携帯端末５へ送信されることで、野球中継の映像に含まれる文字スーパーの内容の解説を、リアルタイムにユーザへ提供することができ、オペレータによる手動にて解説テキストを生成する負荷を低減することができる。そして、視覚障害者、及びながら視聴を行う健常者を含む多くのユーザに対し、野球中継の情報を分かりやすく伝えることができる。
【0097】
〔文字スーパー判定装置２０〕
次に、本発明の実施形態による文字スーパー判定装置２０について説明する。図６は、本発明の実施形態による文字スーパー判定装置２０の構成例を示すブロック図であり、図７は、文字スーパー判定装置２０の処理例を示すフローチャートである。
次に、本発明の実施形態による文字スーパー判定装置２０について説明する。図６は、本発明の実施形態による文字スーパー判定装置２０の構成例を示すブロック図であり、図７は、文字スーパー判定装置２０の処理例を示すフローチャートである。
【0098】
この文字スーパー判定装置２０は、学習装置１０により生成された学習済モデルであるスーパー内容判定モデルを用いて、映像に含まれる文字スーパーの内容を判定し、解説テキストを生成する装置である。
【0099】
文字スーパー判定装置２０は、攻守判定部２１、画像切り出し部２２、二値化部２３－１，２３－２，２３－３、記憶部２４、判定部２５－１，２５－２，２５－３、整合部２６－１，２６－２，２６－３及び解説テキスト生成部２７－１，２７－２，２７－３を備えている。
【0100】
記憶部２４には、学習装置１０により生成された学習済モデルであるスーパー内容判定モデル（球速用スーパー内容判定モデル、ボールカウント用スーパー内容判定モデル及び打順用スーパー内容判定モデル）が格納されている。つまり、図２に示した記憶部１４に格納されたスーパー内容判定モデルと、記憶部２４に格納されたスーパー内容判定モデルとは同一である。
【0101】
二値化部２３－１、判定部２５－１、整合部２６－１及び解説テキスト生成部２７－１は、球速用スーパー内容判定モデルを用いて、映像から切り出された球速用文字スーパー画像から球速用ラベルを判定し、球速用ラベルに対応する球速を反映した解説テキストを生成する。
【0102】
また、二値化部２３－２、判定部２５－２、整合部２６－２及び解説テキスト生成部２７－２は、ボールカウント用スーパー内容判定モデルを用いて、映像から切り出されたボールカウント用文字スーパー画像からボールカウント用ラベルを判定し、ボールカウント用ラベルに対応するボールカウントを反映した解説テキストを生成する。
【0103】
また、二値化部２３－３、判定部２５－３、整合部２６－３及び解説テキスト生成部２７－３は、打順用スーパー内容判定モデルを用いて、映像から切り出された打順用文字スーパー画像から打順用ラベルを判定し、打順用ラベルに対応する打順を反映した解説テキストを生成する。
【0104】
文字スーパー判定装置２０は、野球中継の映像を入力する（ステップＳ７０１）。攻守判定部２１は、図１に示した解説音声制作装置１から野球の試合データを定期的に入力し、試合データに基づいて、攻守の交代を判定する（ステップＳ７０２）。
【0105】
この場合、解説音声制作装置１は、例えばＢＩＳの情報源２－２から野球の試合データを取得しており、試合データは、情報源２－２から解説音声制作装置１を経由して文字スーパー判定装置２０の攻守判定部２１へ入力される。
【0106】
試合データには、先攻のチーム及び後攻のチームのうち、どちらのチームが現時点において攻撃中または守備中であるかを示す攻守データが含まれる。試合データにより、攻撃中のチーム及び守備中のチームを判断することができ、また、試合データの変化により、攻守の交代を判定することができる。
【0107】
攻守判定部２１は、攻守の交代があったことを判定すると、攻守の交代があったことを示す情報、及び攻守のチームがどちらであるかを示す情報等を含む攻守交代情報を生成し、攻守交代情報を整合部２６－１，２６－２，２６－３に出力する。
【0108】
これにより、整合部２６－１，２６－２，２６－３は、攻守の交代があったこと、及び攻撃中のチーム及び守備中のチームを判断することができる。
【0109】
図８は、攻守判定部２１の処理例（ステップＳ７０２）を示すフローチャートである。攻守判定部２１は、野球の試合データを入力し（ステップＳ８０１）、試合データから攻守データを抽出し、これを攻守データｐnewとしてメモリに格納する（ステップＳ８０２）。ここで、攻守判定部２１が新たに入力して抽出し、メモリに格納した攻守データをｐnewとし、この攻守データｐnewよりも過去の時点で入力して抽出し、後述するステップＳ８０５にてメモリに格納した攻守データをｐpreとする。
【0110】
攻守判定部２１は、メモリから攻守データｐpre，ｐnewを読み出し、過去の攻守データｐpreと新たな（現在の）攻守データｐnewとが異なるか否かを判定する（ステップＳ８０３）。攻守判定部２１は、ステップＳ８０３において、攻守データｐpreと攻守データｐnewとが異なると判定した場合（ステップＳ８０３：Ｙ）、攻守の交代があったと判定し、攻守交代情報を生成して整合部２６－１，２６－２，２６－３に出力し（ステップＳ８０４）、ステップＳ８０５へ移行する。
【0111】
これにより、整合部２６－１，２６－２，２６－３にて、保持しているデータがクリアされる。詳細については後述する。
【0112】
一方、攻守判定部２１は、ステップＳ８０３において、攻守データｐpreと攻守データｐnewとが同じであると判定した場合（ステップＳ８０３：Ｎ）、ステップＳ８０５へ移行する。
【0113】
攻守判定部２１は、ステップＳ８０４またはステップＳ８０３（Ｎ）から移行して、攻守データｐpreを攻守データｐnewに更新し、更新後の攻守データｐpreを過去のデータとしてメモリに格納する（ステップＳ８０５）。
【0114】
このように、攻守判定部２１により攻守の交代があったことが判定されると、攻守交代情報が整合部２６－１，２６－２，２６－３に出力され、保持しているデータがクリアされる。これにより、後述する解説テキスト生成部２７－１，２７－２，２７－３において、解説テキストが生成されなくなることを防ぐことができる。詳細については後述する。
【0115】
図６及び図７に戻って、画像切り出し部２２は、野球中継の映像を入力し、映像の予め設定された領域（文字スーパーが表示される領域）から、文字スーパーを検出することで文字スーパーの有無を判定する（ステップＳ７０３）。
【0116】
画像切り出し部２２は、ステップＳ７０３において、文字スーパーを検出したと判定した場合（ステップＳ７０３：Ｙ）、映像から球速用の画像（球速用文字スーパー画像）、ボールカウント用の画像（ボールカウント用文字スーパー画像）及び打順用の画像（打順用文字スーパー画像）をそれぞれ切り出す（ステップＳ７０４－１，Ｓ７０４－２，Ｓ７０４－３）。
【0117】
画像切り出し部２２は、球速用文字スーパー画像を二値化部２３－１に出力し、ボールカウント用文字スーパー画像を二値化部２３－２に出力し、打順用文字スーパー画像を二値化部２３－３に出力する。
【0118】
一方、画像切り出し部２２は、ステップＳ７０３において、文字スーパーを検出していないと判定した場合（ステップＳ７０３：Ｎ）、ステップＳ７０２へ移行する。
【0119】
【0120】
例えば画像切り出し部２２は、図１０（１）に示す映像を入力する。この映像には、右下の領域に文字スーパーが含まれており、この文字スーパーには、図１０（２）に示すように、球速（１４２ｋｍ／ｈ）、ボールカウント（ボールのカウントが２、ストライクのカウントが２、アウトのカウントが０）及び打順（４，５，６）が含まれる。
【0121】
図９を参照して、画像切り出し部２２は、文字スーパーが表示される領域のうち、予め設定された、例えばボールカウント用文字スーパーにおけるボールのカウントが表示される領域を特定する（ステップＳ９０１）。
【0122】
スーパーオンの場合、この予め設定された領域には、ボールカウント用文字スーパーにおけるボールのカウントが表示されている。一方、スーパーオフの場合、予め設定された領域には、ボールカウント用文字スーパーにおけるボールのカウントが表示されていない。
【0123】
画像切り出し部２２は、特定した領域の平均輝度値Ｌmeanを算出し（ステップＳ９０２）、平均輝度値Ｌmeanが予め設定された閾値θ以下であるか否かを判定する（ステップＳ９０３）。
【0124】
画像切り出し部２２は、ステップＳ９０３において、平均輝度値Ｌmeanが閾値θ以下であると判定した場合（ステップＳ９０３：Ｙ）、スーパーオンであると判断し、映像から球速用文字スーパー画像、ボールカウント用文字スーパー画像及び打順用文字スーパー画像を切り出す（ステップＳ９０４）。これらのステップＳ９０１～Ｓ９０４の処理は、図７に示したステップＳ７０３，Ｓ７０４－１，Ｓ７０４－２，Ｓ７０４－３に相当する。
【0125】
ここで、文字スーパーの所定領域の平均輝度値Ｌmeanと閾値θとを比較し、平均輝度値Ｌmeanが閾値θ以下である場合、スーパーオンであると判断するのは、文字スーパーの画像には黒成分の画素が多く、平均輝度値Ｌmeanが小さくなるからである。
【0126】
一方、画像切り出し部２２は、ステップＳ９０３において、平均輝度値Ｌmeanが閾値θよりも大きいと判定した場合（ステップＳ９０３：Ｎ）、スーパーオフであると判断する。
【0127】
尚、画像切り出し部２２は、文字スーパーが表示される領域のうち、ボールカウント用文字スーパーにおけるボールのカウントが表示される領域以外を、予め設定された領域とし、当該領域を特定するようにしてもよい。
【0128】
例えば、画像切り出し部２２は、球速用文字スーパーが表示される領域を予め設定された領域としてもよいし、打順用文字スーパーが表示される領域を予め設定された領域としてもよい。また、球速用文字スーパー、ボールカウント用文字スーパー及び打順用文字スーパーを含む全ての領域（文字スーパーの領域）を予め設定された領域としてもよいし、これらの数字を含む全ての領域を予め設定された領域としてもよい。
【0129】
ここで、画像切り出し部２２は、ボールカウント用文字スーパーの数字を含む領域を予め設定された領域とする場合、ステップＳ９０２において、当該領域の色を反転した後、平均輝度値Ｌmeanを算出する。
【0130】
（球速を判定し、解説テキストを生成する処理）
図６及び図７に戻って、次に、二値化部２３－１、判定部２５－１、整合部２６－１及び解説テキスト生成部２７－１が、球速用スーパー内容判定モデルを用いて球速用文字スーパー画像から球速用ラベルを判定し、球速の解説テキストを生成する処理について説明する。この処理は、図７のステップＳ７０５－１，Ｓ７０６－１，Ｓ７０７－１，Ｓ７０８－１，Ｓ７０９に相当する。
図６及び図７に戻って、次に、二値化部２３－１、判定部２５－１、整合部２６－１及び解説テキスト生成部２７－１が、球速用スーパー内容判定モデルを用いて球速用文字スーパー画像から球速用ラベルを判定し、球速の解説テキストを生成する処理について説明する。この処理は、図７のステップＳ７０５－１，Ｓ７０６－１，Ｓ７０７－１，Ｓ７０８－１，Ｓ７０９に相当する。
【0131】
二値化部２３－１は、画像切り出し部２２から球速用文字スーパー画像を入力し、球速用文字スーパー画像に含まれる文字の領域と文字を除く領域とを区別するように、当該球速用文字スーパー画像を構成する各画素を二値化する（ステップＳ７０５－１）。そして、二値化部２３－１は、二値化により球速用二値画像を生成し、球速用二値画像を判定部２５－１に出力する。
【0132】
判定部２５－１は、記憶部２４から球速用スーパー内容判定モデルを読み出し、二値化部２３－１から球速用二値画像を入力する。そして、判定部２５－１は、球速用スーパー内容判定モデルを用いて、球速用二値画像から球速用ラベルを判定する（ステップＳ７０６－１）。
【0133】
例えば球速が３桁の場合、判定部２５－１は、桁毎に、球速（１番目の桁）用二値画像、球速（２番目の桁）用二値画像及び球速（３番目の桁）用二値画像から、球速（１番目の桁）用ラベル、球速（２番目の桁）用ラベル及び球速（３番目の桁）用ラベルをそれぞれ判定する。判定部２５－１は、球速用ラベルを整合部２６－１に出力する。
【0134】
図１１は、判定部２５－１の処理例（ステップＳ７０６－１）を説明する図である。図１１に示すように、判定部２５－１により、球速用スーパー内容判定モデルを用いて、二値化部２３－１から入力した球速用二値画像から、球速用ラベルが判定される。
【0135】
【0136】
球速整合性チェックは、野球中継の実態に即した解説を実現するために、直近の球速用ラベルを保持または削除することで、球速の整合性をチェックするものである。
【0137】
球速用ラベルが判定部２５－１により正確に判定されたとしても、この判定処理は例えばフレームの画像毎に行われるため、映像に文字スーパーが含まれる限り（スーパーオンに設定されている限り）、場合によっては同じ判定結果が出力される。また、実際に投球によって２球連続して同じ球速の球速用ラベルが判定された場合は、引き続き同じ判定結果が出力される。
【0138】
球速整合性チェックは、整合部２６－１において、予め設定された時間期間以内で同じ判定結果の球速用ラベルを入力したとしても、後段の解説テキスト生成部２７－１により同じ球速用解説テキストが生成されないように、出力処理を行わないようにするものである。また、球速用ラベルとして［Ｎｏｎｅ］を入力した場合も、後段の解説テキスト生成部２７－１により球速用解説テキストが生成されないように、出力処理を行わないようにするものである。
【0139】
さらに、球速整合性チェックは、２球連続して同じ球速の球速用ラベルが入力された場合、後段の解説テキスト生成部２７－１により同じ球速用解説テキストが生成されるように、予め設定された時間期間経過しているときに、整合部２６－１から同じ球速の球速用ラベルを解説テキスト生成部２７－１に出力するものである。
【0140】
整合部２６－１は、ステップＳ７０７－１において、球速整合性チェックがＯＫである場合（ステップＳ７０７－１：ＯＫ）、判定部２５－１から入力した球速用ラベルを解説テキスト生成部２７－１に出力する。一方、整合部２６－１は、ステップＳ７０７－１において、球速整合性チェックがＮＧである場合（ステップＳ７０７－１：ＮＧ）、解説テキスト生成部２７－１への出力処理を行わず、ステップＳ７０２へ移行する。
【0141】
また、整合部２６－１は、攻守判定部２１から攻守交代情報を入力し、攻守の交代を判定すると、後述する図１２に示す球速用ラベルｋnewを当該整合部２６－１の図示しないメモリから削除する。
【0142】
図１２は、整合部２６－１による球速整合性チェックの例（ステップＳ７０７－１）を示すフローチャートである。整合部２６－１は、判定部２５－１から球速用ラベルを入力し、球速の桁数分の球速用ラベルｋnewをメモリに格納する（ステップＳ１２０１）。
【0143】
整合部２６－１は、後段の解説テキスト生成部２７－１により（直前に当該整合部２６－１が出力した）過去の球速用ラベルを用いて解説テキストが生成された時点から、ステップＳ１２０１にて新たな球速用ラベルを入力し球速用ラベルｋnewをメモリに格納する時点までの間の経過時間Ｔを求める（ステップＳ１２０２）。
【0144】
整合部２６－１は、経過時間Ｔが予め設定された閾値（の時間）δを経過しているか否かを判定する（ステップＳ１２０３）。整合部２６－１は、ステップＳ１２０３において、経過時間Ｔが閾値δを経過していると判定した場合（ステップＳ１２０３：Ｙ）、メモリから球速用ラベルｋnewを読み出し、球速用ラベルｋnewが［Ｎｏｎｅ］のラベルでないか否かを判定する（ステップＳ１２０４）。
【0145】
整合部２６－１は、ステップＳ１２０４において、球速用ラベルｋnewが［Ｎｏｎｅ］のラベルでないと判定した場合（ステップＳ１２０４：Ｙ）、整合性チェックＯＫであると判断する（ステップＳ１２０５）。そして、整合部２６－１は、入力した球速用ラベル（球速の桁数分の球速用ラベルｋnew）を解説テキスト生成部２７－１に出力する
（ステップＳ１２０６）。
（ステップＳ１２０６）。
【0146】
一方、整合部２６－１は、ステップＳ１２０３において、経過時間Ｔが閾値δを経過していないと判定した場合（ステップＳ１２０３：Ｎ）、ステップＳ１２０７へ移行する。また、整合部２６－１は、ステップＳ１２０４において、球速用ラベルｋnewが［Ｎｏｎｅ］のラベルであると判定した場合（ステップＳ１２０４：Ｎ）、ステップＳ１２０７へ移行する。
【0147】
整合部２６－１は、ステップＳ１２０３（Ｎ）またはステップＳ１２０４（Ｎ）から移行して、整合性チェックＮＧを判断し（ステップＳ１２０７）、解説テキスト生成部２７－１への出力処理を行わない。
【0148】
このように、整合部２６－１は、直前の球速用ラベルを用いて解説テキストが生成されてから新たな球速用ラベルを入力し球速用ラベルｋnewをメモリに格納するまでの間の経過時間Ｔが閾値δを経過しており、かつ球速用ラベルｋnewが［Ｎｏｎｅ］でないと判定した場合、整合性チェックＯＫであるとして、入力した球速用ラベルを解説テキスト生成部２７－１に出力することで、解説テキスト生成部２７－１に新たな球速用解説テキストを生成させる。
【0149】
一方、整合部２６－１は、経過時間Ｔが閾値δを経過していない場合、または球速用ラベルｋnewが［Ｎｏｎｅ］である場合、整合性チェックＮＧであるとして、解説テキスト生成部２７－１への出力処理を行わず、解説テキスト生成部２７－１に対し、新たな球速用解説テキストを生成させないようにする。
【0150】
これにより、整合部２６－１に、２球連続して同じ球速の球速用ラベルが入力された場合には、経過時間Ｔが閾値δを経過しているとして、解説テキスト生成部２７－１は、同じ球速用解説テキストを生成することができる。
【0151】
図６及び図７に戻って、解説テキスト生成部２７－１は、整合部２６－１から球速用ラベル（球速の桁数分の球速用ラベルｋnew）を入力する。そして、解説テキスト生成部２７－１は、球速用ラベル及び予め設定されたテンプレートを用いて、球速用ラベルに対応する球速をテンプレートの文章に挿入する等して、解説テキストを生成する（ステップＳ７０８－１）。
【0152】
解説テキスト生成部２７－１は、解説テキストに属性のラベルを付与する等して、Ｊｓｏｎデータからなる発話データを生成し、発話データ等をリアルタイムのデータとして解説音声制作装置１へ出力する（ステップＳ７０９）。
【0153】
図１６は、解説テキスト生成部２７－１，２７－２，２７－３の処理例を説明する図である。図１６に示すように、例えば解説テキスト生成部２７－１において、球速用ラベルとして［１］［４］［７］が入力された場合、予め設定されたテンプレートに基づいて、解説テキスト「球速［１４７］ｋｍ」が生成され、発話データ等が出力される。
【0154】
（ボールカウントを判定し、解説テキストを生成する処理）
図６及び図７に戻って、次に、二値化部２３－２、判定部２５－２、整合部２６－２及び解説テキスト生成部２７－２が、ボールカウント用スーパー内容判定モデルを用いてボールカウント用文字スーパー画像からボールカウント用ラベルを判定し、ボールカウントの解説テキストを生成する処理について説明する。この処理は、図７のステップＳ７０５－２，Ｓ７０６－２，Ｓ７０７－２，Ｓ７０８－２，Ｓ７０９に相当する。
図６及び図７に戻って、次に、二値化部２３－２、判定部２５－２、整合部２６－２及び解説テキスト生成部２７－２が、ボールカウント用スーパー内容判定モデルを用いてボールカウント用文字スーパー画像からボールカウント用ラベルを判定し、ボールカウントの解説テキストを生成する処理について説明する。この処理は、図７のステップＳ７０５－２，Ｓ７０６－２，Ｓ７０７－２，Ｓ７０８－２，Ｓ７０９に相当する。
【0155】
二値化部２３－２は、画像切り出し部２２からボールカウント用文字スーパー画像を入力し、二値化部２３－１と同様に、当該ボールカウント用文字スーパー画像を構成する各画素を二値化する（ステップＳ７０５－２）。そして、二値化部２３－２は、二値化によりボールカウント用二値画像を生成し、ボールカウント用二値画像を判定部２５－２に出力する。
【0156】
判定部２５－２は、記憶部２４からボールカウント用スーパー内容判定モデルを読み出し、二値化部２３－２からボールカウント用二値画像を入力する。そして、判定部２５－２は、ボールカウント用スーパー内容判定モデルを用いて、ボールカウント用二値画像からボールカウント用ラベルを判定する（ステップＳ７０６－２）。
【0157】
例えば判定部２５－２は、ボール、ストライク及びアウトの順に、ボールカウント（ボール）用二値画像、ボールカウント（ストライク）用二値画像及びボールカウント（アウト）用二値画像から、ボールカウント（ボール）用ラベル、ボールカウント（ストライク）用ラベル及びボールカウント（アウト）用ラベルをそれぞれ判定する。判定部２５－２は、ボールカウント用ラベルを整合部２６－２に出力する。
【0158】
整合部２６－２は、判定部２５－２からボールカウント用ラベルを入力し、ボールカウント（ボール）用ラベル、ボールカウント（ストライク）用ラベル及びボールカウント（アウト）用ラベルのそれぞれについて、整合性チェック（ボールカウント整合性チェック）を行う（ステップＳ７０７－２）。
【0159】
ボールカウント整合性チェックは、野球中継の実態に即した解説を実現するために、直近のボールカウント用ラベルを保持または削除することで、ボールカウントの整合性をチェックするものである。
【0160】
ボールカウント用ラベルが判定部２５－２により正確に判定されたとしても、この判定処理は例えばフレームの画像毎に行われるため、映像に文字スーパーが含まれる限り（スーパーオンに設定されている限り）、場合によっては同じ判定結果が出力される。
【0161】
ボールカウント整合性チェックは、整合部２６－２において、ボールカウント（ボール）用ラベル、ボールカウント（ストライク）用ラベル及びボールカウント（アウト）用ラベルのそれぞれについて、同じ判定結果のボールカウント用ラベルを入力したとしても、後段の解説テキスト生成部２７－２により同じボールカウント用解説テキストが生成されないように、出力処理を行わないようにするものである。また、ボールカウント用ラベルとして［Ｎｏｎｅ］を入力した場合も、後段の解説テキスト生成部２７－２によりボールカウント用解説テキストが生成されないよう、出力処理を行わないようにするものである。
【0162】
整合部２６－２は、ステップＳ７０７－２において、ボールカウント整合性チェックがＯＫである場合（ステップＳ７０７－２：ＯＫ）、判定部２５－２から入力したボールカウント用ラベルを解説テキスト生成部２７－２に出力する。一方、整合部２６－２は、ステップＳ７０７－２において、ボールカウント整合性チェックがＮＧである場合（ステップＳ７０７－２：ＮＧ）、解説テキスト生成部２７－２への出力処理を行わず、ステップＳ７０２へ移行する。整合部２６－２によるボールカウント整合性チェックは、ボールカウント（ボール）用ラベル、ボールカウント（ストライク）用ラベル及びボールカウント（アウト）用ラベルのそれぞれについて個別に行われる。
【0163】
また、整合部２６－２は、攻守判定部２１から攻守交代情報を入力し、攻守の交代を判定すると、後述する図１３及び図１４に示すボールカウント（ストライク）用ラベルｓnew，ｓpre及びボールカウント（アウト）用ラベルｏnew，ｏpreを当該整合部２６－２の図示しないメモリから削除する。ボールカウント（ボール）用ラベルｂnew，ｂpreについても同様である。
【0164】
図１３は、整合部２６－２によるボールカウント（ストライク）整合性チェックの例（ステップＳ７０７－２）を示すフローチャートである。整合部２６－２は、判定部２５－２からボールカウント（ストライク）用ラベルを入力し、これをボールカウント（ストライク）用ラベルｓnewとしてメモリに格納する（ステップＳ１３０１）。
【0165】
ここで、整合部２６－２が新たに入力し、メモリに格納したボールカウント（ストライク）用ラベルをｓnewとし、このボールカウント（ストライク）用ラベルｓnewよりも過去の時点で入力し、後述するステップＳ１３０４にてメモリに格納した（ボールカウント（ストライク）用ラベルｓnewの時点に最も近い）ボールカウント（ストライク）用ラベルをｓpreとする。
【0166】
整合部２６－２は、メモリからボールカウント（ストライク）用ラベルｓnewを読み出し、ボールカウント（ストライク）用ラベルｓnewが［Ｎｏｎｅ］のラベルでないか否かを判定する（ステップＳ１３０２）。
【0167】
整合部２６－２は、ステップＳ１３０２において、ボールカウント（ストライク）用ラベルｓnewが［Ｎｏｎｅ］のラベルでないと判定した場合（ステップＳ１３０２：Ｙ）、メモリからボールカウント（ストライク）用ラベルｓpreを読み出す。そして、整合部２６－２は、過去のボールカウント（ストライク）用ラベルｓpreと新たな（現在の）ボールカウント（ストライク）用ラベルｓnewとが異なるか否かを判定する（ステップＳ１３０３）。
【0168】
整合部２６－２は、ステップＳ１３０３において、ボールカウント（ストライク）用ラベルｓpreとボールカウント（ストライク）用ラベルｓnewとが異なると判定した場合（ステップＳ１３０３：Ｙ）、ボールカウント（ストライク）が変わったと判断する。
【0169】
整合部２６－２は、ボールカウント（ストライク）用ラベルｓpreをボールカウント（ストライク）用ラベルｓnewに更新し、更新後のボールカウント（ストライク）用ラベルｓpreを過去のデータとしてメモリに格納する（ステップＳ１３０４）。そして、整合部２６－２は、整合性チェックＯＫであると判断し（ステップＳ１３０５）、メモリから後述するボールカウント（ボール）用ラベルｂnewを読み出し、入力したボールカウント（ストライク）用ラベルｓnew及び読み出したボールカウント（ボール）用ラベルｂnewを解説テキスト生成部２７－２に出力する（ステップＳ１３０６）。
【0170】
一方、整合部２６－２は、ステップＳ１３０２において、ボールカウント（ストライク）用ラベルｓnewが［Ｎｏｎｅ］のラベルであると判定した場合（ステップＳ１３０２：Ｎ）、ステップＳ１３０７へ移行する。
【0171】
整合部２６－２は、ステップＳ１３０３において、ボールカウント（ストライク）用ラベルｓpreとボールカウント（ストライク）用ラベルｓnewとが同じであると判定した場合（ステップＳ１３０３：Ｎ）、ボールカウント（ストライク）が変わっていないと判断し、ステップＳ１３０７へ移行する。
【0172】
整合部２６－２は、ステップＳ１３０２（Ｎ）またはステップＳ１３０３（Ｎ）から移行して、整合性チェックＮＧを判断し（ステップＳ１３０７）、解説テキスト生成部２７－２への出力処理を行わない。
【0173】
このように、整合部２６－２は、ボールカウント（ストライク）用ラベルｓnewが［Ｎｏｎｅ］でないと判定し、かつ、過去のボールカウント（ストライク）用ラベルｓpreとは異なると判定した場合、整合性チェックＯＫであるとして、入力したボールカウント（ストライク）用ラベルｓnew及びメモリから読み出したボールカウント（ボール）用ラベルｂnewを解説テキスト生成部２７－２に出力することで、解説テキスト生成部２７－２に、新たなボールカウント（ストライク，ボール）用解説テキストを生成させる。
【0174】
一方、整合部２６－２は、ボールカウント（ストライク）用ラベルｓnewが［Ｎｏｎｅ］であると判定した場合、または、過去のボールカウント（ストライク）用ラベルｓpreと同じであると判定した場合、整合性チェックＮＧであるとして、解説テキスト生成部２７－２への出力処理を行わず、解説テキスト生成部２７－２に対し、新たなボールカウント（ストライク，ボール）用解説テキストを生成させないようにする。
【0175】
これにより、整合部２６－２に、連続して同じボールカウント（ストライク）用ラベルが入力された場合、解説テキスト生成部２７－２は、同じボールカウント（ストライク，ボール）用解説テキストを生成することはない。また、整合部２６－２に、ボールカウント（ストライク）用ラベルとして［Ｎｏｎｅ］が入力された場合、解説テキスト生成部２７－２は、新たなボールカウント（ストライク，ボール）用解説テキストを生成することはない。
【0176】
尚、図１３に示したボールカウント（ストライク）整合性チェックの例は、ボールカウント（ボール）整合性チェックにも適用がある。整合部２６－２が新たに入力し、メモリに格納したボールカウント（ボール）用ラベルをｂnewとし、このボールカウント（ボール）用ラベルをｂnewよりも過去の時点で入力し、メモリに格納したボールカウント（ボール）用ラベルをｂpreとする。
【0177】
このように、整合部２６－２は、ボールカウント（ボール）用ラベルｂnewが［Ｎｏｎｅ］でないと判定し、かつ、過去のボールカウント（ボール）用ラベルｂpreとは異なると判定した場合、整合性チェックＯＫであるとして、入力したボールカウント（ボール）用ラベルｂnew及びメモリから読み出したボールカウント（ストライク）用ラベルｓnewを解説テキスト生成部２７－２に出力することで、解説テキスト生成部２７－２に、新たなボールカウント（ストライク、ボール）用解説テキストを生成させる。
【0178】
一方、整合部２６－２は、ボールカウント（ボール）用ラベルｂnewが［Ｎｏｎｅ］であると判定した場合、または、過去のボールカウント（ボール）用ラベルｂpreと同じであると判定した場合、整合性チェックＮＧであるとして、解説テキスト生成部２７－２への出力処理を行わず、解説テキスト生成部２７－２に対し、新たなボールカウント（ストライク、ボール）用解説テキストを生成させないようにする。
【0179】
これにより、整合部２６－２に、連続して同じボールカウント（ボール）用ラベルが入力された場合、解説テキスト生成部２７－２は、同じボールカウント（ストライク、ボール）用解説テキストを生成することはない。また、整合部２６－２に、ボールカウント（ボール）用ラベルとして［Ｎｏｎｅ］が入力された場合、解説テキスト生成部２７－２は、新たなボールカウント（ストライク、ボール）用解説テキストを生成することはない。
【0180】
図１４は、整合部２６－２によるボールカウント（アウト）整合性チェックの例（ステップＳ７０７－２）を示すフローチャートである。整合部２６－２は、判定部２５－２からボールカウント（アウト）用ラベルを入力し、これをボールカウント（アウト）用ラベルｏnewとしてメモリに格納する（ステップＳ１４０１）。
【0181】
ここで、整合部２６－２が新たに入力し、メモリに格納したボールカウント（アウト）用ラベルをｏnewとし、このボールカウント（アウト）用ラベルｏnewよりも過去の時点で入力し、後述するステップＳ１４０４にてメモリに格納した（ボールカウント（アウト）用ラベルｏnewの時点に最も近い）ボールカウント（アウト）用ラベルをｏpreとする。
【0182】
整合部２６－２は、メモリからボールカウント（アウト）用ラベルｏnewを読み出し、ボールカウント（アウト）用ラベルｏnewが［Ｎｏｎｅ］のラベルでないか否かを判定する（ステップＳ１４０２）。
【0183】
整合部２６－２は、ステップＳ１４０２において、ボールカウント（アウト）用ラベルｏnewが［Ｎｏｎｅ］のラベルでないと判定した場合（ステップＳ１４０２：Ｙ）、メモリからボールカウント（アウト）用ラベルｏpreを読み出す。そして、整合部２６－２は、過去のボールカウント（アウト）用ラベルｏpreと新たな（現在の）ボールカウント（アウト）用ラベルｏnewとが異なるか否かを判定する（ステップＳ１４０３）。
【0184】
整合部２６－２は、ステップＳ１４０３において、ボールカウント（アウト）用ラベルｏpreとボールカウント（アウト）用ラベルｏnewとが異なると判定した場合（ステップＳ１４０３：Ｙ）、ボールカウント（アウト）が変わったと判断する。
【0185】
整合部２６－２は、ボールカウント（アウト）用ラベルｏpreをボールカウント（アウト）用ラベルｏnewに更新し、更新後のボールカウント（アウト）用ラベルｏpreを過去のデータとしてメモリに格納する（ステップＳ１４０４）。そして、整合部２６－２は、ボールカウント（アウト）用ラベルｏpreが［０］のラベルでないか否かを判定する（ステップＳ１４０５）。
【0186】
整合部２６－２は、ステップＳ１４０５において、ボールカウント（アウト）用ラベルｏpreが［０］のラベルでないと判定した場合（ステップＳ１４０５：Ｙ）、整合性チェックＯＫであると判断し（ステップＳ１４０６）、入力したボールカウント（アウト）用ラベルｏnewを解説テキスト生成部２７－２に出力する（ステップＳ１４０７）。
【0187】
一方、整合部２６－２は、ステップＳ１４０２において、ボールカウント（アウト）用ラベルｏnewが［Ｎｏｎｅ］のラベルであると判定した場合（ステップＳ１４０２：Ｎ）、ステップＳ１４０８へ移行する。
【0188】
整合部２６－２は、ステップＳ１４０３において、ボールカウント（アウト）用ラベルｏpreとボールカウント（アウト）用ラベルｏnewとが同じであると判定した場合（ステップＳ１４０３：Ｎ）、ボールカウント（アウト）が変わっていないと判断し、ステップＳ１４０８へ移行する。
【0189】
整合部２６－２は、ステップＳ１４０５において、ボールカウント（アウト）用ラベルｏpreが［０］のラベルであると判定した場合（ステップＳ１４０５：Ｎ）、ステップＳ１４０８へ移行する。
【0190】
整合部２６－２は、ステップＳ１４０２（Ｎ）、ステップＳ１４０３（Ｎ）またはステップＳ１４０５（Ｎ）から移行して、整合性チェックＮＧを判断し（ステップＳ１４０８）、解説テキスト生成部２７－２への出力処理を行わない。
【0191】
このように、整合部２６－２は、ボールカウント（アウト）用ラベルｏnewが［Ｎｏｎｅ］ではないと判定し、かつ、過去のボールカウント（アウト）用ラベルｏpreとは異なると判定し、かつボールカウント（アウト）用ラベルｏpreが［０］のラベルではないと判定した場合、整合性チェックＯＫであるとして、入力したボールカウント（アウト）用ラベルｏnewを解説テキスト生成部２７－２に出力することで、解説テキスト生成部２７－２に新たなボールカウント（アウト）用解説テキストを生成させる。
【0192】
一方、整合部２６－２は、ボールカウント（アウト）用ラベルｏnewが［Ｎｏｎｅ］である場合、過去のボールカウント（アウト）用ラベルｏpreと同じであると判定した場合、またはボールカウント（アウト）用ラベルｏpreが［０］のラベルであると判定した場合、整合性チェックＮＧであるとして、解説テキスト生成部２７－２への出力処理を行わず、解説テキスト生成部２７－２に対し、新たなボールカウント（アウト）用解説テキストを生成させないようにする。
【0193】
これにより、整合部２６－２に、連続して同じボールカウント（アウト）用ラベルが入力された場合、解説テキスト生成部２７－２は、同じボールカウント（アウト）用解説テキストを生成することはない。また、整合部２６－２に、ボールカウント（アウト）用ラベルとして［Ｎｏｎｅ］または［０］が入力された場合、解説テキスト生成部２７－２は、新たなボールカウント（アウト）用解説テキストを生成することはない。
【0194】
図６及び図７に戻って、解説テキスト生成部２７－２は、整合部２６－２からボールカウント用ラベル（ボールカウント（ストライク）用ラベルｓnew及びボールカウント（ボール）用ラベルｂnew、またはボールカウント（アウト）用ラベルｏnew）を入力する。そして、解説テキスト生成部２７－２は、ボールカウント用ラベル及び予め設定されたテンプレートを用いて、ボールカウント用ラベルに対応するカウントをテンプレートの文章に挿入する等して、解説テキストを生成する（ステップＳ７０８－２）。
【0195】
解説テキスト生成部２７－２は、前述のステップＳ７０９と同様に、Ｊｓｏｎデータからなる発話データを生成し、発話データ等をリアルタイムのデータとして解説音声制作装置１へ出力する。
【0196】
図１６に示すように、例えば解説テキスト生成部２７－２において、ボールカウント（ストライク）用ラベル及びボールカウント（ボール）用ラベルとして、［２］及び［２］が入力された場合、予め設定されたテンプレートに基づいて、解説テキスト「［ツー］ボール［ツー］ストライク」が生成され、発話データ等が出力される。また、ボールカウント（アウト）用ラベルとして、［１］が入力された場合、予め設定されたテンプレートに基づいて、解説テキスト「［ワン］アウト」が生成され、発話データ等が出力される。
【0197】
（打順を判定し、解説テキストを生成する処理）
図６及び図７に戻って、次に、二値化部２３－３、判定部２５－３、整合部２６－３及び解説テキスト生成部２７－３が、打順用スーパー内容判定モデルを用いて打順用文字スーパー画像から打順用ラベルを判定し、打順の解説テキストを生成する処理について説明する。この処理は、図７のステップＳ７０５－３，Ｓ７０６－３，Ｓ７０７－３，Ｓ７０８－３，Ｓ７０９に相当する。
図６及び図７に戻って、次に、二値化部２３－３、判定部２５－３、整合部２６－３及び解説テキスト生成部２７－３が、打順用スーパー内容判定モデルを用いて打順用文字スーパー画像から打順用ラベルを判定し、打順の解説テキストを生成する処理について説明する。この処理は、図７のステップＳ７０５－３，Ｓ７０６－３，Ｓ７０７－３，Ｓ７０８－３，Ｓ７０９に相当する。
【0198】
二値化部２３－３は、画像切り出し部２２から打順用文字スーパー画像を入力し、二値化部２３－１と同様に、当該打順用文字スーパー画像を構成する各画素を二値化する（ステップＳ７０５－３）。そして、二値化部２３－３は、二値化により打順用二値画像を生成し、打順用二値画像を判定部２５－３に出力する。
【0199】
判定部２５－３は、記憶部２４から打順用スーパー内容判定モデルを読み出し、二値化部２３－３から打順用二値画像を入力する。そして、判定部２５－３は、打順用スーパー内容判定モデルを用いて、打順用二値画像から打順用ラベルを判定する（ステップＳ７０６－３）。判定部２５－３は、打順用ラベルを整合部２６－３に出力する。
【0200】
整合部２６－３は、判定部２５－３から打順用ラベルを入力し、打順用ラベルについて整合性チェック（打順整合性チェック）を行う（ステップＳ７０７－３）。
【0201】
打順整合性チェックは、野球中継の実態に即した解説を実現するために、直近の打順用ラベルを保持または削除することで、打順の整合性をチェックするものである。
【0202】
打順用ラベルが判定部２５－３により正確に判定されたとしても、この判定処理は例えばフレームの画像毎に行われるため、映像に文字スーパーが含まれる限り（スーパーオンに設定されている限り）、場合によっては同じ判定結果が出力される。
【0203】
打順整合性チェックは、整合部２６－３において、同じ判定結果の打順用ラベルを入力したとしても、後段の解説テキスト生成部２７－３により同じ打順用解説テキストが生成されないように、出力処理を行わないようにするものである。また、打順用ラベルとして［Ｎｏｎｅ］を入力した場合も、後段の解説テキスト生成部２７－３により打順用解説テキストが生成されないよう、出力処理を行わないようにするものである。
【0204】
整合部２６－３は、ステップＳ７０７－３において、打順整合性チェックがＯＫである場合（ステップＳ７０７－３：ＯＫ）、判定部２５－３から入力した打順用ラベルを解説テキスト生成部２７－３に出力する。一方、整合部２６－３は、ステップＳ７０７－３において、打順整合性チェックがＮＧである場合（ステップＳ７０７－３：ＮＧ）、解説テキスト生成部２７－３への出力処理を行わず、ステップＳ７０２へ移行する。
【0205】
また、整合部２６－３は、攻守判定部２１から攻守交代情報を入力し、攻守の交代を判定すると、後述する図１５に示す打順用ラベルｄnew，ｄpreを当該整合部２６－３の図示しないメモリから削除する。
【0206】
これにより、解説テキスト生成部２７－３において、解説テキストが生成されなくなることを防ぐことができる。打順用ラベルｄnew，ｄpreを削除する処理が行われない場合を想定すると、例えば４番バッターのアウトにより攻守が交代し、次の攻撃のチームのバッターが４番から始まるとすると、後述する図１５のステップＳ１５０３において「Ｎ」が判定され、整合性チェックがＮＧと判断されてしまい、解説テキスト生成部２７－３への出力処理が行われず、解説テキストが生成されなくなるからである。
【0207】
図１５は、整合部２６－３による打順整合性チェックの例（ステップＳ７０７－３）を示すフローチャートである。整合部２６－３は、判定部２５－３から打順用ラベルを入力し、これを打順用ラベルｄnewとしてメモリに格納する（ステップＳ１５０１）。
【0208】
ここで、整合部２６－３が新たに入力し、メモリに格納した打順用ラベルをｄnewとし、この打順用ラベルｄnewよりも過去の時点で入力し、後述するステップＳ１５０４にてメモリに格納した（打順用ラベルｄnewに最も近い時点の）打順用ラベルをｄpreとする。
【0209】
整合部２６－３は、メモリから打順用ラベルｄnewを読み出し、打順用ラベルｄnewが［Ｎｏｎｅ］のラベルでないか否かを判定する（ステップＳ１５０２）。
【0210】
整合部２６－３は、ステップＳ１５０２において、打順用ラベルｄnewが［Ｎｏｎｅ］のラベルでないと判定した場合（ステップＳ１５０２：Ｙ）、メモリから打順用ラベルｄpreを読み出す。そして、整合部２６－３は、過去の打順用ラベルｄpreと新たな（現在の）打順用ラベルｄnewとが異なるか否かを判定する（ステップＳ１５０３）。
【0211】
整合部２６－３は、ステップＳ１５０３において、打順用ラベルｄpreと打順用ラベルｄnewとが異なると判定した場合（ステップＳ１５０３：Ｙ）、打順が変わったと判断する。
【0212】
整合部２６－３は、打順用ラベルｄpreを打順用ラベルｄnewに更新し、更新後の打順用ラベルｄpreを過去のデータとしてメモリに格納する（ステップＳ１５０４）。そして、整合部２６－３は、整合性チェックＯＫであると判断し（ステップＳ１５０５）、入力した打順用ラベルｄnewを解説テキスト生成部２７－３に出力する（ステップＳ１５０６）。
【0213】
一方、整合部２６－３は、ステップＳ１５０２において、打順用ラベルｄnewが［Ｎｏｎｅ］のラベルであると判定した場合（ステップＳ１５０２：Ｎ）、ステップＳ１５０７へ移行する。
【0214】
整合部２６－３は、ステップＳ１５０３において、打順用ラベルｄpreと打順用ラベルｄnewとが同じであると判定した場合（ステップＳ１５０３：Ｎ）、打順が変わっていないと判断し、ステップＳ１５０７へ移行する。
【0215】
整合部２６－３は、ステップＳ１５０２（Ｎ）またはステップＳ１５０３（Ｎ）から移行して、整合性チェックＮＧを判断し（ステップＳ１５０７）、解説テキスト生成部２７－３への出力処理を行わない。
【0216】
このように、整合部２６－３は、打順用ラベルｄnewが［Ｎｏｎｅ］でないと判定し、かつ、過去の打順用ラベルｄpreとは異なると判定した場合、整合性チェックＯＫであるとして、入力した打順用ラベルｄnewを解説テキスト生成部２７－３に出力することで、解説テキスト生成部２７－３に新たな打順用解説テキストを生成させる。
【0217】
一方、整合部２６－３は、打順用ラベルｄnewが［Ｎｏｎｅ］であると判定した場合、または、過去の打順用ラベルｄpreと同じであると判定した場合、整合性チェックＮＧであるとして、解説テキスト生成部２７－３への出力処理を行わず、解説テキスト生成部２７－３に対し、新たな打順用解説テキストを生成させないようにする。
【0218】
これにより、整合部２６－３に、連続して同じ打順用ラベルが入力された場合、解説テキスト生成部２７－３は、同じ打順用解説テキストを生成することはない。また、整合部２６－３に、打順用ラベルとして［Ｎｏｎｅ］が入力された場合、解説テキスト生成部２７－３は、新たな打順用解説テキストを生成することはない。
【0219】
【0220】
この場合、解説音声制作装置１は、例えばＢＩＳの情報源２－２から野球の試合の選手データを取得しており、選手データは、情報源２－２から解説音声制作装置１を経由して文字スーパー判定装置２０の解説テキスト生成部２７－３へ入力される。選手データには、選手の属するチーム名、背番号、氏名、右打か左打かの打席情報等が含まれる。
【0221】
解説テキスト生成部２７－３は、整合部２６－３から打順用ラベルを入力する。そして、解説テキスト生成部２７－３は、打順用ラベル、選手データ及び予め設定されたテンプレートを用いて、打順用ラベル及び選手データをテンプレートの文章に挿入する等して、打者紹介の解説テキストを生成する（ステップＳ７０８－３）。
【0222】
解説テキスト生成部２７－３は、前述のステップＳ７０９と同様に、Ｊｓｏｎデータからなる発話データを生成し、発話データ等をリアルタイムのデータとして解説音声制作装置１へ出力する。
【0223】
図１６に示すように、例えば解説テキスト生成部２７－３において、打順用ラベルとして、［４］が入力された場合、選手データ及び予め設定されたテンプレートに基づいて、解説テキスト「［４］番［技研］背番号［９９］［右打］」が生成され、発話データ等が出力される。
【0224】
以上のように、本発明の実施形態の文字スーパー判定装置２０によれば、攻守判定部２１は、解説音声制作装置１から入力した試合データに基づいて、攻守の交代を判定し、攻守交代情報を生成する。
【0225】
画像切り出し部２２は、野球中継の映像から文字スーパーを検出することで、文字スーパーの有無を判定し、映像から球速用文字スーパー画像、ボールカウント用文字スーパー画像及び打順用文字スーパー画像を切り出す。
【0226】
二値化部２３－１は、球速用文字スーパー画像を二値化し、球速用二値画像を生成する。判定部２５－１は、学習済みの球速用スーパー内容判定モデルを用いて、球速用二値画像から球速用ラベルを判定する。整合部２６－１は、球速用ラベルの整合性チェックを行い、解説テキスト生成部２７－１は、整合性チェックＯＫの場合に、球速用ラベルに対応する球速の解説テキストを生成する。
【0227】
二値化部２３－２、判定部２５－２、整合部２６－２及び解説テキスト生成部２７－２は、二値化部２３－１、判定部２５－１、整合部２６－１及び解説テキスト生成部２７－１と同様の処理を行い、ボールカウント用文字スーパー画像を二値化してボールカウント用二値画像を生成し、学習済みのボールカウント用スーパー内容判定モデルを用いて、ボールカウント用二値画像からボールカウント用ラベルを判定し、ボールカウント用ラベルの整合性チェックを行い、整合性チェックＯＫの場合に、ボールカウント用ラベルに対応するボールカウントの解説テキストを生成する。
【0228】
二値化部２３－３、判定部２５－３、整合部２６－３及び解説テキスト生成部２７－３は、二値化部２３－１、判定部２５－１、整合部２６－１及び解説テキスト生成部２７－１と同様の処理を行い、打順用文字スーパー画像を二値化して打順用二値画像を生成し、学習済みの打順用スーパー内容判定モデルを用いて、打順用二値画像から打順用ラベルを判定し、打順用ラベルの整合性チェックを行い、整合性チェックＯＫの場合に、打順用ラベルに対応する打順の解説テキストを生成する。
【0229】
したがって、文字スーパーを含む映像の解説テキストを生成する際に、安定的かつ高速に文字スーパーの内容を判定することができる。
【0230】
つまり、図１に示したとおり、解説音声制作配信システム６から、解説テキストの発話データ及び音声ファイルが携帯端末５へ送信されることで、野球中継の映像に含まれる文字スーパーの内容の解説を、リアルタイムにユーザへ提供することができ、オペレータによる手動にて解説テキストを生成する負荷を低減することができる。そして、視覚障害者、及びながら視聴を行う健常者を含む多くのユーザに対し、野球中継の情報を分かりやすく伝えることができる。
【0231】
〔実験結果〕
次に、本発明の実施形態による学習装置１０及び文字スーパー判定装置２０を用いた場合の実験結果について説明する。図１７は、実験結果を示す図である。
次に、本発明の実施形態による学習装置１０及び文字スーパー判定装置２０を用いた場合の実験結果について説明する。図１７は、実験結果を示す図である。
【0232】
図１７（１）は、球速、ボールカウント及び打順の各スーパーの認識率の実験結果について、従来技術（非特許文献１，２）及び本発明の実施形態を比較する図である。従来技術（非特許文献１，２）の手法は、画像上の文字を認識するのに一般的に使用されるテッセラクトと呼ばれる光学文字認識エンジンを用いたものである。約１時間の野球中継を静止画として切り出したもの（2,235枚）を検証データとして使用した。
【0233】
図１７（１）から、本発明の実施形態の方が従来技術（非特許文献１，２）よりも、球速、ボールカウント及び打順の各スーパーの認識率が高いことがわかる。
【0234】
【0235】
図１７（２）から、１枚あたりの処理時間は、従来技術（非特許文献１，２）では１．３４秒であり、本発明の実施形態では０．２６秒であり、本発明の実施形態の方が従来技術（非特許文献１，２）よりも、処理時間が短いことがわかる。
【0236】
また、図１７（１）（２）の実験結果から、本発明の実施形態の方が、従来技術（非特許文献１，２）よりも安定的かつ高速に文字スーパーの内容を判定することができるといえる。
【0237】
【0238】
手動入力では３５球分、本発明の実施形態では２６球分について測定した。手動入力では１３球について発話に成功したが、本発明の実施形態では全球について発話に成功した。また、球速表示が１秒未満のケースでは、手動入力では全体の１／３球について発話に成功したが、本発明の実施形態では全球について発話に成功した。
【0239】
図１７（３）に示すように、球速がテレビの画面に表示されてから発話されるまでに要した平均時間は、手動入力では９．０秒、本発明の実施形態では２．８秒であり、最小時間は、手動入力では５．０秒、本発明の実施形態では１．０秒であった。
【0240】
図１７（１）～（３）の実験結果から、本発明の実施形態の方が従来技術（非特許文献１，２）及び手動入力よりも、正確かつ高速に解説音声の作成及び配信が可能であることがわかる。
【0241】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【0242】
例えば前記実施形態では、スポーツ中継番組のうち野球中継の番組の映像を対象として、学習装置１０及び文字スーパー判定装置２０について説明した。本発明は、対象とする映像を野球に限定するものではなく、野球以外の映像、例えばバレーボール、ラグビー、卓球等の球技の映像にも適用がある。また、本発明は、スポーツ中継番組だけでなく、スポーツ中継番組以外の番組にも適用がある。
【0243】
要するに、本発明は、映像に含まれる文字スーパーの内容を判定するための学習済モデルを生成し、当該学習済モデルを用いて、未知の映像に含まれる文字スーパーの内容を判定することができれば、どのような映像にも適用がある。
【0244】
また、例えば前記実施形態では、放送により野球中継の番組の映像を配信する場合について説明した。本発明は、放送だけでなく、インターネット等の様々な映像メディアサービスに対して適用がある。
【0245】
また、例えば前記実施形態では、映像に含まれる文字スーパーの数字を判定するための学習済モデルを生成し、当該学習済モデルを用いて、未知の映像に含まれる文字スーパーの数字を判定するようにした。本発明は、判定対象を文字スーパーの数字に限定するものではなく、ひらがな、漢字、カタカナ、アルファベット等の各種の文字を判定対象とするようにしてもよい。
【0246】
また、例えば前記実施形態では、学習装置１０のかさ増し部１１－１は、球速用文字スーパー画像を入力してかさ増しを行い、二値化部１２－１は、かさ増し後の球速用文字スーパー画像を入力して二値化を行うようにした。これに対し、二値化部１２－１は、かさ増し前の球速用文字スーパー画像を直接入力するようにしてもよい。ボールカウント用文字スーパー画像を処理する二値化部１２－２、及び打順用文字スーパー画像を処理する二値化部１２－３についても同様である。
【0247】
また、例えば前記実施形態では、文字スーパー判定装置２０の判定部２５－１は、球速用ラベルを整合部２６－１に出力するようにしたが、解説テキスト生成部２７－１に直接出力するようにしてもよい。この場合、解説テキスト生成部２７－１は、判定部２５－１から球速用ラベルを入力し、当該球速用ラベルに対応する球速を反映した解説テキストを生成する。ボールカウント用ラベルを処理する判定部２５－２及び解説テキスト生成部２７－２、並びに打順用ラベルを処理する判定部２５－３及び解説テキスト生成部２７－３についても同様である。
【0248】
尚、本発明の実施形態による学習装置１０及び文字スーパー判定装置２０のハードウェア構成としては、通常のコンピュータを使用することができる。学習装置１０及び文字スーパー判定装置２０は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【0249】
学習装置１０に備えたかさ増し部１１－１，１１－２，１１－３、二値化部１２－１，１２－２，１２－３、学習部１３－１，１３－２，１３－３及び記憶部１４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0250】
また、文字スーパー判定装置２０に備えた攻守判定部２１、画像切り出し部２２、二値化部２３－１，２３－２，２３－３、記憶部２４、判定部２５－１，２５－２，２５－３、整合部２６－１，２６－２，２６－３及び解説テキスト生成部２７－１，２７－２，２７－３の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0251】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【0252】
１ 解説音声制作装置
２ 情報源
３ 音声合成装置
４ 配信装置
５ 携帯端末
６ 解説音声制作配信システム
１０ 学習装置
１１－１，１１－２，１１－３ かさ増し部
１２－１，１２－２，１２－３，２３－１，２３－２，２３－３ 二値化部
１３－１，１３－２，１３－３ 学習部
１４，２４ 記憶部
２０ 文字スーパー判定装置
２１ 攻守判定部
２２ 画像切り出し部
２５－１，２５－２，２５－３ 判定部
２６－１，２６－２，２６－３ 整合部
２７－１，２７－２，２７－３ 解説テキスト生成部
ｐpre，ｐnew 攻守データ
Ｌmean 平均輝度値
θ，δ 閾値
ｋnew 球速用ラベル
Ｔ 経過時間
ｓpre，ｓnew ボールカウント（ストライク）用ラベル
ｂpre，ｂnew ボールカウント（ボール）用ラベル
ｏpre，ｏnew ボールカウント（アウト）用ラベル
ｄpre，ｄnew 打順用ラベル
２ 情報源
３ 音声合成装置
４ 配信装置
５ 携帯端末
６ 解説音声制作配信システム
１０ 学習装置
１１－１，１１－２，１１－３ かさ増し部
１２－１，１２－２，１２－３，２３－１，２３－２，２３－３ 二値化部
１３－１，１３－２，１３－３ 学習部
１４，２４ 記憶部
２０ 文字スーパー判定装置
２１ 攻守判定部
２２ 画像切り出し部
２５－１，２５－２，２５－３ 判定部
２６－１，２６－２，２６－３ 整合部
２７－１，２７－２，２７－３ 解説テキスト生成部
ｐpre，ｐnew 攻守データ
Ｌmean 平均輝度値
θ，δ 閾値
ｋnew 球速用ラベル
Ｔ 経過時間
ｓpre，ｓnew ボールカウント（ストライク）用ラベル
ｂpre，ｂnew ボールカウント（ボール）用ラベル
ｏpre，ｏnew ボールカウント（アウト）用ラベル
ｄpre，ｄnew 打順用ラベル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】