知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-05
(45)【発行日】2022-10-14
(54)【発明の名称】字幕表示装置及びそのプログラム
(51)【国際特許分類】
H04N 21/431 20110101AFI20221006BHJP
H04N 21/442 20110101ALI20221006BHJP
G09G 5/34 20060101ALI20221006BHJP
G09G 5/00 20060101ALI20221006BHJP
G09G 5/38 20060101ALI20221006BHJP
G09G 5/377 20060101ALI20221006BHJP
G09G 5/32 20060101ALI20221006BHJP
G09G 5/36 20060101ALI20221006BHJP
G06F 3/0485 20220101ALI20221006BHJP
G06F 3/01 20060101ALI20221006BHJP
【ＦＩ】
H04N21/431
H04N21/442
G09G5/34 C
G09G5/00 530M
G09G5/00 550C
G09G5/38 A
G09G5/36 520L
G09G5/00 510A
G09G5/00 550B
G09G5/00 550D
G09G5/32 610Z
G09G5/36 520P
G06F3/0485
G06F3/01 510
【請求項の数】
6
(21)【出願番号】P 2018192277
(22)【出願日】2018-10-11
(65)【公開番号】P2020061670
(43)【公開日】2020-04-16
【審査請求日】2021-09-16
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】原澤 賢充
【審査官】鈴木 順三
(56)【参考文献】
【文献】米国特許出願公開第２０１８／０２８８３９６（ＵＳ，Ａ１）
【文献】特開２０１７－１８７７１５（ＪＰ，Ａ）
【文献】特表２０１７－５１７０４５（ＪＰ，Ａ）
【文献】国際公開第２０１５／０４９９３１（ＷＯ，Ａ１）
【文献】特開２０１０－２３７５２２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００ － ２１／８５８
Ｇ０９Ｇ ５／００ － ５／４２
Ｇ０６Ｆ ３／０４８ － ３／０４８９
Ｇ０６Ｆ ３／０１
(57)【特許請求の範囲】
【請求項1】
スクロールする字幕全文のうち、人物の頭部方向に応じて移動する表示範囲の字幕を全天周映像に合成する頭部装着型の字幕表示装置であって、前記字幕全文上で視野中央位置の初期位置を算出する初期位置算出部と、
所定間隔で計測された前記頭部方向が入力され、入力された現在の前記頭部方向と前回計測時の前記頭部方向との頭部方向差分を算出する頭部方向算出部と、
前回字幕描画時から現在までの経過時間を算出する経過時間算出部と、
前回字幕描画時の視野中央位置と、前記経過時間と、予め設定された字幕移動速度と、前記頭部方向差分とに基づいて、現在の前記視野中央位置を算出する視野中央位置算出部と、
前記視野中央位置算出部が算出した現在の視野中央位置に応じた前記表示範囲の字幕が描画されている字幕画像を生成する字幕画像生成部と、
前記字幕画像生成部が生成した字幕画像と前記全天周映像との合成映像を生成する映像合成部と、を備え、
前記視野中央位置算出部は、初回字幕描画時において、前記初期位置を前記前回字幕描画時の視野中央位置として用いて、前記現在の視野中央位置を算出することを特徴とする字幕表示装置。
【請求項2】
前記視野中央位置算出部は、前記前回字幕描画時の視野中央位置ＴＣｔ－Δｔと、前記経過時間Δｔと、前記字幕移動速度ΔＴＬと、前記頭部方向差分ΔＨとが含まれる式（Ａ）を用いて、前記現在の視野中央位置ＴＣｔを算出するＴＣｔ＝ＴＣｔ－Δｔ＋Δｔ／ｔｕ×ΔＴＬ－ΔＨ …式（Ａ）
ことを特徴とする請求項１に記載の字幕表示装置。
【請求項3】
前記初期位置算出部は、前記頭部方向と字幕先頭位置との差分により前記初期位置を算出することを特徴とする請求項１又は請求項２に記載の字幕表示装置。
【請求項4】
前記視野中央位置算出部は、前記全天周映像を表示する仮想球面上で前記現在の視野中央位置を算出することを特徴とする請求項１から請求項３の何れか一項に記載の字幕表示装置。
【請求項5】
所定間隔で前記頭部方向を計測する頭部方向計測センサと、前記映像合成部が生成した合成映像を表示する映像表示部と、
をさらに備えることを特徴とする請求項１から請求項４の何れか一項に記載の字幕表示装置。
【請求項6】
コンピュータを、請求項１から請求項５の何れか一項に記載の字幕表示装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、字幕を全天周映像に合成する字幕表示装置及びそのプログラムに関する。
【背景技術】
【0002】
従来より、もっぱら字幕を表示する対象としては、平面画像（２次元画像）が想定されていた。この平面画像では、面積の制約があるため、大量の字幕を表示するには文字を小さくするか、１文字当たりの表示時間を短くする必要がある。このため、平面画像では、字幕の可読性が損なわれやすくなる。
【0003】
一方、全天周映像では、広い視野を利用することができるため、大量の字幕を表示しても、その可読性が損なわれにくくなる。例えば、特許文献１では、歪まないように文字を全天周映像に埋め込んで、その全天周映像を表示する手法が提案されている。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開２０１６／１６３３４２号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献１に記載の発明は、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）において、全天周映像の字幕表示を考慮したものではない。ここで、時間とともに字幕がスクロールすることとする。この場合、特許文献１に記載の発明では、文字を全天周映像に埋め込むために、既に画面から消えてしまった字幕を表示する巻き戻しや、未だ画面に表示されていない字幕を表示する早送りを行うことができない。
【0006】
そこで、本発明は、全天周映像の字幕を巻き戻し及び早送りできる字幕表示装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
前記した課題に鑑みて、本発明に係る字幕表示装置は、スクロールする字幕全文のうち、人物の頭部方向に応じて移動する表示範囲の字幕を全天周映像に合成する頭部装着型の字幕表示装置であって、初期位置算出部と、頭部方向算出部と、経過時間算出部と、視野中央位置算出部と、字幕画像生成部と、映像合成部と、を備える構成とした。
【0008】
かかる構成によれば、初期位置算出部は、字幕全文上で視野中央位置の初期位置を算出する。
頭部方向算出部は、所定間隔で計測された頭部方向が入力され、入力された現在の頭部方向と前回計測時の頭部方向との頭部方向差分を算出する。
経過時間算出部は、前回字幕描画時から現在までの経過時間を算出する。
頭部方向算出部は、所定間隔で計測された頭部方向が入力され、入力された現在の頭部方向と前回計測時の頭部方向との頭部方向差分を算出する。
経過時間算出部は、前回字幕描画時から現在までの経過時間を算出する。
【0009】
視野中央位置算出部は、前回字幕描画時の視野中央位置と、経過時間と、予め設定された字幕移動速度と、頭部方向差分とに基づいて、現在の視野中央位置を算出する。ここで、視野中央位置算出部は、初回字幕描画時において、初期位置を前回字幕描画時の視野中央位置として用いて、現在の視野中央位置を算出する。
【0010】
字幕画像生成部は、視野中央位置算出部が算出した現在の視野中央位置に応じた表示範囲の字幕が描画されている字幕画像を生成する。
映像合成部は、字幕画像生成部が生成した字幕画像と全天周映像との合成映像を生成する。
このように、字幕表示装置は、人物の視野に応じて移動する表示範囲の字幕を全天周映像に合成表示するので、人物が頭部方向を変えることで、字幕の巻き戻しや早送りが可能となる。
映像合成部は、字幕画像生成部が生成した字幕画像と全天周映像との合成映像を生成する。
このように、字幕表示装置は、人物の視野に応じて移動する表示範囲の字幕を全天周映像に合成表示するので、人物が頭部方向を変えることで、字幕の巻き戻しや早送りが可能となる。
【0011】
なお、本発明に係る字幕表示装置は、一般的なコンピュータを前記した各手段として協調動作させるプログラムで実現することもできる。
【発明の効果】
【0012】
本発明によれば、全天周映像の字幕を巻き戻し及び早送りできる。つまり、本発明によれば、人物が頭部方向を変えることで、既に画面から消えてしまった過去の字幕や、未だ画面に表示されていない未来の字幕を表示することができる。
【図面の簡単な説明】
【0013】
【図1A】実施形態において、全天周映像に表示されている字幕を説明する説明図である。
【図1B】実施形態において、字幕の巻き戻し表示を説明する説明図である。
【図1C】実施形態において、字幕の早送り表示を説明する説明図である。
【図3】実施形態における全天周映像システムの概略図である。
【図4】実施形態に係る字幕表示装置の外観図である。
【図6】実施形態において、視野中央位置を説明する説明図である。
【図7】実施形態において、字幕が仮想球面を２周する場合の説明図である。
【図8】実施形態において、合成映像の一例を説明する説明図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、実施形態において、同一の手段には同一の符号を付し、説明を省略した。
【0015】
（実施形態）
［全天周映像システムの概略］
図１～図３を参照し、全天周映像システム１の概略について説明する。
全天周映像では、視聴者（人物）が映像制作者の意図しない箇所を注視していることがある。このため、全天周映像では、視聴者の視野に対応した箇所に字幕を表示することで、映像制作者の意図をより反映することができる。さらに、全天周映像では、空間解像度の制限はあるものの、平面画像と比べて、より多くの文字を字幕として表示することができる。これら全天周映像の特性を利用すれば、視聴者の希望に応じて、字幕の過去部分（巻き戻し）や未来部分（早送り）を自然に表示できる。
［全天周映像システムの概略］
図１～図３を参照し、全天周映像システム１の概略について説明する。
全天周映像では、視聴者（人物）が映像制作者の意図しない箇所を注視していることがある。このため、全天周映像では、視聴者の視野に対応した箇所に字幕を表示することで、映像制作者の意図をより反映することができる。さらに、全天周映像では、空間解像度の制限はあるものの、平面画像と比べて、より多くの文字を字幕として表示することができる。これら全天周映像の特性を利用すれば、視聴者の希望に応じて、字幕の過去部分（巻き戻し）や未来部分（早送り）を自然に表示できる。
【0016】
本実施形態では、時間とともにスクロール（一方向に移動）していく字幕を対象とする。説明を簡易にするため、左から右への横書で、右方向から左方向にスクロールしていく字幕を前提とする。図１Ａの例では、「明日の東京都の天気は晴れ時々曇り、ところによってにわか雨が降るでしょう。」という横書きの字幕Ｔが右側から左側にスクロールする。
【0017】
まず、視聴者が頭部の方向を変えない場合を考える。この場合、全天周映像システム１は、全天周映像Ａの表示範囲ａと共に、右方向から左方向にスクロールする字幕Ｔを表示する。図１Ａでは、字幕Ｔ全文のうち、表示範囲ａに含まれている「東京都の天気は晴れ時々曇り、ところによってにわか雨が降る」という部分の字幕Ｔが全天周映像Ａの赤道（破線で図示）に沿って表示されている。つまり、視聴者の視野に応じて定まる表示範囲ａから外れている字幕Ｔの左右「明日の」や「でしょう。」という部分が表示されていない。
【0018】
この表示範囲ａとは、球面状の全天周映像Ａ全体のうち、後記するヘッドマウントディスプレイ（字幕表示装置）３に実際に表示される範囲のことである。つまり、視聴者は、全天周映像Ａ全体のうち、全天周映像Ａの表示範囲ａを視聴することになる。そして、視聴者が頭部の方向に変えると、それに伴って、全天周映像Ａの表示範囲ａも移動する。
【0019】
ここで、視線の移動は考慮しないものとし、頭部の向いている方向に対して視野が広がるものとする。実際には、視野として定義された領域中の任意の位置に対して視線を向けることが可能であるが、字幕を表示する対象としての視野は、前記したように頭部方向に対して固定されたものとして扱う。
【0020】
なお、図１Ａでは、表示範囲ａに含まれる字幕Ｔを実線で図示し、表示範囲ａから外れている字幕Ｔを白抜きで図示した。
また、図１Ａでは、Ｌ（正）、Ｒ（負）は、説明を分かりやすくするために図示したものであり、実際には表示されない。
また、図１Ａでは、Ｌ（正）、Ｒ（負）は、説明を分かりやすくするために図示したものであり、実際には表示されない。
【0021】
次に、視聴者が頭部を字幕Ｔの過去側（左側Ｌ）に向けた場合を考える。この場合、全天周映像システム１は、図１Ｂに示すように、図１Ａの表示範囲ａから既に消えてしまった字幕Ｔの過去側を再び表示する。図１Ｂでは、字幕Ｔ全文のうち、図１Ａの表示範囲ａから消えてしまった「明日の」を含め、「明日の東京都の天気は晴れ時々曇り、」という部分の字幕Ｔが巻き戻し表示されている。
【0022】
次に、視聴者が頭部を字幕Ｔの未来側（右側Ｒ）に向けた場合を考える。この場合、全天周映像システム１は、図１Ｃに示すように、図１Ａの表示範囲ａに未だ表示されていない字幕Ｔの未来側を表示する。図１Ｃでは、字幕Ｔ全文のうち、図１Ａの表示範囲ａに未だ表示されていない「でしょう。」を含め、「ところによってにわか雨が降るでしょう。」という部分の字幕Ｔが早送り表示されている。
なお、図１Ａ～図１Ｃにおいて、視聴者の頭部が真後を向いた場合、全天周映像Ａの表示範囲ａには字幕Ｔが表示されない。
なお、図１Ａ～図１Ｃにおいて、視聴者の頭部が真後を向いた場合、全天周映像Ａの表示範囲ａには字幕Ｔが表示されない。
【0023】
このように、全天周映像システム１では、視聴者が頭部の向きを左右に変えることで字幕Ｔを過去に遡って又は未来に向かって読むことができる。このように、全天周映像システム１では、手指等による操作を必要とせずに字幕Ｔの巻き戻しや早送りを行うことができる。
【0024】
ここで、全天周映像Ａを表示するときの仮想球面Ｂの座標系について説明する。
全天周映像Ａと字幕Ｔは、視聴者の頭部を中心Ｃとする仮想球面Ｂに貼り付けられる。この仮想球面Ｂでは、地球と同様の形式で座標を定める。図１Ａに示すように、重力方向（下方向）の頂点を南極ＰＳ、重力方向の反対方向（上方向）の頂点を北極ＰＮとする。このとき、仮想球面Ｂ上の任意の点を原点ＰＯとする。そして、北極ＰＮ、原点ＰＯ及び南極ＰＳを通過する経線（破線で図示）の経度０°とする。また、北極ＰＮと南極ＰＳとを結ぶ線に垂直で中心Ｃを含む平面が仮想球面Ｂに交わる円を緯度０°の赤道とする。仮想球面Ｂを北極ＰＮの方向から見た場合、図２に示すように、視聴者を基準として、東方向（左側Ｌ）を正、西方向（右側Ｒ）を負とする。ここでは、字幕Ｔは、仮想球面Ｂ上を反時計回りに、負方向から正方向に移動することになる。以下、仮想球面Ｂ上での位置は、経度及び緯度によって表現する。
全天周映像Ａと字幕Ｔは、視聴者の頭部を中心Ｃとする仮想球面Ｂに貼り付けられる。この仮想球面Ｂでは、地球と同様の形式で座標を定める。図１Ａに示すように、重力方向（下方向）の頂点を南極ＰＳ、重力方向の反対方向（上方向）の頂点を北極ＰＮとする。このとき、仮想球面Ｂ上の任意の点を原点ＰＯとする。そして、北極ＰＮ、原点ＰＯ及び南極ＰＳを通過する経線（破線で図示）の経度０°とする。また、北極ＰＮと南極ＰＳとを結ぶ線に垂直で中心Ｃを含む平面が仮想球面Ｂに交わる円を緯度０°の赤道とする。仮想球面Ｂを北極ＰＮの方向から見た場合、図２に示すように、視聴者を基準として、東方向（左側Ｌ）を正、西方向（右側Ｒ）を負とする。ここでは、字幕Ｔは、仮想球面Ｂ上を反時計回りに、負方向から正方向に移動することになる。以下、仮想球面Ｂ上での位置は、経度及び緯度によって表現する。
【0025】
なお、図１Ａでは、仮想球面Ｂ上において緯度０°の緯線を破線で図示した。
また、図２では、字幕Ｔの移動方向を矢印αで図示し、表示範囲ａに含まれる字幕Ｔをハッチングで図示し、表示範囲ａから外れている字幕Ｔを白抜きで図示した。また、図２の視野中央位置ＴＣについては後記する。
また、図２では、字幕Ｔの移動方向を矢印αで図示し、表示範囲ａに含まれる字幕Ｔをハッチングで図示し、表示範囲ａから外れている字幕Ｔを白抜きで図示した。また、図２の視野中央位置ＴＣについては後記する。
【0026】
［全天周映像システムの全体構成］
図３に示すように、全天周映像システム１は、映像記憶装置２と、ヘッドマウントディスプレイ（字幕表示装置）３とを備える。以後、「ヘッドマウントディスプレイ」を「ＨＭＤ」と略記する場合がある。
映像記憶装置２は、ＨＭＤ３で表示する全天周映像を記憶する一般的なコンピュータである。また、映像記憶装置２は、字幕の合成表示に必要な各種情報（後記する初期情報、字幕情報、ディスプレイ情報）を記憶する。本実施形態では、映像記憶装置２は、任意の伝送手段（例えば、無線通信）を用いて、全天周映像及び各種情報をＨＭＤ３に送信する。
図３に示すように、全天周映像システム１は、映像記憶装置２と、ヘッドマウントディスプレイ（字幕表示装置）３とを備える。以後、「ヘッドマウントディスプレイ」を「ＨＭＤ」と略記する場合がある。
映像記憶装置２は、ＨＭＤ３で表示する全天周映像を記憶する一般的なコンピュータである。また、映像記憶装置２は、字幕の合成表示に必要な各種情報（後記する初期情報、字幕情報、ディスプレイ情報）を記憶する。本実施形態では、映像記憶装置２は、任意の伝送手段（例えば、無線通信）を用いて、全天周映像及び各種情報をＨＭＤ３に送信する。
【0027】
ＨＭＤ３は、視聴者の頭部に装着される頭部装着型映像表示装置であり、映像記憶装置２からの全天周映像と字幕とを合成表示するものである。図４に示すように、ＨＭＤ３は、本体部３ａと、ベルト部３ｂとで構成される。本体部３ａは、プラスティック等の素材をゴーグル状に形成したケースであり、そのケース内部に演算装置３ｃ、頭部方向計測部３２及び映像表示部４３を収容する。ベルト部３ｂは、本体部３ａを視聴者の眼前に保持するベルトである。
【0028】
［ＨＭＤの構成］
図５を参照し、ＨＭＤ３の構成について説明する。
図５に示すように、ＨＭＤ３は、初期情報入力部３０と、初期位置算出部３１と、頭部方向計測部（頭部方向計測センサ）３２と、頭部方向算出部３３と、時間計測部３４と、経過時間算出部３５と、表示更新命令部３６と、字幕情報入力部３７と、視野中央位置算出部３８と、ディスプレイ情報入力部３９と、字幕レンダリング部（字幕画像生成部）４０と、全天周映像入力部４１と、映像統合部（映像合成部）４２と、映像表示部４３とを備える。
なお、頭部方向計測部３２及び映像表示部４３を除いたＨＭＤ３の各手段が、図３の演算装置３ｃに対応する。
図５を参照し、ＨＭＤ３の構成について説明する。
図５に示すように、ＨＭＤ３は、初期情報入力部３０と、初期位置算出部３１と、頭部方向計測部（頭部方向計測センサ）３２と、頭部方向算出部３３と、時間計測部３４と、経過時間算出部３５と、表示更新命令部３６と、字幕情報入力部３７と、視野中央位置算出部３８と、ディスプレイ情報入力部３９と、字幕レンダリング部（字幕画像生成部）４０と、全天周映像入力部４１と、映像統合部（映像合成部）４２と、映像表示部４３とを備える。
なお、頭部方向計測部３２及び映像表示部４３を除いたＨＭＤ３の各手段が、図３の演算装置３ｃに対応する。
【0029】
初期情報入力部３０は、例えば映像記憶装置２から、視野中央位置の初期位置の算出に必要な初期情報（ｘ・Ｒ又はｘｒ）が入力されるものである。そして、初期情報入力部３０は、入力された初期情報を初期位置算出部３１に出力する。
【0030】
初期位置算出部３１は、初期情報入力部３０からの初期情報を参照し、字幕全文上で視野中央位置の初期位置ＴＣ０を算出するものである。ここで、初期位置算出部３１は、頭部方向と字幕先頭位置との差分により、仮想球面Ｂ上で視野中央位置の初期位置ＴＣ０を算出する。そして、初期位置算出部３１は、算出した視野中央位置の初期位置ＴＣ０を視野中央位置算出部３８に出力する。
【0031】
＜視野中央位置＞
以下、視野中央位置の初期位置ＴＣ０の前提として、視野中央位置ＴＣについて説明する（適宜図２参照）。なお、視野中央位置の初期位置ＴＣ０とは、視野中央位置ＴＣの初期値のことである。
視野中央位置ＴＣとは、図６に示すように、字幕Ｔの先頭ＴＴＯＰから、視聴者の視野の中央が字幕Ｔの何処に位置するのかを表す情報である。ここで、字幕Ｔの先頭ＴＴＯＰは、表示範囲ａに含まれない部分も含め、字幕Ｔ全文の先頭（字幕Ｔの左端）を指す。
以下、視野中央位置の初期位置ＴＣ０の前提として、視野中央位置ＴＣについて説明する（適宜図２参照）。なお、視野中央位置の初期位置ＴＣ０とは、視野中央位置ＴＣの初期値のことである。
視野中央位置ＴＣとは、図６に示すように、字幕Ｔの先頭ＴＴＯＰから、視聴者の視野の中央が字幕Ｔの何処に位置するのかを表す情報である。ここで、字幕Ｔの先頭ＴＴＯＰは、表示範囲ａに含まれない部分も含め、字幕Ｔ全文の先頭（字幕Ｔの左端）を指す。
【0032】
この視野中央位置ＴＣは、字幕Ｔの先頭ＴＴＯＰからの相対的な値であり、字幕Ｔの先頭ＴＴＯＰからテキストの末尾に向かって正の値をとる。
例えば、字幕Ｔの先頭ＴＴＯＰが視野中央に位置する場合（視聴者が字幕Ｔの先頭ＴＴＯＰを見ている場合）、視野中央位置ＴＣは０となる。
また、例えば、字幕Ｔが１００文字であり、字幕Ｔの１文字の大きさが仮想球面Ｂ上で経度１°の範囲に相当する場合を考える。視聴者の頭部が字幕Ｔの２０文字目の方向を向いているとき、視聴者の視野中央には２０文字目の中央が位置する。字幕Ｔの先頭文字の左端位置が０なので、０．５文字分の大きさを引いて、視野中央位置ＴＣ＝２０×１－０．５となる。
このように、視野中央位置ＴＣは、字幕Ｔをレンダリングして仮想球面Ｂに貼り付けたとき、視野中央に位置する部分が、字幕Ｔの先頭ＴＴＯＰから何処にあるかを表している。
例えば、字幕Ｔの先頭ＴＴＯＰが視野中央に位置する場合（視聴者が字幕Ｔの先頭ＴＴＯＰを見ている場合）、視野中央位置ＴＣは０となる。
また、例えば、字幕Ｔが１００文字であり、字幕Ｔの１文字の大きさが仮想球面Ｂ上で経度１°の範囲に相当する場合を考える。視聴者の頭部が字幕Ｔの２０文字目の方向を向いているとき、視聴者の視野中央には２０文字目の中央が位置する。字幕Ｔの先頭文字の左端位置が０なので、０．５文字分の大きさを引いて、視野中央位置ＴＣ＝２０×１－０．５となる。
このように、視野中央位置ＴＣは、字幕Ｔをレンダリングして仮想球面Ｂに貼り付けたとき、視野中央に位置する部分が、字幕Ｔの先頭ＴＴＯＰから何処にあるかを表している。
【0033】
＜第１例：頭部方向と無関係に字幕先頭位置を定義する場合＞
以下、初期位置算出部３１が視野中央位置の初期位置ＴＣ０を算出する２つの方法を説明する。
仮想球面Ｂ上の任意位置をｘとした場合、字幕先頭位置の初期位置ＴＬ０は、下記の式（１－１）で表される。このとき、視野中央位置の初期位置ＴＣ０は、後記する頭部方向の初期値Ｈ０が含まれる下記の式（１－２）で表される。
ＴＬ０＝ｘ …式（１－１）
ＴＣ０＝ｘ－Ｈ０＋３６０・Ｒ …式（１－２）
以下、初期位置算出部３１が視野中央位置の初期位置ＴＣ０を算出する２つの方法を説明する。
仮想球面Ｂ上の任意位置をｘとした場合、字幕先頭位置の初期位置ＴＬ０は、下記の式（１－１）で表される。このとき、視野中央位置の初期位置ＴＣ０は、後記する頭部方向の初期値Ｈ０が含まれる下記の式（１－２）で表される。
ＴＬ０＝ｘ …式（１－１）
ＴＣ０＝ｘ－Ｈ０＋３６０・Ｒ …式（１－２）
【0034】
ここで、式（１－２）の定数Ｒについて説明する。図７に示すように、字幕Ｔの全長が、緯度０°における仮想球面Ｂの断面の円周よりも長い場合がある。つまり、字幕Ｔが仮想球面Ｂを２周以上する場合がある。この場合、定数Ｒは、視野中央位置の初期位置ＴＣ０が仮想球面Ｂの何周目にあるのかを表す整数である（但し、Ｒ≧０）。この場合、視野中央位置の初期位置ＴＣ０は、Ｒ＝０の場合に１週目（０°～３６０°の範囲）となり、Ｒ＝１の場合に２週目（３６０°～７２０°の範囲）となる。この定数Ｒについては、３周目以降も同様である。
【0035】
＜第２例：頭部方向との相対関係で字幕先頭位置を定義する場合＞
頭部方向との字幕先頭の相対的な位置関係をｘｒとした場合、字幕先頭位置の初期位置ＴＬ０は、下記の式（２－１）で表される。このとき、視野中央位置の初期位置ＴＣ０は、下記の式（２－２）で表される。
ＴＬ０＝Ｈ０＋ｘｒ …式（２－１）
ＴＣ０＝－ｘｒ …式（２－２）
頭部方向との字幕先頭の相対的な位置関係をｘｒとした場合、字幕先頭位置の初期位置ＴＬ０は、下記の式（２－１）で表される。このとき、視野中央位置の初期位置ＴＣ０は、下記の式（２－２）で表される。
ＴＬ０＝Ｈ０＋ｘｒ …式（２－１）
ＴＣ０＝－ｘｒ …式（２－２）
【0036】
結局のところ、第１例及び第２例とも、頭部方向と字幕先頭位置との相対位置（差分）から視野中央位置の初期位置ＴＣ０を求めている。また、第１例及び第２例の何れを採用するかは任意であり、映像演出を考慮して採用できる。例えば、仮想球面Ｂに対して字幕先頭位置の初期位置ＴＬ０を決定する場合、第１例を採用すればよい。また、視聴者の頭部方向に対して字幕先頭位置の初期位置ＴＬ０を相対的に決定する場合、第２例を採用すればよい。
なお、第１例及び第２例では、説明を簡易にするため、字幕先頭位置の初期位置ＴＬ０を定義したものである。実際には、初期位置算出部３１は、視野中央位置の初期位置ＴＣ０のみを算出すればよく、式（１－１）及び式（２－１）を用いて、字幕先頭位置の初期位置ＴＬ０を求める必要がない。
なお、第１例及び第２例では、説明を簡易にするため、字幕先頭位置の初期位置ＴＬ０を定義したものである。実際には、初期位置算出部３１は、視野中央位置の初期位置ＴＣ０のみを算出すればよく、式（１－１）及び式（２－１）を用いて、字幕先頭位置の初期位置ＴＬ０を求める必要がない。
【0037】
図５に戻り、ＨＭＤ３の構成について説明を続ける。
頭部方向計測部３２は、視聴者の頭部方向を計測するものである。本実施形態では、頭部方向計測部３２は、後記する表示更新命令部３６が表示更新命令を発する毎、視聴者の頭部方向を計測する。この頭部方向計測部３２は、仮想球面Ｂ上で頭部方向（経度）を計測できるものであればよく、例えば、３軸で頭部方向を計測するジャイロセンサである。
初回字幕描画時、頭部方向計測部３２は、計測した頭部方向を頭部方向の初期値Ｈ０として、初期位置算出部３１に出力する。２回目以降の字幕描画時、頭部方向計測部３２は、計測した頭部方向Ｈを頭部方向算出部３３に出力する。
頭部方向計測部３２は、視聴者の頭部方向を計測するものである。本実施形態では、頭部方向計測部３２は、後記する表示更新命令部３６が表示更新命令を発する毎、視聴者の頭部方向を計測する。この頭部方向計測部３２は、仮想球面Ｂ上で頭部方向（経度）を計測できるものであればよく、例えば、３軸で頭部方向を計測するジャイロセンサである。
初回字幕描画時、頭部方向計測部３２は、計測した頭部方向を頭部方向の初期値Ｈ０として、初期位置算出部３１に出力する。２回目以降の字幕描画時、頭部方向計測部３２は、計測した頭部方向Ｈを頭部方向算出部３３に出力する。
【0038】
なお、初回字幕描画時とは、全天周映像に最初に字幕を描画するときのことである。例えば、新たなシーンに全天周映像が切り替わり、そのシーンに対応した字幕を最初に描画するとき、初回字幕描画時となる。
また、２回目以降の字幕描画時とは、既に字幕が表示されている全天周映像の字幕を更新するときのことである。従って、２回目以降の字幕描画時において、１回前に字幕を描画したときが前回字幕描画時となる。
また、２回目以降の字幕描画時とは、既に字幕が表示されている全天周映像の字幕を更新するときのことである。従って、２回目以降の字幕描画時において、１回前に字幕を描画したときが前回字幕描画時となる。
【0039】
頭部方向算出部３３は、頭部方向計測部３２から入力された現在の頭部方向Ｈｔと、頭部方向記憶部（不図示）に記憶されている前回計測時の頭部方向Ｈｔ-１との差分を、頭部方向差分ΔＨとして算出するものである。そして、頭部方向算出部３３は、算出した頭部方向差分ΔＨを視野中央位置算出部３８に出力する。さらに、頭部方向算出部３３は、入力された現在の頭部方向Ｈｔを、次回演算時の頭部方向Ｈｔ-１として用いるために頭部方向記憶部に記憶する。
なお、添え字ｔは、後記する経過時間のことである。
なお、添え字ｔは、後記する経過時間のことである。
【0040】
時間計測部３４は、初回字幕描画時からの経過時間ｔを計測するものである。本実施形態では、時間計測部３４は、初回字幕描画時、及び、表示更新命令部３６が表示更新命令を発する毎に、経過時間ｔを計測する。そして、時間計測部３４は、計測した経過時間ｔを経過時間算出部３５に出力する。
【0041】
経過時間算出部３５は、前回字幕描画時から現在までの経過時間Δｔを算出するものである。すなわち、経過時間算出部３５は、時間計測部３４から入力された経過時間ｔと、経過時間記憶部（不図示）に記憶されている経過時間ｔ－１との差分を経過時間Δｔとして算出する。つまり、経過時間Δｔは、前回字幕を描画してから今回字幕を描画するまでの字幕の更新間隔を表す。そして、経過時間算出部３５は、算出した経過時間Δｔを視野中央位置算出部３８に出力する。さらに、経過時間算出部３５は、入力された経過時間ｔを、次回演算時の経過時間ｔ－１として用いるために経過時間記憶部に書き込む。
【0042】
表示更新命令部３６は、字幕を更新する必要があるときに、頭部方向計測部３２及び時間計測部３４に表示更新命令を発するものである。ここで、表示更新命令部３６は、全天周映像を構成する各フレーム画像の更新に合わせて、表示更新命令を発する。例えば、表示更新命令部３６は、全天周映像のフレーム周期が１／６０秒の場合、表示更新命令を１／６０間隔で発する。
【0043】
字幕情報入力部３７は、例えば映像記憶装置２から、字幕の描画に関連する字幕情報が入力されるものである。この字幕情報には、単位時間当たりの字幕移動量（字幕移動速度）ΔＴＬ、字幕本文、字形、字間、緯度で表された字幕表示位置が含まれる。
ここで、字幕情報入力部３７は、字幕情報のうち、字幕移動量ΔＴＬを視野中央位置算出部３８に出力する。また、字幕情報入力部３７は、字幕情報のうち、字幕本文、字形、字間及び字幕表示位置を、字幕レンダリング部４０に出力する。
ここで、字幕情報入力部３７は、字幕情報のうち、字幕移動量ΔＴＬを視野中央位置算出部３８に出力する。また、字幕情報入力部３７は、字幕情報のうち、字幕本文、字形、字間及び字幕表示位置を、字幕レンダリング部４０に出力する。
【0044】
視野中央位置算出部３８は、前回字幕描画時の視野中央位置ＴＣｔ－Δｔと、経過時間算出部３５からの経過時間Δｔと、字幕情報入力部３７からの字幕移動量ΔＴＬと、頭部方向算出部３３からの頭部方向差分ΔＨとに基づいて、現在の視野中央位置ＴＣｔを算出するものである。
【0045】
＜視野中央位置の算出＞
以下、視野中央位置算出部３８による視野中央位置の算出を詳細に説明する。
経過時間Δｔのとき、字幕の先頭位置ＴＬは、下記の式（３－１）で表される。このとき、現在の視野中央位置ＴＣｔは、下記の式（３－２）で表される。つまり、視野中央位置算出部３８は、式（３－２）を用いて、現在の視野中央位置ＴＣｔを仮想球面Ｂ上で算出する。なお、ｔｕは、字幕を表示するときの単位時間を表す。
ＴＬ＝ＴＬ０＋ｔ／ｔｕ×ΔＴＬ …式（３－１）
ＴＣｔ＝ＴＣｔ－Δｔ＋Δｔ／ｔｕ×ΔＴＬ－ΔＨ …式（３－２）
以下、視野中央位置算出部３８による視野中央位置の算出を詳細に説明する。
経過時間Δｔのとき、字幕の先頭位置ＴＬは、下記の式（３－１）で表される。このとき、現在の視野中央位置ＴＣｔは、下記の式（３－２）で表される。つまり、視野中央位置算出部３８は、式（３－２）を用いて、現在の視野中央位置ＴＣｔを仮想球面Ｂ上で算出する。なお、ｔｕは、字幕を表示するときの単位時間を表す。
ＴＬ＝ＴＬ０＋ｔ／ｔｕ×ΔＴＬ …式（３－１）
ＴＣｔ＝ＴＣｔ－Δｔ＋Δｔ／ｔｕ×ΔＴＬ－ΔＨ …式（３－２）
【0046】
視野中央位置算出部３８は、初回字幕描画時、式（３－２）において、初期位置算出部３１から入力された視野中央位置の初期位置ＴＣ０を、前回字幕描画時の視野中央位置ＴＣｔ－Δｔとして用いる。そして、視野中央位置算出部３８は、式（３－２）で算出した現在の視野中央位置ＴＣｔを字幕レンダリング部４０に出力する。さらに、視野中央位置算出部３８は、次回演算時の視野中央位置ＴＣｔ－Δｔとして、算出した現在の視野中央位置ＴＣｔを視野中央位置記憶部（不図示）に書き込む。
【0047】
また、視野中央位置算出部３８は、２回目以降の字幕描画時、視野中央位置記憶部に記憶されている視野中央位置ＴＣｔを、前回字幕描画時の視野中央位置ＴＣｔ－Δｔとして用いる。他の点、初回字幕描画時の計算処理と同様のため、説明を省略する。
なお、説明を簡易にするため、字幕の先頭位置ＴＬを定義したものである。実際には、視野中央位置算出部３８は、現在の視野中央位置ＴＣｔのみを算出すればよく、式（３－１）を用いて、字幕の先頭位置ＴＬを求める必要がない。
なお、説明を簡易にするため、字幕の先頭位置ＴＬを定義したものである。実際には、視野中央位置算出部３８は、現在の視野中央位置ＴＣｔのみを算出すればよく、式（３－１）を用いて、字幕の先頭位置ＴＬを求める必要がない。
【0048】
ディスプレイ情報入力部３９は、例えば映像記憶装置２から、字幕を表示する映像表示部４３に関連するディスプレイ情報が入力されるものである。このディスプレイ情報には、映像表示部４３の解像度、及び、表示範囲情報が含まれる。この表示範囲情報は、表示範囲ａのサイズを緯度及び経度で表した情報である。
ディスプレイ情報入力部３９は、入力されたディスプレイ情報を字幕レンダリング部４０に出力する。
ディスプレイ情報入力部３９は、入力されたディスプレイ情報を字幕レンダリング部４０に出力する。
【0049】
字幕レンダリング部４０は、字幕全体のうち、現在の視野中央位置ＴＣｔに応じた表示範囲の字幕が描画されている字幕画像を生成するものである。
この字幕レンダリング部４０は、字幕情報入力部３７から字幕情報が入力され、視野中央位置算出部３８から現在の視野中央位置ＴＣｔが入力され、ディスプレイ情報入力部３９からディスプレイ情報が入力される。そして、字幕レンダリング部４０は、入力された字幕情報、現在の視野中央位置ＴＣｔ及びディスプレイ情報に基づいて、表示範囲の字幕をレンダリングする。
この字幕レンダリング部４０は、字幕情報入力部３７から字幕情報が入力され、視野中央位置算出部３８から現在の視野中央位置ＴＣｔが入力され、ディスプレイ情報入力部３９からディスプレイ情報が入力される。そして、字幕レンダリング部４０は、入力された字幕情報、現在の視野中央位置ＴＣｔ及びディスプレイ情報に基づいて、表示範囲の字幕をレンダリングする。
【0050】
ここで、字幕レンダリング部４０は、一般的な手法で字幕をレンダリングできる。以下、字幕のレンダリング手法の一例を説明する。まず、字幕レンダリング部４０は、字形、字間及び表示範囲情報から、全天周映像の表示範囲に含まれる字幕が何文字分に相当するか算出し、算出した文字数の１／２を文字数ＷＨとする。次に、字幕レンダリング部４０は、字形、字間及び表示範囲情報から、現在の視野中央位置ＴＣｔが字幕で何文字目にあたるかを算出し、これを文字数ＣＣとする。すると、字幕全文のうち、表示範囲に含まれる字幕は、ＣＣ－ＷＨ文字目からＣＣ＋ＷＨ文字目までとなる。そこで、字幕レンダリング部４０は、ＣＣ－ＷＨ文字目からＣＣ＋ＷＨ文字目までの字幕を字幕画像として、字幕表示位置にレンダリングする。
字幕レンダリング部４０は、生成した字幕画像を映像統合部４２に出力する。
字幕レンダリング部４０は、生成した字幕画像を映像統合部４２に出力する。
【0051】
全天周映像入力部４１は、例えば、無線通信により、映像記憶装置２から全天周映像が入力されるものである。そして、全天周映像入力部４１は、入力された全天周映像を映像統合部４２に出力する。
【0052】
映像統合部４２は、字幕レンダリング部４０から入力された字幕画像と、全天周映像入力部４１から入力された全天周映像とを統合するものである。本実施形態では、映像統合部４２は、一般的な手法により統合を行い、その統合映像を映像表示部４３に出力する。
【0053】
映像表示部４３は、映像統合部４２からの統合映像を表示するディスプレイである。例えば、映像表示部４３は、図８に示すように、風景の全天周映像Ａに天気予報を内容とする字幕Ｔが統合されている統合映像を表示する。
【0054】
［ＨＭＤの動作］
図９を参照し、ＨＭＤ３の動作について説明する。
図９に示すように、初期位置算出部３１は、初期情報入力部３０からの初期情報を参照し、視野中央位置の初期位置ＴＣ０を算出する（ステップＳ１）。
頭部方向算出部３３は、頭部方向計測部３２が計測した現在の頭部方向Ｈｔと前回計測時の頭部方向Ｈｔ-１との差分を、頭部方向差分ΔＨとして算出する（ステップＳ２）。
図９を参照し、ＨＭＤ３の動作について説明する。
図９に示すように、初期位置算出部３１は、初期情報入力部３０からの初期情報を参照し、視野中央位置の初期位置ＴＣ０を算出する（ステップＳ１）。
頭部方向算出部３３は、頭部方向計測部３２が計測した現在の頭部方向Ｈｔと前回計測時の頭部方向Ｈｔ-１との差分を、頭部方向差分ΔＨとして算出する（ステップＳ２）。
【0055】
視野中央位置算出部３８は、前回字幕描画時の視野中央位置ＴＣｔ－Δｔと、経過時間Δｔと、字幕移動量ΔＴＬと、ステップＳ２で算出した頭部方向差分ΔＨとに基づいて、前記した式（３－２）により現在の視野中央位置ＴＣｔを算出する。ここで、初回字幕描画時、視野中央位置算出部３８は、ステップＳ１で算出した視野中央位置の初期位置ＴＣ０を、前回字幕描画時の視野中央位置ＴＣｔ－Δｔとして用いる（ステップＳ３）。
字幕レンダリング部４０は、ステップＳ３で算出した視野中央位置ＴＣｔに応じた表示範囲の字幕が描画されている字幕画像を生成する（ステップＳ４）。
字幕レンダリング部４０は、ステップＳ３で算出した視野中央位置ＴＣｔに応じた表示範囲の字幕が描画されている字幕画像を生成する（ステップＳ４）。
【0056】
全天周映像入力部４１は、全天周映像が入力される（ステップＳ５）。
映像統合部４２は、ステップＳ４で生成した字幕画像と、ステップＳ５で入力された全天周映像とを統合する（ステップＳ６）。
映像表示部４３は、ステップＳ６で統合した統合映像を表示する（ステップＳ７）。
このように、ＨＭＤ３の処理は、字幕のレンダリング（ステップＳ１～ステップＳ４）と、字幕の統合表示（ステップＳ５～Ｓ７）に分かれる。
映像統合部４２は、ステップＳ４で生成した字幕画像と、ステップＳ５で入力された全天周映像とを統合する（ステップＳ６）。
映像表示部４３は、ステップＳ６で統合した統合映像を表示する（ステップＳ７）。
このように、ＨＭＤ３の処理は、字幕のレンダリング（ステップＳ１～ステップＳ４）と、字幕の統合表示（ステップＳ５～Ｓ７）に分かれる。
【0057】
［作用・効果］
ＨＭＤ３は、視聴者の視野に応じた表示範囲の字幕を全天周映像に合成表示するので、視聴者が頭部方向を変えることで、字幕の巻き戻しや早送りが可能となる。つまり、ＨＭＤ３は、視聴者が頭部方向を変えることで、既に映像表示部４３から消えてしまった過去の字幕や、未だ映像表示部４３に表示されていない未来の字幕を表示することができる。
ＨＭＤ３は、視聴者の視野に応じた表示範囲の字幕を全天周映像に合成表示するので、視聴者が頭部方向を変えることで、字幕の巻き戻しや早送りが可能となる。つまり、ＨＭＤ３は、視聴者が頭部方向を変えることで、既に映像表示部４３から消えてしまった過去の字幕や、未だ映像表示部４３に表示されていない未来の字幕を表示することができる。
【0058】
さらに、ＨＭＤ３は、頭部方向差分ΔＨと前回字幕描画時の視野中央位置ＴＣｔ－Δｔの差分によって、字幕の表示範囲を逐次更新する。これにより、ＨＭＤ３は、字幕が仮想球面を２周以上する場合でも、正しい表示範囲で字幕を表示できる。仮に、字幕の先頭位置と頭部方向の差分だけで字幕の表示範囲を決定した場合、仮想球面を２周以上する長い字幕を正しく表示することができない。
【0059】
（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
仮想球面上では、緯度により表示範囲が変化することから、ＨＭＤは、この変化を考慮して字幕を表示してもよい。
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
仮想球面上では、緯度により表示範囲が変化することから、ＨＭＤは、この変化を考慮して字幕を表示してもよい。
【0060】
前記した実施形態では、日本語や英語の字幕のように、左から右への横書で右方向から左方向にスクロールする字幕を例示したが、これに限定されない。つまり、ＨＭＤは、アラビア語のように、右から左への横書で左方向から右方向にスクロールする字幕にも対応できる。
【0061】
前記した実施形態では、常に字幕の巻き戻しや早送りを行うこととして説明したが、巻き戻しや早送りを意図せずに視聴者が視野を変えることもある。そこで、視聴者が巻き戻し及び早送りの要否をＨＭＤに通知する手段を設けてもよい。例えば、視聴者がボタンを押している間のみ、ＨＭＤは、字幕の巻き戻しや早送りを行う。
【0062】
前記した実施形態では、視聴者の頭部が傾いていないこととして説明したが、実際には、視聴者の頭部が傾いていることもある。この場合、ＨＭＤは、視聴者の頭部の傾きに合せて字幕を傾けて表示してもよい。一方、ＨＭＤは、視聴者の頭部の傾きを考慮せずに、常に字幕を水平に表示してもよい。
【0063】
前記した実施形態では、字幕表示装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した字幕表示装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0064】
１ 全天周映像システム
２ 映像記憶装置
３ ＨＭＤ（字幕表示装置）
３ａ 本体部
３ｂ ベルト部
３ｃ 演算装置
３０ 初期情報入力部
３１ 初期位置算出部
３２ 頭部方向計測部（頭部方向計測センサ）
３３ 頭部方向算出部
３４ 時間計測部
３５ 経過時間算出部
３６ 表示更新命令部
３７ 字幕情報入力部
３８ 視野中央位置算出部
３９ ディスプレイ情報入力部
４０ 字幕レンダリング部（字幕画像生成部）
４１ 全天周映像入力部
４２ 映像統合部（映像合成部）
４３ 映像表示部
Ａ 全天周映像
Ｂ 仮想球面
Ｃ 中心
ａ 表示範囲
ＰＮ 北極
ＰＯ 原点
ＰＳ 南極
Ｔ 字幕
α 移動方向
２ 映像記憶装置
３ ＨＭＤ（字幕表示装置）
３ａ 本体部
３ｂ ベルト部
３ｃ 演算装置
３０ 初期情報入力部
３１ 初期位置算出部
３２ 頭部方向計測部（頭部方向計測センサ）
３３ 頭部方向算出部
３４ 時間計測部
３５ 経過時間算出部
３６ 表示更新命令部
３７ 字幕情報入力部
３８ 視野中央位置算出部
３９ ディスプレイ情報入力部
４０ 字幕レンダリング部（字幕画像生成部）
４１ 全天周映像入力部
４２ 映像統合部（映像合成部）
４３ 映像表示部
Ａ 全天周映像
Ｂ 仮想球面
Ｃ 中心
ａ 表示範囲
ＰＮ 北極
ＰＯ 原点
ＰＳ 南極
Ｔ 字幕
α 移動方向
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】