知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024017904
(43)【公開日】2024-02-08
(54)【発明の名称】触覚提示装置、自己速度推定装置及びプログラム
(51)【国際特許分類】
H04N 21/41 20110101AFI20240201BHJP
【ＦＩ】
H04N21/41
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022120856
(22)【出願日】2022-07-28
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100121119
【弁理士】
【氏名又は名称】花村 泰伸
(72)【発明者】
【氏名】佐々木 桃子
(72)【発明者】
【氏名】高橋 正樹
(72)【発明者】
【氏名】望月 貴裕
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164GA07
5C164PA31
5C164PA41
5C164UA51P
5C164UB02S
5C164UB08S
5C164UB41S
5C164YA21
(57)【要約】
【課題】視聴者が一人称視点映像を視聴する際に、没入感向上に寄与する触覚刺激を提示するための情報を生成する。
【解決手段】触覚提示装置１の自己速度推定部１１は、一人称視点映像Ｅをサンプリングして複数のフレームを取得し、所定の物体をマスクしたマスク画像を生成し、ＮＮ３１を用いて、所定数のフレーム及びこれに対応する同じ数のマスク画像に基づき、並進ベクトルを推定し、自己速度ｖを推定する。音量制御部１２は、全てのフレームの自己速度ｖから最大速度ｖmaxを抽出し、一人称視点映像Ｅから低周波音声信号Ｓを抽出し、自己速度ｖが所定の閾値以下の場合、最大速度ｖmax及び自己速度ｖに基づき、当該自己速度ｖのフレームに対応する低周波音声信号Ｓの音量Ａを下げることで、新たな低周波音声信号Ｓ’を生成する。触覚提示部１３は、低周波音声信号Ｓ’を触覚デバイス７へ出力する。
【選択図】図１
【解決手段】触覚提示装置１の自己速度推定部１１は、一人称視点映像Ｅをサンプリングして複数のフレームを取得し、所定の物体をマスクしたマスク画像を生成し、ＮＮ３１を用いて、所定数のフレーム及びこれに対応する同じ数のマスク画像に基づき、並進ベクトルを推定し、自己速度ｖを推定する。音量制御部１２は、全てのフレームの自己速度ｖから最大速度ｖmaxを抽出し、一人称視点映像Ｅから低周波音声信号Ｓを抽出し、自己速度ｖが所定の閾値以下の場合、最大速度ｖmax及び自己速度ｖに基づき、当該自己速度ｖのフレームに対応する低周波音声信号Ｓの音量Ａを下げることで、新たな低周波音声信号Ｓ’を生成する。触覚提示部１３は、低周波音声信号Ｓ’を触覚デバイス７へ出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
カメラの位置を視聴者の位置として前記カメラが移動することで撮影された一人称視点映像を入力し、前記一人称視点映像から低周波音声信号を抽出し、前記低周波音声信号に基づいて、前記視聴者に対し触覚デバイスを介して触覚刺激を提示するための情報を生成する触覚提示装置において、
前記一人称視点映像に含まれる時系列の複数のフレームのそれぞれについて、当該フレームにおける前記視聴者の移動速度を自己速度とし、当該フレームにおける前記自己速度が予め設定されているとして、
前記一人称視点映像から前記低周波音声信号を抽出し、前記フレームにおける前記自己速度が所定の閾値以下の場合、前記フレームに対応する前記低周波音声信号の音量を下げる音量制御部と、
前記音量制御部により前記音量が下げられた前記低周波音声信号を、前記触覚デバイスへ出力する触覚提示部と、
を備えたことを特徴とする触覚提示装置。
前記一人称視点映像に含まれる時系列の複数のフレームのそれぞれについて、当該フレームにおける前記視聴者の移動速度を自己速度とし、当該フレームにおける前記自己速度が予め設定されているとして、
前記一人称視点映像から前記低周波音声信号を抽出し、前記フレームにおける前記自己速度が所定の閾値以下の場合、前記フレームに対応する前記低周波音声信号の音量を下げる音量制御部と、
前記音量制御部により前記音量が下げられた前記低周波音声信号を、前記触覚デバイスへ出力する触覚提示部と、
を備えたことを特徴とする触覚提示装置。
【請求項2】
カメラの位置を視聴者の位置として前記カメラが移動することで撮影された一人称視点映像を入力し、前記一人称視点映像から低周波音声信号を抽出し、前記低周波音声信号に基づいて、前記視聴者に対し触覚デバイスを介して触覚刺激を提示するための情報を生成する触覚提示装置において、
前記一人称視点映像に含まれる時系列の複数のフレームのそれぞれについて、当該フレームにおける前記視聴者の移動速度を自己速度として、
前記複数のフレームのそれぞれについて、所定の物体をマスクしたマスク画像を生成し、所定のＮＮ（ニューラルネットワーク）を用いて、連続する所定数のフレーム及び前記所定数のフレームに対応する同じ数のマスク画像に基づき、前記一人称視点映像における前記視聴者の並進ベクトルを推定し、前記並進ベクトルに基づいて、前記フレームにおける前記自己速度を算出する自己速度推定部と、
前記一人称視点映像から前記低周波音声信号を抽出し、前記自己速度推定部により算出された前記フレームにおける前記自己速度が所定の閾値以下の場合、前記フレームに対応する前記低周波音声信号の音量を下げる音量制御部と、
前記音量制御部により前記音量が下げられた前記低周波音声信号を、前記触覚デバイスへ出力する触覚提示部と、
を備えたことを特徴とする触覚提示装置。
前記一人称視点映像に含まれる時系列の複数のフレームのそれぞれについて、当該フレームにおける前記視聴者の移動速度を自己速度として、
前記複数のフレームのそれぞれについて、所定の物体をマスクしたマスク画像を生成し、所定のＮＮ（ニューラルネットワーク）を用いて、連続する所定数のフレーム及び前記所定数のフレームに対応する同じ数のマスク画像に基づき、前記一人称視点映像における前記視聴者の並進ベクトルを推定し、前記並進ベクトルに基づいて、前記フレームにおける前記自己速度を算出する自己速度推定部と、
前記一人称視点映像から前記低周波音声信号を抽出し、前記自己速度推定部により算出された前記フレームにおける前記自己速度が所定の閾値以下の場合、前記フレームに対応する前記低周波音声信号の音量を下げる音量制御部と、
前記音量制御部により前記音量が下げられた前記低周波音声信号を、前記触覚デバイスへ出力する触覚提示部と、
を備えたことを特徴とする触覚提示装置。
【請求項3】
請求項１または２に記載の触覚提示装置において、
前記音量制御部は、
前記一人称視点映像から、前記低周波音声信号、映像信号、及び前記低周波音声信号以外の音声信号を抽出する低周波音声抽出部と、
前記フレームにおける前記自己速度が前記所定の閾値以下の場合、前記フレームに対応する前記低周波音声抽出部により抽出された前記低周波音声信号の音量を下げて、新たな低周波音声信号を生成し、前記フレームにおける前記自己速度が前記所定の閾値よりも大きい場合、前記フレームに対応する前記低周波音声信号をそのまま前記新たな低周波音声信号として設定する音量低下制御部と、
前記音量低下制御部により生成または設定された前記新たな低周波音声信号、前記低周波音声抽出部により抽出された前記映像信号、及び前記低周波音声信号以外の音声信号を合成し、音量制御済映像を求める合成部と、を備え、
前記触覚提示部は、
前記合成部により求めた前記音量制御済映像から、前記新たな低周波音声信号を抽出し、前記新たな低周波音声信号を前記触覚デバイスへ出力する、ことを特徴とする触覚提示装置。
前記音量制御部は、
前記一人称視点映像から、前記低周波音声信号、映像信号、及び前記低周波音声信号以外の音声信号を抽出する低周波音声抽出部と、
前記フレームにおける前記自己速度が前記所定の閾値以下の場合、前記フレームに対応する前記低周波音声抽出部により抽出された前記低周波音声信号の音量を下げて、新たな低周波音声信号を生成し、前記フレームにおける前記自己速度が前記所定の閾値よりも大きい場合、前記フレームに対応する前記低周波音声信号をそのまま前記新たな低周波音声信号として設定する音量低下制御部と、
前記音量低下制御部により生成または設定された前記新たな低周波音声信号、前記低周波音声抽出部により抽出された前記映像信号、及び前記低周波音声信号以外の音声信号を合成し、音量制御済映像を求める合成部と、を備え、
前記触覚提示部は、
前記合成部により求めた前記音量制御済映像から、前記新たな低周波音声信号を抽出し、前記新たな低周波音声信号を前記触覚デバイスへ出力する、ことを特徴とする触覚提示装置。
【請求項4】
請求項３に記載の触覚提示装置において、
前記音量制御部は、さらに、
前記複数のフレームにおけるぞれぞれの前記自己速度から、最大速度を抽出する最大速度抽出部を備え、
前記音量低下制御部は、
前記最大速度抽出部により抽出された最大速度をｖmaxとし、前記フレームにおける前記自己速度をｖとし、前記低周波音声信号の音量をＡとし、前記新たな低周波音声信号の音量をＡnewとして、前記フレームにおける前記自己速度が所定の閾値以下の場合、以下の式：
Ａnew＝（ｖ／ｖmax）Ａ
により、前記低周波音声信号の音量を下げて、前記新たな低周波音声信号を生成する、ことを特徴とする触覚提示装置。
前記音量制御部は、さらに、
前記複数のフレームにおけるぞれぞれの前記自己速度から、最大速度を抽出する最大速度抽出部を備え、
前記音量低下制御部は、
前記最大速度抽出部により抽出された最大速度をｖmaxとし、前記フレームにおける前記自己速度をｖとし、前記低周波音声信号の音量をＡとし、前記新たな低周波音声信号の音量をＡnewとして、前記フレームにおける前記自己速度が所定の閾値以下の場合、以下の式：
Ａnew＝（ｖ／ｖmax）Ａ
により、前記低周波音声信号の音量を下げて、前記新たな低周波音声信号を生成する、ことを特徴とする触覚提示装置。
【請求項5】
請求項３に記載の触覚提示装置において、
前記音量低下制御部は、
予め設定された最大速度をｖmaxとし、前記フレームにおける前記自己速度をｖとし、前記低周波音声信号の音量をＡとし、前記新たな低周波音声信号の音量をＡnewとして、前記フレームにおける前記自己速度が所定の閾値以下の場合、以下の式：
Ａnew＝（ｖ／ｖmax）Ａ
により、前記低周波音声信号の音量を下げて、前記新たな低周波音声信号を生成する、ことを特徴とする触覚提示装置。
前記音量低下制御部は、
予め設定された最大速度をｖmaxとし、前記フレームにおける前記自己速度をｖとし、前記低周波音声信号の音量をＡとし、前記新たな低周波音声信号の音量をＡnewとして、前記フレームにおける前記自己速度が所定の閾値以下の場合、以下の式：
Ａnew＝（ｖ／ｖmax）Ａ
により、前記低周波音声信号の音量を下げて、前記新たな低周波音声信号を生成する、ことを特徴とする触覚提示装置。
【請求項6】
請求項２に記載の触覚提示装置において、
前記自己速度推定部は、
前記複数のフレームのそれぞれに対し、予め設定された固定座標の枠にてトリミングを行い、トリミング後の前記複数のフレームのそれぞれについて前記マスク画像を生成し、前記所定のＮＮを用いて、前記所定数のフレーム及び前記所定数のフレームに対応する同じ数のマスク画像に基づき、前記並進ベクトルを推定し、前記並進ベクトルに基づいて、前記フレームにおける前記自己速度を算出する、ことを特徴とする触覚提示装置。
前記自己速度推定部は、
前記複数のフレームのそれぞれに対し、予め設定された固定座標の枠にてトリミングを行い、トリミング後の前記複数のフレームのそれぞれについて前記マスク画像を生成し、前記所定のＮＮを用いて、前記所定数のフレーム及び前記所定数のフレームに対応する同じ数のマスク画像に基づき、前記並進ベクトルを推定し、前記並進ベクトルに基づいて、前記フレームにおける前記自己速度を算出する、ことを特徴とする触覚提示装置。
【請求項7】
カメラの位置を視聴者の位置として前記カメラが移動することで撮影された一人称視点映像を入力し、前記一人称視点映像から低周波音声信号を抽出し、前記低周波音声信号に基づいて、前記視聴者に対し触覚デバイスを介して触覚刺激を提示するための情報を生成する触覚提示装置を構成するコンピュータを、
前記一人称視点映像に含まれる時系列の複数のフレームのそれぞれについて、当該フレームにおける前記視聴者の移動速度を自己速度とし、当該フレームにおける前記自己速度が予め設定されているとして、
前記一人称視点映像から前記低周波音声信号を抽出し、前記フレームにおける前記自己速度が所定の閾値以下の場合、前記フレームに対応する前記低周波音声信号の音量を下げる音量制御部、及び、
前記音量制御部により前記音量が下げられた前記低周波音声信号を、前記触覚デバイスへ出力する触覚提示部として機能させるためのプログラム。
前記一人称視点映像に含まれる時系列の複数のフレームのそれぞれについて、当該フレームにおける前記視聴者の移動速度を自己速度とし、当該フレームにおける前記自己速度が予め設定されているとして、
前記一人称視点映像から前記低周波音声信号を抽出し、前記フレームにおける前記自己速度が所定の閾値以下の場合、前記フレームに対応する前記低周波音声信号の音量を下げる音量制御部、及び、
前記音量制御部により前記音量が下げられた前記低周波音声信号を、前記触覚デバイスへ出力する触覚提示部として機能させるためのプログラム。
【請求項8】
カメラの位置を視聴者の位置として前記カメラが移動することで撮影された一人称視点映像を入力し、前記一人称視点映像における前記視聴者の移動速度を自己速度として推定する自己速度推定装置において、
前記一人称視点映像を、所定間隔にて時系列の複数のフレームにサンプリングするフレームサンプリング処理部と、
前記フレームサンプリング処理部によりサンプリングされた前記複数のフレームのそれぞれについて、所定の物体をマスクしたマスク画像を生成するマスク画像生成処理部と、
所定のＮＮ（ニューラルネットワーク）を用いて、前記フレームサンプリング処理部によりサンプリングされた連続する所定数のフレーム、及び前記マスク画像生成処理部により生成された前記所定数のフレームに対応する同じ数のマスク画像に基づき、前記一人称視点映像における前記視聴者の並進ベクトルを推定し、前記並進ベクトルに基づいて、前記フレームにおける前記自己速度を算出する自己速度推定処理部と、
を備えたことを特徴とする自己速度推定装置。
前記一人称視点映像を、所定間隔にて時系列の複数のフレームにサンプリングするフレームサンプリング処理部と、
前記フレームサンプリング処理部によりサンプリングされた前記複数のフレームのそれぞれについて、所定の物体をマスクしたマスク画像を生成するマスク画像生成処理部と、
所定のＮＮ（ニューラルネットワーク）を用いて、前記フレームサンプリング処理部によりサンプリングされた連続する所定数のフレーム、及び前記マスク画像生成処理部により生成された前記所定数のフレームに対応する同じ数のマスク画像に基づき、前記一人称視点映像における前記視聴者の並進ベクトルを推定し、前記並進ベクトルに基づいて、前記フレームにおける前記自己速度を算出する自己速度推定処理部と、
を備えたことを特徴とする自己速度推定装置。
【請求項9】
請求項８に記載の自己速度推定装置において、
さらに、前記フレームサンプリング処理部によりサンプリングされた前記複数のフレームのそれぞれに対し、予め設定された固定座標の枠にてトリミングを行うトリミング処理部を備え、
前記マスク画像生成処理部は、
前記トリミング処理部によりトリミングが行われたトリミング後の前記複数のフレームのそれぞれから、前記マスク画像を生成する、ことを特徴とする自己速度推定装置。
さらに、前記フレームサンプリング処理部によりサンプリングされた前記複数のフレームのそれぞれに対し、予め設定された固定座標の枠にてトリミングを行うトリミング処理部を備え、
前記マスク画像生成処理部は、
前記トリミング処理部によりトリミングが行われたトリミング後の前記複数のフレームのそれぞれから、前記マスク画像を生成する、ことを特徴とする自己速度推定装置。
【請求項10】
カメラの位置を視聴者の位置として前記カメラが移動することで撮影された一人称視点映像を入力し、前記一人称視点映像における前記視聴者の移動速度を自己速度として推定する自己速度推定装置を構成するコンピュータを、
前記一人称視点映像を、所定間隔にて時系列の複数のフレームにサンプリングするフレームサンプリング処理部、
前記フレームサンプリング処理部によりサンプリングされた前記複数のフレームのそれぞれについて、所定の物体をマスクしたマスク画像を生成するマスク画像生成処理部、及び、
所定のＮＮ（ニューラルネットワーク）を用いて、前記フレームサンプリング処理部によりサンプリングされた連続する所定数のフレーム、及び前記マスク画像生成処理部により生成された前記所定数のフレームに対応する同じ数のマスク画像に基づき、前記一人称視点映像における前記視聴者の並進ベクトルを推定し、前記並進ベクトルに基づいて、前記フレームにおける前記自己速度を算出する自己速度推定処理部として機能させるためのプログラム。
前記一人称視点映像を、所定間隔にて時系列の複数のフレームにサンプリングするフレームサンプリング処理部、
前記フレームサンプリング処理部によりサンプリングされた前記複数のフレームのそれぞれについて、所定の物体をマスクしたマスク画像を生成するマスク画像生成処理部、及び、
所定のＮＮ（ニューラルネットワーク）を用いて、前記フレームサンプリング処理部によりサンプリングされた連続する所定数のフレーム、及び前記マスク画像生成処理部により生成された前記所定数のフレームに対応する同じ数のマスク画像に基づき、前記一人称視点映像における前記視聴者の並進ベクトルを推定し、前記並進ベクトルに基づいて、前記フレームにおける前記自己速度を算出する自己速度推定処理部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一人称視点映像の視聴者に対し触覚デバイスを介して触覚刺激を提示するための情報を生成する技術、及び一人称視点映像における視聴者の移動速度を自己速度として推定する技術に関する。
【背景技術】
【0002】
従来、映像は主として視覚及び聴覚に関するメディアであるが、第三の感覚として触覚刺激を提示する技術が注目を浴びている。例えば、音楽と連動した触覚刺激を提示する仕組みを椅子に設けた体感音響システムが知られており、また、音を振動に変換する触覚デバイスも知られている。
【0003】
具体的には、この体感音響システムは、椅子に振動子を組み込んでおき、音楽から低音成分を抽出し、振動子により低音成分を振動の触覚情報に変換することで、音楽の聴取者に対し振動の触覚刺激を提示するものである（例えば特許文献１を参照）。
【0004】
また、振動子を椅子に組み込んだ体感音響システムの他、テーマパーク、映画館等において、従来の映像音声に加え、振動等の触覚刺激、及び移動感等の体性感覚刺激を提示する技術も知られている。また、放送通信連携サービスを用いることで、テレビ放送の映像音声に加え、収録した振動の触覚情報を通信経由で伝送する技術も知られている。
【0005】
また、視覚的なディスプレイを用いるゲーム装置において、視的表示と共に、プレイヤーに対し体感を与える技術も知られている（例えば特許文献２を参照）。具体的には、このゲーム装置は、特定の視的表示のタイミングにて、ハイパワーアンプで増幅された信号を低域スピーカへ出力することで、低域スピーカにより、低域音源となる体感をプレイヤーへ提示するものである。
【0006】
また、体感音響システムにおいて、長時間利用しても、視聴者に対し不快感または圧迫感を生じさせることのない技術が知られている（例えば特許文献３を参照）。具体的には、この体感音響システムは、背もたれ及び座部を有するシートと、入力された音声信号を帯域分割して第１の音声信号及び第２の音声信号を出力する帯域分割回路と、第１の音声信号に応じて振動すると共に、振動方向が背もたれのユーザ側表面に対して平行となるように、背もたれ内に配置された第１の振動素子と、第２の音声信号に応じて振動すると共に、振動方向が座部のユーザ側表面に対して平行となるように、座部内に配置された第２の振動素子とを有するものである。
【0007】
このように、映像を視聴しているときに、視覚及び聴覚に加え、第三の感覚である触覚にも刺激を与えることにより、より没入感及び臨場感の高い映像視聴を実現することができる。つまり、音声信号を入力して触覚情報に変換し、連続的に触覚刺激を提示することにより、映像コンテンツへの没入感及び臨場感を高めることができる。
【0008】
このような音声信号を触覚情報に変換し、触覚刺激を視聴者へ提示する試みは、以前から行われている。以下、音声信号を入力して触覚情報に変換し、触覚刺激を提示する方式を「音声入力方式」という。
【0009】
この「音声入力方式」の例として、いす型触覚提示システムがある。このいす型触覚提示システムは、例えばフレキシブルディスプレイにより１８０度の視野角に表示したトラム等の車両の一人称視点映像に連動し、いす型触覚デバイスが、音声信号を触覚情報に変換して触覚刺激を提示する。これにより、一人称視点映像から受ける視覚刺激及び聴覚刺激、並びに座面及び足元から受ける触覚刺激により、高い没入感を得ることができる。
【0010】
一方で、トラム等の車両から外部を撮影した映像に基づいて、車両の速度を推定する装置が知られている（例えば特許文献４を参照）。この速度推定装置は、過去の映像及び現在の映像から、車両の周囲にある被写体上の特徴点をそれぞれ抽出し、特徴点に基づいて車両の並進方位角を推定し、並進方位角に基づいて車両の速度を推定するものである。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特開平３－１０２４９９号公報
【特許文献2】特開平６－３３９５７６号公報
【特許文献3】特開２００８－１４１４７７号公報
【特許文献4】特開２０１４－４４０９３号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
前述の体感音響システムによる音声入力方式は、音声信号を触覚情報に変換し、触覚刺激を提示するものである。この音声入力方式では、実際の音声をベースにしているため、映像音声に対して違和感のない触覚刺激を提示することができる。
【0013】
しかしながら、実際の音声には、環境音及びＢＧＭ等の背景音が含まれていることが多く、その音声を用いることで、余分な振動が生じてしまう。
【0014】
例えばトラム等の車両から外部を撮影した車載カメラ映像等の一人称視点映像において、車両が低速で移動または停止しているにもかかわらず、環境音及びＢＧＭ等の背景音によって触覚刺激が提示され続けることがあり、映像による視覚と振動による触覚との間でミスマッチが生じてしまうという問題があった。
【0015】
ここで、例えば車両が低速で移動または停止しているか否かを判定するために、前述の速度推定装置を用いることが考えられる。この速度推定装置は、映像内の被写体上の特徴点を検出することで、車両の速度（車両に乗っている人の自己速度）を推定するものである。このため、特徴点が検出される被写体が、車両とは関係なく独立して動く場合には、車両の速度を精度高く推定できないことがあり得るという問題があった。
【0016】
このように、体感音響システムによる音声入力方式においては、没入感をより向上させるために、車両が低速で移動または停止している場合であっても、映像の内容に連動した振動制御を行うことが所望されていた。また、車両速度（車両に乗っている人の自己速度）を推定する場合には、精度の高い速度推定を実現することが所望されていた。
【0017】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、視聴者が一人称視点映像を視聴する際に、没入感向上に寄与する触覚刺激を提示するための情報を生成する触覚提示装置及びプログラムを提供することにある。
【0018】
また、本発明の目的は、一人称視点映像から精度の高い自己速度を推定可能な自己速度推定装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0019】
前記課題を解決するために、請求項１の触覚提示装置は、カメラの位置を視聴者の位置として前記カメラが移動することで撮影された一人称視点映像を入力し、前記一人称視点映像から低周波音声信号を抽出し、前記低周波音声信号に基づいて、前記視聴者に対し触覚デバイスを介して触覚刺激を提示するための情報を生成する触覚提示装置において、前記一人称視点映像に含まれる時系列の複数のフレームのそれぞれについて、当該フレームにおける前記視聴者の移動速度を自己速度とし、当該フレームにおける前記自己速度が予め設定されているとして、前記一人称視点映像から前記低周波音声信号を抽出し、前記フレームにおける前記自己速度が所定の閾値以下の場合、前記フレームに対応する前記低周波音声信号の音量を下げる音量制御部と、前記音量制御部により前記音量が下げられた前記低周波音声信号を、前記触覚デバイスへ出力する触覚提示部と、を備えたことを特徴とする。
【0020】
また、請求項２の触覚提示装置は、カメラの位置を視聴者の位置として前記カメラが移動することで撮影された一人称視点映像を入力し、前記一人称視点映像から低周波音声信号を抽出し、前記低周波音声信号に基づいて、前記視聴者に対し触覚デバイスを介して触覚刺激を提示するための情報を生成する触覚提示装置において、前記一人称視点映像に含まれる時系列の複数のフレームのそれぞれについて、当該フレームにおける前記視聴者の移動速度を自己速度として、前記複数のフレームのそれぞれについて、所定の物体をマスクしたマスク画像を生成し、所定のＮＮ（ニューラルネットワーク）を用いて、連続する所定数のフレーム及び前記所定数のフレームに対応する同じ数のマスク画像に基づき、前記一人称視点映像における前記視聴者の並進ベクトルを推定し、前記並進ベクトルに基づいて、前記フレームにおける前記自己速度を算出する自己速度推定部と、前記一人称視点映像から前記低周波音声信号を抽出し、前記自己速度推定部により算出された前記フレームにおける前記自己速度が所定の閾値以下の場合、前記フレームに対応する前記低周波音声信号の音量を下げる音量制御部と、前記音量制御部により前記音量が下げられた前記低周波音声信号を、前記触覚デバイスへ出力する触覚提示部と、を備えたことを特徴とする。
【0021】
また、請求項３の触覚提示装置は、請求項１または２に記載の触覚提示装置において、前記音量制御部が、前記一人称視点映像から、前記低周波音声信号、映像信号、及び前記低周波音声信号以外の音声信号を抽出する低周波音声抽出部と、前記フレームにおける前記自己速度が前記所定の閾値以下の場合、前記フレームに対応する前記低周波音声抽出部により抽出された前記低周波音声信号の音量を下げて、新たな低周波音声信号を生成し、前記フレームにおける前記自己速度が前記所定の閾値よりも大きい場合、前記フレームに対応する前記低周波音声信号をそのまま前記新たな低周波音声信号として設定する音量低下制御部と、前記音量低下制御部により生成または設定された前記新たな低周波音声信号、前記低周波音声抽出部により抽出された前記映像信号、及び前記低周波音声信号以外の音声信号を合成し、音量制御済映像を求める合成部と、を備え、前記触覚提示部が、前記合成部により求めた前記音量制御済映像から、前記新たな低周波音声信号を抽出し、前記新たな低周波音声信号を前記触覚デバイスへ出力する、ことを特徴とする。
【0022】
また、請求項４の触覚提示装置は、請求項３に記載の触覚提示装置において、前記音量制御部が、さらに、前記複数のフレームにおけるぞれぞれの前記自己速度から、最大速度を抽出する最大速度抽出部を備え、前記音量低下制御部が、前記最大速度抽出部により抽出された最大速度をｖmaxとし、前記フレームにおける前記自己速度をｖとし、前記低周波音声信号の音量をＡとし、前記新たな低周波音声信号の音量をＡnewとして、前記フレームにおける前記自己速度が所定の閾値以下の場合、以下の式：Ａnew＝（ｖ／ｖmax）Ａにより、前記低周波音声信号の音量を下げて、前記新たな低周波音声信号を生成する、ことを特徴とする。
【0023】
また、請求項５の触覚提示装置は、請求項３に記載の触覚提示装置において、前記音量低下制御部が、予め設定された最大速度をｖmaxとし、前記フレームにおける前記自己速度をｖとし、前記低周波音声信号の音量をＡとし、前記新たな低周波音声信号の音量をＡnewとして、前記フレームにおける前記自己速度が所定の閾値以下の場合、以下の式：Ａnew＝（ｖ／ｖmax）Ａにより、前記低周波音声信号の音量を下げて、前記新たな低周波音声信号を生成する、ことを特徴とする。
【0024】
また、請求項６の触覚提示装置は、請求項２に記載の触覚提示装置において、前記自己速度推定部が、前記複数のフレームのそれぞれに対し、予め設定された固定座標の枠にてトリミングを行い、トリミング後の前記複数のフレームのそれぞれについて前記マスク画像を生成し、前記所定のＮＮを用いて、前記所定数のフレーム及び前記所定数のフレームに対応する同じ数のマスク画像に基づき、前記並進ベクトルを推定し、前記並進ベクトルに基づいて、前記フレームにおける前記自己速度を算出する、ことを特徴とする。
【0025】
さらに、請求項７のプログラムは、カメラの位置を視聴者の位置として前記カメラが移動することで撮影された一人称視点映像を入力し、前記一人称視点映像から低周波音声信号を抽出し、前記低周波音声信号に基づいて、前記視聴者に対し触覚デバイスを介して触覚刺激を提示するための情報を生成する触覚提示装置を構成するコンピュータを、前記一人称視点映像に含まれる時系列の複数のフレームのそれぞれについて、当該フレームにおける前記視聴者の移動速度を自己速度とし、当該フレームにおける前記自己速度が予め設定されているとして、前記一人称視点映像から前記低周波音声信号を抽出し、前記フレームにおける前記自己速度が所定の閾値以下の場合、前記フレームに対応する前記低周波音声信号の音量を下げる音量制御部、及び、前記音量制御部により前記音量が下げられた前記低周波音声信号を、前記触覚デバイスへ出力する触覚提示部として機能させることを特徴とする。
【0026】
さらに、請求項８の自己速度推定装置は、カメラの位置を視聴者の位置として前記カメラが移動することで撮影された一人称視点映像を入力し、前記一人称視点映像における前記視聴者の移動速度を自己速度として推定する自己速度推定装置において、前記一人称視点映像を、所定間隔にて時系列の複数のフレームにサンプリングするフレームサンプリング処理部と、前記フレームサンプリング処理部によりサンプリングされた前記複数のフレームのそれぞれについて、所定の物体をマスクしたマスク画像を生成するマスク画像生成処理部と、所定のＮＮ（ニューラルネットワーク）を用いて、前記フレームサンプリング処理部によりサンプリングされた連続する所定数のフレーム、及び前記マスク画像生成処理部により生成された前記所定数のフレームに対応する同じ数のマスク画像に基づき、前記一人称視点映像における前記視聴者の並進ベクトルを推定し、前記並進ベクトルに基づいて、前記フレームにおける前記自己速度を算出する自己速度推定処理部と、を備えたことを特徴とする。
【0027】
また、請求項９の自己速度推定装置は、請求項８に記載の自己速度推定装置において、さらに、前記フレームサンプリング処理部によりサンプリングされた前記複数のフレームのそれぞれに対し、予め設定された固定座標の枠にてトリミングを行うトリミング処理部を備え、前記マスク画像生成処理部が、前記トリミング処理部によりトリミングが行われたトリミング後の前記複数のフレームのそれぞれから、前記マスク画像を生成する、ことを特徴とする。
【0028】
さらに、請求項１０のプログラムは、カメラの位置を視聴者の位置として前記カメラが移動することで撮影された一人称視点映像を入力し、前記一人称視点映像における前記視聴者の移動速度を自己速度として推定する自己速度推定装置を構成するコンピュータを、前記一人称視点映像を、所定間隔にて時系列の複数のフレームにサンプリングするフレームサンプリング処理部、前記フレームサンプリング処理部によりサンプリングされた前記複数のフレームのそれぞれについて、所定の物体をマスクしたマスク画像を生成するマスク画像生成処理部、及び、所定のＮＮ（ニューラルネットワーク）を用いて、前記フレームサンプリング処理部によりサンプリングされた連続する所定数のフレーム、及び前記マスク画像生成処理部により生成された前記所定数のフレームに対応する同じ数のマスク画像に基づき、前記一人称視点映像における前記視聴者の並進ベクトルを推定し、前記並進ベクトルに基づいて、前記フレームにおける前記自己速度を算出する自己速度推定処理部として機能させることを特徴とする。
【発明の効果】
【0029】
以上のように、本発明によれば、視聴者が一人称視点映像を視聴する際に、没入感向上に寄与する触覚刺激を提示するための情報を生成することができる。また、本発明によれば、一人称視点映像から精度の高い自己速度を推定することができる。
【図面の簡単な説明】
【0030】
【図1】第１の触覚提示装置の構成例を示すブロック図である。
【図3】自己速度推定部の構成例を示すブロック図である。
【図5】自己速度推定処理部の構成例を示すブロック図である。
【図6】自己速度推定部の他の構成例を示すブロック図である。
【図7】音量制御部の構成例を示すブロック図である。
【図9】５．１ｃｈ形式の一人称視点映像Ｅを再生する場合の触覚提示部の構成例を示す図である。
【図10】一人称視点映像Ｅのフレームの例及びマスク画像の例を示す図である。
【図11】自己速度ｖの推定結果を示す図である。
【図12】一人称視点映像Ｅ１のフレームの例及びトリミング後のフレームの例を示す図である。
【図13】第２の触覚提示装置の構成例を示すブロック図である。
【図14】第１の自己速度推定装置の構成例を示すブロック図である。
【図15】第２の自己速度推定装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0031】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔触覚提示装置／第１の例〕
まず、第１の触覚提示装置について説明する。図１は、第１の触覚提示装置の構成例を示すブロック図であり、図２は、図１に示す触覚提示装置の処理例を示すフローチャートである。
〔触覚提示装置／第１の例〕
まず、第１の触覚提示装置について説明する。図１は、第１の触覚提示装置の構成例を示すブロック図であり、図２は、図１に示す触覚提示装置の処理例を示すフローチャートである。
【0032】
この触覚提示装置１は、自己速度推定部１１、音量制御部１２及び触覚提示部１３を備えている。触覚提示装置１は、一人称視点映像Ｅから自己速度ｖを推定し、自己速度ｖに基づいて、振動の元となる低周波音声信号Ｓの音量Ａを制御して音量制御済映像Ｅ’を生成し、音量制御済映像Ｅ’から制御後の低周波音声信号Ｓ’を抽出して触覚デバイス７へ出力する。これにより、視聴者による一人称視点映像Ｅの視聴時の没入感を向上させることができる。
【0033】
自己速度推定部１１は、一人称視点映像Ｅを入力し（ステップＳ２０１）、一人称視点映像Ｅをサンプリングし、一人称視点映像Ｅに含まれる時系列の複数のフレームのそれぞれについて、所定の物体を検出し、所定の物体をマスクしたマスク画像を生成する（ステップＳ２０２）。
【0034】
一人称視点映像Ｅに含まれる時系列の複数のフレームは、一人称視点映像Ｅを構成する全てのフレームであってもよいし、所定間隔でサンプリングされたフレーム群であってもよい。一人称視点映像Ｅは、カメラの位置を、当該一人称視点映像Ｅを視聴する視聴者の位置として、当該カメラにより撮影された映像であって、かつカメラが移動することで撮影された映像である。
【0035】
自己速度推定部１１は、複数のフレームのそれぞれについて、後述するＮＮ（ニューラルネットワーク）３１を用いて、連続する所定数のフレーム、及び当該所定数のフレームに対応する同じ数のマスク画像に基づき、一人称視点映像Ｅにおける視聴者の並進ベクトルを推定し、並進ベクトルに基づいて自己速度ｖを推定する（ステップＳ２０３）。そして、自己速度推定部１１は、サンプリングされたフレーム毎の自己速度ｖを音量制御部１２に出力する。
【0036】
ここで、自己速度ｖは、一人称視点映像Ｅにおいて、当該一人称視点映像Ｅを撮影したカメラ（視聴者の視点）の動きによる相対的な速度（一人称視点映像Ｅにおける視聴者の移動速度）である。例えばトラムの車載カメラ映像を一人称視点映像Ｅとした場合、トラムが完全に停止しているときに自己速度ｖ＝０となり、トラムが動いているときに自己速度ｖ＞０となる。
【0037】
これにより、一人称視点映像Ｅの最初のフレームから最後のフレームまでの間で、一人称視点映像Ｅに含まれる時系列の複数のフレームのそれぞれについて、自己速度ｖが算出される。自己速度推定部１１の詳細については後述する。
【0038】
音量制御部１２は、自己速度推定部１１からサンプリングされたフレーム毎の自己速度ｖを入力し、自己速度ｖを後述するメモリ４１に格納する（ステップＳ２０４）。これにより、一人称視点映像Ｅに含まれる複数のフレームのそれぞれについての自己速度ｖが、メモリ４１に格納される。
【0039】
音量制御部１２は、視聴者による操作に従い、一人称視点映像Ｅ（自己速度推定部１１が入力した一人称視点映像Ｅと同じ映像）の視聴開始の操作があったか否かを判定する（ステップＳ２０５）。音量制御部１２は、ステップＳ２０５において、視聴開始の操作がないと判定した場合（ステップＳ２０５：Ｎ）、当該操作があるまで待機する。
【0040】
音量制御部１２は、ステップＳ２０５において、視聴開始の操作があったと判定した場合（ステップＳ２０５：Ｙ）、一人称視点映像Ｅを入力する（ステップＳ２０６）。そして、音量制御部１２は、一人称視点映像Ｅから、低周波音声信号Ｓ、映像信号、及び低周波音声信号Ｓ以外の音声信号を抽出する（ステップＳ２０７）。
【0041】
例えば一人称視点映像Ｅに、低周波のチャンネルの音声信号が含まれる場合、音量制御部１２は、一人称視点映像Ｅから当該チャンネルの音声信号を取り出すことで、当該チャンネルの音声信号を低周波音声信号Ｓとして抽出する。また、一人称視点映像Ｅが映像信号及び音声信号からなり、音声信号が高周波成分及び低周波成分を含む信号である場合、音量制御部１２は、一人称視点映像Ｅに含まれる音声信号から低周波成分を取り出すことにより、低周波成分を低周波音声信号Ｓとして抽出する。
【0042】
音量制御部１２は、後述するメモリ４１から、ステップＳ２０７にて抽出が行われた一人称視点映像Ｅの低周波音声信号Ｓに対応する映像信号のフレームにおける自己速度ｖを読み出す（ステップＳ２０８）。これにより、低周波音声信号Ｓに対応して、メモリ４１に格納された自己速度ｖが順番に読み出される。
【0043】
音量制御部１２は、メモリ４１から読み出された自己速度ｖについて、当該自己速度ｖが所定の閾値以下の場合、当該自己速度ｖのフレームに対応する低周波音声信号Ｓの音量Ａを下げることで、新たな低周波音声信号Ｓ’を生成する（ステップＳ２０９）。ここで、自己速度ｖに対応する低周波音声信号Ｓとは、自己速度ｖのフレームから当該フレームの次のフレーム（メモリ４１に格納された複数のフレームのうち当該フレームの次のフレーム）の直前までの間の音声信号である。
【0044】
音量制御部１２は、ステップＳ２０９にて生成された低周波音声信号Ｓ’、並びにステップＳ２０７にて抽出された映像信号、及び低周波音声信号Ｓ以外の音声信号を合成することで、音量制御済映像Ｅ’を求める（ステップＳ２１０）。そして、音量制御部１２は、音量制御済映像Ｅ’を触覚提示部１３に出力する。音量制御部１２の詳細については後述する。
【0045】
触覚提示部１３は、音量制御部１２から音量制御済映像Ｅ’を入力し、音量制御済映像Ｅ’から低周波音声信号Ｓ’を抽出し、低周波音声信号Ｓ’を触覚デバイス７へ出力する（ステップＳ２１１）。触覚提示部１３の詳細については後述する。
【0046】
これにより、自己速度ｖが所定の閾値以下の場合に、触覚デバイス７には、音量Ａを下げた低周波音声信号Ｓ’が入力され、振動を小さくすることができる。つまり、自己速度ｖが０または小さい場合に、環境音及びＢＧＭ等の背景音が反映された振動による触覚刺激を抑えることができる。
【0047】
したがって、一人称視点映像Ｅを視聴する際に、触覚提示装置１により、没入感向上に寄与する触覚刺激を提示するための情報を生成することができ、視聴者は、自己速度ｖが低速または停止の範囲において、背景音の影響を抑えた振動刺激を受けることができ、没入感を向上させることができる。
【0048】
（自己速度推定部１１）
次に、図１に示した自己速度推定部１１について詳細に説明する。図３は、自己速度推定部１１の構成例を示すブロック図であり、図４は、図３に示す自己速度推定部１１の処理例を示すフローチャートである。
次に、図１に示した自己速度推定部１１について詳細に説明する。図３は、自己速度推定部１１の構成例を示すブロック図であり、図４は、図３に示す自己速度推定部１１の処理例を示すフローチャートである。
【0049】
この自己速度推定部１１－１は、フレームサンプリング処理部２１、マスク画像生成処理部２２及び自己速度推定処理部２３を備えている。
【0050】
フレームサンプリング処理部２１は、一人称視点映像Ｅを入力し（ステップＳ４０１）、一人称視点映像Ｅを、所定間隔にて時系列の複数のフレームにサンプリングする（ステップＳ４０２）。所定間隔にてサンプリングすることにより、以降の処理の計算等の負荷を低減することができる。ここで、フレームサンプリング処理部２１は、一人称視点映像Ｅを構成する全てのフレームにサンプリングしてもよい。
【0051】
フレームサンプリング処理部２１は、サンプリング後の複数のフレームのそれぞれ（フレーム０，・・・，ｎ，・・・，Ｎ）を、マスク画像生成処理部２２及び自己速度推定処理部２３に出力する。Ｎは１以上の整数であり、ｎは０≦ｎ≦Ｎである。フレームｎは、フレーム番号がｎのフレームを示す。
【0052】
マスク画像生成処理部２２は、フレームサンプリング処理部２１から複数のフレームのそれぞれを入力し、複数のフレームのそれぞれについて、所定の物体をマスクしたマスク画像を生成する（ステップＳ４０３）。そして、マスク画像生成処理部２２は、マスク画像を自己速度推定処理部２３に出力する。
【0053】
これにより、Ｎ枚のフレームからＮ枚のマスク画像が生成される（フレーム０からマスク画像０が生成され、・・・、フレームｎからマスク画像ｎが生成され、・・・、フレームＮからマスク画像Ｎが生成される）。
【0054】
具体的には、マスク画像生成処理部２２は、複数のフレームのそれぞれに対し、Ｍａｓｋ Ｒ－ＣＮＮ等の一般的なインスタンスセグメンテーション手法を適用し、マスク対象の物体の種類を指定することで、マスク画像を生成する。マスク画像は、予め設定された物体（自己速度ｖに関係のない動きをする物体（移動する物体）、すなわち自己速度ｖを算出する際に影響を与える（ノイズとなる）可能性のある対向車、歩行者等）がマスクされる画像である。マスク対象の物体の種類として、例えば車、人が指定される。看板、木等のような移動しない物体は、自己速度ｖを算出する際に影響を与えることがないため、指定する必要がない。
【0055】
【0056】
マスク画像生成処理部２２により、左側に示すフレームから複数の対向車が検出され、これらの複数の対向車のそれぞれを区別可能な形態の図形で表したマスク画像が生成される。
【0057】
【0058】
自己速度推定処理部２３は、ＮＮ３１を用いて、所定数（例えば３枚）のフレーム及びこれに対応する同じ数のマスク画像から、マスク画像にてマスクされた物体を除外するように、並進ベクトルtranslation（ｘ，ｙ，ｚ）等を推定する（ステップＳ４０４）。並進ベクトルtranslation（ｘ，ｙ，ｚ）は、所定数のフレームにおいて、視聴者の移動方向を示すデータである。
【0059】
これにより、マスク画像を用いることで、自己速度ｖの算出に用いる並進ベクトルtranslation（ｘ，ｙ，ｚ）を推定する際に影響を与える可能性のある対向車、歩行者等が除外され、精度の高い並進ベクトルtranslation（ｘ，ｙ，ｚ）を得ることができる。したがって、後述するステップＳ４０５において、精度の高い自己速度ｖを算出することができる。
【0060】
自己速度推定処理部２３は、並進ベクトルtranslation（ｘ，ｙ，ｚ）に基づいて、自己速度ｖを算出する（ステップＳ４０５）。これにより、フレームサンプリング処理部２１から入力した複数のフレームのそれぞれについて、自己速度ｖが算出される。そして、自己速度推定処理部２３は、自己速度ｖを音量制御部１２に出力する（ステップＳ４０６）。
【0061】
図５は、自己速度推定処理部２３の構成例を示すブロック図である。この自己速度推定処理部２３は、ＮＮ３１及び自己速度算出部３２を備えている。
【0062】
ＮＮ３１は、フレームサンプリング処理部２１から、例えば連続した３枚のフレームを入力すると共に、マスク画像生成処理部２２から、当該３枚のフレームに対応する３枚のマスク画像を入力する。そして、ＮＮ３１は、当該ＮＮ３１の演算を行い、並進ベクトルtranslation（ｘ，ｙ，ｚ）及び深度画像を推定し、並進ベクトルtranslation（ｘ，ｙ，ｚ）を自己速度算出部３２に出力する。
【0063】
例えば、フレーム０，・・・，ｎ，・・・，Ｎのうち３枚のフレーム０，１，２、及びこれらに対応するマスク画像０，・・・，ｎ，・・・，Ｎのうち３枚のマスク画像０，１，２から、フレーム１についての並進ベクトルtranslation（ｘ，ｙ，ｚ）が推定される。そして、３枚のフレーム１，２，３及び３枚のマスク画像１，２，３からフレーム２についての並進ベクトルtranslation（ｘ，ｙ，ｚ）が推定され、・・・、３枚のフレームＮ－２，Ｎ－１，Ｎ及び３枚のマスク画像Ｎ－２，Ｎ－１，ＮからフレームＮ－１についての並進ベクトルtranslation（ｘ，ｙ，ｚ）が推定される。
【0064】
自己速度算出部３２は、ＮＮ３１から並進ベクトルtranslation（ｘ，ｙ，ｚ）を入力し、以下の式により、自己速度ｖを算出する。
［数１］
ｖ＝√（ｘ2＋ｙ2＋ｚ2） ・・・（１）
［数１］
ｖ＝√（ｘ2＋ｙ2＋ｚ2） ・・・（１）
【0065】
尚、自己速度ｖを推定する際に用いるＮＮ３１は、特定のネットワーク構成に限定されない。例えば、以下の文献に示す単眼カメラ深度推定モデル等の並進ベクトルtranslation（ｘ，ｙ，ｚ）を推定するニューラルネットワークと同様の構成、またはこれらのアーキテクチャに基づいて改良したものが用いられる。
［非特許文献］ Vincent Casser, Soeren Pirk Reza, Mahjourian, Anelia Angelova,“Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos.”,the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 8001-8008 (2019)
［非特許文献］ Vincent Casser, Soeren Pirk Reza, Mahjourian, Anelia Angelova,“Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos.”,the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 8001-8008 (2019)
【0066】
これにより、自己速度推定部１１－１にて、一人称視点映像Ｅから所定間隔にてサンプリングされた時系列の複数のフレームのそれぞれについて、一人称視点映像Ｅにおける視聴者の移動速度を示す自己速度ｖが推定される。
【0067】
図１１は、自己速度ｖの推定結果を示す図であり、自己速度推定部１１－１により推定された自己速度ｖを示す。縦軸は自己速度ｖであり、横軸は時間（フレーム番号）を示す。
【0068】
自己速度推定部１１－１により、図１１に示す自己速度ｖが推定され、自己速度ｖは、後段の音量制御部１２に出力される。
【0069】
（自己速度推定部１１の他の例）
図６は、図１に示した自己速度推定部１１の他の構成例を示すブロック図である。この自己速度推定部１１－２は、フレームサンプリング処理部２１、マスク画像生成処理部２２、自己速度推定処理部２３及びトリミング処理部２４を備えている。
図６は、図１に示した自己速度推定部１１の他の構成例を示すブロック図である。この自己速度推定部１１－２は、フレームサンプリング処理部２１、マスク画像生成処理部２２、自己速度推定処理部２３及びトリミング処理部２４を備えている。
【0070】
図３に示した自己速度推定部１１－１とこの自己速度推定部１１－２とを比較すると、両自己速度推定部１１－１，１１－２は、フレームサンプリング処理部２１、マスク画像生成処理部２２及び自己速度推定処理部２３を備えている点で共通するが、自己速度推定部１１－２は、さらにトリミング処理部２４を備えている点で、自己速度推定部１１－１と相違する。図６において、図３と共通する部分には図３と同一の符号を付し、その詳しい説明は省略する。
【0071】
自己速度推定部１１－２は、自己速度推定部１１－１が入力する一人称視点映像Ｅ（図１０に示した一人称視点映像Ｅ）とは異なる一人称視点映像Ｅ１（自己速度ｖの推定処理に悪影響を及ぼす可能性のある画像を含む映像）を入力する。
【0072】
フレームサンプリング処理部２１は、一人称視点映像Ｅ１を入力し、図３に示したフレームサンプリング処理部２１と同様の処理を行い、所定間隔にてサンプリングされた時系列の複数のフレームをトリミング処理部２４に出力する。
【0073】
トリミング処理部２４は、フレームサンプリング処理部２１から複数のフレームを入力し、複数のフレームのそれぞれに対し、予め設定された固定座標の枠にてトリミングを行うことで、トリミング後のフレームを生成する。そして、トリミング処理部２４は、トリミング後のフレームをマスク画像生成処理部２２及び自己速度推定処理部２３に出力する。
【0074】
予め設定された固定座標の枠は、一人称視点映像Ｅ１の画像内において、トリミング対象の左上の座標、ｘ軸方向の幅及びｙ軸方向の高さにより指定される。また、トリミングの処理は、既存の動画編集ソフトを用いて行うことができる。
【0075】
例えば一人称視点映像Ｅ１がトラムの車載カメラ映像の場合、トラム内が映り過ぎていると自己速度ｖの推定に悪影響を及ぼす可能性が高い。このため、トリミング処理部２４は、主に窓の外が映る画像となるように、予め設定された固定座標の枠を用いて、一人称視点映像Ｅ１のフレームに対してトリミングを行う。
【0076】
尚、トリミング処理部２４が入力する全てのフレームについて、予め設定された固定座標の枠は変更しない。
【0077】
図１２は、一人称視点映像Ｅ１のフレームの例及びトリミング後のフレームの例を示す図である。
【0078】
トリミング処理部２４により、図１２に示すように、一人称視点映像Ｅ１のフレームからトリミング後のフレームが抽出される。この一人称視点映像Ｅ１のフレームは、トラム内が映り過ぎているため、自己速度ｖの推定精度を考慮した場合に、除外した方が良い物体（車両の枠等）が含まれている。このため、図１２に示す予め設定された固定座標の枠を用いてトリミングが行われ、自己速度ｖの推定精度を考慮したトリミング後のフレームが抽出される。
【0079】
【0080】
自己速度推定処理部２３は、トリミング処理部２４から所定数（例えば３枚）のトリミング後のフレームを入力すると共に、マスク画像生成処理部２２からトリミング後のフレームに対応する同じ数のマスク画像を入力する。そして、自己速度推定処理部２３は、図３に示した自己速度推定処理部２３と同様の処理を行い、自己速度ｖを音量制御部１２に出力する。
【0081】
これにより、自己速度推定部１１－２にて、一人称視点映像Ｅ１から所定間隔にてサンプリングされた時系列の複数のフレームのそれぞれがトリミングされ、トリミング後のフレームについて、一人称視点映像Ｅ１における視聴者の移動速度を示す自己速度ｖが推定される。つまり、トリミング処理により、フレームから、自己速度ｖの推定に悪影響を及ぼす可能性が高い領域を除外することができるため、一層精度の高い自己速度ｖを得ることができる。
【0082】
【0083】
この音量制御部１２は、メモリ４１、最大速度抽出部４２、低周波音声抽出部４３、音量低下制御部４４及び合成部４５を備えている。
【0084】
音量制御部１２は、自己速度推定部１１からサンプリングされたフレーム毎の自己速度ｖを入力し、自己速度ｖをメモリ４１に格納する（ステップＳ８０１）。これにより、一人称視点映像Ｅからサンプリングされた時系列の複数のフレーム（全てのフレーム）の自己速度ｖが、メモリ４１に格納される。
【0085】
最大速度抽出部４２は、サンプリングされた全てのフレームの自己速度ｖがメモリ４１に格納されると、メモリ４１から、サンプリングされた全てのフレームの自己速度ｖを読み出し、これらの自己速度ｖから最大速度ｖmaxを抽出する（ステップＳ８０２）。そして、最大速度抽出部４２は、最大速度ｖmaxを音量低下制御部４４に出力する。
【0086】
音量制御部１２は、視聴者による操作に従い、一人称視点映像Ｅ（図１に示した自己速度推定部１１が入力した一人称視点映像Ｅと同じ映像）の視聴開始の操作があったか否かを判定する（ステップＳ８０３）。音量制御部１２は、ステップＳ８０３において、視聴開始の操作がないと判定した場合（ステップＳ８０３：Ｎ）、当該操作があるまで待機する。
【0087】
音量制御部１２は、ステップＳ８０３において、視聴開始の操作があったと判定した場合（ステップＳ８０３：Ｙ）、低周波音声抽出部４３は、一人称視点映像Ｅを入力し、一人称視点映像Ｅから、低周波音声信号Ｓ、映像信号、及び低周波音声信号Ｓ以外の音声信号を抽出する（ステップＳ８０４）。
【0088】
この場合、低周波音声抽出部４３は、低周波音声信号Ｓとして、予め低周波のみを収録した音源の音声信号を抽出するようにしてもよい。
【0089】
例えば、８Ｋの映像信号及び２２．２ｃｈの音声信号からなる一人称視点映像Ｅでは、０．２ｃｈに、ＬＦＥ（低音増強（Low Frequency Effect）用チャンネル）と呼ばれる１２０Ｈｚ以下の低周波音声が用いられる。この場合、低周波音声抽出部４３は、低周波音声信号Ｓとして、このＬＦＥの音声信号を抽出することにより、後段の触覚デバイス７においてＬＦＥの音声信号を利用することで、視聴者は、振動に適した触覚刺激を得ることができる。
【0090】
また、ＬＦＥのような低周波音声を用意できない場合、ミックスされた音声信号を利用するようにしてもよい。つまり、低周波音声抽出部４３は、ミックスされた音声信号の低周波成分を強調し、高周波部分を抑えるようにイコライジングすることで、低周波音声信号Ｓを疑似的に生成することができる。
【0091】
低周波音声抽出部４３は、低周波音声信号Ｓを音量低下制御部４４に出力し、映像信号、及び低周波音声信号Ｓ以外の音声信号（その他の音声信号）を合成部４５に出力する。
【0092】
音量低下制御部４４は、最大速度抽出部４２から最大速度ｖmaxを入力すると共に、低周波音声抽出部４３から低周波音声信号Ｓを入力する。また、音量低下制御部４４は、メモリ４１から、サンプリングされた全てのフレームにつき最初から順番に、自己速度ｖを読み出す（ステップＳ８０５）。そして、音量低下制御部４４は、メモリ４１から読み出された自己速度ｖが、所定の（予め設定された）閾値以下であるか否かを判定する（ステップＳ８０６）。
【0093】
音量低下制御部４４は、ステップＳ８０６において、自己速度ｖが閾値以下であると判定した場合（ステップＳ８０６：Ｙ）、自己速度ｖ及び最大速度ｖmaxに基づき、自己速度ｖに対応するフレームの低周波音声信号Ｓの音量Ａを下げて、新たな低周波音声信号Ｓ’を生成し（ステップＳ８０７）、ステップＳ８０９へ移行する。そして、音量低下制御部４４は、新たな低周波音声信号Ｓ’を合成部４５に出力する。
【0094】
例えば音量低下制御部４４は、以下の式により、自己速度ｖの大きさに比例するように、自己速度ｖに対応するフレームの低周波音声信号Ｓの音量Ａを下げて、音量Ａnewを有する新たな低周波音声信号Ｓ’を生成する。
［数２］
Ａnew＝（ｖ／ｖmax）Ａ ・・・（２）
［数２］
Ａnew＝（ｖ／ｖmax）Ａ ・・・（２）
【0095】
ここで、自己速度ｖに対応するフレームの低周波音声信号Ｓとは、自己速度ｖに対応するフレームの時点から、次のフレームの直前の時点までの間における音声信号である。
【0096】
一方、音量低下制御部４４は、ステップＳ８０６において、自己速度ｖが閾値以下でない、すなわち自己速度ｖが閾値よりも大きいと判定した場合（ステップＳ８０６：Ｎ）、低周波音声信号Ｓの音量Ａを変えることなく、低周波音声信号Ｓをそのまま新たな低周波音声信号Ｓ’として設定し（ステップＳ８０８）、ステップＳ８０９へ移行する。つまり、音量低下制御部４４は、低周波音声信号Ｓを、音量Ａnew＝Ａを有する新たな低周波音声信号Ｓ’として設定する。そして、音量低下制御部４４は、新たな低周波音声信号Ｓ’を合成部４５に出力する。
【0097】
これにより、自己速度ｖが閾値以下の場合、視聴者は、この速度状態において減速、停止、加速中等とみなされ、低周波音声信号Ｓの音量Ａが下がることとなる。つまり、音量低下制御部４４により、自己速度ｖに連動して、減速、停止、加速中等の音量Ａを低減した低周波音声信号Ｓ’が生成される。一方、自己速度ｖが閾値よりも大きい場合、低周波音声信号Ｓの音量Ａを変えることなる、同じ音量Ａnew＝Ａに設定される。
【0098】
合成部４５は、ステップＳ８０７，Ｓ８０８から移行して、音量低下制御部４４から低周波音声信号Ｓ’を入力すると共に、低周波音声抽出部４３から、映像信号、及び低周波音声信号Ｓ以外の音声信号を入力する。そして、合成部４５は、低周波音声信号Ｓ’、映像信号、及び低周波音声信号Ｓ以外の音声信号を合成し、音量制御済映像Ｅ’を求める（ステップＳ８０９）。音量制御部１２は、音量制御済映像Ｅ’を触覚提示部１３に出力する（ステップＳ８１０）。
【0099】
これにより、音量制御部１２にて、一人称視点映像Ｅのフレームにおける自己速度ｖが低速または停止の範囲において、低周波音声信号Ｓの音量Ａを下げることで、音量Ａを小さくした低周波音声信号Ｓ’を含む音量制御済映像Ｅ’が生成される。
【0100】
尚、図７に示した音量制御部１２は、さらに、メモリ４１の前段に平滑化部を備えるようにしてもよい。平滑化部は、自己速度推定部１１からサンプリングされたフレーム毎の自己速度ｖを入力する。
【0101】
平滑化部は、自己速度ｖが安定していない場合（例えば自己速度ｖの変化率が所定値以上である場合）、前後（近傍）の所定数のフレームを用いて、当該フレームの自己速度ｖのスムージング（平滑化）を行う。そして、平滑化部は、平滑化後の自己速度ｖをメモリ４１に格納する。
【0102】
（触覚提示部１３）
次に、図１に示した触覚提示部１３について詳細に説明する。図９は、５．１ｃｈ形式の一人称視点映像Ｅを再生する場合の触覚提示部１３の構成例を示す図である。この例は、５．１ｃｈ形式（Ｌ，Ｒ，Ｃ，ＳＬ，ＳＲ，ＬＦＥ）の音声信号のうち、Ｌ，Ｒ，ＬＦＥの３チャンネルの音声信号を使用している場合を示している。
次に、図１に示した触覚提示部１３について詳細に説明する。図９は、５．１ｃｈ形式の一人称視点映像Ｅを再生する場合の触覚提示部１３の構成例を示す図である。この例は、５．１ｃｈ形式（Ｌ，Ｒ，Ｃ，ＳＬ，ＳＲ，ＬＦＥ）の音声信号のうち、Ｌ，Ｒ，ＬＦＥの３チャンネルの音声信号を使用している場合を示している。
【0103】
この触覚提示部１３は、抽出部５１及び増幅部５２を備えている。尚、図９では、映像信号及びＬ，Ｒの音声信号を増幅する構成については省略してある。
【0104】
抽出部５１は、音量制御部１２から音量制御済映像Ｅ’を入力し、音量制御済映像Ｅ’から、低周波音声信号Ｓ’としてＬＦＥの音声信号を抽出すると共に、映像信号及びＬ（左），Ｒ（右）の音声信号を抽出する。抽出部５１は、ＬＦＥの音声信号を増幅部５２に出力し、増幅部５２は、ＬＦＥの音声信号を増幅して触覚デバイス７及びスピーカ９へ出力する。また、抽出部５１は、映像信号をディスプレイ８へ出力し、Ｌ，Ｒの音声信号をスピーカ９へ出力する。
【0105】
触覚デバイス７は、増幅部５２からＬＦＥの音声信号を入力し、ＬＦＥの音声信号の音量Ａnewが小さいほど、小さい振動を視聴者へ提示し、ＬＦＥの音声信号の音量Ａnewが大きいほど、大きい振動を視聴者へ提示する。
【0106】
これにより、視聴者は、触覚提示部１３からＬＦＥの音声信号を入力した触覚デバイス７、映像信号を入力したディスプレイ８、及びＬ，Ｒ，ＬＦＥの音声信号を入力したスピーカ９を介して、一人称視点映像Ｅを視聴すると共に、一人称視点映像Ｅに連動した触覚刺激を受けることができる。
【0107】
特に、一人称視点映像Ｅのフレームにおける自己速度ｖが高速の範囲において、低周波音声信号Ｓの音量Ａが変わらないため、視聴者は、通常の触覚刺激を受けることができる。一方、一人称視点映像Ｅのフレームにおける自己速度ｖが低速または停止の範囲において、低周波音声信号Ｓの音量Ａが下がることで、視聴者は、通常よりも弱い触覚刺激を受けることができる。
【0108】
ここで、ＬＦＥの音声信号である低周波音声信号Ｓ’が触覚デバイス７へ出力され、低周波音声信号Ｓ’が触覚刺激に変換されるのは、一般に、人間が２００Ｈｚ以下程度の低い周波数でのみ触覚刺激を受けることができ、音声信号の周波数が高い場合は、適した触覚刺激を受けることができないからである。
【0109】
尚、抽出部５１は、音量制御済映像Ｅ’から、低周波音声信号Ｓ’としてＬＦＥの音声信号を抽出すると共に、映像信号及びＬ（左），Ｒ（右）の音声信号を抽出し、ＬＦＥの音声信号を、増幅部５２を経由して触覚デバイス７へ出力し、映像信号をディスプレイ８へ出力し、Ｌ（左），Ｒ（右）の音声信号をスピーカ９へ出力するようにしてもよい。
【0110】
以上のように、第１の触覚提示装置１によれば、自己速度推定部１１は、一人称視点映像Ｅをサンプリングして時系列の複数のフレームを取得し、複数のフレームのそれぞれについて、所定の物体をマスクしたマスク画像を生成する。そして、自己速度推定部１１は、ＮＮ３１を用いて、連続する所定数のフレーム及びこれに対応する同じ数のマスク画像に基づき、並進ベクトルtranslation（ｘ，ｙ，ｚ）を推定し、並進ベクトルtranslation（ｘ，ｙ，ｚ）に基づいて自己速度ｖを推定する。
【0111】
音量制御部１２は、サンプリングされた全てのフレームの自己速度ｖから、最大速度ｖmaxを抽出し、視聴開始の操作があると、一人称視点映像Ｅから低周波音声信号Ｓ等を抽出する。そして、音量制御部１２は、自己速度ｖが所定の閾値以下の場合、最大速度ｖmax及び自己速度ｖに基づき、当該自己速度ｖのフレームに対応する低周波音声信号Ｓの音量Ａを下げることで、新たな低周波音声信号Ｓ’を生成し、低周波音声信号Ｓ’を含む音量制御済映像Ｅ’を合成する。
【0112】
触覚提示部１３は、音量制御済映像Ｅ’から低周波音声信号Ｓ’を抽出し、低周波音声信号Ｓ’を触覚デバイス７へ出力する。
【0113】
これにより、自己速度ｖが所定の閾値以下の場合に（低速または停止の範囲において）、触覚デバイス７には、音量Ａを下げた低周波音声信号Ｓ’が入力され、振動を小さくすることができる。つまり、自己速度ｖが０または小さい場合に、環境音及びＢＧＭ等の背景音が反映された振動による触覚刺激を抑えることができ、映像による視覚と振動による触覚とのマッチングを図ることができる。
【0114】
したがって、視聴者が一人称視点映像Ｅを視聴する際に、触覚提示装置１により、没入感向上に寄与する触覚刺激を提示するための情報を生成することができ、視聴者は、自己速度ｖが低速または停止の範囲において、背景音の影響を抑えた振動刺激を受けることができ、没入感を向上させることができる。
【0115】
〔触覚提示装置／第２の例〕
次に、第２の触覚提示装置について説明する。図１３は、第２の触覚提示装置の構成例を示すブロック図である。この触覚提示装置２は、音量制御部１２及び触覚提示部１３を備えている。
次に、第２の触覚提示装置について説明する。図１３は、第２の触覚提示装置の構成例を示すブロック図である。この触覚提示装置２は、音量制御部１２及び触覚提示部１３を備えている。
【0116】
触覚提示装置２は、一人称視点映像Ｅに含まれる時系列の複数のフレームの予め設定された自己速度ｖを入力すると共に、一人称視点映像Ｅを入力し、自己速度ｖに基づいて、振動の元となる低周波音声信号Ｓの音量Ａを制御して音量制御済映像Ｅ’を生成し、音量制御済映像Ｅ’から制御後の低周波音声信号Ｓ’を抽出して触覚デバイス７へ出力する。これにより、視聴者による一人称視点映像Ｅの視聴時の没入感を向上させることができる。
【0117】
図１に示した触覚提示装置１とこの触覚提示装置２とを比較すると、両触覚提示装置１，２は、音量制御部１２及び触覚提示部１３を備えている点で共通し、触覚提示装置２は、自己速度推定部１１を備えていない点で触覚提示装置１と相違する。
【0118】
つまり、図１に示した触覚提示装置１は、自己速度推定部１１において、一人称視点映像Ｅを入力し、当該一人称視点映像Ｅからサンプリングされたフレーム毎の自己速度ｖを推定する。これに対し、触覚提示装置２は、自己速度ｖを推定する処理を行わず、予め設定された、一人称視点映像Ｅからサンプリングされたフレーム毎の自己速度ｖを入力する。
【0119】
音量制御部１２及び触覚提示部１３は、図１に示した音量制御部１２及び触覚提示部１３と同じ処理を行うため、詳細な説明は省略する。
【0120】
以上のように、第２の触覚提示装置２によれば、第１の触覚提示装置１と同様に、視聴者が一人称視点映像Ｅを視聴する際に、没入感向上に寄与する触覚刺激を提示するための情報を生成することができ、視聴者は、自己速度ｖが低速または停止の範囲において、背景音の影響を抑えた振動刺激を受けることができ、没入感を向上させることができる。
【0121】
〔自己速度推定装置／第１の例〕
次に、自己速度推定装置について説明する。自己速度推定装置は、一人称視点映像Ｅにおける視聴者の移動速度を自己速度ｖとして推定する技術分野に属する装置である。まず、第１の自己速度推定装置について説明する。
次に、自己速度推定装置について説明する。自己速度推定装置は、一人称視点映像Ｅにおける視聴者の移動速度を自己速度ｖとして推定する技術分野に属する装置である。まず、第１の自己速度推定装置について説明する。
【0122】
図１４は、第１の自己速度推定装置の構成例を示すブロック図である。この自己速度推定装置３は、フレームサンプリング処理部２１、マスク画像生成処理部２２及び自己速度推定処理部２３を備えている。
【0123】
自己速度推定装置３は、一人称視点映像Ｅから所定間隔にてサンプリングされた時系列の複数のフレームのそれぞれについて、所定の物体をマスクしたマスク画像を生成し、ＮＮ３１を用いて、連続する所定数のフレーム及びこれに対応する同じ数のマスク画像に基づき、並進ベクトルtranslation（ｘ，ｙ，ｚ）を推定し、並進ベクトルtranslation（ｘ，ｙ，ｚ）に基づいて自己速度ｖを推定することで、精度の高い自己速度ｖを得るものである。
【0124】
この自己速度推定装置３は、図３に示した自己速度推定部１１－１と同じ構成の下で同じ処理を行い、一人称視点映像Ｅからサンプリングされたフレーム毎の自己速度ｖを出力する。
【0125】
フレームサンプリング処理部２１、マスク画像生成処理部２２及び自己速度推定処理部２３は、図３に示したフレームサンプリング処理部２１、マスク画像生成処理部２２及び自己速度推定処理部２３と同じであるため、詳細な説明は省略する。
【0126】
以上のように、第１の自己速度推定装置３によれば、フレームサンプリング処理部２１は、一人称視点映像Ｅから所定間隔にて時系列の複数のフレームをサンプリングし、マスク画像生成処理部２２は、複数のフレームのそれぞれについて、所定の物体をマスクしたマスク画像を生成する。
【0127】
自己速度推定処理部２３は、ＮＮ３１を用いて、所定数（例えば３枚）のフレーム及びこれに対応する同じ数のマスク画像から、マスク画像にてマスクされた物体を除外するように、並進ベクトルtranslation（ｘ，ｙ，ｚ）等を推定し、並進ベクトルtranslation（ｘ，ｙ，ｚ）に基づいて、自己速度ｖを算出する。
【0128】
これにより、マスク画像を用いることで、自己速度ｖの算出に用いる並進ベクトルtranslation（ｘ，ｙ，ｚ）を推定する際に影響を与える可能性のある対向車、歩行者等が除外されるため、精度の高い並進ベクトルtranslation（ｘ，ｙ，ｚ）を得ることができ、結果として、精度の高い自己速度ｖを得ることができる。
【0129】
〔自己速度推定装置／第２の例〕
次に、第２の自己速度推定装置について説明する。図１５は、第２の自己速度推定装置の構成例を示すブロック図である。この自己速度推定装置４は、フレームサンプリング処理部２１、マスク画像生成処理部２２、自己速度推定処理部２３及びトリミング処理部２４を備えている。
次に、第２の自己速度推定装置について説明する。図１５は、第２の自己速度推定装置の構成例を示すブロック図である。この自己速度推定装置４は、フレームサンプリング処理部２１、マスク画像生成処理部２２、自己速度推定処理部２３及びトリミング処理部２４を備えている。
【0130】
自己速度推定装置４は、一人称視点映像Ｅ１を入力し、一人称視点映像Ｅ１から所定間隔にてサンプリングされた時系列の複数のフレームのそれぞれについて、トリミングを行い、トリミング後のフレームについて、所定の物体をマスクしたマスク画像を生成し、ＮＮ３１を用いて、連続する所定数のトリミング後のフレーム及びこれに対応する同じ数のマスク画像に基づき、並進ベクトルtranslation（ｘ，ｙ，ｚ）を推定し、並進ベクトルtranslation（ｘ，ｙ，ｚ）に基づいて自己速度ｖを推定することで、一層精度の高い自己速度ｖを得るものである。
【0131】
この自己速度推定装置４は、図６に示した自己速度推定部１１－２と同じ構成の下で同じ処理を行い、一人称視点映像Ｅ１からサンプリング及びトリミングされたフレーム毎の自己速度ｖを出力する。
【0132】
フレームサンプリング処理部２１、マスク画像生成処理部２２、自己速度推定処理部２３及びトリミング処理部２４は、図６に示したフレームサンプリング処理部２１、マスク画像生成処理部２２、自己速度推定処理部２３及びトリミング処理部２４と同じであるため、詳細な説明は省略する。
【0133】
以上のように、第２の自己速度推定装置４によれば、フレームサンプリング処理部２１は、一人称視点映像Ｅ１から所定間隔にて時系列の複数のフレームをサンプリングし、トリミング処理部２４は、複数のフレームのそれぞれに対してトリミングを行い、マスク画像生成処理部２２は、トリミング後の複数のフレームのそれぞれについて、所定の物体をマスクしたマスク画像を生成する。
【0134】
自己速度推定処理部２３は、ＮＮ３１を用いて、所定数（例えば３枚）のフレーム及びこれに対応する同じ数のマスク画像から、マスク画像にてマスクされた物体を除外するように、並進ベクトルtranslation（ｘ，ｙ，ｚ）等を推定し、並進ベクトルtranslation（ｘ，ｙ，ｚ）に基づいて、自己速度ｖを算出する。
【0135】
これにより、自己速度推定装置３と同様に、マスク画像を用いることで、自己速度ｖの算出に用いる並進ベクトルtranslation（ｘ，ｙ，ｚ）を推定する際に影響を与える可能性のある対向車、歩行者等が除外されるため、精度の高い並進ベクトルtranslation（ｘ，ｙ，ｚ）を得ることができ、結果として、精度の高い自己速度ｖを得ることができる。
【0136】
また、トリミング処理部２４により、フレームから、自己速度ｖの推定に悪影響を及ぼす可能性が高い領域を除外することができるため、一層精度の高い自己速度ｖを得ることができる。
【0137】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【0138】
例えば図２及び図８に示した例では、触覚提示装置１の音量制御部１２は、サンプリングされた全てのフレームの自己速度ｖをメモリ４１に格納するようにした。そして、音量制御部１２の最大速度抽出部４２は、メモリ４１からサンプリングされた全てのフレームの自己速度ｖを読み出して最大速度ｖmaxを抽出し、視聴者による視聴開始の操作があると、音量低下制御部４４は、自己速度ｖが閾値以下である場合に、自己速度ｖ及び最大速度ｖmaxに基づき、低周波音声信号Ｓの音量Ａを下げるようにした。
【0139】
これに対し、音量低下制御部４４は、最大速度抽出部４２により抽出された最大速度ｖmaxを用いるのではなく、予め設定された最大速度ｖmaxを用いて、低周波音声信号Ｓの音量Ａを下げるようにしてもよい。この場合、音量制御部１２は、図７に示した構成例において、メモリ４１及び最大速度抽出部４２を備える必要がない。
【0140】
つまり、音量制御部１２が視聴者による視聴開始の操作を待つことなく、音量低下制御部４４は、自己速度ｖが閾値以下であるときに、自己速度推定部１１により推定された自己速度ｖ及び予め設定された最大速度ｖmaxに基づき、低周波音声信号Ｓの音量Ａを下げる。
【0141】
これにより、自己速度推定部１１が一人称視点映像Ｅを入力して自己速度ｖを推定し、音量制御部１２が低周波音声信号Ｓの音量Ａを下げて音量制御済映像Ｅ’を生成し、触覚提示部１３が低周波音声信号Ｓ’を触覚デバイス７へ出力するまでの一連の処理をリアルタイムで実現することができる。
【0142】
また、図２及び図８に示した例では、触覚提示装置１の音量制御部１２は、視聴者による視聴開始の操作があったと判定した場合に、一人称視点映像Ｅから低周波音声信号Ｓ等を抽出し、低周波音声信号Ｓの音量Ａを下げて音量制御済映像Ｅ’を生成し、触覚提示部１３は、音量制御済映像Ｅ’から低周波音声信号Ｓ’を抽出して触覚デバイス７へ出力するようにした。
【0143】
これに対し、音量制御部１２は、生成した音量制御済映像Ｅ’を図７には図示しないメモリに格納しておき、触覚提示部１３は、視聴者による視聴開始の操作がある度に、当該メモリに格納された音量制御済映像Ｅ’を繰り返し利用するようにしてもよい。
【0144】
尚、触覚提示装置１，２のハードウェア構成としては、通常のコンピュータを使用することができる。触覚提示装置１，２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。自己速度推定装置３，４についても同様である。
【0145】
触覚提示装置１に備えた自己速度推定部１１、音量制御部１２及び触覚提示部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、触覚提示装置２に備えた音量制御部１２及び触覚提示部１３の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0146】
また、自己速度推定装置３に備えたフレームサンプリング処理部２１、マスク画像生成処理部２２及び自己速度推定処理部２３の各機能、さらに、自己速度推定装置４に備えたフレームサンプリング処理部２１、マスク画像生成処理部２２、自己速度推定処理部２３及びトリミング処理部２４に備えた各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0147】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【0148】
１，２ 触覚提示装置
３，４ 自己速度推定装置
７ 触覚デバイス
８ ディスプレイ
９ スピーカ
１１ 自己速度推定部
１２ 音量制御部
１３ 触覚提示部
２１ フレームサンプリング処理部
２２ マスク画像生成処理部
２３ 自己速度推定処理部
２４ トリミング処理部
３１ ＮＮ（ニューラルネットワーク）
３２ 自己速度算出部
４１ メモリ
４２ 最大速度抽出部
４３ 低周波音声抽出部
４４ 音量低下制御部
４５ 合成部
５１ 抽出部
５２ 増幅部
Ｅ，Ｅ１ 一人称視点映像
Ｅ’ 音量制御済映像
ｖ 自己速度
ｖmax 最大速度
Ｓ，Ｓ’ 低周波音声信号
Ａ，Ａnew 音量
translation（ｘ，ｙ，ｚ） 並進ベクトル
３，４ 自己速度推定装置
７ 触覚デバイス
８ ディスプレイ
９ スピーカ
１１ 自己速度推定部
１２ 音量制御部
１３ 触覚提示部
２１ フレームサンプリング処理部
２２ マスク画像生成処理部
２３ 自己速度推定処理部
２４ トリミング処理部
３１ ＮＮ（ニューラルネットワーク）
３２ 自己速度算出部
４１ メモリ
４２ 最大速度抽出部
４３ 低周波音声抽出部
４４ 音量低下制御部
４５ 合成部
５１ 抽出部
５２ 増幅部
Ｅ，Ｅ１ 一人称視点映像
Ｅ’ 音量制御済映像
ｖ 自己速度
ｖmax 最大速度
Ｓ，Ｓ’ 低周波音声信号
Ａ，Ａnew 音量
translation（ｘ，ｙ，ｚ） 並進ベクトル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】