(58)【調査した分野】(Int.Cl.,DB名)
上記触覚コンテンツ取得部は、上記触質コンテンツ読出部により順に読み出された複数の触質コンテンツが、2つ以上の異なる触質コンテンツの組み合わせから成るパターンの繰り返しを有するか否かを判定し、繰り返しを構成している触質コンテンツ群の少なくとも1サイクル分を抽出し、これを触覚コンテンツとして生成する繰り返し抽出部を更に備えたことを特徴とする請求項6または7に記載のコンテンツ供給装置。
上記触覚コンテンツ取得部は、上記触質コンテンツ読出部により順に読み出された複数の触質コンテンツが、2つ以上の異なる触質コンテンツの組み合わせから成るパターンの繰り返しを有するか否かを判定し、繰り返しを構成している触質コンテンツ群の少なくとも1サイクル分を抽出し、これを触覚コンテンツとして生成する繰り返し抽出部を更に備え、
上記振動波形加工部は、上記繰り返し抽出部により生成された触覚コンテンツの振動情報に対する重み情報であって、上記触質モード指定部により指定された上記触質モードに応じた重み情報を生成し、生成した重み情報によって上記触覚コンテンツの振動情報を加工することを特徴とする請求項9または10に記載のコンテンツ供給装置。
上記振動波形加工部は、上記触質モード指定部により指定された触質モードに応じて、上記特徴抽出部による上記特徴箇所の抽出内容、および、上記重み情報生成部による上記重み情報の生成内容の少なくとも一方を変えることを特徴とする請求項15に記載のコンテンツ供給装置。
外部装置から通信ネットワークを介して上記触覚コンテンツを受信して上記触覚コンテンツ記憶部に記憶させる触覚コンテンツ記録部を更に備えたことを特徴とする請求項4または5に記載のコンテンツ供給装置。
外部装置から通信ネットワークを介して上記触質コンテンツを受信して上記触質コンテンツ記憶部に記憶させる触質コンテンツ記録部を更に備えたことを特徴とする請求項6〜14の何れか1項に記載のコンテンツ供給装置。
上記触質モード指定部は、上記ユーザからの上記触質モードの選択に係る指示に応じて上記触質モードを指定するように構成したことを特徴とする請求項4〜12の何れか1項に記載のコンテンツ供給装置。
上記触覚コンテンツ取得部は、上記触質モード指定部により指定された上記触質モードに応じた触覚コンテンツであって、かつ、上記ユーザからの指示に基づいて選択される音声コンテンツに関する触質パラメータに応じた触覚コンテンツを取得することを特徴とする請求項13および請求項23に記載のコンテンツ供給装置。
上記触覚コンテンツ取得部により取得される触覚コンテンツの振動をユーザに呈示した場合に期待される所定の身体的効果または心理的効果の情報を上記ユーザに提供する情報提供部を更に備えたことを特徴とする請求項23に記載のコンテンツ供給装置。
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツを取得するコンテンツ取得装置と、当該コンテンツ取得装置に通信ネットワークを介して接続されたコンテンツ提供サーバ装置とを備えて成るコンテンツ提供システムであって、
上記コンテンツ提供サーバ装置は、
上記コンテンツ取得装置を利用するユーザからの音声コンテンツの選択に係る指示に応じて、上記音声コンテンツを取得する音声コンテンツ取得部と、
上記音声コンテンツ取得部により取得された上記音声コンテンツを解析し、その解析結果に応じて、触覚に関する感覚の性質が異なる複数の触質モードのうち何れかを指定する触質モード指定部と、
上記触質モード指定部により指定された上記触質モードに応じた触覚コンテンツを取得する触覚コンテンツ取得部と、
上記触覚コンテンツ取得部により取得された触覚コンテンツを上記コンテンツ取得装置に送信する触覚コンテンツ送信部とを備え、
上記コンテンツ取得装置は、
上記触覚コンテンツ送信部により送信された上記触覚コンテンツを受信する触覚コンテンツ受信部を備え、
上記触質モード指定部は、
上記音声コンテンツ取得部により取得された上記音声コンテンツの波形情報から、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータの組み合わせを生成する触質パラメータ生成部と、
上記触質パラメータ生成部により生成された触質パラメータに基づいて、上記音声コンテンツの波形情報に関する触質特徴量を算出する触質特徴量算出部と、
上記触質特徴量算出部により算出された上記触質特徴量に応じた上記触質モードを指定するモード指定部とを備えたことを特徴とするコンテンツ提供システム。
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツを取得するコンテンツ取得装置と、当該コンテンツ取得装置に通信ネットワークを介して接続されたコンテンツ提供サーバ装置とを備えて成るコンテンツ提供システムであって、
上記コンテンツ提供サーバ装置は、
上記コンテンツ取得装置を利用するユーザからの音声コンテンツの選択に係る指示に応じて、上記音声コンテンツを取得する音声コンテンツ取得部と、
上記音声コンテンツ取得部により取得された上記音声コンテンツを解析し、その解析結果に応じて、触覚に関する感覚の性質が異なる複数の触質モードのうち何れかを指定する触質モード指定部と、
上記触質モード指定部により指定された上記触質モードに応じた触覚コンテンツを取得する触覚コンテンツ取得部と、
上記触覚コンテンツ取得部により取得された触覚コンテンツを上記コンテンツ取得装置に送信する触覚コンテンツ送信部とを備え、
上記コンテンツ取得装置は、
上記触覚コンテンツ送信部により送信された上記触覚コンテンツを受信する触覚コンテンツ受信部を備え、
上記触質モード指定部は、
上記音声コンテンツ取得部により取得された上記音声コンテンツの波形情報から、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータの組み合わせを生成する触質パラメータ生成部と、
上記触質パラメータ生成部により生成された触質パラメータの組み合わせについて、2つの組間で上記触質パラメータの差分値をそれぞれ計算することにより、n個の触質差分パラメータの組み合わせを生成する触質差分パラメータ生成部と、
上記触質差分パラメータ生成部により生成された触質差分パラメータに基づいて、上記音声コンテンツの波形情報に関する触質特徴量を算出する触質特徴量算出部と、
上記触質特徴量算出部により算出された上記触質特徴量に応じた上記触質モードを指定するモード指定部とを備えたことを特徴とするコンテンツ提供システム。
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツを取得するコンテンツ取得装置と、当該コンテンツ取得装置に通信ネットワークを介して接続されたコンテンツ提供サーバ装置とを備えて成るコンテンツ提供システムであって、
上記コンテンツ提供サーバ装置は、
上記コンテンツ取得装置を利用するユーザからの音声コンテンツの選択に係る指示に応じて、上記音声コンテンツを取得する音声コンテンツ取得部と、
上記音声コンテンツ取得部により取得された上記音声コンテンツを解析し、その解析結果に応じて、触覚に関する感覚の性質が異なる複数の触質モードのうち何れかを指定する触質モード指定部と、
上記触質モード指定部により指定された上記触質モードに応じた触覚コンテンツを取得する触覚コンテンツ取得部と、
上記触覚コンテンツ取得部により取得された触覚コンテンツを上記コンテンツ取得装置に送信する触覚コンテンツ送信部とを備え、
上記コンテンツ取得装置は、
上記触覚コンテンツ送信部により送信された上記触覚コンテンツを受信する触覚コンテンツ受信部を備え、
上記触覚コンテンツ取得部は、
上記触覚コンテンツを触覚コンテンツ記憶部から読み出す触覚コンテンツ読出部と、
上記触覚コンテンツ読出部により読み出された触覚コンテンツの振動情報に対する重み情報であって、上記触質モード指定部により指定された上記触質モードに応じた重み情報を生成し、生成した重み情報によって上記触覚コンテンツの振動情報を加工する振動波形加工部とを備えたことを特徴とするコンテンツ提供システム。
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツを取得するコンテンツ取得装置と、当該コンテンツ取得装置に通信ネットワークを介して接続されたコンテンツ提供サーバ装置とを備えて成るコンテンツ提供システムであって、
上記コンテンツ提供サーバ装置は、
上記コンテンツ取得装置を利用するユーザからの音声コンテンツの選択に係る指示に応じて、上記音声コンテンツを取得する音声コンテンツ取得部と、
上記音声コンテンツ取得部により取得された上記音声コンテンツを解析し、その解析結果に応じて、触覚に関する感覚の性質が異なる複数の触質モードのうち何れかを指定する触質モード指定部と、
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツであって、上記触質モード指定部により指定された上記触質モードに応じた触覚コンテンツを取得する触覚コンテンツ取得部と、
上記触覚コンテンツ取得部により取得された上記触覚コンテンツをコンテンツ取得装置に送信する触覚コンテンツ送信部とを備え、
上記コンテンツ取得装置は、
上記触覚コンテンツ送信部により送信された上記触覚コンテンツを受信する触覚コンテンツ受信部を備え、
上記触覚コンテンツ取得部は、
上記触覚コンテンツの生成元とする対象情報を取得する対象情報取得部と、
上記対象情報取得部により取得された対象情報から、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータの組み合わせを生成する触質パラメータ生成部と、
上記n個の触質パラメータにより特定される固有の触覚効果を持った触質コンテンツであって、複数の触質モードにそれぞれ対応した複数の触質コンテンツを、上記n個の触質パラメータの組み合わせおよび上記触質モードに対応付けて記憶する触質コンテンツ記憶部と、
上記触質パラメータ生成部により生成された上記n個の触質パラメータの組み合わせを指定して、当該指定した触質パラメータの組み合わせおよび上記触質モードに対応する触質コンテンツを上記触質コンテンツ記憶部から読み出す触質コンテンツ読出部とを備え、
上記触質コンテンツ読出部により読み出された触質コンテンツを上記触覚コンテンツとすることを特徴とするコンテンツ提供システム。
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツを取得するコンテンツ取得装置と、当該コンテンツ取得装置に通信ネットワークを介して接続されたコンテンツ提供サーバ装置とを備えて成るコンテンツ提供システムであって、
上記コンテンツ提供サーバ装置は、
上記コンテンツ取得装置を利用するユーザからの音声コンテンツの選択に係る指示に応じて、上記音声コンテンツを取得する音声コンテンツ取得部と、
上記音声コンテンツ取得部により取得された上記音声コンテンツを解析し、その解析結果に応じて、触覚に関する感覚の性質が異なる複数の触質モードのうち何れかを指定する触質モード指定部と、
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツであって、上記触質モード指定部により指定された上記触質モードに応じた触覚コンテンツを取得する触覚コンテンツ取得部と、
上記触覚コンテンツ取得部により取得された上記触覚コンテンツをコンテンツ取得装置に送信する触覚コンテンツ送信部とを備え、
上記コンテンツ取得装置は、
上記触覚コンテンツ送信部により送信された上記触覚コンテンツを受信する触覚コンテンツ受信部を備え、
上記触覚コンテンツ取得部は、
上記触覚コンテンツの生成元とする対象情報を取得する対象情報取得部と、
上記対象情報取得部により取得された対象情報から、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータの組み合わせを生成する触質パラメータ生成部と、
上記触質パラメータ生成部により生成された触質パラメータの組み合わせについて、2つの組間で上記触質パラメータの差分値をそれぞれ計算することにより、n個の触質差分パラメータの組み合わせを生成する触質差分パラメータ生成部と、
上記n個の触質差分パラメータにより特定される固有の触覚効果を持った触質コンテンツであって、複数の触質モードにそれぞれ対応した複数の触質コンテンツを、上記n個の触質差分パラメータの組み合わせおよび上記触質モードに対応付けて記憶する触質コンテンツ記憶部と、
上記触質差分パラメータ生成部により生成された上記n個の触質差分パラメータの組み合わせを指定して、当該指定した触質パラメータの組み合わせおよび上記触質モードに対応する触質コンテンツを上記触質コンテンツ記憶部から読み出す触質コンテンツ読出部とを備え、
上記触質コンテンツ読出部により読み出された触質コンテンツを上記触覚コンテンツとすることを特徴とするコンテンツ提供システム。
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツを取得するコンテンツ取得装置と、当該コンテンツ取得装置に通信ネットワークを介して接続されたコンテンツ提供サーバ装置とを備えて成るコンテンツ提供システムであって、
上記コンテンツ提供サーバ装置は、
上記コンテンツ取得装置を利用するユーザからの音声コンテンツの選択に係る指示に応じて、上記音声コンテンツを取得する音声コンテンツ取得部と、
上記音声コンテンツ取得部により取得された上記音声コンテンツを解析し、その解析結果に応じて、触覚に関する感覚の性質が異なる複数の触質モードのうち何れかを指定する触質モード指定部と、
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツであって、上記触質モード指定部により指定された上記触質モードに応じた触覚コンテンツを取得する触覚コンテンツ取得部と、
上記触覚コンテンツ取得部により取得された上記触覚コンテンツをコンテンツ取得装置に送信する触覚コンテンツ送信部とを備え、
上記コンテンツ取得装置は、
上記触覚コンテンツ送信部により送信された上記触覚コンテンツを受信する触覚コンテンツ受信部を備え、
上記触覚コンテンツ取得部は、
上記触覚コンテンツの生成元とする対象情報を取得する対象情報取得部と、
上記対象情報取得部により取得された対象情報から、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータの組み合わせを生成する触質パラメータ生成部と、
上記n個の触質パラメータにより特定される固有の触覚効果を持った触質コンテンツを、上記n個の触質パラメータの組み合わせに対応付けて記憶する触質コンテンツ記憶部と、
上記触質パラメータ生成部により生成された上記n個の触質パラメータの組み合わせを指定して、当該指定した触質パラメータの組み合わせに対応する触質コンテンツを上記触質コンテンツ記憶部から読み出す触質コンテンツ読出部と、
上記触質コンテンツ読出部により読み出された触質コンテンツの振動情報に対する重み情報であって、上記触質モード指定部により指定された上記触質モードに応じた重み情報を生成し、生成した重み情報によって上記触質コンテンツの振動情報を加工する振動波形加工部とを備え、
上記振動波形加工部により加工された触質コンテンツを上記触覚コンテンツとすることを特徴とするコンテンツ提供システム。
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツを取得するコンテンツ取得装置と、当該コンテンツ取得装置に通信ネットワークを介して接続されたコンテンツ提供サーバ装置とを備えて成るコンテンツ提供システムであって、
上記コンテンツ提供サーバ装置は、
上記コンテンツ取得装置を利用するユーザからの音声コンテンツの選択に係る指示に応じて、上記音声コンテンツを取得する音声コンテンツ取得部と、
上記音声コンテンツ取得部により取得された上記音声コンテンツを解析し、その解析結果に応じて、触覚に関する感覚の性質が異なる複数の触質モードのうち何れかを指定する触質モード指定部と、
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツであって、上記触質モード指定部により指定された上記触質モードに応じた触覚コンテンツを取得する触覚コンテンツ取得部と、
上記触覚コンテンツ取得部により取得された上記触覚コンテンツをコンテンツ取得装置に送信する触覚コンテンツ送信部とを備え、
上記コンテンツ取得装置は、
上記触覚コンテンツ送信部により送信された上記触覚コンテンツを受信する触覚コンテンツ受信部を備え、
上記触覚コンテンツ取得部は、
上記触覚コンテンツの生成元とする対象情報を取得する対象情報取得部と、
上記対象情報取得部により取得された対象情報から、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータの組み合わせを生成する触質パラメータ生成部と、
上記触質パラメータ生成部により生成された触質パラメータの組み合わせについて、2つの組間で上記触質パラメータの差分値をそれぞれ計算することにより、n個の触質差分パラメータの組み合わせを生成する触質差分パラメータ生成部と、
上記n個の触質差分パラメータにより特定される固有の触覚効果を持った触質コンテンツを、上記n個の触質差分パラメータの組み合わせに対応付けて記憶する触質コンテンツ記憶部と、
上記触質差分パラメータ生成部により生成された上記n個の触質差分パラメータの組み合わせを指定して、当該指定した触質パラメータの組み合わせに対応する触質コンテンツを上記触質コンテンツ記憶部から読み出す触質コンテンツ読出部と、
上記触質コンテンツ読出部により読み出された触質コンテンツの振動情報に対する重み情報であって、上記触質モード指定部により指定された上記触質モードに応じた重み情報を生成し、生成した重み情報によって上記触質コンテンツの振動情報を加工する振動波形加工部とを備え、
上記振動波形加工部により加工された触質コンテンツを上記触覚コンテンツとすることを特徴とするコンテンツ提供システム。
上記触覚コンテンツ取得部は、触覚コンテンツおよび音声コンテンツを含む音響コンテンツであって、上記触質モード指定部により指定された上記触質モードに応じた音響コンテンツを取得し、
上記触覚コンテンツ取得部により取得された音響コンテンツを上記コンテンツ取得装置に送信する音響コンテンツ送信部を上記触覚コンテンツ送信部に代えて備え、
上記コンテンツ取得装置は、
上記音響コンテンツ送信部により送信された上記音響コンテンツを受信する音響コンテンツ受信部を上記触覚コンテンツ受信部に代えて備えたことを特徴とする請求項26〜32の何れか1項に記載のコンテンツ提供システム。
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツを取得するコンテンツ取得装置に対して通信ネットワークを介して接続されたコンテンツ提供サーバ装置であって、
上記コンテンツ取得装置を利用するユーザからの音声コンテンツの選択に係る指示に応じて、上記音声コンテンツを取得する音声コンテンツ取得部と、
上記音声コンテンツ取得部により取得された上記音声コンテンツを解析し、その解析結果に応じて、触覚に関する感覚の性質が異なる複数の触質モードのうち何れかを指定する触質モード指定部と、
上記触質モード指定部により指定された上記触質モードに応じた触覚コンテンツを取得する触覚コンテンツ取得部と、
上記触覚コンテンツ取得部により取得された触覚コンテンツを上記コンテンツ取得装置に送信する触覚コンテンツ送信部とを備え、
上記触質モード指定部は、
上記音声コンテンツ取得部により取得された上記音声コンテンツの波形情報から、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータの組み合わせを生成する触質パラメータ生成部と、
上記触質パラメータ生成部により生成された触質パラメータに基づいて、上記音声コンテンツの波形情報に関する触質特徴量を算出する触質特徴量算出部と、
上記触質特徴量算出部により算出された上記触質特徴量に応じた上記触質モードを指定するモード指定部とを備えたことを特徴とするコンテンツ提供サーバ装置。
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツを取得するコンテンツ取得装置に対して通信ネットワークを介して接続されたコンテンツ提供サーバ装置であって、
上記コンテンツ取得装置を利用するユーザからの音声コンテンツの選択に係る指示に応じて、上記音声コンテンツを取得する音声コンテンツ取得部と、
上記音声コンテンツ取得部により取得された上記音声コンテンツを解析し、その解析結果に応じて、触覚に関する感覚の性質が異なる複数の触質モードのうち何れかを指定する触質モード指定部と、
上記触質モード指定部により指定された上記触質モードに応じた触覚コンテンツを取得する触覚コンテンツ取得部と、
上記触覚コンテンツ取得部により取得された触覚コンテンツを上記コンテンツ取得装置に送信する触覚コンテンツ送信部とを備え、
上記触質モード指定部は、
上記音声コンテンツ取得部により取得された上記音声コンテンツの波形情報から、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータの組み合わせを生成する触質パラメータ生成部と、
上記触質パラメータ生成部により生成された触質パラメータの組み合わせについて、2つの組間で上記触質パラメータの差分値をそれぞれ計算することにより、n個の触質差分パラメータの組み合わせを生成する触質差分パラメータ生成部と、
上記触質差分パラメータ生成部により生成された触質差分パラメータに基づいて、上記音声コンテンツの波形情報に関する触質特徴量を算出する触質特徴量算出部と、
上記触質特徴量算出部により算出された上記触質特徴量に応じた上記触質モードを指定するモード指定部とを備えたことを特徴とするコンテンツ提供サーバ装置。
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツを取得するコンテンツ取得装置に対して通信ネットワークを介して接続されたコンテンツ提供サーバ装置であって、
上記コンテンツ取得装置を利用するユーザからの音声コンテンツの選択に係る指示に応じて、上記音声コンテンツを取得する音声コンテンツ取得部と、
上記音声コンテンツ取得部により取得された上記音声コンテンツを解析し、その解析結果に応じて、触覚に関する感覚の性質が異なる複数の触質モードのうち何れかを指定する触質モード指定部と、
上記触質モード指定部により指定された上記触質モードに応じた触覚コンテンツを取得する触覚コンテンツ取得部と、
上記触覚コンテンツ取得部により取得された触覚コンテンツを上記コンテンツ取得装置に送信する触覚コンテンツ送信部とを備え、
上記触覚コンテンツ取得部は、
上記触覚コンテンツを触覚コンテンツ記憶部から読み出す触覚コンテンツ読出部と、
上記触覚コンテンツ読出部により読み出された触覚コンテンツの振動情報に対する重み情報であって、上記触質モード指定部により指定された上記触質モードに応じた重み情報を生成し、生成した重み情報によって上記触覚コンテンツの振動情報を加工する振動波形加工部とを備えたことを特徴とするコンテンツ提供サーバ装置。
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツを取得するコンテンツ取得装置に対して通信ネットワークを介して接続されたコンテンツ提供サーバ装置であって、
触覚に関する感覚の性質が異なる複数の触質モードのうち何れかを指定する触質モード指定部と、
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツであって、上記触質モード指定部により指定された上記触質モードに応じた触覚コンテンツを取得する触覚コンテンツ取得部と、
上記触覚コンテンツ取得部により取得された上記触覚コンテンツをコンテンツ取得装置に送信する触覚コンテンツ送信部とを備え、
上記触覚コンテンツ取得部は、
上記触覚コンテンツの生成元とする対象情報を取得する対象情報取得部と、
上記対象情報取得部により取得された対象情報から、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータの組み合わせを生成する触質パラメータ生成部と、
上記n個の触質パラメータにより特定される固有の触覚効果を持った触質コンテンツであって、複数の触質モードにそれぞれ対応した複数の触質コンテンツを、上記n個の触質パラメータの組み合わせおよび上記触質モードに対応付けて記憶する触質コンテンツ記憶部と、
上記触質パラメータ生成部により生成された上記n個の触質パラメータの組み合わせを指定して、当該指定した触質パラメータの組み合わせおよび上記触質モードに対応する触質コンテンツを上記触質コンテンツ記憶部から読み出す触質コンテンツ読出部とを備え、
上記触質コンテンツ読出部により読み出された触質コンテンツを上記触覚コンテンツとすることを特徴とするコンテンツ提供サーバ装置。
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツを取得するコンテンツ取得装置に対して通信ネットワークを介して接続されたコンテンツ提供サーバ装置であって、
触覚に関する感覚の性質が異なる複数の触質モードのうち何れかを指定する触質モード指定部と、
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツであって、上記触質モード指定部により指定された上記触質モードに応じた触覚コンテンツを取得する触覚コンテンツ取得部と、
上記触覚コンテンツ取得部により取得された上記触覚コンテンツをコンテンツ取得装置に送信する触覚コンテンツ送信部とを備え、
上記触覚コンテンツ取得部は、
上記触覚コンテンツの生成元とする対象情報を取得する対象情報取得部と、
上記対象情報取得部により取得された対象情報から、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータの組み合わせを生成する触質パラメータ生成部と、
上記触質パラメータ生成部により生成された触質パラメータの組み合わせについて、2つの組間で上記触質パラメータの差分値をそれぞれ計算することにより、n個の触質差分パラメータの組み合わせを生成する触質差分パラメータ生成部と、
上記n個の触質差分パラメータにより特定される固有の触覚効果を持った触質コンテンツであって、複数の触質モードにそれぞれ対応した複数の触質コンテンツを、上記n個の触質差分パラメータの組み合わせおよび上記触質モードに対応付けて記憶する触質コンテンツ記憶部と、
上記触質差分パラメータ生成部により生成された上記n個の触質差分パラメータの組み合わせを指定して、当該指定した触質パラメータの組み合わせおよび上記触質モードに対応する触質コンテンツを上記触質コンテンツ記憶部から読み出す触質コンテンツ読出部とを備え、
上記触質コンテンツ読出部により読み出された触質コンテンツを上記触覚コンテンツとすることを特徴とするコンテンツ提供サーバ装置。
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツを取得するコンテンツ取得装置に対して通信ネットワークを介して接続されたコンテンツ提供サーバ装置であって、
触覚に関する感覚の性質が異なる複数の触質モードのうち何れかを指定する触質モード指定部と、
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツであって、上記触質モード指定部により指定された上記触質モードに応じた触覚コンテンツを取得する触覚コンテンツ取得部と、
上記触覚コンテンツ取得部により取得された上記触覚コンテンツをコンテンツ取得装置に送信する触覚コンテンツ送信部とを備え、
上記触覚コンテンツ取得部は、
上記触覚コンテンツの生成元とする対象情報を取得する対象情報取得部と、
上記対象情報取得部により取得された対象情報から、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータの組み合わせを生成する触質パラメータ生成部と、
上記n個の触質パラメータにより特定される固有の触覚効果を持った触質コンテンツを、上記n個の触質パラメータの組み合わせに対応付けて記憶する触質コンテンツ記憶部と、
上記触質パラメータ生成部により生成された上記n個の触質パラメータの組み合わせを指定して、当該指定した触質パラメータの組み合わせに対応する触質コンテンツを上記触質コンテンツ記憶部から読み出す触質コンテンツ読出部と、
上記触質コンテンツ読出部により読み出された触質コンテンツの振動情報に対する重み情報であって、上記触質モード指定部により指定された上記触質モードに応じた重み情報を生成し、生成した重み情報によって上記触質コンテンツの振動情報を加工する振動波形加工部とを備え、
上記振動波形加工部により加工された触質コンテンツを上記触覚コンテンツとすることを特徴とするコンテンツ提供サーバ装置。
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツを取得するコンテンツ取得装置に対して通信ネットワークを介して接続されたコンテンツ提供サーバ装置であって、
触覚に関する感覚の性質が異なる複数の触質モードのうち何れかを指定する触質モード指定部と、
触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツであって、上記触質モード指定部により指定された上記触質モードに応じた触覚コンテンツを取得する触覚コンテンツ取得部と、
上記触覚コンテンツ取得部により取得された上記触覚コンテンツをコンテンツ取得装置に送信する触覚コンテンツ送信部とを備え、
上記触覚コンテンツ取得部は、
上記触覚コンテンツの生成元とする対象情報を取得する対象情報取得部と、
上記対象情報取得部により取得された対象情報から、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータの組み合わせを生成する触質パラメータ生成部と、
上記触質パラメータ生成部により生成された触質パラメータの組み合わせについて、2つの組間で上記触質パラメータの差分値をそれぞれ計算することにより、n個の触質差分パラメータの組み合わせを生成する触質差分パラメータ生成部と、
上記n個の触質差分パラメータにより特定される固有の触覚効果を持った触質コンテンツを、上記n個の触質差分パラメータの組み合わせに対応付けて記憶する触質コンテンツ記憶部と、
上記触質差分パラメータ生成部により生成された上記n個の触質差分パラメータの組み合わせを指定して、当該指定した触質パラメータの組み合わせに対応する触質コンテンツを上記触質コンテンツ記憶部から読み出す触質コンテンツ読出部と、
上記触質コンテンツ読出部により読み出された触質コンテンツの振動情報に対する重み情報であって、上記触質モード指定部により指定された上記触質モードに応じた重み情報を生成し、生成した重み情報によって上記触質コンテンツの振動情報を加工する振動波形加工部とを備え、
上記振動波形加工部により加工された触質コンテンツを上記触覚コンテンツとすることを特徴とするコンテンツ提供サーバ装置。
上記触覚コンテンツ取得部により取得された触覚コンテンツと、上記音声コンテンツ受信部により受信された音声コンテンツとを含む音響コンテンツを生成する音響コンテンツ生成部を更に備え、
上記音響コンテンツ生成部により生成された上記音響コンテンツを上記コンテンツ取得装置に送信する音響コンテンツ送信部を、上記触覚コンテンツ送信部および上記音声コンテンツ送信部に代えて備えたことを特徴とする請求項44に記載のコンテンツ提供サーバ装置。
上記触覚コンテンツ取得部は、上記触質モード指定部により指定された上記触質モードに応じた触覚コンテンツおよび音声コンテンツを含む音響コンテンツを取得するようになされ、
上記触覚コンテンツ取得部により取得された上記音響コンテンツを上記コンテンツ取得装置に送信する音響コンテンツ送信部を上記触覚コンテンツ送信部に代えて備えたことを特徴とする請求項37〜43の何れか1項に記載のコンテンツ提供サーバ装置。
【発明を実施するための最良の形態】
【0009】
(第1の実施形態)
以下、本発明の第1の実施形態を図面に基づいて説明する。第1の実施形態では、触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツをコンテンツ利用機器に供給するためのコンテンツ供給装置について説明する。
【0010】
図1は、本実施形態によるコンテンツ供給装置100と、当該コンテンツ供給装置100から供給される触覚コンテンツを利用するコンテンツ利用機器500との関係を模式的に示す図である。
【0011】
図1(a)に示すように、本実施形態のコンテンツ供給装置100は、コンテンツ利用機器500に対して有線で接続され得る。この場合、コンテンツ供給装置100は、触覚コンテンツを有線のケーブル等を介してコンテンツ利用機器500に供給する。
【0012】
また、
図1(b)に示すように、本実施形態のコンテンツ供給装置100は、コンテンツ利用機器500に対して無線で接続され得る。この場合、コンテンツ供給装置100は、所定の無線規格による通信を利用して触覚コンテンツをコンテンツ利用機器500に供給する。
【0013】
また、
図1(c)に示すように、本実施形態のコンテンツ供給装置100は、コンテンツ利用機器の中に内蔵あるいはコンテンツ利用機器500に装着し得る。この場合、コンテンツ供給装置100は、コンテンツ利用機器500が有する内部バスや信号線などを介して、コンテンツ利用機器500の振動付与部に触覚コンテンツの振動情報を供給する。
【0014】
コンテンツ利用機器500は、振動を媒体として所与の機能を発揮する機能を少なくとも有する機器である。例えば、マッサージ器、美容器、車載機器、家電、音響機器、VR(仮想現実)やAR(拡張現実)、MR(複合現実)などの仮想体験型機器、医療機器、福祉用機器、玩具、ゲーム機またはそのコントローラ、スイッチやボタン、振動アラーム、振動フィードバック付きタッチパネルなどが該当する。
【0015】
なお、ここに挙げた機器はコンテンツ利用機器500のほんの一例であり、これらに限定されるものではない。また、コンテンツ利用機器500は、専ら振動を媒体として所与の動作をする機能を備えた機器であってもよいし、振動以外の情報(例えば、音声、映像など)を媒体として所与の動作をする機能を更に備えた機器であってもよい。
【0016】
コンテンツ供給装置100は、少なくとも触覚コンテンツを記憶し(後述するように、外部装置から受信したものを保存あるいは一時的に記憶する場合を含む)、記憶した触覚コンテンツをコンテンツ利用機器500に供給する機能を有するものであればよい。あるいは、コンテンツ供給装置100は、触覚コンテンツを生成するために必要な情報を記憶し(これについても、外部装置から受信したものを保存あるいは一時的に記憶する場合を含む)、当該情報から触覚コンテンツを生成してコンテンツ利用機器500に供給する機能を有するものであってもよい。
【0017】
以上のような機能を有するコンテンツ供給装置100として、例えば、パーソナルコンピュータ、スマートフォン、タブレット端末、サーバ装置、車載機、ゲーム機など、または本実施形態のコンテンツ提供用に作製した専用端末を用いることが可能である。
図1(c)のようにコンテンツ利用機器500がコンテンツ供給装置100を内蔵または装着する形態の場合は、コンテンツ供給装置100は、上述のように例示したマッサージ器、美容器、車載機器、家電、音響機器、VR/AR/MR用機器、医療機器、福祉用機器、玩具、ゲーム機、さらにはパーソナルコンピュータやスマートフォン、タブレット端末、サーバ装置などが備える構成であってもよい。
【0018】
図2A〜
図2Cは、第1の実施形態によるコンテンツ供給装置100の機能構成例を示すブロック図である。ここでは一例として、コンテンツ供給装置100は、触覚コンテンツの他に音声コンテンツをコンテンツ利用機器500に供給するものであるとして説明する。なお、本明細書において、音声コンテンツとは、音声を含むコンテンツのことであり、例えば音楽、発話、効果音、アラーム音などの音声のみを主データとするコンテンツに限らず、動画や映像など他のコンテンツに付随する音声コンテンツであってもよい。
【0019】
図2A〜
図2Cに示すように、第1の実施形態によるコンテンツ供給装置100は、その機能構成として、触覚コンテンツ取得部11、触覚コンテンツ供給部12(特許請求の範囲の触覚コンテンツ供給部および触覚コンテンツ提供部に相当)、触質モード指定部13、音声コンテンツ取得部14および音声コンテンツ供給部15を備えている。
【0020】
上記各機能ブロック11〜15は、ハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック11〜15は、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたコンテンツ提供用プログラムが動作することによって実現される。
【0021】
音声コンテンツ取得部14は、ユーザからの音声コンテンツの選択に係る指示に応じて、音声コンテンツを取得する。ここでいう音声コンテンツの選択は、音声コンテンツが付随している動画や映像などのコンテンツを選択することを含む。また、
図1(c)に示すタイプのコンテンツ利用機器500として音声合成装置などを用いる場合は、音声合成の元の情報を選択すること(例えば、文章などを音声合成する場合におけるテキスト情報の選択や、機能説明の読み上げ等を合成音声にて行う場合における各種機能ボタンの選択など)も音声コンテンツの選択の一例として含まれる。この場合、合成された音声が音声コンテンツに相当する。
【0022】
図2Aおよび
図2Bの例において、音声コンテンツ取得部14は、音声コンテンツ読出部141および音声コンテンツ記憶部142を備えている。音声コンテンツ記憶部142は、ハードディスク、半導体メモリ等の不揮発性の記憶媒体であり、ユーザが明示的に消去の指示をしなければ音声コンテンツを保存し続けることが可能である。
【0023】
音声コンテンツ読出部141は、音声コンテンツ記憶部142に記憶されている1以上の音声コンテンツの中から、ユーザ操作により選択された音声コンテンツを読み出すことによって音声コンテンツを取得する。ユーザ操作による音声コンテンツの選択は、例えば、コンテンツ供給装置100またはコンテンツ利用機器500が備える操作部、あるいはコンテンツ供給装置100またはコンテンツ利用機器500がディスプレイ上に提供する所定のグラフィカルユーザインタフェースをユーザが操作することによって行うことが可能である。
【0024】
なお、
図2Aは、1以上の音声コンテンツが音声コンテンツ記憶部142にあらかじめ記憶されている形態を示している。また、
図2Bは、コンテンツ供給装置100が外部装置(例えば、サーバ)700と通信ネットワーク600を介して接続可能に構成され、外部装置700から通信ネットワーク600を介して所望の音声コンテンツを受信して音声コンテンツ記憶部142に記憶させる機能を備えた形態を示している。すなわち、
図2Bの例において、触覚コンテンツ取得部11は、音声コンテンツ記録部16を更に備えている。音声コンテンツ記録部16は、外部装置700から通信ネットワーク600を介して音声コンテンツを受信して音声コンテンツ記憶部142に記憶させる。ユーザは、好みの音声コンテンツを外部装置700からダウンロードして音声コンテンツ記憶部142に保存しておくことが可能である。
【0025】
また、
図2Cは、音声コンテンツ読出部141および音声コンテンツ記憶部142に代えて音声コンテンツ読出部141’および音声コンテンツ記憶部142’を備え、外部装置700から受信する音声コンテンツをコンテンツ利用機器500にストリーミング的に供給する形態を示している。この
図2Cにおいて、音声コンテンツ記憶部142’は、外部装置700から受信した音声コンテンツを一時的に記憶する記憶媒体であってよい。
【0026】
例えば、音声コンテンツ記録部16は、ユーザ操作により選択された音声コンテンツを外部装置700に通知する。音声コンテンツ読出部141’は、上記通知に対する応答として外部装置700から送信されて音声コンテンツ記憶部142’に一時的に記憶された音声コンテンツを読み出して音声コンテンツ供給部15に供給する。この場合、音声コンテンツ読出部141’および音声コンテンツ供給部15は、音声コンテンツ記憶部142’に一時的に記憶された音声コンテンツを読み出してコンテンツ利用機器500に供給する処理を、コンテンツ供給装置100が外部装置700から音声コンテンツを受信して音声コンテンツ記憶部142’に記憶させる処理と一連に行う。
【0027】
なお、音声コンテンツ記憶部142,142’における音声コンテンツの記憶に関して
図2A〜
図2Cの3つの形態があり得ることは、後述する第2の実施形態〜第4の実施形態においても同様である。
【0028】
音声コンテンツ供給部15は、音声コンテンツ取得部14により取得された音声コンテンツをコンテンツ利用機器500に供給する。コンテンツ利用機器500では、音声コンテンツ供給部15から供給された音声コンテンツに基づいて、音声をスピーカ等の音声出力部に出力する。音声コンテンツが映像を伴うものである場合、コンテンツ利用機器500は、音声コンテンツに基づいて音声をスピーカ等の音声出力部に出力するとともに、映像をディスプレイに出力する。
【0029】
触質モード指定部13は、触覚に関する感覚の性質が異なる複数の触質モードのうち何れかを指定する。本実施形態において、触質モード指定部13は、音声コンテンツ取得部14により取得された音声コンテンツを解析し、その解析結果に応じて触質モードを指定する。すなわち、触質モード指定部13は、音声コンテンツの波形情報が有している特徴を解析して、その特徴に応じた触質を表す触質モードを指定する。なお、この解析処理の詳細については後述する。
【0030】
触覚コンテンツ取得部11は、触質モード指定部13により指定された触質モードに応じた触覚コンテンツを取得する。なお、この触覚コンテンツの取得処理の詳細(複数のパターンがある)についても後述する。触覚コンテンツ供給部12は、触覚コンテンツ取得部11により取得された触覚コンテンツをコンテンツ利用機器500に供給する。コンテンツ利用機器500では、触覚コンテンツ供給部12から供給された触覚コンテンツに基づいて、振動を媒体とする所与の動作を実行する。
【0031】
ここで、触覚コンテンツ取得部11は、例えば、ユーザにより音声コンテンツの選択操作が行われたときに、触覚コンテンツの取得を自動的に行う。この場合、音声コンテンツの選択操作に応じて、音声コンテンツ取得部14による音声コンテンツの取得と、触覚コンテンツ取得部11による触覚コンテンツの取得とが実行される。
【0032】
あるいは、触覚コンテンツ取得部11は、音声コンテンツの選択操作とは別に、触覚コンテンツの取得を指示する操作がユーザにより行われたときに、触覚コンテンツの取得を行うようにしてもよい。この場合、音声コンテンツ取得部14による音声コンテンツの取得と触覚コンテンツ取得部11による触覚コンテンツの取得とが非同期で実行される。
【0033】
前者のように、音声コンテンツの選択操作に応じて触覚コンテンツの取得を自動的に行う場合は、コンテンツ供給装置100からコンテンツ利用機器500に対する触覚コンテンツの供給と、コンテンツ供給装置100からコンテンツ利用機器500に対する音声コンテンツの供給とを同時に行うことができる。これにより、コンテンツ利用機器500における触覚コンテンツに基づく振動の付与と、コンテンツ利用機器500における音声コンテンツに基づく音声の出力とを同時に行うことが、音声コンテンツの選択操作だけで簡単に実行可能である。
【0034】
これに対し、後者のように、音声コンテンツの選択操作と触覚コンテンツの取得指示操作とを別に行う場合でも、この2つの操作を並行することにより、コンテンツ供給装置100からコンテンツ利用機器500に対する触覚コンテンツの供給と音声コンテンツの供給とを同時に行うことが可能である。これに加え、音声コンテンツの選択操作だけを行うことにより、コンテンツ供給装置100からコンテンツ利用機器500に対して音声コンテンツの供給だけを行うことも可能である。
【0035】
以上のように音声コンテンツの選択操作と触覚コンテンツの取得指示操作とを別に行う場合において、音声コンテンツは触質モードを指定するための解析にのみ使用し、コンテンツ利用機器500には供給しないようにしてもよい。例えば、コンテンツ利用機器500が振動を媒体として動作する機能のみを有するものである場合、そのようなコンテンツ利用機器500に対する専用装置としてコンテンツ供給装置100を構成するような形態が考えられる。この場合、音声コンテンツ供給部15は省略してよい。
【0036】
なお、上述したように、触覚コンテンツ取得部11は触質モードに応じた触覚コンテンツを取得し、その触質モードは音声コンテンツを解析することによって指定されるので、音声コンテンツの選択操作と触覚コンテンツの取得指示操作とを別に行う構成としても、触覚コンテンツの取得指示操作を行うときは、基本的には音声コンテンツの選択操作も必要である。ただし、例えばデフォルトの触質モードを設定しておいて、触覚コンテンツの取得指示操作だけが行われた場合には、このデフォルトの触質モードに応じた触覚コンテンツを取得するようにしてもよい。
【0037】
また、コンテンツ供給装置100が触覚コンテンツと音声コンテンツとをコンテンツ利用機器500に供給する際に、触覚コンテンツと音声コンテンツとの組み合わせにより音響コンテンツを生成するようにしてもよい。例えば、コンテンツ供給装置100は、触覚コンテンツ取得部11により取得された触覚コンテンツを第1チャネル情報とし、音声コンテンツ取得部14により取得された音声コンテンツを第2チャネル情報とする音響コンテンツを生成し、この音響コンテンツをコンテンツ利用機器500に供給するようにしてもよい。
【0038】
なお、ここでは、触覚コンテンツと音声コンテンツとを同じコンテンツ利用機器500に供給する例を説明したが、これに限定されない。例えば、触覚コンテンツをコンテンツ利用機器500に供給する一方、音声コンテンツをコンテンツ利用機器500とは異なるコンテンツ利用機器(図示せず)に供給する構成としてもよい。例えば、触覚コンテンツをマッサージ器に供給し、音声コンテンツを音声再生装置に供給するといった構成が可能である。
【0039】
<触質モード指定部13の構成例>
次に、触質モード指定部13の構成例について説明する。
図3は、触質モード指定部13の機能構成例を示すブロック図である。ここでは、
図3(a)および(b)において、触質モード指定部13に関して2つの構成例を示している。
【0040】
図3(a)に示す例において、触質モード指定部13は、その機能構成として、触質パラメータ生成部131、触質特徴量算出部132およびモード指定部133を備えている。
【0041】
触質パラメータ生成部131は、音声コンテンツ取得部14により取得された音声コンテンツの波形情報から、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータの組み合わせを2組以上生成する。例えば、触質パラメータ生成部131は、音声コンテンツの波形情報から、情報の強度に関する第1の触質パラメータと、情報の分割区間の長さに関する第2の触質パラメータとの組み合わせを2組以上生成する。
【0042】
音声コンテンツの波形情報は、強度に相当する振幅が時間軸に沿って連続的(アナログ信号の場合)または断続的(デジタルデータの場合)に連なっている情報である。この場合、情報の強度に関する第1の触質パラメータは振幅、情報の分割区間の長さに関する第2の触質パラメータは、波形情報を時間軸方向に複数に分割した場合の各分割区間の時間の長さである。強度および分割区間の長さは、何れも触感の一要素(触感の強さ、長さ)を成すものである。
【0043】
触質パラメータ生成部131は、まず、音声コンテンツの波形情報を時間軸方向に複数に分割する。次に、それぞれの分割区間から、分割区間内の代表振幅を第1の触質パラメータとして特定するとともに、分割区間の時間の長さを第2の触質パラメータとして特定することにより、第1の触質パラメータおよび第2の触質パラメータの組み合わせを2組以上生成する。
【0044】
ここで、触質パラメータ生成部131は、音声コンテンツの波形情報の全域(音声コンテンツの最初から最後まで)を対象として触質パラメータの生成を行う。なお、音声コンテンツの波形情報の全域のうち、一部の区間を指定して触質パラメータの生成を行うようにしてもよい。区間の指定は、あらかじめ定めた所定のルールに従って行う。例えば、音声コンテンツの最初から所定時間分を指定するといったことが考えられる。あるいは、対象区間を示すメタ情報を音声コンテンツごとに記憶しておき、そのメタ情報に基づいて区間を指定するようにしてもよい。
【0045】
なお、触質パラメータ生成部131は、前処理として、波形情報にローパスフィル処理を施すことにより、入力された波形情報のエンベロープを抽出し、当該エンベロープを対象として、複数の分割区間から第1の触質パラメータおよび第2の触質パラメータを特定するようにしてもよい。
【0046】
図4は、触質パラメータ生成部131による処理内容の一例を説明するための図である。
図4は、音声コンテンツ取得部14により取得された音声コンテンツの波形情報(または、触質パラメータ生成部131により前処理としてローパスフィルタ処理が施されたエンベロープ波形情報)を示している。
【0047】
触質パラメータ生成部131は、まず、
図4に示す波形情報を時間軸方向に複数に分割する。
図4では一例として、波形の振幅が極小となる時間毎に分割している。すなわち、波形の開始点から1つ目の極小値までを第1の分割区間T1、1つ目の極小値から2つ目の極小値までを第2の分割区間T2、2つ目の極小値から3つ目の極小値までを第3の分割区間T3、・・・のように、波形情報を時間軸方向に複数に分割する。
【0048】
なお、波形情報の分割のし方は、
図4に示した例に限定されない。例えば、波形の振幅が極大となる時間毎に波形情報を複数の区間に分割するようにしてもよい。あるいは、正の値の振幅および負の値の振幅がある波形情報の場合は、振幅値がゼロとなる時間毎に波形情報を複数の区間に分割するようにしてもよい。さらに別の例として、振幅値がゼロ以外の所定値となる時間毎に波形情報を複数の区間に分割するようにしてもよい。
【0049】
触質パラメータ生成部131は、それぞれの分割区間T1,T2,T3,・・・から、第1の触質パラメータとして代表振幅h1,h2,h3,・・・を特定するとともに、第2の触質パラメータとして分割区間の時間の長さt1,t2,t3,・・・を特定する。ここで、代表振幅h1,h2,h3,・・・は、それぞれの分割区間T1,T2,T3,・・・における開始点の極小値または終了点の極小値のうち値が大きい方と、分割区間T1,T2,T3,・・・における極大値との差分の値を示している。
【0050】
すなわち、分割区間T1に関しては、極小値が1つしかないので、この極小値と極大値との差分が代表振幅h1となる。分割区間T2に関しては、当該区間の開始点の極小値の方が終了点の極小値よりも大きいので、開始点の極小値と極大値との差分が代表振幅h2となる。分割区間T3に関しては、当該区間の開始点の極小値よりも終了点の極小値の方が大きいので、終了点の極小値と極大値との差分が代表振幅h3となる。
【0051】
なお、ここで示した代表振幅の特定方法は一例であり、これに限定されるものではない。例えば、それぞれの分割区間T1,T2,T3,・・・における開始点の極小値または終了点の極小値のうち値が小さい方と、分割区間T1,T2,T3,・・・における極大値との差分を代表振幅として特定するようにしてもよい。
【0052】
また、正の値の振幅および負の値の振幅がある波形情報を、振幅値がゼロとなる時間毎に分割した場合は、各分割区間における正の極大値または負の極小値を第1の触質パラメータの代表振幅として特定するようにしてもよい。ここで、負の極小値に関しては、その絶対値を第1の触質パラメータの代表振幅として特定するようにしてもよい。また、振幅値がゼロ以外の所定値となる時間毎に波形情報を分割した場合は、各分割区間における最大値または最小値と所定値との差分値を第1の触質パラメータの代表振幅として特定するようにしてもよい。
【0053】
触質特徴量算出部132は、触質パラメータ生成部131により生成された2組以上の触質パラメータ(第1の触質パラメータおよび第2の触質パラメータの2組以上の組み合わせ)に基づいて、音声コンテンツの波形情報に関する触質特徴量を算出する。本実施形態では、第1の触質パラメータと第2の触質パラメータとを用いた四則演算値を算出し、同じ四則演算値が現れる区間の長さを第1の触質特徴量として算出する。また、四則演算値の多様度を第2の触質特徴量として算出する。
【0054】
例えば、分割区間の数がk個の場合、触質特徴量算出部132は、それぞれの分割区間Ti(i=1〜k)ごとにhi/tiの値を求める。そして、同じhi/tiの値が出現する区間の長さを第1の触質特徴量P1として算出する。例えば、分割区間T1におけるh1/t1の値と、分割区間T3におけるh3/t3の値とが同じになった場合、第1の触質特徴量P1は、次の式により求められる。
P1=t1+t2
【0055】
あるいは、同じhi/tiの値が出現するまでの区間数を区間の長さとして、第1の触質特徴量P1を算出するようにしてもよい。この場合、上述した例のケースでは、分割区間T1から分割区間T3までの区間数である“2”が第1の触質特徴量P1ということになる。
【0056】
なお、同じhi/tiの値が出現する区間が複数存在する場合は、それぞれの区間ごとに第1の触質特徴量P1を算出し、その平均値を最終的な第1の触質特徴量P1として決定する。あるいは、平均値に代えて、最大値、最小値、中央値などを第1の触質特徴量P1として決定するようにしてもよい。
【0057】
また、触質特徴量算出部132は、分割区間ごとに算出した複数のhi/tiの値の分散を第2の触質特徴量P2として算出する。すなわち、第2の触質特徴量P2は、次の式により求められる。
P2=Σ(hi/ti−m)
2/k (i=1〜k)
ただし、mはhi/ti(i=1〜k)の平均値
【0058】
上記のように求められる第1の触質特徴量P1は、音声コンテンツの波長情報が潜在的に持っている触感のリズムを表している。また、第2の触質特徴量P2は、音声コンテンツの波長情報が潜在的に持っている触感の多様度を表している。本実施形態では、この触感のリズムおよび多様度を示唆する2種類の触質特徴量によって、音声コンテンツの波長情報を特徴付けるようにしている。
【0059】
なお、ここではhi/tiの値を算出しているが、他の四則演算値を算出するようにしてもよい。例えば、ti/hiの値、hi×tiの値、hi+tiの値、hi−tiの値などを算出するようにしてもよい。
【0060】
モード指定部133は、触質特徴量算出部132により算出された複数種類の触質特徴量の組み合わせに基づいて、当該組み合わせの内容に応じた触質モードを指定する。例えば、モード指定部133は、触質特徴量算出部132により算出された2種類の触質特徴量の組み合わせを所定の座標空間上にマッピングし、マッピングされた位置に応じて触質モードを指定する。
【0061】
所定の座標空間は、例えば、横軸(x軸)に第1の触質特徴量P1、縦軸(y軸)に第2の触質特徴量P2をとった2次元座標とすることが可能である。この場合、モード指定部133は、当該2次元座標空間において、(x,y)=(P1,P2)とするxy座標に応じて触質モードを指定する処理を実行する。
【0062】
図5は、モード指定部133による触質モードの指定内容の一例を示す図である。例えば、
図5(a)に示すように、モード指定部133は、横軸に第1の触質特徴量P1、縦軸に第2の触質特徴量P2をとった2次元座標空間を4つの象限に分割する。そして、4つ象限のそれぞれに対して異なる触質モードを割り当てる。
【0063】
第1象限は、第1の触質特徴量P1が第1の閾値Th1より大きく、かつ、第2の触質特徴量P2が第2の閾値Th2より大きい領域である。この第1象限における第1の触質モードは、触覚に関する触感のリズムが遅く、かつ、触感の多様度が大きいという性質を持った触質モードである。
【0064】
第2象限は、第1の触質特徴量P1が第1の閾値Th1以下、かつ、第2の触質特徴量P2が第2の閾値Th2より大きい領域である。この第2象限における第2の触質モードは、触覚に関する触感のリズムが速く、かつ、触感の多様度が大きいという性質を持った触質モードである。
【0065】
第3象限は、第1の触質特徴量P1が第1の閾値Th1以下、かつ、第2の触質特徴量P2が第2の閾値Th2以下の領域である。この第3象限における第3の触質モードは、触覚に関する触感のリズムが速く、かつ、触感の多様度が小さいという性質を持った触質モードである。
【0066】
第4象限は、第1の触質特徴量P1が第1の閾値Th1より大きく、かつ、第2の触質特徴量P2が第2の閾値Th2以下の領域である。この第4象限における第4の触質モードは、触覚に関する触感のリズムが遅く、かつ、触感の多様度が小さいという性質を持った触質モードである。
【0067】
モード指定部133は、以上のように分割された4つの象限に対してそれぞれ第1〜第4の触質モードが割り当てられた2次元座標空間において、触質特徴量算出部132により算出された触質特徴量の組み合わせ(P1,P2)で特定されるxy座標がどの象限に属するかを判定する。そして、属すると判定された象限に割り当てられている触質モードを指定する。
【0068】
なお、第1の触質特徴量P1に関する第1の閾値Th1の値および第2の触質特徴量P2に関する第2の閾値Th2の値は、任意に定めることが可能である。
【0069】
また、ここでは2種類の触質特徴量P1,P2で表される2次元座標空間を4つの象限に分割して4つの触質モードを割り合てる例について説明したが、本発明はこれに限定されない。例えば、
図5(b)に示すように、第3象限に属する領域を第1の触質モードとし、それ以外の領域(第1象限、第2象限および第4象限を合わせた領域)を第2の触質モードとしてもよい。
【0070】
あるいは、触質特徴量算出部132において第1の触質特徴量P1のみを算出し、
図5(c)のように第1の閾値Th1を境界として第1の触質モードと第2の触質モードとを割り当てるようにしてもよい。同様に、触質特徴量算出部132において第2の触質特徴量P2のみを算出し、
図5(d)のように第2の閾値Th2を境界として第1の触質モードと第2の触質モードとを割り当てるようにしてもよい。
【0071】
次に、触質モード指定部13に関する
図3(b)の構成例を説明する。
図3(b)に示す例において、触質モード指定部13は、その機能構成として、触質パラメータ生成部131、触質差分パラメータ生成部134、触質特徴量算出部132’およびモード指定部133を備えている。なお、この
図3(b)において、
図3(a)に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
【0072】
触質差分パラメータ生成部134は、触質パラメータ生成部131により生成された2組以上の触質パラメータについて、2つの組間で触質パラメータの差分値をそれぞれ計算することにより、n個の触質差分パラメータの組み合わせを2組以上生成する。
【0073】
すなわち、n=2の場合、触質差分パラメータ生成部134は、2つの組間で、第1の触質パラメータどうしの差分値を計算することによって第1の触質差分パラメータを生成するとともに、第2の触質パラメータどうしの差分値を計算することによって第2の触質差分パラメータを生成する。この計算を複数の組み合わせで順次行うことにより、第1の触質差分パラメータと第2の触質差分パラメータとの組み合わせを2組以上生成する。
【0074】
例えば、触質パラメータ生成部131により生成された2組以上の触質パラメータが、{h1,t1},{h2,t2},{h3,t3}の3組であったとする。ここで、h1,h2,h3が第1の触質パラメータ、t1,t2,t3が第2の触質パラメータである。この場合、触質差分パラメータ生成部134は、{h1,t1}および{h2,t2}の2つの組間で触質パラメータの差分値を計算するとともに、{h2,t2},{h3,t3}の2つの組間で触質パラメータの差分値を計算することにより、次のような2組の触質差分パラメータを生成する。
{h2−h1,t2−t1},{h3−h2,t3−t2}
【0075】
触質特徴量算出部132’は、触質差分パラメータ生成部134により生成された2組以上の触質差分パラメータに基づいて、音声コンテンツの波形情報に関する触質特徴量を算出する。算出する触質特徴量は、
図3(a)で説明した触質特徴量算出部132が算出するものと同様である。
【0076】
なお、ここでは、音声コンテンツ取得部14により音声コンテンツが取得されたときに、その音声コンテンツを解析して触質モードを指定する構成を示したが、本発明はこれに限定されない。例えば、音声コンテンツと触質モードとの対応関係を示した対応情報(例えば、テーブル情報)をあらかじめ作成しておいて、触質モード指定部13がその対応情報を参照して触質モードを指定するようにしてもよい。
【0077】
すなわち、
図2Aおよび
図2Bに示す構成の場合において、触質モード指定部13は、音声コンテンツ記憶部142に記憶されている音声コンテンツと、当該記憶されている音声コンテンツの解析(
図3にて説明した解析)によって得られる触質特徴量に基づき特定される触質モードとの対応関係を示す対応情報をあらかじめ作成し、記憶する。そして、触質モード指定部13は、音声コンテンツ取得部14により音声コンテンツが取得されたときに、当該取得された音声コンテンツに対応する触質モードを対応情報から取得して指定する。
【0078】
ここで、音声コンテンツ記憶部142に記憶されている音声コンテンツに対応する触質モードの解析に基づく対応情報の生成は、例えば、ユーザから指示があったタイミングで実行するようにしてよい。また、
図2Bに示す構成の場合は、決められたインターバルごとに定期的に行うようにしてもよいし、外部装置700から受信した音声コンテンツが音声コンテンツ記憶部142に記憶される都度、新たに記憶された音声コンテンツについて実行するようにしてもよい。
【0079】
次に、触覚コンテンツ取得部11の構成例について説明する。以下では、4つの構成例を説明する。第1構成例は、触質モードに応じた触覚コンテンツをあらかじめ記憶しておいて、触質モード指定部13により触質モードが指定されたときに、指定された触質モードに対応する触覚コンテンツを読み出すようにしたものである。これに対し、第2構成例〜第4構成例は、触質モード指定部13により触質モードが指定されたときに、指定された触質モードに対応する触覚コンテンツを生成するようにしたものである。
【0080】
<触覚コンテンツ取得部11の第1構成例>
まず、触覚コンテンツ取得部11の第1構成例を説明する。
図6は、第1構成例に係る触覚コンテンツ取得部11の機能構成例を示すブロック図である。
図6に示すように、第1構成例に係る触覚コンテンツ取得部11は、触覚コンテンツ読出部1111(または1111’)および触覚コンテンツ記憶部1112(または1112’)を備えている。
【0081】
なお、
図6(a)〜(c)は、音声コンテンツの記憶に関して3つの態様を示した
図2A〜
図2Cと同様に、触覚コンテンツ記憶部1112に触覚コンテンツをあらかじめ記憶している態様(
図6(a))と、外部装置700から触覚コンテンツをダウンロードして触覚コンテンツ記憶部1112に保存可能な態様(
図6(b))と、外部装置700から触覚コンテンツをストリーミング的に受信して触覚コンテンツ記憶部1112’に一時的に記憶する態様(
図6(c))とをそれぞれ示している。
【0082】
図6(a)の構成において、触覚コンテンツ記憶部1112は、複数の触質モードにそれぞれ対応した複数の触覚コンテンツを記憶する。触覚コンテンツ記憶部1112は、ハードディスク、半導体メモリ等の不揮発性の記憶媒体であり、ユーザが明示的に消去の指示をしなければ音声コンテンツを保存し続けることが可能である。触質モードに対応した触覚コンテンツとは、例えば、
図5のように割り当てたそれぞれの触質モードに対応する触質特徴量の性質を有する振動情報である。
【0083】
すなわち、
図5(a)における第1象限の第1の触質モードに対応する触覚コンテンツは、振動のリズムが遅く、かつ、振動の多様度が大きいという性質を持った振動情報である。また、第2象限の第2の触質モードに対応する触覚コンテンツは、振動のリズムが速く、かつ、振動の多様度が大きいという性質を持った振動情報である。
【0084】
第3象限の第3の触質モードに対応する触覚コンテンツは、振動のリズムが速く、かつ、振動の多様度が小さいという性質を持った振動情報である。第4象限の第4の触質モードに対応する触覚コンテンツは、振動のリズムが遅く、かつ、振動の多様度が小さいという性質を持った振動情報である。
【0085】
第1〜第4の触質モードに対応する触覚コンテンツは何れも、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータまたは触質差分パラメータにより特定される固有の触覚効果を持った触覚コンテンツである。すなわち、
図3(a)のように触質特徴量を算出する場合、触覚コンテンツは、第1の触質パラメータおよび第2の触質パラメータにより特定される固有の触覚効果を持った触覚コンテンツとする。一方、
図3(b)のように触質特徴量を算出する場合、触覚コンテンツは、第1の触質差分パラメータおよび第2の触質差分パラメータにより特定される固有の触覚効果を持った触覚コンテンツとする。
【0086】
図6(a)の構成例では、このような触覚コンテンツをあらかじめ触質モードごとに生成し、触質モードごとにあらかじめ生成した複数の触覚コンテンツを触覚コンテンツ記憶部1112にあらかじめ記憶しておく。なお、この触質モードに応じた触覚コンテンツの生成方法については、
図14以降で詳細に説明する。触覚コンテンツ取得部11は、触質モード指定部13により指定された触質モードに応じた触覚コンテンツを、触覚コンテンツ読出部1111が触覚コンテンツ記憶部1112から読み出すことによって取得する。
【0087】
図6(b)は、触質モードごとにあらかじめ生成した複数の触覚コンテンツをコンテンツ供給装置100が外部装置700から通信ネットワーク600を介して受信して触覚コンテンツ記憶部1112に記憶させる機能を備えた形態を示している。すなわち、
図6(b)の例において、コンテンツ供給装置100は、触覚コンテンツ記録部17を更に備えている。触覚コンテンツ記録部17は、外部装置700から通信ネットワーク600を介して触覚コンテンツを受信して触覚コンテンツ記憶部1112に記憶させる。
【0088】
例えば、触質モードに応じた触覚コンテンツが外部装置700に複数種類保存されている場合に、ユーザは、所望の触覚コンテンツを選択してコンテンツ供給装置100にダウンロードし、触覚コンテンツ記憶部1112に記憶させることが可能である。ユーザによる所望の触覚コンテンツの選択は、例えば、コンテンツ供給装置100またはコンテンツ利用機器500が備える操作部、あるいはコンテンツ供給装置100またはコンテンツ利用機器500がディスプレイ上に提供する所定のグラフィカルユーザインタフェースをユーザが操作することによって行うことが可能である。
【0089】
触覚コンテンツ取得部11を
図6(b)のように構成し、複数の触覚コンテンツを外部装置700からダウンロードして触覚コンテンツ記憶部1112に記憶させた場合、1つの触質モードに対して複数種類の触覚コンテンツが触覚コンテンツ記憶部1112に記憶されることがある。この場合、触質モード指定部13により指定された触質モードに応じてどの触覚コンテンツを読み出すかについて、任意に設定したルールを適用することが可能である。
【0090】
例えば、触覚コンテンツ読出部1111は、ユーザによる触覚コンテンツの選択に係る指示に応じて、何れかの触覚コンテンツを読み出すようにすることが可能である。あるいは、触覚コンテンツ記憶部1112に記憶する触覚コンテンツに付随情報として触質特徴量を記憶させておき、触覚コンテンツ読出部1111は、触質モード指定部13により算出された触質特徴量と最も近い触質特徴量を有する触覚コンテンツを選択的に読み出すようにしてもよい。
【0091】
図6(c)は、触覚コンテンツ読出部1111および触覚コンテンツ記憶部1112に代えて触覚コンテンツ読出部1111’および触覚コンテンツ記憶部1112’を備え、外部装置700から受信する触覚コンテンツをコンテンツ利用機器500にストリーミング的に供給する形態を示している。この
図6(c)において、触覚コンテンツ記憶部1112’は、触覚コンテンツ記録部17により外部装置700から受信した触覚コンテンツを一時的に記憶する記憶媒体であってよい。
【0092】
例えば、触覚コンテンツ読出部1111’は、触質モード指定部13により指定された触質モードを触覚コンテンツ記録部17に通知し、触覚コンテンツ記録部17はこの触質モードを外部装置700に通知する。触覚コンテンツ読出部1111’は、上記通知に対する応答として外部装置700から送信されて触覚コンテンツ記憶部1112’に一時的に記憶された触覚コンテンツを読み出して触覚コンテンツ供給部12に供給する。
【0093】
この場合、触覚コンテンツ読出部1111’および触覚コンテンツ供給部12は、触覚コンテンツ記録部17により受信されて触覚コンテンツ記憶部1112’に一時的に記憶された触覚コンテンツをコンテンツ利用機器500に供給する処理を、触覚コンテンツ記憶部1112’に対する触覚コンテンツの記録処理と一連に行う。
【0094】
なお、
図6(c)の構成例において、触質モードに応じた触覚コンテンツが外部装置700に複数種類保存されている場合に、触質モード指定部13により指定された触質モードに応じてどの触覚コンテンツを読み出すかについて、任意に設定したルールを適用することが可能である。例えば、触覚コンテンツ読出部1111’は、触質モード指定部13により指定された触質モードを外部装置700に通知し、これに応じて外部装置700が、指定された触質モードに対応する複数の触覚コンテンツを提示して選択可能にする選択画面を生成してコンテンツ供給装置100のディスプレイに表示させる。そして、この選択画面におけるユーザによる触覚コンテンツの選択操作に応じて、選択された触覚コンテンツを触覚コンテンツ記録部17が外部装置700から受信して触覚コンテンツ記憶部1112’に一時的に記憶させ、これを触覚コンテンツ読出部1111’が読み出して触覚コンテンツ供給部12に供給するようにすることが可能である。
【0095】
あるいは、以下のようにしてもよい。すなわち、外部装置700に保存する触覚コンテンツに付随情報として触質特徴量を記憶させておき、触覚コンテンツ読出部1111’は、触質モード指定部13により算出された触質特徴量を外部装置700に通知する。これに応じて外部装置700は、通知された触質特徴量と最も近い触質特徴量を有する触覚コンテンツを選択的に読み出してコンテンツ供給装置100に送信し、これを触覚コンテンツ記録部17が受信して触覚コンテンツ記憶部1112’に記憶させるようにしてもよい。
【0096】
なお、
図6(b)の構成において、触質モード指定部13により算出された触質特徴量と最も近い触質特徴量を有する触覚コンテンツを触覚コンテンツ読出部1111が触覚コンテンツ記憶部1112から選択的に読み出す場合、および、
図6(c)の構成において、触質モード指定部13により算出された触質特徴量と最も近い触質特徴量を有する触覚コンテンツを外部装置700から受信することによって触覚コンテンツ記憶部1112’に一時的に記憶された触覚コンテンツを読み出す場合は、
図5のように触質特徴量の2次元座標空間を分割した領域ごとに触質モードが存在する形態ではなく、触質モード指定部13により算出される触質特徴量ごとに触質モードが存在する形態と言える。この場合、触質モード指定部13は、算出した触質特徴量そのものによって触質モードを指定することに相当する。
【0097】
なお、触覚コンテンツ記憶部1112,1122’における触覚コンテンツの記憶に関して
図6(a)〜(c)の3つの形態があり得ることは、後述する触覚コンテンツ取得部11の第2構成例〜第4構成例および第2の実施形態〜第4の実施形態においても同様である。
【0098】
音声コンテンツに関して、
図2A〜
図2Bのように、音声コンテンツ記憶部142に音声コンテンツがあらかじめ記憶されている形態、外部装置700からダウンロードした音声コンテンツを音声コンテンツ記憶部142に記憶可能な形態、および、外部装置700から音声コンテンツをストリーミング的に受信して音声コンテンツ記憶部142’に一時的に記憶させる形態の3つの形態を示した。触覚コンテンツに関しても同様に、
図6(a)〜(c)のように、触覚コンテンツ記憶部1112に触覚コンテンツがあらかじめ記憶されている形態、外部装置700からダウンロードした触覚コンテンツを触覚コンテンツ記憶部1112に記憶可能な形態、および、外部装置700から触覚コンテンツをストリーミング的に受信して触覚コンテンツ記憶部1112’に一時的に記憶させる形態の3つの形態を示した。音声コンテンツに関する3つの形態のうち何れか1つと、触覚コンテンツに関する3つの形態のうち何れか1つとを任意に組み合わせて適用することが可能である。
【0099】
例えば、
図2Aまたは
図2Bのように音声コンテンツ記憶部142に記憶されている音声コンテンツを読み出してコンテンツ利用機器500に供給するとともに、
図6(c)のようにその音声コンテンツを解析して指定された触質モードに対応する触覚コンテンツを外部装置700から受信してコンテンツ利用機器500にストリーミング的に供給するようにすることも可能である。
【0100】
逆に、
図2Cのようにユーザが選択した音声コンテンツを外部装置700から受信してコンテンツ利用機器500にストリーミング的に供給するとともに、
図6(a)または(b)のように触覚コンテンツ記憶部1112に記憶されている触覚コンテンツの中から、外部装置700から受信した音声コンテンツを解析して指定された触質モードに対応する触覚コンテンツを読み出してコンテンツ利用機器500に供給するようにすることも可能である。
【0101】
また、
図2Cのようにユーザが選択した音声コンテンツを外部装置700から受信してコンテンツ利用機器500にストリーミング的に供給するとともに、
図6(c)のようにその音声コンテンツを解析して指定された触質モードに対応する触覚コンテンツを外部装置700から受信してコンテンツ利用機器500にストリーミング的に供給するようにすることも可能である。この場合は、コンテンツ供給装置100に音声コンテンツおよび触覚コンテンツの何れもが記憶されていなくても、ユーザが所望する音声コンテンツと、その音声コンテンツから解析される触質モードに対応した触覚コンテンツとを外部装置700から取得してコンテンツ利用機器500に供給することが可能である。
【0102】
図7は、最もシンプルな組み合わせの例として、音声コンテンツの取得については
図2Aのように構成するとともに、触覚コンテンツの取得については
図6(a)のように構成した場合におけるコンテンツ供給装置100の動作例を示すフローチャートである。なお、
図7に示すフローチャートは、コンテンツ供給装置100を起動したときに開始する。
【0103】
まず、音声コンテンツ取得部14の音声コンテンツ読出部141は、音声コンテンツ記憶部142に記憶されている1以上の音声コンテンツの中から何れかを選択するユーザ操作が行われたか否かを判定する(ステップS1)。このユーザ操作が行われていない場合は、ステップS1の判定を繰り返す。
【0104】
一方、音声コンテンツを選択するユーザ操作が行われた場合、音声コンテンツ読出部141は、当該ユーザ操作により選択された音声コンテンツを音声コンテンツ記憶部142から読み出すことによって音声コンテンツを取得する(ステップS2)。
【0105】
次いで、触質モード指定部13は、音声コンテンツ読出部141により音声コンテンツ記憶部142から読み出された音声コンテンツを解析し、その解析結果に応じて触質モードを指定する(ステップS3)。触覚コンテンツ取得部11は、触質モード指定部13により指定された触質モードに応じた触覚コンテンツを、触覚コンテンツ読出部1111により触覚コンテンツ記憶部1112から読み出すことによって取得する(ステップS4)。
【0106】
そして、音声コンテンツ供給部15が、音声コンテンツ取得部14により取得された音声コンテンツをコンテンツ利用機器500に供給するとともに(ステップS5)、触覚コンテンツ供給部12が、触覚コンテンツ取得部11により取得された触覚コンテンツをコンテンツ利用機器500に供給する(ステップS6)。
【0107】
その後、音声コンテンツ読出部141は、音声コンテンツのコンテンツ利用機器500に対する供給が終了したか否かを判定する(ステップS7)。音声コンテンツの供給の終了は、ステップS2で読み出した音声コンテンツを最後までコンテンツ利用機器500に供給した場合、または、音声コンテンツを最後まで供給する前の途中の段階でユーザにより音声コンテンツの供給の停止指示が行われた場合の何れかである。
【0108】
音声コンテンツの供給が終了していない場合、処理はステップS5に戻り、音声コンテンツおよび触覚コンテンツのコンテンツ利用機器500に対する供給を継続する。一方、音声コンテンツの供給が終了した場合、
図7に示すフローチャートの処理は終了する。
【0109】
<触覚コンテンツ取得部11の第2構成例>
次に、触覚コンテンツ取得部11の第2構成例を説明する。
図8は、第2構成例に係る触覚コンテンツ取得部11の機能構成例を示すブロック図である。なお、この
図8において、
図6に示した構成要素と同一の機能を有する構成要素には同一の符号を付している。
図8に示すように、第2構成例に係る触覚コンテンツ取得部11は、触覚コンテンツ読出部1121(または1121’)、触覚コンテンツ記憶部1122(または1122’)および振動波形加工部1123を備えている。
【0110】
図6に示した触覚コンテンツ取得部11の第1構成例では、触覚コンテンツ取得部11は、触覚コンテンツ記憶部1112,1112’に記憶された触覚コンテンツを読み出すことによって触質モードに応じた触覚コンテンツの取得を行っていた。これに対し、
図8に示す触覚コンテンツ取得部11の第2構成例では、触覚コンテンツ取得部11は、触覚コンテンツ記憶部1122,1122’から読み出した基準の触覚コンテンツをもとに、その振動情報を加工することによって触質モードに応じた触覚コンテンツを生成する。
【0111】
なお、
図8においても、
図8(a)は触覚コンテンツ記憶部1122に触覚コンテンツがあらかじめ記憶されている形態を示し、
図8(b)は外部装置700からダウンロードした触覚コンテンツを触覚コンテンツ記憶部1122に記憶可能な形態を示し、
図8(c)は外部装置700から触覚コンテンツをストリーミング的に受信して触覚コンテンツ記憶部1122’に一時的に記憶させる形態の3つを示している。
【0112】
触覚コンテンツ記憶部1122,1122’は、ハードディスク、半導体メモリ等の不揮発性の記憶媒体であり、基準の触覚コンテンツを記憶する。触覚コンテンツ記憶部1122,1122’が記憶する触覚コンテンツは、触質モードに対応して生成されたものではなく、触質モードに応じた触覚コンテンツを生成するための基準となる所定の振動情報から成る触覚コンテンツである。
【0113】
触覚コンテンツ読出部1121,1121’は、音声コンテンツの選択操作がユーザにより行われたとき、あるいは、触覚コンテンツの取得を指示する操作がユーザにより行われたときなどに、触覚コンテンツ記憶部1122,1122’から触覚コンテンツを読み出す。すなわち、触覚コンテンツ読出部1121は、触覚コンテンツ記憶部1122にあらかじめ記憶されている触覚コンテンツを読み出す。また、触覚コンテンツ読出部1121’は、外部装置700から受信されて触覚コンテンツ記憶部1122’に一時的に記憶された触覚コンテンツを読み出す。
【0114】
振動波形加工部1123は、触覚コンテンツ読出部1121,1121’により読み出された触覚コンテンツの振動情報に対する重み情報であって、触質モード指定部13により指定された触質モードに応じた重み情報を生成し、生成した重み情報によって触覚コンテンツの振動情報を加工することにより、指定された触質モードに応じた触覚コンテンツを生成する。そして、生成した触覚コンテンツを触覚コンテンツ供給部12に供給する。
【0115】
図9は、振動波形加工部1123の処理内容を模式的に示すイメージ図である。
図9は、
図5(a)の例と同様に、2つの触質特徴量P1,P2の組み合わせに基づいて、第1〜第4の触質モードの何れかを指定する場合の例を示している。
図9において、菱形のマークで示しているのは、触覚コンテンツ記憶部1122,1122’に記憶されている基準の触覚コンテンツに対応する触質特徴量の組み合わせである。また、
図9において、4つの矢印で示しているのは、触質モードに応じた重み付けの方向である。なお、矢印の向きは、重み付けの厳密な方向を示しているものではなく、各象限への方向付けをイメージとして模式的に示したものである。
【0116】
すなわち、
図9の例は、第1の触質特徴量P1の値が第1の閾値Th1と同じ、かつ、第2の触質特徴量P2の値が第2の閾値Th2と同じで、第1〜第4の触質モードの何れにも対応しない基準の触覚コンテンツの振動情報に対して、触質モードに応じて方向性の異なる重み情報を生成して加工を施すことにより、指定された触質モードに応じた振動情報を有する触覚コンテンツを生成することを模式的に示している。
【0117】
なお、第1〜第4の触質モードの何れにも対応しない触覚コンテンツを基準とするのではなく、何れかの触質モードに対応する触覚コンテンツを基準として、触質モードに応じて生成した重み情報によって振動情報を加工するようにしてもよい。例えば、第1の触質モードに対応する触覚コンテンツを基準として触覚コンテンツ記憶部1122,1122’に記憶させ、触質モード指定部13により指定された触質モードが第1触質のモードの場合は重み付けを行わず、指定された触質モードが第2〜第4の触質モードの場合に、第1の触質モードが第2〜第4の触質モードの何れかに変わるような重み付けを行うようにしてもよい。
【0118】
図10は、振動波形加工部1123の機能構成例を示すブロック図である。
図10に示すように、振動波形加工部1123は、その機能構成として、特徴抽出部1123A、重み情報生成部1123Bおよび重み加工部1123Cを備えている。
【0119】
特徴抽出部1123Aは、音声コンテンツ取得部14により取得された音声コンテンツの波形情報において、他の箇所と区別し得る複数の特徴箇所を抽出する。例えば、特徴抽出部1123Aは、音声コンテンツの波形情報において、所定時間の間に振幅値が所定値以上大きくなる箇所を特徴箇所として抽出する。
【0120】
重み情報生成部1123Bは、特徴抽出部1123Aにより抽出された複数の特徴箇所に基づいて、特徴箇所間の時間区間において経時的に値が変化する重み情報を生成する。例えば、重み情報生成部1123Bは、特徴抽出部1123Aにより抽出された複数の特徴箇所に基づいて、一の特徴箇所が抽出された時間から次の特徴箇所が抽出された時間まで値が経時的に徐々に小さくなる重み情報を生成する。
【0121】
図11は、特徴抽出部1123Aおよび重み情報生成部1123Bの処理内容を説明するための図である。ここで、
図11(a)は、音声コンテンツ取得部14により取得された音声コンテンツの波形情報の一部を示している。
図11(b)は、触覚コンテンツ読出部1121,1121’により触覚コンテンツ記憶部1122,1122’から読み出された触覚コンテンツの波形情報に対し、重み情報生成部1123Bにより生成された重み情報を模式的に重ねて示した状態を示している。
【0122】
特徴抽出部1123Aは、
図11(a)に示す音声コンテンツの波形情報において、所定時間(例えば、0.1秒)の間に振幅値が所定値以上大きくなる箇所を複数の特徴箇所F
1,F
2,F
3,・・・として抽出する。すなわち、特徴抽出部1123Aは、音声コンテンツの波形情報の振幅値が急激に大きくなる箇所を特徴箇所F
1,F
2,F
3,・・・として抽出する。
【0123】
重み情報生成部1123Bは、特徴抽出部1123Aにより抽出された複数の特徴箇所F
1,F
2,F
3,・・・に基づいて、一の特徴箇所F
i(i=1,2,・・・)が抽出された時間から、次の特徴箇所F
i+1が抽出された時間まで、値が経時的に徐々に小さくなる重み情報を生成する。この重み情報は、重み値(何れも正の値)が最小値から最大値までの間をとる情報であり、
図11(b)においてノコギリ波として模式的に示されている。
【0124】
図11(b)の例では、一の特徴箇所F
iが抽出された時間において重み値が最大となり、そこから線形的あるいは段階的に値が経時的に徐々に小さくなり、次の特徴箇所F
i+1が抽出された時間において重み値が再び最大となるような重み情報を生成している。ここで、重み情報生成部1123Bは、一の特徴箇所F
iが抽出された時間において重み値が最大となり、次の特徴箇所F
i+1が抽出された時間に達する時点で重み値がちょうど最小値となるような重み情報を生成している。
【0125】
なお、ここに示した重み情報の生成処理は一例であり、これに限定されるものではない。例えば、
図11(b)では、重み値が一定の割合で直線的に徐々に小さくなる例を示したが、一の特徴箇所F
iが抽出された時間から次の特徴箇所F
i+1が抽出された時間まで、所定の2次関数あるいは対数関数などに従って値が曲線的に徐々に小さくなるような重み情報を生成するようにしてもよい。
【0126】
また、重み値が徐々に小さくなる割合(ノコギリ波で示される斜線部の傾斜角)を、どの区間も同じとするようにしてもよい。この場合、一の特徴箇所F
iと次の特徴箇所F
i+1との間が長い区間があると、次の特徴箇所F
i+1に至る前に重み値が最小値に達する。この場合、重み情報生成部1123Bは、例えば、重み値が最小値に達した後、次の特徴箇所F
i+1に至るまで、重み値が最小値に固定するような重み情報を生成する。
【0127】
また、重み値の最大値と最小値とを固定せず、所定の条件に応じて変動する変動値とするようにしてもよい。例えば、特徴箇所における振幅値の大きさに応じて、重み値の最大値を可変とするようにしてもよい。この場合、重み情報生成部1123Bは、一の特徴箇所F
iにおける振幅値が大きいほど重み値が大きくなるようにし、そこから次の特徴箇所F
i+1まで値が徐々に小さくなるような重み情報を生成する。このようにすれば、所定時間の間に振幅値が所定値以上大きくなる複数の特徴箇所F
iのうち、その特徴箇所F
iの振幅値が大きいほど大きな重み値が設定されるようになる。
【0128】
重み加工部1123Cは、触覚コンテンツ読出部1121,1121’により触覚コンテンツ記憶部1122,1122’から読み出された触覚コンテンツの振動情報を、重み情報生成部1123Bにより生成された重み情報によって加工する。例えば、重み加工部1123Cは、触覚コンテンツの波形情報の振幅値に対して重み情報の重み値を乗算することにより、触覚コンテンツの振動情報を加工する。
【0129】
すなわち、重み加工部1123Cは、
図11(b)に示している触覚コンテンツの波形情報の各時間における振幅値に対し、同じく
図11(b)にノコギリ波として模式的に示している各時間における重み値を乗算する。
図11(b)において、触覚コンテンツの波形情報と重み情報とを重ねて示しているのは、各時刻における波形情報の振幅値と、これに対して乗算する重み値との対応関係を明示するためである。
【0130】
図12は、振動波形加工部1123により加工された触覚コンテンツの波形情報を音声コンテンツの波形情報と共に示す図である。
図12(a)は、音声コンテンツ取得部14により取得された音声コンテンツの波形情報を示し、
図12(b)は、振動波形加工部1123により加工された触覚コンテンツの波形情報を示している。
図12(a)に示す音声コンテンツの波形情報は、
図11(a)に示す音声コンテンツの波形情報と同じである。
【0131】
なお、音声コンテンツ取得部14により取得される音声コンテンツがモノラルの音声信号である場合は、上述したように、
図11(a)に示す音声コンテンツの波形情報(重み情報を生成するために特徴箇所の抽出対象とする音声コンテンツの波形情報)と、
図12(a)に示す音声コンテンツの波形情報(コンテンツ利用機器500に供給される音声コンテンツの波形情報)とは同じになる。
【0132】
一方、音声コンテンツ取得部14により取得される音声コンテンツがステレオの音声信号である場合は、
図11(a)に示す音声コンテンツの波形情報と、
図12(a)に示す音声コンテンツの波形情報とを同じとしてもよいが、必ずしも同じとする必要はない。例えば、特徴箇所の抽出対象とする音声コンテンツは左チャネルの音声信号とし、コンテンツ利用機器500に供給する音声コンテンツは右チャネルの音声信号としてもよい。もちろん、その逆でもよい。また、左右何れかのチャネルの音声信号を解析して特徴箇所を抽出し、両チャネルの音声信号をコンテンツ利用機器500に供給するようにしてもよい。
【0133】
なお、特徴抽出部1123Aが音声コンテンツの波形情報から抽出する複数の特徴箇所は、以上に説明した例に限定されない。例えば、特徴抽出部1123Aは、音声コンテンツの波形情報において、振幅値が所定値以上となる箇所を特徴箇所として抽出するようにしてもよい。あるいは、音声コンテンツの波形情報を時間ごとに周波数解析し、含まれる周波数成分が急激に変わる箇所を特徴箇所として抽出するようにしてもよい。あるいは、音声コンテンツの波形情報に対して
図4と同様の解析を行い、第1の触質パラメータおよび第2の触質パラメータの四則演算値が急激に変わる箇所を特徴箇所として抽出するようにしてもよい。
【0134】
また、上記実施形態では、重み情報生成部1123Bは、一の特徴箇所F
iが抽出された時間から次の特徴箇所F
i+1が抽出された時間まで値が徐々に小さくなるような重み情報を生成したが、本発明はこれに限定されない。例えば、特徴抽出部1123Aが、音声コンテンツの波形情報において所定時間の間に振幅値が急激に小さくなる箇所を特徴箇所として抽出するようにし、重み情報生成部1123Bが、一の特徴箇所F
iが抽出された時間から次の特徴箇所F
i+1が抽出された時間まで値が徐々に大きくなるような重み情報を生成するようにしてもよい。
【0135】
以上のようにして生成される触覚コンテンツは、コンテンツ利用機器500において当該触覚コンテンツと組み合わせて利用される音声コンテンツの波形情報における特徴箇所と同調する態様で重み値が変動する重み情報によって波形の振幅値が加工されたものである。このため、この触覚コンテンツを音声コンテンツと共にコンテンツ利用機器500に供給することにより、音声コンテンツに基づき再生される音声をユーザに提供するのと同時に、その音声の特徴と同調した触覚コンテンツの振動をユーザに提供することができる。
【0136】
以上が振動波形加工部1123の基本動作である。これに対し、振動波形加工部1123はさらに、触質モード指定部13により指定された触質モードに応じた処理によって重み情報を生成する。具体的には、振動波形加工部1123は、触質モード指定部13により指定された触質モードに応じて、特徴抽出部1123Aによる特徴箇所の抽出内容、および、重み情報生成部1123Bによる重み情報の生成内容の少なくとも一方を変える。
【0137】
例えば、特徴抽出部1123Aによる特徴箇所の抽出に関して、所定時間の間に振幅値が所定値以上大きくなる箇所を特徴箇所として抽出する際に、所定値の値を触質モードに応じて変更する。例えば、所定値の基準値を決めておいて、その基準値より所定値を大きくすると、振幅値がより大きく変動している箇所のみが特徴箇所として抽出されることになるので、特徴箇所の数が基準状態(所定値=基準値として特徴箇所を抽出する状態)より少なくなる。逆に、所定値を基準値より小さくすると、振幅値の変動が比較的小さい箇所も特徴箇所として抽出されることになるので、特徴箇所の数が基準状態よりも多くなる。
【0138】
また、指定された触質モードに応じて、音声コンテンツの波形情報において振幅値が所定値以上となる箇所を特徴箇所として抽出するように抽出方法に変えたり、この抽出方法における所定値の値を変えたりすることにより、抽出される特徴箇所の位置や数を変えるようにしてもよい。指定された触質モードに応じて特徴箇所の抽出方法を変える場合、音声コンテンツの波形情報を時間ごとに周波数解析し、含まれる周波数成分が急激に変わる箇所を特徴箇所として抽出する方法や、音声コンテンツの波形情報に対して
図4と同様の解析を行い、第1の触質パラメータおよび第2の触質パラメータの四則演算値が急激に変わる箇所を特徴箇所として抽出する方法に変えてもよい。
【0139】
このように、特徴抽出部1123Aにより抽出される特徴箇所の位置や数が変わることにより、変わった特徴箇所をもとに重み情報生成部1123Bにより生成される重み情報が変わる。重み情報が変わることにより、当該重み情報を用いて重み加工部1123Cにより加工される触覚コンテンツの波形情報が変わる。これにより、触覚コンテンツに基づいて付与される振動の触感を触質モードに応じて変えることができる。
【0140】
また、重み情報生成部1123Bによる重み情報の生成に関して、例えば、重み値の最大値や最小値を触質モードに応じて変更するようにしてもよい。また、一の特徴箇所が抽出された時間から次の特徴箇所が抽出された時間までの重み値の変動の仕方を触質モードに応じて変更するようにしてもよい。すなわち、重み値の最大値から最小値まで重み値を徐々に変えていく方法として、直線状、階段状、2次関数、対数関数などの何れかを触質モードに応じて採用する。この場合、重み値が徐々に小さくなる割合を触質モードに応じて変えるようにしてもよい。
【0141】
このように、重み情報生成部1123Bによる重み情報の生成内容を変えることにより、生成される重み情報が変わる。重み情報が変わることにより、当該重み情報を用いて重み加工部1123Cにより加工される触覚コンテンツの波形情報が変わる。これにより、触覚コンテンツに基づいて付与される振動の触感を触質モードに応じて変えることができる。
【0142】
特徴抽出部1123Aによる特徴箇所の抽出内容と、重み情報生成部1123Bによる重み情報の生成内容との何れか一方だけを変えることとしても、触質モードに応じた触覚コンテンツを生成することが可能である。ただし、特徴箇所の抽出内容と重み情報の生成内容との両方を適切に変えることにより、具現化しようとする触感をより適切に表した触覚コンテンツを生成できるようになり、また、より多くの触質モードに対応した触覚コンテンツを生成することができるようになる。
【0143】
図13は、第2構成例に係るコンテンツ供給装置100の動作例を示すフローチャートである。なお、
図13に示すフローチャートは、音声コンテンツの取得については
図2Aのように構成するとともに、触覚コンテンツの取得については
図8(a)のように構成した場合におけるコンテンツ供給装置100の動作例を示すフローチャートである。この
図13に示すフローチャートは、コンテンツ供給装置100を起動したときに開始する。
【0144】
まず、音声コンテンツ取得部14の音声コンテンツ読出部141は、音声コンテンツ記憶部142に記憶されている1以上の音声コンテンツの中から何れかを選択するユーザ操作が行われたか否かを判定する(ステップS11)。このユーザ操作が行われていない場合は、ステップS11の判定を繰り返す。
【0145】
一方、音声コンテンツを選択するユーザ操作が行われた場合、音声コンテンツ読出部141は、当該ユーザ操作により選択された音声コンテンツを音声コンテンツ記憶部142から読み出すことによって音声コンテンツを取得する(ステップS12)。
【0146】
次いで、触質モード指定部13は、音声コンテンツ読出部141により音声コンテンツ記憶部142から読み出された音声コンテンツを解析し、その解析結果に応じて触質モードを指定する(ステップS13)。触覚コンテンツ取得部11の触覚コンテンツ読出部1121は、基準の触覚コンテンツを触覚コンテンツ記憶部1122から読み出す(ステップS14)。
【0147】
さらに、振動波形加工部1123は、触覚コンテンツ読出部1121により読み出された触覚コンテンツの振動情報に対する重み情報であって、触質モード指定部13により指定された触質モードに応じた重み情報を生成し(ステップS15)、生成した重み情報によって触覚コンテンツの振動情報を加工することにより、指定された触質モードに応じた触覚コンテンツを生成する(ステップS16)。
【0148】
そして、音声コンテンツ供給部15が、音声コンテンツ取得部14により取得された音声コンテンツをコンテンツ利用機器500に供給するとともに(ステップS17)、触覚コンテンツ供給部12が、振動波形加工部1123により加工された触覚コンテンツをコンテンツ利用機器500に供給する(ステップS18)。
【0149】
その後、音声コンテンツ読出部141は、音声コンテンツのコンテンツ利用機器500に対する供給が終了したか否かを判定する(ステップS19)。音声コンテンツの供給が終了していない場合、処理はステップS16に戻り、音声コンテンツおよび重み情報によって加工した触覚コンテンツのコンテンツ利用機器500に対する供給を継続する。一方、音声コンテンツの供給が終了した場合、
図13に示すフローチャートの処理は終了する。
【0150】
なお、
図8では、触覚コンテンツ記憶部1122,1122’は、触質モードに対応して生成された触覚コンテンツではなく、触質モードに応じた触覚コンテンツを生成するための基準となる所定の振動情報から成る基準の触覚コンテンツを記憶する例について説明した。これに対し、
図6で説明したのと同様に、触覚コンテンツ記憶部1122,1122’が複数の触質モードにそれぞれ対応した複数の触覚コンテンツを記憶し、触覚コンテンツ読出部1121,1121’が、触質モード指定部13により指定された触質モードに応じた触覚コンテンツを触覚コンテンツ記憶部1122,1122’から読み出すようにしてもよい。
【0151】
<触覚コンテンツ取得部11の第3構成例>
次に、触覚コンテンツ取得部11の第3構成例を説明する。
図14A〜
図14Cは、第3構成例に係る触覚コンテンツ取得部11の機能構成例を示すブロック図である。第3構成例に係る触覚コンテンツ取得部11では、
図6の触覚コンテンツ記憶部1112,1112’や
図8の触覚コンテンツ記憶部1122,1122’に対してあらかじめ生成しておいた触覚コンテンツを記憶することに代えて、触質モードの指定に応じて触覚コンテンツをリアルタイムに生成するようにしたものである。
【0152】
図14Aに示す第3構成例に係る触覚コンテンツ取得部11は、触質コンテンツ読出部1131、触質コンテンツ記憶部1132、対象情報取得部1133および触質パラメータ生成部1134を備えている。なお、ここでは、外部装置700からダウンロードした触質コンテンツ(後述する)を触質コンテンツ記憶部1132に記憶可能な形態(
図6(b)に対応する形態)のみを示しているが、触質コンテンツ記憶部1132に触質コンテンツがあらかじめ記憶されている形態(
図6(a)に対応する形態)や、外部装置700から触質コンテンツをストリーミング的に受信する形態(
図6(c)に対応する形態)にも適用が可能である。
【0153】
図14Bに示す第3構成例に係る触覚コンテンツ取得部11は、対象情報取得部1133、触質パラメータ生成部1134、触質コンテンツ読出部1141、触質コンテンツ記憶部1142、振動波形加工部1123を備えている。なお、この
図14Bにおいて、
図14Aおよび
図8(b)に示した構成要素と同一の機能を有する構成要素には同一の符号を付している。
【0154】
なお、ここでは、外部装置700からダウンロードした触質コンテンツを触質コンテンツ記憶部1142に記憶可能な形態(
図8(b)に対応する形態)のみを示しているが、触質コンテンツ記憶部1142に触質コンテンツがあらかじめ記憶されている形態(
図8(a)に対応する形態)や、外部装置700から触質コンテンツをストリーミング的に受信する形態(
図8(c)に対応する形態)にも適用が可能である。
【0155】
図14Cは、
図14Aおよび
図14Bに示す構成の変形例を示している。この
図14Cに構成に関しても、外部装置700からダウンロードした触質コンテンツを触質コンテンツ記憶部1142に記憶可能な形態(
図8(b)に対応する形態)のみを示しているが、触質コンテンツ記憶部1142に触質コンテンツがあらかじめ記憶されている形態(
図8(a)に対応する形態)や、外部装置700から触質コンテンツをストリーミング的に受信する形態(
図8(c)に対応する形態)にも適用が可能である。
【0156】
まず、
図14Aについて説明し、
図14Bおよび
図14Cについては
図14Aと異なる点について説明する。
【0157】
触質コンテンツ記憶部1132は、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータにより特定される固有の触覚効果を持った触質コンテンツであって、複数の触質モードにそれぞれ対応した複数の触質コンテンツを、n個の触質パラメータの組み合わせおよび触質モードに対応付けて記憶する。本実施形態では、n=2の例を示す。また、2個の触質パラメータとして、
図4において説明した情報の強度に関する第1の触質パラメータと、情報の分割区間の長さに関する第2の触質パラメータとを用いる例を示す。
【0158】
すなわち、本実施形態において、触質コンテンツ記憶部1132は、情報の強度に関する第1の触質パラメータおよび情報の分割区間の長さに関する第2の触質パラメータにより特定される固有の触覚効果を持った触質コンテンツを、第1の触質パラメータおよび第2の触質パラメータの組み合わせに対応付けて記憶する。ここで用いる触質パラメータは、例えば<硬い−柔らかい>、<粗い−滑らか>のように対立する触質(以下、触質対という)の程度を表すパラメータといえる。
【0159】
例えば、<硬い−柔らかい>という触質対に関する触質パラメータとして、情報の強度を用いることが可能である。すなわち、強度を表す値が大きいほど硬いことを表し、強度を表す値が小さいほど柔らかいことを表す。また、<粗い−滑らか>という触質対に関する触質パラメータとして、情報の分割区間の長さを用いることが可能である。すなわち、長さを表す値が大きいほど滑らかであることを表し、長さを表す値が小さいほど粗いことを表す。
【0160】
図15は、触質コンテンツ記憶部1132が記憶する触質コンテンツの記憶例を模式的に示す図である。
図15は、縦軸に第1の触質パラメータとしての「強度」をとり、横軸に第2の触質パラメータとしての「分割区間の長さ」をとって表したマトリクス状の触質対空間を示している。
図15の例では、第1の触質パラメータ(強度)で表される触質対として<硬い−柔らかい>を用い、第2の触質パラメータ(分割区間の長さ)で表される触質対として<粗い−滑らか>を用いたものを示している。
【0161】
図15の例では、強度の最大値から最小値までを5段階に分けるとともに、分割区間の長さの最大値から最小値までを5段階に分けることにより、25個のマトリクス空間を形成している。25個のマトリクス空間には、それぞれ1番〜25番のインデックス番号が付与されている。触質コンテンツ記憶部1132は、これら25個のマトリクス空間内にそれぞれ、強度および分割区間の長さの組み合わせに応じた触質コンテンツを記憶する。
【0162】
例えばインデックス番号“1”の位置には、強度が最大で分割区間の長さが最小の振動情報、つまり、最も硬くて最も粗いというイメージを伝達可能な触質コンテンツの振動情報が記憶される。また、例えばインデックス番号“25”の位置には、強度が最小で分割区間の長さが最大の振動情報、つまり、最も柔らかくても最も滑らかというイメージを伝達可能な触質コンテンツの振動情報が記憶される。
【0163】
なお、触質コンテンツを特定するための2組の触質対として何を用いるかは任意に定めることが可能である。すなわち、ここでは2組の触質対として<硬い−柔らかい>および<粗い−滑らか>を用いているが、本発明はこれに限定されない。例えば、触質対の別の例として、<大きい−小さい>、<鋭い−鈍い>、<重い−軽い>、<ざらざら−つるつる>、<揺らぎのある−安定した>、<消えるような−残るような>などの対を用いてもよい。
【0164】
図14Aの構成例では、触質コンテンツ記憶部1132は、
図15に示したようなマトリクスの対応情報を、複数の触質モードに応じて記憶する。例えば、
図5(a)のように4つの触質モードを有する場合は、4つの触質モードに応じた4つの対応情報を記憶する。これにより、情報の強度に関する第1の触質パラメータの値および情報の分割区間の長さに関する第2の触質パラメータの値が何れも同じであっても、触質モード指定部13により指定される触質モードに応じて触質コンテンツの振動情報が変わることになる。
【0165】
なお、触質モードに応じて内容が異なる複数の対応情報は、第1の触質パラメータで表される触質対<硬い−柔らかい>と、第2の触質パラメータで表される触質対<粗い−滑らか>との組み合わせが同じで、個々のインデックス番号に対応付けて記憶される振動情報の内容が異なるものとすることが可能である。あるいは、触質モードに応じて内容が異なる複数の対応情報は、第1の触質パラメータで表される触質対と、第2の触質パラメータで表される触質対との組み合わせを触質モードに応じて変えたものとすることも可能である。
【0166】
なお、上述したように、
図14Aの例では、外部装置700からダウンロードした触質コンテンツを触質コンテンツ記憶部1132に記憶可能な形態を示している。すなわち、触質コンテンツ記録部17’は、外部装置700から通信ネットワーク600を介して触質コンテンツを取得して触質コンテンツ記憶部1132に記憶させる。
【0167】
また、外部装置700から触質コンテンツをストリーミング的に受信して触質コンテンツ記憶部1132’(図示せず)に一時的に記憶させる形態とする場合、触質コンテンツ読出部1131’(図示せず)および触覚コンテンツ供給部12は、触質コンテンツ記録部17’により受信されて触質コンテンツ記憶部1132’に一時的に記憶された触質コンテンツに基づいて生成された触覚コンテンツをコンテンツ利用機器500に供給する処理を、触質コンテンツ記憶部1132’に対する触質コンテンツの記録処理と一連に行う。
【0168】
対象情報取得部1133は、触覚コンテンツの生成元とする対象情報を取得する。ここで、対象情報取得部1133は、強度に相当する値が連続的または断続的に連なって成る対象情報を取得する。当該対象情報の一例として、時系列の波形情報を取得する。ここで取得する波形情報は、アナログ信号でもよいし、デジタルデータでもよい。また、取得する波形情報は、時間の経過と共に振幅が変化する情報であればよく、その種類は任意である。例えば、音声信号、映像信号、地震計・風力計・光量計など各種計測機器の測定信号、オシロスコープによる波形測定データ、株価変動データなどが挙げられるが、これらは一例に過ぎない。
【0169】
このように対象情報取得部1133が取得する対象情報は、音声コンテンツ取得部14により取得された音声コンテンツとは異なる情報である。ここで、対象情報取得部1133が取得する対象情報は、ユーザが任意に指定することが可能である。すなわち、ユーザは、あらかじめ用意した対象情報をコンテンツ供給装置100に入力し、これを触覚コンテンツ取得部11の対象情報取得部1133が取得する。
【0170】
触質パラメータ生成部1134は、対象情報取得部1133により取得された対象情報から、それぞれが触感の一要素を表したn個(今の例ではn=2)の触質パラメータの組み合わせを1組以上生成する。この触質パラメータ生成部1134の処理内容は、
図3に示した触質パラメータ生成部131の処理内容と同様である。
【0171】
触質コンテンツ読出部1131は、触質パラメータ生成部1134により生成されたn個の触質パラメータ(第1の触質パラメータおよび第2の触質パラメータ)の組み合わせを1組以上指定して、当該指定した1組以上の組み合わせおよび触質モードに対応する1以上の触質コンテンツを触質コンテンツ記憶部1132から読み出す。
【0172】
例えば、触質コンテンツ読出部1131は、
図4のように触質パラメータ生成部1134によりそれぞれの分割区間から第1の触質パラメータ(振幅)および第2の触質パラメータ(分割区間の時間の長さ)の組み合わせが複数生成された場合、これらの組み合わせを順に指定して、当該指定した複数組の組み合わせに対応する複数の触質コンテンツを触質コンテンツ記憶部1132から順に読み出す。
【0173】
すなわち、触質コンテンツ読出部1131は、
図4に示す各分割区間T1,T2,T3,・・・から特定された代表振幅および分割区間の長さの組み合わせ{h1,t1},{h2,t2},{h3,t3},・・・を指定する。そして、
図15に示した触質コンテンツのマトリクス空間上において、上記指定したそれぞれの組み合わせに対応する触質コンテンツを順に読み出す。
【0174】
なお、
図4のように第1の触質パラメータおよび第2の触質パラメータの組み合わせが複数生成された場合であっても、その中の何れか1つまたは複数の組み合わせを指定して、当該指定した組み合わせに対応する1以上の触質コンテンツを触質コンテンツ記憶部1132から読み出すようにしてもよい。この場合における触質パラメータの組み合わせの指定は、所望の触覚コンテンツを生成したいユーザが手動で行うことができるようにしてもよいし、所定のルールに基づいて触質コンテンツ読出部1131が自動的に行うようにしてもよい。
【0175】
図14Aに示す構成例では、触質コンテンツ読出部1131により読み出された触質コンテンツを触覚コンテンツとし、これを触覚コンテンツ供給部12に供給する。
【0176】
なお、図示はしていないが、
図3(b)に示した触質差分パラメータ生成部134と同様の構成を触質パラメータ生成部1134の後段に設けるようにしてもよい。
【0177】
この場合、触質パラメータ生成部1134は、対象情報取得部1131により取得された対象情報から、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータの組み合わせを2組以上生成する。そして、この触質パラメータ生成部1134の後段に設けられる触質差分パラメータ生成部は、触質パラメータ生成部1134により生成された2組以上の触質パラメータについて、2つの組間で触質パラメータの差分値をそれぞれ計算することにより、n個の触質差分パラメータの組み合わせを1組以上生成する。
【0178】
また、触質コンテンツ記憶部1132は、n個の触質差分パラメータにより特定される固有の触覚効果を持った触質コンテンツであって、複数の触質モードにそれぞれ対応した複数の触質コンテンツを、n個の触質差分パラメータの組み合わせおよび触質モードに対応付けて記憶する。そして、触質コンテンツ読出部1131は、触質差分パラメータ生成部により生成されたn個の触質差分パラメータの組み合わせを1組以上指定して、当該指定した1組以上の組み合わせおよび触質モードに対応する1以上の触質コンテンツを触質コンテンツ記憶部1132から読み出す。この構成の場合も、触質コンテンツ読出部1131により読み出された触質コンテンツを触覚コンテンツとする。
【0179】
なお、
図14Aのように、外部装置700からダウンロードした触質コンテンツを触質コンテンツ記憶部1132に記憶可能な形態のみならず、触質コンテンツを触質コンテンツ記憶部1132にあらかじめ記憶している形態や、外部装置700から触質コンテンツをストリーミング的に受信して触質コンテンツ記憶部1132’(図示せず)に一時的に記憶させる形態とする場合においても、触質パラメータに代えて触質差分パラメータを用いることができるのは言うまでもない。
【0180】
次に、
図14Bの構成について説明する。対象情報取得部1133および触質パラメータ生成部1134については、
図14Aで説明したのと同様である。触質コンテンツ記憶部1142は、ハードディスク、半導体メモリ等の不揮発性の記憶媒体であり、n個の触質パラメータにより特定される固有の触覚効果を持った触質コンテンツを、n個の触質パラメータの組み合わせに対応付けて記憶する。触質コンテンツ記憶部1142が記憶する触質コンテンツは、
図14Aにて説明したのと同様のものであるが、触質モードに対応して生成されたものではなく、触質モードに応じた触覚コンテンツを生成するための基準となる所定の振動情報から成る触質コンテンツである。
【0181】
触質コンテンツ読出部1141は、触質パラメータ生成部1134により生成されたn個の触質パラメータの組み合わせを1組以上指定して、当該指定した1組以上の組み合わせに対応する1以上の触質コンテンツを触質コンテンツ記憶部1142から読み出す。
【0182】
振動波形加工部1123は、触質コンテンツ読出部1141により読み出された触質コンテンツの振動情報に対する重み情報であって、触質モード指定部13により指定された触質モードに応じた重み情報を生成し、生成した重み情報によって触質コンテンツの振動情報を加工する。この
図14Bに示す構成の場合、振動波形加工部1123により加工された触質コンテンツを触覚コンテンツとする。
【0183】
なお、図示はしていないが、
図3(b)に示した触質差分パラメータ生成部134と同様の構成を触質パラメータ生成部1134の後段に設けるようにしてもよい。
【0184】
この場合、触質パラメータ生成部1134は、対象情報取得部1131により取得された対象情報から、それぞれが触感の一要素を表したn個(n≧2)の触質パラメータの組み合わせを2組以上生成する。そして、この触質パラメータ生成部1134の後段に設けられる触質差分パラメータ生成部は、触質パラメータ生成部1134により生成された2組以上の触質パラメータについて、2つの組間で触質パラメータの差分値をそれぞれ計算することにより、n個の触質差分パラメータの組み合わせを1組以上生成する。
【0185】
さらに、振動波形加工部1123は、触覚コンテンツ読出部1141により読み出された触質コンテンツの振動情報に対する重み情報であって、触質モード指定部13により指定された触質モードに応じた重み情報を生成し、生成した重み情報によって触質コンテンツの振動情報を加工する。この構成の場合も、振動波形加工部1123により加工された触質コンテンツを触覚コンテンツとする。
【0186】
また、触質コンテンツ記憶部1142は、n個の触質差分パラメータにより特定される固有の触覚効果を持った触質コンテンツを、n個の触質差分パラメータの組み合わせに対応付けて記憶する。そして、触質コンテンツ読出部1141は、触質差分パラメータ生成部により生成されたn個の触質差分パラメータの組み合わせを1組以上指定して、当該指定した1組以上の組み合わせに対応する1以上の触質コンテンツを触質コンテンツ記憶部1142から読み出す。
【0187】
なお、
図14Bでは、触質コンテンツ記憶部1142は、触質モードに対応して生成された触質コンテンツではなく、触質モードに応じた触覚コンテンツを生成するための基準となる所定の振動情報から成る触質コンテンツを記憶する例について説明した。これに対し、
図14Aで説明したのと同様に、触質コンテンツ記憶部1142が複数の触質モードにそれぞれ対応した複数の触質コンテンツを記憶し、触質コンテンツ読出部1141が、触質モード指定部13により指定された触質モードに応じた触質コンテンツを触質コンテンツ記憶部1142から読み出すようにしてもよい。
【0188】
次に、
図14Cの構成例について説明する。
図14Aおよび
図14Bでは、対象情報取得部1133は、音声コンテンツ取得部14により取得された音声コンテンツとは異なる情報、すなわち、ユーザが音声コンテンツとは別に指定した波形情報を対象情報として取得していた。これに対し、
図14Cの構成例では、対象情報取得部1133’は、音声コンテンツ取得部14により取得された音声コンテンツを対象情報として取得する。その他は
図14Aまたは
図14Bと同様である。
【0189】
この
図14Cに示す構成によれば、音声コンテンツ取得部14により取得される音声コンテンツ(すなわち、コンテンツ利用機器500に供給する音声コンテンツ)が持つ触質パラメータにより特定される触質コンテンツをもとに触覚コンテンツが生成されることになる。すなわち、
図14Cに示す構成によれば、ユーザにより選択された音声コンテンツの触質特徴量に基づいて触質モード指定部13より指定された触質モードに応じた触覚コンテンツであって、かつ、ユーザにより選択された音声コンテンツに関する触質パラメータに応じた触覚コンテンツ(すなわち、対象情報取得部1133’において音声コンテンツを対象情報として取得することによって生成される触覚コンテンツ)が取得されることになる。これにより、音声コンテンツと親和性の高い触覚コンテンツを生成することができる。
【0190】
図16は、音声コンテンツの取得については
図2Aのように構成するとともに、触覚コンテンツの取得については触覚コンテンツ取得部11を
図14Aのように構成した場合におけるコンテンツ供給装置100の動作例を示すフローチャートである。なお、
図16に示すフローチャートは、コンテンツ供給装置100を起動したときに開始する。
【0191】
まず、対象情報取得部1133は、ユーザにより指定された対象情報を取得する(ステップS21)。次いで、触質パラメータ生成部1134は、対象情報取得部1133により取得された対象情報から、それぞれが触感の一要素を表したn個の触質パラメータの組み合わせを生成する(ステップS22)。なお、触質差分パラメータを生成する実施形態の場合は、このステップS22で生成された触質パラメータをもとに触質差分パラメータを生成する。
【0192】
その後、音声コンテンツ取得部14の音声コンテンツ読出部141は、音声コンテンツ記憶部142に記憶されている1以上の音声コンテンツの中から何れかを選択するユーザ操作が行われたか否かを判定する(ステップS23)。このユーザ操作が行われていない場合は、ステップS23の判定を繰り返す。
【0193】
一方、音声コンテンツを選択するユーザ操作が行われた場合、音声コンテンツ読出部141は、当該ユーザ操作により選択された音声コンテンツを音声コンテンツ記憶部142から読み出すことによって音声コンテンツを取得する(ステップS24)。
【0194】
次いで、触質モード指定部13は、音声コンテンツ読出部141により音声コンテンツ記憶部142から読み出された音声コンテンツを解析し、その解析結果に応じて触質モードを指定する(ステップS25)。触覚コンテンツ取得部11の触質コンテンツ読出部1131は、ステップS22で触質パラメータ生成部1134により生成されたn個の触質パラメータの組み合わせを1組以上指定して、当該指定した1組以上の組み合わせおよび触質モードに対応する1以上の触質コンテンツを触質コンテンツ記憶部1132から読み出す(ステップS26)。
【0195】
そして、音声コンテンツ供給部15が、ステップS24で音声コンテンツ取得部14により取得された音声コンテンツをコンテンツ利用機器500に供給するとともに(ステップS27)、触覚コンテンツ供給部12が、ステップS26で触質コンテンツ読出部1131により触質コンテンツ記憶部1132から読み出された触質コンテンツを触覚コンテンツとしてコンテンツ利用機器500に供給する(ステップS28)。
【0196】
その後、音声コンテンツ読出部141は、音声コンテンツのコンテンツ利用機器500に対する供給が終了したか否かを判定する(ステップS29)。音声コンテンツの供給が終了していない場合、処理はステップS27に戻り、音声コンテンツおよび触覚コンテンツのコンテンツ利用機器500に対する供給を継続する。一方、音声コンテンツの供給が終了した場合、
図16に示すフローチャートの処理は終了する。
【0197】
図17は、音声コンテンツの取得については
図2Aのように構成するとともに、触覚コンテンツの取得については触覚コンテンツ取得部11を
図14Bのように構成した場合におけるコンテンツ供給装置100の動作例を示すフローチャートである。なお、
図17に示すフローチャートは、コンテンツ供給装置100を起動したときに開始する。
【0198】
まず、対象情報取得部1133は、ユーザにより指定された対象情報を取得する(ステップS31)。次いで、触質パラメータ生成部1134は、対象情報取得部1133により取得された対象情報から、それぞれが触感の一要素を表したn個の触質パラメータの組み合わせを生成する(ステップS32)。なお、触質差分パラメータを生成する実施形態の場合は、このステップS32で生成された触質パラメータをもとに触質差分パラメータを生成する。
【0199】
その後、音声コンテンツ取得部14の音声コンテンツ読出部141は、音声コンテンツ記憶部142に記憶されている1以上の音声コンテンツの中から何れかを選択するユーザ操作が行われたか否かを判定する(ステップS33)。このユーザ操作が行われていない場合は、ステップS33の判定を繰り返す。
【0200】
一方、音声コンテンツを選択するユーザ操作が行われた場合、音声コンテンツ読出部141は、当該ユーザ操作により選択された音声コンテンツを音声コンテンツ記憶部142から読み出すことによって音声コンテンツを取得する(ステップS34)。
【0201】
次いで、触質モード指定部13は、音声コンテンツ読出部141により音声コンテンツ記憶部142から読み出された音声コンテンツを解析し、その解析結果に応じて触質モードを指定する(ステップS35)。触覚コンテンツ取得部11の触質コンテンツ読出部1141は、ステップS32で触質パラメータ生成部1134により生成されたn個の触質パラメータの組み合わせを1組以上指定して、当該指定した1組以上の組み合わせに対応する1以上の触質コンテンツを触質コンテンツ記憶部1142から読み出す(ステップS36)。
【0202】
さらに、振動波形加工部1123は、触質コンテンツ読出部1141により読み出された触質コンテンツの振動情報に対する重み情報であって、触質モード指定部13により指定された触質モードに応じた重み情報を生成し(ステップS37)、生成した重み情報によって触質コンテンツの振動情報を加工することにより、指定された触質モードに応じた触質コンテンツを生成する(ステップS38)。
【0203】
そして、音声コンテンツ供給部15が、ステップS34で音声コンテンツ取得部14により取得された音声コンテンツをコンテンツ利用機器500に供給するとともに(ステップS39)、触覚コンテンツ供給部12が、振動波形加工部1123により加工された触質コンテンツを触覚コンテンツとしてコンテンツ利用機器500に供給する(ステップS40)。
【0204】
その後、音声コンテンツ読出部141は、音声コンテンツのコンテンツ利用機器500に対する供給が終了したか否かを判定する(ステップS41)。音声コンテンツの供給が終了していない場合、処理はステップS38に戻り、音声コンテンツおよび重み情報によって加工した触覚コンテンツのコンテンツ利用機器500に対する供給を継続する。一方、音声コンテンツの供給が終了した場合、
図17に示すフローチャートの処理は終了する。
【0205】
<触覚コンテンツ取得部11の第4構成例>
次に、触覚コンテンツ取得部11の第4構成例を説明する。
図18A〜
図18Cは、第4構成例に係る触覚コンテンツ取得部11の機能構成例を示すブロック図である。なお、第4構成例に係る触覚コンテンツ取得部11は、第3構成例に係る触覚コンテンツ取得部11の変形例を示したものであり、
図14A〜
図14Cに示した構成要素と同一の機能を有する構成要素には同一の符号を付している。
【0206】
図18A〜
図18Cに示すように、第4構成例に係る触覚コンテンツ取得部11は、第3構成例に係る触覚コンテンツ取得部11が備える機能構成に加えて、繰り返し抽出部1145を更に備えている。
【0207】
図18Aおよび
図18C(a)の構成において、繰り返し抽出部1145は、触質モード指定部13により指定された触質モードに応じて触質コンテンツ読出部1131により順に読み出された複数の触質コンテンツが、2つ以上の異なる触質コンテンツの組み合わせから成るパターンの繰り返しを有するか否かを判定する。そして、繰り返しを構成している触質コンテンツ群の少なくとも1サイクル分を抽出し、これを触覚コンテンツとして生成する。
【0208】
また、
図18Bおよび
図18C(b)の構成において、繰り返し抽出部1145は、触質コンテンツ読出部1141により順に読み出された複数の触質コンテンツが、2つ以上の異なる触質コンテンツの組み合わせから成るパターンの繰り返しを有するか否かを判定する。そして、繰り返しを構成している触質コンテンツ群の少なくとも1サイクル分を抽出し、これを触覚コンテンツとして生成する。
【0209】
さらに、振動波形加工部1123は、繰り返し抽出部1145により生成された触覚コンテンツの振動情報に対する重み情報であって、触質モード指定部13により指定された触質モードに応じた重み情報を生成し、生成した重み情報によって触質コンテンツの振動情報を加工する。
【0210】
繰り返しを構成している触質コンテンツ群は、この振動を受けるユーザに対して意味のあるメッセージを伝えることが可能な情報である。その理由を以下に説明する。
【0211】
触覚によって何らかのメッセージを人に伝える場合、第1に、触感に差異を作ることが大事である。例えば、人は、ずっと同じ圧力を受け続けると圧力を感じなくなるが、圧力に差異を作ると、より強く圧力を感じるようになる。そして、その差異の連なりから、ある種のメッセージを表現することが可能となる。例えば、
図15に示したマトリクス空間において、インデックス番号が20番の触質コンテンツと25番の触質コンテンツとを順に抽出すると、比較的弱い強度で長い時間をかけてゆったりと強度が変化するという差異が生じ、この差異によって「柔らかくて滑らか」な感じというメッセージを表現することが可能となる。
【0212】
第2に、上記のような触感の差異を2回以上繰り返すことにより、それが何か特別なもの(偶然ではないもの)という印象を人に与えることができる。すなわち、20番の触質コンテンツと25番の触質コンテンツとを順に1回ずつ抽出するだけなく、20番→25番→20番→25番のように2回以上繰り返すことにより、差異によって生じるメッセージをより強く伝えることが可能となる。なお、ここでは2つの触質コンテンツが繰り返される例を示したが、3つ以上の触質コンテンツが繰り返されるものも、強いメッセージ性を持った触覚コンテンツとなる。
【0213】
以下に、繰り返し抽出部1145による繰り返しパターンの判定アルゴリズムの一例を説明する。
図19は、繰り返し抽出部1145による繰り返しパターンの判定アルゴリズムを説明するための図である。
図19(a)は、例えば触質コンテンツ読出部1131(触質コンテンツ読出部1141の場合も同様)により順に読み出された10個の触質コンテンツのインデックス番号の順列を示している。
【0214】
繰り返し抽出部1145は、まず、触質コンテンツ読出部1131により読み出された触質コンテンツに対応する複数のインデックス番号のうち、先頭のインデックス番号をkeyとして、当該keyと同じインデックス番号が出現する直前までをパターンとして抽出する。ここで、パターンとは、2つ以上の異なるインデックス番号(それにより示される触質コンテンツ)の組み合わせをいうものとする。
【0215】
例えば、keyと同じインデックス番号が連続する場合(例えば、“11”のようなケース)、「2つ以上の異なる」という制限を設けることなく、keyと同じインデックス番号が出現する直前までをパターンとして抽出すると、最初の1つ目のインデックス番号“1”だけがパターンとして抽出されることになる。本実施形態では、このような1つのインデックス番号のみから成るものをパターンとしては抽出しない。これをパターンとして抽出すると、“11”は“1”が2回繰り替えされている触覚コンテンツとなってしまうが、これだと触質コンテンツの連なりに差異がないので、触覚コンテンツとしては不適だからである。
【0216】
繰り返し抽出部1145は、1つのパターンを抽出したら、次に、当該抽出したパターンの次のインデックス番号をkeyとして、当該keyと同じインデックス番号が出現する直前までをパターンとして新たに抽出する。繰り返し抽出部1145は、以上の処理を、触質コンテンツ読出部1131により順に読み出された触質コンテンツに対応する複数のインデックス番号の最後まで行う。
【0217】
なお、先頭のインデックス番号をkeyとして、最後のインデックス番号まで探索を行っても、そのkeyと同じインデックス番号が見つからない場合は、先頭から2番目のインデックス番号をkeyに設定し直して、当該keyと同じインデックス番号が出現する直前までをパターンとして抽出する。この処理は、パターンが見つかるまで、keyを変えながら繰り返し行う。
図19(b)は、このようなパターン抽出処理を行った結果を示している。
【0218】
図19(b)の例では、まず、先頭のインデックス番号“1”をkeyとして、当該keyと同じインデックス番号が出現する直前までをパターンとして抽出している。これにより、“123”が1つ目のパターンとして抽出されている。次に、抽出した1つ目のパターンの次のインデックス番号(4番目のインデックス番号)“1”をkeyとして、当該keyと同じインデックス番号が出現する直前までをパターンとして抽出している。これにより、“123”が2つ目のパターンとして抽出されている。
【0219】
次に、抽出した2つ目のパターンの次のインデックス番号(7番目のインデックス番号)“1”をkeyとして、当該keyと同じインデックス番号が出現する直前までをパターンとして抽出している。これにより、“14”が3つ目のパターンとして抽出されている。さらに、抽出した3つ目のパターンの次のインデックス番号(9番目のインデックス番号)“1”をkeyとして、当該keyと同じインデックス番号が出現する直前までをパターンとして抽出しようとしたが、同じインデックス番号はみつからず、残りの “13”が4つ目のパターンとして抽出されている。
【0220】
図19(b)の例では、“123”のパターンが2回繰り返されている。よって、繰り返し抽出部1145は、この繰り返しを構成している触質コンテンツ群“123123”を抽出し、これを触覚コンテンツとして生成する。なお、繰り返し抽出部1145は、繰り返しを構成している触質コンテンツ群“123123”のうち、1サイクル分(1つのパターン分)の“123”だけを抽出し、これを触覚コンテンツとして生成するようにしてもよい。1サイクル分の触質コンテンツ群“123”を触覚コンテンツとしてコンテンツ利用機器500に供給した場合、コンテンツ利用機器500のリピート再生機能によって“123123”のように繰り返しのある触覚コンテンツを得ることが可能である。
【0221】
なお、
図19の例では、
図19(c)に示すように、2番目のインデックス番号“2”をkeyとして設定すると、“231”というパターンの繰り返しを抽出することができる。そこで、繰り返し抽出部1145は、keyの設定位置を先頭から順に変えながらパターン抽出処理を行うことにより、繰り返しを構成している複数の触質コンテンツ群“123123”、“231231”を抽出し、これらの少なくとも1サイクル分を触覚コンテンツとして生成するようにしてもよい。また、インデックス番号の全てを順次keyに設定して、繰り返しパターンの判定処理を行うようにしてもよい。
【0222】
なお、ここでは、触質コンテンツ読出部1131により読み出された触質コンテンツが10個の場合における繰り返しパターンの判定例を説明したが、触質コンテンツが多数の場合もある。そこで、繰り返し抽出部1145は、触質コンテンツ読出部1131により順に読み出された複数の触質コンテンツを先頭から所定数毎に区切ってグループ化し、グループ毎に繰り返しパターンの判定処理を行うようにしてもよい。
【0223】
図20は、音声コンテンツの取得については
図2Aのように構成するとともに、触覚コンテンツの取得については触覚コンテンツ取得部11を
図18Aのように構成した場合におけるコンテンツ供給装置100の動作例を示すフローチャートである。なお、
図20に示すフローチャートは、コンテンツ供給装置100を起動したときに開始する。
図20において、
図16に示したステップ番号と同一のステップ番号を付した処理は同一であるので、ここでは重複する説明を省略する。
【0224】
図20において、ステップS26で触質コンテンツ読出部1131が触質モードに対応する複数の触質コンテンツを触質コンテンツ記憶部1132から読み出した後、繰り返し抽出部1145は、当該複数の触質コンテンツが繰り返しのパターンを有するか否かを判定する(ステップS51)。そして、繰り返し抽出部1145は、繰り返しを構成している触質コンテンツ群の少なくとも1サイクル分を抽出し、これを触覚コンテンツとして生成する(ステップS52)。その後、処理はステップS27へと進む。
【0225】
なお、上記実施形態では、触質コンテンツ記憶部1132,1142から読み出された複数の触質コンテンツの中から、1種類の繰り返しパターンから成る触質コンテンツ群を抽出し、抽出した触質コンテンツ群の少なくとも1サイクル分をそのまま触覚コンテンツとする例について説明したが、本発明はこれに限定されない。例えば、複数種類の繰り返しパターンから成る触質コンテンツ群の少なくとも1サイクル分を抽出し、これらを組み合わせることによって触覚コンテンツを生成するようにしてもよい。
【0226】
また、上記実施形態では、1つのインデックス番号をKeyに設定して、そのKeyと同じインデックス番号が出現する直前までをパターンとして抽出する例について説明したが、本発明はこれに限定されない。例えば、複数のインデックス番号の組み合わせをKeyに設定して、そのKeyと同じインデックス番号の組み合わせが出現する直前までをパターンとして抽出するようにしてもよい。
【0227】
また、上記実施形態では、例えば
図19(b)のように“123|123”とパターンの繰り返しが検出された場合に、その繰り返しを構成している触質コンテンツ群“123123” の少なくとも1サイクル分を触覚コンテンツとして生成する例について説明したが、本発明はこれに限定されない。例えば、“123”を1個または2個以上の任意の数だけ組み合わせたものを触覚コンテンツとして生成するようにしてもよい。
【0228】
また、“123”の順序をサイクリックに置き換えたもの(“231”または“312”)を生成し、これを1個または複数個組み合わせたものを触覚コンテンツとして生成するようにしてもよい。ここで、“231231”や“312312”のように、同一のパターンを組み合わせて触覚コンテンツを生成してもよいし、“123231312”のように、異なるパターンを任意に組み合わせて触覚コンテンツを生成するようにしてもよい。
【0229】
また、
図14Bおよび
図18Bでは、触質コンテンツ記憶部1142は、触質モードに対応して生成された触質コンテンツではなく、触質モードに応じた触覚コンテンツを生成するための基準となる所定の振動情報から成る触質コンテンツを記憶する例について説明した。これに対し、触質コンテンツ記憶部1142が複数の触質モードにそれぞれ対応した複数の触質コンテンツを記憶し、触質コンテンツ読出部1141が、触質モード指定部13により指定された触質モードに応じた触質コンテンツを触質コンテンツ記憶部1142から読み出すようにしてもよい。
【0230】
さらに、
図14A,
図14Bに示した第3構成例、および
図18A,
図18Bに示した第4構成例に係る触覚コンテンツ取得部11では、対象情報取得部1133が取得する対象情報の例として波形情報を説明したが、これに限定されない。本実施形態において処理対象として使用可能な情報は、n個(n≧2)の触質パラメータにより特定される固有の触覚効果を持った情報である。特に、強度に相当する値が連続的または断続的に連なっているもの、あるいは、連なっている状態に変換可能なものであれば、対象情報として用いることが可能である。
【0231】
上述した波形情報は、強度に相当する振幅が時間軸に沿って連続的(アナログ信号の場合)または断続的(デジタルデータの場合)に連なっている情報であり、対象情報取得部1133により取得可能な情報の典型例である。
【0232】
別の例として、文字列から成るテキスト情報は、これ自体は強度に相当する値が連なっている情報ではないが、詳細を後述するように、そのような情報に変換可能な情報である。よって、テキスト情報も、対象情報取得部1133により取得可能な情報の1つである。この場合、第1の触質パラメータおよび第2の触質パラメータがそれぞれ何であるかについては後述する。
【0233】
基本的に、情報量が単一のもの以外は、本実施形態において扱うことが可能な情報と言える。例えば、テキスト情報の場合、“あ”のように1文字のみから成るものは、強度に相当する値が連なっている情報とは言えず、また、これに変換することもできないので、本実施形態の対象外となる。一方、複数の文字から成るテキスト情報であれば、後述するように、強度に相当する値が連なっている情報に変換可能なので、本実施形態において扱うことが可能な情報となる。
【0234】
音声信号の場合、ある程度の時間的な長さを持ったものであれば、上述の通り本実施形態において扱うことが可能な情報である。一方、一瞬で終わる音の場合、振幅は存在するが、時間軸に沿って複数に分割可能な長さを持たない。そのため、このままでは本実施形態において扱うことが可能な情報ではない。しかし、その瞬時音を周波数解析して周波数軸の信号に変換すると、周波数毎に異なる振幅を持った情報、つまり、強度に相当する振幅が周波数軸に沿って連なった情報となるため、本実施形態において扱うことが可能な情報となる。
【0235】
音声信号やテキスト情報に限らず、それ以外のあらゆる情報についても同様のことが言える。すなわち、もともと情報量が単一でないものは、強度に相当する値が連なっているものと言えるので、本実施形態において扱うことが可能な情報である。一方、もとは情報量が単一であっても、強度に相当する値が連なっている情報に変換可能なものも、本実施形態において扱うことが可能な情報である。
【0236】
以下に、対象情報取得部1133により取得される対象情報の種類に応じた触質パラメータの具体的な生成例について説明する。なお、対象情報が波形情報である場合については既に説明したので、それ以外の情報が対象情報である場合について説明する。
【0237】
<第1例:ヒストグラム情報の場合>
触質パラメータ生成部1134は、対象情報取得部1133により取得された対象情報が、周波数の違いに応じて強度が変化するヒストグラム情報である場合、当該ヒストグラム情報を周波数軸方向に複数に分割する。そして、それぞれの分割区間から、分割区間内の代表強度を第1の触質パラメータとして特定するとともに、分割区間の周波数幅を第2の触質パラメータとして特定することにより、第1の触質パラメータおよび第2の触質パラメータの組み合わせを生成する。
【0238】
図21は、ヒストグラム情報を入力した場合における触質パラメータ生成部1134による処理内容の一例を説明するための図である。
図21(a)は、対象情報取得部1133により取得されたヒストグラム情報を示している。
図21(a)に示す通り、ヒストグラム情報は、外形は波形情報と同様である。そのため、波形情報と同様の処理を適用することが可能である。この場合も、前処理として、
図21(b)のようにヒストグラム情報のエンベロープを抽出し、当該エンベロープを対象として第1の触質パラメータおよび第2の触質パラメータを特定するようにしてもよい。
【0239】
すなわち、触質パラメータ生成部1134は、まず、
図21(a)に示すヒストグラム情報(または
図21(b)に示すエンベロープ情報)を周波数軸方向に複数に分割する。
図21では一例として、エンベロープの振幅が極小となる時間毎に分割している。すなわち、エンベロープの開始点から1つ目の極小値までを第1の分割区間F1、1つ目の極小値から2つ目の極小値までを第2の分割区間F2、2つ目の極小値から3つ目の極小値までを第3の分割区間F3、・・・のように、ヒストグラム情報を周波数軸方向に複数に分割している。ただし、分割法はこれに限定されない。
【0240】
触質パラメータ生成部1134は、それぞれの分割区間F1,F2,F3,・・・から、第1の触質パラメータとして代表強度h1,h2,h3,・・・を特定するとともに、第2の触質パラメータとして分割区間の周波数幅f1,f2,f3,・・・を特定する。ここで、代表強度h1,h2,h3,・・・は、それぞれの分割区間F1,F2,F3,・・・における極大値を示している。ただし、代表強度の取り方はこれに限定されない。
【0241】
<第2例:空間分布情報の場合>
触質パラメータ生成部1134は、対象情報取得部1133により取得された対象情報が、位置または領域の違いに応じて強度が変化する空間分布情報である場合、当該空間分布情報を位置または領域に応じて複数に分割する。そして、それぞれの分割区間から、分割区間内の代表強度を第1の触質パラメータとして特定するとともに、分割区間の終始点間の長さまたは面積を第2の触質パラメータとして特定することにより、第1の触質パラメータおよび第2の触質パラメータの組み合わせを生成する。
【0242】
空間分布情報の一例として、画像情報が挙げられる。画像情報は、画素の位置または複数の画素群から成る領域に応じて、強度の要素を有する色情報や輝度情報が変化する情報である。触質パラメータ生成部1134は、このような画像情報を、画素の位置または画素群の領域に応じて複数に分割し、それぞれの分割区間から第1の触質パラメータおよび第2の触質パラメータの組み合わせを生成する。
【0243】
図22は、画像情報を入力した場合における触質パラメータ生成部1134による処理内容の一例を説明するための図である。
図22(a)に示す画像情報は、縦横が様々な大きさのメッシュ状に分割されたパターン画像の例を示している。第2例は、このようなパターン画像から第1の触質パラメータおよび第2の触質パラメータの組み合わせを生成するのに適している。
【0244】
触質パラメータ生成部1134は、まず、
図22(a)に示すパターン画像をメッシュの領域に応じて複数に分割する。
図22(a)では一例として、最も左上のメッシュを第1の分割区間A1、その右側のメッシュを第2の分割区間A2、更にその右側のメッシュを第3の分割区間A3、・・・としていき、右端までいったら1つの下の段に降りて左端から右端に向かって順に分割していく。これを最も右下のメッシュまで行うことにより、パターン画像の全体を各メッシュの領域に応じて複数に分割している。
【0245】
触質パラメータ生成部1134は、それぞれの分割区間A1,A2,A3,・・・から、第1の触質パラメータとして代表強度h1,h2,h3,・・・を特定するとともに、第2の触質パラメータとして分割区間の面積a1,a2,a3,・・・を特定する。ここで、代表強度h1,h2,h3,・・・は、それぞれの分割区間A1,A2,A3,・・・における彩度、明度または輝度の何れかの平均値などを用いることが可能である。
【0246】
なお、ここでは、複数のメッシュが縦横に区切られた2次元のパターン画像の例を示したが、
図22(b)のような1次元のパターン画像(縦方向は1画素、横方向は複数画素のライン画像)であってもよい。この場合、触質パラメータ生成部1134は、それぞれの分割区間A1,A2,A3,・・・から、第2の触質パラメータとして、分割区間の始点から終点までの長さ(画素数に相当)を特定すればよい。
【0247】
<第3例:周波数スペクトル情報の場合>
対象情報取得部1133により取得された画像情報が、
図22に示したシンプルなパターン画像ではなく、写真や絵画のような複雑な画像情報の場合、第2例を適用するのは難しい。このような画像情報を処理対象とする場合、触質パラメータ生成部1134は、前処理として画像情報を周波数スペクトル情報に変換し、その周波数スペクトル情報から第1の触質パラメータおよび第2の触質パラメータの組み合わせを生成する。
【0248】
すなわち、触質パラメータ生成部1134は、対象情報取得部1133により取得された画像情報を分析して強度−周波数分布の周波数スペクトル情報を生成した後、当該周波数スペクトル情報を周波数軸方向に複数に分割し、それぞれの分割区間から、分割区間内の代表強度を第1の触質パラメータとして特定するとともに、分割区間の周波数幅を第2の触質パラメータとして特定することにより、第1の触質パラメータおよび第2の触質パラメータの組み合わせを生成する。
【0249】
この場合における具体的な処理例は、
図21を用いて説明した第1例と同様なので、説明を割愛する。なお、画像情報の他に、音声信号に対してもこの第3例を適用することが可能である。上述したように、一瞬で終わる単発の音の場合は、
図15の例を適用することができない。しかし、第3例を適用することは可能である。すなわち、瞬時音を分析して強度−周波数分布の周波数スペクトル情報を生成することにより、その周波数スペクトル情報から第1の触質パラメータおよび第2の触質パラメータの組み合わせを生成することが可能である。
【0250】
<第4例:テキスト情報の場合>
触質パラメータ生成部1134は、対象情報取得部1133により取得された対象情報がテキスト情報である場合、テキスト情報を形態素解析してセンテンス毎に分割するとともに、各センテンス内を分節毎に区切り、各文節の音素数を特定する。そして、それぞれのセンテンスから、センテンス内の代表音素数の逆数を強度とみなして第1の触質パラメータとして特定するとともに、センテンス内の文節数を第2の触質パラメータとして特定することにより、第1の触質パラメータおよび第2の触質パラメータの組み合わせを生成する。
【0251】
図23は、テキスト情報を入力した場合における触質パラメータ生成部1134による処理内容の一例を説明するための図である。
図23は、対象情報取得部1133により取得されたテキスト情報にカナを併記したものを示している。
図23に示す例において入力されたテキスト情報は、「今日は日曜日。私は今日学校に行きました。」という文章の文字列から成る情報である。
【0252】
触質パラメータ生成部1134は、まず、「今日は日曜日。私は今日学校に行きました。」という文章のテキスト情報をセンテンス毎に分割する。すなわち、「今日は日曜日」および「私は今日学校に行きました」の2つに分割する。1つ目のセンテンスが第1の分割区間B1、2つ目のセンテンスが第2の分割区間B2となる。
【0253】
次に、触質パラメータ生成部1134は、それぞれのセンテンスを形態素解析し、各センテンス内を分節毎に区切り、各文節の音素数を特定する。すなわち、第1の分割区間B1に関しては、センテンスを「今日は」および「日曜日」の2つの文節に区切る。そして、1つ目の文節「キョウハ」の音素数を“3”と特定し、2つ目の文節「ニチヨウビ」の音素数を“5”と特定する。同様に、第2の分割区間B2に関しては、センテンスを「私は」、「今日」、「学校に」および「行きました」の4つの文節に区切る。そして、各文節の音素数をそれぞれ“4”、“2”、“5”、“5”と特定する。
【0254】
そして、触質パラメータ生成部1134は、第1の分割区間B1および第2の分割区間B2のそれぞれから、分割区間内の代表音素数の逆数を強度とみなして、これを第1の触質パラメータとして特定する。代表音素数は、例えば、分割区間内で最小の音素数、最大の音素数、または平均音素数とすることが可能である。例えば、平均音素数を用いる場合、第1の分割区間B1の平均音素数は“4”であり、これの逆数を第1の触質パラメータとして特定する。また、第2の分割区間B2の平均音素数も“4”であり、これの逆数を第1の触質パラメータとして特定する。
【0255】
また、触質パラメータ生成部1134は、第1の分割区間B1および第2の分割区間B2のそれぞれから、文節数を第2の触質パラメータとして特定する。すなわち、第1の分割区間B1については文節数“2”を第2の触質パラメータとして特定し、第2の分割区間B2については文節数“4”を第2の触質パラメータとして特定する。
【0256】
<第5例:動作情報の場合>
触質パラメータ生成部1134は、対象情報取得部1133により取得された対象情報が、人の動きを表す一連の動作情報である場合、当該一連の動作情報を一動作毎に分割する。そして、それぞれの動作から、当該動作による加圧力、速度、加速度または人体の到達高さに関する代表値を強度とみなし第1の触質パラメータとして特定するとともに、一動作にかかる時間の長さを第2の触質パラメータとして特定することにより、第1の触質パラメータおよび第2の触質パラメータの組み合わせを生成する。
【0257】
人の動きを表す一連の動作情報の一例として、マッサージの施術の動きを表した動作情報が挙げられる。
図24は、マッサージの動作情報を入力した場合における触質パラメータ生成部1134による処理内容の一例を説明するための図である。マッサージは、複数の手技の組み合わせで行われる。そして、1つの手技は、圧力を所定時間加えることによって成される。
【0258】
したがって、このようなマッサージの施術の動きを表した動作情報は、
図24に示すように、横軸を時間軸とし、縦軸を圧力として描かれる棒グラフのような情報で表すことができる。なお、隣接する棒グラフの間が開いている箇所は、2つの手技が時間を置いて行われることを意味する。また、隣接する棒グラフの間が接続している箇所は、2つの手技が時間を置かずに連続して行われることを意味する。例えば、表面に圧力センサを備えた人型の人形等に対して実際にマッサージを施術すると、
図24に示すようなセンサ情報が得られるので、これを対象情報取得部1133への入力とすることが可能である。
【0259】
触質パラメータ生成部1134は、対象情報取得部1133により取得される、複数の手技の組み合わせから成る一連の動作情報を、1つ1つの手技(一動作)毎に分割する。
図24のイメージで説明すると、1つ1つの棒グラフに分割することに相当する。この場合、1つの手技(棒グラフ)が1つの分割区間に相当する。すなわち、1つ目の手技を第1の分割区間M1,2つ目の手技を第2の分割区間M2、3つ目の手技を第3の分割区間M3、・・・のように、一連の動作情報を手技毎に分割していく。
【0260】
そして、触質パラメータ生成部1134は、それぞれの分割区間M1,M2,M3,・・・から、当該分割区間M1,M2,M3,・・・の手技による加圧力p1,p2,p3,・・・を第1の触質パラメータとして特定するとともに、各手技を行うの要する所要時間の長さt1,t2,t3,・・・を第2の触質パラメータとして特定することにより、第1の触質パラメータおよび第2の触質パラメータの組み合わせを生成する。
【0261】
また、人の動きを表す一連の動作情報の別の例として、モーションキャプチャで捉えた動作情報が挙げられる。モーションキャプチャによる動作情報は、人の動きをデジタル的に記録した動画情報として提供される。触質パラメータ生成部1134は、この動画情報を画像解析して、人の特定部位(例えば、手)の動きの開始点を特定し、その開始点に手が戻ってくるまでの動きを一動作として捉える。そして、一連の動作情報を一動作毎に分割する。この場合、手が開始点に戻ってくるまでの一動作が1つの分割区間に相当する。
【0262】
そして、触質パラメータ生成部1134は、それぞれの分割区間から、当該分割区間の動作による速度、加速度または人体の到達高さに関する代表値を強度とみなし、これを強度に関する第1の触質パラメータとして特定する。例えば、動作の速度の代表値を第1の触質パラメータとする場合、一動作の中の最大速度、最小速度または平均速度を代表値として用いることが可能である。また、人体の到達高さの代表値を第1の触質パラメータとする場合、例えば手を動かして動作したときの床からの最高点を代表値として用いることができる。また、触質パラメータ生成部1134は、一動作にかかる時間の長さを第2の触質パラメータとして特定する。
【0263】
<第6例:動画情報の場合>
触質パラメータ生成部1134は、対象情報取得部1133により取得された対象情報が動画情報である場合、当該動画情報をオプティカルフロー解析してフレーム画像間の変位量を演算することにより、時間の経過と共に変位量が変化する波形情報に変換する。そして、当該波形情報を時間軸方向に複数に分割し、それぞれの分割区間から、分割区間内の代表強度を第1の触質パラメータとして特定するとともに、分割区間の時間の長さを第2の触質パラメータとして特定することにより、第1の触質パラメータおよび第2の触質パラメータの組み合わせを生成する。
【0264】
動画情報は、上述したモーションキャプチャによる動作情報を含む、任意の動画情報である。オプティカルフロー解析は、公知の方法を適用することが可能である。まず、時間t1における1番目のフレーム画像と、時間t2における2番目のフレーム画像との差分であるオプティカルフロー値を求める。ここで、各画素に対して求まるx,y方向のオプティカルフロー値をFx,Fyとした場合、例えば(Fx
2+Fy
2)/2の値を画素毎に求め、さらに全画素における平均値を求めることにより、この平均値を時間t2における変位量とする。
【0265】
次に、時間t2における2番目のフレーム画像と、時間t3における3番目のフレーム画像との間で、x,y方向のオプティカルフロー値Fx,Fyをもとに(Fx
2+Fy
2)/2の値を画素毎に求め、さらに全画素における平均値を求めることにより、この平均値を時間t3における変位量とする。以降も同様にしてフレーム毎に変位量を求めることにより、時間の経過と共に変位量が変化する波形情報が得られる。このようにして波形情報を得た後の処理は、
図15を用いて説明した例と同様なので、説明を割愛する。
【0266】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。上記第1の実施形態(
図1〜
図24)では、触質モード指定部13は、音声コンテンツ取得部14により取得された音声コンテンツを解析し、その解析結果に基づいて触質モードの指定を行った。これに対し、第2の実施形態では、音声コンテンツの解析結果に基づく触質モードの指定に代えてまたは加えて、ユーザ操作に応じて触質モードを指定できるようにしたものである。
【0267】
図25および
図26は、第2の実施形態によるコンテンツ供給装置100の機能構成例を示すブロック図である。なお、この
図25および
図26は、
図2Bに示すコンテンツ供給装置100の変形例として示すものであるが、
図2Aまたは
図2Cに示すコンテンツ供給装置100の変形例としても適用可能である。また、触覚コンテンツ取得部11の構成例としては、
図6、
図8、
図14A〜
図14C、
図18A〜
図18Cの何れの構成も適用することが可能である。
【0268】
図25は、音声コンテンツの解析結果に基づく触質モードの指定に加えて、ユーザ操作に応じて触質モードを指定できるようにしたものである。すなわち、触質モード指定部13Aは、音声コンテンツの解析結果に基づいて触質モードを指定する機能に加えて、ユーザからの触質モードの選択に係る指示に応じて触質モードを指定する機能を更に備えている。
【0269】
ここで、触質モード指定部13Aは、音声コンテンツ取得部14により取得された音声コンテンツの解析結果に応じて触質モードを指定する状態をデフォルトとして、ユーザからの触質モードの選択に係る指示が行われた場合には、当該ユーザからの指示に応じて触質モードを指定する状態に変更するようにしてもよい。
【0270】
すなわち、ユーザが選択した音声コンテンツの解析結果に基づいて指定される触質モードをお勧めモードとし、特にユーザからの指定がなければ、触覚コンテンツ取得部11はこのお勧めモードに従って触覚コンテンツを取得する。一方、ユーザが意図的にお勧めモードとは違う触質モードを指定する操作を行った場合には、触覚コンテンツ取得部11はその指定された触質モードに従って触覚コンテンツを取得する。
【0271】
このようにすれば、ユーザが選択した音声コンテンツの特徴に合わせた触覚コンテンツを取得することを基本としつつ、ユーザが触質モードを指定した場合には、お勧めモードによる触覚コンテンツの触感とは異なる触感の触覚コンテンツをユーザの希望に合わせて取得することも可能となる。
【0272】
触覚コンテンツ取得部11の構成例として、例えば
図6(a)または
図6(b)の構成を適用した場合、ユーザは、所望の音声コンテンツを選択するとともに、所望の触質モードを選択することが可能である。この場合、触覚コンテンツ取得部11の触覚コンテンツ読出部1111は、ユーザからの触質モードの選択に係る指示があると、その指示に応じて触質モード指定部13Aにより指定された触質モードに対応する触覚コンテンツを触覚コンテンツ記憶部1112から読み出す。
【0273】
また、触覚コンテンツ取得部11の構成例として、例えば
図8(a)または
図8(b)の構成を適用した場合、ユーザは、所望の音声コンテンツを選択するとともに、所望の触質モードを選択することが可能である。この場合、触覚コンテンツ取得部11の触覚コンテンツ読出部1121は、ユーザからの触質モードの選択に係る指示があると、その指示に応じて触質モード指定部13Aにより指定された触質モードに対応する触質コンテンツを触覚コンテンツ記憶部1122から読み出す。そして、振動波形加工部1123が、触覚コンテンツ読出部1121により読み出された触質コンテンツの振動情報を加工する。
【0274】
また、触覚コンテンツ取得部11の構成例として、例えば
図14C(a)または
図18C(a)の構成を適用した場合、ユーザは、所望の音声コンテンツを選択するとともに、所望の触質モードを選択することが可能である。この場合、触覚コンテンツ取得部11の触覚コンテンツ読出部1131は、ユーザが選択した音声コンテンツから生成される触質パラメータに応じた触質コンテンツで、かつ、当該音声コンテンツに関する触質パラメータとは無関係の触質モード(ユーザにより選択された触質モード)に対応する触質コンテンツを触覚コンテンツ記憶部1132から読み出すことが可能である。
【0275】
図26は、音声コンテンツの解析結果に基づく触質モードの指定に代えて、ユーザ操作に基づく触質モードの指定のみを行うことができるようにしたものである。すなわち、触質モード指定部13Bは、音声コンテンツの解析結果に基づいて触質モードを指定する機能に代えて、ユーザからの触質モードの選択に係る指示に応じて触質モードを指定する機能を備えている。
【0276】
図27は、ユーザ操作に基づく触質モードの指定のみを行うことができるようにした構成の変形例である。
図27に示す構成のコンテンツ供給装置100では、音声コンテンツの取得に関する構成は全く備えていない。すなわち、触覚コンテンツの取得に関する構成のみを備え、触質モードの指定は、触質モード指定部13Bがユーザからの触質モードの選択に係る指示に応じて行う。
【0277】
なお、この
図27における触覚コンテンツ取得部11の構成例としては、
図6、
図14A、
図14C(a)、
図18A、
図18C(a)の何れかの構成も適用することが可能である。例えば、
図6の構成を適用した場合、触覚コンテンツ取得部11の触覚コンテンツ読出部1111,1111’は、触質モード指定部13Bにより指定された触質モードに応じた触覚コンテンツを、複数の触質モードにそれぞれ対応した複数の触覚コンテンツを記憶する触覚コンテンツ記憶部1112,1112’から読み出す。
【0278】
また、触覚コンテンツ取得部11に
図14A、
図14C(a)、
図18A、
図18C(a)の何れかの構成を適用した場合、触覚コンテンツ取得部11の触質コンテンツ読出部1131は、触質モード指定部13Bにより指定された触質モードに応じた触質コンテンツを、複数の触質モードにそれぞれ対応した複数の触覚コンテンツを記憶する触質コンテンツ記憶部1132から読み出す。
【0279】
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。第3の実施形態は、コンテンツ取得装置200とコンテンツ提供サーバ装置300とが通信ネットワーク600を介して接続されたコンテンツ提供システムに関するものである。
【0280】
なお、コンテンツ取得装置200がコンテンツ提供サーバ装置300から取得した触覚コンテンツは、任意に活用することが可能である。例えば、コンテンツ取得装置200が取得した触覚コンテンツを第1の実施形態で説明したコンテンツ供給装置100の触覚コンテンツ記憶部1112に記憶させ、コンテンツ供給装置100からコンテンツ利用機器500に触覚コンテンツを供給することが可能である。
【0281】
本実施形態では、5つのシステム構成例について説明する。
【0282】
<コンテンツ提供システムの第1構成例>
図28は、第1構成例に係るコンテンツ提供システムの機能構成例を示すブロック図である。なお、この
図28において、
図2に示した構成要素と同一の機能を有する構成要素には同一の符号を付している。
【0283】
図28に示すように、コンテンツ取得装置200は、その機能構成として、触覚コンテンツ受信部201、触覚コンテンツ保存部202、音声コンテンツ受信部203、音声コンテンツ保存部204および指示送信部205を備えている。また、コンテンツ提供サーバ装置300は、その機能構成として、触覚コンテンツ取得部11、触質モード指定部13、音声コンテンツ取得部14、触覚コンテンツ送信部301(特許請求の範囲の触覚コンテンツ送信部および触覚コンテンツ提供部に相当)、音声コンテンツ送信部302および指示受信部303を備えている。
【0284】
上記コンテンツ取得装置200が備える各機能ブロックは、ハードウェア、DSP、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロックは、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたコンテンツ提供用プログラムが動作することによって実現される。これは、
図29〜
図32に図示する第2構成例〜第5構成例においても同様である。
【0285】
上記コンテンツ提供サーバ装置300が備える各機能ブロックも、ハードウェア、DSP、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロックは、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたコンテンツ提供用プログラムが動作することによって実現される。これは、
図29〜
図32に図示する第2構成例〜第5構成例においても同様である。
【0286】
コンテンツ取得装置200の指示送信部205は、コンテンツ取得装置200の操作部あるいは所定のグラフィカルユーザインタフェースを通じて行われたユーザからの音声コンテンツの選択に係る指示をコンテンツ提供サーバ装置300に送信する。コンテンツ提供サーバ装置300の指示受信部303は、この指示を受信する。なお、この音声コンテンツの選択に係る指示は、これに応じて触覚コンテンツがコンテンツ提供サーバ装置300から取得されるので、触覚コンテンツの取得に関する指示に相当する。
【0287】
ここでいう所定のグラフィカルユーザインタフェースとは、例えば、コンテンツ提供サーバ装置300の音声コンテンツ記憶部142に記憶されている音声コンテンツの一覧を表示してユーザが何れかを選択可能な選択画面のことである。当該選択画面は、コンテンツ提供サーバ装置300が作成してコンテンツ取得装置200のディスプレイなどに表示させる。
【0288】
コンテンツ提供サーバ装置300の音声コンテンツ取得部14は、指示受信部303が受信したユーザからの音声コンテンツの選択に係る指示に応じて、音声コンテンツを取得する。具体的には、音声コンテンツ取得部14の音声コンテンツ読出部141が、音声コンテンツ記憶部142に記憶されている複数の音声コンテンツの中から、ユーザ操作により選択された音声コンテンツを読み出すことによって音声コンテンツを取得する。
【0289】
コンテンツ提供サーバ装置300の触質モード指定部13は、音声コンテンツ取得部14により取得された音声コンテンツの解析結果に応じた触質モードを指定する。「解析結果に応じた触質モードを指定する」というのは、第1の実施形態と同様に、コンテンツ提供サーバ装置300が音声コンテンツの選択に係る指示を受けたときに、触質モード指定部13が音声コンテ音声コンテンツ取得部14により取得された音声コンテンツを解析し、その解析結果に応じて触質モードを指定することはもちろん、触質モード指定部13があらかじめ解析しておいた対応情報に基づいて触質モード指定することも含む。
【0290】
すなわち、コンテンツ提供サーバ装置300では、コンテンツ取得装置200に提供する音声コンテンツを音声コンテンツ記憶部142にあらかじめ記憶している。したがって、ユーザからの音声コンテンツの選択に係る指示がなくても、音声コンテンツ記憶部142に記憶されている音声コンテンツの全てまたは一部について、第1の実施形態と同様の解析をあらかじめ行い、音声コンテンツごとに触質モードを特定しておくことが可能である。そして、その解析結果に基づいて、音声コンテンツと触質モードとの対応関係を示した対応情報(テーブル情報)を作成して記憶しておくことが可能である。このようなテーブル情報を作成した場合、触質モード指定部13は、指示受信部303が音声コンテンツの選択に係る指示を受信したときに、テーブル情報を参照し、その指示により選択された音声コンテンツに対応する触質モードを指定する。
【0291】
触覚コンテンツ取得部11は、触質モード指定部13により指定された触質モードに応じた触覚コンテンツを取得する。この触覚コンテンツ取得部11の構成例としては、
図6(a)(b)、
図8(a)(b)、
図14A〜
図14C、
図18A〜
図18Cの何れの構成も適用することが可能である。
【0292】
触覚コンテンツ送信部301は、触覚コンテンツ取得部11により取得された触覚コンテンツをコンテンツ取得装置200に送信する。音声コンテンツ送信部302は、音声コンテンツ取得部14により取得された音声コンテンツをコンテンツ取得装置200に送信する。
【0293】
コンテンツ取得装置200の触覚コンテンツ受信部201は、指示送信部205による指示に対する応答としてコンテンツ提供サーバ装置300の触覚コンテンツ送信部301により送信された触覚コンテンツを受信する。触覚コンテンツ保存部202は、触覚コンテンツ受信部201により受信された触覚コンテンツを保存する。
【0294】
コンテンツ取得装置200の音声コンテンツ受信部203は、指示送信部205による指示に対する応答としてコンテンツ提供サーバ装置300の音声コンテンツ送信部302により送信された音声コンテンツを受信する。音声コンテンツ保存部204は、音声コンテンツ受信部203により受信された音声コンテンツを保存する。
【0295】
触覚コンテンツ保存部202に保存された触覚コンテンツおよび音声コンテンツ保存部204に保存された音声コンテンツは、コンテンツ利用機器500に供給することが可能である。また、コンテンツ取得装置200に保存された触覚コンテンツと音声コンテンツを、リムバール記憶媒体や通信ネットワークを介して他の端末に送信し、当該他の端末からコンテンツ利用機器500に供給することも可能である。
【0296】
図28に示したコンテンツ提供システムの構成によれば、音声コンテンツおよび触覚コンテンツの両方をコンテンツ提供サーバ装置300からコンテンツ取得装置200にダウンロードして保存することが可能である。この場合、ユーザがダウンロードしたい音声コンテンツを上述した選択画面を通じて選択すれば、選択した音声コンテンツをダウンロードするとともに、選択した音声コンテンツの触質特徴量に基づき指定される触質モードに応じた触覚コンテンツ、すなわち、音声コンテンツの特徴に合った触覚コンテンツをダウンロードすることができる。
【0297】
なお、ここでは、ユーザが所望の音声コンテンツを選択するだけで触覚コンテンツもダウンロードされる構成について説明したが、第1の実施形態で説明したのと同様に、音声コンテンツの選択に係る指示とは別に、触覚コンテンツの取得に係る指示をコンテンツ取得装置200からコンテンツ提供サーバ装置300に送信した場合にのみ、触覚コンテンツをコンテンツ提供サーバ装置300からコンテンツ取得装置200に送信するようにしてもよい。
【0298】
音声コンテンツの選択操作と触覚コンテンツの取得指示操作とを別に行う場合において、音声コンテンツは触質モードを指定するための解析にのみ使用し、コンテンツ利用機器500には供給しないようにしてもよい。この場合、コンテンツ取得装置200の音声コンテンツ受信部203および音声コンテンツ保存部204と、コンテンツ提供サーバ装置300の音声コンテンツ送信部302とを省略してよい。
【0299】
また、
図28の構成において、触質モード指定部13に代えて、
図25に示した触質モード指定部13Aまたは
図26に示した触質モード指定部13Bを備えるようにして、音声コンテンツの解析結果に基づく触質モードの指定に加えてまたは代えて、ユーザ操作に応じて触質モードを指定できるようにしてもよい。この場合、指示送信部205は、触質モードの指定に係る指示をコンテンツ提供サーバ装置300に送信する。また、指示受信部303は、この指示を受信して触質モード指定部13に通知する。
【0300】
<コンテンツ提供システムの第2構成例>
図29は、第2構成例に係るコンテンツ提供システムの機能構成例を示すブロック図である。なお、この
図29において、
図27および
図28に示した構成要素と同一の機能を有する構成要素には同一の符号を付している。
【0301】
図29に示すコンテンツ提供システムでは、音声コンテンツの取得に関する構成は備えていない。すなわち、触覚コンテンツの取得に関する構成のみを備え、触質モード指定部13Bによる触質モードの指定は、コンテンツ取得装置200のユーザからの触質モードの選択に係る指示に応じて行う。
【0302】
すなわち、コンテンツ取得装置200の指示送信部205は、コンテンツ取得装置200の操作部またはグラフィカルユーザインタフェースを通じて行われるユーザからの触質モードの指定に係る指示をコンテンツ提供サーバ装置300に送信する。コンテンツ提供サーバ装置300の指示受信部303は、指示送信部205から送信された触質モードの指定に係る指示を受信する。触質モード指定部13Bは、指示受信部303が受信したユーザからの触質モードの選択に係る指示に応じて触質モードを指定する。
【0303】
触覚コンテンツ取得部11は、触質モード指定部13Bにより指定された触質モードに応じた触覚コンテンツを取得する。この触覚コンテンツ取得部11の構成例としては、
図6(a)(b)、
図14A、
図18Aの何れかの構成を適用することが可能である。
【0304】
<コンテンツ提供システムの第3構成例>
図30は、第3構成例に係るコンテンツ提供システムの機能構成例を示すブロック図である。なお、この
図30において、
図28に示した構成要素と同一の機能を有する構成要素には同一の符号を付している。
【0305】
図30に示すように、コンテンツ取得装置200は、その機能構成として、触覚コンテンツ受信部201、触覚コンテンツ保存部202、音声コンテンツ送信部206および音声コンテンツ記憶部207を備えている。また、コンテンツ提供サーバ装置300は、その機能構成として、触覚コンテンツ取得部11、触質モード指定部13、触覚コンテンツ送信部301および音声コンテンツ受信部304を備えている。
【0306】
コンテンツ取得装置200の音声コンテンツ記憶部207は、1以上の音声コンテンツを記憶する。図示は省略しているが、この音声コンテンツ記憶部207には、外部装置から通信ネットワークを介してダウンロードした音声コンテンツを随時追加して記憶することが可能である。
【0307】
音声コンテンツ送信部206は、音声コンテンツ記憶部207に記憶されている音声コンテンツの中からユーザにより選択された音声コンテンツをコンテンツ提供サーバ装置300に送信する。音声コンテンツの選択は、コンテンツ取得装置200の操作部あるいは所定のユーザインタフェースを通じて行われる。すなわち、ユーザは、グラフィカルユーザインタフェースを通じて提供される音声コンテンツの一覧の中から、音声の特徴に合わせた触覚コンテンツを取得したいと考える音声コンテンツを選択して送信の指示を行う。音声コンテンツ送信部206は、この送信指示に応じて、ユーザにより選択された音声コンテンツを音声コンテンツ記憶部207から読み出してコンテンツ提供サーバ装置300に送信する。
【0308】
コンテンツ提供サーバ装置300の音声コンテンツ受信部304は、コンテンツ取得装置200から送信された音声コンテンツを受信する。触質モード指定部13は、音声コンテンツ受信部304により受信された音声コンテンツを解析し、その解析結果に応じて触質モードを指定する。
【0309】
触覚コンテンツ取得部11は、触質モード指定部13により指定された触質モードに応じた触覚コンテンツを取得する。この触覚コンテンツ取得部11の構成例としては、
図6(a)(b)、
図8(a)(b)、
図14A〜
図14C、
図18A〜
図18Cの何れの構成も適用することが可能である。
【0310】
触覚コンテンツ送信部301は、触覚コンテンツ取得部11により取得された触覚コンテンツをコンテンツ取得装置200に送信する。コンテンツ取得装置200の触覚コンテンツ受信部201は、音声コンテンツ送信部305による音声コンテンツの送信に対する応答としてコンテンツ提供サーバ装置300の触覚コンテンツ送信部301により送信された触覚コンテンツを受信する。
【0311】
図30に示した第3構成例に係るコンテンツ提供システムは、コンテンツ取得装置200に音声コンテンツがあらかじめ存在する場合に、その音声コンテンツに対応する触覚コンテンツだけをコンテンツ提供サーバ装置300から取得するのに好適な例である。
始まり
【0312】
また、
図30の構成においても、触質モード指定部13に代えて、
図25に示した触質モード指定部13Aまたは
図26に示した触質モード指定部13Bを備えるようにして、音声コンテンツの解析結果に基づく触質モードの指定に加えてまたは代えて、ユーザ操作に応じて触質モードを指定できるようにしてもよい。ここで、触覚コンテンツ取得部11の構成として
図14Cまたは
図18Cの構成を適用すれば、ユーザが選択した音声コンテンツの触質パラメータに応じた触覚コンテンツで、かつ、ユーザが選択した触質モードに応じた触覚コンテンツを得ることができる。
【0313】
<コンテンツ提供システムの第4構成例>
図31は、第4構成例に係るコンテンツ提供システムの機能構成例を示すブロック図である。なお、この
図31において、
図30に示した構成要素と同一の機能を有する構成要素には同一の符号を付している。第4構成例は、第3構成例の変形例であり、コンテンツ提供サーバ装置300がコンテンツ取得装置200から受信した音声コンテンツを触覚コンテンツと共にコンテンツ取得装置200に返信するようにしたものである。
【0314】
図31に示すように、第4構成例に係るコンテンツ取得装置200は、
図30に示した触覚コンテンツ受信部201および触覚コンテンツ保存部202に代えて音響コンテンツ受信部208および音響コンテンツ保存部209を備えている。また、コンテンツ提供サーバ装置300は、
図30に示した触覚コンテンツ送信部301に代えて音響コンテンツ生成部305および音響コンテンツ送信部306を備えている。
【0315】
コンテンツ提供サーバ装置300の音響コンテンツ生成部305は、音声コンテンツ受信部304により受信された音声コンテンツ(コンテンツ取得装置200から送られた音声コンテンツ)と、触覚コンテンツ取得部11により取得された触覚コンテンツとの組み合わせにより音響コンテンツを生成する。例えば、音響コンテンツ生成部305は、音声コンテンツ受信部304により受信された音声コンテンツを第1チャネル情報とし、触覚コンテンツ取得部11により取得された触覚コンテンツを第2チャネル情報とする音響コンテンツを生成する。
【0316】
音響コンテンツ送信部306は、音響コンテンツ生成部305により生成された音響コンテンツをコンテンツ取得装置200に送信する。コンテンツ取得装置200の音響コンテンツ受信部208は、音声コンテンツ送信部206による音声コンテンツのコンテンツ提供サーバ装置300への送信に対する応答としてコンテンツ提供サーバ装置300の音響コンテンツ送信部306により送信された音響コンテンツを受信する。音響コンテンツ保存部209は、音響コンテンツ受信部208により受信された音響コンテンツを保存する。
【0317】
図31のように構成すれば、コンテンツ取得装置200は、音声コンテンツと触覚コンテンツとを同期が取れた状態で取得することができ、利用がしやすいというメリットを有する。例えば、コンテンツ取得装置200からコンテンツ利用機器500に音声コンテンツと触覚コンテンツとを供給する際に、コンテンツ取得装置200に元々記憶されている音声コンテンツと、コンテンツ提供サーバ装置300から取得した触覚コンテンツとを個別に供給する形態ではなく、コンテンツ提供サーバ装置300から音響コンテンツとして取得した音声コンテンツと触覚コンテンツとを同期がとれた状態でコンテンツ利用機器500に供給することができる。
【0318】
なお、音声コンテンツと触覚コンテンツとを組み合わせて音響コンテンツを生成する構成は、
図28に示した第1構成例にも適用することが可能である。
【0319】
<コンテンツ提供システムの第5構成例>
図32は、第5構成例に係るコンテンツ提供システムの機能構成例を示すブロック図である。なお、この
図32において、
図28および
図31に示した構成要素と同一の機能を有する構成要素には同一の符号を付している。
【0320】
図32に示す第5構成例において、コンテンツ取得装置200は、指示送信部205、音響コンテンツ受信部208および音響コンテンツ保存部209を備えている。また、コンテンツ提供サーバ装置300は、触覚コンテンツ取得部11、触質モード指定部13、指示受信部303および音響コンテンツ送信部306を備えている。また、第5構成例において、触覚コンテンツ取得部11は、第1および第2の実施形態で説明した各種の構成の何れとも異なり、音響コンテンツ読出部181および音響コンテンツ記憶部182を備えている。
【0321】
触覚コンテンツ取得部11の音響コンテンツ記憶部182は、触覚コンテンツおよび音声コンテンツを含む音響コンテンツであって、触質モードに応じた音響コンテンツを記憶する。音響コンテンツ記憶部182は、ハードディスク、半導体メモリ等の不揮発性の記憶媒体であり、ユーザが明示的に消去の指示をしなければ音響コンテンツを保存し続けることが可能である。
【0322】
ここで言う音響コンテンツは、音声コンテンツと、その音声コンテンツの触質特徴量に応じた触質モードに対応する触覚コンテンツとを組み合わせて成るものであり、例えば音声コンテンツを第1チャネル情報とし、触覚コンテンツを第2チャネル情報とするコンテンツである。
【0323】
音響コンテンツ読出部181は、音響コンテンツ記憶部182に記憶されている1以上の音響コンテンツの中から、触質モード指定部13により指定された触質モードに応じた音響コンテンツを読み出す。
図32の例において、触質モード指定部13による触質モードの指定は、
図28に示した第1構成例と同様、コンテンツ取得装置200の指示送信部205からコンテンツ提供サーバ装置300の指示受信部303に送信した音声コンテンツの選択に係る指示に応じて行う。あるいは、コンテンツ取得装置200の指示送信部205からコンテンツ提供サーバ装置300の指示受信部303に送信したユーザによる触質モードの選択に係る指示に応じて触質モードを指定するようにしてもよい。これらの指示は何れも「触覚コンテンツの取得に関する指示」に相当する。
【0324】
音響コンテンツ送信部306は、触覚コンテンツ取得部11により取得された(すなわち、音響コンテンツ読出部181により音響コンテンツ記録部182から読み出された)音響コンテンツをコンテンツ取得装置200に送信する。コンテンツ取得装置200の音響コンテンツ受信部208は、コンテンツ提供サーバ装置300の音響コンテンツ送信部306により送信された音響コンテンツを受信する。音響コンテンツ保存部209は、音響コンテンツ受信部208により受信された音響コンテンツを保存する。
【0325】
なお、
図32に示す触覚コンテンツ取得部11の構成は、第1の実施形態および第2の実施形態に示したコンテンツ供給装置100にも適用することが可能である。例えば、
図2A〜
図2Cに示した触覚コンテンツ取得部11の構成として
図32の構成を採用し、音声コンテンツ取得部14および音声コンテンツ供給部15を省略するとともに、触覚コンテンツ供給部12に代えて音響コンテンツ供給部を設けるようにすることが可能である。
【0326】
あるいは、
図25および
図26に示した触覚コンテンツ取得部11の構成として
図32の構成を採用し、音声コンテンツ取得部14、音声コンテンツ供給部15および音声コンテンツ記録部16を省略するとともに、触覚コンテンツ供給部12に代えて音響コンテンツ供給部を設けるようにすることが可能である。あるいは、
図27に示した触覚コンテンツ取得部11の構成として
図32の構成を採用し、触覚コンテンツ供給部12に代えて音響コンテンツ供給部を設けるようにすることも可能である。
【0327】
なお、上記第3の実施形態では、コンテンツ提供サーバ装置300に対してコンテンツ取得装置200を接続する構成を示したが、コンテンツ取得装置200は、コンテンツ提供サーバ装置300からコンテンツを取得して保存するのみならず、取得したコンテンツをコンテンツ利用機器500に供給する機能(例えば、コンテンツ提供サーバ装置300から取得したコンテンツをストリーミング的にコンテンツ利用機器500に供給する機能を含む)を更に備えてもよい。
【0328】
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。
図33は、第4の実施形態によるコンテンツ供給装置100の機能構成例を示すブロック図である。この
図33において、
図25に示した構成要素と同一の機能を有する構成要素には同一の符号を付している。なお、ここでは、
図25に対する変形例として第4の実施形態を説明するが、音声コンテンツの記憶に関して
図25とは異なる形態(
図2Aおよび
図2Cの形態)を適用することも可能である。また、第4の実施形態は、
図26に対する変形例としても適用することが可能である。
【0329】
図33に示すように、第4の実施形態によるコンテンツ供給装置100は、その機能構成として、触覚コンテンツ取得部11、触質モード指定部13A、音声コンテンツ取得部14、音響コンテンツ生成部18、音響コンテンツ供給部19および情報提供部20を備えている。
【0330】
触覚コンテンツ取得部11の構成としては、第1の実施形態で説明した各種の形態を何れも適用することが可能であるが、特に
図14Cまたは
図18Cに示す構成を適用するのが好ましい。この場合、触覚コンテンツ取得部11は、触質モード指定部13Aにより指定された触質モードに応じた触覚コンテンツであって、かつ、ユーザにより選択された音声コンテンツに関する触質パラメータに応じた触覚コンテンツを取得することになる。
【0331】
ここで、「触質モード指定部13Aにより指定された触質モードに応じた触覚コンテンツ」とは、ユーザにより選択された音声コンテンツの解析結果(触質特徴量)に基づいて指定された触質モードに応じた触覚コンテンツ、または、ユーザ操作により選択された触質モードに応じた触覚コンテンツを意味する。ユーザ操作により選択される触質モードは、音声コンテンツの触質特徴量とは無関係の触質を持った触質モードであることもある。
【0332】
また、「ユーザにより選択された音声コンテンツに関する触質パラメータに応じた触覚コンテンツ」とは、ユーザにより選択された音声コンテンツを
図14Cまたは
図18Cの対象情報取得部1133’から取得した場合に触質パラメータ生成部1134により生成される触質パラメータに基づいて生成される触覚コンテンツを意味する。
【0333】
音響コンテンツ生成部18は、
図31に示した音響コンテンツ生成部305と同様の機能を有する。すなわち、音響コンテンツ生成部18は、音声コンテンツ取得部14により取得された音声コンテンツと、触覚コンテンツ取得部11により取得された触覚コンテンツとの組み合わせにより音響コンテンツを生成する。例えば、音響コンテンツ生成部18は、音声コンテンツ取得部14により取得された音声コンテンツを第1チャネル情報とし、触覚コンテンツ取得部11により取得された触覚コンテンツを第2チャネル情報とする音響コンテンツを生成する。
【0334】
音響コンテンツ供給部19は、音響コンテンツ取得部18により取得された音響コンテンツをコンテンツ利用機器500に供給する。なお、ここでは音響コンテンツをコンテンツ利用機器500に供給する構成を示しているが、
図25と同様に触覚コンテンツ供給部12および音声コンテンツ供給部15を備え、触覚コンテンツと音声コンテンツとを個別にコンテンツ利用機器500に供給するようにしてもよい。
【0335】
情報提供部20は、触覚コンテンツ取得部11により取得される触覚コンテンツの振動をユーザに呈示した場合に期待される所定の身体的効果または心理的効果の情報をユーザに提供する。ここでいう身体的効果または心理的効果とは、上述した「ユーザにより選択された音声コンテンツに関する触質パラメータに応じた触覚コンテンツ」に起因して生じ得る効果である。
【0336】
すなわち、音声コンテンツから生成される触質パラメータは、上述したように触感の一要素を表したものである。この触質パラメータに基づいて触質コンテンツ記憶部1132,1142から読み出される触質コンテンツから生成される触覚コンテンツも、所定の触感を表したものとなっている。そして、上述したように、触質パラメータにより表される触感は、<硬い−柔らかい>とか<粗い−滑らか>のような触質対に基づくものである。このため、例えば「硬い触感を持った振動情報」から成る触覚コンテンツに基づいて振動をユーザに呈示した場合に期待される身体的効果または心理的効果と、「柔らかい触感を持った振動情報」から成る触覚コンテンツに基づいて振動をユーザに呈示した場合に期待される身体的効果または心理的効果とは異なったものとなる。
【0337】
情報提供部20は、ユーザにより所望の音声コンテンツが選択されたときに(音声コンテンツ読出部141により音声コンテンツが読み出されたとき)、選択された音声コンテンツを触覚コンテンツ取得部11の対象情報取得部1133’が対象情報として入力して触覚コンテンツを生成した場合に当該触覚コンテンツから期待される所定の身体的効果または心理的効果の情報をユーザに提供する。情報の提示方法は任意であるが、コンテンツ供給装置100のディスプレイに情報を表示する形態が一例として考えられる。なお、どの音声コンテンツによってどのような効果が期待されるかについては、事前に行われた試験等の結果に基づいて作成されたテーブル情報を記憶しておき、情報提供部20がこのテーブル情報を参照することによって確認する。
【0338】
図34は、情報提供部20によりコンテンツ供給装置100のディスプレイに提供される情報提供画面の一例を示す図である。
図34に示す情報提供画面の例では、ユーザにより選択された音声コンテンツの名称と、触質モード指定部13により指定された触質モードと、ユーザにより選択された音声コンテンツを触覚コンテンツ取得部11が対象情報として利用して触覚コンテンツを生成した場合に期待される身体的効果または心理的効果(振動効果)とを属性情報として表示している。すなわち、ユーザにより選択された音声コンテンツの名称として「ABC」、触質モード指定部13により指定された触質モードとして「ふわふわモード」、ユーザにより選択された音声コンテンツを対象情報として生成される触覚コンテンツの振動効果として「安眠」が表示されている。
【0339】
図34の例では、ユーザにより選択された音声コンテンツの触質パラメータを解析することによって指定された触質モードが表示されており、「ふわふわ」の触感を有し、かつ、「安眠」の振動効果を有する触覚コンテンツが触覚コンテンツ取得部11により取得されることを示している。これに対し、ユーザが所望の触質モード(例えば、「さらさらモード」)を指定すれば、「さらさら」の触感を有し、かつ、「安眠」の振動効果を有する触覚コンテンツが触覚コンテンツ取得部11により取得される。この場合、
図34の情報提供画面における触質モードの表示は「さらさらモード」となる。
【0340】
このように、第4の実施形態によれば、触覚コンテンツ取得部11により取得される触覚コンテンツからどのような身体的効果または心理的効果が期待されるのかをユーザに提示することができる。また、
図34のように触質モードの情報も併せて提示するようにすれば、ユーザは、触覚コンテンツ取得部11により取得される触覚コンテンツどのような触感を持ち、どのような身体的効果または心理的効果が期待されるものであるのかを把握することができる。これにより、ユーザは、所望の触覚コンテンツを取得しやすくなり、ユーザの利便性が向上する。
【0341】
なお、上記第4の実施形態では、情報提供部20をコンテンツ供給装置100が有する構成として説明したが、コンテンツ取得装置200が有する構成であってもよい。
【0342】
なお、上記第1〜第4の実施形態では、n=2とし、2個の触質パラメータとして、情報の強度に関する第1の触質パラメータと、情報の分割区間の長さに関する第2の触質パラメータとを生成する例について説明したが、nは3以上であってもよい。なお、n≧3とする場合、
図15のような2次元状のマトリクス空間ではなく、3階層以上のn次元階層空間として、n個の触質パラメータの組み合わせに対応する触質コンテンツをそれぞれ記憶することになる。
【0343】
また、上記記第1〜第4の実施形態では、情報の強度に関する第1の触質パラメータと、情報の分割区間の長さに関する第2の触質パラメータとの両方を生成する例について説明したが、何れか一方のみとしてもよい。
【0344】
すなわち、触質パラメータ生成部1134は、対象情報取得部1133により取得された対象情報を複数に分割し、それぞれの分割区間から、情報の強度に関する第1の触質パラメータおよび分割区間の長さに関する第2の触質パラメータの少なくとも一方を用いて、n個(n≧2)の触質パラメータの組み合わせを生成することが可能である。
【0345】
例えば、n=3とする場合、第1の触質パラメータを1個または2個生成するとともに、第2の触質パラメータを2個または1個生成するといったことが可能である。あるいは、第1の触質パラメータとして異なるものを3個生成するようにしてもよいし、第2の触質パラメータとして異なるものを3個生成するようにしてもよい。
【0346】
情報の強度に関する第1の触質パラメータだけでn個の触質パラメータを生成する場合、例えば、対象情報取得部1133によりn種の対象情報を入力するようにする。そして、触質パラメータ生成部1134は、入力されたn種の対象情報をそれぞれ複数に分割し、n種の対象情報のそれぞれの分割区間から、第1の触質パラメータを1個ずつ特定することにより、n個の第1の触質パラメータの組み合わせを生成する。
【0347】
一例として、対象情報取得部1133が、対象情報として、心拍、加速度(身体の動き)、血流量の3種の情報に関して以下のようなデジタル値を入力したとする。
心拍 :79,60,79,75,74,79,75
加速度:40,10,30,40,35,40,20
血流量:80,60,40,60,80,60,80
【0348】
この場合、触質パラメータ生成部1134は、入力された3種の対象情報をそれぞれ入力値ごとに分割し、3種の対象情報のそれぞれの分割区間から、第1の触質パラメータを特定することにより、3個の第1の触質パラメータの組み合わせを以下のように生成する。
{79,40,80},{60,10,60},{79,30,40},・・・
【0349】
この場合、触質コンテンツ読出部1131,1141は、このように生成された第1の触質パラメータの組み合わせを指定して、{79,40,80}の組み合わせに対応する触質コンテンツ、{60,10,60}の組み合わせに対応する触質コンテンツ、{79,30,40}の組み合わせに対応する触質コンテンツ、・・・を触質コンテンツ記憶部1132,1142から読み出す。
【0350】
また、情報の分割区間の長さに関する第2の触質パラメータだけでn個の触質パラメータを生成する場合も、例えば、対象情報取得部1133によりn種の対象情報を取得するようにする。そして、触質パラメータ生成部1134は、取得されたn種の対象情報をそれぞれ複数に分割し、n種の対象情報のそれぞれの分割区間から、第2の触質パラメータを1個ずつ特定することにより、n個の第2の触質パラメータの組み合わせを生成する。
【0351】
一例として、対象情報取得部1133が、心拍、加速度、血流量の3種の情報に関して、上記と同様のデジタル値を入力したとする。この場合、触質パラメータ生成部1134は、例えば、同じ値が入力されるまでを単位として3種の対象情報をそれぞれ分割し、3種の対象情報のそれぞれの分割区間から、第2の触質パラメータを特定することにより、3個の第2の触質パラメータの組み合わせを生成する。
【0352】
上記の例の場合、心拍に関して、最初の“79”と同じ値が次に現れるのは2つ後、その次に同じ値が現れるのは更に3つ後なので、分割区間の長さは2,3となる。加速度に関して、最初の“40” と同じ値が次に現れるのは3つ後、その次に同じ値が現れるのは更に2つ後なので、分割区間の長さは3,2となる。血流量に関して、最初の“80”と同じ値が次に現れるのは4つ後、その次に同じ値が現れるのは更に2つ後なので、分割区間の長さは4,2となる。
【0353】
この場合、触質パラメータ生成部1134は、第2の触質パラメータの組み合わせを{2,3,4},{3,2,2}のように生成する。また、触質コンテンツ読出部1131,1141は、このように生成された第2の触質パラメータの組み合わせを指定して、{2,3,4}の組み合わせに対応する触質コンテンツ、{3,2,2}の組み合わせに対応する触質コンテンツを触覚コンテンツ記憶部1132,1142から読み出す。
【0354】
なお、ここでは、複数種類の対象情報としてデジタル値を入力する例について説明したが、アナログ信号を入力するようにしてもよいことは言うまでもない。この場合、強度に関する触質パラメータおよび分割区間の長さに関する触質パラメータの生成法は、上記実施形態で説明した方法を適用することが可能である。
【0355】
また、ここでは、強度に関する触質パラメータ、あるいは分割区間の長さに関する触質パラメータの何れか一方のみを、複数種類の対象情報から生成する例について説明したが、1種類の対象情報から生成するようにしてもよい。例えば、上記実施形態と同様にして1種類の対象情報を複数の区間に分割し、それぞれの分割区間から、強度に関する触質パラメータを複数生成するようにしてもよい(例えば、強度の最大値と最小値をそれぞれ触質パラメータとするなど)。また、1種類の対象情報を複数の区間に分割する際に、異なる方法に従って複数の区間に分割し、それぞれの方法で分割した分割区間の長さを触質パラメータとするようにしてもよい。
【0356】
また、ここでは、複数種類の対象情報から、強度に関する触質パラメータだけ、あるいは分割区間の長さに関する触質パラメータだけを生成する例について説明したが、本発明はこれに限定されない。例えば、複数種類の対象情報から、強度に関する触質パラメータおよび分割区間の長さに関する触質パラメータの両方を組み合わせて生成するようにしてもよい。
【0357】
また、上記実施形態では、触質パラメータの差分値を計算することによって触質差分パラメータを生成する例について説明したが、さらに、この触質差分パラメータの差分値を計算するようにしてもよい。すなわち、触質差分パラメータは、触質パラメータの1階差分情報であってもよいし、m階(m≧2)差分情報であってもよい。
【0358】
また、上記実施形態では、複数の分割区間ごとにn個の四則演算値(hi/tiの値)を算出し、同じ四則演算値が出現する区間の長さを第1の触質特徴量P1として算出する例について説明したが、本発明はこれに限定されない。例えば、それぞれの分割区間ごとにn個の触質パラメータを用いた四則演算値を算出し、当該分割区間ごとに算出した複数の四則演算値のm階差分値(m≧1)の平均値または代表値(最大値、最小値または中央値など)を第1の触質特徴量P1としてもよい。具体例として、それぞれの分割区間ごとにn個の四則演算値(hi/tiの値)を算出し、当該分割区間ごとに算出した複数の四則演算値の1階差分値{(h2/t2−h1/t1),(h3/t3−h2/t2),・・・}の平均値を第1の触質特徴量P1とすることが考えられる。
【0359】
また、上記実施形態では、複数の分割区間ごとに算出した複数の四則演算値(hi/tiの値)の分散を多様度(第2の触質特徴量P2)の一例として算出する例について説明したが、本発明はこれに限定されない。例えば、分割区間ごとに算出した複数の四則演算値の最小値から最大値までのレンジ、または当該レンジと中央値との組を第2の触質特徴量P2として算出するようにしてもよい。あるいは、分割区間ごとに算出した複数の四則演算値の情報量を第2の触質特徴量P2として算出するようにしてもよい。ここで、情報量の一例としては、次式により算出されるエントロピーH(シャノンの平均情報量)とすることが可能である。ここでp(e
i)は、各四則演算値の生起確率を示す。
H=−Σp(e
i)log
2p(e
i) (i=1〜n)
【0360】
例えば、複数の分割区間ごとに算出した複数の四則演算値(hi/tiの値)が以下の通りであったとする。
20,18,1,9,11,1,1,1,38,38,1,16
この場合、分散は191.8、レンジは37、中央値は16、エントロピーは0.48となる。触質特徴量算出部132は、このように算出される分散、レンジと中央値との組、またはエントロピーを、四則演算値の多様度を表す第2の触質特徴量P2として用いることが可能である。
【0361】
なお、レンジと中央値との組を第2の触質特徴量P2として用いる場合、第2の触質特徴量P2として2つの値が存在することになる。第1の触質特徴量P1を合わせると、3つの値が存在することになる。この場合は、3つの触質特徴量に基づいて触質モードを指定するようにしてよい。あるいは、レンジと中央値とを用いて四則演算を行うことによって第2の触質特徴量P2を1つの値に置換するようにしてもよい。
【0362】
また、上記実施形態では、四則演算値の多様度を第2の触質特徴量として算出する例について説明したが、本発明はこれに限定されない。例えば、触質特徴量算出部13は、分割区間ごとに算出した複数の四則演算値のm階差分値(m≧1)を更に算出し、上述した四則演算値に代えてm階差分値を用いるようにしてもよい。すなわち、同じm階差分値が出現する区間の長さを第1の触質特徴量P1として算出するとともに、m階差分値の多様度を第2の触質特徴量P2として算出するようにしてもよい。
【0363】
例えば、複数の分割区間ごとに算出した複数の四則演算値(hi/tiの値)が以下の通りであったとする。
20,18,1,9,11,1,1,1,38,38,1,16
この場合、1階差分値(m=1)の絶対値は以下の通りとなる。
2,17,8,2,10,0,0,37,0,37,15
また、2階差分値(m=2)の絶対値は以下の通りとなる。
15,9,6,8,10,0,37,37,37,22
触質特徴量算出部132は、このように算出される複数のm階差分値の多様度を第2の触質特徴量P2として用いてもよい。m階差分値の多様度を第2の触質特徴量P2として算出する場合も、多様度として、複数のm階差分値の分散、レンジ、レンジと中央値との組、またはエントロピーを用いることが可能である。
【0364】
このように、m階差分値を用いるのは、触質パラメータの四則演算値の変化の仕方が触質に影響するからである。例えば、m階差分値に大きな値が含まれる場合は、触質に大きな変化があり、触質は硬くなることを意味する。一方、m階差分値に小さな値が含まれる場合は、触質に小さな変化があり、触質は柔らかくなることを意味する。
【0365】
また、上記実施形態では、2種類の触質特徴量の組み合わせを算出する例について説明したが、3種類以上の触質特徴量の組み合わせを算出するようにしてもよい。3種類目の触質特徴量としては、例えば、分割区間の長さの平均値(最小値または最大値であってもよい)を用いることが可能である。この分割区間の長さの平均値等は、対象情報が潜在的に持っている触感のテンポを表していると言える。
【0366】
または、触質特徴量算出部132は、上述したように、分割区間ごとに算出した複数の四則演算値のm階差分値(m≧1)を更に算出し、m階差分値の多様度を第3の触質特徴量として更に算出するようにしてもよい。すなわち、同じ四則演算値が出現する区間の長さを第1の触質特徴量とし、四則演算値の多様度を第2の触質特徴量とし、m階差分値の多様度を第3の触質特徴量として用いるようにしてもよい。m階差分値の多様度を第3の触質特徴量として算出する場合も、多様度として、複数のm階差分値の分散、レンジ、レンジと中央値との組、またはエントロピーを用いることが可能である。
【0367】
例えば、ある2つの対象情報1,2について複数の分割区間ごとに算出した複数の四則演算値(hi/tiの値)が、それぞれ以下の通りであったとする。
対象情報1):1,2,100,1,2,100
対象情報2):1,2,3,1,2,3
この場合、同じ四則演算値が出現するまでの区間数を第1の触質特徴量P1、四則演算値のエントロピーを第2の触質特徴量P2とすると、対象情報1,2の何れもP1=3、P2=log
23(=−3×(1/3)log
2 (1/3))となる。
【0368】
これに対して、四則演算値の1階差分値を更に算出し、当該1階差分値のレンジを第3の触質特徴量P3として算出すると、対象情報1,2における第3の触質特徴量P3はそれぞれ以下のようになる。
対象情報1):P3=98
(1階階差分値の絶対値:1,98,99,1,98)
対象情報2:P3=1
(1階階差分値の絶対値:1,1,2,1,1)
【0369】
このように、第1の触質特徴量P1および第2の触質特徴量P2が共に同じ値となる対象情報どうしであっても、第3の触質特徴量P3を加えることによって、触質特徴量に差を出すことが可能となる。
【0370】
また、上記実施形態では、触質特徴量算出部132は、それぞれの分割区間ごとにn個の触質パラメータを用いた四則演算値を算出し、この四則演算値を用いて触質特徴量を算出する例について説明したが、本発明はこれに限定されない。例えば、触質特徴量算出部132は、第1の触質パラメータと第2の触質パラメータとの組み合わせで同じものが現れる区間の長さを第1の触質特徴量として算出するとともに、第1の触質パラメータと第2の触質パラメータとの組み合わせの多様度を第2の触質特徴量として算出するようにしてもよい。
【0371】
また、以上に述べた触質特徴量に関する種々の変形例は、
図3(a)のように、触質特徴量算出部132が、触質パラメータ生成部131により生成された2組以上の触質パラメータに基づいて触質特徴量を算出する場合に適用される。これに対し、
図3(b)のように、触質特徴量算出部132’が、触質差分パラメータ生成部134により生成された2組以上の触質差分パラメータに基づいて触質特徴量を算出する場合にも同様に上記種々の変形例を適用することが可能である。
【0372】
その他、上記第1〜第4の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
触覚に関する感覚の性質が異なる複数の触質モードのうち何れかを指定する触質モード指定部13と、触覚に関する所定の感覚をユーザにイメージさせるように生成された振動情報である触覚コンテンツであって、触質モード指定部13により指定された触質モードに応じた触覚コンテンツを取得する触覚コンテンツ取得部11と、当該取得した触覚コンテンツをコンテンツ利用機器に供給する触覚コンテンツ供給部12とを備え、触覚に関する様々な感覚をユーザにイメージさせるように生成され得る複数種類の触覚コンテンツのうち、振動によって特定の触感を生じさせる触覚コンテンツを触質モードに応じてユーザに適切に提供することにより、ユーザが触覚コンテンツを利用しやすい環境を提供する。