特許 7200576 質感提示方法、質感提示プログラム、情報処理装置および質感提示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-26

(45)【発行日】2023-01-10

(54)【発明の名称】質感提示方法、質感提示プログラム、情報処理装置および質感提示システム

(51)【国際特許分類】

   G06F 3/04812 20220101AFI20221227BHJP

   G06F 3/0481 20220101ALI20221227BHJP

   G06F 3/01 20060101ALI20221227BHJP

【ＦＩ】

G06F3/04812

G06F3/0481

G06F3/01 510

G06F3/01 560

【請求項の数】 8

(21)【出願番号】P 2018182872

(22)【出願日】2018-09-27

(65)【公開番号】P2020052839

(43)【公開日】2020-04-02

【審査請求日】2021-06-10

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】陽奥 幸宏

(72)【発明者】

【氏名】▲ミイ▼ 暁宇

【審査官】星野 裕

(56)【参考文献】

【文献】特開２００９－２０５６２６（ＪＰ，Ａ）

【文献】国際公開第２００８／１１１２４５（ＷＯ，Ａ１）

【文献】特開平０９－１２８１５０（ＪＰ，Ａ）

【文献】特開２０１７－２０８８２０（ＪＰ，Ａ）

【文献】特開平０５－２８２２７９（ＪＰ，Ａ）

【文献】特開２０１８－０７３０１９（ＪＰ，Ａ）

【文献】特開２０１５－２１９９１７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０００２５４８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

コンピュータが、
素材の物性値データを記憶する記憶部から、特定の素材に対する素材表面の摩擦データ、素材の厚さおよび素材の硬さを参照し、
前記特定の素材が表示された素材画像上におけるポインタの表示位置の移動操作を検出すると、前記特定の素材に関する前記摩擦データに基づいて決定される前記素材画像上における前記ポインタの移動速度を決定し、
前記特定の素材に関する前記素材の厚さおよび前記素材の硬さに関する情報と、前記ポインタの移動速度に応じて決定した前記素材画像上の位置とに基づき、前記素材画像上の前記位置を中心とした変形範囲および変形強度を算出し、
前記位置を中心とした変形範囲および変形強度を用いて、前記素材画像に対する画像処理を行い、
前記画像処理を行った画像を出力する
処理を実行することを特徴とする質感提示方法。

【請求項2】

さらに、素材の質感を主観的に評価した評価値を定量化した質感データを用いて、前記特定の素材が表示された前記素材画像上での前記ポインタの移動に対応した音データを生成し、
前記画像の出力とともに、前記音データを出力する
ことを特徴とする請求項１に記載の質感提示方法。

【請求項3】

前記画像処理は、前記素材画像に対して前記位置を中心とした前記変形範囲および前記変形強度に基づく凹みを表す画像処理を行う
ことを特徴とする請求項１に記載の質感提示方法。

【請求項4】

前記記憶部は、素材ごとに、画像または音から受ける素材の質感を評価した質感データを、前記物性値データおよび前記音データに対応付けて記憶し、
前記記憶部に記憶された複数の素材毎の前記質感データと前記音データとを用いて素材に対応した質感の音を学習する学習モデルを生成し、
音データがない素材について、前記学習モデルを用いて、前記素材に対応した前記質感データに対する音データを生成し、生成した音データを出力する
ことを特徴とする請求項２に記載の質感提示方法。

【請求項5】

さらに、音データがある素材について、前記質感データが追加された場合に、追加された前記質感データに基づいて前記学習モデルを更新し、更新された学習モデルに基づいて前記質感データに対する音データを生成し、生成した前記音データを出力する
ことを特徴とする請求項４に記載の質感提示方法。

【請求項6】

素材の物性値データを記憶する記憶部から、特定の素材に対する素材表面の摩擦データ、素材の厚さおよび素材の硬さを参照し、
前記特定の素材が表示された素材画像上におけるポインタの表示位置の移動操作を検出すると、前記特定の素材に関する前記摩擦データに基づいて決定される前記素材画像上における前記ポインタの移動速度を決定し、
前記特定の素材に関する前記素材の厚さおよび前記素材の硬さに関する情報と、前記ポインタの移動速度に応じて決定した前記素材画像上の位置とに基づき、前記素材画像上の前記位置を中心とした変形範囲および変形強度を算出し、
前記位置を中心とした変形範囲および変形強度を用いて、前記素材画像に対する画像処理を行い、
前記画像処理を行った画像を出力する
処理をコンピュータに実行させることを特徴とする質感提示プログラム。

【請求項7】

素材の物性値データを記憶する記憶部から、特定の素材に対する素材表面の摩擦データ、素材の厚さおよび素材の硬さを参照し、前記特定の素材が表示された素材画像上におけるポインタの表示位置の移動操作を検出すると、前記特定の素材に関する前記摩擦データに基づいて決定される前記素材画像上における前記ポインタの移動速度を決定する決定部と、
前記特定の素材に関する前記素材の厚さおよび前記素材の硬さに関する情報と、前記ポインタの移動速度に応じて決定した前記素材画像上の位置とに基づき、前記素材画像上の前記位置を中心とした変形範囲および変形強度を算出する算出部と、
前記位置を中心とした変形範囲および変形強度を用いて、前記素材画像に対する画像処理を行う画像処理部と、
前記画像処理を行った画像を出力する出力部と、
を有することを特徴とする情報処理装置。

【請求項8】

情報処理装置と、
画像を出力する画像出力装置と、を有し、
前記情報処理装置は、
素材の物性値データを記憶する記憶部から、特定の素材に対する素材表面の摩擦データ、素材の厚さおよび素材の硬さを参照し、前記特定の素材が表示された素材画像上におけるポインタの表示位置の移動操作を検出すると、前記特定の素材に関する前記摩擦データに基づいて決定される前記素材画像上における前記ポインタの移動速度を決定する決定部と、
前記特定の素材に関する前記素材の厚さおよび前記素材の硬さに関する情報と、前記ポインタの移動速度に応じて決定した前記素材画像上の位置とに基づき、前記素材画像上の前記位置を中心とした変形範囲および変形強度を算出する算出部と、
前記位置を中心とした変形範囲および変形強度を用いて、前記素材画像に対する画像処理を行う画像処理部と、
前記画像処理を行った画像を前記画像出力装置へ出力する出力部と、
を有することを特徴とする質感提示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、質感提示方法などに関する。

【背景技術】

【0002】

近年、インターネットを利用して被服などを購入するインターネットショッピングがある。しかしながら、本来商品を手に取ることで得られる質感がインターネットショッピングでは推定となるため、実物の商品イメージと画像から受ける印象とが一致しない場合がある。実物の商品イメージと画像から受ける印象とが一致しない場合をなくすために、商品の質感をデジタル化し、提示することが求められる。

【0003】

例えば、生地の画像と実物の質感認識に関する研究が開示されている（例えば、非特許文献１参照）。かかる技術では、質感認識に影響する生地画像の画像特徴量を調査し、人間が判断する質感の容易さや困難さは、画像特徴量と深く関連していることが開示されている。ここでいう画像特徴量とは、例えば、凹凸の有無、圧縮のしやすさや厚さから示される物理量のことをいう。印伝調のような画像特徴が表れやすい素材は、画像のみでも実物に近い質感の提示が可能である。べロア、ベルベットのような起毛素材は、ドレープ状に表示することで画像特徴量が強化され実物に近い質感の提示が可能となる。サテンのような、表面の画像特徴量が小さな素材や、チリメンの素材のような、ドレープ状にしても文様（画像特徴量）が表れにくい素材では、実物に劣った質感の提示となる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－２５４３９８号公報

【文献】国際公開第２００８／１１１２４５号

【文献】特開平９－１２２３５４号公報

【非特許文献】

【0005】

【文献】生地画像と実物の質感認識に関する基礎的研究（宇都宮大学）日本感性工学会論文誌，Vol.10，No.4，497-504（2011）

【発明の概要】

【発明が解決しようとする課題】

【0006】

実物に比べて素材の質感を正確にユーザに提供できない場合があるという問題がある。例えば、生地の画像と実物の質感認識に関する研究では、サテンやチリメンなどの素材では、ドレープ状にして画面に表示しても、質感認識の判断の精度は低下したままなので、実物に比べて素材の質感を正確にユーザに提供できない。

【0007】

本発明は、１つの側面では、素材を画面に表示する場合に、素材の質感を正確にユーザに提供することを目的とする。

【課題を解決するための手段】

【0008】

１つの態様では、コンピュータが、素材の物性値データを記憶する記憶部から、特定の素材に対する素材表面の摩擦データおよび素材の硬さを参照し、前記特定の素材が表示された素材画像上におけるポインタの表示位置の移動操作を検出すると、前記特定の素材に関する前記摩擦データに基づいて決定される前記素材画像上における前記ポインタの移動速度を決定し、前記特定の素材に関する前記素材の硬さに関する情報と、前記ポインタの移動速度に応じて決定した前記素材画像上の位置とに基づき、前記素材画像上の範囲を決定し、前記位置および前記範囲に基づいて、前記素材画像に対して画像処理を行い、前記画像処理を行った画像を出力する、処理における質感提示方法を実行する。

【発明の効果】

【0009】

１実施態様によれば、素材を画面に表示する場合に、素材の質感を正確にユーザに提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施例１に係る情報処理装置を含む質感提示システムの構成を示す機能ブロック図である。

【図2】図２は、実施例１に係る素材特性ＤＢのデータ構造の一例を示す図である。

【図3】図３は、変形範囲を説明する図である。

【図4】図４は、変形強度を説明する図である。

【図5】図５は、変形条件の一例を示す図である。

【図6】図６は、変形条件の具体例を示す図である。

【図7】図７は、実施例１に係る質感提示処理のフローチャートの一例を示す図である。

【図8】図８は、実施例２に係る情報処理装置を含む質感提示システムの構成を示す機能ブロック図である。

【図9】図９は、実施例２に係る質感ＤＢの一例を示す図である。

【図10】図１０は、実施例２に係る素材特性ＤＢのデータ構造の一例を示す図である。

【図11】図１１は、音処理の一例を示す図である。

【図12】図１２は、実施例２に係る質感提示処理のフローチャートの一例を示す図である。

【図13】図１３は、質感提示プログラムを実行するコンピュータの一例を示す図である。

【発明を実施するための形態】

【0011】

以下に、本願の開示する質感提示方法、質感提示プログラム、情報処理装置および質感提示システムの実施例を図面に基づいて詳細に説明する。なお、本発明は、実施例により限定されるものではない。

【実施例1】

【0012】

［実施例１に係る質感提示システムの構成］
図１は、実施例１に係る情報処理装置を含む質感提示システムの構成を示す機能ブロック図である。図１に示す質感提示システム９は、素材画像上のカーソルを移動させる場合に、Pseudo Haptics技術を応用し、素材の擦過音、摩擦、硬さなどの素材データを用いて、摩擦に基づいてカーソル速度を決定したり、硬さに基づいてカーソル位置に凹み表す画像処理を行ったり、素材の擦過音の提示を行なったりする。すなわち、質感提示システム９は、疑似的な触感刺激を発生させ、実物の素材がなくても、実物の素材と遜色ない質感の提示を行う。なお、Pseudo Haptics技術とは、視覚刺激により硬さなどの触覚情報を提示する技術のことをいう。

【0013】

質感提示システム９は、情報処理装置１と、入力装置２と、画像出力装置３と、音出力装置４とを有する。

【0014】

入力装置２は、ユーザの入力操作手段である。例えば、入力装置２は、入力位置を検知する。入力装置２には、例えば、マウスやtouchパネルなどが挙げられる。

【0015】

画像出力装置３は、ユーザに画像を提示する手段である。画像出力装置３には、例えば、モニタやＨＭＤ（Head Mounted Display）などが挙げられる。

【0016】

音出力装置４は、ユーザに音を提示する手段である。音出力装置４には、例えば、スピーカやヘッドホンなどが挙げられる。

【0017】

情報処理装置１は、制御部１０および記憶部２０を有する。

【0018】

制御部１０は、ＣＰＵ（Central Processing Unit）などの電子回路に対応する。そして、制御部１０は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部１０は、入力位置取得部１１、画像処理部１２および音処理部１３を有する。なお、画像処理部１２は、取得部、第１の画像処理部および第２の画像処理部の一例である。音処理部１３は、音処理部の一例である。

【0019】

記憶部２０は、例えば、ＲＡＭ、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。記憶部２０は、素材特性ＤＢ（DataBase）２１を有する。

【0020】

素材特性ＤＢ２１は、素材ごとの素材特性情報を記憶する。素材特性情報には、各種の物性値が含まれ、例えば、厚さ、硬さおよび摩擦係数が含まれる。また、素材特性情報には、素材ごとの擦過音データが含まれる。なお、素材特性ＤＢ２１は、運用前に、あらかじめ定義されるが、適宜変更されても良い。

【0021】

ここで、実施例１に係る素材特性ＤＢ２１のデータ構造の一例を、図２を参照して説明する。図２は、実施例１に係る素材特性ＤＢのデータ構造の一例を示す図である。図２に示すように、素材特性ＤＢ２１は、ＩＤ（IDentifier）２１ａ、素材名２１ｂ、厚さ２１ｃ、硬さ２１ｄ、摩擦係数２１ｅ、画像２１ｆおよび擦過音２１ｇを対応付けて記憶する。

【0022】

ＩＤ２１ａは、素材を一意に識別する識別番号である。素材名２１ｂは、素材の名称である。厚さ２１ｃは、素材の厚さである。厚さ２１ｃの単位は、例えば、ミリメートル（ｍｍ）である。硬さ２１ｄは、素材の硬さである。硬さ２１ｄには、例えば、見かけのヤング率が用いられる。硬さ２１ｄの単位は、例えば、パスカル（Ｐａ）である。摩擦係数２１ｅは、素材の摩擦係数である。画像２１ｆは、素材の画像データのファイル名である。画像２１ｆは、素材に変形が無い場合の画像データに対応する。擦過音２１ｇは、素材の実物を指でこすった際に発する擦過音を収録した音データ（擦過音データ）のファイル名である。

【0023】

一例として、ＩＤ２１ａが「００１」である場合に、素材名２１ｂとして「シルク」、厚さ２１ｃとして「０．３」、硬さ２１ｄとして「９００」、摩擦係数２１ｅとして「０．２５」と記憶している。また、画像２１ｆとして「Ｓａｍｐｌｅ１．ｊｐｇ」、擦過音２１ｇとして「Ｓａｍｐｌｅ１．ｍｐ３」と記憶している。

【0024】

入力位置取得部１１は、カーソルの入力位置を取得する。例えば、入力位置取得部１１は、入力装置２に入力されたカーソルの入力位置を取得する。

【0025】

画像処理部１２は、カーソルの入力位置および素材特性ＤＢ２１に基づいて、カーソルの入力位置を中心とした、素材画像の部分画像を変形する画像処理を実行する。例えば、画像処理部１２は、特定の素材について、素材特性ＤＢ２１の厚さおよび硬さに基づいて、変形範囲および変形強度を算出する。そして、画像処理部１２は、算出した変形範囲および変形強度を用いて、カーソルの入力位置を中心に陰影による凹みを表す画像処理を行う。つまり、画像処理部１２は、素材の実物を指でなぞったときに指の位置を中心にしてできる凹みを画像で表現する。そして、画像処理部１２は、算出した変形範囲および変形強度を用いて、カーソルの入力位置を中心に陰影による凹みを表す画像処理を行う。そして、画像処理部１２は、画像処理を行った後の画像データを画像出力装置３へ出力する。

【0026】

ここでいう変形範囲とは、カーソルの入力位置を中心とした変形する範囲や大きさのことをいう。変形範囲は、素材の厚さおよび硬さに基づいて、例えば、式（１）を用いて算出される。変形範囲は、例えば、ピクセル（ｐｉｘｅｌ）で示される。なお、Ｅは、基準となる変形範囲である。Ａは硬さに対する変数、Ｂは厚さに対する変数であるが、ＡはＢより重要度が高い。また、Ａ，Ｂ，Ｅは、素材画像の全体の表示領域の大きさに依存する。
変形範囲＝Ｅ＋Ａ×硬さ－Ｂ×厚さ・・・式（１）

【0027】

ここで、図３を参照して、変形範囲について説明する。図３は、変形範囲の一例を示す図である。なお、図３の矢印はカーソルである。図３に示すように、変形範囲が狭い場合、変形範囲が広い場合、変形範囲が狭い場合と広い場合の中間の場合が表わされている。変形範囲が狭い場合とは、厚さが厚く且つ硬さが柔らかいような素材が想定される。一例として、このような素材には、羊毛が挙げられる。変形範囲が中間の場合とは、厚さが薄く且つ硬さが柔らかいような素材が想定される。一例として、素材には、シルクが挙げられる。変形範囲が広い場合とは、厚さが薄く且つ硬さが硬いような素材が想定される。一例として、素材には、麻が挙げられる。

【0028】

また、ここでいう変形強度とは、変形を表現するための強度、例えば、カーソルの入力位置の沈みこみ量のことをいう。言い換えれば、変形強度は、変形範囲で変形を表すための凹みの強度や影の濃淡のことをいう。変形強度は、素材の厚さおよび硬さに基づいて、例えば、式（２）を用いて算出される。変形強度は、例えば、影の透明度（０：透明～２５５：不透明）で示される。なお、Ｆは、基準となる変形強度である。Ｃは硬さに対する変数、Ｄは厚さに対する変数であるが、ＣはＤより重要度が高い。また、Ｃ，Ｄ，Ｆは、素材画像の全体の表示領域の大きさに依存する。
変形強度＝Ｆ－Ｃ×硬さ－Ｄ×厚さ・・・式（２）

【0029】

ここで、図４を参照して、変形強度について説明する。図４は、変形強度の一例を示す図である。なお、図４の矢印はカーソルである。図４に示すように、変形強度が小さい場合の素材画像の凹み（濃淡）、変形強度が大きい場合の素材画像の凹み（濃淡）、変形強度が小さい場合と大きい場合の中間の場合の素材画像の凹み（濃淡）が表わされている。変形強度が小さい場合とは、厚さが厚く且つ硬さが硬いような素材が想定される。すなわち、変形範囲の凹みが小さい。変形強度が中間の場合とは、厚さが薄く且つ硬さが硬いような素材が想定される。すなわち、変形範囲の凹みが中間である。一例として、素材には、麻が挙げられる。変形強度が大きい場合とは、厚さに関わらず硬さが柔らかい素材が想定される。すなわち、変形範囲の凹みが大きい。一例として、素材には、シルクや羊毛が挙げられる。

【0030】

素材の厚さと硬さとから決定される、変形範囲および変形強度からなる変形条件の一例を、図５を参照して説明する。図５は、変形条件の一例を示す図である。図５に示すように、変形条件の表には、縦の項目として素材の厚さ、横の項目として素材の硬さが示されている。厚さが薄く且つ硬さが柔らかい場合には、変形条件は、変形範囲として「中」、変形強度として「大」となる。素材の一例として、シルクが挙げられる。厚さが薄く且つ硬さが硬い場合には、変形条件は、変形範囲として「広」、変形強度として「中」となる。素材の一例として、麻が挙げられる。厚さが厚く且つ硬さが柔らかい場合には、変形条件は、変形範囲として「狭」、変形強度として「大」となる。素材の一例として、羊毛が挙げられる。厚さが厚く且つ硬さが硬い場合には、変形条件は、変形範囲として「中」、変形強度として「小」となる。なお、図５では、変形条件が、厚さとして薄い場合と厚い場合の２種類、硬さとして柔らかい場合と硬い場合の２種類の組合せで構成された場合を説明した。しかしながら、変形条件は、これに限定されず、厚さとしてｎ種類（ｎ：ｎ＞２の整数）、硬さとしてｍ種類（ｍ：ｍ＞２の整数）の組合せで構成されても良い。

【0031】

図１に戻って、また、画像処理部１２は、カーソルの入力位置および素材特性ＤＢ２１に基づいて、カーソルの移動速度を決定し、決定したカーソルの移動速度に応じた素材表面の画像処理を行う。例えば、画像処理部１２は、特定の素材について、カーソルの入力位置の移動量（基準速度）および素材特性ＤＢ２１の摩擦係数に基づいて、カーソルの移動速度を算出する。つまり、画像処理部１２は、実際に素材を指でなぞったときの指の移動速度を画像上で表現する。そして、画像処理部１２は、カーソルの移動速度を、算出したカーソルの移動速度に決定すべく、算出したカーソルの移動速度に応じた素材表面上の移動位置にカーソルを表す画像処理を行う。そして、画像処理部１２は、画像処理を行った後の画像データを画像出力装置３へ出力する。

【0032】

カーソルの移動速度は、素材の摩擦係数に基づいて、例えば、式（３）を用いて算出される。なお、式（３）により算出されるカーソルの移動速度は、基準速度１００％とした場合の百分率で示される。Ｆは、基準速度である。基準速度は、ユーザが操作する速度に依存する。Ｇ，Ｈはそれぞれ所定の変数である。また、Ｇ，Ｈは、素材画像の全体の表示領域の大きさに依存する。
カーソルの移動速度＝（Ｇ－Ｈ×摩擦係数）×基準速度・・・式（３）

【0033】

音処理部１３は、カーソルの入力位置および素材特性ＤＢ２１に基づいて、素材画像上のカーソルの移動に応じた擦過音データを出力する。例えば、音処理部１３は、特定の素材について、素材特性ＤＢ２１から擦過音２１ｇを取得する。音処理部１３は、素材画像上のカーソルの移動に応じて、取得した擦過音２１ｇを音データとして音出力装置４へ出力する。なお、音処理部１３は、音データを強調し、強調した音データを音出力装置４へ出力しても良い。音データを強調するのは、音の明瞭度や音質を向上させるためである。

【0034】

［変形条件の具体例］
ここで、変形条件の具体例を、図６を参照して説明する。図６は、変形条件の具体例を示す図である。なお、図６では、変形条件を構成する変形範囲および変形強度の算出式（式（１），式（２））は、図５で示した変形条件の表となるように設計されたとする。

【0035】

ここでは、素材画像の全体の表示領域の大きさが１２００ｐｉｘｅｌ×１２００ｐｉｘｅｌであるとする。そして、式（１），式（２），式（３）によって用いられるＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈは、それぞれ０．０８，３２，０．０４，６，１７５，１３０，２．３、８であるとする。変形範囲について、一例として、０～１００の値となる場合が「狭」、１００～３００の値となる場合が「中」、３００～の値となる場合が「広」と定義したとする。変形強度について、一例として、０～１０の値となる場合が「小」、１０～７０の値となる場合が「中」、７０～の値となる場合が「大」と定義したとする。

【0036】

このような例の下で、図２で示した素材特性ＤＢ２１に記憶された素材特性情報に基づいて、シルク、羊毛および麻について、変形範囲および変形強度が計算される。

【0037】

まず、画像処理部１２は、素材特性ＤＢ２１に記憶された素材に対応する素材特性情報に基づいて、式（１）を用いて変形範囲を算出する。ここでは、素材名２１ｂが「シルク」の場合には、厚さ２１ｃとして「０．３」、硬さ２１ｄとして「９００」を式（１）に代入すると、変形範囲の値は、「２３７．４」と算出される。素材名２１ｂが「羊毛」の場合には、厚さ２１ｃとして「３」、硬さ２１ｄとして「２００」を式（１）に代入すると、変形範囲の値は、「９５」と算出される。素材名２１ｂが「麻」の場合には、厚さ２１ｃとして「１」、硬さ２１ｄとして「２８００」を式（１）に代入すると、変形範囲の値は、「３６７」と算出される。

【0038】

次に、画像処理部１２は、素材特性ＤＢ２１に記憶された素材に対応する素材特性情報に基づいて、式（２）を用いて変形強度を算出する。ここでは、素材名２１ｂが「シルク」の場合には、厚さ２１ｃとして「０．３」、硬さ２１ｄとして「９００」を式（２）に代入すると、変形強度の値は、「９２．２」と算出される。素材名２１ｂが「羊毛」の場合には、厚さ２１ｃとして「３」、硬さ２１ｄとして「２００」を式（２）に代入すると、変形強度の値は、「１０４」と算出される。素材名２１ｂが「麻」の場合には、厚さ２１ｃとして「１」、硬さ２１ｄとして「２８００」を式（２）に代入すると、変形強度の値は、「１２」と算出される。

【0039】

この結果、素材名２１ｂが「シルク」の場合には、変形範囲の値が「２３７．４」であるので変形範囲として「中」、変形強度の値が「９２．２」であるので変形強度として「大」となる。すなわち、「シルク」は、変形条件の表の左上に該当することがわかる。素材名２１ｂが「羊毛」の場合には、変形範囲の値が「９５」であるので変形範囲として「狭」、変形強度の値が「１０４」であるので変形強度として「大」となる。すなわち、「羊毛」は、変形条件の表の左下に該当することがわかる。素材名２１ｂが「麻」の場合には、変形範囲の値が「３６７」であるので変形範囲として「広」、変形強度の値が「１２」であるので変形強度として「中」となる。すなわち、「麻」は、変形条件の表の右上に該当することがわかる。

【0040】

この後、画像処理部１２は、算出した変形範囲および変形強度を用いて、カーソルの入力位置を中心に陰影による凹みを表す画像処理を行うことになる。

【0041】

なお、このような例の下で、図２で示した素材特性ＤＢ２１に記憶された素材特性情報に基づいて、シルク、羊毛および麻について、カーソルの移動速度が計算される。ここでは、素材名２１ｂが「シルク」の場合には、摩擦係数２１ｅとして「０．２５」を式（３）に代入すると、移動速度の値は、「３０」と算出される。素材名２１ｂが「羊毛」の場合には、摩擦係数２１ｅとして「０．２３」を式（３）に代入すると、移動速度の値は、「４６」と算出される。素材名２１ｂが「麻」の場合には、摩擦係数２１ｅとして「０．１７」を式（３）に代入すると、移動速度の値は、「９４」と算出される。

【0042】

この後、画像処理部１２は、カーソルの移動速度を、計算したカーソルの移動速度に決定すべく、計算したカーソルの移動速度に応じた素材表面上の移動位置にカーソルを表す画像処理を行うことになる。

【0043】

［質感提示処理のフローチャート］
図７は、実施例１に係る質感提示処理のフローチャートの一例を示す図である。

【0044】

図７に示すように、質感提示処理は、素材ＩＤを受け付けたか否かを判定する（ステップＳ１１）。素材ＩＤを受け付けていないと判定した場合には（ステップＳ１１；Ｎｏ）、質感提示処理は、素材ＩＤを受け付けるまで、判定処理を繰り返す。

【0045】

一方、素材ＩＤを受け付けたと判定した場合には（ステップＳ１１；Ｙｅｓ）、画像処理部１２は、素材ＩＤに対応する素材特性情報を素材特性ＤＢ２１から読み出す（ステップＳ１２）。画像処理部１２は、読み出した素材特性情報内の画像２１ｆを素材画像として画像出力装置３に表示する（ステップＳ１３）。

【0046】

入力位置取得部１１は、カーソル操作が終了したか否かを判定する（ステップＳ１４）。カーソル操作が終了していないと判定した場合には（ステップＳ１４；Ｎｏ）、入力位置取得部１１は、カーソル操作の入力位置を取得する（ステップＳ１５，ステップＳ１６）。

【0047】

入力位置取得部１１は、入力位置が素材画像上であるか否かを判定する（ステップＳ１７）。入力位置が素材画像上でないと判定した場合には（ステップＳ１７；Ｎｏ）、入力位置取得部１１は、カーソル操作を判定すべく、ステップＳ１４に移行する。

【0048】

一方、入力位置が素材画像上であると判定した場合には（ステップＳ１７；Ｙｅｓ）、画像処理部１２は、読み出した素材特性情報内の厚さ、硬さから変形範囲と変形強度を算出する（ステップＳ１８）。変形範囲は、例えば、式（１）によって算出されれば良い。変形強度は、例えば、式（２）によって算出されれば良い。そして、画像処理部１２は、算出された変形範囲と、算出された変形強度とをもとに、素材画像を変形する（ステップＳ１９）。

【0049】

そして、画像処理部１２は、読み出した素材特性情報内の摩擦係数からカーソルの移動速度を算出する（ステップＳ２０）。カーソルの移動速度は、例えば、式（３）によって算出されれば良い。そして、画像処理部１２は、カーソルの移動速度をもとにカーソルの表示位置を算出する（ステップＳ２１）。なお、ステップＳ２０、Ｓ２１は、ステップＳ１８の前で処理されても良い。

【0050】

続いて、音処理部１３は、読み出した素材特性情報内の擦過音２１ｇを素材の音データとして決定する（ステップＳ２２）。

【0051】

そして、画像処理部１２は、変形後の素材画像の画像データ、カーソルの表示位置のカーソルデータを画像出力装置３に出力し、画像出力装置３は、変形後の素材画像、カーソルの表示位置にカーソルを表示する（ステップＳ２３）。そして、音処理部１３は、決定した音データを音出力装置４に出力し、音出力装置４は、音を出力する（ステップＳ２４）そして、画像処理部１２は、カーソル操作を判定すべく、ステップＳ１４に移行する。

【0052】

ステップＳ１４において、カーソル操作が終了したと判定した場合には（ステップＳ１４；Ｙｅｓ）、質感提示処理は終了する。

【0053】

なお、実施例１では、情報処理装置１は、素材画像を変形する画像処理、カーソルの移動速度を決定する処理および素材画像上のカーソルの移動に応じた擦過音データを出力する音処理を全て実行する場合を説明した。しかしながら、情報処理装置１は、これに限定されず、素材画像を変形する画像処理、カーソルの移動速度を決定する画像処理および素材画像上のカーソルの移動に応じた擦過音データを出力する音処理、の内任意の組み合わせを実行しても良い。また、情報処理装置１は、これに限定されず、素材画像を変形する画像処理、カーソルの移動速度を決定する処理および素材画像上のカーソルの移動に応じた擦過音データを出力する音処理のいずれか１つを実行しても良い。

【0054】

［実施例１の効果］
このようにして、情報処理装置１は、素材の物性値データを記憶する素材特性ＤＢ２１から、特定の素材に対する素材表面の摩擦データおよび素材の硬さを参照する。情報処理装置１は、特定の素材が表示された素材画像上におけるポインタの表示位置の移動操作を検出すると、特定の素材に関する摩擦データに基づいて決定される素材画像上におけるカーソルの移動速度を決定する。情報処理装置１は、特定の素材に関する素材の硬さに関する情報と、ポインタの移動速度に応じて決定した素材画像上の位置とに基づき、素材画像上の範囲を決定する。情報処理装置１は、素材画像上の位置および素材画像上の範囲に基づいて、素材画像に対して画像処理を行い、画像処理を行った画像を出力する。情報処理装置１は、静止画表現では伝わらない素材の質感をユーザに提供できる。言い換えれば、情報処理装置１は、疑似的な触感刺激を発生させ、実物の素材がなくても、実物の素材と遜色ない質感をユーザに提供できる。

【0055】

また、情報処理装置１は、さらに、特定の素材に関する摩擦データおよび硬さの情報に基づき、素材画像上でのポインタの移動に対応した音データを決定し、画像の出力とともに、前記音データを出力する。かかる構成によれば、情報処理装置１は、疑似的な触感刺激を聴覚からも発生させ、実物の素材がなくても、実物の素材と遜色ない質感をユーザに提供できる。

【0056】

また、物性値データは、さらに、素材の厚さに関する情報を含む。そして、情報処理装置１は、特定の素材に関する厚さおよび硬さの情報に基づき、範囲について変形強度を決定し、素材画像に対して位置と範囲と変形強度とに基づく凹みを表す画像処理を行う。かかる構成によれば、情報処理装置１は、疑似的な触感刺激を視覚から発生させ、実物の素材がなくても、実物の素材と遜色ない質感をユーザに提供できる。

【実施例2】

【0057】

ところで、実施例１では、音処理部１３が、素材の実物を指でこすった際に発する擦過音を収録した擦過音データを出力すると説明した。しかしながら、音処理部１３は、これに限定されず、素材に対する擦過音データを生成しても良い。例えば、音処理部１３は、質感提示処理によって提示された素材の質感についての質感評価と、素材に対する擦過音データとを用いて擦過音を学習し、学習した学習モデルを用いて特定の素材の質感評価をもとに擦過音データを生成しても良い。

【0058】

そこで、実施例２では、音処理部１３が、質感提示処理によって提示された素材の質感についての質感評価と、素材に対する擦過音データとを用いて擦過音を学習し、学習した学習モデルを用いて特定の素材の質感評価をもとに擦過音データを生成する場合について説明する。

【0059】

［実施例２に係る質感提示システムの構成］
図２は、実施例２に係る情報処理装置を含む質感提示システムの構成を示す機能ブロック図である。なお、図１に示す情報処理装置１と同一の構成について同一符号を付すことで、その重複する構成および動作の説明については省略する。実施例１と実施例２とが異なるところは、制御部１０の音処理部１３を音処理部１３Ａに変更し、質感評価記録部３１を追加した点にある。また、実施例１と実施例２とが異なるところは、記憶部２０の素材特性ＤＢ２１を素材特性ＤＢ２１Ａに変更し、質感ＤＢ３２を追加した点にある。

【0060】

質感ＤＢ３２は、素材ごとに、質感評価の情報を記憶する。質感評価の情報は、質感提示処理によって提示された素材の質感について、ユーザが主観的に評価した情報のことをいう。質感評価の情報は、例えば、各項目に対してユーザが主観で感じる印象を相反する形容詞の対を用いて評価するＳＤ法を用いた評価の集合であり、数個の段階で行われる。段階の個数は、例えば、５個である。質感ＤＢ３２の素材ごとの質感評価の情報は、後述する素材特性ＤＢ２１Ａにフィードバックされる。なお、質感評価は、ＳＤ法に限定されず、素材の質感を主観で評価できる手法であれば、何でも良い。質感ＤＢ３２は、質感評価記録部３１によって生成される。

【0061】

ここで、実施例２に係る質感ＤＢ３２の一例を、図９を参照して説明する。図９は、実施例２に係る質感ＤＢの一例を示す図である。質感ＤＢ３２は、ＩＤ３２ａ、素材名３２ｂおよび質感３２ｃを対応付けて記憶する。ＩＤ３２ａは、素材を一意に識別する識別番号である。素材名３２ｂは、素材の名称である。質感３２ｃは、質感提示処理によって提示された素材の質感について、ユーザが主観的に評価した質感評価の情報である。質感３２ｃは、図９右図に示される質感評価表に表わされた、各項目に対する５段階の評価値の集合である。質感評価表は、素材の質感に関する形容詞であって相反する形容詞の対を両端に持つ５段階の評価ができるものである。例えば、形容詞が「硬い」の場合には、「硬い」と「柔らかい」とを両端として、ユーザは、５段階で評価できる。ここでは、ユーザが「硬い」と評価した場合には評価値として「－２」を選択、「柔らかい」と評価した場合には評価値として「２」、「硬い」と「柔らかい」との間と評価した場合には、評価の程度によって評価値「－１」、「０」、「１」と評価できる。

【0062】

一例として、ＩＤ３２ａが「００１」である場合に、素材名３２ｂとして「シルク」、質感３２ｃとして「２，－１，０，－２，－２，－１，－１，０，－２，０，２，２，０，２，０，－２，２」と記憶している。

【0063】

図８に戻って、素材特性ＤＢ２１Ａは、素材ごとの素材特性情報を記憶する。素材特性情報には、素材ごとの各種の物性値および素材ごとの質感情報が含まれる。質感情報は、質感ＤＢ３２の質感３２ｃに対応する。なお、素材特性ＤＢ２１Ａは、運用前に、あらかじめ定義されるが、適宜変更されても良い。

【0064】

ここで、実施例２に係る素材特性ＤＢ２１Ａのデータ構造の一例を、図１０を参照して説明する。図１０は、実施例２に係る素材特性ＤＢのデータ構造の一例を示す図である。
図１０に示すように、素材特性ＤＢ２１Ａは、素材特性ＤＢ２１は、ＩＤ（IDentifier）２１ａ、素材名２１ｂ、厚さ２１ｃ、硬さ２１ｄ、摩擦係数２１ｅ、画像２１ｆ、擦過音２１ｇおよび質感２１ｈを対応付けて記憶する。なお、図２に示す素材特性ＤＢ２１と同一の構成について同一符号を付すことで、その重複する構成の説明については省略する。図２と図１０とが異なるところは、図１０に係る素材特性ＤＢ２１Ａに質感２１ｈが追加された点にある。質感２１ｈは、質感提示処理によって提示された素材の質感について、ユーザが主観的に評価した質感評価の情報である。質感２１ｈは、質感ＤＢ３２の質感３２ｃに対応する。なお、質感２１ｈは、質感評価記録部３１によって記録される。

【0065】

一例として、ＩＤ２１ａが「００１」である場合に、素材名２１ｂとして「シルク」、厚さ２１ｃとして「０．３」、硬さ２１ｄとして「９００」、摩擦係数２１ｅとして「０．２５」と記憶している。また、画像２１ｆとして「Ｓａｍｐｌｅ１．ｊｐｇ」、擦過音２１ｇとして「Ｓａｍｐｌｅ１．ｍｐ３」と記憶している。また、質感２１ｈとして「２，－１，０，－２，－２，－１，－１，０，－２，０，２，２，０，２，０，－２，２」と記憶している。

【0066】

質感評価記録部３１は、評価された質感情報を質感ＤＢ３２に記録する。例えば、質感評価記録部３１は、質感提示処理によって提示された素材の質感について、質感評価の情報を受け付けると、受け付けた質感評価の情報を、素材に対応付けて質感ＤＢ３２に記録する。加えて、質感評価記録部３１は、質感ＤＢ３２に記録された素材の質感評価の情報を、素材特性ＤＢ２１Ａにフィードバックする。すなわち、質感評価記録部３１は、素材に対する質感評価の情報を、素材特性ＤＢ２１Ａに更新する。なお、素材特性ＤＢ２１Ａに更新される素材の質感評価の情報は、直近のユーザによって評価された素材の質感評価の情報であっても良いが、これに限定されない。素材特性ＤＢ２１Ａに更新される素材の質感評価の情報は、複数個分蓄積された、当該素材の質感評価の情報から多数派と判断される質感評価の情報を生成して得られた素材の質感評価の情報であっても良い。

【0067】

音処理部１３Ａは、学習モデル生成部１３１および音生成部１３２を有する。

【0068】

学習モデル生成部１３１は、質感に対する質感評価の情報と擦過音とを教師ありの教師データとした、質感評価の情報から擦過音を学習する学習モデルを生成する。例えば、学習モデル生成部１３１は、素材特性ＤＢ２１Ａから、素材ごとに、擦過音２１ｇ（音波形データ）および質感２１ｈを取得する。学習モデル生成部１３１は、素材ごとの擦過音２１ｇ（音波形データ）および質感２１ｈを教師データとして学習器に入力し、学習モデルを生成する。

【0069】

音生成部１３２は、擦過音がない素材について、学習モデルを適用して、当該素材の質感評価の情報に対する擦過音を生成する。例えば、音生成部１３２は、素材特性ＤＢ２１Ａに、素材に対する擦過音２１ｇがない場合には、素材に対する質感２１ｈ（質感評価の情報）を入力として、学習モデル生成部１３１によって生成された学習モデルを適用し、素材に対する音波形データを生成する。生成された音波形データが、素材の擦過音となる。一例として、「レーヨン」の擦過音を生成する場合に、音生成部１３２は、「レーヨン」の質感評価の情報を入力として、学習モデルを適用し、「レーヨン」の音波形データを生成する。なお、音生成部１３２は、素材特性ＤＢ２１Ａに素材に対する擦過音２１ｇがない場合に、素材に対する質感２１ｈを学習モデルに適用し、素材に対する音波形データを生成すると説明した。しかしながら、音生成部１３２は、これに限定されず、素材特性ＤＢ２１Ａに素材に対する擦過音２１ｇがある場合であっても、素材に対する質感２１ｈを学習モデルに適用し、素材に対する音波形データを再生成しても良い。素材に対する質感２１ｈは追加されるので、音生成部１３２は、追加された質感２１ｈから音波形データを再生成することで、大多数が同じように感じることができる音波形データを生成することができる。また、音生成部１３２は、素材に対する質感２１ｈが追加された場合に、追加された質感２１ｈに基づいて学習モデルを更新しても良い。そして、音生成部１３２は、素材に対する質感２１ｈを、更新された学習モデルに適用し、素材に対する音波形データを再生成しても良い。

【0070】

［音処理の一例］
ここで、音処理部１３Ａによって実行される音処理の一例を、図１１を参照して説明する。図１１は、音処理の一例を示す図である。なお、図１１の学習フェーズが、学習モデル生成部１３１に対応する。図１１の生成フェーズが、音生成部１３２に対応する。

【0071】

学習フェーズについて説明する。学習モデル生成部１３１は、素材特性ＤＢ２１Ａから、素材ごとに、質感２１ｈの欄の質感ｄ１および擦過音２１ｇの欄の音波形データｄ２を取得する。質感２１ｈの欄には、素材の質感評価の情報が設定されている。ここでは、例えば、質感ｄ１として「２，－１，０，－２，－２，－１，－１，０，－２，０，２，２，０，２，０，－２，２」、音波形データｄ２として「Ｓａｍｐｌｅ１．ｍｐ３」の音波形データが取得される。

【0072】

学習モデル生成部１３１は、素材ごとの質感ｄ１および音波形データｄ２を教師データとして教師ありの学習器１３１ａに入力する。ここでは、質感ｄ１としての「２，－１，０，－２，－２，－１，－１，０，－２，０，２，２，０，２，０，－２，２」と、音波形データｄ２としての「Ｓａｍｐｌｅ１．ｍｐ３」の音波形データとを対にした１つの教師データが学習器１３１ａに入力される。素材ごとの教師データが学習器１３１ａに入力される。そして、学習モデル生成部１３１は、教師ありの学習器１３１ａを用いて学習モデルｍ０を生成する。

【0073】

次に、生成フェーズについて説明する。音生成部１３２は、素材特性ＤＢ２１Ａに、素材に対する擦過音２１ｇがない場合には、学習モデルｍ０を適用し、質感２１ｈの欄の質感１００に対応する音波形データｄ２００を生成する。ここでは、例えば、質感１００として「２，３，０，－２，－２，－１，－１，０，－２，０，２，２，０，２，０，－３，２」が学習モデルｍ０に入力される。すると、音生成部１３２は、学習モデルｍ０を用いて質感１００に対応する音波形データｄ２００を生成する。生成された音波形データｄ２００が、擦過音２１ｇがなかった素材に対する擦過音となる。なお、素材に対する擦過音２１ｇが素材特性ＤＢ２１Ａにない場合について説明したが、音生成部１３２は、これに限定されず、素材に対する擦過音２１ｇが素材特性ＤＢ２１Ａにある場合であっても、質感２１ｈに対応する音波形データを再生成しても良い。

【0074】

［質感提示処理のフローチャート］
図１２は、実施例２に係る質感提示処理のフローチャートの一例を示す図である。なお、素材特性ＤＢ２１Ａに記憶された素材ごとの擦過音２１ｇおよび質感２１ｈの対を利用して学習モデルが既に生成されたものとする。

【0075】

図１２に示すように、質感提示処理は、素材ＩＤを受け付けたか否かを判定する（ステップＳ３１）。素材ＩＤを受け付けていないと判定した場合には（ステップＳ３１；Ｎｏ）、質感提示処理は、素材ＩＤを受け付けるまで、判定処理を繰り返す。

【0076】

一方、素材ＩＤを受け付けたと判定した場合には（ステップＳ３１；Ｙｅｓ）、画像処理部１２は、素材ＩＤに対応する素材特性情報を素材特性ＤＢ２１から読み出す（ステップＳ３２）。画像処理部１２は、読み出した素材特性情報内の画像３１ｆを素材画像として画像出力装置３に表示する（ステップＳ３３）。

【0077】

入力位置取得部１１は、カーソル操作が終了したか否かを判定する（ステップＳ３４）。カーソル操作が終了していないと判定した場合には（ステップＳ３４；Ｎｏ）、入力位置取得部１１は、カーソル操作の入力位置を取得する（ステップＳ３５，ステップＳ３６）。

【0078】

入力位置取得部１１は、入力位置が素材画像上であるか否かを判定する（ステップＳ３７）。入力位置が素材画像上でないと判定した場合には（ステップＳ３７；Ｎｏ）、入力位置取得部１１は、入力位置が質感評価の入力欄上であるか否かを判定する（ステップＳ３８）。入力位置が質感評価の入力欄上でないと判定した場合には（ステップＳ３８；Ｎｏ）、入力位置取得部１１は、カーソル操作を判定すべく、ステップＳ３４に移行する。

【0079】

一方、入力位置が質感評価の入力欄上であると判定した場合には（ステップＳ３８；Ｙｅｓ）、質感評価記録部３１は、質感評価の入力があるか否かを判定する（ステップＳ３９）。質感評価の入力がないと判定した場合には（ステップＳ３９；Ｎｏ）、入力位置取得部１１は、カーソル操作を判定すべく、ステップＳ３４に移行する。

【0080】

一方、質感評価の入力があると判定した場合には（ステップＳ３９；Ｙｅｓ）、質感評価記録部３１は、質感評価の情報を素材特性ＤＢ２１Ａに素材ＩＤと対応付けて記録する（ステップＳ４０）。そして、質感評価記録部３１は、カーソル操作を判定すべく、ステップＳ３４に移行する。

【0081】

ステップＳ３７において、入力位置が素材画像上であると判定した場合（ステップＳ３７；Ｙｅｓ）、画像処理部１２は、読み出した素材特性情報内の厚さ、硬さから変形範囲と変形強度を算出する（ステップＳ４１）。変形範囲は、例えば、式（１）によって算出されれば良い。変形強度は、例えば、式（２）によって算出されれば良い。そして、画像処理部１２は、算出された変形範囲と、算出された変形強度とをもとに、素材画像を変形する（ステップＳ４２）。

【0082】

そして、画像処理部１２は、読み出した素材特性情報内の摩擦係数からカーソルの移動速度を算出する（ステップＳ４３）。カーソルの移動速度は、例えば、式（３）によって算出されれば良い。そして、画像処理部１２は、カーソルの移動速度をもとにカーソルの表示位置を算出する（ステップＳ４４）。

【0083】

続いて、音処理部１３Ａは、質感評価を学習モデルに入力し、音データを生成する（ステップＳ４５）。例えば、音処理部１３Ａは、素材特性ＤＢ２１Ａから、素材ＩＤに対応する質感２１ｈ（質感評価の情報）を取得する。音処理部１３Ａは、取得した質感２１ｈを入力として、学習モデルを適用し、素材ＩＤに対する音波形データを生成する。そして、音処理部１３Ａは、生成された音データを、素材特性ＤＢ２１Ａの擦過音２１ｇの欄に更新する。なお、音処理部１３Ａは、素材特性ＤＢ２１Ａに素材ＩＤに対応する擦過音２１ｇがある場合には、この擦過音２１ｇを音データとしても良い。

【0084】

そして、画像処理部１２は、変形後の素材画像の画像データ、カーソルの表示位置のカーソルデータを画像出力装置３に出力し、画像出力装置３は、変形後の素材画像、カーソルの表示位置にカーソルを表示する（ステップＳ４６）。そして、音処理部１３Ａは、生成された音データを音出力装置４に出力し、音出力装置４は、音を出力する（ステップＳ４７）そして、画像処理部１２は、カーソル操作を判定すべく、ステップＳ３４に移行する。

【0085】

ステップＳ３４において、カーソル操作が終了したと判定した場合には（ステップＳ３４；Ｙｅｓ）、質感提示処理は終了する。

【0086】

［実施例２の効果］
上記実施例２によれば、情報処理装置１は、素材ごとに、画像または音から受ける素材の質感を評価した質感データを、物性値データおよび音データに対応付けて素材特性ＤＢ２１Ａに記憶する。情報処理装置１は、素材特性ＤＢ２１Ａに記憶された複数の素材毎の質感データと音データとを用いて素材に対応した質感の音を学習する学習モデルを生成する。情報処理装置１は、音データがない素材について、学習モデルを用いて、素材に対応した質感データに対する音データを生成し、生成した音データを出力する。かかる構成によれば、情報処理装置１は、素材の擦過音データがない場合であっても、学習モデルを用いて擦過音データを生成できる。この結果、情報処理装置１は、静止画表現だけでは伝わらない素材の質感を、音データを用いることでユーザに提供できる。

【0087】

また、上記実施例２によれば、情報処理装置１は、さらに、音データがある素材について、質感データが追加された場合に、追加された質感データに基づいて学習モデルを更新し、更新された学習モデルに基づいて質感データに対する音データを生成する。そして、情報処理装置１は、生成した音データを出力する。かかる構成によれば、情報処理装置１は、素材の擦過音データがある場合であっても、当該素材の追加された質感データを入力とした学習モデルを用いることで擦過音データを再生成できる。この結果、情報処理装置１は、静止画表現だけでは伝わらない素材の質感を、再生成された音データを用いることで、さらに精度良くユーザに提供できる。

【0088】

［その他］
なお、実施例１，２の画像処理部１２は、式（１）を用いた画像強度および変形範囲を用いて、カーソルの入力位置を中心に陰影による凹みを表す画像処理を行うと説明した。しかしながら、画像処理部１２は、これに限定されず、ワーピング処理および変形範囲を用いて、カーソルの入力位置を中心に陰影による凹みを表す画像処理を行っても良い。なお、ワーピング処理とは、例えば、円形範囲をメッシュ化して、メッシュ化したビットマップイメージを歪める処理のことをいう。

【0089】

また、図示した情報処理装置１の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、情報処理装置１の分散・統合の具体的態様は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、画像処理部１２を、特定の素材における変形範囲および変形強度を算出する算出部と、変形範囲および変形強度を用いて画像処理を行う処理部とに分離しても良い。また、記憶部２０を情報処理装置１の外部装置としてネットワーク経由で接続するようにしても良い。さらに、制御部１０およに記憶部３０をクラウド上に置き、利用者はパーソナルコンピュータ等からネットワークを介して当該クラウドに接続して、制御部１０により実行される処理を利用することも可能である。このようにすることで、本発明の処理をサービスとして提供することができるようになる。

【0090】

また、上記実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１に示した情報処理装置１と同様の機能を実現する質感提示プログラムを実行するコンピュータの一例を説明する。図１３は、質感提示プログラムを実行するコンピュータの一例を示す図である。

【0091】

図１３に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０３と、ユーザからのデータの入力を受け付ける入力装置２１５と、表示装置２０９を制御する表示制御部２０７とを有する。また、コンピュータ２００は、記憶媒体からプログラムなどを読取るドライブ装置２１３と、ネットワークを介して他のコンピュータとの間でデータの授受を行う通信制御部２１７とを有する。また、コンピュータ２００は、各種情報を一時記憶するメモリ２０１と、ＨＤＤ（Hard Disk Drive）２０５を有する。そして、メモリ２０１、ＣＰＵ２０３、ＨＤＤ２０５、表示制御部２０７、ドライブ装置２１３、入力装置２１５、通信制御部２１７は、バス２１９で接続されている。

【0092】

ドライブ装置２１３は、例えばリムーバブルディスク２１０用の装置である。ＨＤＤ２０５は、質感提示プログラム２０５ａおよび質感提示関連情報２０５ｂを記憶する。

【0093】

ＣＰＵ２０３は、質感提示プログラム２０５ａを読み出して、メモリ２０１に展開し、プロセスとして実行する。かかるプロセスは、情報処理装置１の各機能部に対応する。質感提示関連情報２０５ｂは、素材特性ＤＢ２１に対応する。そして、例えばリムーバブルディスク２１０が、質感提示プログラム２０５ａなどの各情報を記憶する。

【0094】

なお、質感提示プログラム２０５ａについては、必ずしも最初からＨＤＤ２０５に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、光磁気ディスク、ＩＣ（Integrated Circuit）カードなどの「可搬用の物理媒体」に当該プログラムを記憶させておく。そして、コンピュータ２００がこれらから質感提示プログラム２０５ａを読み出して実行するようにしても良い。

【符号の説明】

【0095】

１ 情報処理装置
２ 入力装置
３ 画像出力装置
４ 音出力装置
１０ 制御部
１１ 入力位置取得部
１２ 画像処理部
１３，１３Ａ 音処理部
１３１ 学習モデル生成部
１３２ 音生成部
２０ 記憶部
２１，２１Ａ 素材特性ＤＢ
３１ 質感評価記録部
３２ 質感ＤＢ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】