IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ DIC株式会社の特許一覧 ▶ 国立大学法人埼玉大学の特許一覧

特開2024-176063触感サンプル提示システムおよび触感サンプル提示方法
<>
  • 特開-触感サンプル提示システムおよび触感サンプル提示方法 図1
  • 特開-触感サンプル提示システムおよび触感サンプル提示方法 図2
  • 特開-触感サンプル提示システムおよび触感サンプル提示方法 図3
  • 特開-触感サンプル提示システムおよび触感サンプル提示方法 図4
  • 特開-触感サンプル提示システムおよび触感サンプル提示方法 図5
  • 特開-触感サンプル提示システムおよび触感サンプル提示方法 図6
  • 特開-触感サンプル提示システムおよび触感サンプル提示方法 図7
  • 特開-触感サンプル提示システムおよび触感サンプル提示方法 図8
  • 特開-触感サンプル提示システムおよび触感サンプル提示方法 図9
  • 特開-触感サンプル提示システムおよび触感サンプル提示方法 図10
  • 特開-触感サンプル提示システムおよび触感サンプル提示方法 図11
  • 特開-触感サンプル提示システムおよび触感サンプル提示方法 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024176063
(43)【公開日】2024-12-19
(54)【発明の名称】触感サンプル提示システムおよび触感サンプル提示方法
(51)【国際特許分類】
   G06T 19/00 20110101AFI20241212BHJP
   G06T 15/04 20110101ALI20241212BHJP
   G06F 3/01 20060101ALI20241212BHJP
   G06F 3/0481 20220101ALI20241212BHJP
【FI】
G06T19/00 600
G06T15/04
G06F3/01 560
G06F3/0481
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023094280
(22)【出願日】2023-06-07
(71)【出願人】
【識別番号】000002886
【氏名又は名称】DIC株式会社
(71)【出願人】
【識別番号】504190548
【氏名又は名称】国立大学法人埼玉大学
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100193725
【弁理士】
【氏名又は名称】小森 幸子
(74)【代理人】
【識別番号】100163038
【弁理士】
【氏名又は名称】山下 武志
(72)【発明者】
【氏名】中村 健二
(72)【発明者】
【氏名】小室 孝
【テーマコード(参考)】
5B050
5B080
5E555
【Fターム(参考)】
5B050AA03
5B050BA06
5B050BA09
5B050BA12
5B050BA13
5B050BA20
5B050CA07
5B050DA04
5B050EA04
5B050EA19
5B050EA26
5B050FA02
5B050FA05
5B050GA08
5B080AA00
5B080BA02
5B080CA00
5B080FA03
5B080GA22
5E555AA23
5E555AA48
5E555BA02
5E555BB02
5E555BC04
5E555BE17
5E555CA02
5E555CA12
5E555CA42
5E555CB05
5E555CB14
5E555CB42
5E555CB66
5E555CC03
5E555DB53
5E555DC09
5E555EA14
5E555FA00
(57)【要約】
【課題】多種多様な印象を評価者に提示できる触感サンプル提示システムを提供する。
【解決手段】触感サンプル提示システム1は、任意の物性を有する複数の材料片11からなる触感サンプル10と、触感サンプル10を撮像するカメラ23と、テクスチャ画像D1を複数保持する画像データベース42と、所望される印象を表現する印象用語を受け付ける印象用語受付部44と、印象用語に基づいて材料片11とテクスチャ画像D1の中から推奨する組み合わせを選定する推奨組選定部45と、推奨組選定部45が選定したテクスチャ画像D1から材料片11に対応させたテクスチャサンプル画像D3を生成する画像処理部41と、推奨組選定部45が選定した材料片11にテクスチャサンプル画像D3を付与したクロスリアリティ触感サンプル50を提示する画像提示部43と、を備える、
【選択図】図1


【特許請求の範囲】
【請求項1】
任意の物性を有する複数の材料片からなる触感サンプルと、
前記触感サンプルを撮像するカメラと、
視覚的印象要素を有するテクスチャ画像を複数保持する画像データベースと、
所望される印象を表現する印象用語を受け付ける印象用語受付部と、
前記印象用語受付部が受け付けた前記印象用語に基づいて、前記材料片と前記テクスチャ画像の中から推奨する組み合わせを選定する推奨組選定部と、
前記推奨組選定部が選定した推奨テクスチャ画像から前記材料片に対応させたテクスチャサンプル画像を生成する画像処理部と、
前記推奨組選定部が選定した推奨材料片に前記テクスチャサンプル画像を付与したクロスリアリティ触感サンプルを提示する画像提示部と、
を備える、触感サンプル提示システム。
【請求項2】
前記推奨組選定部は、前記材料片の前記印象用語に対する適合度を示す材料印象情報および前記テクスチャ画像の前記印象用語に対する適合度を示す画像印象情報に基づいて、前記組み合わせを求める、請求項1に記載の触感サンプル提示システム。
【請求項3】
前記画像提示部は、前記カメラから取得した触感サンプル画像を表示するディスプレイであり、
前記ディスプレイは、前記触感サンプル画像に前記テクスチャサンプル画像を重畳させたAR触感サンプルを提示する、請求項1に記載の触感サンプル提示システム。
【請求項4】
前記画像提示部は、ビデオ透過型または光学透過型のヘッドマウントディスプレイであり、
前記ヘッドマウントディスプレイは、前記触感サンプルの透過映像に前記テクスチャサンプル画像を重畳させたMR触感サンプルを提示する、請求項1に記載の触感サンプル提示システム。
【請求項5】
前記画像処理部は、2つの前記テクスチャ画像をアルファブレンドした合成テクスチャ画像を生成する、請求項1に記載の触感サンプル提示システム。
【請求項6】
前記テクスチャ画像は、一方が色画像であり、他方が模様画像である、請求項5に記載の触感サンプル提示システム。
【請求項7】
前記画像処理部は、前記触感サンプルに評価者が触れたときに、前記テクスチャサンプル画像のうち、前記評価者の指に隠れる領域をトリミング処理する、請求項1に記載の触感サンプル提示システム。
【請求項8】
前記触感サンプルは、少なくとも一部が樹脂であり、その外周部が形状安定的に保持され、表面と背面が解放されて触感確認領域を形成する、請求項1に記載の触感サンプル提示システム。
【請求項9】
任意の物性を有する複数の材料片からなる触感サンプルを提示する触感サンプル提示工程と、
前記触感サンプルをカメラで撮像する撮像工程と、
所望される印象を表現する印象用語を受け付ける印象用語受付工程と、
印象用語受付部が受け付けた前記印象用語に基づいて、前記材料片および画像データベースが複数保持する視覚的印象要素を有するテクスチャ画像の中から推奨する組み合わせを選定する推奨組選定工程と、
前記推奨組選定工程で選定された推奨テクスチャ画像から前記材料片に対応させたテクスチャサンプル画像を生成する画像処理工程と、
前記推奨組選定工程が選定された推奨材料片に前記テクスチャサンプル画像を付与したクロスリアリティ触感サンプルを提示する画像提示工程と、
を有する、ことを特徴とする触感サンプル提示方法。



【発明の詳細な説明】
【技術分野】
【0001】
本発明は、触感サンプル提示システムおよび触感サンプル提示方法に関する。
【背景技術】
【0002】
住設業界や内装業界、ファッション業界等では、実物の材料片をそのまま台紙に貼り付けた材料見本(触感サンプル)が商談時等に用いられている。提供者と購入者の双方が材料見本を見て触ることにより、その材料の見た目や触感等を直接確認できるため、重宝されている。
ところが、このような材料見本を制作するためには、実物の材料を調達しなければならず、製作時間や製作費用がかさんでしまう。そこで、実物の材料の質感を模した印刷物からなる材料見本が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002-67468号公報
【特許文献2】特開2003-223108号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、実物の材料が多種多様化しているのみならず、評価者(購入者)の好みも多様化している。このため、多種多様な材料片を有する材料見本の需要が年々高まっている。
同じ材料でも色彩が異なる触覚や印象が変化する。材料の見た目や触感の組み合わせは無限にある。評価者の好み等に対応するためには、多種多様な材料片を提示する必要がある。
しかしながら、従来の材料見本では、材料片の数の増加には限界があり、評価者の好み等に対応した材料片を提示するのは困難である。特に、評価者が所望する感覚を発現する材料片を精度高く提示することは困難である。
そこで、本発明は、多種多様な感覚を評価者に提示できる触感サンプル提示システムおよび触感サンプル提示方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明は以下の態様を包含するものである。
[1]任意の物性を有する複数の材料片からなる触感サンプルと、前記触感サンプルを撮像するカメラと、視覚的印象要素を有するテクスチャ画像を複数保持する画像データベースと、所望される印象を表現する印象用語を受け付ける印象用語受付部と、前記印象用語受付部が受け付けた前記印象用語に基づいて、前記材料片と前記テクスチャ画像の中から推奨する組み合わせを選定する推奨組選定部と、前記推奨組選定部が選定した推奨テクスチャ画像から前記材料片に対応させたテクスチャサンプル画像を生成する画像処理部と、前記推奨組選定部が選定した推奨材料片に前記テクスチャサンプル画像を付与したクロスリアリティ触感サンプルを提示する画像提示部と、を備える、触感サンプル提示システム。
[2]前記推奨組選定部は、前記材料片の前記印象用語に対する適合度を示す材料印象情報および前記テクスチャ画像の前記印象用語に対する適合度を示す画像印象情報に基づいて、前記組み合わせを求める、[1]に記載の触感サンプル提示システム。
[3]前記触感サンプルを撮像するカメラを備え、前記画像提示部は、前記カメラから取得した触感サンプル画像を表示するディスプレイであり、前記ディスプレイは、前記触感サンプル画像に前記テクスチャサンプル画像を重畳させたAR触感サンプルを提示するである、[1]または[2]に記載の触感サンプル提示システム。
[4]前記画像提示部は、ビデオ透過型または光学透過型のヘッドマウントディスプレイであり、前記ヘッドマウントディスプレイは、前記触感サンプルの透過映像に前記テクスチャサンプル画像を重畳させたMR触感サンプルを提示する、[1]または[2]に記載の触感サンプル提示システム。
[5]前記画像処理部は、2つの前記テクスチャ画像をアルファブレンドした合成テクスチャ画像を生成する、[1]~[4]のいずれかに記載の触感サンプル提示システム。
[6]前記テクスチャ画像は、一方が色画像であり、他方が模様画像である、[5]に記載の触感サンプル提示システム。
[7]前記画像処理部は、前記触感サンプルに評価者が触れたときに、前記テクスチャサンプル画像のうち、前記評価者の指に隠れる領域をトリミング処理する、[1]~[6]のいずれかに記載の触感サンプル提示システム。
[8]前記触感サンプルは、少なくとも一部が樹脂であり、その外周部が形状安定的に保持され、表面と背面が解放されて触感確認領域を形成する、[1]~[7]のいずれかに記載の触感サンプル提示システム。
[9]任意の物性を有する複数の材料片からなる触感サンプルを提示する触感サンプル提示工程と、前記触感サンプルをカメラで撮像する撮像工程と、所望される印象を表現する印象用語を受け付ける印象用語受付工程と、印象用語受付部が受け付けた前記印象用語に基づいて、前記材料片および画像データベースが複数保持する視覚的印象要素を有するテクスチャ画像の中から推奨する組み合わせを選定する推奨組選定工程と、前記推奨組選定工程で選定された推奨テクスチャ画像から前記材料片に対応させたテクスチャサンプル画像を生成する画像処理工程と、前記推奨組選定工程が選定された推奨材料片に前記テクスチャサンプル画像を付与したクロスリアリティ触感サンプルを提示する画像提示工程と、を有する、ことを特徴とする触感サンプル提示方法。
【発明の効果】
【0006】
本発明により、多種多様な感覚を評価者に提示できる触感サンプル提示システムおよび触感サンプル提示方法を提供することができる。特に、評価者が所望する感覚を発現する触感サンプル(材料片)を提供することができる。
【図面の簡単な説明】
【0007】
図1】触感サンプル提示システム1の概略構成を示す模式図である。
図2】触感サンプル10を示す図である。
図3】コンピューター20のハードウェア構成の一例を示す図である。
図4】コンピューター20のソフトウェア構成の一例を示す図である。
図5】触感サンプル提示方法を示すフローチャート図である。
図6】印象用語受付工程S3を説明する図である。
図7】印象用語Wを示す図であり、住居用建材に用いられ用語例である。
図8】(A)材料印象情報P2、(B)画像印象情報P3、(C)行列積算出結果を示す図である。
図9】(A)画像処理工程S5、(B)画像提示工程S6を示す図である。
図10】テクスチャサンプル画像D3と評価者の指が重なるときの画像処理を示す図である。
図11】触感サンプル13を示す図である。
図12】触感サンプル15を示す図であって、(A)平面図、(B)断面図である。
【発明を実施するための形態】
【0008】
以下、本発明について詳細に説明する。なお、以下に記載する構成要件の説明は、本発明を説明するための例示であり、本発明はこれらの内容に限定されるものではない。
【0009】
〔触感サンプル提示システム〕
図1は、触感サンプル提示システム1の概略構成を示す模式図である。
本実施形態の触感サンプル提示システム1は、AR技術を用いたものであり、触感サンプル10とコンピューター20を備える。
【0010】
<触感サンプル10>
図2は、触感サンプル10を示す図である。
触感サンプル10は、評価者がその表面を指で直接触れて、触感を覚える(触察する)ための材料見本である。
触感サンプル10は、例えば四辺形のシート状または平板状に形成された材料片11を複数有する。材料片11は、厚紙等の台紙に貼り付けられて、テーブル等の平坦な面に置かれる。例えば3つの材料片11(材料片11A~11C)が横一列に並べられる。
触感サンプル10は、後述するカメラ23で撮像できる範囲(画角)内にあれば、評価者が手に持ったり位置姿勢を変えたりしてもよい。
なお、触感サンプル10は、複数の材料片11を一列に並べたものに限らない。
【0011】
材料片11は、例えば住宅用建材であり、その材質(原材料)は任意である。
材料片11の材質は、例えば、ポリウレタンである。また、材料片11は、ポリエチレン、ポリプロピレン、エチレン・プロピレン共重合体、ポリブタジエン、ポリ酢酸ビニル、ポリエステル、ポリアクリル、ポリアミド、ポリスチレン等であってもよい。また、天然ゴム、ラテックスなどの粘弾性的な性質を持つポリマ、ゲル状物質等であってもよい。さらに、材料片11は、紙類、木材、金属類、漆喰、珪藻土、モルタル、岩石等であってもよい。
材料片11のうち、評価者が指で触れる部位(表面)の物性は任意である。物性とは、材料片11が持つ物理的な性質のことであり、質量、密度、体積、表面性状、弾性率(ヤング率)、熱伝導率、屈折率等である。電気的、磁性的な性質も含まれる。
材料片11は、その物性により表面に指で触れた評価者に対して、様々な触感を与える(覚えさせる)。材料片11がポリウレタンからなる場合は、ウレタンの架橋度を変えることで、ヤング率が変化し、触れた際の材料の柔らかさを変えることができる。
【0012】
材料片11のサイズ(面積)も任意である。例えば、材料片11の表面を指先で擦って触感を確認する場合には、評価者の人差し指よりもやや大きなサイズ(縦30mm、横50mm)であればよい。
例えば、材料片11を指先で摘まんで触感を確認する場合には、評価者の親指と人差し指とで摘まめるサイズ(縦50mm、横50mm)が必要である。
材料片11の厚みは、50μm以上、20mm以下が好ましい。材料片11がこの範囲の厚みを有していれば、評価者が指で触ったり摘まんだりすることができる。
【0013】
材料片11が貼り付けられた台紙の四隅には、材料片11の位置姿勢を検知する際の目印となるARマーカー12がそれぞれ付される。
ARマーカー12は、専用のマーカー画像を読み取らせる指定マーカーが好適であるが、自由なデザインを用いるフリーマーカーであってもよい。ARマーカー12として、指定マーカーを用いる場合は、例えばChArUcoボードと呼ばれるマーカーを用いることができる。また、正方形の黒枠とこの黒枠の内側に描かれた所定のパターンからなるマーカーを用いることができる。
【0014】
<コンピューター20(ハードウェア構成)>
図3は、コンピューター20のハードウェア構成の一例を示す図である。
コンピューター20は、例えばデスクトップ型のパーソナルコンピューターであり、触感サンプル10の近傍に設置される。
コンピューター20は、制御部21、操作部22、カメラ23、ディスプレイ24等を備える。
【0015】
制御部21は、CPU31からディスプレイI/F37等を備え、コンピューター20を統括的に制御する。
CPU31は、ROM32に記憶された制御プログラムを読み出して、撮像/画像加工・画像合成/画像投影等のコンピューター20が有する各種機能を実行・制御する。
RAM33は、CPU31の主メモリ、ワークエリア等の一時記憶領域として用いられる。
【0016】
HDD34は、画像データや各種プログラムを複数保持(記憶)する大容量記憶部である。HDD34は、多種多様なテクスチャ画像D1を記憶保持する。
テクスチャ画像D1は、視覚的印象要素を有する画像であり、例えば色画像D1aと模様画像D1bを含む。視覚的印象要素とは、色や模様、光沢、質感等であり、その見た目(視覚)により触った時の印象を与えるものである。例えば赤色は、観察者に温かみを感じさせる要素である。
色画像D1aは、色相、明度、彩度(色の三属性)で表される多数の色を有する画像である。色画像D1aは、有彩色の画像のみならず、無彩色の画像も含む。
模様画像D1bは、様々な材料の見た目(表面質感)を模した画像である。例えば凹凸や木目、水紋(水面)、マーブル等の不規則模様、チェックやストライプ、ドット等の幾何学的模様を有する画像である。また、一つの模様のみならず、複数の模様を含む画像であってもよい。
なお、試料片11が有する物性(凹凸等)に対して、テクスチャ画像D1の視覚的印象要素が乖離しすぎると、評価者が試料片11に触れた際に違和感を与えてしまう。このため、テクスチャ画像D1の視覚的印象要素は、試料片11の物性に近似するものが望ましい。
また、HDD34は、感性パラメータP1、材料印象情報P2、画像印象情報P3を保持(記憶)する。これらのパラメータや情報については、後述する。
【0017】
操作部I/F35は、操作部22と制御部21とを接続するインタフェースである。
操作部22には、マウスやキーボードなどが備えられており、評価者による操作/入力/指示を受け付ける。
【0018】
カメラI/F36は、カメラ23と制御部21とを接続するインタフェースである。
カメラ23は、撮像対象物(触感サンプル10)を撮像し、カメラI/F36を介して制御部21に撮像対象物の画像データ(触感サンプル画像Dc)を入力する。カメラ23は、触感サンプル10の上方に固定配置される。
【0019】
ディスプレイI/F37は、ディスプレイ24と制御部21とを接続するインタフェースである。
ディスプレイ24は、カメラ23が撮像した触感サンプル10の画像(触感サンプル画像Dc)を表示する。ディスプレイ24は、評価者と触感サンプル10の間に固定配置される。評価者がディスプレイ24に映し出された触感サンプル画像Dcを見ながら、指先で触感サンプル10(材料片11)に触れられるようにする。
【0020】
<コンピューター20(ソフトウェア構成)>
図4は、コンピューター20のソフトウェア構成の一例を示す図である。
コンピューター20は、画像処理部41、データ管理部42、表示制御部43、印象用語受付部44、推奨組選定部45等を備える。
【0021】
画像処理部41は、適宜、データ管理部42と表示制御部43に各種処理を指示する。特に、画像処理部41は、HDD34に保存された画像(テクスチャ画像D1)やカメラ23が撮像した画像(触感サンプル画像Dc)を加工修正(レンダリング)等する。
画像処理部41は、本発明の画像処理部として機能する。
【0022】
画像処理部41は、いわゆるARエンジンと呼ばれるものであり、AR(Augmented reality:拡張現実)を表現するためのソフトウェアのことである。ARフレームワークと表現されることもあり、市販されているソフトウェアもある。例えば、米国のインテル社が開発・公開しているオープンソースのライブラリであるOpenCVを用いることもできる。
画像処理部41は、ARを表現する画像(テクスチャサンプル画像D3)を生成する。具体的には、画像処理部41は、HDD34に保存されたテクスチャ画像D1の中から所定のテクスチャ画像D1を選択(選定)し、そのテクスチャ画像D1を加工処理等して、触感サンプル10の撮像画像(触感サンプル画像Dc)に対応(重畳)させるテクスチャサンプル画像D3を生成する。
テクスチャサンプル画像D3を生成する際には、2つのテクスチャ画像D1a,D1bをアルファブレンドした合成テクスチャ画像D2を用いることもできる。つまり、テクスチャサンプル画像は、1つのテクスチャ画像D1を加工処理したもののみならず、2つのテクスチャ画像D1を合成加工処理したものも含む。2つのテクスチャ画像は、一方が色画像D1aであり、他方が模様画像D1bである。
【0023】
また、画像処理部41は、評価者が触感サンプル10の表面に触れたときに、テクスチャサンプル画像D3を加工処理する。
評価者の指先が材料片11の表面に触れると、指先とテクスチャサンプル画像D3が重なってしまう。つまり、指先の上面にテクスチャサンプル画像D3が投影されてしまう。
そこで、テクスチャサンプル画像D3のうち、評価者の指に重なる(指で材料片11の表面が隠れる)領域をトリミング処理する。これにより、指先の上面にテクスチャサンプル画像D3が投影されないようになる。
【0024】
データ管理部42は、触感サンプル10に関する情報やHDD34に保存された画像に関する情報、さらに各種設定やパラメータ情報(感性パラメータP1、材料印象情報P2、画像印象情報P3)などを保存、管理する。
データ管理部42は、HDD34と協動して、本発明の画像データベースとして機能する。
【0025】
表示制御部43は、画像処理部41からの指令に基づいて、ディスプレイ24に各種画像を表示する。表示制御部43は、画像処理部41が生成した画像やカメラ23が撮像した画像を表示する。
表示制御部43は、ディスプレイ24と協動して、本発明の画像提示部として機能する。
【0026】
印象用語受付部44は、評価者から印象用語Wを受け付ける。印象用語受付部44は、ディスプレイ24に複数の印象用語Wを表示させ、評価者にその中から所望する印象を表現する用語(言葉)を選択させる。評価者が操作部22を操作することにより、印象用語受付部44に印象用語Wが入力される。
印象用語受付部44は、操作部22と協動して、本発明の印象用語受付部として機能する。
印象用語Wは、評価者が触感サンプル10(材料片11)に対して所望する印象を表現する言葉である。印象用語Wについては、後述する。
【0027】
推奨組選定部45は、印象用語受付部44が受け付けた印象用語Wに基づいて、材料片11とテクスチャ画像D1の中から推奨する組み合わせを選定する。複数の材料片11の中から1つ、複数のテクスチャ画像D1の中から1つを選定する。テクスチャ画像D1は、色画像D1aと模様画像D1bをそれぞれ1つずつ選定してもよい。
推奨組選定部45は、各材料片11に関する材料印象情報P2と各テクスチャ画像D1に関する画像印象情報P3に基づいて、推奨する組み合わせを求める。
推奨組選定部45は、本発明の推奨組選定部として機能する。
【0028】
〔触感サンプル提示方法〕
本実施形態の触感サンプル提示方法は、上述した触感サンプル提示システム1を用いて行われる。
図5は、触感サンプル提示方法を示すフローチャート図である。
図6は、印象用語受付工程S3を説明する図である。
図7は、印象用語Wを示す図であり、住居用建材に用いられ用語例である。
図8(A)は材料印象情報P2、(B)は画像印象情報P3、(C)行列積算出結果を示す図である。
図9(A)は画像処理工程S5、図9(B)は画像提示工程S6を示す図である。
【0029】
触感サンプル提示方法は、触感サンプル提示工程S1、撮像工程S2、印象用語受付工程S3、推奨組選定工程S4、画像処理工程S5、画像提示工程S6を有する。
推奨組選定工程S4は、行列積算出S41、順位付け・選定S42を含む。
画像処理工程S5は、テクスチャ画像合成S51、AR画像生成S52を含む。
さらに、触感サンプル提示方法は、画像トリミング処理工程S7、画像変更判断工程S8を有する。
【0030】
<触感サンプル提示工程S1>
触感サンプル提示工程S1では、所定の物性を有する材料からなる触感サンプル10を提示する。触感サンプル10を、評価者の手の届く範囲、かつ、カメラ23で撮像可能な範囲に配置する。
【0031】
<撮像工程S2>
撮像工程S2では、カメラ23で触感サンプル10を撮像する。カメラ23は、触感サンプル10を撮像した画像(触感サンプル画像Dc)をコンピューター20のデータ管理部42に向けて出力する(図6参照)。
【0032】
<印象用語受付工程S3>
印象用語受付工程S3では、評価者から印象用語Wを受け付ける(図6参照)。表示制御部43は、印象用語受付部44からの指令に基づいて、ディスプレイ24に印象用語Wの一覧が表示される。評価者は操作部22を用いて、この一覧の中から所望する印象を表現するもの(印象用語Wa)を1つ選択する。
【0033】
印象用語Wは、感覚語彙とも呼ばれて、官能評価の際に用いられている(図7参照)。建築、食品、繊維、自動車、化粧品等の様々な分野において官能評価が行われ、その分野ごとに様々な印象用語Wが収集・使用されている。印象用語Wは、開発した製品を評価したり、品質を管理したりするために利用されている。
例えば、住居用建材における印象用語Wとして、「しなやか」、「しっとり」、「高級感」、「ふんわり」、「ひんやり」、「心地よい」等が表示される。評価者は、所望する印象用語Waとして、例えば「しなやか」を選択する。
【0034】
<推奨組選定工程S4>
推奨組選定工程S4では、印象用語受付部44が受け付けた印象用語Wa「しなやか」に基づいて、材料片11とテクスチャ画像D1の組み合わせを選定する。この組み合わせは、推奨材料片11sと推奨テクスチャ画像D1sからなり、評価者が望む触感が出現される可能性が高い組み合わせである。つまり、評価者に対して推奨すべきものとして評価される組み合わせである。
【0035】
推奨材料片11sは、複数の材料片11のうち、前工程で受け付けた印象用語Wa「しなやか」に対する適合度(重みづけ)が高いものである。
推奨テクスチャ画像D1sは、複数のテクスチャ画像D1のうち、前工程で受け付けた印象用語Wa「しなやか」に対する適合度が高いものである。
推奨組選定部45は、各材料片11に関する材料印象情報P2と各テクスチャ画像D1に関する画像印象情報P3に基づいて、推奨する組み合わせ(推奨材料片11s、推奨テクスチャ画像D1s)を求める。
【0036】
材料印象情報P2は、各材料片11に対して感性パラメータP1が付された情報群(数値リスト)である(図8(A)参照)。
この感性パラメータP1は、各材料片11の印象用語Wに対する適合度を示す媒介変数である。人が材料片11に触れたときに、印象用語Wについて感じる強さ(触感の印象度)を数値化したものである。
図8(A)に示すように、材料片11Aに対する印象用語Wa「しなやか」の感性パラメータP1は、「1.20」である。材料片11Bに対する印象用語Wa「しなやか」の感性パラメータP1は、「1.30」である。
感性パラメータP1の値が大きい程、それを触ったときに「しなやか」と感じやすいと評価される。各材料片11に対する感性パラメータP1の値は、予め官能評価等により決定される。
感性パラメータP1の数値範囲を0~2に設定したが、これに限らない。任意の数値範囲を採用することができる。
【0037】
画像印象情報P3は、各テクスチャ画像D1に対して感性パラメータP1が付された情報群(数値リスト)である(図8(B)参照)。
この感性パラメータP1は、各テクスチャ画像D1の印象用語Wに対する適合度を示す媒介変数である。人がテクスチャ画像D1を見たときに、印象用語Wについて感じる強さ(触感の印象度)を数値化したものである。
図8(B)に示すように、ホワイト(白色の色画像D1a)に対する印象用語Wa「しなやか」の感性パラメータP1は、「1.26」である。グレー(灰色の色画像D1a)に対する印象用語Wa「しなやか」の感性パラメータP1は、「1.17」である。
感性パラメータP1の値が大きい程、それを見たときに、触感として「しなやか」と感じやすいと評価される。各テクスチャ画像D1に対する感性パラメータP1の値は、予め官能評価等により決定される。
【0038】
(行列積算出S41)
推奨する組み合わせを求めるには、まず材料印象情報P2と画像印象情報P3の行列積を算出する(図8(C)参照)。
例えば、印象用語Wa「しなやか」を対象とした場合、m個の材料片11とn個の色画像D1aの組み合わせは、色画像D1aのn行1列の行列(図8(A)のしなやかの値)と材料片11のm行1列(図8(B)のしなやかの値)の行列の行列積で計算される。計算して得られたm行n列の行列は、図8(C)のような、材料片11と色画像D1aの組み合わせからなる「しなやか」の印象値となる。
すなわち、材料片11Aと白色の色画像D1aの組み合わせは、「1.2×1.26=1.51」と計算される。材料片11Bと灰色の色画像D1aの組み合わせは、「1.30×1.17=1.52」と計算される。
【0039】
(順位付け・選定S42)
次いで、算出された行列積の数値の大きさによって順位付けを行い、この順位付けの上位のものを推奨する組み合わせとして選定する。
推奨する組み合わせ「推奨材料片11s、推奨テクスチャ画像D1s」として、複数組を選定できる。例えば、第1位は行列積が1.69点の「材料片11B、ライトイエロー」、第2位は行列積が1.64点の「材料片11B、ホワイト」が選定される。さらに、第3位は行列積が1.56点の「材料片11A、ライトイエロー」、第4位は行列積が1.52点の「材料片11A、グレー」等を選定される(図6参照)。
この例では、第1位、第2位、第4位は、材料片11Aが重複するため、評価者に対して同時に提示することができない。そこで、推奨する組み合わせとして、第2位と第4位を除外(保留)して、第1位と第3位のみを選定する。
【0040】
推奨組選定工程S4では、推奨テクスチャ画像D1sとして、色画像D1aと模様画像D1bをそれぞれ一つずつ選定してもよい。この場合には、各材料片11に対する材料印象情報P2と各色画像D1aに対する画像印象情報P3と各模様画像D1bに対する画像印象情報P3の掛け算(行列積)を算出する。
【0041】
<画像処理工程S5>
画像処理工程S5では、推奨組選定工程S4において選定された推奨テクスチャ画像D1sに基づいて、触感サンプルの材料片11の表面に対応させたテクスチャサンプル画像D3を生成する。推奨テクスチャ画像D1sの選定数に応じて、テクスチャサンプル画像D3を生成する。テクスチャサンプル画像D3は、ARを表現する画像であり、テクスチャ画像D1を加工・合成処理して生成される。
画像処理工程S5は、テクスチャ画像合成S51とAR画像生成S52からなる。
【0042】
(テクスチャ画像合成S51)
テクスチャ画像合成S51は、推奨組選定工程S4において、色画像D1aと模様画像D1bが一つずつ選定された場合に実行される。
画像処理部41は、2つのテクスチャ画像D1(色画像D1aと模様画像D1b)をアルファブレンドした合成テクスチャ画像D2を生成する(図9(A)参照)。
アルファブレンドとは、2つの画像を重ね合わせ、画素毎に設定された透過度(アルファ値)に基づいて合成することである。透き通った画像を通して背後の画像が重なって見える表現が可能となる。
【0043】
色画像D1aと模様画像D1bを合成する際のアルファ値は任意に設定することができる。アルファ値は0から255の値であり、0は完全に透明な画像を表し、255は完全に不透明な画像を表す。
アルファ値は、常に所定値(例えば128)に設定したり、その都度ランダムに設定したりしてもよい。また、推奨組選定工程S4において評価者がテクスチャ画像D1を選択した際に、アルファ値も設定するようにしてもよい。
なお、推奨組選定工程S4において、色画像D1aと模様画像D1bのいずれか一方のみが選択された場合には、アルファ値は例えば255(完全不透明)に設定される。
2つのテクスチャ画像D1をアルファブレンドする際に、アルファ値を任意に設定することにより、多種多様な合成テクスチャ画像D2(ひいてはテクスチャサンプル画像D3)を生成することができる。
【0044】
(AR画像生成S52)
AR画像生成S52では、テクスチャ画像D1または合成テクスチャ画像D2を加工処理して、テクスチャサンプル画像D3を生成する。テクスチャサンプル画像D3は、上述したように、ARを表現する画像であり、触感サンプル画像Dcに重ね合わされる画像である。
画像処理部41は、テクスチャ画像D1または合成テクスチャ画像D2を加工処理して、触感サンプル画像Dcに映し出される材料片11の表面と同形状の画像データ(テクスチャサンプル画像D3)を生成する(図9(A)参照)。
次いで、画像処理部41は、このテクスチャサンプル画像D3を、触感サンプル画像Dcのうち材料片11A~11Cの表面上に重畳(合成)配置する。
【0045】
触感サンプル画像Dcにおける材料片11A~11Cの表面の位置情報等は、ARマーカー12を用いて判断される。ARを実現するためには、触感サンプル10(材料片11)の位置情報の取得が必須となる。評価者に違和感を与えないためには、材料片11の高精度な位置認識が必要となる。
そこで、ARマーカー12をカメラ23で撮像し、画像認識技術を使用して、材料片11の位置情報を取得する。このような位置認識は、ビジョンベース型あるいは画像認識型と呼ばれる。
ARマーカー12が正方形の黒枠とこの黒枠の内側に描かれた所定のパターンを有する場合には、黒枠を用いてARマーカー12を検出し、黒枠の内側のパターンによってARマーカー12を判別する。そして、黒枠内のパターンとHDD24に保存されているパターンファイルを比較し、一致率を算出することで、ARマーカー12が正しく検出される。さらに、ARマーカー12の輪郭抽出によって算出されたマーカー座標系と、HDD24に保存されている触感サンプル10とARマーカー12の相対座標を照らし合わせることで、材料片11の正確な位置情報が求められる。
【0046】
ARマーカー12を用いて取得した位置情報に基づいて、テクスチャサンプル画像D3を触感サンプル画像Dcの材料片11A~11Cの表面に重畳させる(図9(B)参照)。テクスチャサンプル画像D3は、材料片11の表面と同位置に配置される。触感サンプル画像Dcにテクスチャサンプル画像D3を合成した画像(AR画像Dr)において、材料片11の表面とテクスチャサンプル画像D3が完全一致する。
このように、テクスチャサンプル画像D3を触感サンプル画像Dcに重畳させることにより、ARを表現できるAR画像Drが生成される。
【0047】
<画像提示工程S6>
画像提示工程S6では、画像処理部41が生成したAR画像を評価者に提示する。すなわち、画像処理部41は、触感サンプル画像Dcにテクスチャサンプル画像D3を重畳(付与)させたAR画像Drを表示制御部43に出力する。そして、表示制御部43は、このAR画像Drをディスプレイ24に表示させる(図9(B)参照)。
【0048】
これにより、評価者の手の届く範囲に触感サンプル10が提示され、さらに評価者の目の前にディスプレイ24に表示されたAR画像Drが提示される。すなわち、触感サンプル10とAR画像DrからなるAR触感サンプル52(クロスリアリティ触感サンプル50)が評価者に提示される。評価者は、ディスプレイ24に表示されたAR画像Drを見ながら、触感サンプル10の材料片11の表面に触れることができる。
評価者は、材料片11の表面を指先で触ることにより、触覚を活用して、材料片11の物性を感じ取る(触察する)ことができる。
材料片11の物性とは、材料片11の表面性状やヤング率、熱伝導率等である。表面性状は粗滑や凹凸、摩擦等、ヤング率は硬軟、熱伝導率は温冷の触感を評価者に与える。
【0049】
評価者がディスプレイ24に表示されたAR画像Drを見ながら(触感サンプル10を見ないで)、触感サンプル10(材料片11)に触れると、クロスモーダルインタラクション(感覚間相互作用)が生じる。クロスモーダルインタラクションは、異なる感覚間の相互作用であり、本実施形態では触覚と視覚により発生する。すなわち、評価者が触覚で実物の材料片11を認識しながら、視覚で仮想の材料片11(AR画像Dr)を認識すると、触覚と視覚の統合により、触覚または視覚のみでは得られない感覚が生み出される。つまり、材料片11の粗滑や凹凸、摩擦、硬軟、温冷等の、評価者が認識する触感が変化する。
【0050】
具体的には、材料片11に暖色系の色画像を重ねると、色画像のない材料片11のままの場合よりも温かい触感を覚える。また、材料片11に寒色系の色画像を重ねると、色画像のない材料片11のままの場合よりも冷たい触感を覚える。また、木目の模様画像を材料片11に重ねると、模様画像のない材料片11のままの場合よりも、自然の温かみや落ち着いた印象を評価者に与える。
このように、AR触感サンプル52を用いることにより、1つの材料片11であっても評価者に複数の触感を提示する材料見本を実現できる。言い換えれば、複数の異なる材料片11を用意しなくても、低労力で多種多様な感覚を評価者に提示する材料見本を実現できる。
【0051】
AR触感サンプル52は、複数の材料片11を有し、これらの画像(触感サンプル画像Dc)に対してそれぞれテクスチャサンプル画像D3を合成した画像(AR画像Dr)が提供される。つまり、複数のAR画像Drが生成される。特に、評価者から所望される印象を表現する印象用語を受け付け、この印象用語に対応するAR触感サンプル52を生成する。したがって、AR触感サンプル52は、評価者が所望する感覚を精度高く発現できる。
【0052】
<画像トリミング処理工程S7>
図10は、テクスチャサンプル画像D3と評価者の指が重なるときの画像処理を示す図である。説明の都合上、材料片11を1つだけ図示する。
評価者が材料片11の画像(AR画像Dr)を見ながら、実物の材料片11を触ると、触感サンプル画像Dcに評価者の指が映り込む。そして、評価者の指の画像上にテクスチャサンプル画像D3が重なる。このため、AR画像Drを見た評価者に違和感を与えて、材料片11の触感が変化してしまうおそれがある。
そこで、画像処理部41は、触感サンプル10の材料片11に評価者が触れたときに、テクスチャサンプル画像D3のうち、評価者の指に隠れる領域をトリミング処理(クロップ処理)する。画像トリミング処理は、既存の方式を用いて行われる。
これにより、AR画像Drは、材料片11の表面のうち、評価者の指を除く領域のみに提示される。したがって、AR画像Drを見た評価者に違和感を与えることのないAR触感サンプル52を提供できる。
【0053】
<画像変更判断工程S8>
最後に、触感サンプル提示方法を継続するか否かを判断(選択)する。言い換えれば、異なる印象を与えるAR触感サンプル52を再提示するか否かを判断する。
画像変更判断工程S8では、まずAR触感サンプル52の提示継続の要否を判断する(判断工程S81)。
評価者が操作部22から触感サンプル提示の終了を指示した場合は、触感サンプル提示方法は終了する。
一方、判断工程S81において、評価者が操作部22から触感サンプル提示の続行を指示した場合は、さらに印象用語Wを変更するか否かを判断する(判断工程S82)。
【0054】
判断工程S82において、評価者が操作部22から印象用語Wの変更拒否を指示した場合は、推奨組選定工程S4の順位付け・選定S42に戻る。そして、前回に次点や保留となった組み合わせ(材料片11、テクスチャ画像D1)を選定する。そして、再度、画像処理工程S5から画像トリミング処理工程S7を行う。
一方、判断工程S82において、評価者が操作部22から印象用語Wの変更を指示した場合は、印象用語受付工程S3に戻る。そして、再度、推奨組選定工程S4から画像トリミング処理工程S7を行う。
【0055】
このように、本実施形態の触感サンプル提示システムおよび触感サンプル提示方法は、クロスモーダルインタラクションを活用したAR触感サンプル52(クロスリアリティ触感サンプル50)により、評価者に多種多様な感覚を提示できる。つまり、AR触感サンプル52の触感サンプル10(材料片11)に触れた評価者に複数の触質感・触印象(仮想触感、疑似触覚)を提示できる。特に、評価者が所望する感覚を精度高く発現したAR触感サンプル52を生成・提示できる。
触感サンプル10が少数の材料片11からなる場合であっても、評価者に多数の異なる感覚を提示できる。このため、触感サンプル10の制作費用や制作時間を大幅に抑えることができる。触感サンプル10の大きさや重さも抑えることができる。さらに、触感サンプル10を廃棄する際にも費用等を抑えることができる。
【0056】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【0057】
本発明は、現実世界と仮想世界を融合させる技術の総称であるXR(Cross Reality / Extended reality)技術を用いたクロスリアリティ触感サンプル50を提示することができる。すなわち、AR(Augmented reality:拡張現実)技術を用いる場合について説明したが、これに限らない。
ディスプレイ24としてヘッドマウントディスプレイを用いる場合には、クロスリアリティ触感サンプル50として、MR(Mixed reality:複合現実)技術を用いたMR触感サンプルを提示することができる。ヘッドマウントディスプレイは、触感サンプル10の透過映像にテクスチャサンプル画像D34を重畳させたAR画像Drを提示する。
また、クロスリアリティ触感サンプル50として、VR(Virtual Reality:仮想現実)技術を用いたVR触感サンプルを提示してもよい。
【0058】
図11は、触感サンプル13を示す図である。
触感サンプル13は、複数の材料片11を縦横方向にそれぞれ複数例に並べたものである。触感サンプル13では、複数の材料片11が、横方向に沿って(左側から右側に向かって)、例えば表面粗さが粗いものから滑らかなものの順に並べられる。縦方向に沿って(奥側から手前側に向かって)、例えば熱伝導率が高いものから低いものの順に並べられる。そして、ARマーカー12は、台紙の四隅に配置される。
これにより、より多くのAR触感サンプル52(クロスリアリティ触感サンプル50)を評価者に提供できる。また、AR触感サンプル52(触感サンプル13)は、評価者が所望する感覚を高い確率で発現できる。
【0059】
図12は触感サンプル15を示す図であって、(A)平面図、(B)断面図である。説明の都合上、材料片16を1つだけ図示する。
触感サンプル10は、触感確認領域が表面のみのもの(材料片11)に限らず、背面(裏面)を含むもの(触感サンプル15)であってもよい。
触感サンプル15は、材料片16が少なくとも一部が樹脂であり、材料片16の外周部が形状安定的に保持される。そして、表面16aと背面16bが露出(解放)されて触感確認領域を形成する。
評価者は、材料片16の表面のみならず、材料片16の両面(表面と背面)に触れることができる。これにより、評価者は、材料片16を人差し指と親指で挟んだり、摘まんだりすることができ、硬さや厚み感等の触感を把握できる。
【0060】
材料片11,16の形状は、矩形(四角形)に限らない。材料片11,16の形状は、円形や楕円形等でもよく、さらに球形(半球形)でもよい。
【0061】
コンピューター20として、デスクトップ型パーソナルコンピューターを用いる場合について説明したが、これに限らない。ノートPCやタブレットPC、スマートフォン等の携帯型コンピューターを用いてもよい。
携帯型コンピューターを用いる場合には、評価者が携帯型コンピューターに搭載されたカメラで触感サンプル10を撮像してもよい。そして、カメラ23とディスプレイ24の位置情報を携帯型コンピューターに搭載されたGPSを用いて取得する。
【0062】
ディスプレイ24として、モバイルディスプレイやヘッドマウントディスプレイを用いてもよい。ヘッドマウントディスプレイは、いわゆる密閉式の他、光学透過型やビデオ透過型であってもよい。
ビデオ透過式ヘッドマウントディスプレイを用いる場合には、このビデオ透過型ヘッドマウントディスプレイに搭載されたカメラ23で触感サンプル10を撮像する。また、ビデオ透過式ヘッドマウントディスプレイに搭載されたGPSを用いてカメラ23とディスプレイ24の位置情報を取得する。
【0063】
ARマーカー12を用いる場合に限らず、マーカーレス方式により材料片11の位置姿勢を検知してもよい。例えば、材料片11が貼られた台紙や触感サンプル10が置かれた机の四隅や特徴点をARマーカー12の代わりに用いる。
【符号の説明】
【0064】
1 触感サンプル提示システム
10 触感サンプル
11 材料片
11s 推奨材料片
12 ARマーカー
13 触感サンプル
15 触感サンプル
16 材料片
16a 表面
16b 背面
20 コンピューター
21 制御部
22 操作部(印象用語受付部)
23 カメラ
24 ディスプレイ(画像提示部)
31 CPU
32 ROM
33 RAM
34 HDD(画像データベース)
41 画像処理部
42 データ管理部(画像データベース)
43 表示制御部(画像提示部)
44 印象用語受付部
45 推奨組選定部
50 クロスリアリティ触感サンプル
51 AR触感サンプル
Dc 触感サンプル画像
D1 テクスチャ画像
D1a 色画像
D1b 模様画像
D1s 推奨テクスチャ画像
D2 合成テクスチャ画像
D3 テクスチャサンプル画像
Dr AR画像
W,Wa 印象用語
P1 感性パラメータ
P2 材料印象情報
P3 画像印象情報



図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12