IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヤマハ株式会社の特許一覧

特開2024-168716音または画像の評価方法、音または画像の評価装置およびプログラム
<>
  • 特開-音または画像の評価方法、音または画像の評価装置およびプログラム 図1
  • 特開-音または画像の評価方法、音または画像の評価装置およびプログラム 図2
  • 特開-音または画像の評価方法、音または画像の評価装置およびプログラム 図3
  • 特開-音または画像の評価方法、音または画像の評価装置およびプログラム 図4
  • 特開-音または画像の評価方法、音または画像の評価装置およびプログラム 図5
  • 特開-音または画像の評価方法、音または画像の評価装置およびプログラム 図6
  • 特開-音または画像の評価方法、音または画像の評価装置およびプログラム 図7
  • 特開-音または画像の評価方法、音または画像の評価装置およびプログラム 図8
  • 特開-音または画像の評価方法、音または画像の評価装置およびプログラム 図9
  • 特開-音または画像の評価方法、音または画像の評価装置およびプログラム 図10
  • 特開-音または画像の評価方法、音または画像の評価装置およびプログラム 図11
  • 特開-音または画像の評価方法、音または画像の評価装置およびプログラム 図12
  • 特開-音または画像の評価方法、音または画像の評価装置およびプログラム 図13
  • 特開-音または画像の評価方法、音または画像の評価装置およびプログラム 図14
  • 特開-音または画像の評価方法、音または画像の評価装置およびプログラム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024168716
(43)【公開日】2024-12-05
(54)【発明の名称】音または画像の評価方法、音または画像の評価装置およびプログラム
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20241128BHJP
【FI】
G06Q50/10
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023085616
(22)【出願日】2023-05-24
(71)【出願人】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】100108523
【弁理士】
【氏名又は名称】中川 雅博
(74)【代理人】
【識別番号】100125704
【弁理士】
【氏名又は名称】坂根 剛
(74)【代理人】
【識別番号】100187931
【弁理士】
【氏名又は名称】澤村 英幸
(72)【発明者】
【氏名】石塚 健治
(72)【発明者】
【氏名】中村 章人
(72)【発明者】
【氏名】今村 秀隆
【テーマコード(参考)】
5L049
5L050
【Fターム(参考)】
5L049CC11
5L050CC11
(57)【要約】
【課題】音または画像に対するユーザの感性評価を評価用のワードを用いることなく表現することを課題とする。
【解決手段】音または画像の評価方法は、3つのアイコンBJmをディスプレイ25に表示された平面内(表示領域25A内)で表示し、各アイコンBJmに対応する音声データSDを出力し、ユーザが入力装置24を用いて各アイコンBJmを平面内(表示領域25A内)で移動させる第1操作に応じて、各アイコンBJmの平面内(表示領域25A内)での位置を編集し、各アイコンBJmの編集後の平面座標を音声データSDと対応付ける。
【選択図】図3
【特許請求の範囲】
【請求項1】
3つのアイコンを画像表示装置に表示された平面内で表示し、
各アイコンに対応する音または画像を出力し、
ユーザが入力装置を用いて各アイコンを前記平面内で移動させる第1操作に応じて、各アイコンの前記平面内での位置を編集し、
各アイコンの編集後の平面座標を前記音または前記画像と対応付ける、音または画像の評価方法。
【請求項2】
前記第1操作において、ユーザは、前記音または前記画像が近いと感じる2つのアイコン間の距離を、前記音または前記画像が遠いと感じる2つのアイコン間の距離に比べて短くなるように、各アイコンを前記平面内で移動させる、請求項1に記載の音または画像の評価方法。
【請求項3】
ユーザによる前記画像表示装置に表示された前記アイコンを選択する第2操作に応じて、前記アイコンに対応付けられた音が再生される、請求項1または請求項2に記載の音または画像の評価方法。
【請求項4】
4つ以上の音または画像に対応したオブジェクト群から3つのオブジェクトが選択されることで、選択された3つのオブジェクトに対応する3つのアイコンが前記画像表示装置に表示され、前記編集が行われた後、少なくとも1つのオブジェクトが異なる新たな3つのオブジェクトが前記オブジェクト群から選択されることで、前記オブジェクト群に対して複数回の編集が繰り返され、各編集が行われた後に、選択された3つのアイコンの平面座標が前記音または前記画像と対応付けられる、請求項1に記載の音または画像の評価方法。
【請求項5】
前記複数回の編集で得られた3つのアイコンの平面座標の複数の組み合わせに基づいて、前記4つ以上の音または画像に対応した4つ以上のオブジェクトを共通の距離空間内に配置させる、請求項4に記載の音または画像の評価方法。
【請求項6】
前記距離空間内に配置された前記4つ以上のオブジェクトを、多次元空間にマッピングする、請求項5に記載の音または画像の評価方法。
【請求項7】
前記距離空間または前記多次元空間により、前記音または前記画像の感性評価が反映される感性空間が構成される、請求項5または請求項6に記載の音または画像の評価方法。
【請求項8】
前記音または前記画像により表現された言葉が、前記アイコンに対応付けられる、請求項1または請求項2に記載の音または画像の評価方法。
【請求項9】
前記音または前記画像と、各アイコンの編集後の平面座標との対応付けを機械学習することにより、感性評価の訓練済みモデルを生成する、請求項1に記載の音または画像の評価方法。
【請求項10】
前記訓練済みモデルに対して、未知の音または画像を与えることにより、前記未知の音または画像に対する感性評価を行う、請求項9に記載の音または画像の評価方法。
【請求項11】
3つのアイコンを画像表示装置に表示された平面内で表示するアイコン表示部と、
各アイコンに対応する音または画像を出力する再生部と、
ユーザが入力装置を用いて各アイコンを前記平面内で移動させる第1操作に応じて、各アイコンの前記平面内での位置を編集する位置編集部と、
各アイコンの編集後の平面座標を前記音または前記画像と対応付ける座標登録部と、
を備える、音または画像の評価装置。
【請求項12】
コンピュータに、音または画像の評価方法を実行させるプログラムであって、
前記音または画像の評価方法は、
3つのアイコンを画像表示装置に表示された平面内で表示し、
各アイコンに対応する音または画像を出力し、
ユーザが入力装置を用いて各アイコンを前記平面内で移動させる第1操作に応じて、各アイコンの前記平面内での位置を編集し、
各アイコンの編集後の平面座標を前記音または前記画像と対応付ける、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音または画像を評価する技術に関する。
【背景技術】
【0002】
音などの情報に対して感性評価がしばしば行われる。感性評価においては、暖かい、心地よいなどの評価用のワードが用いられる。例えば、下記特許文献1においては、刺激が与えられたときの主観評価を行う方法が提示されている。対象者は、刺激が与えられたとき、感性語(さわやかな、くつろげる、など)に対して、どの程度当てはまるかを選択する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2022-154800公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、評価用のワードに対して抱く印象、認識には個人差があるため、評価用のワードは曖昧さを含んでいる。また、情報を感知した者は、意識的あるいは無意識に、単一の評価用のワードではなく、多くの評価軸で構成された多次元の空間によって情報を認識している。したがって、従来から行われている感性評価の方法は、必ずしも評価する者の認識を上手く表現できているとは言えない。
【0005】
本発明の目的は、音または画像に対するユーザの感性評価を評価用のワードを用いることなく表現することである。
【課題を解決するための手段】
【0006】
本発明の一局面に従う音または画像の評価方法は、3つのアイコンを画像表示装置に表示された平面内で表示し、各アイコンに対応する音または画像を出力し、ユーザが入力装置を用いて各アイコンを平面内で移動させる第1操作に応じて、各アイコンの平面内での位置を編集し、各アイコンの編集後の平面座標を音または画像と対応付ける。
【0007】
本発明は、また、音または画像の評価装置およびプログラムにも向けられている。
【発明の効果】
【0008】
本発明によれば、音または画像に対するユーザの感性評価を評価用のワードを用いることなく表現することができる。
【図面の簡単な説明】
【0009】
図1】実施の形態に係る物理情報評価装置の構成図である。
図2】感性オブジェクトのデータ構成を示す図である。
図3】実施の形態に係る物理情報評価装置の機能ブロック図である。
図4】座標データのデータ構成を示す図である。
図5】ディスプレイに表示された感性評価の操作インタフェースを示す図である。
図6】操作インタフェースに表示されたアイコンの移動を示す図である。
図7】ユーザの感性評価によって配置されたアイコンを示す図である。
図8】ユーザの感性評価によって配置されたアイコンを示す図である。
図9】ユーザの感性評価によって配置されたアイコンを示す図である。
図10】ユーザの感性評価によって配置されたアイコンを示す図である。
図11】実施の形態に係る物理情報の感性評価方法を示すフローチャートである。
図12】実施の形態に係る感性評価処理を示すフローチャートである。
図13】実施の形態に係る感性評価処理を示すフローチャートである。
図14】実施の形態に係る感性空間生成処理を示すフローチャートである。
図15】複数の感性オブジェクトを共通の距離空間に配置させた状態を示す図である。
【発明を実施するための形態】
【0010】
以下、添付図面を参照してこの発明の実施の形態に係る音または画像の評価方法、音または画像の評価装置およびプログラムについて説明する。以下の説明においては、音および画像を含む情報を物理情報として説明する。
【0011】
{1.物理情報評価装置の構成}
図1は、本実施の形態に係る物理情報評価装置1の構成を示すブロック図である。物理情報評価装置1は、例えば、パーソナルコンピュータによって構成される。図1に示すように物理情報評価装置1は、CPU(Central Processing Unit)20、ROM(Read Only Memory)21、RAM(Random Access Memory)22、記憶装置23、入力装置24、ディスプレイ25、音源部26、サウンドシステム27、通信インタフェース(I/F)28およびデバイスインタフェース(I/F)29を備える。これら各装置がシステムバス30を介して接続される。
【0012】
CPU20は、物理情報評価装置1の全体的な動作を制御する。ROM21には、CPU20が実行する制御プログラムや、各種のデータが記憶される。RAM22は、CPU20のワークエリアとして使用される。記憶装置23には、プログラムPR、座標データCD、感性オブジェクトBJおよび音声データSDが記憶される。記憶装置23は、ハードディスク、半導体メモリなど、様々な記憶媒体で構成可能である。プログラムPRは、アイコンBJm(感性オブジェクトBJを表す画像)をディスプレイ25に表示する処理、アイコンBJmの表示位置を編集する処理、アイコンBJmに対応付けられた音声データSDの再生を制御する処理、および、感性空間の生成処理などを実行する。
【0013】
入力装置24は、ユーザによるアイコンBJmの移動操作、音声データSDの再生指示など各種操作を受け付けるインタフェースである。ディスプレイ25は、アイコンBJmの表示などに用いられる。音源部26およびサウンドシステム27は、ユーザによる音声データSDの再生指示に応じて、アイコンBJmに対応付けられた(つまりは、感性オブジェクトBJに対応付けられた)音声データSDを再生する。通信インタフェース28は、他のコンピュータとの間で有線または無線による通信を行うインタフェースである。デバイスインタフェース29は、CD、DVD、半導体メモリなどの記憶媒体31にアクセスするインタフェースである。
【0014】
プログラムPRは、記憶装置23に記憶されている場合を例として説明する。他の実施の形態として、プログラムPRは、記憶媒体31に記憶されて提供されてもよい。CPU20は、デバイスインタフェース29を介して記憶媒体31にアクセスし、記憶媒体31に記憶されたプログラムPRを、記憶装置23またはROM21に記憶するようにしてもよい。あるいは、CPU20は、デバイスインタフェース29を介して記憶媒体31にアクセスし、記憶媒体31に記憶されたプログラムPRを実行するようにしてもよい。あるいは、CPU20は、通信インタフェース28を介してネットワーク上のサーバからプログラムPRをダウンロードし、ダウンロードしたプログラムPRを、記憶装置23またはROM21に記憶するようにしてもよい。あるいは、CPU20は、通信インタフェース28を介して、ネットワーク上のサーバに記憶されたプログラムPRを直接実行してもよい。
【0015】
{2.感性オブジェクトBJのデータ構成}
図2は、感性オブジェクトBJのデータ構成を示す図である。感性オブジェクトBJは、識別番号BJnおよびアイコンBJmを含んで構成される。識別番号BJnは、複数の感性オブジェクトBJに対して付与されている番号(あるいは記号)であって、各感性オブジェクトBJを一意に識別する。アイコンBJmは、感性オブジェクトBJをディスプレイ25上で表すための画像である。記憶装置23には、複数の感性オブジェクトBJが記憶されている。各感性オブジェクトBJには、一対一の関係で音声データSDが対応付けられている。例えば、音声データSDのヘッダー情報などに識別番号BJnが記録されており、識別番号BJnを介して、感性オブジェクトBJと音声データSDとが対応付けられている。複数の感性オブジェクトBJに対応した複数の音声データSDが記憶装置23に記憶されている。
【0016】
なお、複数の感性オブジェクトBJが同一のアイコンBJmを用いる場合には、感性オブジェクトBJがアイコンBJmを保持していなくてもよい。その場合には、記憶装置23に記憶された共通のアイコンBJmが用いられればよい。また、感性オブジェクトBJは、アイコンBJmを画像データとして保持せず、アイコンBJmを定義するデータを保持するようにしてもよい。
【0017】
{3.物理情報評価装置の機能構成}
図3は、物理情報評価装置1の機能構成を示すブロック図である。図3において、制御部10は、CPU20がRAM22をワークエリアとして使用しつつ、プログラムPRを実行することにより実現される機能部である。制御部10は、アイコン表示部11、位置編集部12、座標登録部13、再生部14および感性空間生成部15を備える。アイコン表示部11、位置編集部12、座標登録部13、再生部14および感性空間生成部15は、プログラムPRの実行により実現される機能部である。言い換えると、各機能部11~15は、CPU20が備える機能部である。
【0018】
アイコン表示部11は、アイコンBJmを移動可能な状態でディスプレイ25に表示させる。アイコン表示部11は、選択された3個のアイコンBJmをディスプレイ25上の表示領域25A(図5等参照)に表示させる。つまり、アイコン表示部11は、記憶装置23に記憶された複数の感性オブジェクトBJの中から、所定のルールに従って3つの感性オブジェクトBJを選択する。そして、アイコン表示部11は、選択された3つの感性オブジェクトBJに対応するアイコンBJmを、ディスプレイ25に表示させる。初期状態においては、アイコン表示部11は、アイコンBJmを表示領域25A内の任意の位置に表示させることができる。例えば、初期状態においては、アイコン表示部11は、3つのアイコンBJmを等間隔で表示させてもよい。
【0019】
アイコン表示部11が、複数の感性オブジェクトBJの中から、3つの感性オブジェクトBJを選択するルールは、特に限定されない。例えば、ランダムに3つの感性オブジェクトBJを選択するようにしてもよい。あるいは、識別番号BJnに基づいて、順番に感性オブジェクトBJを選択してもよい。
【0020】
位置編集部12は、入力装置24が受け付けた操作に応じて、ディスプレイ25の表示領域25A内でのアイコンBJmの位置を編集する。ユーザは、例えば、マウス、キーボードなどの入力装置24を用いて、ディスプレイ25に表示されたアイコンBJmの位置を移動させる操作を行う。なお、ディスプレイ25がタッチパネル式ディスプレイである場合には、ディスプレイ25が入力装置24としての機能を備えることもできる。この場合には、ユーザは、入力装置24としてのディスプレイに指やペンで触れることによって、アイコンBJmの位置を編集することができる。
【0021】
座標登録部13は、位置編集部12により編集されたアイコンBJmの位置に基づいて、座標データCDの登録を行う。ユーザは、ディスプレイ25に表示された3つのアイコンBJmに対する編集操作を行う。この操作に応じて、座標登録部13は、各アイコンBJmの移動後の座標を、座標データCDに登録する。座標登録部13は、ディスプレイ25に表示された3つのアイコンBJmの表示領域25A内での平面座標を、座標データCDに登録する。座標データCDには、各アイコンBJmに対応した識別番号BJnが座標と対応付けられて登録される。
【0022】
図4は、座標データCDのデータ構成を示す図である。図4は、座標データCDに含まれる1データセットを示す。1データセットは、3つのアイコンBJmのそれぞれの識別番号BJnおよび座標を含む。座標データCDは、このようなデータセットが複数記録されたデータである。複数のデータセットは、それぞれが異なる3つのアイコンBJmの組み合わせにより構成される。つまり、1データセットに含まれる3つのアイコンBJmのセットは、少なくとも1つのアイコンBJmが他のデータセットとは異なる。
【0023】
再生部14は、入力装置24が受け付けた操作に応じて、感性オブジェクトBJに対応付けられた音声データSDを再生する。ユーザは、例えば、マウス、キーボードなどを操作することにより、ディスプレイ25に表示されたいずれかのアイコンBJmに対して、音声の再生指示を行う。この操作に応じて、再生部14は、音源部26に対して、音声データSDの再生指示を行う。音源部26から出力された音声データSDに対応する音声信号は、サウンドシステム27によって出力される。
【0024】
ユーザは、ディスプレイ25に表示されたアイコンBJmに対して、音声の再生指示を行うことで、アイコンBJm(感性オブジェクトBJ)に対応付けられた音声を確認することができる。ユーザは、ディスプレイ25に表示された3つのアイコンBJmのそれぞれに対応付けられた音声を視聴し、3つの音声について、似ている、似ていないという類似性の観点からの評価を行う。ユーザは、似ていると感じた2つのアイコンBJmを近づけるようにディスプレイ25上で移動させ、似ていないと感じた2つのアイコンBJmを遠ざけるようにディスプレイ25上で移動させる。言い換えると、ユーザは、音声が近いと感じる2つのアイコン間の距離を、音声が遠いと感じる2つのアイコン間の距離に比べて短くなるように、各アイコンBJmをディスプレイ25上で移動させる。ディスプレイ25には3つのアイコンBJmが表示されるので、ユーザは、3つの感性オブジェクトBJの相互の類似性を、2次元平面であるディスプレイ25上の表示領域25A内で表現する。ユーザは必要に応じてディスプレイ25上の表示を拡大、縮小してもよい。
【0025】
感性空間生成部15は、マッチング処理およびマッピング処理を行う。マッチング処理は、全ての感性オブジェクトBJ間の距離の尺度を統一させる処理である(距離の尺度が統一された空間を距離空間SPと呼ぶことにする)。上述したように、位置編集部12は、3つ単位で表示されたアイコンBJmに対して座標の編集を行う。そして、座標登録部13は、編集後のアイコンBJmの座標を登録する。感性空間生成部15は、座標登録部13により登録された座標データCDを用いて、全ての感性オブジェクトBJについて一貫した尺度をもつような、感性オブジェクトBJ間の距離を算出する。マッピング処理は、この距離関係に基づいて、感性オブジェクトBJを多次元空間にマッピングする。
【0026】
{4.アイコンを用いた感性評価の操作インタフェース}
次に、図5図10を参照しながら、アイコンBJmを用いた感性評価の操作インタフェースについて説明する。図5は、プログラムPRによってディスプレイ25に表示されたアイコンBJmの表示領域25Aを示す。表示領域25Aは、アイコンBJmを表示させる領域であるとともに、ユーザが感性評価を行う操作インタフェースとして利用される。表示領域25Aには、アイコン表示部11によって、3つのアイコンBJm(1)、BJm(2)、BJm(3)が表示されている。アイコンBJm(1)~(3)は、3つの感性オブジェクトBJ(1)~(3)に対応するアイコンである。図5で示す例では、アイコン表示部11は、初期状態として、3つのアイコンBJm(1)~(3)を等間隔で表示させている。
【0027】
ユーザは、表示領域25Aに表示されたアイコンBJm(1)~(3)を例えばマウスでクリックすることにより、各アイコンBJm(1)~(3)に対応した音声データSDを聴くことができる。そして、ユーザは、音声が似ているアイコンBJmを近づけるように、あるいは、音声が似ていないアイコンBJmを遠ざけるように操作する。図6は、ユーザによりアイコンBJm(3)の位置が編集された様子を示す図である。ユーザは、アイコンBJm(1)~(3)を移動させる操作およびアイコンBJm(1)~(3)に対応付けられた音声を聴く操作を必要に応じて繰り返し、感性オブジェクトBJ(1)~(3)の感性評価を表示領域25A上に反映させる。
【0028】
図7図10は、ユーザによって感性評価されたアイコンBJm(1)~(3)の配置を示す図である。図7に示すように、表示領域25Aにおいて、アイコンBJm(1)とアイコンBJm(2)との距離が近く配置されている。そして、アイコンBJm(3)は、アイコンBJm(1)およびアイコンBJm(2)から距離を空けて配置されている。この例では、ユーザは、アイコンBJm(1)およびアイコンBJm(2)に対応付けられた音声を近いと評価し、アイコンBJm(3)に対応付けられた音声は、アイコンBJm(1),(2)に対応付けられた音声とは似ていないと評価している。アイコンBJm(1)とアイコンBJm(3)との距離と、アイコンBJm(2)とアイコンBJm(3)との距離とは同程度であるので、ユーザは、アイコンBJm(3)は、アイコンBJm(1),(2)とは同程度に似ていないと評価している。
【0029】
図8で示す例では、ユーザは、アイコンBJm(2)に対応付けられた音声は、アイコンBJm(1)およびアイコンBJm(3)に対応付けられた音声とは同程度に似ていると評価している。一方、ユーザは、アイコンBJm(3)に対応付けられた音声は、アイコンBJm(1)に対応付けられた音声とは似ていないと評価している。アイコンBJm(1)とアイコンBJm(3)との間の距離は、アイコンBJm(2)とアイコンBJm(1),(3)との距離よりも非常に大きいので、ユーザは、アイコンBJm(1)およびアイコンBJm(3)に対応付けられた音声の類似度は非常に低いと評価している。
【0030】
図9で示す例では、ユーザは、アイコンBJm(1)、アイコンBJm(2)およびアイコンBJm(3)に対応付けられた音声とはいずれも同程度に似ていると評価している。そして、アイコンBJm(1),(2),(3)の相互間の距離は比較的小さいので、ユーザは、3つの音が比較的よく似ていると評価している。図10で示す例では、ユーザは、アイコンBJm(1)、アイコンBJm(2)およびアイコンBJm(3)に対応付けられた音声とは、いずれもあまり似ていないと評価している。その中でもユーザは、アイコンBJm(2)とアイコンBJm(3)に対応付けられた音声が他の関係よりも似ていないと評価している。
【0031】
本実施の形態において、表示領域25Aに3つのアイコンBJmを表示させる理由は、対応する音声データSDの関係性を一意に表現できるからである。例えば、2つのアイコンBJmが配置される平面は一意に特定されない。また、4つ以上のアイコンBJmに対しては、関係性を平面で表現できない場合があるからである。
【0032】
{5.物理情報の感性評価方法}
次に、図11を参照しながら本実施の形態に係る物理情報の感性評価方法について説明する。図11で示すフローチャートは、感性評価方法の全体処理の流れを示す。図11で示す処理は、プログラムPRがCPU20上で実行されることにより実現される処理である。まず、ステップS1において制御部10が、感性評価処理を行う。感性評価処理の詳細は、図12および図13のフローチャートを用いて説明する。次に、ステップS2において、制御部10が、感性空間生成処理を行う。感性空間生成処理の詳細は、図14のフローチャートを用いて説明する。
【0033】
(5-1)感性評価処理
図12および図13を参照しながら本実施の形態に係る感性評価処理(図11におけるステップS1)について説明する。図12および図13で示すフローチャートは、プログラムPRがCPU20上で実行されることにより実現される処理である。まず、ステップS11においてアイコン表示部11が、3つのアイコンBJmをディスプレイ25に表示させる。アイコン表示部11は、図5で示したように、3つのアイコンBJmを、表示領域25A内において移動可能な状態で表示させる。
【0034】
次に、ステップS12において、再生部14は、いずれかのアイコンBJmに対応する音声の出力指示を受け付けたか否かを判定する。上述したように、ユーザは、入力装置24を操作することで、ディスプレイ25に表示されたいずれかのアイコンBJmを選択して、音声の再生指示を行うことができる。いずれかのアイコンBJmに対する音声の出力指示を受けた場合、ステップS13において、再生部14は、選択されたアイコンBJmに対応する音声を再生する。ステップS13の後、処理はステップS12に戻る。
【0035】
ステップS12において、アイコンBJmに対する音声の出力指示を受け付けない場合、ステップS14において、位置編集部12は、いずれかのアイコンBJmを表示領域25A内で移動させる操作を受け付けたか否かを判定する。いずれかのアイコンBJmに対する移動操作を受けた場合、ステップS15において、位置編集部12は、選択されたアイコンBJmを表示領域25A上で移動させる。ステップS15の後、処理はステップS12に戻る。
【0036】
ステップS14において、アイコンBJmに対する移動操作を受け付けない場合、ステップS16において、座標登録部13は、編集終了の指示を受け付けたか否かを判定する。ユーザは、ディスプレイ25に表示された3つのアイコンBJmの編集操作が終了したとき、入力装置24を操作して、編集終了の指示を行う。編集終了の指示を受け付けた場合、ステップS17において、座標登録部13は、表示領域25Aに配置されている3つのアイコンBJmの座標を座標データCDに登録する。具体的には、座標登録部13は、表示領域25Aに配置されている3つのアイコンBJmの座標を識別番号BJnと対応付けて、座標データCDに登録する。ステップS17の後、処理は図13のステップS18に移る。
【0037】
ステップS18において、アイコン表示部11は、全てのアイコンBJmについての編集終了の指示を受け付けたか否かを判定する。ユーザは、評価対象である全ての感性オブジェクトBJに対応する全てのアイコンBJmの編集操作が終了したとき、入力装置24を操作して、全編集の終了指示を行う。全てのアイコンBJmについての編集終了の指示を受け付けた場合、プログラムPRは、感性評価処理を終了する。全てのアイコンBJmについての編集終了の指示を受け付けない場合、つまり、新たな別の3つのアイコンBJm(新たな3つの感性オブジェクトBJ)についての編集指示を受けた場合、ステップS19において、アイコン表示部11は、別の3つのアイコンBJmのセット(別の3つの感性オブジェクトBJのセット)を選択する。ここで、アイコン表示部11は、過去において選択されたアイコンBJmのセットと同一のセットは選択から除外する。アイコン表示部11は、少なくとも3つのアイコンBJmのうち1つのアイコンBJmが異なる新たな3つのアイコンBJmのセット(新たな3つの感性オブジェクトBJのセット)を選択する。ステップS19の後、処理は、図12のステップS11に戻り、アイコン表示部11は、新たに選択された3つのアイコンBJmを表示領域25Aに表示させる。そして、再び新たなアイコンBJmに対して、ステップS12~S19が繰り返し実行される。これにより、ユーザは、評価対象である全ての感性オブジェクトBJに対応する全てのアイコンBJmの編集操作を実行する。
【0038】
各感性オブジェクトBJの感性評価は少なくとも1回は行われる必要がある。つまり、各感性オブジェクトBJについて、少なくとも1度は、アイコンBJmの編集操作が行われる必要がある。感性オブジェクトBJに対する感性評価を適正に行うためには、1つの感性オブジェクトBJについて、アイコンBJmの編集操作が複数回行われることが望ましい。全ての感性オブジェクトBJの類似性の相互関係を適正に評価するためには、各アイコンBJmが、できるだけ多くのアイコンBJmのセットの中で編集操作が行われることが望ましい。
【0039】
このように、本実施の形態の物理情報評価装置1によれば、物理情報の関係性を2次元平面上の座標で表現することができる。評価用のワードと評価尺度を用いることなく、物理情報の感性評価を行うことで、評価用のワードに対する認識の個人差を排除し、類似性の尺度によって物理情報を評価することができる。本実施の形態の物理情報評価装置1を利用することにより、ユーザは、評価用のワードと評価尺度を用いることなく、物理情報の感性評価を行うという顧客体験を享受することができる。
【0040】
また、本実施の形態の物理情報評価装置1を利用することで、未知の音または画像に対する感性評価を行うことも可能である。例えば、上記の実施の形態の処理により登録された座標データCDと、識別番号BJnで対応付けられた音声データSDを用いて深層学習を行うことにより、感性評価モデルを生成することができる。つまり、音または画像と、各アイコンの編集後の平面座標との対応付けを機械学習することにより、感性評価の訓練済みモデルを生成することができる。この感性評価の訓練済みモデルに未知の音または画像を与えることで、未知の音または画像に対する感性評価を行うことが可能となる。ユーザは、未知の音または画像を本実施の形態の物理情報評価装置1に与えることで、感性的な評価結果を得られるという顧客体験を享受することができる。あるいは、生成系のモデルを作成することにより、ある音に対して感性上近いと推定される音または画像を生成することも可能である。
【0041】
(5-2)感性空間生成処理
次に、図14を参照しながら本実施の形態に係る感性空間生成処理(図11におけるステップS2)について説明する。図14で示すフローチャートは、プログラムPRがCPU20上で実行されることにより実現される処理である。まず、ステップS21において、感性空間生成部15は、全ての感性オブジェクトBJのマッチング処理を行う。マッチング処理は、記憶装置23に記憶された座標データCDに基づいて、全ての感性オブジェクトBJ間の距離の尺度を統一させる処理である。つまり、感性空間生成部15は、複数回の編集で得られた3つのアイコンBJmの平面座標の複数の組み合わせに基づいて、全ての感性オブジェクトBJ間の共通の距離空間内での距離を算出する。なお、マッチング処理は、全てのアイコンBJmを1つの距離空間SPに配置させる処理と考えてもよい。しかし、マッチング処理後の座標に基づいてアイコンBJmをディスプレイ25に表示させる処理は必須ではないため、ここでは、マッチング処理の対象は感性オブジェクトBJであるとして説明する。
【0042】
図15は、距離空間SPへのマッチング処理の概念を示す図である。図では、座標データCDに含まれる2つのデータセットに基づいて、4つのアイコンBJm(1)~(4)に対応する4つの感性オブジェクトBJ(1)~(4)が距離空間SPに配置された状態を示す。つまり、4つの感性オブジェクトBJ(1)~(4)間の距離の尺度が統一された様子を示す。座標データCDには、アイコンBJm(1),(2),(3)を含むデータセットと、アイコンBJm(1),(2),(4)を含むデータセットとが記録されている。感性空間生成部15は、アイコンBJm(1),(2)を共有する2つのデータセットに基づいて、図に示すように、感性オブジェクトBJ(1)~(4)間の距離空間SP上の距離を求める。
【0043】
感性空間生成部15によるマッチング処理の方法は特に限定されるものではない。例えば、感性空間生成部15は、座標データCDに記録された複数のデータセットに基づいて、各アイコンBJm間の距離の誤差が最小となるような距離を演算で求める。例えば、評価対象となるN個のアイコンBJm(1)~(N)に対して、推定された距離(距離空間SP上の距離)と、座標データCDに記録された座標に基づく各アイコン間の距離との差を求める。そして、求めた差の積算値が最小となるように、最小二乗法を用いて距離空間SPにおける各感性オブジェクト間の距離を求める。図15で示した例では、2つのデータセットに基づいて4つの感性オブジェクトBJを距離空間SPにマッチングさせたが、データセットの数は、感性オブジェクトBJの数に応じて増加する。例えば、感性オブジェクトBJの数がN個である場合には、データセットの最大数は、N個の感性オブジェクトBJから3つの感性オブジェクトBJを選択する組み合わせの数である。
【0044】
次に、ステップS22において、感性空間生成部15は、距離の尺度が統一された全ての感性オブジェクトBjを、多次元空間にマッピングする。ステップS21において、共通の距離空間SP上での距離が算出された評価対象のN個の感性オブジェクトBJ(1)~(N)は、さらに、多次元空間にマッピングされる。
【0045】
感性空間生成部15による多次元空間へのマッピング方法は特に限定されるものではない。多次元空間へのマッピングは、公知の技術を用いることができる。例えば、感性空間生成部15は、主座標分析を用いることにより、多次元空間へのマッピングを行う。
【0046】
{6.他の実施の形態}
上記実施の形態においては、感性オブジェクトBJ(アイコンBJm)は、音声データSDが対応付けられている場合を例に説明した。つまり、感性オブジェクトBJ(アイコンBJm)は、物理情報としての音に対応付けられている。本実施の形態の物理情報評価装置1が評価する物理情報は音に限定されるものではない。本実施の形態の物理情報評価装置1は、アイコンBJmに対応付けて物理情報としての画像を評価することが可能である。
【0047】
例えば、物理情報評価装置1は、音声あるいは画像などの物理情報を介してユーザに提示される言葉(文字情報)を評価することが可能である。各感性オブジェクトBJには、言葉が対応付けられる。ユーザは、例えば、入力装置24を用いてアイコンBJmを選択することで、アイコンBJmに対応付けられた言葉を音声で視聴することができる。あるいは、ユーザは、入力装置24を用いてアイコンBJmを選択することで、アイコンBJmに対応付けられた言葉を画像(視覚情報)として確認することができる。アイコンBJm自体に言葉を画像として含めるようにしてもよい。その他の処理は、上記の実施の形態と同様である。ユーザは、言葉の表す意味、ニュアンスに基づいて、アイコンBJmを操作することで、言葉の類似性を評価し、感性評価をアイコンBJmの平面上の配置に投影させることができる。
【0048】
{7.請求項の各構成要素と実施の形態の各要素との対応}
以下、請求項の各構成要素と実施の形態の各要素との対応の例について説明するが、本発明は下記の例に限定されない。上記の実施の形態では、ディスプレイ25が画像表示装置の例であり、表示領域25Aが、画像表示装置に表示された平面の例である。また、上記実施の形態では、入力装置24を用いてアイコンBJmを表示領域25A内で移動させる操作が第1操作の例であり、入力装置24を用いてアイコンBJmを選択して音声データSDの再生を指示する操作が第2操作の例である。
【0049】
請求項の各構成要素として、請求項に記載されている構成または機能を有する種々の要素を用いることもできる。
【0050】
{8.実施の形態の特徴と効果}
本発明の一態様に係る音または画像の評価方法は、3つのアイコンを画像表示装置に表示された平面内で表示し、各アイコンに対応する音または画像を出力し、ユーザが入力装置を用いて各アイコンを平面内で移動させる第1操作に応じて、各アイコンの平面内での位置を編集し、各アイコンの編集後の平面座標を音または画像と対応付ける。
【0051】
音または画像の関係性を2次元平面上の座標で表現することができる。評価用のワードと評価尺度を不要にして音または画像の評価を行うことができる。数学的に最も歪みの小さい平面上の距離を用いることで、音または画像の評価を行うことができる。
【0052】
第1操作において、ユーザは、音または画像が近いと感じる2つのアイコン間の距離を、音または画像が遠いと感じる2つのアイコン間の距離に比べて短くなるように、各アイコンを平面内で移動させてもよい。
【0053】
評価用のワードを用いることなく、似ているか否かの判断により音または画像の感性評価を行うことができる。
【0054】
ユーザによる画像表示装置に表示されたアイコンを選択する第2操作に応じて、アイコンに対応付けられた音が再生されてもよい。
【0055】
ユーザは、各アイコンに対応付けられた音を聞きながら感性評価を行うことができる。
【0056】
4つ以上の音または画像に対応したオブジェクト群から3つのオブジェクトが選択されることで、選択された3つのオブジェクトに対応する3つのアイコンが画像表示装置に表示され、編集が行われた後、少なくとも1つのオブジェクトが異なる新たな3つのオブジェクトがオブジェクト群から選択されることで、オブジェクト群に対して複数回の編集が繰り返され、各編集が行われた後に、選択された3つのアイコンの平面座標が音または画像と対応付けられてもよい。
【0057】
組み合わせを変えて選択された3つのオブジェクトごとに感性評価が行われることで、4つ以上の音または画像について相対関係に基づく感性評価を行うことができる。
【0058】
複数回の編集で得られた3つのアイコンの平面座標の複数の組み合わせに基づいて、4つ以上の音または画像に対応した4つ以上のオブジェクトを共通の距離空間内に配置させてもよい。
【0059】
異なるオブジェクトの組み合わせに対して行われた感性評価を、共通の距離空間内において表現することができる。
【0060】
共通の距離空間内に配置された4つ以上のオブジェクトを、多次元の空間にマッピングしてもよい。
【0061】
距離空間上に配置された感性評価に基づいて、4つ以上の音または画像を多次元空間で表現することができる。
【0062】
距離空間または多次元空間により、音または画像の感性評価が反映される感性空間が構成されてもよい。
【0063】
音または画像により表現された言葉がアイコンに対応づけられてもよい。
【0064】
音声や画像を介して言葉に対するユーザの感性評価を2次元平面上の座標で表現することができる。
【0065】
音または画像と、各アイコンの編集後の平面座標との対応付けを機械学習することにより、感性評価モデルを生成してもよい。
【0066】
ユーザによる評価結果を利用して、感性評価モデルを生成可能である。
【0067】
感性評価モデルに対して、未知の音または画像を与えることにより、未知の音または画像に対する感性評価を行ってもよい。
【0068】
未知の音または画像に対する感性評価を行うことができる。
【0069】
本発明の他の態様に係る音または画像の評価装置は、3つのアイコンを画像表示装置に表示された平面内で表示するアイコン表示部と、各アイコンに対応する音または画像を出力する再生部と、ユーザが入力装置を用いて各アイコンを平面内で移動させる第1操作に応じて、各アイコンの平面内での位置を編集する位置編集部と、各アイコンの編集後の平面座標を音または画像と対応付ける座標登録部とを備える。
【0070】
音または画像の関係性を2次元平面上の座標で表現することができる。評価用のワードと評価尺度を不要にして音または画像の評価を行うことができる。数学的に最も歪みの小さい平面上の距離を用いることで、音または画像の評価を行うことができる。
【0071】
本発明の他の態様に係るプログラムは、コンピュータに、音または画像の評価方法を実行させるプログラムであって、音または画像の評価方法は、3つのアイコンを画像表示装置に表示された平面内で表示し、各アイコンに対応する音または画像を出力し、ユーザが入力装置を用いて各アイコンを平面内で移動させる第1操作に応じて、各アイコンの平面内での位置を編集し、各アイコンの編集後の平面座標を音または画像と対応付ける。
【0072】
音または画像の関係性を2次元平面上の座標で表現することができる。評価用のワードと評価尺度を不要にして音または画像の評価を行うことができる。数学的に最も歪みの小さい平面上の距離を用いることで、音または画像の評価を行うことができる。
【符号の説明】
【0073】
10…制御部、11…アイコン表示部、12…位置編集部、13…座標登録部、14…再生部、15…感性空間生成部、23…記憶装置、24…入力装置、25…ディスプレイ、BJ…感性オブジェクト、BJm…アイコン、BJn…識別番号、CD…座標データ、SD…音声データ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15