ホーム > 特許ランキング > 日本電信電話株式会社
特開2024-115695予測モデル生成装置、予測モデル生成方法、パフォーマンス変化予測装置、パフォーマンス変化予測方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024115695
(43)【公開日】2024-08-27
(54)【発明の名称】予測モデル生成装置、予測モデル生成方法、パフォーマンス変化予測装置、パフォーマンス変化予測方法、及びプログラム
(51)【国際特許分類】
A61B 5/16 20060101AFI20240820BHJP
【ＦＩ】
A61B5/16 200
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023021484
(22)【出願日】2023-02-15
(71)【出願人】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100121706
【弁理士】
【氏名又は名称】中尾 直樹
(74)【代理人】
【識別番号】100128705
【弁理士】
【氏名又は名称】中村 幸雄
(74)【代理人】
【識別番号】100147773
【弁理士】
【氏名又は名称】義村 宗洋
(72)【発明者】
【氏名】伊藤 弘章
(72)【発明者】
【氏名】加古 達也
(72)【発明者】
【氏名】野口 賢一
(72)【発明者】
【氏名】千葉 大将
(72)【発明者】
【氏名】上田 樹美
(72)【発明者】
【氏名】下田 宏
【テーマコード（参考）】
4C038
【Ｆターム（参考）】
4C038PP01
4C038PR04
4C038PS09
(57)【要約】
【課題】聴覚刺激が知的作業従事者のパフォーマンスに与える影響について、パフォーマンスを定量かつ正確に評価した事例、音質評価指標値からパフォーマンス変化が予測できるとした事例、音質評価指標値の時間変化とパフォーマンスの時間変化に着目した事例はなかった。
【解決手段】上記課題を解決するパフォーマンス変化予測装置は、予測モデルと、音信号定量化部と、パフォーマンス変化予測部とを備える。予測モデルは、聴覚刺激を定量化した音響特徴量の時系列データと、知的作業の遂行結果を定量化したパフォーマンス値の時系列データから求めた分類の組を学習データとして構築する。音信号定量化部は、音信号を定量化し、音響特徴量の時系列データを生成する。パフォーマンス変化予測部は、音響特徴量を入力として、予測モデルにより、パフォーマンス値の分類を算出する。
【選択図】図８
【解決手段】上記課題を解決するパフォーマンス変化予測装置は、予測モデルと、音信号定量化部と、パフォーマンス変化予測部とを備える。予測モデルは、聴覚刺激を定量化した音響特徴量の時系列データと、知的作業の遂行結果を定量化したパフォーマンス値の時系列データから求めた分類の組を学習データとして構築する。音信号定量化部は、音信号を定量化し、音響特徴量の時系列データを生成する。パフォーマンス変化予測部は、音響特徴量を入力として、予測モデルにより、パフォーマンス値の分類を算出する。
【選択図】図８
【特許請求の範囲】
【請求項1】
聴覚刺激が知的作業のパフォーマンスに与える影響を予測するモデルの生成装置であって、
聴覚刺激の音信号を定量化し、音響特徴量の時系列データを生成する音信号定量化部と、
知的作業の遂行結果を定量化したパフォーマンス値の時系列データを生成し、前記パフォーマンス値の時系列データを低下区間または非低下区間に分類するタスク成績定量化部と、
前記音響特徴量の各データと、前記パフォーマンス値の各分類の組を学習データとして、新たな音響特徴量から新たにパフォーマンス値の分類を予測するモデルを生成する分析部と
を有する予測モデル生成装置。
聴覚刺激の音信号を定量化し、音響特徴量の時系列データを生成する音信号定量化部と、
知的作業の遂行結果を定量化したパフォーマンス値の時系列データを生成し、前記パフォーマンス値の時系列データを低下区間または非低下区間に分類するタスク成績定量化部と、
前記音響特徴量の各データと、前記パフォーマンス値の各分類の組を学習データとして、新たな音響特徴量から新たにパフォーマンス値の分類を予測するモデルを生成する分析部と
を有する予測モデル生成装置。
【請求項2】
請求項１に記載の予測モデル生成装置であって、
前記学習データは、時刻ｔの前記音響特徴量と、ｔより所定時間後の時刻の前記パフォーマンス値の分類の組とする
ことを特徴とする予測モデル生成装置。
前記学習データは、時刻ｔの前記音響特徴量と、ｔより所定時間後の時刻の前記パフォーマンス値の分類の組とする
ことを特徴とする予測モデル生成装置。
【請求項3】
請求項１に記載の予測モデル生成装置であって、
前記低下区間は、前記パフォーマンス値が所定時間内に所定量以上低下した区間であって、低下開始点から、低下の下限点までの区間とする
ことを特徴とする予測モデル生成装置。
前記低下区間は、前記パフォーマンス値が所定時間内に所定量以上低下した区間であって、低下開始点から、低下の下限点までの区間とする
ことを特徴とする予測モデル生成装置。
【請求項4】
請求項１に記載の予測モデル生成装置であって、
前記音響特徴量の時系列データは、前記音信号に雑音抑圧処理および／または帯域強調処理を施したものを定量化したものである
ことを特徴とする予測モデル生成装置。
前記音響特徴量の時系列データは、前記音信号に雑音抑圧処理および／または帯域強調処理を施したものを定量化したものである
ことを特徴とする予測モデル生成装置。
【請求項5】
聴覚刺激が知的作業のパフォーマンスに与える影響を予測するモデルの生成方法であって、
音信号定量化部が、聴覚刺激の音信号を定量化し、音響特徴量の時系列データを生成するステップと、
タスク成績定量化部が、知的作業の遂行結果を定量化したパフォーマンス値の時系列データを生成し、前記パフォーマンス値の時系列データを低下区間または非低下区間に分類するステップと、
分析部が、前記音響特徴量の各データと、前記パフォーマンス値の各分類の組を学習データとして、新たな音響特徴量から新たにパフォーマンス値の分類を予測するモデルを生成するステップと
を有する予測モデル生成方法。
音信号定量化部が、聴覚刺激の音信号を定量化し、音響特徴量の時系列データを生成するステップと、
タスク成績定量化部が、知的作業の遂行結果を定量化したパフォーマンス値の時系列データを生成し、前記パフォーマンス値の時系列データを低下区間または非低下区間に分類するステップと、
分析部が、前記音響特徴量の各データと、前記パフォーマンス値の各分類の組を学習データとして、新たな音響特徴量から新たにパフォーマンス値の分類を予測するモデルを生成するステップと
を有する予測モデル生成方法。
【請求項6】
聴覚刺激による知的作業のパフォーマンス変化を予測する装置であって、
聴覚刺激の音信号を定量化した音響特徴量の時系列データと、知的作業の遂行結果を定量化したパフォーマンス値の時系列データから求めた分類の組を学習データとして、新たな音響特徴量から新たなパフォーマンス値の分類を算出する予測モデルと、
新たな音信号を定量化し、前記新たな音響特徴量の時系列データを生成する音信号定量化部と、
前記新たな音響特徴量を入力として、前記予測モデルにより、前記新たなパフォーマンス値の分類を算出する、パフォーマンス変化予測部と、
を有するパフォーマンス変化予測装置。
聴覚刺激の音信号を定量化した音響特徴量の時系列データと、知的作業の遂行結果を定量化したパフォーマンス値の時系列データから求めた分類の組を学習データとして、新たな音響特徴量から新たなパフォーマンス値の分類を算出する予測モデルと、
新たな音信号を定量化し、前記新たな音響特徴量の時系列データを生成する音信号定量化部と、
前記新たな音響特徴量を入力として、前記予測モデルにより、前記新たなパフォーマンス値の分類を算出する、パフォーマンス変化予測部と、
を有するパフォーマンス変化予測装置。
【請求項7】
聴覚刺激による知的作業のパフォーマンス変化を予測する方法であって、
予測モデル生成装置が、聴覚刺激の音信号を定量化した音響特徴量の時系列データと、知的作業の遂行結果を定量化したパフォーマンス値の時系列データから求めた分類の組を学習データとして、新たな音響特徴量から新たなパフォーマンス値の分類を算出する予測モデルを生成するステップと、
音信号定量化部が、新たな音信号を定量化し、前記新たな音響特徴量の時系列データを生成するステップと、
パフォーマンス変化予測部が、前記新たな音響特徴量を入力として、前記予測モデルにより、前記新たなパフォーマンス値の分類を算出するステップと
を有するパフォーマンス変化予測方法。
予測モデル生成装置が、聴覚刺激の音信号を定量化した音響特徴量の時系列データと、知的作業の遂行結果を定量化したパフォーマンス値の時系列データから求めた分類の組を学習データとして、新たな音響特徴量から新たなパフォーマンス値の分類を算出する予測モデルを生成するステップと、
音信号定量化部が、新たな音信号を定量化し、前記新たな音響特徴量の時系列データを生成するステップと、
パフォーマンス変化予測部が、前記新たな音響特徴量を入力として、前記予測モデルにより、前記新たなパフォーマンス値の分類を算出するステップと
を有するパフォーマンス変化予測方法。
【請求項8】
請求項１から４のいずれかの予測モデル生成装置、または請求項６のパフォーマンス変化予測装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
開示技術は、聴覚刺激が人間の知的作業の効率に与える影響を予測する技術に関する。なお、以下の説明において人間の知的作業の効率を「パフォーマンス」と称する。
【背景技術】
【0002】
外界からの聴覚刺激がパフォーマンスに与える影響に関する研究事例は、古くから存在する。聴覚刺激を、ラウドネスなどの音質評価指標に基づいて定量化し、パフォーマンスとの関係を調査した研究例をいくつか示す。
非特許文献１によれば、ラウドネス値（音の大きさ）やシャープネス値（音の鋭さや甲高さ）は、快適性や覚醒効果と相関が高い。
非特許文献２によれば、ラウドネス値、快適さ主観値、集中主観値が作業効率に寄与する一方、シャープネス値は作業効率への影響が少ない。
非特許文献３によれば、ラウドネス値は不快感の評価に影響するが、ワーキングメモリー評価には影響を与えない。
非特許文献４によれば、交通騒音の時間構造は判断能力に大きな影響を与えないが、人は断続的な騒音よりも定常的な騒音を好む傾向がある。
非特許文献１によれば、ラウドネス値（音の大きさ）やシャープネス値（音の鋭さや甲高さ）は、快適性や覚醒効果と相関が高い。
非特許文献２によれば、ラウドネス値、快適さ主観値、集中主観値が作業効率に寄与する一方、シャープネス値は作業効率への影響が少ない。
非特許文献３によれば、ラウドネス値は不快感の評価に影響するが、ワーキングメモリー評価には影響を与えない。
非特許文献４によれば、交通騒音の時間構造は判断能力に大きな影響を与えないが、人は断続的な騒音よりも定常的な騒音を好む傾向がある。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】星野、他，「音源のシャープネス値と感情極性値に基づく快適覚醒音刺激に関する考察」，ヒューマンインタフェース学会論文誌，Vol. 19, no. 3, pp. 231-242, 2017
【非特許文献2】星野、他,「自然環境音の間欠呈示による作業効率向上とその寄与要因の検討」, 日本音響学会 2021秋季研究発表会講演論文集, 2021
【非特許文献3】A. Skagerstrand et al., "Loudness and annoyance of disturbing sounds - perception by normal hearing subjects," International Journal of Audiology, Vol. 56, No. 10, pp. 775-783, Oct. 2017
【非特許文献4】J. Felcyn, "The influence of a signal's time structure on the perceived noise annoyance of road traffic noise," Journal of Environmental Health Science and Engineering, Vol. 19, No. 1, pp. 881-892, Apr. 2021
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来研究では、主観評価を用いたものや、タスク習熟の影響を考慮せずに課題成績を用いたものが多く、パフォーマンスを定量かつ正確に評価できている事例は少なかった。
また、上記の通り、音質評価指標値とパフォーマンスの関係性を調査した事例は存在するが、実際に音質評価指標値からパフォーマンス変化が予測できるとした事例はない。また、音質評価指標値の時間変化と、パフォーマンスの時間変化に着目した事例もない。
また、上記の通り、音質評価指標値とパフォーマンスの関係性を調査した事例は存在するが、実際に音質評価指標値からパフォーマンス変化が予測できるとした事例はない。また、音質評価指標値の時間変化と、パフォーマンスの時間変化に着目した事例もない。
【課題を解決するための手段】
【0005】
上記課題を解決するため、開示技術に係るパフォーマンス変化予測装置は、予測モデルと、音信号定量化部と、パフォーマンス変化予測部とを備える。
予測モデルは、聴覚刺激の音信号を定量化した音響特徴量の時系列データと、知的作業の遂行結果を定量化したパフォーマンス値の時系列データから求めた分類の組を学習データとして、新たな音響特徴量から新たなパフォーマンス値の分類を算出するものである。
音信号定量化部は、新たな音信号を定量化し、新たな音響特徴量の時系列データを生成する。
パフォーマンス変化予測部は、新たな音響特徴量を入力として、予測モデルにより、新たにパフォーマンス値の分類を算出する。
予測モデルは、聴覚刺激の音信号を定量化した音響特徴量の時系列データと、知的作業の遂行結果を定量化したパフォーマンス値の時系列データから求めた分類の組を学習データとして、新たな音響特徴量から新たなパフォーマンス値の分類を算出するものである。
音信号定量化部は、新たな音信号を定量化し、新たな音響特徴量の時系列データを生成する。
パフォーマンス変化予測部は、新たな音響特徴量を入力として、予測モデルにより、新たにパフォーマンス値の分類を算出する。
【発明の効果】
【0006】
本開示技術によれば、聴覚刺激が知的作業従事者のパフォーマンスに与える影響を予測することが可能となる。
【図面の簡単な説明】
【0007】
【図1】パフォーマンス変化予測の概要を説明する図。
【図2】予測モデル生成装置の構成例を示す機能ブロック図。
【図3】タスク成績定量化部の作用の一例を示すフローチャート図。
【図4】前処理の有無や内容がロジスティック回帰係数に与える変化を例示した図。
【図5】音信号定量化部の作用の一例を説明するフローチャート図。
【図6】音響特徴量とパフォーマンスラベルの時間的関係の例を示す図。
【図7】学習用データの例を示す図。
【図8】第１実施形態のパフォーマンス変化予測装置の構成例を示す機能ブロック図。
【図9】パフォーマンス変化予測装置の作用の一例を説明するフローチャート図。
【図10】予測モデルへの入力値と、パフォーマンス予測値の例を示す図。
【図11】コンピュータの機能構成例を示す図。
【発明を実施するための形態】
【0008】
以下、開示技術の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【0009】
［第１実施形態］
開示技術に係るパフォーマンス変化予測装置は、聴覚刺激を入力とし、予め構築した予測モデルを用いて、複数の音響特徴量の時系列データからパフォーマンス変化を予測する。
以下では、まずパフォーマンス変化予測の概要に触れ、次いで、予測モデルの生成方法／装置について説明し、最後に、当該予測モデルに基づくパフォーマンス変化予測方法／装置について説明する。
開示技術に係るパフォーマンス変化予測装置は、聴覚刺激を入力とし、予め構築した予測モデルを用いて、複数の音響特徴量の時系列データからパフォーマンス変化を予測する。
以下では、まずパフォーマンス変化予測の概要に触れ、次いで、予測モデルの生成方法／装置について説明し、最後に、当該予測モデルに基づくパフォーマンス変化予測方法／装置について説明する。
【0010】
［データ収集］
図１を用いて、パフォーマンス変化予測の概要と、予測モデルの構築に用いるデータ収集方法を説明する。
作業者１０２は、聴覚刺激１０１を受けながら、与えられた知的作業１０３を処理する。なお、本開示技術では、知的作業を「タスク」とも呼ぶ。
聴覚刺激１０１には、既存の環境音データベース（例えば「ＡＴＲ環境音データベース II」）を利用すればよい。例えば当該データベース中の「田園（水田の脇）の音」は、水田の脇に設置されたマイクで収録された音源であり、定常雑音に加えて、流水音、カエルの鳴き声、車両通行音などの非定常な音が含まれている。
知的作業１０３としては、例えば、単語の意味と数字の大小を同時に比較する問題を３０分連続して解き続ける課題を与える。課題ごとに、作業者の回答時間を測定して作業成績１０４を取得する。
図１を用いて、パフォーマンス変化予測の概要と、予測モデルの構築に用いるデータ収集方法を説明する。
作業者１０２は、聴覚刺激１０１を受けながら、与えられた知的作業１０３を処理する。なお、本開示技術では、知的作業を「タスク」とも呼ぶ。
聴覚刺激１０１には、既存の環境音データベース（例えば「ＡＴＲ環境音データベース II」）を利用すればよい。例えば当該データベース中の「田園（水田の脇）の音」は、水田の脇に設置されたマイクで収録された音源であり、定常雑音に加えて、流水音、カエルの鳴き声、車両通行音などの非定常な音が含まれている。
知的作業１０３としては、例えば、単語の意味と数字の大小を同時に比較する問題を３０分連続して解き続ける課題を与える。課題ごとに、作業者の回答時間を測定して作業成績１０４を取得する。
【0011】
作業成績１０４は、参考文献１（宮城、他、「知的生産評価のための集中指標の提案」、ヒューマンインタフェース学会誌、Vol.16、No.1、pp.19-28、2014）に記載の集中時間比率（Concentration Time Ratio、以下「ＣＴＲ」と呼ぶ）を用いて定量化し（後述）、ＣＴＲ短期変動の時系列データ１０５とする。
聴覚刺激１０１は、参考文献２（高田、「音質評価指標の計算法と適用事例」、日本音響学会誌、2019、75巻、10号、pp.582-589」）の音質評価指標を用いて定量化し（後述）、音響特徴量の時系列データ１０６とする。
聴覚刺激１０１は、参考文献２（高田、「音質評価指標の計算法と適用事例」、日本音響学会誌、2019、75巻、10号、pp.582-589」）の音質評価指標を用いて定量化し（後述）、音響特徴量の時系列データ１０６とする。
【0012】
なお、図１の音響特徴量時系列データとＣＴＲ短期変動データの例で示したように、一般に、知的集中を阻害するような音がまず生じ、それによって作業者のパフォーマンスの低下が生じる。つまり、パフォーマンス低下の時刻と、その原因となる聴覚刺激の時刻には時間差がある。この時間差を考慮にいれつつ、開示技術は、音響特徴量の時系列データとＣＴＲ短期変動の時系列データを関連付け、聴覚刺激を原因とするパフォーマンスの変化を予測する。
【0013】
［予測モデル生成装置］
図２は、第１実施形態に係る予測モデル生成装置２の構成例を示す機能ブロック図である。予測モデル生成装置２は、実験データ記憶部２０１、タスク成績定量化部２０２、前処理部２０３、音信号定量化部２０４、学習用データ生成部２０５、分析部２０６を備える。
図２は、第１実施形態に係る予測モデル生成装置２の構成例を示す機能ブロック図である。予測モデル生成装置２は、実験データ記憶部２０１、タスク成績定量化部２０２、前処理部２０３、音信号定量化部２０４、学習用データ生成部２０５、分析部２０６を備える。
【0014】
実験データ記憶部２０１には、タスク成績と、タスク実行時に作業者に提示した聴覚刺激（音信号）が記録されている。
【0015】
＜タスク成績の定量化＞
図３は、タスク成績定量化部２０２の作用の一例を示すフローチャートである。
まず、タスク成績を元に解答時間tの頻度分布を作成し（ステップＳ３０１）、式（１）に示す対数正規分布でフィッティングし、μとσを求める（ステップＳ３０２）。Ａは定数である。
式（１）からタスク全体の平均集中時間Etotalを算出する（ステップＳ３０３）。
出題番号ｉの解答に要した時間をtａｎｓ(i)とする。短時間フレームにおけるＣＴＲは、区間Tｓｈｏｒｔ内のtａｎｓ(i)についてEｔｏｔａｌを下回った部分の割合として、式（２）で算出する（ステップＳ３０４）。
Tｓｈｏｒｔは、例えば60秒とし、jは、例えば1秒とする。つまり、CTRｓｈｏｒｔは、60秒の窓を１秒刻みで移動させながら計算する。
CTRｓｈｏｒｔは、以下、ＣＴＲ短期変動と呼ぶ。またＣＴＲ短期変動のような知的集中の度合いを示す値をパフォーマンス値と呼ぶ。
図３は、タスク成績定量化部２０２の作用の一例を示すフローチャートである。
まず、タスク成績を元に解答時間tの頻度分布を作成し（ステップＳ３０１）、式（１）に示す対数正規分布でフィッティングし、μとσを求める（ステップＳ３０２）。Ａは定数である。
【数1】
式（１）からタスク全体の平均集中時間Etotalを算出する（ステップＳ３０３）。
【数2】
出題番号ｉの解答に要した時間をtａｎｓ(i)とする。短時間フレームにおけるＣＴＲは、区間Tｓｈｏｒｔ内のtａｎｓ(i)についてEｔｏｔａｌを下回った部分の割合として、式（２）で算出する（ステップＳ３０４）。
【数3】
【数4】
CTRｓｈｏｒｔは、以下、ＣＴＲ短期変動と呼ぶ。またＣＴＲ短期変動のような知的集中の度合いを示す値をパフォーマンス値と呼ぶ。
【0016】
次に、ＣＴＲ短期変動の時系列データを解析し、ＣＴＲ短期変動が急激に低下した区間を抽出し、「パフォーマンス低下区間」に分類する（ステップＳ３０５）。
例えば、ＣＴＲ短期変動が1分以内に0.1以上低下したとき、低下開始点から、低下の局所下限点（ＣＴＲ低下点）までの区間をパフォーマンス低下区間とする。
ＣＴＲ低下点を挟んで前後の区間をパフォーマンス低下区間としてもよいが、ＣＴＲが下落していく区間をパフォーマンス低下区間として抽出するのが望ましい。ＣＴＲが下落していく区間は、原因と考えられる聴覚刺激区間の特定、および関連付けが容易だからである。
「パフォーマンス低下区間」以外の区間は「パフォーマンス非低下区間」に分類する。
例えば、ＣＴＲ短期変動が1分以内に0.1以上低下したとき、低下開始点から、低下の局所下限点（ＣＴＲ低下点）までの区間をパフォーマンス低下区間とする。
ＣＴＲ低下点を挟んで前後の区間をパフォーマンス低下区間としてもよいが、ＣＴＲが下落していく区間をパフォーマンス低下区間として抽出するのが望ましい。ＣＴＲが下落していく区間は、原因と考えられる聴覚刺激区間の特定、および関連付けが容易だからである。
「パフォーマンス低下区間」以外の区間は「パフォーマンス非低下区間」に分類する。
【0017】
＜音信号の前処理＞
音信号の定量化に先立って、ユーザの特性を加味し、注意が向きやすく集中を阻害されやすい聴覚領域を強調するための処理を、音信号に施すと効果的である。具体的には、雑音抑圧や、帯域強調処理などの信号処理により、入力された聴覚刺激においてパフォーマンス変化への影響が小さい部分を抑圧し、影響の大きい部分を強調する。
例えば、非定常な音がパフォーマンス低下に大きく影響すると考えられるため、スペクトル減算法により定常的な成分を抑圧する。
あるいは、中高域の音がパフォーマンス低下に大きく影響すると考えられるため、バンドパスフィルタにより特定帯域を強調する。
図４は、ロジスティック回帰分析で予測モデルを作る場合であって、音信号に対して「前処理なし」、または「雑音抑圧処理」、「バンドパス処理」、「バンドストップ処理」のいずれかを施した場合の、ロジスティック回帰係数の例である。前処理の内容によって、回帰係数は大きく変化している。このように、前処理は予測モデルに大きな影響を与える。
音信号の定量化に先立って、ユーザの特性を加味し、注意が向きやすく集中を阻害されやすい聴覚領域を強調するための処理を、音信号に施すと効果的である。具体的には、雑音抑圧や、帯域強調処理などの信号処理により、入力された聴覚刺激においてパフォーマンス変化への影響が小さい部分を抑圧し、影響の大きい部分を強調する。
例えば、非定常な音がパフォーマンス低下に大きく影響すると考えられるため、スペクトル減算法により定常的な成分を抑圧する。
あるいは、中高域の音がパフォーマンス低下に大きく影響すると考えられるため、バンドパスフィルタにより特定帯域を強調する。
図４は、ロジスティック回帰分析で予測モデルを作る場合であって、音信号に対して「前処理なし」、または「雑音抑圧処理」、「バンドパス処理」、「バンドストップ処理」のいずれかを施した場合の、ロジスティック回帰係数の例である。前処理の内容によって、回帰係数は大きく変化している。このように、前処理は予測モデルに大きな影響を与える。
【0018】
＜音信号の定量化＞
図５は、音信号定量化部の作用の一例を説明するフローチャートである。
図５は、音信号定量化部の作用の一例を説明するフローチャートである。
【0019】
＜＜音質評価指標の計算＞＞
例えば、参考文献２に記載の４つの音質評価指標（ラウドネス（Ｎ）、シャープネス（Ｓ）、ラフネス（Ｒ）、フラクチュエーション・ストレングス（Ｆ））を用いて音質評価指標値を算出する（ステップＳ５０１）。大略、ラウドネスは「音の大きさ」に、シャープネスは「音の鋭さや甲高さ」に、ラフネスは「音の粗さ」に、フラクチュエーション・ストレングスは「音の変動感の強さ」に対応した指標である。
参考文献２によれば、Ｎ，Ｓ，Ｒ，Ｆはそれぞれ下記式で与えられる。
ここで、zは臨界帯域番号、N'(z)は臨界帯域ごとのラウドネスである。
ここで、g(z)はシャープネスの重みである。
ここで、fｍｏｄは変調周波数、ΔL(z)は臨界帯域ごとの興奮レベルの山と谷の落差である。
例えば、参考文献２に記載の４つの音質評価指標（ラウドネス（Ｎ）、シャープネス（Ｓ）、ラフネス（Ｒ）、フラクチュエーション・ストレングス（Ｆ））を用いて音質評価指標値を算出する（ステップＳ５０１）。大略、ラウドネスは「音の大きさ」に、シャープネスは「音の鋭さや甲高さ」に、ラフネスは「音の粗さ」に、フラクチュエーション・ストレングスは「音の変動感の強さ」に対応した指標である。
参考文献２によれば、Ｎ，Ｓ，Ｒ，Ｆはそれぞれ下記式で与えられる。
【数5】
ここで、zは臨界帯域番号、N'(z)は臨界帯域ごとのラウドネスである。
【数6】
ここで、g(z)はシャープネスの重みである。
【数7】
ここで、fｍｏｄは変調周波数、ΔL(z)は臨界帯域ごとの興奮レベルの山と谷の落差である。
【数8】
【0020】
＜＜短時間区間内分散の計算＞＞
そして、開示技術では、音質評価指標値のゆるやかな変化を無視しつつ、突発的な変化を抽出するため、得られたＮ，Ｓ，Ｒ，Ｆの値を式（３）により処理する（ステップＳ５０２）。これは、時間的に変動する音の音質評価指標系列データに関する１次差分信号の短時間区間内分散を表す。
X(t)には、2msフレーム毎に算出した音質評価指標値Ｎ，Ｓ，Ｆ，Ｒが代入される。Tは例えば２秒程度とする。X'(t)はX(t)の一次微分であり、
は、kT≦t≦(k+1)T-1区間のX'(t)の平均値を表す。
kは0,1,2・・・という整数値を取り、音信号の全区間に渡って、重複のない区間TのブロックごとにVx(k)を計算する。
Ｎ，Ｓ，Ｆ，Ｒの短時間区間内分散の時系列データを、それぞれVＮ(k)、VＳ(k)、VＦ(k)、VＲ(k)とする。
そして、開示技術では、音質評価指標値のゆるやかな変化を無視しつつ、突発的な変化を抽出するため、得られたＮ，Ｓ，Ｒ，Ｆの値を式（３）により処理する（ステップＳ５０２）。これは、時間的に変動する音の音質評価指標系列データに関する１次差分信号の短時間区間内分散を表す。
【数9】
X(t)には、2msフレーム毎に算出した音質評価指標値Ｎ，Ｓ，Ｆ，Ｒが代入される。Tは例えば２秒程度とする。X'(t)はX(t)の一次微分であり、
【数10】
は、kT≦t≦(k+1)T-1区間のX'(t)の平均値を表す。
kは0,1,2・・・という整数値を取り、音信号の全区間に渡って、重複のない区間TのブロックごとにVx(k)を計算する。
Ｎ，Ｓ，Ｆ，Ｒの短時間区間内分散の時系列データを、それぞれVＮ(k)、VＳ(k)、VＦ(k)、VＲ(k)とする。
【0021】
＜学習用データの生成＞
図６，７を用いて、聴覚刺激とパフォーマンス低下の関係を分析するための学習用データセットの作り方を説明する。
上述（＜タスク成績の定量化＞）したように、タスク成績からCTR短期変動を得て、パフォーマンス低下区間を抽出してラベリングする（図６の上段）。
また、上述（＜音信号の定量化＞）したように、音信号から音質評価指標値を計算し、短時間区間分散を計算して、４つの音響特徴量VＮ(k)、VＳ(k)、VＦ(k)、VＲ(k)とする（図６の下段）。
パフォーマンス低下の時刻と、その原因となる聴覚刺激には時間差があるため、音響特徴量の時刻からΔtだけ遅らせた時刻のパフォーマンスラベルを、各音響特徴量と対応付ける（図６の中段）。
この結果、図７のような、音響特徴量を説明変数、パフォーマンスラベルを目的変数とする学習用データ７０１が得られる。
なお、全ての音信号区間を学習用データに利用する必要はない。パフォーマンス低下区間について得られた学習用データと、それと同等程度のデータ量をパフォーマンス非低下区間から抽出して、併せて、学習用データとすればよい。
図６，７を用いて、聴覚刺激とパフォーマンス低下の関係を分析するための学習用データセットの作り方を説明する。
上述（＜タスク成績の定量化＞）したように、タスク成績からCTR短期変動を得て、パフォーマンス低下区間を抽出してラベリングする（図６の上段）。
また、上述（＜音信号の定量化＞）したように、音信号から音質評価指標値を計算し、短時間区間分散を計算して、４つの音響特徴量VＮ(k)、VＳ(k)、VＦ(k)、VＲ(k)とする（図６の下段）。
パフォーマンス低下の時刻と、その原因となる聴覚刺激には時間差があるため、音響特徴量の時刻からΔtだけ遅らせた時刻のパフォーマンスラベルを、各音響特徴量と対応付ける（図６の中段）。
この結果、図７のような、音響特徴量を説明変数、パフォーマンスラベルを目的変数とする学習用データ７０１が得られる。
なお、全ての音信号区間を学習用データに利用する必要はない。パフォーマンス低下区間について得られた学習用データと、それと同等程度のデータ量をパフォーマンス非低下区間から抽出して、併せて、学習用データとすればよい。
【0022】
【0023】
最後に、予測モデル生成装置２は、分析部２０６が生成した予測モデルを出力する。
【0024】
［パフォーマンス変化予測装置］
図８は、第１実施形態に係るパフォーマンス変化予測装置８の構成例を示す機能ブロック図である。パフォーマンス変化予測装置８は、音信号取得部８０１、前処理部８０２、音信号定量化部８０３、予測モデル記憶部８０４、パフォーマンス変化予測部８０５、提示部８０６を備える。
図９はパフォーマンス変化予測装置８の作用の一例を説明するフローチャート図である。
図８は、第１実施形態に係るパフォーマンス変化予測装置８の構成例を示す機能ブロック図である。パフォーマンス変化予測装置８は、音信号取得部８０１、前処理部８０２、音信号定量化部８０３、予測モデル記憶部８０４、パフォーマンス変化予測部８０５、提示部８０６を備える。
図９はパフォーマンス変化予測装置８の作用の一例を説明するフローチャート図である。
【0025】
＜聴覚刺激の取得＞
音信号取得部８０１は、例えばマイク８１１を用いて、作業者の周囲の音を取得し（ステップＳ９０１）、前処理部８０２に出力する。
音信号取得部８０１は、例えばマイク８１１を用いて、作業者の周囲の音を取得し（ステップＳ９０１）、前処理部８０２に出力する。
【0026】
＜音信号の前処理＞
前処理部８０２は、音信号を前処理して（ステップＳ９０２）音信号定量化部８０３に出力する。前処理部８０２による処理は、予測モデル生成装置における「音信号の前処理」と同様である。
前処理部８０２は、音信号を前処理して（ステップＳ９０２）音信号定量化部８０３に出力する。前処理部８０２による処理は、予測モデル生成装置における「音信号の前処理」と同様である。
【0027】
＜音信号の定量化＞
音信号定量化部８０３は、前処理後の音信号から音響特徴量を抽出して（ステップＳ９０３）パフォーマンス変化予測部に出力する。音信号定量化部８０３による処理は、予測モデル生成装置における「音信号の定量化」と同様である。
音信号定量化部８０３は、前処理後の音信号から音響特徴量を抽出して（ステップＳ９０３）パフォーマンス変化予測部に出力する。音信号定量化部８０３による処理は、予測モデル生成装置における「音信号の定量化」と同様である。
【0028】
＜パフォーマンス変化の予測＞
予測モデル記憶部８０４には、予測モデル生成装置で構築した予測モデルが記録されている。予測モデルには、例えば、ロジスティック回帰モデルを用いる。
パフォーマンス変化予測部は、2s区間ごとの音響特徴量を予測モデルに入力し、パフォーマンス変化予測値を計算し、提示部へ出力する（ステップＳ９０４）。
＜パフォーマンス変化予測の提示＞
最後に、提示部８０６は、パフォーマンス変化の予測値を時系列処理し、例えばディスプレー装置８１２に表示する（ステップＳ９０５）。
表示内容は、例えば、図１０のように、パフォーマンス変化予測値を時系列に可視化したものとすればよい。
予測モデル記憶部８０４には、予測モデル生成装置で構築した予測モデルが記録されている。予測モデルには、例えば、ロジスティック回帰モデルを用いる。
パフォーマンス変化予測部は、2s区間ごとの音響特徴量を予測モデルに入力し、パフォーマンス変化予測値を計算し、提示部へ出力する（ステップＳ９０４）。
＜パフォーマンス変化予測の提示＞
最後に、提示部８０６は、パフォーマンス変化の予測値を時系列処理し、例えばディスプレー装置８１２に表示する（ステップＳ９０５）。
表示内容は、例えば、図１０のように、パフォーマンス変化予測値を時系列に可視化したものとすればよい。
【0029】
［予測モデルに関する補足］
以上、予測モデルとしては、ロジスティック回帰分析を例にあげて説明したが、予測モデルはこれに限られない。音響特徴量やパフォーマンス分類の時系列データに対し、カルマンフィルタ、隠れマルコフモデル、リカレントニューラルネットワークを用いて予測モデルを構築してもよい。
以上、予測モデルとしては、ロジスティック回帰分析を例にあげて説明したが、予測モデルはこれに限られない。音響特徴量やパフォーマンス分類の時系列データに対し、カルマンフィルタ、隠れマルコフモデル、リカレントニューラルネットワークを用いて予測モデルを構築してもよい。
【0030】
［プログラム、記録媒体］
上述の各種の処理は、図１１に示すコンピュータ２０００の記録部２０２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０、表示部２０５０などに動作させることで実施できる。
上述の各種の処理は、図１１に示すコンピュータ２０００の記録部２０２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０、表示部２０５０などに動作させることで実施できる。
【0031】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【0032】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【0033】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【0034】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【産業上の利用可能性】
【0035】
聴覚刺激が作業者のパフォーマンスに与える影響を予測できる本開示技術は、例えば、オフィス等の知的作業環境における集中阻害要因の発見と、その改善に利用することができる。
【符号の説明】
【0036】
２ 予測モデル生成装置
２０１ 実験データ記憶部
２０２ タスク成績定量化部
２０３ 前処理部
２０４ 音信号定量化部
２０５ 学習データ生成部
２０６ 分析部
８ パフォーマンス変化予測装置
８０１ 音信号取得部
８０２ 前処理部
８０３ 音信号定量化部
８０４ 予測モデル記憶部
８０５ パフォーマンス変化予測部
８０６ 提示部
２０１ 実験データ記憶部
２０２ タスク成績定量化部
２０３ 前処理部
２０４ 音信号定量化部
２０５ 学習データ生成部
２０６ 分析部
８ パフォーマンス変化予測装置
８０１ 音信号取得部
８０２ 前処理部
８０３ 音信号定量化部
８０４ 予測モデル記憶部
８０５ パフォーマンス変化予測部
８０６ 提示部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】