特許 7323936 疲労推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-01

(45)【発行日】2023-08-09

(54)【発明の名称】疲労推定装置

(51)【国際特許分類】

   A61B 5/16 20060101AFI20230802BHJP

   A61B 5/18 20060101ALI20230802BHJP

   G10L 25/66 20130101ALI20230802BHJP

【ＦＩ】

A61B5/16 200

A61B5/18

G10L25/66

【請求項の数】 13

(21)【出願番号】P 2020078149

(22)【出願日】2020-04-27

(65)【公開番号】P2021171352

(43)【公開日】2021-11-01

【審査請求日】2021-12-07

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２８年度 国立研究開発法人科学技術振興機構 研究成果展開事業 世界に誇る地域発研究開発・実証拠点（リサーチコンプレックス）推進プログラム『ｉ－Ｂｒａｉｎ ｘ ＩＣＴ「超快適スマート社会の創出 グローバルリサーチコンプレックス」産業技術力強化法第１７条の適用を受ける特許出願』

(73)【特許権者】

【識別番号】504237050

【氏名又は名称】独立行政法人国立高等専門学校機構

(74)【代理人】

【識別番号】100092956

【弁理士】

【氏名又は名称】古谷 栄男

(74)【代理人】

【識別番号】100101018

【弁理士】

【氏名又は名称】松下 正

(72)【発明者】

【氏名】松村 寿枝

(72)【発明者】

【氏名】小坂 洋明

(72)【発明者】

【氏名】上野 秀剛

【審査官】▲高▼原 悠佑

(56)【参考文献】

【文献】国際公開第２０１９／０８１９１５（ＷＯ，Ａ１）

【文献】特開２０１９－０６９２０７（ＪＰ，Ａ）

【文献】特開２００７－０８２５９４（ＪＰ，Ａ）

【文献】特開２０１３－２３５３４１（ＪＰ，Ａ）

【文献】音声疲労推定システムを目指した疲労測定指標の研究，科学研究費助成事業 研究成果報告書，2017年05月10日

【文献】松村寿枝，他４名，音声分析を用いた自転車シミュレータ運転時の疲労測定法の基礎的検討，電気学会論文誌C，2016年，Vol.136, No.1，pp.92-98

【文献】2015年度 研究成果報告書 音声疲労推定システムを目指した疲労測定指標の研究，2022年10月25日，<URL:https://kaken.nii.ac.jp/report/KAKENHI-PROJECT-25330219/25330219seika/>

【文献】松村寿枝, 他６名，シミュレータ乗車時の疲労推定指標の比較，電子情報通信学会大会講演論文集，2016年03月01日，Vol.2016，D-14-12

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／１６－５／１８

(57)【特許請求の範囲】

【請求項1】

作業の第１の時点における作業者の発話語についての第１発声音を取得する第１発声音取得手段と、
作業の第１の時点より後の第２の時点における作業者の前記発話語と同一の発話語についての第２発声音を取得する第２発声音取得手段と、
前記第１発声音および前記第２発声音の基本周波数、平均パワーまたは継続時間長を算出する基本周波数算出手段と、
前記第１発声音と前記第２発声音の基本周波数、平均パワーまたは継続時間長の差に基づいて、疲労度を算出する疲労算出手段と、
を備えた疲労推定装置であって、
前記第１発声音取得手段は、自動車のエンジン始動信号を受けると、運転者に対して、第１発声音の発声を求めるメッセージを出力し、
前記第２発声音取得手段は、前記エンジン始動から所定時間が経過すると、運転者に対して、第２発声音の発声を求めるメッセージを出力し、
前記疲労度算出手段は、算出した疲労度が所定値を超えていると、運転者に対して警告を出力し、
前記警告出力後に自動車のエンジンが停止されたかどうかを検知し、エンジンが停止されない場合には、運転者に対して、第２発声音の発声を求めるメッセージを出力し、第２発声音取得手段によって新たに第２発声音を取得し、疲労度算出手段によって当該新たに取得した第２発声音を用いて疲労度を算出することを特徴とする疲労推定装置。

【請求項2】

疲労推定装置をコンピュータによって実現するための疲労推定プログラムであって、前記コンピュータを、
作業の第１の時点における作業者の発話語についての第１発声音を取得する第１発声音取得手段と、
作業の第１の時点より後の第２の時点における作業者の前記発話語と同一の発話語についての第２発声音を取得する第２発声音取得手段と、
前記第１発声音および前記第２発声音の基本周波数、平均パワーまたは継続時間長を算出する基本周波数算出手段と、
前記第１発声音と前記第２発声音の基本周波数、平均パワーまたは継続時間長の差に基づいて、疲労度を算出する疲労算出手段として機能させるための疲労推定プログラムであって、
前記第１発声音取得手段は、自動車のエンジン始動信号を受けると、運転者に対して、第１発声音の発声を求めるメッセージを出力し、
前記第２発声音取得手段は、前記エンジン始動から所定時間が経過すると、運転者に対して、第２発声音の発声を求めるメッセージを出力し、
前記疲労度算出手段は、算出した疲労度が所定値を超えていると、運転者に対して警告を出力し、
前記警告出力後に自動車のエンジンが停止されたかどうかを検知し、エンジンが停止されない場合には、運転者に対して、第２発声音の発声を求めるメッセージを出力し、第２発声音取得手段によって新たに第２発声音を取得し、疲労度算出手段によって当該新たに取得した第２発声音を用いて疲労度を算出するようコンピュータを機能させることを特徴とする疲労推定プログラム。

【請求項3】

請求項１の装置または請求項２のプログラムにおいて、
前記疲労度ｙの算出は、下式に基づいて行うことを特徴とする装置またはプログラム。
ｙ＝β₀＋β₁（Ｘ₁'－Ｘ₁）
ここで、β₀、β₁は定数、Ｘ₁は第１発声音の基本周波数、Ｘ₁'は第２発声音の基本周波数である。

【請求項4】

請求項１の装置または請求項２のプログラムにおいて、
前記疲労度ｙの算出は、下式に基づいて行うことを特徴とする装置またはプログラム。
ｙ＝β₀＋β₁（Ｘ₂'－Ｘ₂）
ここで、β₀、β₁は定数、Ｘ₂は第１発声音の平均パワー、Ｘ₂'は第２発声音の平均パワーである。

【請求項5】

請求項１の装置または請求項２のプログラムにおいて、
前記疲労度ｙの算出は、下式に基づいて行うことを特徴とする装置またはプログラム。
ｙ＝β₀＋β₁（Ｘ_３'－Ｘ₃）
ここで、β₀、β₁は定数、Ｘ₃は第１発声音の継続時間長、Ｘ₃'は第２発声音の継続時間長である。

【請求項6】

請求項１の装置または請求項２のプログラムにおいて、
下式のΔＸ₁が所定値α以上であるか否かによって、疲労の有無を疲労度として算出することを特徴とする装置またはプログラム。
ΔＸ₁＝１００・（Ｘ₁'－Ｘ₁）／Ｘ₁
ここで、Ｘ₁は第１発声音の基本周波数、Ｘ₁'は第２発声音の基本周波数である。

【請求項7】

請求項１の装置または請求項２のプログラムにおいて、
下式のΔＸ₂が所定値α以上であるか否かによって、疲労の有無を疲労度として算出することを特徴とする装置またはプログラム。
ΔＸ₂＝１００・（Ｘ₂'－Ｘ₂）／Ｘ₂
ここで、Ｘ₂は第１発声音の平均パワー、Ｘ₂'は第２発声音の平均パワーである。

【請求項8】

請求項１の装置または請求項２のプログラムにおいて、
下式のΔＸ₃が所定値α以上であるか否かによって、疲労の有無を疲労度として算出することを特徴とする装置またはプログラム。
ΔＸ₃＝１００・（Ｘ₃'－Ｘ₃）／Ｘ₃
ここで、Ｘ₃は第１発声音の継続時間長、Ｘ₃'は第２発声音の継続時間長である。

【請求項9】

請求項１～８のいずれかの装置またはプログラムにおいて、
前記発話語は、全語数のうちの半分以上が母音であることを特徴とする装置またはプログラム。

【請求項10】

請求項１～９のいずれかの装置またはプログラムにおいて、
前記発話語は、疲れに関連した意味を有する言葉であることを特徴とする装置またはプログラム。

【請求項11】

過去の作業の第１の時点における作業者の発話語についての第１発声音と疲労感、過去の作業の第１の時点より後の第２の時点における作業者の前記発話語と同一の発話語についての第２発声音と疲労感を１セットとし、これを複数セット繰り返して取得する過去発声音取得手段と、
前記第２の時点の疲労感から前記第１の時点の疲労感を減じた値を差疲労感として算出する差疲労感算出手段と、
前記過去の各セットにおいて差疲労感が所定値以上のセットを抽出し、抽出したセットについて、前記第１発声音および前記第２発声音の基本周波数の差を過去差基本周波数として算出し、前記過去の各セットにおいて差疲労感が所定値以上のセットを抽出し、抽出したセットについて、前記第１発声音および前記第２発声音の平均パワーの差を過去差平均パワーとして算出し、前記過去の各セットにおいて差疲労感が所定値以上のセットを抽出し、前記第１発声音および前記第２発声音の継続時間長の差を過去差継続時間長として算出する過去差要素算出手段と、
前記過去差基本周波数、前記過去差平均パワー、前記過去差継続時間長のうち、前記差疲労感との相関が所定値以上のものを抽出要素として抽出する抽出手段と、
現在の作業の第１の時点における作業者の発話語についての第１発声音、現在の作業の第１の時点より後の第２の時点における作業者の前記発話語についての第２発声音を取得する対象発声音取得手段と、
前記対象の前記第１発声音および前記第２発声音の基本周波数の差を対象基本周波数として算出し、平均パワーの差を対象平均パワーとして、継続時間長の差を対象差継続時間長として算出する対象差要素算出手段と、
対象基本周波数、対象差平均パワー、対象差継続時間長のうち、要素抽出手段によって選択された差要素を抽出する対象差要素抽出手段と、
前記対象差要素抽出手段によって抽出された差要素に基づいて、前記要素抽出手段において算出した相関を用いて、疲労度を予測する疲労度算出手段と、
予測された疲労度について、前記作業者がその正当性を判断する疲労度評価手段と、
対象差要素抽出手段によって算出された差要素と、疲労度評価手段に与えられた正当性とに基づいて、要素抽出手段によっていずれの要素を抽出するか、およびその相関関係を修正する修正手段と、
を備えた疲労推定装置。

【請求項12】

疲労推定装置をコンピュータによって実現するための疲労推定プログラムであって、前記コンピュータを、
過去の作業の第１の時点における作業者の発話語についての第１発声音と疲労感、過去の作業の第１の時点より後の第２の時点における作業者の前記発話語と同一の発話語についての第２発声音と疲労感を１セットとし、これを複数セット繰り返して取得する過去発声音取得手段と、
前記第２の時点の疲労感から前記第１の時点の疲労感を減じた値を差疲労感として算出する差疲労感算出手段と、
前記過去の各セットにおいて差疲労感が所定値以上のセットを抽出し、抽出したセットについて、前記第１発声音および前記第２発声音の基本周波数の差を過去差基本周波数として算出し、前記過去の各セットにおいて差疲労感が所定値以上のセットを抽出し、抽出したセットについて、前記第１発声音および前記第２発声音の平均パワーの差を過去差平均パワーとして算出し、前記過去の各セットにおいて差疲労感が所定値以上のセットを抽出し、前記第１発声音および前記第２発声音の継続時間長の差を過去差継続時間長として算出する過去差要素算出手段と、
前記過去差基本周波数、前記過去差平均パワー、前記過去差継続時間長のうち、前記差疲労感との相関が所定値以上のものを抽出要素として抽出する抽出手段と、
現在の作業の第１の時点における作業者の発話語についての第１発声音、現在の作業の第１の時点より後の第２の時点における作業者の前記発話語についての第２発声音を取得する対象発声音取得手段と、
前記対象の前記第１発声音および前記第２発声音の基本周波数の差を対象基本周波数として算出し、平均パワーの差を対象平均パワーとして、継続時間長の差を対象差継続時間長として算出する対象差要素算出手段と、
対象基本周波数、対象差平均パワー、対象差継続時間長のうち、要素抽出手段によって選択された差要素を抽出する対象差要素抽出手段と、
前記対象差要素抽出手段によって抽出された差要素に基づいて、前記要素抽出手段において算出した相関を用いて、疲労度を予測する疲労度算出手段と、
予測された疲労度について、前記作業者がその正当性を判断する疲労度評価手段と、
対象差要素抽出手段によって算出された差要素と、疲労度評価手段に与えられた正当性とに基づいて、要素抽出手段によっていずれの要素を抽出するか、およびその相関関係を修正する修正手段として機能させるための疲労推定プログラム。

【請求項13】

請求項１～１０のいずれかの装置またはプログラムにおいて、
前記第２発声音取得手段による新たな第２発声音の取得、疲労度算出手段による疲労度の算出は、前記所定時間より短い時間経過後に実行されることを特徴とする装置またはプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は作業者の音声に基づいて当該作業者の疲労度を推定する装置に関するものである。

【背景技術】

【0002】

音声を用いて作業者の疲労度を推定する方法が提案されている。たとえば、特許文献１には次のような装置が開示されている。まず、疲労時（非疲労時）の音声を取得してそのパラメータのベクトルを記録しておき、解析時の音声についてパラメータ解析を行ってベクトルを生成する。さらに、疲労時の音声のパラメータのベクトルに類似するかどうかによって疲労しているかどうかを推定するものである。

【0003】

このような装置によれば、特別な作業をすることなく、作業者の声を捉えて疲労度を推定できるという利点がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００７－３８３５

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のような従来の技術では、たとえばタクシーの運転手が基地局との交信時に発した言葉を取得して音声パラメータのベクトルを生成し、これを予め記録されている疲労時の音声パラメータのベクトルと比較することによって判断している。すなわち、疲労時の音声と判断時の音声が、その長さや音質において異なることとなっている。このため、音声パラメータの算出とベクトルの生成という複雑な処理を行っているわりには、必ずしも正確な疲労推定を行えないという問題があった。

【0006】

この発明は、上記のような問題点を解決して、簡易な処理でありながら精度の高い疲労推定を行うことのできる装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の独立して適用可能ないくつかの特徴を以下に示す。

【0008】

(1)(2)この発明に係る疲労推定装置は、作業の第１の時点における作業者の発話語についての第１発声音を取得する第１発声音取得手段と、作業の第１の時点より後の第２の時点における作業者の前記発話語と同一の発話語についての第２発声音を取得する第２発声音取得手段と、前記第１発声音および前記第２発声音の基本周波数、平均パワーまたは継続時間長を算出する基本周波数算出手段と、前記第１発声音と前記第２発声音の基本周波数、平均パワーまたは継続時間長の差に基づいて、疲労度を算出する疲労算出手段とを備えている。

【0009】

したがって、第１の時点と第２の時点の音声を取得することにより、疲労度を推定することができる。

【0010】

(3)この発明に係る疲労推定装置は、疲労度ｙの算出を、下式に基づいて行うことを特徴としている。

【0011】

ｙ＝β₀＋β₁（Ｘ₁'－Ｘ₁）
ここで、β₀、β₁は定数、Ｘ₁は第１発声音の基本周波数、Ｘ₁'は第２発声音の基本周波数である。

【0012】

したがって、第１の時点と第２の時点の音声の基本周波数を算出することで、疲労度を推定することができる。

【0013】

(4)この発明に係る疲労推定装置は、疲労度ｙの算出を、下式に基づいて行うことを特徴としている。

【0014】

ｙ＝β₀＋β₁（Ｘ₂'－Ｘ₂）
ここで、β₀、β₁は定数、Ｘ₂は第１発声音の平均パワー、Ｘ₂'は第２発声音の平均パワーである。

【0015】

したがって、第１の時点と第２の時点の音声の平均パワーを算出することで、疲労度を推定することができる。

【0016】

(5)この発明に係る疲労推定装置は、疲労度ｙの算出を、下式に基づいて行うことを特徴としている。

【0017】

ｙ＝β₀＋β₁（Ｘ₃'－Ｘ₃）
ここで、β₀、β₁は定数、Ｘ₃は第１発声音の継続時間長、Ｘ₃'は第２発声音の継続時間長である。

【0018】

したがって、第１の時点と第２の時点の音声の継続時間長を算出することで、疲労度を推定することができる。

【0019】

(6)この発明に係る疲労推定装置は、下式のΔＸ₁が所定値α以上であるか否かによって、疲労の有無を疲労度として算出することを特徴としている。

【0020】

ΔＸ₁＝１００・（Ｘ₁'－Ｘ₁）／Ｘ₁
ここで、Ｘ₁は第１発声音の基本周波数、Ｘ₁'は第２発声音の基本周波数である。

【0021】

したがって、作業者の主観とは関係なく、疲労度を推定することができる。

【0022】

(7)この発明に係る疲労推定装置は、下式のΔＸ₂が所定値α以上であるか否かによって、疲労の有無を疲労度として算出することを特徴としている。

【0023】

ΔＸ₂＝１００・（Ｘ₂'－Ｘ₂）／Ｘ₂
ここで、Ｘ₂は第１発声音の平均パワー、Ｘ₂'は第２発声音の平均パワーである。

【0024】

したがって、作業者の主観とは関係なく、疲労度を推定することができる。

【0025】

(8)この発明に係る疲労推定装置は、下式のΔＸ ₃ が所定値α以上であるか否かによって、疲労の有無を疲労度として算出することを特徴としている。

【0026】

ΔＸ ₃ ＝１００・（Ｘ ₃ '－Ｘ ₃ ）／Ｘ ₃
ここで、Ｘ ₃ は第１発声音の継続時間長、Ｘ ₃ 'は第２発声音の継続時間長である。

【0027】

したがって、作業者の主観とは関係なく、疲労度を推定することができる。

【0028】

(9)この発明に係る疲労推定装置は、発話語が、全語数のうちの半分以上が母音であることを特徴としている。

【0029】

したがって、基本周波数などの変化が現れやすく、推定を正確に行うことができる。

【0030】

(10)この発明に係る推定装置は、発話語が、疲れに関連した意味を有する言葉であることを特徴としている。

【0031】

したがって、感情を込めて発話しやすく、疲労による変化が明確に現れ、推定を正確に行うことができる。

【0032】

(11)(12)この発明に係る推定装置は、過去の作業の第１の時点における作業者の発話語についての第１発声音と疲労感、過去の作業の第１の時点より後の第２の時点における作業者の前記発話語と同一の発話語についての第２発声音と疲労感を１セットとし、これを複数セット繰り返して取得する過去発声音取得手段と、前記第２の時点の疲労感から前記第１の時点の疲労感を減じた値を差疲労感として算出する差疲労感算出手段と、前記過去の各セットにおいて差疲労感が所定値以上のセットを抽出し、抽出したセットについて、前記第１発声音および前記第２発声音の基本周波数の差を過去差基本周波数として算出し、前記過去の各セットにおいて差疲労感が所定値以上のセットを抽出し、抽出したセットについて、前記第１発声音および前記第２発声音の平均パワーの差を過去差平均パワーとして算出し、前記過去の各セットにおいて差疲労感が所定値以上のセットを抽出し、前記第１発声音および前記第２発声音の継続時間長の差を過去差継続時間長として算出する過去差要素算出手段と、前記過去差基本周波数、前記過去差平均パワー、前記過去差継続時間のうち、前記差疲労感との相関が所定値以上のものを抽出要素として抽出する抽出手段と、現在の作業の第１の時点における作業者の発話語についての第１発声音、現在の作業の第１の時点より後の第２の時点における作業者の前記発話語についての第２発声音を取得する対象発声音取得手段と、前記対象の前記第１発声音および前記第２発声音の基本周波数の差を対象基本周波数として算出し、平均パワーの差を対象平均パワーとして、継続時間長の差を対象差継続時間長として算出する対象差要素算出手段と、対象基本周波数、対象差平均パワー、対象差継続時間長のうち、要素抽出手段によって選択された差要素を抽出する対象差要素抽出手段と、前記対象差要素抽出手段によって抽出された差要素に基づいて、前記要素抽出手段において算出した相関を用いて、疲労度を予測する疲労度算出手段と、予測された疲労度について、前記作業者がその正当性を判断する疲労度評価手段と、対象差要素抽出手段によって算出された差要素と、疲労度評価手段６６に与えられた正当性とに基づいて、要素抽出手段によっていずれの要素を抽出するか、およびその相関関係を修正する修正手段とを備えている。

【0033】

したがって、疲労度の推定を行うとともに、適切な要素を選択して、ダイナミックに正確な疲労推定を行うことができる。

【0034】

「第１発声音取得手段」は、ステップＳ１３がこれに対応する。

【0035】

「第２発声音取得手段」は、ステップＳ１６がこれに対応する。

【0036】

「基本周波数算出手段」は、ステップＳ１７がこれに対応する。

【0037】

「疲労度算出手段」は、ステップＳ１９がこれに対応する。

【0038】

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

【図面の簡単な説明】

【0039】

【図1】この発明の一実施形態による疲労推定装置の機能ブロック図である。

【図2】疲労推定装置のハードウエア構成である。

【図3】疲労度推定関数の生成処理を示すフローチャートである。

【図4】蓄積された音声データと、疲労感のデータである。

【図5】乗務前と乗務中の基本周波数、差基本周波数、差疲労感のデータを示す図である。

【図6】疲労度推定処理のフローチャートである。

【図7】疲労度推定処理のフローチャートである。

【図8】疲労推定装置をサーバ装置として構築した場合の機能ブロック図である。

【図9】第２の実施形態による疲労装置の機能ブロック図である。

【図10】疲労度推定処理のフローチャートである。

【図11】疲労度推定処理のフローチャートである。

【図12】疲労度推定処理のフローチャートである。

【図13】発話語「これは実験です」についての、差疲労感、差基本周波数、差平均パワー、差継続時間長のデータを示す図である。

【図14】図１３のデータについてｔ検定を行った結果である。

【図15】発話語「はい」についての、差疲労感、差基本周波数、差平均パワー、差継続時間長のデータを示す図である。

【図16】発話語「ただいま」についての、差疲労感、差基本周波数、差平均パワー、差継続時間長のデータを示す図である。

【図17】発話語「あ～あ」についての、差疲労感、差基本周波数、差平均パワー、差継続時間長のデータを示す図である。

【図18】発話語「疲れた」についての、差疲労感、差基本周波数、差平均パワー、差継続時間長のデータを示す図である。

【図19】発話語「これは実験です」についての、差疲労感、差基本周波数、差平均パワー、差継続時間長のデータを示す図である。

【図20】図１５～図１８のデータについてｔ検定を行った結果である。

【発明を実施するための形態】

【0040】

１．第１の実施形態
1.1機能構成
図１に、この発明の一実施形態による疲労推定装置の機能ブロック図を示す。第１発声音取得手段２は、作業の第１の時点における作業者の発話語についての第１発声音を取得する。第２発声音取得手段４は、前記第１の時点より後の第２の時点における作業者の前記発話語についての第２発声音を取得する。

【0041】

基本周波数算出手段６は、第１発声音の基本周波数を算出し、第２発声音の基本周波数を算出する。疲労度算出手段８は、第１発声音の基本周波数と、第２発声音の基本周波数との差に基づいて疲労度を算出する。

【0042】

したがって、疲労による発話の基本周波数の変化に基づいて、疲労度を推定することができる。また、第１の時点と第２の時点において同じ発話語を発声するようにしているので、処理が容易でありながら、疲労に基づく基本周波数の変化を的確に捉えることができる。

【0043】

1.2ハードウエア構成
図２に、疲労推定装置のハードウエア構成を示す。この実施形態では、タクシーのダッシュボードなどに内蔵できる装置として構成している。

【0044】

ＣＰＵ３０には、メモリ３２、スピーカ３４、制御回路３５、ハードディスク３６、ＤＶＤ－ＲＯＭドライブ３８、Ｄ／Ａコンバータ３９が接続されている。制御回路３５は、タクシー自動車のエンジンや電気系統を制御する回路である。

【0045】

ハードディスク３６には、オペレーティングシステム４２、疲労推定プログラム４４が記録されている。疲労推定プログラム４４は、オペレーティングシステム４２と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ－ＲＯＭ４６に記録されていたものを、ＤＶＤ－ＲＯＭドライブ３８を介して、ハードディスク３６にインストールしたものである。

【0046】

マイク４１は、作業者の発話を音声信号として出力するものである。音声信号は、Ｄ／Ａコンバータ３９によってディジタル信号に変換される。

【0047】

1.3疲労度推定関数の算出
まず、疲労推定を行うための疲労度推定関数について説明を行う。

【0048】

この実施形態において用いた疲労度推定関数は、以下のとおりである。

【0049】

ｙ＝β₀＋β₁（Ｘ₁'－Ｘ₁）
ここで、ｙは疲労度、β₀β₁は実測によって導き出された定数、Ｘ₁は作業開始前（第１の時点）における発話音声信号の基本周波数、Ｘ₁'は作業開進行後（第２の時点）における発話音声信号の基本周波数である。

【0050】

この疲労度推定関数を用い、タクシー乗務員の業務開始前（第１の時点）における発話音声信号の基本周波数Ｘ₁と、業務開始後（第２の時点）における発話音声信号Ｘ₁'を与えることで、疲労度ｙを推定することができる。

【0051】

定数β₀β₁は、多くの作業者について、業務開始前、業務開始後に、同じ発話語を発話してもらい取得した発話音声信号に基づいて、重回帰分析によって算出する。

【0052】

図３に、疲労度推定関数生成処理のフローチャートを示す。この処理は、図２に示すコンピュータとは別の、一般的なコンピュータ（ＰＣ）を用いて行うことができる。

【0053】

まず、ＣＰＵは、ＤＶＤ－ＲＯＭ等に記録された計測データをハードディスク３６に取り込む（ステップＳ１）。計測データの例を、図４に示す。作業者に対し、作業前に発話語「あ～あ」を発話してもらった時の音声信号と、作業後に同じ発話語「あ～あ」を発話してもらった時の音声信号と、作業前・作業後の作業者の自己申告による疲労感を記録したものである。図においては、音声信号を波形にて示しているが、実際には時系列のディジタルデータが記録されている。

【0054】

疲労感は作業車の自己申告による１～５までの数値にて示されており、１が「好調」で最も疲労感が少なく、２が「やや好調」、３が「ふつう」、４が「やや疲労」、５が「疲労」でもっとの疲労感が大きいことが示されている。サンプル番号は、異なる作業者（同じ作業者について異なるタイミング）の音声信号であることを示している。図４においては、例として５０個のサンプルを示している。

【0055】

次に、ＣＰＵは、取り込んだ作業前と作業後の音声信号について、音声信号の基本周波数Ｘ₁、Ｘ₁'を算出する（ステップＳ２）。ここで、基本周波数とは、声帯の開け閉めに起因して、音声波形において観測される周期の逆数である。図５に、算出された基本周波数を示す。

【0056】

次に、ＣＰＵは、作業後の基本周波数Ｘ₁'と作業前の基本周波数Ｘ₁との差周波数を算出する（ステップＳ３）。算出された差周波数を、図５に示す。

【0057】

さらに、ＣＰＵは、作業後の疲労感と作業前の疲労感との差疲労感を算出する（ステップＳ４）。差疲労感は、作業を行ったことによって生じた疲労を表す指標である。疲労度は、各人が感じる相対的なものであるから、この実施形態では、差疲労感を疲労度として採用している。算出された差疲労感を、図５に示す。

【0058】

続いて、ＣＰＵは、疲労度（差疲労感）ｙと差周波数δＸ₁との関係を重回帰分析し、下式のβ₀β₁を算出する（ステップＳ５）。

【0059】

ｙ＝β₀＋β₁（δＸ₁）
以上のようにして、疲労度推定関数を算出する。疲労度は、１～５の数値として算出される（５が最も疲労した状態である）。

【0060】

1.4疲労度推定処理
次に、上記の疲労度推定関数を用いた疲労推定を説明する。図６、図７は、疲労判定プログラムのフローチャートである。

【0061】

ＣＰＵ３０は、制御回路３６からエンジン始動の信号を受け取ると（ステップＳ１１）、スピーカ３４から発声を求めるメッセージを出力する（ステップＳ１２）。なお、エンジンの始動は、疲労推定装置に対して電源が供給されたことによって判断するようにしてもよい。

【0062】

発声を求めるメッセージとしては、例えば、「「あ～あ」と発声してください」のように、乗務員に発生を促すものとする。これを受けて、乗務員が「あ～あ」と発声すると、マイク４１からアナログ音声信号が出力され、Ｄ／Ａ変換機３９によって音声ディジタル信号に変換される。ＣＰＵ３０は、これを取得し、ハードディスク３６に記録する（ステップＳ１３）。

【0063】

乗務員が業務を開始しステップＳ１３から所定時間（たとえば４時間）が経過すると（ステップＳ１４）、ＣＰＵ３０は、スピーカ３４から発声を求めるメッセージを出力する（ステップＳ１５）。この際、ＣＰＵ３０は、ステップＳ１２において発声を求めた発話語と同じ発話語について発声を求める。すなわち、「「あ～あ」と発声してください」のように、乗務員に発生を促すものとする。

【0064】

これを受けて、乗務員が「あ～あ」と発声すると、マイク４１からアナログ音声信号が出力され、Ｄ／Ａ変換機３９によって音声ディジタル信号に変換される。ＣＰＵ３０は、これを取得し、ハードディスク３６に記録する（ステップＳ１６）。

【0065】

続いて、ＣＰＵ３０は、ステップＳ１３（業務開始前）において記録した音声、ステップＳ１６（現在）において記録した音声の基本周波数Ｘ₁、Ｘ₁'を算出する（ステップＳ１７）。さらに、現在の基本周波数Ｘ₁'から業務開始前の基本周波数Ｘ₁を減じ、その差周波数δＸ₁を算出する。

【0066】

ＣＰＵ３０は、疲労度推定関数ｙ＝β₀＋β₁（δＸ₁）に基づいて、疲労度ｙを推定する（ステップＳ１９）。推定した疲労度ｙが所定値を超えていなければ、ステップＳ１６の実行から所定時間経過したかどうかを判断し、所定時間経過すればステップＳ１５～Ｓ１９を実行して疲労度を推定する。

【0067】

推定した疲労度ｙが所定値を超えていれば、スピーカ３４から警告音声（「休息が必要です」など）を出力する（ステップＳ２１）。

【0068】

この警告を受けて、乗務員がエンジンを切って休息すると、疲労推定プログラム４４は休止する。休息後、乗務員が再度エンジンをスタートすると、疲労推定プログラム４４が起動し、ステップＳ１１以下を実行する。

【0069】

また、ステップＳ２１における警告後も乗務員がエンジンを切らずに業務を続けた場合、ステップＳ１６から所定時間経過すると、ステップＳ１５～Ｓ１９を実行して、疲労度を推定する。この疲労度が所定値を超えていれば、再び警告を出力する（ステップＳ２１）。

【0070】

以上のようにして、タクシー乗務員の疲労度を推定して警告を出力し、疲労に伴う事故を未然に防止することができる。

【0071】

上記実施では、発話語として「あ～あ」を用いている。「あ～あ」は、母音を含んでいる（母音のみで構成されている）ことから、基本周波数の変化が生じやすいので好ましい。したがって、「あ～あ」以外の発話語を用いる場合であっても、母音が含まれる割合の多い発話語を用いることが好ましい。

【0072】

また、「あ～あ」は、疲れに関する意味を持つ言葉であるから感情を込めやすい。このため、疲れに応じた基本周波数の変化が生じやすいので好ましい。したがって、「あ～あ」以外の発話語を用いる場合であっても、「疲れた」などの感情を込めやすい発話語を用いることが好ましい。これに対し、「ただいま」や「これは実験です」などの感情の込めにくい発話語は、「疲れた」より適していないということができる。

【0073】

1.5その他
(1)上記実施形態では、警告を出力したにも拘わらずエンジンを停止させない場合であっても、所定時間経過後に再度、疲労度を推定するようにしている。しかし、警告を出力したにも拘わらずエンジンを停止させない場合には、当該所定時間を通常の所定時間より短くして、疲労度を推定するようにしてもよい。

【0074】

(2)上記実施形態では、タクシーの乗務員の疲労度推定を例として説明したが、他の作業を行う作業員一般に適用することができる。

【0075】

(3)上記実施形態では、業務開始時を第１の時点とし、業務中を第２の時点としている。しかし、業務中のある時点を第１の時点とし、これより後の業務中の時点を第２の時点としてもよい。

【0076】

(4)上記実施形態では、警告を発するようにしているが、エンジンの停止など疲労となる原因を取り除く処理を実行するようにしてもよい。

【0077】

(5)上記実施形態では、差周波数（第２の時点の基本周波数と第１の時点の基本周波数の差）を用いて疲労度の推定を行っている。しかし、差継続時間長（第２の時点の音声信号の継続時間長と第１の時点の音声信号の継続時間長の差）を用いて疲労度を推定するようにしてもよい。この場合の、疲労度推定関数は、下記のとおりである。

【0078】

ｙ＝β₀＋β₃（δＸ₃）
ここで、β₀、β₃は定数、δＸ₃は差継続時間長である。なお、疲労度推定関数の算出の仕方は、図３と同様である。なお、疲労によって差継続時間長に変化が生じやすいのは、発話時に感情の入りやすい「つかれた」などの発話語である。

【0079】

また、差平均パワー（第２の時点の平均パワーと第１の時点の平均パワーの差）を用いて疲労度の推定を行うようにしてもよい。

【0080】

(6)上記実施形態では、差周波数と差疲労感との相関関係によって、疲労度推定関数を算出し、疲労度を推定するようにしている。しかし、疲労すると差周波数が大きくなると仮定し、差周波数の変化率ΔＸ₁が疲労度に比例するものとして推定を行うようにしてもよい。

【0081】

この場合の疲労度推定関数は、以下のとおりである。

【0082】

ΔＸ₁ = １００・（Ｘ₁'－Ｘ₁）／Ｘ₁
たとえば、ΔＸ₁が所定値を超えると疲労していると判断する。

【0083】

差時間継続長についても同様に疲労度推定関数を生成することができる。

【0084】

(7)上記実施形態では、タクシーに搭載された疲労推定装置について説明した。しかし、通常のコンピュータを疲労推定装置としてもよい。また、サーバ装置として構築してもよい。疲労推定装置をサーバ装置として構築した場合の機能ブロック図を、図８に示す。

【0085】

端末装置２０とサーバ装置１０は、インターネットなどの通信回線を通じて接続されている。端末装置２０には、マイクが設けられ、第１の時点における発話語の音声ディジタル信号が生成される。同様に、第２の時点における発話語の音声ディジタル信号が生成される。これらの音声ディジタル信号は、第１発声音送信手段３、第２発声音送信手段５によって、サーバ装置１０に送信される。

【0086】

サーバ装置１０における、第１発声音取得手段２、第２発声音取得手段４、基本周波数算出手段６、疲労度算出手段８は、図１と同様の機能を持つものである。疲労度算出手段８は、推定した疲労度を、端末装置２０に送信する。疲労度を受信した端末装置２０の警告手段７は、スピーカ、ディスプレイなどから警告を出力する。

【0087】

(8)上記実施形態では、多数人の音声データに基づいて疲労推定関数を生成している。しかし、疲労の推定を行いたい乗務員の音声データにもに基づいて疲労推定関数を生成するようにしてもよい。これにより、より精度が向上する。

【0088】

(9)上記実施形態では、作業開始前を第１の時点、作業中を第２の時点としている。しかし、作業中の任意の時点を、第１の時点、第２の時点（第１の時点より後の時点）としてもよい。

【0089】

(10)上記変形例は、その本質に反しない限り、他の実施形態と組み合わせることが可能である。

【0090】

２．第２の実施形態
2.1機能構成
図９に、第２の実施形態による疲労推定装置の機能構成を示す。過去発生音取得手段５０は、記録されている過去の発声音の音声ディジタルデータのセット（第１の時点と第２の時点の音声ディジタルデータおよび疲労感のセット）を複数セット読み出す。

【0091】

差疲労感算出手段５２は、第１の時点と第２の時点における疲労感の差を差疲労感として算出する。

【0092】

過去差要素算出手段５４は、各セットの第１の時点と第２の時点の音声ディジタルデータの基本周波数の差、各セットの第１の時点と第２の時点の音声ディジタルデータの平均パワーの差、各セットの第１の時点と第２の時点の音声ディジタルデータの継続時間長の差を算出する。

【0093】

要素抽出手段５６は、差周波数、差平均パワー、差継続時間長のうち、差疲労感との相関度が所定値以上のものを抽出要素として抽出する。

【0094】

対象発声音取得手段５８は、疲労度推定を行う対象者の発声音（第１の時点と第２の時点の音声ディジタルデータ）を取得する。

【0095】

対象差要素算出手段６０は、対象者の第１の時点および第２の時点における発声音について、第１の時点と第２の時点の音声ディジタルデータの基本周波数の差、第１の時点と第２の時点の音声ディジタルデータの平均パワーの差、第１の時点と第２の時点の音声ディジタルデータの継続時間長の差を算出する。

【0096】

対象差要素抽出手段６２は、対象差要素算出手段６０において算出された基本周波数の差、平均パワーの差、継続時間長の差のうち、要素抽出手段５４によって、差疲労感との相関度が高いものとして抽出された要素に関連したものを選択する。

【0097】

疲労度予測手段６４は、対象差抽出手段６２によって選択された差要素に基づいて、前記要素抽出手段５６において算出した相関を用いて、疲労度を算出する。疲労度評価手段６６は、算出された疲労度の正当性を判断する。

【0098】

なお、要素抽出手段５４における相関や、いずれの差要素を抽出するかは、対象差要素算出手段５８、疲労度抽出手段５４からのデータを受けて、修正手段６８が、フィードバックによって修正する。

【0099】

したがって、利用と共に疲労度の予測精度を向上させることができる。

【0100】

2.2ハードウエア構成
ハードウエア構成は、図２と同様である。

【0101】

2.3疲労度推定処理
第１の実施形態では、疲労度推定関数は固定されていた。この実施形態では、疲労度推定関数がダイナミックに変化する点が異なっている。

【0102】

図１０～１２に、疲労判定プログラムのフローチャートを示す。ステップＳ３１～Ｓ３６は、図６のステップＳ１１～Ｓ１６と同様である。

【0103】

第１の時点（乗務前）と、第２の時点（乗務中）の乗務員の音声を取得すると、ＣＰＵ３０は、基本周波数の算出を行う（ステップＳ３７）。さらに、算出した第２時点の基本周波数から第１の時点の基本周波数を減算し差基本周波数を算出する（ステップＳ３８）。

【0104】

次に、ＣＰＵ３０は、第１の時点と第２の時点の平均パワーを算出する（ステップＳ３９）。さらに、算出した第２時点の平均パワーから第１の時点の平均パワーを減算し差平均パワーを算出する（ステップＳ４０）。

【0105】

次に、ＣＰＵ３０は、第１の時点と第２の時点の継続時間長を算出する（ステップＳ４１）。さらに、算出した第２時点の継続時間長から第１の時点の継続時間長を減算し差継続時間長を算出する（ステップＳ４２）。これらは、ハードディスク３６に記録される。

【0106】

この実施形態では、上記で算出した差基本周波数、差平均パワー、差継続時間長の必ずしも全てを用いて疲労度の予測を行うのではなく、これらのうち、抽出した要素に基づいて予測を行うようにしている。抽出の処理については後に説明することとし、以下では、要素が抽出されているものとして説明を行う。たとえば、ここでは、差継続時間長が抽出され、以下の疲労度推定関数が記録されているものと仮定して説明を行う。

【0107】

ｙ＝β₀＋β₃（δＸ₃）
ここで、β₀、β₃は定数、δＸ₃は差継続時間長である。

【0108】

ＣＰＵ３０は、ステップＳ４３において、ステップＳ４２において算出した差継続時間長に基づいて疲労度を推定する。推定した疲労度ｙが所定値を超えていなければ、ステップＳ４２の実行から所定時間経過したかどうかを判断し、所定時間経過すればステップＳ３１～Ｓ４３を実行して疲労度を推定する。

【0109】

推定した疲労度ｙが所定値を超えていれば、スピーカ３４から警告音声（「休息が必要です」など）を出力する（ステップＳ４５）。

【0110】

この警告を受けて、乗務員がエンジンを切って休息すると、疲労推定プログラム４４は休止する。休息後、乗務員が再度エンジンをスタートすると、疲労推定プログラム４４が起動し、ステップＳ３１以下を実行する。

【0111】

また、ステップＳ４５における警告後も乗務員がエンジンを切らずに業務を続けた場合、ステップＳ４２から所定時間経過すると、ステップＳ３１～Ｓ４３を実行して、疲労度を推定する。この疲労度が所定値を超えていれば、再び警告を出力する（ステップＳ４５）。

【0112】

なお、この実施形態では、ＣＰＵ３０が抽出差要素に基づいて疲労度を推定した後に（ステップＳ４３）、乗務員に対し、スピーカ３４にて自己評価の疲労感の入力を促す（ステップＳ４６）。この入力は、たとえば、タッチディスプレイ（図示せず）やマイク（図示せず）から行うことができ、１～５の５段階にて入力することができる。この自己評価による疲労感は、ステップＳ３７～Ｓ４２において算出した差基本周波数、差平均パワー、差継続時間長とセットにして、ハードディスク３６に記録される。

【0113】

さらに、この実施形態では、ＣＰＵ３０は、過去に記録されている差基本周波数、差平均パワー、差継続時間長、疲労感と、新たに追加された差基本周波数、差平均パワー、差継続時間長、疲労感に基づいて、疲労度推定関数を再計算するようにしている。

【0114】

ＣＰＵ３０は、前回の疲労度推定関数の再計算から、ステップＳ４３における疲労度推定が所定回数に達すると（あるいは、所定時間が経過すると）、差要素の抽出を再計算する（ステップＳ４８）。すなわち、差基本周波数、差平均パワー、差継続時間長のいずれが、自己評価の疲労感と最も相関が高いかを選択する。

【0115】

ここでは、発話語として「これは実験です」という言葉を用いたとして説明する。図１３に、記録された差疲労感、差基本周波数、差パワー、差継続時間長を示す。下から６つのデータは、前回の再計算の後に記録されたデータである。ＣＰＵ３０は、追加されたデータも含めて、差基本周波数、差パワー、差継続時間長のそれぞれについて、差疲労感との相関の程度を算出する。この実施形態では、ｔ検定によって相関度を算出するようにしている。

【0116】

図１４に、図１３のデータについてｔ検定を行った結果を示す。これによれば、差継続時間長が最も相関度が高い（数値が小さい）ので、差継続時間長が差要素として抽出される。つまり、引き続き差継続時間長が差要素として用いられることになる。

【0117】

続いて、ＣＰＵ３０は、疲労度（差疲労感）ｙと差継続時間長δＸ₃との関係を重回帰分析し、下式のβ₀β₁を算出する（ステップＳ４９）。

【0118】

ｙ＝β₀＋β₁（δＸ₃）
ＣＰＵ３０は、算出した疲労度推定関数をハードディスク３６に記録し、次回からの疲労度推定に用いる。

【0119】

上記のように、この実施形態では、相関の高い差要素を抽出し直し、疲労度推定関数を再計算するようにしている。したがって、運用によってより精度の高くなる疲労推定装置を実現することができる。

【0120】

2.4その他
(1)上記実施形態では、ステップＳ４８において相関の高い差要素を一つだけ抽出するようにしている。しかし、複数の差要素を抽出し（所定のｔ値以下のものを抽出するなど）、下式に基づいて疲労度を推定するようにしてもよい。

【0121】

ｙ＝β₀＋β₁（δＸ₁）＋β₂（δＸ₂）
また、個々の相関度に関係なく、全ての差要素を用いて下式を用いて重回帰分析を行って推定式を決定するようにしてもよい。

【0122】

ｙ＝β₀＋β₁（δＸ₁）＋β₂（δＸ₂）＋β₃（δＸ₃）
ここで、δＸ₁は差基本周波数、δＸ₂は差平均パワー、δＸ₃は差継続時間長である。

【0123】

(2)上記変形例は、その本質に反しない限り、他の実施形態と組み合わせることが可能である。

【0124】

３．実験結果
図１５～図１９に、発話語を「はい」「ただいま」「あ～あ」「疲れた」「これは実験です」とした場合の、差疲労感、差基本周波数、差平均パワー、差継続時間長を示す。さらに、図２０に、それぞれのｔ検定の値を示す。

【0125】

図２０に示すように、差基本周波数は、いずれの発話語においても、差疲労感との良好な相関が得られた。このうち、特に発話語として「あ～あ」や「疲れた」のように感情の入りやすい発話語が、良好な相関関係を示した。

【0126】

差平均パワーについては、「這い」「ただいま」のような、比較的短く発話できるものが良好な相関関係を示した。

【0127】

差継続時間長については、「あ～あ」や「疲れた」のように感情の入りやすい発話語が、良好な相関関係を示した。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】