特許第6973490号(P6973490)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通株式会社の特許一覧

特許6973490検知プログラム、検知方法、および検知システム
<>
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000003
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000004
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000005
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000006
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000007
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000008
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000009
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000010
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000011
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000012
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000013
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000014
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000015
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000016
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000017
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000018
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000019
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000020
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000021
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000022
  • 特許6973490-検知プログラム、検知方法、および検知システム 図000023
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6973490
(24)【登録日】2021年11月8日
(45)【発行日】2021年12月1日
(54)【発明の名称】検知プログラム、検知方法、および検知システム
(51)【国際特許分類】
   G08G 1/16 20060101AFI20211118BHJP
   B60W 40/08 20120101ALI20211118BHJP
   B60K 28/06 20060101ALI20211118BHJP
   A61B 5/18 20060101ALI20211118BHJP
   A61B 5/16 20060101ALI20211118BHJP
【FI】
   G08G1/16 F
   B60W40/08
   B60K28/06 A
   A61B5/18
   A61B5/16 400
   A61B5/16 200
【請求項の数】8
【全頁数】32
(21)【出願番号】特願2019-538867(P2019-538867)
(86)(22)【出願日】2017年8月31日
(86)【国際出願番号】JP2017031498
(87)【国際公開番号】WO2019043896
(87)【国際公開日】20190307
【審査請求日】2019年11月5日
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100104190
【弁理士】
【氏名又は名称】酒井 昭徳
(72)【発明者】
【氏名】山地 隆行
【審査官】 菅家 裕輔
(56)【参考文献】
【文献】 国際公開第2006/093074(WO,A1)
【文献】 特開2014−106899(JP,A)
【文献】 特開2000−283787(JP,A)
【文献】 特開2008−301841(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00−99/00
B60W 10/00−10/30
B60W 30/00−60/00
B60K 28/02
A61B 5/16−5/18
(57)【特許請求の範囲】
【請求項1】
定期的に撮像された移動体内の被写体の画像情報を取得し、
定期的に計測された前記移動体内の照度を示す照度情報を取得し、
前記移動体の位置の時系列変化を示す情報と、トンネルが設けられた場所を示す情報とに基づいて、前記移動体が前記トンネルに入った第1のタイミングと、前記移動体が前記トンネルを出た第2のタイミングとを特定し、
取得した前記画像情報のうち、特定した前記第1のタイミングから前記第2のタイミングまでの期間に撮像された画像情報を選定し、取得した前記照度情報のうち、前記期間に計測された照度を示す照度情報を選定し、
選定した前記画像情報に基づいて、前記被写体の瞳孔径の時系列変化に関する第1の特徴情報を生成し、
選定した前記照度情報に基づいて、前記移動体内の照度の時系列変化に関する第2の特徴情報を生成し、
生成した前記第1の特徴情報のうちの一定の幅を持った瞳孔径の波形が表れる区間と前記第2の特徴情報のうちの一定の幅を持った照度の波形が表れる区間とに基づいて、前記被写体に照射された光に対する前記被写体の瞳孔の反射速度に関する反応情報を生成し、
生成した前記反応情報に基づいて、前記被写体の疲労状態を検知する、
処理をコンピュータに実行させることを特徴とする検知プログラム。
【請求項2】
前記第1の特徴情報に基づいて、前記被写体の瞳孔径の時系列変化を表す波形の特徴点のうち連続する特徴点間の時間間隔から第1の有効区間を特定し、
前記第2の特徴情報に基づいて、前記移動体内の照度の時系列変化を表す波形の特徴点のうち連続する特徴点間の時間間隔から第2の有効区間を特定し、
特定した前記第1の有効区間と前記第2の有効区間とに基づいて、前記被写体の瞳孔径の時系列変化を示す有効データを判定し、
判定した前記有効データに基づいて、前記反応情報を生成する、
処理を前記コンピュータに実行させることを特徴とする請求項1に記載の検知プログラム。
【請求項3】
前記特徴点は、前記波形の極大点、極小点、または、下り変化量最大点の少なくともいずれかの点である、ことを特徴とする請求項2に記載の検知プログラム。
【請求項4】
前記反応情報は、前記被写体に光が照射された際の前記被写体の瞳孔の変化速度、または、前記被写体の瞳孔径の時系列変化を表す波形の長さを示し、
前記検知する処理は、
前記変化速度が第1の閾値以下、または、前記波形の長さが第2の閾値以下の場合に、前記被写体が疲労ありの状態であることを検知する、
ことを特徴とする請求項1〜3のいずれか一つに記載の検知プログラム。
【請求項5】
検知した前記被写体の疲労状態を出力する、
処理を前記コンピュータに実行させることを特徴とする請求項1〜4のいずれか一つに記載の検知プログラム。
【請求項6】
前記照度情報は、前記移動体内に設置された照度センサから出力され、前記移動体内に入射した光の照度を示す情報である、ことを特徴とする請求項1〜5のいずれか一つに記載の検知プログラム。
【請求項7】
定期的に撮像された移動体内の被写体の画像情報を取得し、
定期的に計測された前記移動体内の照度を示す照度情報を取得し、
前記移動体の位置の時系列変化を示す情報と、トンネルが設けられた場所を示す情報とに基づいて、前記移動体が前記トンネルに入った第1のタイミングと、前記移動体が前記トンネルを出た第2のタイミングとを特定し、
取得した前記画像情報のうち、特定した前記第1のタイミングから前記第2のタイミングまでの期間に撮像された画像情報を選定し、取得した前記照度情報のうち、前記期間に計測された照度を示す照度情報を選定し、
選定した前記画像情報に基づいて、前記被写体の瞳孔径の時系列変化に関する第1の特徴情報を生成し、
選定した前記照度情報に基づいて、前記移動体内の照度の時系列変化に関する第2の特徴情報を生成し、
生成した前記第1の特徴情報のうちの一定の幅を持った瞳孔径の波形が表れる区間と前記第2の特徴情報のうちの一定の幅を持った照度の波形が表れる区間とに基づいて、前記被写体に照射された光に対する前記被写体の瞳孔の反射速度に関する反応情報を生成し、
生成した前記反応情報に基づいて、前記被写体の疲労状態を検知する、
処理をコンピュータが実行することを特徴とする検知方法。
【請求項8】
移動体内の被写体を撮像する撮像装置と、
前記移動体内の照度を計測するセンサと、
前記撮像装置によって定期的に撮像された画像情報を取得し、前記センサによって定期的に計測された照度を示す照度情報を取得し、前記移動体の位置の時系列変化を示す情報と、トンネルが設けられた場所を示す情報とに基づいて、前記移動体が前記トンネルに入った第1のタイミングと、前記移動体が前記トンネルを出た第2のタイミングとを特定し、取得した前記画像情報のうち、特定した前記第1のタイミングから前記第2のタイミングまでの期間に撮像された画像情報を選定し、取得した前記照度情報のうち、前記期間に計測された照度を示す照度情報を選定し、選定した前記画像情報に基づいて、前記被写体の瞳孔径の時系列変化に関する第1の特徴情報を生成し、選定した前記照度情報に基づいて、前記移動体内の照度の時系列変化に関する第2の特徴情報を生成し、生成した前記第1の特徴情報のうちの一定の幅を持った瞳孔径の波形が表れる区間と前記第2の特徴情報のうちの一定の幅を持った照度の波形が表れる区間とに基づいて、前記被写体に照射された光に対する前記被写体の瞳孔の反射速度に関する反応情報を生成し、生成した前記反応情報に基づいて、前記被写体の疲労状態を検知する検知装置と、
を含むことを特徴とする検知システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検知プログラム、検知方法、および検知システムに関する。
【背景技術】
【0002】
従来、対象者へ可視光を照射した際にどの程度早く瞳孔が収縮するかという瞳孔反射の速さから、対象者の疲労度を推定可能であることが知られている。
【0003】
先行技術としては、点滅する可視光を放射する発光部と、赤外線を照射する照明部と、赤外線映像を撮影する撮像部と、制御部とを備える、精神的疲労の検出装置がある。この検出装置では、発光部が、単調かつ階段状に点滅周波数が変化する可視光を被験者に提示する。そして、制御部が、撮像部によって撮影された被験者の目を含む映像を構成するフレーム画像から瞳孔径の時系列データを求め、瞳孔径の変動から、被験者が精神的疲労状態にあるか否かを判断する。また、対象者の顔を撮影し、撮影された顔画像から瞳孔の面積を検出し、検出された瞳孔面積を基準値と比較することにより、対象者の眠気を検知する眠気検知装置がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−301841号公報
【特許文献2】特開2008−246013号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来技術では、自動車や鉄道などの移動体内の対象者の疲労状態を検知することが難しい。例えば、従来技術では、対象者の瞳孔反射の速さから疲労状態を判断するために、規則的に点滅する可視光を放射する光源を準備する必要がある。また、運転中の対象者に対して点滅する可視光を継続して当てることになると、対象者に負担がかかり、安全運転の妨げになるおそれがあり実用的ではない。
【0006】
一つの側面では、本発明は、移動体内の対象者の疲労状態を検知することを目的とする。
【課題を解決するための手段】
【0007】
1つの実施態様では、移動体内の被写体を撮像した画像情報を取得し、前記移動体内の照度を示す照度情報を取得し、取得した前記画像情報に基づいて、前記被写体の瞳孔径の時系列変化に関する第1の特徴情報を生成し、取得した前記照度情報に基づいて、前記移動体内の照度の時系列変化に関する第2の特徴情報を生成し、生成した前記第1の特徴情報と前記第2の特徴情報とに基づいて、前記被写体に照射された光に対する前記被写体の瞳孔の反射速度に関する反応情報を生成し、生成した前記反応情報に基づいて、前記被写体の疲労状態を検知する、検知プログラムが提供される。
【0008】
また、1つの実施態様では、移動体の位置の時系列変化を示す情報と、トンネルが設けられた場所を示す情報とに基づいて、前記移動体が前記トンネルに入った第1のタイミングと、前記移動体が前記トンネルを出た第2のタイミングとを特定し、特定した前記第1のタイミングと前記第2のタイミングとに基づいて、前記移動体内の対象者に関する計測データを選定し、選定した前記計測データに基づいて、前記対象者の疲労状態を検知する、検知プログラムが提供される。
【発明の効果】
【0009】
本発明の一側面によれば、移動体内の対象者の疲労状態を検知することができる。
【図面の簡単な説明】
【0010】
図1図1は、実施の形態1にかかる検知方法の一実施例を示す説明図である。
図2図2は、実施の形態2にかかる検知方法の一実施例を示す説明図である。
図3図3は、実施の形態3にかかる検知システム300のシステム構成例を示す説明図である。
図4図4は、検知装置101のハードウェア構成例を示すブロック図である。
図5図5は、端末装置301のハードウェア構成例を示すブロック図である。
図6図6は、位置DB320の記憶内容の一例を示す説明図である。
図7図7は、トンネル内瞳孔径DB360の記憶内容の一例を示す説明図である。
図8図8は、トンネル内照度DB370の記憶内容の一例を示す説明図である。
図9図9は、検知装置101の機能的構成例を示すブロック図である。
図10図10は、瞳孔径および照度の時系列変化を表す波形を示す説明図である。
図11図11は、対象者の瞳孔径の時系列変化を示す有効データの判定例を示す説明図である。
図12図12は、特徴情報の具体例を示す説明図(その1)である。
図13図13は、特徴情報の具体例を示す説明図(その2)である。
図14図14は、瞳孔の変化速度の算出例を示す説明図である。
図15図15は、対象者の瞳孔径の時系列変化を表す波形の一部を示す説明図である。
図16図16は、対象者の疲労状態の出力例を示す説明図(その1)である。
図17図17は、対象者の疲労状態の出力例を示す説明図(その2)である。
図18図18は、検知装置101のトンネルフラグ判定処理手順の一例を示すフローチャートである。
図19図19は、検知装置101の疲労状態検知処理手順の一例を示すフローチャート(その1)である。
図20図20は、検知装置101の疲労状態検知処理手順の一例を示すフローチャート(その2)である。
図21図21は、反応情報生成処理の具体的処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下に図面を参照して、本発明にかかる検知プログラム、検知方法、および検知システムの実施の形態を詳細に説明する。
【0012】
(実施の形態1)
図1は、実施の形態1にかかる検知方法の一実施例を示す説明図である。図1において、検知装置101は、移動体M内の対象者の疲労状態を検知するコンピュータである。移動体Mは、自動車、鉄道、オートバイ、自転車などである。自動車は、普通自動車、トラック、バスなどを含む。鉄道は、電車、新幹線などを含む。対象者は、移動体Mに乗っている者であり、例えば、自動車や鉄道の運転手である。
【0013】
人は疲労が蓄積していくと、判断力や注意力が低下する傾向がある。このため、長距離トラックの運転手や、鉄道の運転手などの疲労状態を把握して、疲労が要因となる事故を防ぐことは重要である。例えば、運転者の疲労状態を検知できれば、疲労している運転手に休憩を促したり、運転を交代させたりすることができる。
【0014】
対象者の疲労状態を推定する技術としては、対象者へ可視光を照射した際にどの程度早く瞳孔が収縮するかという瞳孔反射の速さから疲労状態を検知するものがある。これは、疲労していない時と比較して、疲労時には瞳孔反射の速さが遅くなる、すなわち、可視光の照射タイミングに対して、瞳孔が収縮するまでの反応速度が鈍くなることを利用したものである。
【0015】
ところが、移動体M内の対象者の疲労状態を検知するために、規則的に点滅する可視光を放射する光源を準備することになると、設置コストや装置コストが増加する。また、運転中の対象者に対して点滅する可視光を継続して当てることになると、対象者に負担がかかり、安全運転の妨げになるおそれがある。さらに、車外から入射する太陽光等がノイズとなり正確な値を得ることができない場合がある。
【0016】
ここで、トンネルは、山腹や地下などを掘り貫いた通路である。トンネル内には複数の照明(光源)が設置されており、トンネル内を対象者が移動体Mで通過する際は、移動体M内の環境が「点滅する光源」によって光が照射された状態と類似したものとなる。また、トンネル内では、自然光の影響がほとんどない。さらに、トンネル内は、一方通行であったり、対向車線との間に遮光用フェンスが設けられていることが多く、対向車のライトの影響がほとんどない。
【0017】
このため、トンネル内を走行しているときの対象者の瞳孔反射から、対象者の疲労状態を検知することが考えられる。しかし、トンネル内を走行する移動体Mの速さが一定であるとは限らないし、照明の設置間隔も一定であるとは限らない。また、トンネル内には、非常灯が設置されていたり、他よりも明るい避難所が設けられていることもある。
【0018】
したがって、トンネル内を走行しているときの移動体M内の環境は、規則的に光が照射される状態となっているとは限らない。パルス光のような規則的な光が照射されるような環境下でなければ、瞳孔反射の速さから、対象者の疲労状態を正確に検知することが難しくなる。
【0019】
さらに、対象者は、運転中に車載機や計器類等を見ることもあり、前(走行方向)を向いているとは限らない。また、対象者が瞬きしたときは瞳孔を検出できない。対象者が前を向いているときの瞳孔反射の速さを得られないと、対象者の疲労状態を正確に検知することが難しくなる。
【0020】
そこで、実施の形態1では、トンネル内のように走行している移動体M内に規則的に光が照射される環境を利用して、移動体M内の対象者の瞳孔反射の速さから対象者の疲労状態を精度よく検知する検知方法について説明する。以下、実施の形態1にかかる検知装置101の処理例について説明する。
【0021】
(1−1)検知装置101は、移動体M内の被写体を撮像した画像情報を取得する。移動体M内の被写体は、疲労状態を検知する対象となる者であり、例えば、移動体Mの運転手である。また、検知装置101は、移動体M内の照度を示す照度情報を取得する。照度(光量)は、光に照らされている面の明るさの度合いを表す。照度情報は、例えば、トンネル内の照明等により、移動体M内に入射した光の照度を示す情報である。
【0022】
図1の例では、移動体Mには、センサユニットSUが設けられる。センサユニットSUは、移動体M内の被写体を撮像する撮像装置(例えば、後述の図5に示す赤外線カメラ507)を有する。また、センサユニットSUは、移動体M内の照度を計測する照度センサ(例えば、後述の図5に示す照度センサ505)を有する。照度は、例えば、受光素子によって検出される光の強弱を示す電気信号から特定される。照度センサ(受光素子)は、移動体M内に入射した光を受光可能な位置、例えば、フロントガラスやダッシュボード上に設けられる。ただし、照度は、例えば、移動体M内を撮像した画像情報から特定されることにしてもよい。
【0023】
具体的には、例えば、検知装置101は、センサユニットSUにより定期的に撮像される画像情報Iを順次取得する。また、検知装置101は、センサユニットSUにより定期的に計測される移動体M内の照度を示す照度情報Lを順次取得する。画像の撮像タイミングと照度の計測タイミングは、同じであっても異なっていてもよい。
【0024】
また、検知装置101は、例えば、一定期間分の画像情報Iや照度情報Lを一括して取得することにしてもよい。なお、センサユニットSUが通信機能を有していない場合、検知装置101は、移動体M内の通信機能を有する他機器を介して、センサユニットSUから画像情報Iや照度情報Lを取得することにしてもよい。
【0025】
(1−2)検知装置101は、取得した画像情報に基づいて、移動体M内の被写体の瞳孔径の時系列変化に関する第1の特徴情報を生成する。ここで、被写体の瞳孔径とは、被写体の瞳孔の大きさ(直径)である。具体的には、例えば、検知装置101は、取得した画像情報Iから被写体の瞳孔を検出し、検出した瞳孔の瞳孔径を算出する。
【0026】
より具体的には、例えば、検知装置101は、画像情報Iから被写体の目の領域を検出する。そして、検知装置101は、検出した目の領域に対して、テンプレートマッチングを実行することで、被写体の瞳孔を検出する。なお、瞳孔の検出技術については、例えば、特開2017−10337号公報を参照することができる。
【0027】
図1の例では、第1の特徴情報110が生成された場合を想定する。第1の特徴情報110は、移動体M内の被写体の瞳孔径(単位:mm)の時系列変化を表す波形情報である(図1中、点線グラフ)。
【0028】
(1−3)検知装置101は、取得した照度情報に基づいて、移動体M内の照度の時系列変化に関する第2の特徴情報を生成する。なお、センサユニットSUにより計測された照度が電圧によって表される場合、検知装置101は、[Lx]の単位に変換する。
【0029】
図1の例では、第2の特徴情報120が生成された場合を想定する。第2の特徴情報120は、移動体M内の照度(単位:Lx)の時系列変化を表す波形情報である(図1中、実線グラフ)。
【0030】
(1−4)検知装置101は、生成した第1の特徴情報と第2の特徴情報とに基づいて、移動体M内の被写体に照射された光に対する被写体の瞳孔の反射速度に関する反応情報を生成する。反応情報は、例えば、被写体に光が照射された際の被写体の瞳孔の変化速度(単位:mm/s)を示す情報である。
【0031】
具体的には、例えば、検知装置101は、第1の特徴情報110に基づいて、被写体の瞳孔径の時系列変化を表す波形の特徴点を抽出する。特徴点は、例えば、波形の極大点、極小点、および下り変化量最大点(ゼロクロス)の少なくともいずれかの点である。そして、検知装置101は、抽出した特徴点のうち連続する特徴点間の時間間隔から第1の有効区間を特定する。第1の有効区間は、パルス波のように一定の幅を持った瞳孔径の波形が表れる区間である。
【0032】
また、検知装置101は、第2の特徴情報120に基づいて、移動体M内の照度の時系列変化を表す波形の特徴点を抽出する。そして、検知装置101は、抽出した特徴点のうち連続する特徴点間の時間間隔から第2の有効区間を特定する。第2の有効区間は、パルス波のように一定の幅を持った照度の波形が表れる区間である。
【0033】
つぎに、検知装置101は、特定した第1の有効区間と第2の有効区間とに基づいて、被写体の瞳孔径の時系列変化を示す有効データを取得する。ここで、有効データは、パルス光のような規則的な光が被写体に照射された環境下での被写体の瞳孔径の時系列変化を示す情報である。
【0034】
そして、検知装置101は、取得した有効データに基づいて、被写体の瞳孔の反射速度に関する反応情報を生成する。より具体的には、例えば、検知装置101は、有効データにおいて連続する瞳孔径の極大点と極小点との変化量および時間差から、瞳孔の反射速度(変化速度)を算出する。
【0035】
図1の例では、移動体M内の被写体の瞳孔の反射速度(単位:mm/s)を示す反応情報130が生成された場合を想定する。
【0036】
(1−5)検知装置101は、生成した反応情報に基づいて、被写体の疲労状態を検知する。具体的には、例えば、検知装置101は、生成した反応情報130が示す瞳孔の反射速度が閾値以下である場合に、被写体が疲労ありの状態であることを検知することにしてもよい。閾値は、任意に設定可能であり、例えば、被写体の性別、年齢等に応じて設定されることにしてもよい。
【0037】
以上説明したように、実施の形態1にかかる検知装置101によれば、トンネル内のように走行している移動体M内に規則的に光が照射される環境を利用して、移動体M内の被写体の疲労状態を精度よく検知することができる。例えば、疲労状態検知に用いる情報を、トンネル内の照明(光源)によって規則的に光が対象者に照射された区間の情報に限定することができる。また、疲労状態検知のために、規則的に点滅する光源を準備する必要がないため、設置コストや装置コストの増加を抑えることができる。さらに、規則的に点滅する光源により被写体に対して可視光を継続して当てる場合に比べて、被写体にかかる負担を削減することができる。
【0038】
なお、図1の例では、検知装置101とセンサユニットSUとが別体に設けられる場合を例に挙げて説明したが、これに限らない。例えば、センサユニットSUは、移動体Mに設けられる検知装置101に内蔵されることにしてもよい。
【0039】
(実施の形態2)
つぎに、実施の形態2にかかる検知装置101について説明する。なお、実施の形態1で説明した箇所と同様の箇所については、同一符合を付して説明を省略する。
【0040】
図2は、実施の形態2にかかる検知方法の一実施例を示す説明図である。ここで、対象者はトンネル以外も走行するため、疲労状態検知に適した環境下(トンネル内)を走行しているのか、疲労状態検知に適していない環境下(トンネル外)を走行しているのかを区別しなければ、対象者の疲労状態を正確に検知することが難しくなる。
【0041】
そこで、実施の形態2では、疲労状態検知に用いる情報を、トンネル内で得られた対象者に関する計測データ(例えば、移動体M内の被写体を撮像した画像情報)に限定することで、対象者の疲労状態の検知精度を向上させる検知方法について説明する。以下、実施の形態2にかかる検知装置101の処理例について説明する。
【0042】
(2−1)検知装置101は、移動体Mの位置を示す位置情報を取得する。移動体Mの位置情報は、移動体Mの位置を示す情報であり、例えば、移動体Mが位置する地点の緯度、経度の情報である。
【0043】
図2の例では、センサユニットSUは、移動体Mの位置を計測するセンサを有する。具体的には、例えば、検知装置101は、センサユニットSUにより定期的に計測される移動体Mの位置情報Pを順次取得する。
【0044】
また、検知装置101は、移動体M内の対象者に関する計測データを取得する。移動体M内の対象者は、疲労状態を検知する対象となる者であり、例えば、移動体Mの運転手である。対象者に関する計測データは、対象者の疲労状態検知に用いる情報であり、例えば、対象者を撮像した画像情報である。
【0045】
具体的には、例えば、検知装置101は、センサユニットSUにより定期的に計測される移動体M内の対象者に関する計測データを順次取得する。図2の例では、各時刻t1〜t50において計測された計測データD1〜D50が取得された場合を想定する。
【0046】
(2−2)検知装置101は、移動体Mの位置の時系列変化を示す情報と、場所情報210とに基づいて、移動体Mがトンネルに入った第1のタイミングと、移動体Mがトンネルから出た第2のタイミングとを特定する。移動体Mの位置の時系列変化を示す情報は、例えば、取得された移動体Mの位置情報を時系列に並べた情報である。場所情報210は、トンネルが設けられた場所を示す情報である。
【0047】
具体的には、例えば、検知装置101は、場所情報210を参照して、移動体Mの位置がトンネルである位置情報Pを特定する。そして、検知装置101は、特定した位置情報Pが計測された時刻に基づいて、移動体Mがトンネルに入った第1のタイミングと、移動体Mがトンネルから出た第2のタイミングとを特定する。
【0048】
図2の例では、移動体Mがトンネルに入った第1のタイミングtxと、移動体Mがトンネルから出た第2のタイミングtyとが特定された場合を想定する。なお、移動体Mが鉄道(電車、新幹線など)のときは、運行管理システムによって移動体Mがいつどこを走行するのかが管理される場合がある。この場合、検知装置101は、運行管理システムに問い合わせることにより、移動体Mがトンネルに入った第1のタイミングと、移動体Mがトンネルから出た第2のタイミングとを特定することにしてもよい。
【0049】
(2−3)検知装置101は、特定した第1のタイミングと第2のタイミングとに基づいて、移動体M内の対象者に関する計測データを選定する。具体的には、例えば、検知装置101は、第1のタイミングから第2のタイミングまでの期間に計測された移動体M内の対象者に関する計測データを選定する。
【0050】
図2の例では、各時刻t1〜t50において計測された計測データD1〜D50のうち、第1のタイミングtxから第2のタイミングtyまでの期間に計測された計測データD10〜D39が選定された場合を想定する。なお、計測データの選定は、例えば、移動体Mが走行中のリアルタイム、すなわち、第1および第2のタイミングが特定されたタイミングで、それまでに取得された計測データに対して行われてもよい。また、計測データの選定は、移動体Mの走行終了後に、走行中に取得された全計測データに対して行われることにしてもよい。
【0051】
(2−4)検知装置101は、選定した計測データに基づいて、対象者の疲労状態を検知する。具体的には、例えば、検知装置101は、取得した計測データD10〜D39に基づいて、対象者の瞳孔径の時系列変化に関する特徴情報を生成する。つぎに、検知装置101は、生成した特徴情報に基づいて、対象者に照射された光に対する対象者の瞳孔の反射速度に関する反応情報を生成する。そして、検知装置101は、生成した反応情報に基づいて、対象者の疲労状態を検知する。
【0052】
以上説明したように、実施の形態2にかかる検知装置101によれば、疲労状態検知に用いる情報を、移動体Mがトンネル内を走行しているとき、すなわち、疲労状態検知に適した環境下で計測された計測データ(画像情報)に限定することができる。これにより、例えば、移動体Mがトンネル内を走行しているタイミングや、移動体Mがトンネル内を走行しているときに計測された計測データを人手により指定しなくても、移動体M内の対象者の疲労状態を検知することができる。
【0053】
(実施の形態3)
つぎに、実施の形態3にかかる検知装置101について説明する。なお、実施の形態1,2で説明した箇所と同様の箇所については、同一符合を付して説明を省略する。まず、実施の形態3にかかる検知装置101を含む検知システム300のシステム構成例について説明する。
【0054】
図3は、実施の形態3にかかる検知システム300のシステム構成例を示す説明図である。図3において、検知システム300は、検知装置101と、複数の端末装置301(図3の例では、2台)と、を含む。検知システム300において、検知装置101、複数の端末装置301は、有線または無線のネットワーク310を介して接続される。ネットワーク310は、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、移動体通信網、インターネットなどである。
【0055】
検知装置101は、位置DB(Database)320、画像DB330、照度DB340、地図DB350、トンネル内瞳孔径DB360およびトンネル内照度DB370を有し、移動体M内の対象者の疲労状態を検知する。ここで、位置DB320は、移動体Mの位置情報を記憶する。画像DB330は、移動体M内の被写体を撮像した画像情報を記憶する。
【0056】
照度DB340は、移動体M内の照度を示す照度情報を記憶する。地図DB350は、地図情報を記憶する。地図情報は、移動体Mが走行する地域を一定の割合で縮小して平面上に表す情報である。トンネル内瞳孔径DB360は、移動体Mがトンネル内を走行しているときに撮像された画像情報に基づく被写体の瞳孔径を示す情報を記憶する。トンネル内照度DB370は、移動体Mがトンネル内を走行しているときの移動内M内の照度を示す情報を記憶する。
【0057】
なお、位置DB320、トンネル内瞳孔径DB360およびトンネル内照度DB370の記憶内容については、図6図8を用いて後述する。検知装置101は、例えば、PC(Personal Computer)やタブレット型PCなどであってもよく、また、サーバであってもよい。
【0058】
端末装置301は、移動体Mに設けられるコンピュータである。ここでは、端末装置301は、ネットワーク310を介して、検知装置101と直接通信可能である場合を想定するが、これに限らない。例えば、端末装置301は、スマートフォンなどの他の通信機器を介して、検知装置101と通信することにしてもよい。
【0059】
(検知装置101のハードウェア構成例)
図4は、検知装置101のハードウェア構成例を示すブロック図である。図4において、検知装置101は、CPU(Central Processing Unit)401と、メモリ402と、ディスクドライブ403と、ディスク404と、I/F(Interface)405と、ディスプレイ406と、入力装置407と、を有する。また、各構成部はバス400によってそれぞれ接続される。
【0060】
ここで、CPU401は、検知装置101の全体の制御を司る。メモリ402は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)およびフラッシュROMなどを有する記憶部である。具体的には、例えば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU401のワークエリアとして使用される。メモリ402に記憶されるプログラムは、CPU401にロードされることで、コーディングされている処理をCPU401に実行させる。
【0061】
ディスクドライブ403は、CPU401の制御に従ってディスク404に対するデータのリード/ライトを制御する。ディスク404は、ディスクドライブ403の制御で書き込まれたデータを記憶する。ディスク404としては、例えば、磁気ディスク、光ディスクなどが挙げられる。
【0062】
I/F405は、通信回線を通じてネットワーク310に接続され、ネットワーク310を介して外部装置(例えば、図3に示した端末装置301)に接続される。そして、I/F405は、ネットワーク310と自装置内部とのインターフェースを司り、外部装置からのデータの入出力を制御する。
【0063】
ディスプレイ406は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する表示装置である。ディスプレイ406としては、例えば、液晶ディスプレイ、CRT(Cathode Ray Tube)などを採用することができる。
【0064】
入力装置407は、文字、数字、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置407は、キーボードやマウスなどであってもよく、また、タッチパネル式の入力パッドやテンキーなどであってもよい。
【0065】
なお、検知装置101は、上述した構成部のうち、例えば、ディスクドライブ403、ディスク404、ディスプレイ406、入力装置407などを有さないことにしてもよい。また、ディスプレイ406や入力装置407は、検知装置101に接続された他のコンピュータが有することにしていてもよい。また、検知装置101は、上述した構成部のほかに、例えば、SSD(Solid State Drive)、GPU(Graphics Processing Unit)、スキャナ、プリンタなどを有することにしてもよい。
【0066】
(端末装置301のハードウェア構成例)
図5は、端末装置301のハードウェア構成例を示すブロック図である。図5において、端末装置301は、CPU501と、メモリ502と、I/F503と、GPS(Global Positioning System)ユニット504と、照度センサ505と、赤外線LED(Light Emitting Diode)506と、赤外線カメラ507と、を有する。また、各構成部は、バス500によってそれぞれ接続される。
【0067】
ここで、CPU501は、端末装置301の全体の制御を司る。メモリ502は、例えば、ROM、RAMおよびフラッシュROMなどを有する。具体的には、例えば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU501のワークエリアとして使用される。メモリ502に記憶されるプログラムは、CPU501にロードされることで、コーディングされている処理をCPU501に実行させる。
【0068】
I/F503は、通信回線を通じてネットワーク310に接続され、ネットワーク310を介して外部装置(例えば、図3に示した検知装置101)に接続される。そして、I/F503は、ネットワーク310と装置内部とのインターフェースを司り、外部装置からのデータの入出力を制御する。
【0069】
GPSユニット504は、GPS衛星からの電波を受信して、自装置の位置を示す位置情報を出力する。位置情報は、例えば、端末装置301の位置を示す座標(緯度、経度)が含まれる。ここでは、測位衛星としてGPS衛星を用いる場合を例に挙げて説明したが、例えば、準天頂衛星システムの測位衛星を用いることにしてもよい。
【0070】
照度センサ505は、照度を計測するセンサである。照度センサ505は、CPU501の制御に従って、照度を計測する時間間隔(サンプリング周期)を調整可能である。照度のサンプリング周期は、例えば、1[ms]である。照度センサ505は、移動体M内に入射した光を受光可能な位置、例えば、移動体Mのフロントガラスやダッシュボード上に設けられる。なお、図1および図2に示したセンサユニットSUは、例えば、照度センサ505を有する。
【0071】
赤外線LED506は、近赤外光を照射する光源である。近赤外光は、対象者には見えない波長の光である。赤外線LED506は、移動体Mの運転手に対して近赤外光が照射される位置、例えば、移動体Mのダッシュボード上に設けられる。
【0072】
赤外線カメラ507は、移動体M内の被写体を撮像する撮像装置である。赤外線カメラ507は、CPU501の制御に従って、被写体を撮像する時間間隔(サンプリング周期)を調整可能である。被写体を撮像するサンプリング周期は、例えば、50[ms]である。赤外線カメラ507は、移動体Mの運転手を撮像可能な位置、例えば、移動体Mのダッシュボード上に設けられる。図1および図2に示したセンサユニットSUは、例えば、赤外線LED506および赤外線カメラ507を有する。
【0073】
なお、端末装置301は、上述した構成部のほかに、例えば、SSD、HDD(Hard Disk Drive)、入力装置等を有することにしてもよい。また、GPSユニット504、照度センサ505、赤外線LED506および赤外線カメラ507は、端末装置301とは別体に設けられていてもよい。この場合、GPSユニット504、照度センサ505、赤外線LED506および赤外線カメラ507は、端末装置301と通信可能に接続される。
【0074】
(位置DB320の記憶内容)
つぎに、検知装置101が有する位置DB320の記憶内容について説明する。位置DB320は、例えば、図4に示したメモリ402、ディスク404などの記憶装置により実現される。
【0075】
図6は、位置DB320の記憶内容の一例を示す説明図である。図6において、位置DB320は、時刻、座標およびトンネルフラグのフィールドを有し、各フィールドに情報を設定することで、位置情報(例えば、位置情報600−1〜600−3)をレコードとして記憶する。
【0076】
ここで、時刻は、移動体Mの位置情報が計測された日時を示す。座標は、移動体Mの位置を示す緯度、経度である。トンネルフラグは、移動体Mの位置がトンネル内であるか否かを示す。ここでは、トンネルフラグ「0」は、移動体Mの位置がトンネル外であることを示す。トンネルフラグ「1」は、移動体Mの位置がトンネル内であることを示す。
【0077】
(トンネル内瞳孔径DB360の記憶内容)
つぎに、検知装置101が有するトンネル内瞳孔径DB360の記憶内容について説明する。トンネル内瞳孔径DB360は、例えば、図4に示したメモリ402、ディスク404などの記憶装置により実現される。
【0078】
図7は、トンネル内瞳孔径DB360の記憶内容の一例を示す説明図である。図7において、トンネル内瞳孔径DB360は、時刻、瞳孔径(L)および瞳孔径(R)のフィールドを有し、各フィールドに情報を設定することで、トンネル内瞳孔径情報(例えば、トンネル内瞳孔径情報700−1,700−2)をレコードとして記憶する。
【0079】
ここで、時刻は、移動体M内の被写体が撮像された日時(例えば、ミリ秒単位までの時刻)を示す。瞳孔径(L)は、対応する時刻に撮像された画像情報に基づく被写体の左目の瞳孔径を示す(単位:mm)。瞳孔径(R)は、対応する時刻に撮像された画像情報に基づく被写体の右目の瞳孔径を示す(単位:mm)。
【0080】
(トンネル内照度DB370の記憶内容)
つぎに、検知装置101が有するトンネル内照度DB370の記憶内容について説明する。トンネル内照度DB370は、例えば、図4に示したメモリ402、ディスク404などの記憶装置により実現される。
【0081】
図8は、トンネル内照度DB370の記憶内容の一例を示す説明図である。図8において、トンネル内照度DB370は、時刻および照度のフィールドを有し、各フィールドに情報を設定することで、トンネル内照度情報(例えば、トンネル内照度情報800−1,800−2)をレコードとして記憶する。
【0082】
ここで、時刻は、移動体M内の照度が計測された日時(例えば、ミリ秒単位までの時刻)を示す。照度は、対応する時刻に計測された移動体M内の照度を示す(単位:Lx)。
【0083】
(検知装置101の機能的構成例)
図9は、検知装置101の機能的構成例を示すブロック図である。図9において、検知装置101は、取得部901と、特定部902と、生成部903と、検知部904と、出力部905と、を含む。取得部901〜出力部905は制御部となる機能であり、具体的には、例えば、図4に示したメモリ402、ディスク404などの記憶装置に記憶されたプログラムをCPU401に実行させることにより、または、I/F405により、その機能を実現する。各機能部の処理結果は、例えば、メモリ402、ディスク404などの記憶装置に記憶される。
【0084】
取得部901は、移動体Mの位置を示す位置情報を取得する。移動体Mの位置情報には、例えば、移動体Mの位置が計測された時刻、および移動体Mの位置を示す緯度、経度が含まれる。具体的には、例えば、取得部901は、端末装置301のGPSユニット504(図5参照)により定期的に計測される移動体Mの位置情報を端末装置301から受信することにより、移動体Mの位置情報を順次取得する。
【0085】
取得された移動体Mの位置情報は、例えば、図6に示した位置DB320に記憶される。なお、トンネルフラグは初期状態では「0」である。
【0086】
特定部902は、移動体Mの位置の時系列変化を示す情報と、トンネルが設けられた場所を示す情報とに基づいて、移動体Mがトンネルに入った第1のタイミングと、移動体Mがトンネルを出た第2のタイミングとを特定する。ここで、トンネルが設けられた場所を示す情報は、例えば、地図DB350図3参照)に記憶された地図情報である。
【0087】
具体的には、例えば、特定部902は、地図DB350を参照して、取得された移動体Mの位置情報が示す位置を含む区間(リンク)を特定する。つぎに、特定部902は、地図DB350を参照して、特定した区間の属性が「トンネル」であるか否かを判断する。ここで、区間の属性が「トンネル」の場合、特定部902は、取得された移動体Mの位置情報のトンネルフラグに「1」を設定する。そして、特定部902は、位置DB320を参照して、トンネルフラグが時系列に連続して「1」となる複数の位置情報のうち、先頭の位置情報の時刻を第1のタイミング、末尾の位置情報の時刻を第2のタイミングとして特定する。
【0088】
なお、移動体Mが鉄道(電車、新幹線など)の場合、特定部902は、鉄道の運行管理システムに問い合わせることにより、移動体Mがトンネルに入った第1のタイミングと、移動体Mがトンネルから出た第2のタイミングとを特定することにしてもよい。
【0089】
また、取得部901は、移動体M内の被写体を撮像した画像情報を取得する。画像情報には、例えば、移動体M内の被写体が撮像された時刻が含まれる。具体的には、例えば、取得部901は、端末装置301の赤外線カメラ507(図5参照)により定期的に撮像される画像情報を端末装置301から受信することにより、移動体M内の被写体を撮像した画像情報を順次取得する。
【0090】
取得された画像情報は、例えば、画像DB330(図3参照)に記憶される。なお、取得部901は、特定部902によって第1のタイミングが特定されたことに応じて、移動体M内の被写体を撮像した画像情報の取得を開始することにしてもよい。また、取得部901は、特定部902によって第2のタイミングが特定されたことに応じて、移動体M内の被写体を撮像した画像情報の取得を終了することにしてもよい。
【0091】
また、取得部901は、移動体M内の照度を示す照度情報を取得する。照度情報には、例えば、移動体M内の照度が計測された時刻が含まれる。具体的には、例えば、取得部901は、端末装置301の照度センサ505(図5参照)により定期的に計測される照度を示す照度情報を端末装置301から受信することにより、移動体M内の照度を示す照度情報を順次取得する。
【0092】
取得された照度情報は、例えば、照度DB340(図3参照)に記憶される。この際、取得された照度情報が示す照度が電圧によって表される場合、検知装置101は、照度を[Lx]の単位に変換する。なお、取得部901は、特定部902によって第1のタイミングが特定されたことに応じて、移動体M内の照度を示す照度情報の取得を開始することにしてもよい。また、取得部901は、特定部902によって第2のタイミングが特定されたことに応じて、移動体M内の照度を示す照度情報の取得を終了することにしてもよい。
【0093】
生成部903は、取得された画像情報に基づいて、移動体M内の被写体の瞳孔径の時系列変化に関する第1の特徴情報を生成する。具体的には、例えば、生成部903は、画像DB330を参照して、特定部902によって特定された第1のタイミングから第2のタイミングまでの期間に撮像された画像情報を選定する。つぎに、生成部903は、選定された画像情報から被写体の目の領域を検出する。
【0094】
そして、生成部903は、検出した目の領域に対して、テンプレートマッチングを実行することで、被写体の瞳孔を検出する。つぎに、生成部903は、検出した瞳孔の瞳孔径を算出する。そして、生成部903は、選定された画像情報の時刻に基づいて、算出した瞳孔径を時系列に並べることで、移動体M内の被写体の瞳孔径の時系列変化を表す第1の特徴情報を生成する。
【0095】
なお、生成部903は、被写体の両目の瞳孔径を算出することにしてもよく、また、被写体の左目または右目のいずれかの瞳孔径を算出することにしてもよい。また、生成部903は、左目の瞳孔径と右目の瞳孔径との平均値を、被写体の瞳孔径として算出することにしてもよい。
【0096】
これにより、トンネル内を走行している移動体M内の対象者(被写体)の瞳孔径の時系列変化を表す第1の特徴情報を生成することができる。第1の特徴情報は、例えば、後述の図12および図13に示す波形情報1201,1301である。生成された第1の特徴情報は、例えば、図7に示したトンネル内瞳孔径DB360に記憶される。
【0097】
また、生成部903は、取得された照度情報に基づいて、移動体M内の照度の時系列変化に関する第2の特徴情報を生成する。具体的には、例えば、生成部903は、照度DB340を参照して、特定部902によって特定された第1のタイミングから第2のタイミングまでの期間に計測された照度を示す照度情報を選定する。そして、生成部903は、選定された照度情報の時刻に基づいて、照度情報が示す照度を時系列に並べることで、移動体M内の照度の時系列変化を表す第2の特徴情報を生成する。
【0098】
これにより、トンネル内を走行している移動体M内の照度の時系列変化を表す第2の特徴情報を生成することができる。第2の特徴情報は、例えば、後述の図12および図13に示す波形情報1202,1302である。生成された第2の特徴情報は、例えば、図8に示したトンネル内照度DB370に記憶される。
【0099】
また、生成部903は、生成した第1の特徴情報と第2の特徴情報とに基づいて、移動体M内の被写体に照射された光に対する被写体の瞳孔の反射速度に関する反応情報を生成する。具体的には、例えば、生成部903は、トンネル内瞳孔径DB360を参照して、被写体の瞳孔径の時系列変化を表す波形の特徴点を抽出する。
【0100】
この際、生成部903は、例えば、被写体の左目または右目のいずれかの瞳孔径を、被写体の瞳孔径としてもよく、また、左目の瞳孔径と右目の瞳孔径との平均値を、被写体の瞳孔径としてもよい。特徴点は、例えば、極大点、極小点および下り変化量最大点(ゼロクロス)の少なくともいずれかの点である。
【0101】
そして、生成部903は、抽出した特徴点のうち時系列に連続する特徴点間の時間間隔から第1の有効区間を特定する。第1の有効区間は、パルス波のように一定の幅を持った瞳孔径の波形が表れる区間である。第1の有効期間の特定例については、図10および図11を用いて後述する。
【0102】
また、生成部903は、例えば、トンネル内照度DB370を参照して、移動体M内の照度の時系列変化を表す波形の特徴点を抽出する。そして、生成部903は、抽出した特徴点のうち連続する特徴点間の時間間隔から第2の有効区間を特定する。第2の有効区間は、パルス波のように一定の幅を持った照度の波形が表れる区間である。第2の有効期間の特定例については、図10および図11を用いて後述する。
【0103】
つぎに、生成部903は、特定した第1の有効区間と第2の有効区間とに基づいて、被写体の瞳孔径の時系列変化を示す有効データを判定する。ここで、有効データは、パルス光のような規則的な光が被写体に照射された環境下での被写体の瞳孔径の時系列変化を示す情報である。有効データの判定例については、図10および図11を用いて後述する。
【0104】
そして、生成部903は、判定した有効データに基づいて、被写体の瞳孔の反射速度に関する反応情報を生成する。ここで、反応情報は、例えば、被写体に光が照射された際の被写体の瞳孔の変化速度(単位:mm/s)を示す情報である。また、反応情報は、例えば、被写体に光が照射された際の被写体の瞳孔径の時系列変化を表す波形の長さ、いわゆる、「伸展波波長(単位:mm)」を示す情報であってもよい。
【0105】
より具体的には、例えば、生成部903は、有効データにおいて連続する瞳孔径の極大点と極小点との変化量および時間差から、瞳孔の変化速度を算出する。なお、瞳孔の変化速度を算出例については、図12図14を用いて説明する。また、生成部903は、有効データにおいて連続する瞳孔径の極大点から極小点までの波形の長さ(伸展波波長)を算出することにしてもよい。なお、伸展波波長を算出する具体的な処理内容については、図15を用いて説明する。
【0106】
検知部904は、生成された反応情報に基づいて、移動体M内の被写体の疲労状態を検知する。具体的には、例えば、検知部904は、反応情報が示す瞳孔の変化速度が閾値α以下の場合に、移動体M内の被写体が疲労ありの状態であることを検知する。一方、反応情報が示す瞳孔の変化速度が閾値αより大きい場合は、検知部904は、移動体M内の被写体が疲労なしの状態であることを検知する。閾値αは、任意に設定可能であり、例えば、被写体の性別、年齢等に応じて設定される。一例を挙げると、閾値αは、14.35[mm/s]程度の値に設定される。なお、移動体M内の被写体の疲労状態の検知例については、図14を用いて後述する。
【0107】
また、検知部904は、反応情報が示す伸展波波長が閾値β以下の場合に、移動体M内の被写体が疲労ありの状態であることを検知することにしてもよい。一方、反応情報が示す伸展波波長が閾値βより大きい場合は、検知部904は、移動体M内の被写体が疲労なしの状態であることを検知する。閾値βは、任意に設定可能であり、例えば、被写体の性別、年齢等に応じて設定される。一例を挙げると、閾値βは、25.67[mm]程度の値に設定される。
【0108】
出力部905は、検知された移動体M内の被写体の疲労状態を出力する。出力部905の出力形式としては、例えば、メモリ402、ディスク404などの記憶装置への記憶、I/F405による他のコンピュータへの送信、ディスプレイ406への表示、不図示のプリンタへの印刷出力などがある。
【0109】
具体的には、例えば、出力部905は、検知された被写体の疲労状態と対応付けて、検知時刻または検知場所を特定可能な情報を出力することにしてもよい。ここで、検知時刻は、被写体の疲労状態が検知されたときの時刻であり、例えば、疲労状態検知に用いた変化速度(または、伸展波波長)の算出元である瞳孔径に対応する時刻である。検知場所は、検知時刻のときの移動体Mの位置である。
【0110】
また、出力部905は、トンネル区間に対する疲労検知区間の割合を示す情報を出力することにしてもよい。ここで、疲労検知区間は、移動体M内の被写体が疲労ありの状態であることが検知された区間である。例えば、トンネル区間は、第1のタイミングから第2のタイミングまでの期間の時間長に相当する。第1のタイミングから第2のタイミングまでの期間が複数存在する場合、トンネル区間は、例えば、各期間の時間長を累積したものとしてもよい。また、例えば、第1のタイミングから第2のタイミングまでの期間において、単位時間(例えば、1秒)ごとに、直近一定時間分(例えば、直近7秒分)の第1および第2の特徴情報をもとに、移動体M内の被写体の疲労状態を検知するとする。この場合、疲労検知区間は、例えば、移動体M内の被写体が疲労ありの状態であることが検知された回数に単位時間(例えば、1秒)を掛けた値となる。移動体M内の被写体の疲労状態の出力例については、図16および図17を用いて後述する。
【0111】
なお、検知装置101の各機能部は、検知システム300内の検知装置101とは異なる他のコンピュータ、例えば、端末装置301で実現することにしてもよい。また、検知装置101の各機能部は、検知システム300内の複数のコンピュータにより実現されることにしてもよい。
【0112】
(有効データの判定例)
つぎに、図10および図11を用いて、対象者(移動体M内の被写体)の瞳孔径の時系列変化を示す有効データの判定例について説明する。
【0113】
図10は、瞳孔径および照度の時系列変化を表す波形を示す説明図である。また、図11は、対象者の瞳孔径の時系列変化を示す有効データの判定例を示す説明図である。図10において、波形情報1001は、対象者の瞳孔径の時系列変化を表す情報であり、第1の特徴情報の一部を抜粋したものに相当する。また、波形情報1002は、移動体M内の照度の時系列変化を表す情報であり、第2の特徴情報の一部を抜粋したものに相当する。
【0114】
生成部903は、波形情報1001を参照して、特徴点を抽出する。ここでは、特徴点として、極大点、極小点および下り変化量最大点を抽出する場合を想定する。図10の例では、極大点H1,H2,H3,H4と、極小点L1,L2,L3,L4と、下り変化量最大点A1,A2,A3,A4とがそれぞれ抽出される。
【0115】
また、生成部903は、波形情報1002を参照して、特徴点を抽出する。図10の例では、極大点H’1,H’2,H’3,H’4と、極小点L’1,L’2,L’3,L’4と、下り変化量最大点A’1,A’2,A’3,A’4とがそれぞれ抽出される。
【0116】
図11において、波形情報1001の各特徴点の時刻Tおよび瞳孔径が示されている。例えば、極大点H1の時刻Tは「0.879」であり、瞳孔径は「3.06」である。ただし、時刻Tの年月日時分は省略し、秒単位のみ表記している。また、波形情報1002の各特徴点の時刻T’および照度が示されている。ただし、時刻T’の年月日時分は省略し、秒単位のみ表記している。例えば、極大点H’1の時刻T’は「0.745」であり、照度は「65」である。
【0117】
生成部903は、波形情報1001について、抽出した特徴点のうち時系列に連続する同種の特徴点間の時間間隔を算出する。なお、特徴点間の時間間隔とは、2つの特徴点それぞれに対応する時刻間の時間差に相当する。図10の例では、極大点H1,H2,H3,H4について、生成部903は、極大点H1,H2間の時間間隔と、極大点H2,H3間の時間間隔と、極大点H3,H4間の時間間隔とを算出する。
【0118】
また、極小点L1,L2,L3,L4について、生成部903は、極小点L1,L2間の時間間隔と、極小点L2,L3間の時間間隔と、極小点L3,L4間の時間間隔とを算出する。また、下り変化量最大点A1,A2,A3,A4について、生成部903は、下り変化量最大点A1,A2間の時間間隔と、下り変化量最大点A2,A3間の時間間隔と、下り変化量最大点A3,A4間の時間間隔とを算出する。
【0119】
つぎに、生成部903は、極大点H1,H2間の時間間隔と、極大点H2,H3間の時間間隔との差分d1が閾値γ未満であるか否かを判断する。閾値γは、任意に設定可能であり、例えば、10[ms]程度の値に設定される。また、生成部903は、極小点L1,L2間の時間間隔と、極小点L2,L3間の時間間隔との差分d2が閾値γ未満であるか否かを判断する。また、生成部903は、下り変化量最大点A1,A2間の時間間隔と、下り変化量最大点A2,A3間の時間間隔との差分d3が閾値γ未満であるか否かを判断する。
【0120】
そして、生成部903は、差分d1,d2,d3が全て閾値γ未満の場合に、特徴点H1〜H3,L1〜L3,A1〜A3に対応する期間を第1の有効期間として特定する。特徴点H1〜H3,L1〜L3,A1〜A3に対応する期間は、例えば、各特徴点H1〜H3,L1〜L3,A1〜A3に対応する時刻のうち、最古の時刻(極小点L1に対応する時刻)から最新の時刻(下り変化量最大点A3に対応する時刻)までの期間である。
【0121】
以降は、各特徴点を1つずらして同様の処理を行う。具体的には、生成部903は、極大点H2,H3間の時間間隔と、極大点H3,H4間の時間間隔との差分d4が閾値γ未満であるか否かを判断する。また、生成部903は、極小点L2,L3間の時間間隔と、極小点L3,L4間の時間間隔との差分d5が閾値γ未満であるか否かを判断する。また、生成部903は、下り変化量最大点A2,A3間の時間間隔と、下り変化量最大点A3,A4間の時間間隔との差分d6が閾値γ未満であるか否かを判断する。
【0122】
そして、生成部903は、差分d4,d5,d6が全て閾値γ未満の場合に、特徴点H2〜H4,L2〜L4,A2〜A4に対応する期間を第1の有効期間として特定する(判定結果:OK)。一方、差分d4,d5,d6の少なくともいずれかが閾値γ以上の場合には、生成部903は、特徴点H2〜H4,L2〜L4,A2〜A4に対応する期間を第1の有効期間として特定しない(判定結果:NG)。
【0123】
図11の例では、特徴点H1〜H3,L1〜L3,A1〜A3に対応する期間と、特徴点H2〜H4,L2〜L4,A2〜A4に対応する期間とが第1の有効期間として特定される。これにより、波形情報1001において、時系列に連続する特徴点間の時間間隔がほぼ同じ区間を第1の有効区間として特定することができる。
【0124】
同様に、生成部903は、波形情報1002について、抽出した特徴点のうち時系列に連続する同種の特徴点間の時間間隔を算出する。図10の例では、極大点H’1,H’2,H’3,H’4について、生成部903は、極大点H’1,H’2間の時間間隔と、極大点H’2,H’3間の時間間隔と、極大点H’3,H’4間の時間間隔とを算出する。
【0125】
また、極小点L’1,L’2,L’3,L’4について、生成部903は、極小点L’1,L’2間の時間間隔と、極小点L’2,L’3間の時間間隔と、極小点L’3,L’4間の時間間隔とを算出する。また、下り変化量最大点A’1,A’2,A’3,A’4について、生成部903は、下り変化量最大点A’1,A’2間の時間間隔と、下り変化量最大点A’2,A’3間の時間間隔と、下り変化量最大点A’3,A’4間の時間間隔とを算出する。
【0126】
つぎに、生成部903は、極大点H’1,H’2間の時間間隔と、極大点H’2,H’3間の時間間隔との差分d’1が閾値γ未満であるか否かを判断する。また、生成部903は、極小点L’1,L’2間の時間間隔と、極小点L’2,L’3間の時間間隔との差分d’2が閾値γ未満であるか否かを判断する。また、生成部903は、下り変化量最大点A’1,A’2間の時間間隔と、下り変化量最大点A’2,A’3間の時間間隔との差分d’3が閾値γ未満であるか否かを判断する。そして、生成部903は、差分d’1,d’2,d’3が全て閾値γ未満の場合に、特徴点H’1〜H’3,L’1〜L’3,A’1〜A’3に対応する期間を第2の有効期間として特定する。
【0127】
以降は、各特徴点を1つずらして同様の処理を行う。具体的には、生成部903は、極大点H’2,H’3間の時間間隔と、極大点H’3,H’4間の時間間隔との差分d’4が閾値γ未満であるか否かを判断する。また、生成部903は、極小点L’2,L’3間の時間間隔と、極小点L’3,L’4間の時間間隔との差分d’5が閾値γ未満であるか否かを判断する。また、生成部903は、下り変化量最大点A’2,A’3間の時間間隔と、下り変化量最大点A’3,A’4間の時間間隔との差分d’6が閾値γ未満であるか否かを判断する。
【0128】
そして、生成部903は、差分d’4,d’5,d’6が全て閾値γ未満の場合に、特徴点H’2〜H’4,L’2〜L’4,A’2〜A’4に対応する期間を第2の有効期間として特定する(判定結果:OK)。一方、差分d’4,d’5,d’6の少なくともいずれかが閾値γ以上の場合には、生成部903は、特徴点H’2〜H’4,L’2〜L’4,A’2〜A’4に対応する期間を第2の有効期間として特定しない(判定結果:NG)。
【0129】
図11の例では、特徴点H’1〜H’3,L’1〜L’3,A’1〜A’3に対応する期間と、特徴点H’2〜H’4,L’2〜L’4,A’2〜A’4に対応する期間とが第2の有効期間として特定される。これにより、波形情報1002において、時系列に連続する特徴点間の時間間隔がほぼ同じ区間を第2の有効区間として特定することができる。
【0130】
つぎに、生成部903は、特定した第1の有効区間と第2の有効区間とに基づいて、疲労検知有効区間を特定する。ここで、疲労検知有効区間は、疲労状態検知に適したデータを得られる期間である。具体的には、例えば、生成部903は、第1の有効区間と第2の有効区間とが重複する期間であって、瞳孔径の極小点の時刻Tが、照度の連続する極大点の時刻T’間にある期間を疲労検知有効区間として特定する。
【0131】
図11の例では、第1の有効区間と第2の有効区間とが重複する期間は、極小点L1に対応する時刻から下り変化量最大点A’4に対応する時刻までの期間である。また、第1の有効区間と第2の有効区間とが重複する期間において、瞳孔径の極小点L1,L2,L3の時刻Tが、照度の連続する極大点の時刻T’間に存在する。
【0132】
したがって、生成部903は、例えば、極小点L1に対応する時刻から下り変化量最大点A’4に対応する時刻までの期間を、疲労検知有効区間として特定する。そして、生成部903は、特定した疲労検知有効区間に基づいて、対象者の瞳孔径の時系列変化を示す有効データを判定する。具体的には、例えば、生成部903は、トンネル内瞳孔径DB360を参照して、疲労検知有効区間に時刻が含まれるトンネル内瞳孔径情報を、有効データとして判定する。
【0133】
これにより、パルス光のような規則的な光が被写体に照射された環境下での対象者の瞳孔径の時系列変化を示す有効データを得ることができる。
【0134】
なお、検知装置101は、例えば、移動体Mの速度がある程度一定であることを判断するために、照度センサ505により計測された照度と、赤外線カメラ507により撮像された画像情報に基づく対象者の瞳孔径に対して周波数解析を実施してもよい。そして、検知装置101は、照度と瞳孔径との間で、ピーク値と変化周期が同期している区間を疲労検知有効区間として特定することにしてもよい。
【0135】
(瞳孔の変化速度を算出例)
つぎに、図12図14を用いて、対象者(移動体M内の被写体)の瞳孔の変化速度の算出例について説明する。
【0136】
図12および図13は、特徴情報の具体例を示す説明図である。図12において、波形情報1201,1202は、ある日の午前中(例えば、起床後4時間経過)に移動体MがトンネルK内を走行したときの情報である。波形情報1201は、移動体M内の対象者Xの瞳孔径の時系列変化を表す情報であり、第1の特徴情報の一例である。また、波形情報1202は、移動体M内の照度の時系列変化を表す情報であり、第2の特徴情報の一例である。
【0137】
また、図13において、波形情報1301,1302は、ある日の午前中(例えば、起床後4時間経過)に移動体MがトンネルK内を走行したときの情報である。波形情報1301は、移動体M内の対象者Xの瞳孔径の時系列変化を表す情報であり、第1の特徴情報の一例である。また、波形情報1302は、移動体M内の照度の時系列変化を表す情報であり、第2の特徴情報の一例である。
【0138】
なお、図12および図13において、縦軸(左)は、瞳孔径を示している(単位:mm)。また、縦軸(右)は、照度を示している(単位:Lx)。また、横軸は、時間の経過を示している(単位:s)。
【0139】
図14は、瞳孔の変化速度の算出例を示す説明図である。図14において、表1400は、波形情報1201,1202における有効データに基づく対象者の瞳孔の変化速度の算出結果(午前中の瞳孔変化速度)と、波形情報1301,1302における有効データに基づく対象者の瞳孔の変化速度の算出結果(午後の瞳孔変化速度)とを示す。ここでは、2秒程度の疲労検知有効区間において10点のサンプル(算出結果)が得られた場合を想定する。
【0140】
この場合、生成部903は、例えば、10点の算出結果(午前中の瞳孔変化速度)のうち、最大値(18.08[mm/s])および最小値(10.72[mm/s])を1点ずつ削除する。これにより、外れ値を除外することができる。そして、生成部903は、最大値および最小値を削除した8点の算出結果(午前中の瞳孔変化速度)の平均速度を、瞳孔の変化速度として算出する。ここでは、午前中の対象者の瞳孔の変化速度は、「約16.5[mm/s]」となる。
【0141】
また、生成部903は、例えば、10点の算出結果(午後の瞳孔変化速度)のうち、最大値(17.28[mm/s])および最小値(8.64[mm/s])を1点ずつ削除する。これにより、外れ値を除外することができる。そして、生成部903は、最大値および最小値を削除した8点の算出結果(午後の瞳孔変化速度)の平均速度を、瞳孔の変化速度として算出する。ここでは、午後の対象者の瞳孔の変化速度は、「約13.3[mm/s]」となる。
【0142】
ここで、閾値αを「α=14.35[mm/s]」とする。この場合、午前中の対象者の瞳孔の変化速度(16.5[mm/s])は、閾値αより大きい。このため、検知部904は、対象者が疲労なしの状態であることを検知する。一方、午後の対象者の瞳孔の変化速度(13.3[mm/s])は、閾値α以下である。このため、検知部904は、対象者が疲労ありの状態であることを検知する。
【0143】
(伸展波波長を算出する具体的な処理内容)
つぎに、図15を用いて、伸展波波長(波形の長さ)を算出する具体的な処理内容について説明する。
【0144】
図15は、対象者の瞳孔径の時系列変化を表す波形の一部を示す説明図である。図15において、波形1501は、対象者の瞳孔径の時系列変化を表す波形の一部を抜粋して表示したものである。縦軸(y)は、瞳孔径を示している。また、横軸(x)は、時間の経過を示している。
【0145】
生成部903は、定積分の定理により、例えば、下記式(1)を用いて、伸展波波長(波形の長さ)を算出することができる。ただし、t1は、瞳孔径の変化量を求める所定区間の先頭の時間である。tnは、瞳孔径の変化量を求める所定区間の末尾の時間である。所定区間は、任意に設定可能であり、例えば、有効データにおける、一定時間分の区間(例えば、2秒分の区間)であってもよく、また、極大点から極小点までの区間であってもよい。
【0146】
【数1】
【0147】
これにより、瞳孔径の変化量を波形に表した際の波形の長さ(伸展波波長)から、対象者に照射された光に対する対象者の瞳孔の反射速度に関する反応情報を生成することができる。
【0148】
(対象者の疲労状態の出力例)
つぎに、図16および図17を用いて、移動体M内の対象者の疲労状態の出力例について説明する。
【0149】
図16は、対象者の疲労状態の出力例を示す説明図(その1)である。図16において、疲労検知結果画面1600は、検知部904により検知された移動体M内の対象者の疲労状態を示すものであり、対象者向けに表示される画面の一例である。疲労検知結果画面1600は、例えば、出力部905により、端末装置301のディスプレイ(不図示)や対象者のスマートフォンなどに表示される。なお、図16では、画面内の一部を抜粋して拡大表示している(図16中、矢印部分)。
【0150】
ここでは、移動体M内の対象者は、鉄道の運転手である。疲労検知結果画面1600では、地図1601上に、移動体Mが走行した線路1602が表示されている。線路1602上の白抜き四角の図形は、線路1602上に存在するトンネル(例えば、トンネル1603〜1609)を示している。アイコン1610,1611は、トンネル1603,1607内において対象者が疲労ありの状態であることが検知されたことを示す。メッセージ1612は、疲労状態の検知結果に応じて表示される情報である。
【0151】
疲労検知結果画面1600によれば、対象者は、トンネル1603,1607内において疲労ありの状態であることが検知されたことがわかる。また、対象者は、メッセージ1612から、運転開始60分後から疲労度が高くなったことがわかる。これらのことから、対象者は、例えば、運転開始60分後くらいで自身の疲労度が高くなるため、他の人と運転を交代するなどして休憩をとることが望ましいことがわかる。
【0152】
図17は、対象者の疲労状態の出力例を示す説明図(その2)である。図17において、疲労検知結果画面1700は、検知部904により検知された複数の対象者それぞれの疲労状態を示すものであり、管理者向けに表示される画面の一例である。管理者は、複数の対象者の疲労状態を管理する者である。対象者は、例えば、長距離トラックや長距離バスの運転手である。疲労検知結果画面1700は、例えば、出力部905により、管理者が使用するPCやスマートフォンなどに表示される。
【0153】
疲労検知結果画面1700において、対象者1701〜1704それぞれについて、日ごとの疲労度が時系列に表示されている。疲労度は、対象者が疲労している度合いを示す。ここでは、疲労度は、トンネル区間に対する疲労検知区間の割合(%)を100から引いた値である。このため、疲労度の値が低いほど、対象者が疲労している度合いが高いことを示す。
【0154】
疲労検知結果画面1700によれば、管理者は、対象者1701〜1704それぞれについて、日ごとの疲労度を把握することができる。また、管理者は、各対象者1701〜1704の疲労度の時系列変化から、各対象者1701〜1704の疲労が、回復傾向(上昇)にあるのか、蓄積傾向(下降)にあるのかを判断することができる。
【0155】
これらのことから、管理者は、疲労が蓄積している対象者(例えば、対象者1702,1703)を休ませたり、仕事量を減らしたりして、疲労回復を促すことができる。
【0156】
(検知装置101の各種処理手順)
つぎに、実施の形態3にかかる検知装置101の各種処理手順について説明する。まず、図18を用いて、検知装置101のトンネルフラグ判定処理手順について説明する。
【0157】
・トンネルフラグ判定処理手順
図18は、検知装置101のトンネルフラグ判定処理手順の一例を示すフローチャートである。図18のフローチャートにおいて、まず、検知装置101は、端末装置301から移動体Mの位置情報を受信したか否かを判断する(ステップS1801)。ここで、検知装置101は、移動体Mの位置情報を受信するのを待つ(ステップS1801:No)。
【0158】
そして、検知装置101は、移動体Mの位置情報を受信した場合(ステップS1801:Yes)、地図DB350を参照して、取得した移動体Mの位置情報が示す位置を含む区間を特定する(ステップS1802)。つぎに、検知装置101は、地図DB350を参照して、特定した区間の属性が「トンネル」であるか否かを判断する(ステップS1803)。
【0159】
ここで、属性が「トンネル」の場合(ステップS1803:Yes)、検知装置101は、トンネルフラグ「1」を設定して、取得した移動体Mの位置情報を位置DB320に登録し(ステップS1804)、本フローチャートによる一連の処理を終了する。
【0160】
一方、属性が「トンネル」ではない場合(ステップS1803:No)、検知装置101は、トンネルフラグ「0」を設定して、取得した移動体Mの位置情報を位置DB320に登録し(ステップS1805)、本フローチャートによる一連の処理を終了する。
【0161】
これにより、移動体Mがトンネルに入った第1のタイミングと、移動体Mがトンネルを出た第2のタイミングとを特定可能な情報(トンネルフラグ)を生成することができる。
【0162】
・疲労状態検知処理手順
つぎに、図19および図20を用いて、検知装置101の疲労状態検知処理手順について説明する。
【0163】
図19および図20は、検知装置101の疲労状態検知処理手順の一例を示すフローチャートである。図19のフローチャートにおいて、まず、検知装置101は、位置DB320を参照して、移動体Mがトンネルに入った第1のタイミングを特定する(ステップS1901)。つぎに、検知装置101は、位置DB320を参照して、移動体Mがトンネルを出た第2のタイミングを特定する(ステップS1902)。
【0164】
そして、検知装置101は、画像DB330を参照して、特定した第1のタイミングから第2のタイミングまでのトンネル区間に撮像された画像情報を選定する(ステップS1903)。つぎに、検知装置101は、選定した画像情報から被写体の瞳孔を検出し(ステップS1904)、検出した瞳孔の瞳孔径を算出する(ステップS1905)。
【0165】
そして、検知装置101は、選定した画像情報の時刻に基づいて、算出した瞳孔径を時系列に並べることで、移動体M内の被写体の瞳孔径の時系列変化を表す第1の特徴情報を生成する(ステップS1906)。生成された第1の特徴情報は、トンネル内瞳孔径DB360に記憶される。
【0166】
つぎに、検知装置101は、照度DB340を参照して、特定した第1のタイミングから第2のタイミングまでのトンネル区間に計測された照度を示す照度情報を選定する(ステップS1907)。
【0167】
そして、検知装置101は、選定した照度情報の時刻に基づいて、照度情報が示す照度を時系列に並べることで、移動体M内の照度の時系列変化を表す第2の特徴情報を生成して(ステップS1908)、図20に示すステップS2001に移行する。生成された第2の特徴情報は、トンネル内照度DB370に記憶される。
【0168】
図20のフローチャートにおいて、まず、検知装置101は、第1のタイミングから第2のタイミングまでのトンネル区間内の処理区間を設定する(ステップS2001)。例えば、検知装置101は、トンネル区間の先頭から一定時間分を処理区間に設定する。一定時間は、任意に設定可能であり、例えば、7秒程度の時間に設定される。
【0169】
つぎに、検知装置101は、対象者の瞳孔の反射速度に関する反応情報を生成する反応情報生成処理を実行する(ステップS2002)。ここでは、対象者に光が照射された際の対象者の瞳孔の変化速度を示す反応情報を生成する場合を想定する。反応情報生成処理の具体的な処理手順については、図21を用いて後述する。
【0170】
そして、検知装置101は、生成した反応情報が示す瞳孔変化速度が閾値α以下であるか否かを判断する(ステップS2003)。ここで、瞳孔変化速度が閾値α以下の場合(ステップS2003:Yes)、検知装置101は、対象者が疲労ありの状態であることを検知して(ステップS2004)、ステップS2006に移行する。
【0171】
一方、瞳孔変化速度が閾値αより大きい場合(ステップS2003:No)、検知装置101は、対象者が疲労なしの状態であることを検知する(ステップS2005)。そして、検知装置101は、トンネル区間のうち処理区間に設定されていない未処理の区間があるか否かを判断する(ステップS2006)。
【0172】
ここで、未処理の区間がある場合(ステップS2006:Yes)、検知装置101は、トンネル区間内の処理区間を単位時間ずらすことにより、処理区間を変更して(ステップS2007)、ステップS2002に戻る。なお、単位時間は、任意に設定可能であり、例えば、1秒程度の時間に設定される。
【0173】
一方、未処理の区間がない場合(ステップS2006:No)、検知装置101は、処理区間ごとに対象者の疲労状態を検知した検知結果を出力して(ステップS2008)、本フローチャートによる一連の処理を終了する。
【0174】
これにより、移動体M内の対象者に対してパルス光のような規則的な光が照射される環境下であるトンネル内の対象者の瞳孔径の時系列変化を利用して、対象者の疲労状態を検知することができる。
【0175】
・反応情報生成処理手順
つぎに、図21を用いて、図20に示したステップS2002の反応情報生成処理の具体的な処理手順について説明する。
【0176】
図21は、反応情報生成処理の具体的処理手順の一例を示すフローチャートである。図21のフローチャートにおいて、まず、検知装置101は、トンネル内瞳孔径DB360を参照して、ステップS2001において設定した処理区間内の対象者の瞳孔径の時系列変化を表す波形の特徴点を抽出する(ステップS2101)。
【0177】
つぎに、検知装置101は、抽出した特徴点のうち時系列に連続する特徴点間の時間間隔を算出する(ステップS2102)。そして、検知装置101は、算出した特徴点間の時間間隔に基づいて、第1の有効区間を特定する(ステップS2103)。
【0178】
つぎに、検知装置101は、トンネル内照度DB370を参照して、ステップS2001において設定した処理区間内の移動体M内の照度の時系列変化を表す波形の特徴点を抽出する(ステップS2104)。そして、検知装置101は、抽出した特徴点のうち時系列に連続する特徴点間の時間間隔を算出する(ステップS2105)。
【0179】
つぎに、検知装置101は、算出した特徴点間の時間間隔に基づいて、第2の有効区間を特定する(ステップS2106)。そして、検知装置101は、特定した第1の有効区間と第2の有効区間とに基づいて、疲労検知有効区間を特定する(ステップS2107)。疲労検知有効区間は、疲労状態検知に適したデータを得られる期間である。
【0180】
つぎに、検知装置101は、特定した疲労検知有効区間に基づいて、対象者の瞳孔径の時系列変化を示す有効データを判定する(ステップS2108)。例えば、検知装置101は、トンネル内瞳孔径DB360を参照して、疲労検知有効区間に時刻が含まれるトンネル内瞳孔径情報を、有効データとして判定する。
【0181】
そして、検知装置101は、判定した有効データに基づいて、対象者に光が照射された際の対象者の瞳孔変化速度を算出して(ステップS2109)、反応情報生成処理を呼び出したステップに戻る。これにより、対象者に照射された光に対する対象者の瞳孔の反射速度に関する反応情報を生成することができる。
【0182】
以上説明したように、実施の形態にかかる検知装置101によれば、移動体M内の被写体を撮像した画像情報を順次取得し、順次取得した画像情報に基づいて、被写体の瞳孔径の時系列変化に関する第1の特徴情報を生成することができる。また、検知装置101は、移動体M内の照度を示す照度情報を順次取得し、順次取得した照度情報に基づいて、移動体M内の照度の時系列変化に関する第2の特徴情報を生成することができる。そして、検知装置101は、生成した第1の特徴情報と第2の特徴情報とに基づいて、移動体M内の被写体に照射された光に対する被写体の瞳孔の反射速度に関する反応情報を生成し、生成した反応情報に基づいて、対象者の疲労状態を検知することができる。
【0183】
これにより、トンネル内のように走行している移動体M内に規則的に光が照射される環境を利用して、対象者の疲労状態を精度よく検知することができる。また、疲労状態検知のために、規則的に点滅する光源を準備する必要がないため、設置コストや装置コストの増加を抑えることができる。さらに、規則的に点滅する光源により対象者に対して可視光を継続して当てる場合に比べて、運転中の対象者にかかる負担を削減することができる。
【0184】
また、検知装置101によれば、移動体の位置の時系列変化を示す情報と、トンネルが設けられた場所を示す情報とに基づいて、移動体Mがトンネルに入った第1のタイミングと、移動体Mがトンネルを出た第2のタイミングとを特定することができる。また、検知装置101によれば、特定した第1のタイミングと第2のタイミングとに基づいて、移動体M内の被写体を撮像した画像情報と、移動体M内の照度を示す照度情報とを選定することができる。そして、検知装置101は、選定した画像情報に基づいて、第1の特徴情報を生成し、選定した照度情報に基づいて、第2の特徴情報を生成することができる。
【0185】
これにより、疲労状態検知に用いる情報を、移動体Mがトンネル内を走行しているとき、すなわち、疲労状態検知に適した環境下で計測された計測データ(画像情報、照度情報)に限定して、対象者の疲労状態を検知することができる。
【0186】
また、検知装置101によれば、第1の特徴情報に基づいて、被写体の瞳孔径の時系列変化を表す波形の特徴点のうち連続する特徴点間の時間間隔から第1の有効区間を特定することができる。特徴点は、極大点、極小点、または、下り変化量最大点の少なくともいずれかの点である。これにより、対象者の瞳孔径の時系列変化を表す波形の連続する特徴点間の時間間隔が略一定の区間、すなわち、対象者の瞳孔径が規則的に変動している区間を第1の有効区間として特定することができる。
【0187】
また、検知装置101によれば、第2の特徴情報に基づいて、移動体M内の照度の時系列変化を表す波形の特徴点のうち連続する特徴点間の時間間隔から第2の有効区間を特定することができる。これにより、移動体M内の照度の時系列変化を表す波形の連続する特徴点間の時間間隔が略一定の区間、すなわち、パルス光のような規則的な光が移動体M内に照射されている区間を第2の有効区間として特定することができる。
【0188】
また、検知装置101によれば、特定した第1の有効区間と第2の有効区間とに基づいて、被写体の瞳孔径の時系列変化を示す有効データを判定し、判定した有効データに基づいて、反応情報を生成することができる。これにより、トンネル内の照明(光源)により移動体M内に規則的に照射される光に応じて変動する対象者の瞳孔の反射速度から、対象者の疲労状態を検知することが可能となり、対象者の疲労状態の検知精度を向上させることができる。
【0189】
また、検知装置101によれば、判定した有効データに基づいて、被写体に光が照射された際の被写体の瞳孔の変化速度を示す反応情報を生成することができる。そして、検知装置101によれば、生成した反応情報が示す瞳孔の変化速度が閾値α以下の場合に、被写体が疲労ありの状態であることを検知することができる。これにより、疲労していない時と比較して、疲労時は光が照射されたときの対象者の瞳孔の変化速度が遅くなることを利用して、対象者の疲労状態を検知することができる。
【0190】
また、検知装置101によれば、判定した有効データに基づいて、被写体に光が照射された際の被写体の瞳孔径の時系列変化を表す波形の長さ(伸展波波長)を示す反応情報を生成することができる。そして、検知装置101によれば、生成した反応情報が示す伸展波波長が閾値β以下の場合に、被写体が疲労ありの状態であることを検知することができる。これにより、疲労していない時と比較して、疲労時は光が照射されたときの対象者の瞳孔径の変化量が小さくなることを利用して、対象者の疲労状態を検知することができる。
【0191】
また、検知装置101によれば、検知した被写体の疲労状態を出力することができる。これにより、対象者の疲労状態を対象者本人あるいは管理者が把握することができ、対象者の疲労状態に応じて適切な対応をとることが可能となる。
【0192】
これらのことから、実施の形態3にかかる検知装置101および検知システム300によれば、規則的に点滅する光源を要することなく、トンネル内の環境を利用して、移動体M内の対象者の瞳孔反射の速さに基づく疲労検知を精度よく行うことができる。
【0193】
なお、本実施の形態で説明した検知方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本検知プログラムは、ハードディスク、フレキシブルディスク、CD(Compact Disc)−ROM、MO(Magneto−Optical disk)、DVD(Digital Versatile Disk)、USB(Universal Serial Bus)メモリ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本検知プログラムは、インターネット等のネットワークを介して配布してもよい。
【符号の説明】
【0194】
101 検知装置
110 第1の特徴情報
120 第2の特徴情報
130 反応情報
210 場所情報
300 検知システム
301 端末装置
310 ネットワーク
320 位置DB
330 画像DB
340 照度DB
350 地図DB
360 トンネル内瞳孔径DB
370 トンネル内照度DB
400,500 バス
401,501 CPU
402,502 メモリ
403 ディスクドライブ
404 ディスク
405,503 I/F
406 ディスプレイ
407 入力装置
504 GPSユニット
505 照度センサ
506 赤外線LED
507 赤外線カメラ
901 取得部
902 特定部
903 生成部
904 検知部
905 出力部
1001,1002,1201,1202,1301,1302 波形情報
1600,1700 疲労検知結果画面
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21