特許 6229500 呼吸状態計測装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6229500

(24)【登録日】2017年10月27日

(45)【発行日】2017年11月15日

(54)【発明の名称】呼吸状態計測装置

(51)【国際特許分類】

   A61B 5/08 20060101AFI20171106BHJP

   A61B 5/18 20060101ALI20171106BHJP

   A61B 5/00 20060101ALN20171106BHJP

   G06T 7/00 20170101ALN20171106BHJP

【ＦＩ】

   A61B5/08

   A61B5/18

   !A61B5/00 102A

   !G06T7/00 660A

【請求項の数】4

【全頁数】13

(21)【出願番号】特願2014-918(P2014-918)

(22)【出願日】2014年1月7日

(65)【公開番号】特開2015-128501(P2015-128501A)

(43)【公開日】2015年7月16日

【審査請求日】2016年6月14日

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際特許業務法人

(72)【発明者】

【氏名】蜂須賀 知理

(72)【発明者】

【氏名】石田 健二

【審査官】 九鬼 一慶

(56)【参考文献】

【文献】 特開２００６−１０２３６２（ＪＰ，Ａ）

【文献】 特開平０８−２５７０１５（ＪＰ，Ａ）

【文献】 特開２００８−１９４３０９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／０６−５／２２

(57)【特許請求の範囲】

【請求項1】

車両の乗員における鼻孔を含む画像を取得する画像取得手段と、
前記画像に基づき、前記鼻孔の面積を算出する鼻孔面積算出手段と、
前記画像に基づき、左右の鼻孔の中から、前記鼻孔面積算出手段により面積を算出する鼻孔を選択する鼻孔選択手段と、
前記鼻孔の面積の変化に基づき前記乗員の呼吸状態を計測する呼吸状態計測手段と、
を備え、
前記鼻孔面積算出手段は、前記鼻孔選択手段により選択した鼻孔を含むパターン画像とのマッチングにより、前記画像の中から、鼻孔を含む領域を選択し、前記領域において、鼻孔の面積を算出することを特徴とする呼吸状態計測装置。

【請求項2】

前記画像は熱画像であることを特徴とする請求項１に記載の呼吸状態計測装置。

【請求項3】

前記呼吸状態に基づき、前記乗員の心身状態を判断する心身状態判断手段を備えることを特徴とする請求項１又は２に記載の呼吸状態計測装置。

【請求項4】

前記呼吸状態と、乗員に対する処理とを対応付けた対応マップと、
前記呼吸状態を前記対応マップに入力することで、前記乗員に対する処理を選択する処理選択手段と、
を備えることを特徴とする請求項１〜３のいずれか１項に記載の呼吸状態計測装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、呼吸状態計測装置に関する。

【背景技術】

【0002】

赤外線カメラを用いて車両の乗員の熱画像を取得し、その熱画像に基づき、呼吸による乗員の鼻孔や口元付近の温度変化のパターンを検出し、さらにその温度変化のパターンから乗員の呼吸周期を算出する技術が提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−１５５４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

直射日光や空調の風が乗員の顔に当たる場合、乗員の鼻孔や口元付近の温度は呼吸とは無関係に上下する。また、咀嚼や発話のため、乗員が呼吸とは無関係に口を開いた場合、口腔内の温度が乗員の鼻孔や口元付近の温度に影響する。そのため、特許文献１の技術では、車両の乗員の呼吸状態を正確に計測することが困難であった。本発明は以上の点に鑑みなされたものであり、呼吸状態を正確に計測できる呼吸状態計測装置を提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の呼吸状態計測装置は、車両の乗員における鼻孔を含む画像を取得する画像取得手段と、前記画像に基づき、前記鼻孔の面積を算出する鼻孔面積算出手段と、前記鼻孔の面積の変化に基づき前記乗員の呼吸状態を計測する呼吸状態計測手段とを備える。

【0006】

本発明の呼吸状態計測装置は、直射日光、空調の風、乗員の開口等の影響を受け難く、乗員の呼吸状態を正確に計測できる。
前記画像としては、例えば、熱画像が挙げられる。この場合、本発明の呼吸状態計測装置は、呼吸状態を一層正確に計測できる。

【0007】

前記鼻孔面積算出手段は、例えば、鼻孔を含むパターン画像とのマッチングにより、前記画像の中から、鼻孔を含む領域を選択し、前記領域において、鼻孔の面積を算出することができる。この場合、本発明の呼吸状態計測装置は、呼吸状態を一層正確に計測できる。

【0008】

本発明の呼吸状態計測装置は、例えば、前記画像に基づき、左右の鼻孔の中から、前記鼻孔面積算出手段により面積を算出する鼻孔を選択する鼻孔選択手段を備え、前記鼻孔面積算出手段は、前記鼻孔選択手段により選択した鼻孔を含む前記パターン画像を用いることができる。この場合、本発明の呼吸状態計測装置は、呼吸状態を一層正確に計測できる。

【0009】

本発明の呼吸状態計測装置は、例えば、前記呼吸状態に基づき、前記乗員の心身状態を判断する心身状態判断手段を備えることができる。この場合、呼吸状態計測装置は、乗員の心身状態を判断することができる。

【0010】

本発明の呼吸状態計測装置は、例えば、前記呼吸状態に基づき、前記乗員に対する処理を選択する処理選択手段を備えることができる。この場合、呼吸状態計測装置は、乗員に対する処理を適切に選択することができる。

【図面の簡単な説明】

【0011】

【図1】呼吸状態計測装置１の構成を表すブロック図である。

【図2】呼吸状態計測装置１が実行する全体処理を表すフローチャートである。

【図3】呼吸状態計測装置１が実行する鼻孔選択処理を表すフローチャートである。

【図4】呼吸状態計測装置１が実行する鼻孔面積算出処理を表すフローチャートである。

【図5】呼吸状態計測装置１が実行する呼吸状態計測処理を表すフローチャートである。

【図6】呼吸状態計測装置１が実行する心身状態判断処理を表すフローチャートである。

【図7】呼吸状態計測装置１が実行するフィードバック手法選択処理を表すフローチャートである。

【図8】顔画像を表す説明図である。

【図9】パターンマッチングの方法を表す説明図である。

【図10】バターン画像を表す説明図である。

【図11】鼻孔を含む領域として決定した領域２０７を表す説明図である。

【図12】呼吸による鼻孔の変化を表す説明図である。

【図13】呼吸状態とドライバの心身状態との対応関係を規定する対応マップを表す説明図である。

【図14】ドライバの心身状態とフィードバック手法との対応関係を規定する対応マップを表す説明図である。

【図15】呼吸に伴う鼻孔面積の時間的な変化の態様を表すグラフである。

【発明を実施するための形態】

【0012】

本発明の実施形態を図面に基づき説明する。
＜第１の実施形態＞
１．呼吸状態計測装置１の構成
呼吸状態計測装置１の構成を図１に基づき説明する。呼吸状態計測装置１は、車両に搭載される車載装置である。呼吸状態計測装置１は、赤外線カメラ３、画像解析部５、呼吸状態計測部７、心身状態判断部９、フィードバック手法選択部１１、各種車載機器制御部１３、第１の記憶部１５、及び第２の記憶部１７を備えている。

【0013】

赤外線カメラ３は、車室内のステアリングコラム、ダッシュボード、天井等に設置することができる。赤外線カメラ３は、ドライバの顔全体を含む範囲の画像（以下、顔画像とする）を取得する。図８に示すように、顔画像２０１には、ドライバの顔２０３、及びドライバの鼻２０５が含まれる。赤外線カメラ３により取得できる顔画像は、熱画像である。熱画像とは、画像中に含まれる物体の温度により色が異なる画像であり、例えば、高温部は赤く、低温部は青く表示される。

【0014】

画像解析部５、呼吸状態計測部７、心身状態判断部９、フィードバック手法選択部１１、及び各種車載機器制御部１３は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えるコンピュータにより実現される構成であり、それぞれ、後述する処理を実行する。

【0015】

各種車載機器制御部１３は、車両に搭載された各種車載機器を制御する。車載機器には、車室内に設置され、画像を表示可能なディスプレイ、車室内に設置され、音声を出力可能なスピーカ、車室内の温度や湿度を制御する空調装置、ハンドルやドライバシートを振動させる機構（以下、振動機構とする）、カーオーディオ等が含まれる。

【0016】

また、心身状態判断部９は、後述するように判断したドライバの心身状態を車両制御部１０３に出力する。なお、車両制御部１０３は、ドライバの心身状態に基づき、車両の運転アシストを行う構成であって、車線キープ制御、自動ブレーキ制御、自動速度制御などの処理を行う。詳しくは後述する。

【0017】

第１の記憶部１５、及び第２の記憶部１７は、いずれも、情報の書き込み、保存、及び読み出しが可能な周知の記憶装置である。第１の記憶部１５、及び第２の記憶部１７は、例えば、ハードディスクドライブとすることができる。

【0018】

なお、赤外線カメラ３は画像取得手段の一実施形態であり、画像解析部５は鼻孔面積算出手段及び鼻孔選択手段の一実施形態であり、呼吸状態計測部７は呼吸状態計測手段の一実施形態であり、心身状態判断部９は心身状態判断手段の一実施形態であり、フィードバック手法選択部１１は処理選択手段の一実施形態である。

【0019】

２．呼吸状態計測装置１が実行する処理
図２〜図１５に基づき、呼吸状態計測装置１が実行する処理を説明する。呼吸状態計測装置１は、車両のイグニッションがＯＮの期間中、図２に示す処理を所定時間ごとに繰り返し実行する。

【0020】

ステップ１では、画像解析部５が、ドライバの左右の鼻孔のうち、後述する鼻孔面積算出処理において使用する１つの鼻孔を選択済みであるか否かを判断する。選択済みである場合はステップ３に進み、未だ選択していない場合はステップ２に進む。

【0021】

ステップ２では、画像解析部５が、鼻孔選択処理を実行する。この鼻孔選択処理を図３に基づき説明する。
図３のステップ１１では、赤外線カメラ３により、ドライバの顔画像を取得する。ドライバの顔画像２０１は、例えば、図９に示すものである。

【0022】

ステップ１２では、図９に示す顔画像２０１のうち、一部の領域２０７を選択する。領域２０７は、顔画像２０１よりは小さく、ドライバの鼻２０５を含むことができる大きさを有する。領域２０７の選択は、次のように行う。

【0023】

後述するステップ１８において探索終了フラグがＯＮとされたままの状態の場合は、顔画像２０１における一定の位置（例えば図９におけるＰ１の位置）を領域２０７とする。その後、探索終了フラグをＯＦＦとする。

【0024】

また、探索終了フラグがＯＦＦの状態の場合は、一回前のステップ１２において選択した領域２０７に隣接し、一定の方向にずれた同じ面積の領域を新たな領域２０７とする。例えば、一回前のステップ１２にて、図９におけるＰ１の位置を領域２０７として選択していた場合は、今回のステップ１２において、その隣のＰ２の位置を領域２０７として選択する。同様に、一回前のステップ１２にて、図９におけるＰ２の位置を領域２０７として選択していた場合は、今回のステップ１２において、その隣のＰ３の位置を領域２０７として選択する。

【0025】

ステップ１３では、直前の前記ステップ１２で選択した領域２０７と、予め第１の記憶部１５に記憶しておいた、鼻孔を含むパターン画像とのパターンマッチングを行い、パターン画像と一致するか否かを判断する。ここで、鼻孔を含むパターン画像には、図１０Ａに示す第１のパターン画像２０９、図１０Ｂに示す第２のパターン画像２１１、及び図１０Ｃに示す第３のパターン画像２１３の３種類があり、それぞれのパターン画像でパターンマッチングを行う。

【0026】

第１のパターン画像２０９、第２のパターン画像２１１、及び第３のパターン画像２１３は、それぞれ、人間の鼻孔部を含む領域の特徴（相対温度のパターン）を有している。第１のパターン画像２０９は、右の鼻孔２１５と左の鼻孔２１７との両方が現れているパターン画像である。第２のパターン画像は、左の鼻孔２１７は現れているが、右の鼻孔２１５は現れていないパターン画像である。第３のパターン画像２１３は、右の鼻孔２１５は現れているが、左の鼻孔２１７は現れていないパターン画像である。

【0027】

領域２０７と、第１のパターン画像２０９、第２のパターン画像２１１、及び第３のパターン画像２１３のうちの少なくとも一つとがパターンマッチングにおいて一致すれば、ステップ１４に進み、いずれも一致しなかった場合はステップ１７に進む。

【0028】

ステップ１４では、直前のステップ１２で選択した領域２０７を、鼻孔を含む領域として決定する。
ステップ１５では、ドライバの左右の鼻孔の中から、後に鼻孔面積を算出する１つの鼻孔を選択する。具体的には以下のように行う。前記ステップ１３において、第１のパターン画像２０９と領域２０７とが一致した場合は、図１１に示すように、領域２０７において、右の鼻孔に相当する領域２０８と、左の鼻孔に相当する領域２１０とをそれぞれ抽出する。抽出は、円又は楕円近似した領域を抽出する方法であってもよいし、鼻孔に内接又は外接する矩形領域等を抽出する方法であってもよい。

【0029】

次に、右の鼻孔に相当する領域２０８の面積と、左の鼻孔に相当する領域２１０の面積とをそれぞれ算出する。これらの面積は、鼻孔に相当する領域中に存在する画素数を計測する方法で算出できる。

【0030】

次に、右の鼻孔に相当する領域２０８の面積と、左の鼻孔に相当する領域２１０の面積とを対比し、面積が大きい方の鼻孔を、後に鼻孔面積を算出する１つの鼻孔として選択する。すなわち、右の鼻孔に相当する領域２０８の面積の方が大きい場合は、右の鼻孔を、後に鼻孔面積を算出する１つの鼻孔として選択し、左の鼻孔に相当する領域２１０の面積の方が大きい場合は、左の鼻孔を、後に鼻孔面積を算出する１つの鼻孔として選択する。

【0031】

また、前記ステップ１３において、第２のパターン画像２１１と領域２０７とが一致した場合は、左の鼻孔を、後に鼻孔面積を算出する１つの鼻孔として選択する。また、前記ステップ１３において、第３のパターン画像２１３と領域２０７とが一致した場合は、右の鼻孔を、後に鼻孔面積を算出する１つの鼻孔として選択する。

【0032】

ステップ１６では、後述する鼻孔面積算出処理で使用するパターン画像を、第１のパターン画像２０９、第２のパターン画像２１１、及び第３のパターン画像２１３の中から選択する。具体的には、以下のように行う。前記ステップ１５において、右の鼻孔を選択した場合は、右の鼻孔を含むパターン画像である、第１のパターン画像２０９及び第３のパターン画像２１３を選択する。

【0033】

また、前記ステップ１５において、左の鼻孔を選択した場合は、左の鼻孔を含むパターン画像である、第１のパターン画像２０９及び第２のパターン画像２１１を選択する。
一方、前記ステップ１３で否定判断した場合はステップ１７に進む。ステップ１７では、前回、探索終了フラグをＯＦＦからＯＮに切り換えた時点以降で、顔画像２０１の全領域を領域２０７として選択し尽くしたか否かを判断する。選択し尽くした場合はステップ１８に進み、探索終了フラグをＯＮにし、本処理を終了する。顔画像２０１のうち、領域２０７として選択されていない領域が残っている場合はステップ１２に進む。

【0034】

図２に戻り、ステップ３では、画像解析部５が、赤外線カメラ３により、ドライバの顔画像を取得する。この顔画像は前記ステップ１１で取得するものと同様である。
ステップ４では、画像解析部５が、鼻孔面積算出処理を実行する。この鼻孔面積算出処理を図４に基づき説明する。

【0035】

図４のステップ２１では、前記ステップ３で取得した顔画像のうち、一部の領域２０７を選択する。領域２０７の大きさ、及び領域２０７の選択方法は前記ステップ１２と同様である。

【0036】

ステップ２２では、直前の前記ステップ２１で選択した領域２０７と、前記ステップ２の鼻孔選択処理で選択した２つのパターン画像とのパターンマッチングを行い、少なくとも１つのパターン画像と一致するか否かを判断する。少なくとも１つのパターン画像と一致する場合はステップ２３に進み、いずれのパターン画像とも一致しない場合はステップ２６に進む。

【0037】

ステップ２３では、直前の前記ステップ２２で選択した領域２０７を、鼻孔を含む領域として決定する。
ステップ２４では、前記ステップ２３で鼻孔を含む領域として決定した領域２０７において、前記ステップ２の鼻孔選択処理で選択した１つの鼻孔の面積（以下、鼻孔面積とする）を算出する。すなわち、前記ステップ２の鼻孔選択処理で右の鼻孔を選択した場合は、領域２０７において、右の鼻孔に相当する領域を抽出し、その抽出した領域の面積を鼻孔面積として算出する。また、前記ステップ２の鼻孔選択処理で左の鼻孔を選択した場合は、領域２０７において、左の鼻孔に相当する領域を抽出し、その抽出した領域の面積を鼻孔面積として算出する。

【0038】

上述した抽出は、円又は楕円近似した領域を抽出する方法であってもよいし、鼻孔に内接又は外接する矩形領域等を抽出する方法であってもよい。また、鼻孔面積は、鼻孔に相当する領域中に存在する画素数を計測する方法で算出できる。

【0039】

ステップ２５では、前記ステップ２４で算出した鼻孔面積を、その鼻孔面積を算出した時刻と紐付けして、第１の記憶部１５に記憶する。
一方、前記ステップ２２で否定判断した場合はステップ２６に進む。ステップ２６では、後述するステップ２７において探索終了フラグをＯＦＦからＯＮに切り換えた時点以降で、顔画像２０１の全領域を領域２０７として選択し尽くしたか否かを判断する。選択し尽くした場合はステップ２７に進み、探索終了フラグをＯＮにし、本処理を終了する。顔画像２０１のうち、領域２０７として選択されていない領域が残っている場合はステップ２１に進む。

【0040】

図２に戻り、ステップ５では、呼吸状態計測部７が、呼吸状態計測処理を実行する。この呼吸状態計測処理を、図５に基づき説明する。図５のステップ３１では、その時点から１分間前の時点を始点とし、その時点を終点とする期間（以下、計測期間とする）内に、前記ステップ２５の処理により第１の記憶部１５に記憶した鼻孔面積のデータ数が所定数以上であるか否かを判断する。所定数以上である場合はステップ３２に進み、所定数未満である場合は本処理を終了する。

【0041】

ステップ３２では、計測期間内に記憶された鼻孔面積のデータに基づき、ドライバの呼吸状態を計測する。具体的には、以下のようにする。鼻孔面積は、ドライバの呼吸に伴い、変動する。すなわち、図１２Ａに示すように、呼気の時間帯では、右の鼻孔に相当する領域２０８及び左の鼻孔に相当する領域２１０の鼻孔面積はそれぞれ縮小し、図１２Ｂに示すように、吸気の時間帯では、右の鼻孔に相当する領域２０８及び左の鼻孔に相当する領域２１０の鼻孔面積はそれぞれ拡大する。そのため、例えば、図１５に示すように、鼻孔面積を算出した時刻を横軸とし、鼻孔面積を縦軸とするグラフを作成すると、鼻孔面積は、呼吸と同じ周期で周期的に変動する。

【0042】

本ステップ３２では、時間の経過に伴う鼻孔面積の周期的な変化から、単位時間当りの呼吸回数、呼吸の周期、単位時間当りの呼気時間、単位時間当りの吸気時間等のパラメータを算出し、これらのパラメータを呼吸状態とする。

【0043】

図２に戻り、ステップ６では、心身状態判断部９が、心身状態判断処理を実行する。この心身状態判断処理を、図６に基づき説明する。図６のステップ４１では、前記ステップ５の呼吸状態計測処理において呼吸状態を計測済みであるか否かを判断する。呼吸状態を計測済みである場合はステップ４２に進み、未だ呼吸状態を計測していない場合は本処理を終了する。

【0044】

ステップ４２では、前記ステップ５の呼吸状態計測処理で計測した呼吸状態に基づき、ドライバの心身状態を判断する。具体的には以下のように行う。第２の記憶部１７には、予め、図１３に示す、呼吸状態とドライバの心身状態との関係を規定する対応マップが記憶されている。なお、ドライバの呼吸状態と心身状態には一定の関係があることが知られており、この対応マップはその関係に基づき作成されている。

【0045】

この対応マップに、前記ステップ５の呼吸状態計測処理で計測した呼吸状態を入力すると、それに対応するドライバの心身状態（心身状態の種類と、心身状態の強度との組）が出力される。

【0046】

なお、図１３に示す対応マップにおいて、呼吸状態のＡ１、Ａ２、Ｂ１・・・は、例えば、単位時間当りの呼吸回数がｎ１〜ｎ２までの呼吸状態、単位時間当りの呼吸回数がｎ２〜ｎ３までの呼吸状態、単位時間当りの呼気時間がｍ１〜ｍ２までの呼吸状態のように、呼吸状態に含まれるパラメータが一定の範囲内である呼吸状態とすることができる。

【0047】

ドライバの心身状態としては、図１３に示すように、眠気、緊張等がある。また、その他の心身状態として、ストレスの強さ、快適／不快、喜怒哀楽の感情、健康状態の程度等が挙げられる。

【0048】

ステップ４３では、前記ステップ４２で判断した心身状態を、第２の記憶部１７に記憶する。
図２に戻り、ステップ７では、フィードバック手法選択部１１が、フィードバック手法選択処理を実行する。このフィードバック手法選択処理を図７に基づき説明する。図７のステップ５１では、前記ステップ６の心身状態判断処理において心身状態を判断済みであるか否かを判断する。心身状態を判断済みである場合はステップ５２に進み、未だ判断していない場合は本処理を終了する。

【0049】

ステップ５２では、前記ステップ６の心身状態判断処理で判断した心身状態に基づき、ドライバに対して実行する処理（フィードバック手法）を選択する。具体的には以下のように行う。第２の記憶部１７には、予め、図１４に示す、心身状態とフィードバック手法との関係を規定する対応マップが記憶されている。この対応マップに、前記ステップ６の心身状態判断処理で判断した心身状態を入力すると、それに対応するフィードバック手法が出力される。

【0050】

フィードバック手法としては、冷風ｆ１、警報音ｆ３、振動ｆ５、振動ｆ７等がある。冷風ｆ１は、車両が備える空調装置により、ドライバに冷風を吹き付ける処理である。警報音ｆ３１は、車室内に設置されたスピーカにより警報音を出力する処理である。振動ｆ５、振動ｆ７は、車両に搭載された振動機構により、ハンドルやドライバシートを振動させる処理である。振動ｆ７は、振動ｆ５に比べて、振動の強度が高い。

【0051】

また、フィードバック処理として、音楽再生、エージェントによる発話、車両挙動制御等を実行してもよい。音楽再生は、車両に搭載されたカーオーディオ、スピーカ、音源駆動装置等を用いて実行できる。

【0052】

図２に戻り、ステップ８では、各種車載機器制御部１３が、車載機器を制御して、前記ステップ７で選択したフィードバック処理を実行する。
ステップ９では、心身状態判断部９が、前記ステップ６で判断した心身状態を表す信号を、車両制御部１０３に出力する。なお、車両制御部１０３は、その心身状態を表す信号に応じて、車両の運転アシストを行う。例えば、ドライバの心身状態が眠気である場合、車両制御部１０３は、白線を検知し、車両が車線から逸脱しないように自動的に操舵する処理（車線キープ制御）、先行車や障害物等の方向及び距離を検出し、必要に応じて自動的にブレーキをかける処理（自動ブレーキ処理）、車両の速度を一定に保つ処理（自動速度制御）等のうちの一部又は全部を行う。

【0053】

また、ドライバの心身状態が緊張である場合、車両制御部１０３は、ハンドル、アクセルペダル、ブレーキペダル等の可動範囲を通常より狭くし、急激な運転動作を抑制する処理を実行する。

【0054】

３．呼吸状態計測装置１が奏する効果
（１）呼吸状態計測装置１は、ドライバの呼吸状態を非接触で計測することができる。そのため、センサ等をドライバに装着する必要がないので、ドライバは煩わしさや物理的な締め付けを感じ難い。

【0055】

（２）呼吸状態計測装置１は、直射日光や空調の風がドライバの顔に当たっている場合でも、それらの影響を受け難く、呼吸状態を正確に計測できる。また、呼吸状態計測装置１は、ドライバが咀嚼や発話のため、呼吸とは無関係に口を開いた場合でも、その影響を受け難く、呼吸状態を正確に計測できる。

【0056】

（３）呼吸状態計測装置１は、呼吸状態の計測に熱画像を用いるので、鼻孔面積を一層正確に算出できる。その結果、呼吸状態計測装置１は、呼吸状態を一層正確に計測できる。

【0057】

（４）呼吸状態計測装置１は、鼻孔選択処理において、左右の鼻孔の中から、顔画像において認識できる一方の鼻孔（２つの鼻孔とも認識できる場合は、鼻孔面積がより大きい鼻孔）を選択し、その鼻孔の鼻孔面積を算出する。そのため、ドライバの顔の向き等に起因して、一方の鼻孔が顔画像において認識し難い場合でも、他方の鼻孔を用いて鼻孔面積を正確に算出できる。その結果、呼吸状態計測装置１は、呼吸状態を一層正確に計測できる。

【0058】

（５）呼吸状態計測装置１は、呼吸状態に基づき、ドライバの心身状態を判断することができる。ドライバの心身状態は、フィードバック手法の選択や、車両制御部１０３による運転アシストに利用することができる。

【0059】

（６）呼吸状態計測装置１は、ドライバの心身状態に基づき、ドライバに対するフィードバック手法を選択することができる。そのため、ドライバの心身状態に応じた適切なフィードバック手法を実行し、ドライバの心身状態を改善したり、車両の安全性を向上したりすることができる。
＜その他の実施形態＞
（１）呼吸状態計測装置１は、ドライバ以外の車両の乗員について、呼吸状態及び心身状態を計測し、それに応じて、ドライバ以外の乗員にフィードバック手法を実行してもよい。この場合、赤外線カメラ３は、少なくとも、ドライバ以外の乗員の顔画像を取得する。赤外線カメラ３は車両の乗員全員を撮影してもよいし、車室の前方と後方にそれぞれ設けられていてもよいし、車両のシートごとに設けられていてもよい。

【0060】

（２）呼吸状態計測装置１は、前記ステップ２４において、左右の鼻孔の鼻孔面積をそれぞれ算出してもよい。この場合、前記ステップ２５で鼻孔面積を記憶するときは、鼻孔面積に、どちらの鼻孔の鼻孔面積であるかを示す識別タグを紐付けして記憶する。

【0061】

また、左右の鼻孔の鼻孔面積をそれぞれ算出する場合、前記ステップ３２において、一方の鼻孔の鼻孔面積に基づき呼吸状態を計測してもよいし、左の鼻孔の鼻孔面積に基づく呼吸状態と、右の鼻孔の鼻孔面積に基づく呼吸状態とをそれぞれ計測してもよい。

【0062】

（３）呼吸状態計測装置１は、呼吸状態とフィードバック手法とを対応付けた対応マップを予め備えていてもよい。この場合、前記ステップ７で計測した呼吸状態を、その対応マップに入力し、実行するべきフィードバック手法を選択することができる。

【0063】

（４）呼吸状態計測装置１は、前記ステップ７で計測した呼吸状態に基づき、特開２００７−１５５４９号公報記載の技術のように、空調制御を行ってもよい。
（５）赤外線カメラ３の代わりに、通常のカメラ（可視光の像を撮像するカメラ）を用いてもよい。この場合、通常のカメラの画像を用いて、赤外線カメラ３の場合と同様に、鼻孔面積を算出することができる。

【0064】

（６）呼吸状態計測装置１は、呼吸状態を表す信号を車両制御部１０３に出力してもよい。この場合、車両制御部１０３は、呼吸状態に予め対応付けられた車両制御を行うことができる。

【符号の説明】

【0065】

１…呼吸状態計測装置、３…赤外線カメラ、５…画像解析部、７…呼吸状態計測部、９…心身状態判断部、１１…フィードバック手法選択部、１３…各種車載機器制御部、１５…第１の記憶部、１７…第２の記憶部、１０３…車両制御部、２０１…顔画像、２０３…顔、２０５…鼻、２０７…領域、２０８…右の鼻孔に相当する領域、２０９…第１のパターン画像、２１０…左の鼻孔に相当する領域、２１１…第２のパターン画像、２１３…第３のパターン画像、２１５…右の鼻孔、２１７…左の鼻孔

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】