特開 2023-22741 状態診断装置、状態診断システム、及び状態診断方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023022741

(43)【公開日】2023-02-15

(54)【発明の名称】状態診断装置、状態診断システム、及び状態診断方法

(51)【国際特許分類】

   G01N 33/497 20060101AFI20230208BHJP

   G01N 33/98 20060101ALI20230208BHJP

【ＦＩ】

G01N33/497 A

G01N33/98

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2021127772

(22)【出願日】2021-08-03

(71)【出願人】

【識別番号】000010098

【氏名又は名称】アルプスアルパイン株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】坂本 秀樹

(72)【発明者】

【氏名】藤原 学

(72)【発明者】

【氏名】村本 政忠

(72)【発明者】

【氏名】松田 脩平

(72)【発明者】

【氏名】岩本 太郎

【テーマコード（参考）】

2G045

【Ｆターム（参考）】

2G045AA40

2G045CB22

2G045DA74

(57)【要約】

【課題】移動体内に備えられた複数の嗅覚センサを用いて乗員の状態を診断することを容易にする。
【解決手段】状態診断装置は、移動体内に備えられた複数の嗅覚センサを用いて乗員の状態を診断する状態診断装置であって、発話した乗員の前記移動体内における位置を特定する位置特定部と、前記複数の嗅覚センサのうち、前記特定した位置に対応する嗅覚センサが取得した呼気データに基づいて前記発話した乗員の状態を診断する診断部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

移動体内に備えられた複数の嗅覚センサを用いて乗員の状態を診断する状態診断装置であって、
発話した乗員の前記移動体内における位置を特定する位置特定部と、
前記複数の嗅覚センサのうち、前記特定した位置に対応する嗅覚センサが取得した呼気データに基づいて前記発話した乗員の状態を診断する診断部と、
を備える、状態診断装置。

【請求項2】

前記診断部は、前記発話した乗員が発話しているときに、前記特定した位置に対応する嗅覚センサが取得した呼気データを用いて、前記発話した乗員の状態を診断する、請求項１に記載の状態診断装置。

【請求項3】

前記位置特定部は、前記移動体内に備えられた１つ以上のマイクが取得した音声を用いて、前記発話した乗員の位置を特定する、請求項１又は２に記載の状態診断装置。

【請求項4】

前記位置特定部は、前記１つ以上のマイクが取得した音声を分離する音源分離処理により分離した複数の音声により、前記発話した乗員の位置を特定する、請求項３に記載の状態診断装置。

【請求項5】

前記位置特定部は、前記１つ以上のマイクが取得した複数の音声の音圧レベルにより、前記発話した乗員の位置を特定する、請求項３に記載の状態診断装置。

【請求項6】

前記位置特定部は、前記移動体内に備えられたカメラを用いて撮影した前記移動体内を撮影した映像から、乗員の口の動きを検出することにより前記発話した乗員の位置を特定する、請求項１又は２に記載の状態診断装置。

【請求項7】

前記診断部が診断する診断結果は、前記発話した乗員の呼気に含まれるアルコール濃度に基づく診断結果を含む、請求項１乃至６のいずれか一項に記載の状態診断装置。

【請求項8】

前記特定した位置に基づいて、前記発話した乗員を特定する話者特定部を有する、請求項１乃至７のいずれか一項に記載の状態診断装置。

【請求項9】

前記話者特定部は、前記移動体内に備えられたカメラで前記特定した位置にいる乗員の画像データを用いて、前記発話した乗員を特定する、請求項８に記載の状態診断装置。

【請求項10】

前記話者特定部は、前記移動体内に備えられたマイクで前記特定した位置にいる乗員の発話を取得した音声データを用いて、前記発話した乗員を特定する、請求項８又は９に記載の状態診断装置。

【請求項11】

前記発話した乗員の情報と、前記発話した乗員の状態の診断結果とを出力する出力部を有する、請求項８乃至１０のいずれか一項に記載の状態診断装置。

【請求項12】

移動体内に備えられた複数の嗅覚センサを用いて乗員の状態を診断する状態診断システムであって、
発話した乗員の前記移動体内における位置を特定する位置特定部と、
前記複数の嗅覚センサのうち、前記特定した位置に対応する嗅覚センサが取得した呼気に基づいて前記発話した乗員の状態を診断する診断部と、
を備える、状態診断システム。

【請求項13】

移動体内に備えられた複数の嗅覚センサを用いて乗員の状態を診断する状態診断装置が備えるコンピュータが、
発話した乗員の前記移動体内における位置を特定する位置特定処理と、
前記複数の嗅覚センサのうち、前記特定した位置に対応する嗅覚センサが取得した呼気に基づいて前記発話した乗員の状態を診断する診断処理と、
を実行する、状態診断方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、状態診断装置、状態診断システム、及び状態診断方法に関する。

【背景技術】

【0002】

自動車等の移動体の乗員の飲酒状態を判定する技術が知られている。例えば、車室内の各座席に指標成分濃度検出用のセンサを配置し、センサが検出した濃度の差分に基づいて検出用の閾値を変更することにより、飲酒状態である乗員を判定する技術が知られている（例えば、特許文献１参照）。

【0003】

また、患者の呼気と、機械学習プロセスを用いて作成されたデータパターンとを用いて、患者の健康状態を評価する医療システムが知られている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９－１９３２２７号公報

【特許文献2】特表２０２０－５２１１２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

嗅覚センサの機能向上に伴い、例えば、自動車等の移動体に備えられた複数の嗅覚センサを用いて、乗員の呼気により、乗員の状態を診断したいという要求がある。

【0006】

しかし、例えば、自動車等の閉鎖空間であり、かつ複数の乗員がいる環境では、他の乗員の呼気、外気、又は車室内の臭気等の影響を受けるため、嗅覚センサを用いて乗員の状態を診断することには困難を伴っていた。

【0007】

本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、移動体内に備えられた複数の嗅覚センサを用いて乗員の状態を診断することを容易にする。

【課題を解決するための手段】

【0008】

上記の課題を解決するため、本発明の一実施形態に係る状態診断装置は、移動体内に備えられた複数の嗅覚センサを用いて乗員の状態を診断する状態診断装置であって、発話した乗員の前記移動体内における位置を特定する位置特定部と、前記複数の嗅覚センサのうち、前記特定した位置に対応する嗅覚センサが取得した呼気データに基づいて前記発話した乗員の状態を診断する診断部と、を備える。

【発明の効果】

【0009】

本発明の一実施形態によれば、移動体内に備えられた複数の嗅覚センサを用いて乗員の状態を診断することが容易になる。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る状態診断システムのシステム構成の例を示す図である。

【図2】一実施形態に係る状態診断装置のハードウェア構成の例を示す図である。

【図3】第１の実施形態に係る状態診断装置の機能構成の一例を示す図である。

【図4】一実施形態に係る音源分離処理について説明するための図である。

【図5】一実施形態に係る診断処理の例について説明するための図である。

【図6】第１の実施形態に係る状態診断処理の例を示すフローチャートである。

【図7】第２の実施形態に係る状態診断装置の機能構成の一例を示す図である。

【図8】第２の実施形態に係るユーザ情報の一例のイメージを示す図である。

【図9】第２の実施形態に係る状態診断処理の例を示すフローチャートである。

【図10】第２の実施形態に係る診断情報の一例のイメージを示す図である。

【発明を実施するための形態】

【0011】

以下に、本発明の実施の形態について、添付の図面を参照して説明する。

【0012】

＜システム構成＞
図１は、一実施形態に係る状態診断システムのシステム構成の例を示す図である。状態診断システム１は、移動体内に備えられた複数の嗅覚センサを用いて乗員の状態を診断するシステムである。図１の例では、状態診断システム１は、自動車等の車両１０内に設けられた、状態診断装置１００、複数の嗅覚センサ１０１ａ～１０１ｄ、１つ以上のマイク１０２ａ、１０２ｂ、及び１つ以上のカメラ１０３等を含む。なお、車両１０は、移動体の一例である。移動体は、車両１０に限られず、例えば、船舶、又は航空機等であっても良い。また、車両１０は、自動車に限られず、列車、又はモノレール等の車両であっても良い。

【0013】

なお、以下の説明において、複数の嗅覚センサ１０１ａ～１０１ｄのうち、任意の嗅覚センサを示す場合、「嗅覚センサ１０１」を用いる。また、１つ以上のマイク１０２ａ、１０２ｂのうち、任意のマイクを示す場合、「マイク１０２」を用いる。図１に示した嗅覚センサ１０１、及びマイク１０２の数は一例であり、他の数であっても良い。

【0014】

嗅覚センサ１０１ａは、乗員１１０ａが利用する座席（例えば、運転席等）に対応して設けられ、乗員１１０ａの呼気（鼻、又は口から吐く息）に含まれる複数の種類の生体ガスの濃度を検出するセンサである。同様に、嗅覚センサ１０１ｂは、乗員１１０ｂが利用する座席（例えば、助手席等）に対応して設けられ、乗員１１０ｂの呼気に含まれる生体ガスを検出する。嗅覚センサ１０１ｃは、乗員１１０ｃが利用する座席（例えば、後部座席等）に対応して設けられ、乗員１１０ｃの呼気に含まれる生体ガスを検出する。嗅覚センサ１０１ｄは、乗員１１０ｄが利用する座席（例えば、助手席等）に対応して設けられ、乗員１１０ｄの呼気に含まれる生体ガスを検出する。

【0015】

なお、本実施形態に係る嗅覚センサ１０１は、乗員１１０が吐く息に含まれる複数の生体ガスの濃度を検出可能な様々なセンサ（例えば、ガスセンサ、呼気センサ、又は匂いセンサ等）を含む。

【0016】

マイク１０２ａは、例えば、乗員１１０ａと乗員１１０ｂとの間の天井、又はダッシュボード等に設けられ、複数のマイク素子を内蔵したアレイマイク（又はマイクアレイ）である。マイク１０２ｂは、例えば、乗員１１０ｃと乗員１１０ｄとの間の天井、又はセンターコンソール等に設けられたアレイマイクである。マイク１０２ａ、マイク１０２ｂで取得した音声は、例えば、車両１０、又は状態診断装置１００が備える音源分離部で信号処理を行うことにより、乗員１１０ａが発生した音声、乗員１１０ｂが発生した音声、乗員１１０ｃが発生した音声、及び乗員１１０ｃが発生した音声に分離される。

【0017】

なお、図１に示す１つ以上のマイク１０２ａ、１０２ｂは一例である。例えば、状態診断システム１が備える１つ以上のマイク１０２は、複数の乗員１１０ａ～１１０ｄの各々に対応して設けられた指向性を有する複数のマイク等であっても良いし、１つのアレイマイクであっても良い。要するに、１つ以上のマイク１０２は、車両１０内の各乗員が発話した音声を選択的に取得可能なものであれば良い。

【0018】

好適な一例として、複数のマイク１０２は、車両１０内に設けられたマイクで車両１０内の音声を取得し、取得した音声を車両内に設けられたスピーカで出力することにより、乗員間の会話を容易にする車内通話システムのマイクを利用（流用）しても良い。

【0019】

１つ以上のカメラ１０３は、例えば、車両１０内の天井、又はダッシュボード等に設けられ、車両１０内の乗員を撮像（撮影）する撮像装置である。好適な一例として、１つ以上のカメラは、車両１０内の乗員を撮影する車内モニタリングシステムのカメラを利用（流用）しても良い。

【0020】

状態診断装置１００は、車両１０に搭載されるＥＣＵ（Electric Control Unit）、又は情報処理装置等のコンピュータであり、所定のプログラムを実行することにより、複数の嗅覚センサ１０１を用いて乗員の状態を診断する状態診断処理を実行する。

【0021】

例えば、乗員１１０ｂが発話した場合、状態診断装置１００は、複数のマイク１０２ａ、１０２ｂで取得した音声に基づいて、発話した乗員１１０ｂの車両１０内における位置（助手席等）を特定する。また、状態診断装置１００は、特定した位置に対応する嗅覚センサ１０１ｂが取得した乗員１１０ｂの呼気データに基づいて、発話した乗員１１０ｂの状態を診断する。好ましくは、状態診断装置１００は、乗員１１０ｂが発話したとき（発話している期間）に取得した呼気データを用いて、発話した乗員１１０ｂの状態を診断する。

【0022】

従来の技術では、車両１０内等の閉鎖された空間に、飲酒した乗員１１０ｂがいると、乗員１１０ｂの呼気に含まれるアルコールの成分が車両１０内に広がるため、運転席の乗員１１０ａが飲酒していると誤検知されてしまう恐れがある。

【0023】

しかし、本実施形態では、乗員１１０ｂが発話したタイミングで、嗅覚センサ１０１ｂが検出したアルコール濃度のピーク値が上がることから、乗員１１０ｂが飲酒していることを特定することができる。従って、例えば、助手席の乗員１１０ｂの飲酒により、運転席の乗員１１０ａが飲酒していると誤検知されてしまうことを防止することができる。

【0024】

このように、本実施形態によれば、車両（移動体の一例）１０内に備えられた複数の嗅覚センサ１０１ａ～１０１ｄを用いて乗員の状態を診断することが容易になる。

【0025】

＜ハードウェア構成＞
図２は、一実施形態に係る状態診断装置１００のハードウェア構成の例を示す図である。状態診断装置１００は、コンピュータの構成を有しており、例えば、ＣＰＵ（Central Processing Unit）２０１、メモリ２０２、ストレージデバイス２０３、通信装置２０４、出力装置２０５、入力装置２０６、Ｉ／Ｆ（Interface）２０７、及びバス２０８等を有する。

【0026】

ＣＰＵ２０１は、例えば、ストレージデバイス２０３等の記憶媒体に格納された所定のプログラムを実行することにより、様々な機能を実現するプロセッサである。メモリ２０２には、例えば、ＣＰＵ２０１のワークエリア等として用いられる揮発性のメモリであるＲＡＭ（Random Access Memory）、及びＣＰＵ２０１の起動用のプログラム等を記憶した不揮発性のメモリであるＲＯＭ（Read Only Memory）等が含まれる。ストレージデバイス２０３は、例えば、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）等の不揮発性、かつ大容量の記憶デバイスである。

【0027】

通信装置２０４は、状態診断装置１００を通信ネットワークに接続するための１つ以上の通信インタフェースを含む。例えば、通信装置２０４は、状態診断装置１００を、インターネット等のＷＡＮ（Wide Area Network）に接続するための無線通信インタフェースを含み得る。また、通信装置２０４は、状態診断装置１００を、車両１０の車載ネットワークに接続するための通信インタフェースを含み得る。

【0028】

出力装置２０５は、外部への出力を行う、例えば、表示装置、スピーカ等の出力デバイスである。入力装置２０６は、外部からの入力を受け付ける、例えば、キーボード、マウス、マイク、スイッチ、センサ等の入力デバイスである。なお、出力装置２０５、及び入力装置２０６は、例えば、タッチパネルディスプレイ等の入出力装置であっても良い。Ｉ／Ｆ２０７は、例えば、状態診断装置１００に外部デバイスを接続するためのインタフェースである。例えば、Ｉ／Ｆ２０７は、複数の嗅覚センサ１０１ａ～１０１ｄを接続するインタフェース、カメラ１０３を接続するインタフェース、又は車両１０が備える音声処理装置から音声データを入力するインタフェース等が含まれ得る。

【0029】

バス２０８は、上記の各構成要素に共通に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。

【0030】

[第１の実施形態]
＜機能構成＞
図３は、第１の実施形態に係る状態診断装置の機能構成の一例を示す図である。状態診断装置１００は、ＣＰＵ２０１が、ストレージデバイス２０３等の記憶媒体に記憶したプログラムを実行することにより、一例として、図３に示すような機能構成を実現している。図３の例では、状態診断装置１００は、音声取得部３０１、位置特定部３０２、呼気データ取得部３０３、診断部３０４、出力部３０５、記憶部３０６、及び通信部３０７等を実現している。なお、上記の各機能構成のうち、少なくとも一部はハードウェアによって実現されるものであっても良い。

【0031】

別の一例として、状態診断装置１００は、音源分離部３１０をさらに有していても良い。図３の例では、状態診断装置１００は、車両１０が備える、前述した車内通話システム用のマイク１０２ａ、１０２ｂと音源分離部３１０とを利用することを想定している。

【0032】

音源分離部３１０は、例えば、車両１０が備えるＥＣＵが実行するプログラム、ＤＳＰ（Digital Signal Processor）、又は音声処理回路等によって実現される。音源分離部３１０は、例えば、図４に示すように、アレイマイクであるマイク１０２ａ、１０２ｂから入力される入力音声を、複数の方向からの音声（乗員１１０ａ～１１０ｄの音声）に分離する音源分離処理を実行する。

【0033】

ただし、これは一例である。例えば、車両１０が、乗員１１０ａ～１１０ｄの各々に対応する４つのマイクを有している場合、状態診断システム１は、音源分離部３１０を有していなくても良い。

【0034】

音声取得部３０１は、例えば、音源分離部３１０が分離した複数の乗員１１０ａ～１１０ｄの音声（音声データ、又は音声信号）を取得する。或いは、音声取得部３０１は、乗員１１０ａ～１１０ｄの各々に対応する４つのマイクを用いて、複数の乗員１１０ａ～１１０ｄの音声を取得するものであっても良い。

【0035】

位置特定部３０２は、例えば、音声取得部３０１が取得した乗員１１０ａ～１１０ｄの音声を用いて、発話した乗員の車両（移動体）１０内における位置を特定する位置特定処理を実行する。例えば、図４に示すような、乗員１１０ａ～１１０ｄの音声の振幅のうち、乗員１１０ａの音声の振幅が閾値を超えた場合、乗員１１０ａの位置（運転席）を特定する。同様に、乗員１１０ｂの音声の振幅が閾値を超えた場合、乗員１１０ｂの位置（助手席）を特定する。

【0036】

或いは、位置特定部３０２は、音声取得部３０１が、４つのマイクで取得した複数の乗員１１０ａ～１１０ｄの音声の音圧レベルを判定し、音圧レベルが最も高いマイクに対応する乗員の位置を特定するもの等であっても良い。

【0037】

また、別の一例として、位置特定部３０２は、備えられたカメラ１０３を用いて撮影した、車両１０内を撮影した映像から、例えば、乗員の口の動きを検出することにより、発話した乗員の車両１０内における位置を特定しても良い。

【0038】

呼気データ取得部３０３は、複数の嗅覚センサ１０１ａ～１０１ｄが取得した乗員１１０ａ～１１０ｄの呼気から検出された呼気データ（検出された生体ガスの種類、及び濃度等）を取得する。

【0039】

診断部３０４は、複数の嗅覚センサ１０１ａ～１０１ｄのうち、位置特定部３０２が特定した位置（発話した乗員の位置）に対応する嗅覚センサ１０１が取得した呼気データに基づいて発話した乗員の状態を診断する。例えば、診断部３０４は、乗員１１０ｂが発話した場合、乗員１１０ｂの位置に対応する嗅覚センサ１０１ｂが取得した呼気データに基づいて、乗員１１０ｂの状態を診断する。

【0040】

好ましくは、診断部３０４は、乗員１１０が発話しているとき（乗員１１０が発話している期間）に、当該乗員１１０の位置に対応する嗅覚センサ１０１ｂが取得した呼気データを用いて、当該乗員１１０の状態を診断する。

【0041】

図５は、一実施形態に係る診断処理の例について説明するための図である。例えば、診断部３０４は、図５（Ａ）に示すように、乗員１１０が発話したときに嗅覚センサ１０１が取得した呼気データをＡＩ（Artificial Intelligence）により分類することにより、乗員１１０の状態を診断しても良い。一例として、状態診断装置１００は、呼気データを学習データとし、乗員の状態を教師データとして予め学習済の状態予測モデルを記憶部３０６に記憶しておく。この場合、診断部３０４は、嗅覚センサ１０１が取得した呼気データを、記憶部３０６に記憶した状態予測モデルに入力することにより、乗員の状態を取得することができる。別の一例として、診断部３０４は、通信部３０７を用いて、学習済の状態予測モデルにより状態予測サービスを提供するクラウドサーバ等に、嗅覚センサ１０１が取得した呼気データを送信し、乗員の状態を取得しても良い。なお、状態予測モデル（機械学習モデル）としては、例えば、ＧＮＮ（Graph Neural Network）等を適用することができる。

【0042】

或いは、状態診断装置１００は、図５（Ｂ）に示すように、呼気中から検出された生体ガスと、乗員の状態との対応関係を示す対応情報５０１を記憶部３０６に記憶しておくものであっても良い。呼気に含まれる生体ガスと、健康状態との間には、相関関係があることが知られている。従って、診断部３０４は、呼気中の生体ガスの濃度が閾値を超えたときに、閾値を超えた生体ガスに対応する健康状態を、対応情報５０１から取得して診断結果として出力しても良い。

【0043】

例えば、診断部３０４は、呼気中のエタノールの濃度が閾値を超えたときに、飲酒に関する診断結果を出力しても良い。また、呼気中のイソプレンは、睡眠中に多量に放出され、覚醒時には低くなるとされているため、診断部３０４は、呼気中のイソプレンの濃度が閾値を超えたときに、睡眠に関する診断結果を出力しても良い。さらに、診断部３０４は、呼気中の、例えば、アセトン、一酸化炭素、アンモニア、アセトアルデヒド、又は硫化水素等の濃度が閾値を超えたときに、対応する健康状態に関する診断結果を出力しても良い。

【0044】

さらに、診断部３０４は、例えば、図４（Ｃ）に示すように、乗員１１０の位置に対応する嗅覚センサ１０１が取得した呼気データ（測定値）の一部、又は全部を診断結果５０２として出力しても良い。また、診断部３０４は、運転席の乗員１１０ａの呼気からアルコールが検出された場合等には、「しばらく運転を控えて下さい」等の適切なメッセージを、さらに出力しても良い。

【0045】

出力部３０５は、診断部３０４による診断結果を、例えば、記憶部３０６、出力装置２０５（表示装置、又は音声出力装置等）、車両１０が備えるＥＣＵ、又は外部サーバ等に出力する。

【0046】

記憶部３０６は、ＣＰＵ２０１が実行するプログラム、及びストレージデバイス２０３等によって実現され、例えば、前述した学習済の状態予測モデル、診断部３０４による診断結果等の様々なデータ（又は情報）、及びプログラム等を記憶する。

【0047】

通信部３０７は、例えば、通信装置２０４を用いて、状態診断装置１００をインターネット等の通信ネットワークに接続し、外部のサーバ、又はクラウドサービス等と通信する通信処理を実行する。なお、通信部３０７は、車載ネットワークを介して、車両１０が備える通信モジュール等を用いて、外部のサーバ、又はクラウドサービス等と通信しても良い。

【0048】

なお、図３に示す状態診断装置１００の機能構成は一例である。状態診断装置１００の機能構成のうち、少なくとも一部は、車両１０の他のＥＣＵ等が有していても良い。また、状態診断装置１００の機能構成は、複数の車載装置に分散して設けられていても良い。要するに、図３の状態診断装置１００が備える各機能構成は、状態診断システム１に含まれるいずれかの装置が有していれば良い。

【0049】

＜処理の流れ＞
続いて、第１の実施形態に係る状態診断方法の流れについて説明する。

【0050】

図６は、第１の実施形態に係る状態診断処理の例を示すフローチャートである。この処理は、例えば、状態診断装置１００の状態診断処理の設定がオンに設定されているときに、状態診断装置１００が実行する状態診断処理の一例を示している。

【0051】

ステップＳ６０１において、状態診断装置１００の音声取得部３０１は、車両１０内の音声を取得する。例えば、音声取得部３０１は、図４に示すように、音源分離部３１０が音源分離処理を実行した、乗員１１０ａ～１１０ｄの音声（音声データ、又は音声信号）を取得する。

【0052】

ステップＳ６０２において、状態診断装置１００の位置特定部３０２は、乗員１１０ａ～１１０ｄの音声レベルが閾値を超えたか否かを判断する。ここで、閾値として、乗員１１０が発話したことを検知するための音声レベルが予め設定されているものとする。乗員１１０ａ～１１０ｄの音声レベルのうち、いずれかの音声レベルが閾値を超えた場合、処理をステップＳ６０３に移行させる。

【0053】

ステップＳ６０３に移行すると、位置特定部３０２は、閾値を超えた音声から、発話した乗員１１０の位置を特定する。例えば、位置特定部３０２は、図１に示す車両１０において、乗員１１０ａの音声レベルが閾値を超えた場合、発話した乗員の１１０ａの位置（運転席）を特定する。同様に、他の乗員１１０ｂ～１１０ｄの音声レベルが閾値を超えた場合、発話した乗員１１０ｂ～１１０ｄの位置を特定する。

【0054】

ステップＳ６０４において、状態診断装置１００の診断部３０４は、位置特定部３０２が特定した位置に対応する嗅覚センサ１０１が取得した呼気データを用いて、発話した乗員の状態を診断する。例えば、図１に示す車両１０において、乗員１１０ａの音声レベルが閾値を超えた場合、診断部３０４は、乗員１１０ａの位置に対応する嗅覚センサ１０１ａが取得した呼気データを用いて、発話した乗員１１０ａの状態を診断する。

【0055】

一例として、診断部３０４は、図５（Ａ）で説明したように、乗員１１０の位置に対応する嗅覚センサ１０１が取得した呼気データを、記憶部３０６に記憶した学習済の状態予測モデルに入力し、出力される状態情報に基づいて、乗員１１０の状態を診断しても良い。

【0056】

ステップＳ６０５において、状態診断装置１００の出力部３０５は、診断部３０４による診断結果を出力する。例えば、出力部３０５は、診断部３０４による診断結果を示す表示画面、又は音声アナウンス等を、出力装置２０５を用いて出力する。或いは、出力部３０５は、診断部３０４による診断結果を示す表示画面、又は音声アナウンス等を、車両１０が備える表示装置、又は音声出力装置等に出力しても良い。

【0057】

上記の処理により、例えば、車両１０等の移動体内に備えられた複数の嗅覚センサ１０１を用いて乗員の状態を診断することが容易になる。

【0058】

［第２の実施形態］
第２の実施形態では、状態診断システム１が、発話した乗員の位置だけではなく、発話した乗員を特定する話者特定部を有する場合の例について説明する。

【0059】

図７は、第２の実施形態に係る状態診断装置の機能構成の一例を示す図である。第２の実施形態に係る状態診断装置１００は、例えば、図３に示した第１の実施形態に係る状態診断装置１００の機能構成に加えて、ユーザ情報管理部７０１、画像取得部７０２、及び話者特定部７０３等を有している。

【0060】

ユーザ情報管理部７０１は、例えば、ＣＰＵ２０１が実行するプログラムによって実現され、状態診断システム１、又は状態診断装置１００に登録されたユーザの情報であるユーザ情報を、記憶部３０６等に記憶して管理する。

【0061】

図８は、第２の実施形態に係るユーザ情報の一例のイメージを示す図である。図８の例では、ユーザ情報８００には、一例として、「ユーザＩＤ」、「ユーザ名」、「特徴量データ」、及び「連絡先」等の情報が含まれる。「ユーザＩＤ」は、ユーザを識別する識別情報である。例えば、状態診断システム１を企業等で利用する場合、ユーザＩＤは、社員を識別する社員ＩＤ等であっても良い。「ユーザ名」は、ユーザの氏名等を示す情報である。

【0062】

「特徴量データ」は、一例として、ユーザの顔認証に用いる、ユーザの顔画像から抽出した顔の特徴量データである。別の一例として、「特徴量データ」は、ユーザの話者認識処理に用いる、ユーザの音声から抽出した特徴量データであっても良い。「連絡先」は、ユーザの連絡先（例えば、メールアドレス、又は電話番号等）を示す情報である。

【0063】

画像取得部７０２は、例えば、ＣＰＵ２０１が実行するプログラムによって実現され、車両１０が備えるカメラ１０３が、車両１０内の乗員１１０を撮像した画像データを取得する。

【0064】

話者特定部７０３は、例えば、ＣＰＵ２０１が実行するプログラムによって実現され、画像取得部７０２が取得した画像データのうち、位置特定部３０２が特定した位置にいる乗員１１０の画像データを用いて、顔認証処理等により発話した乗員１１０を特定する。

【0065】

例えば、話者特定部７０３は、画像取得部７０２が取得した画像データから、位置特定部３０２が特定した位置にいる乗員１１０の顔画像を切り出し、顔の特徴量データを抽出する。また、話者特定部７０３は、抽出した顔の特徴量データと、ユーザ情報８００に予め記憶した複数のユーザの「特徴量データ」との類似度を算出し、算出した類似度が閾値を超えたユーザを、話者として特定しても良い。

【0066】

別の一例として、話者特定部７０３は、発話した乗員１１０の音声データから、声の特徴量データを抽出して、抽出した声の特徴量データと、ユーザ情報８００に予め記憶した複数のユーザの「特徴量データ」との類似度に基づいて、話者を特定しても良い。或いは、話者特定部７０３は、発話した乗員１１０の音声データに、既知の話者認識技術による話者認識処理により、話者を特定しても良い。

【0067】

＜処理の流れ＞
図９は、第２の実施形態に係る状態診断処理の例を示すフローチャートである。この処理は、例えば、状態診断装置１００の状態診断処理の設定がオンに設定されているときに、状態診断装置１００が実行する状態診断処理の別の一例を示している。なお、基本的な処理内容は、図６で説明した第１の実施形態と同様なので、ここでは、第１の実施形態と同様の処理に対する詳細な説明は省略する。

【0068】

ステップＳ９０１において、状態診断装置１００の音声取得部３０１は、車両１０内の音声（乗員１１０ａ～１１０ｄの音声等）を取得する。

【0069】

ステップＳ９０２において、状態診断装置１００の位置特定部３０２は、乗員１１０ａ～１１０ｄの音声レベルが閾値を超えたか否かを判断する。乗員１１０ａ～１１０ｄの音声レベルのうち、いずれかの音声レベルが閾値を超えた場合、処理をステップＳ９０３に移行させる。

【0070】

ステップＳ９０３に移行すると、位置特定部３０２は、閾値を超えた音声から、発話した乗員１１０の位置を特定する。

【0071】

ステップＳ９０４において、状態診断装置１００の話者特定部７０３は、画像取得部７０２が取得した車両１０内を撮像した画像データ、又は乗員１１０ａ～１１０ｄの音声レベルのうち、閾値を超えた乗員１１０の音声データから発話した乗員１１０を特定する。

【0072】

一例として、話者特定部７０３は、画像取得部７０２が取得した画像データから、位置特定部３０２が特定した位置にいる乗員１１０の顔画像を切り出し、ユーザ情報８００を用いて顔認証処理を実行することにより、発話した乗員１１０を特定しても良い。

【0073】

ステップＳ９０５において、状態診断装置１００の診断部３０４は、位置特定部３０２が特定した位置に対応する嗅覚センサ１０１が取得した呼気データを用いて、発話した乗員の状態を診断する。

【0074】

一例として、診断部３０４は、図５（Ａ）で説明したように、乗員１１０の位置に対応する嗅覚センサ１０１が取得した呼気データを、記憶部３０６に記憶した学習済の状態予測モデルに入力し、出力される状態情報に基づいて乗員１１０の状態を診断しても良い。

【0075】

ステップＳ９０６において、状態診断装置１００の出力部３０５は、発話した乗員の情報と、診断部３０４による診断結果とを含む診断情報を、所定の出力先に出力する。例えば、出力部３０５は、図１０に示すような診断情報１０００を、通信部３０７、及び通信ネットワーク７１２を介して、診断情報１０００を管理する管理サーバ７１１等に送信しても良い。或いは、出力部３０５は、第１の実施形態と同様に、記憶部３０６、出力装置２０５、又は車両１０が備えるＥＣＵ等に診断情報１０００を出力しても良い。なお、診断情報１０００は、診断結果を一例である。

【0076】

図１０は、第２の実施形態に係る診断情報の一例のイメージを示す図である。図１０の例では、診断情報１０００は、一例として、「検出日時」、「検出位置」、「検出項目」、「検出結果」、「ユーザＩＤ」、「ユーザ名」、及び「連絡先」等の情報を含む。「検出日時」は、状態診断装置１００が、「検出結果」を検出した日時を示す情報である。「検出位置」は、状態診断装置１００が、「検出結果」を検出した乗員１１０の位置（座席等）を示す情報である。

【0077】

「検出項目」、及び「検出結果」は、状態診断装置１００が検出した検出項目、及び検出結果を示す情報である。図１０の例では、状態診断装置１００が、運転席の乗員１１０の呼気中のアルコール濃度が閾値を超え、検出されたアルコール濃度が「０．１２ｍｇ／Ｌ」であることが示されている。「ユーザＩＤ」、「ユーザ名」、及び「連絡先」は、発話した乗員の情報の一例であり、例えば、図８に示すようなユーザ情報８００から取得する。

【0078】

第２の実施形態によれば、乗員の状態を示す診断結果と、乗員を特定する情報とを含む診断情報１０００を容易に取得することができる。

【0079】

以上、本発明の各実施形態によれば、車両１０等の移動体内に備えられた複数の嗅覚センサ１０１を用いて乗員１１０の状態を診断することが容易になる。

【符号の説明】

【0080】

１ 状態診断システム
１０ 車両（移動体の一例）
１００ 状態診断装置
１０１、１０１ａ～１０１ｄ 嗅覚センサ
１０２、１０２ａ、１０２ｂ マイク（アレイマイク）
１０３ カメラ
１１０、１１０ａ～１１０ｄ 乗員
３０２ 位置特定部
３０４ 診断部
３０５ 出力部
５０２ 診断結果
７０３ 話者特定部
１０００ 診断情報（診断結果の一例）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】