特開2023-108329 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーセミコンダクタソリューションズ株式会社の特許一覧

特開2023-108329振動検出システムおよび振動検出方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023108329

(43)【公開日】2023-08-04

(54)【発明の名称】振動検出システムおよび振動検出方法

(51)【国際特許分類】

G01S 13/86 20060101AFI20230728BHJP

G01B 11/00 20060101ALN20230728BHJP

【ＦＩ】

G01S13/86

G01B11/00 H

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022009387

(22)【出願日】2022-01-25

(71)【出願人】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】小堺修

(72)【発明者】

【氏名】チュバヒエン

【テーマコード（参考）】

2F065

5J070

【Ｆターム（参考）】

2F065AA01

2F065AA03

2F065AA09

2F065CC16

2F065DD03

2F065FF04

2F065JJ03

2F065JJ26

2F065QQ31

5J070AB24

5J070AC02

5J070AC11

5J070AE01

5J070AE09

5J070AF03

5J070AH39

5J070AK22

5J070BD06

5J070BD08

(57)【要約】

【課題】微小な振動を精度よく検出することができる振動検出システムおよび振動検出方法を提供する。
【解決手段】本開示に係る振動検出システムは、ビジョンセンサと、レーダと、ビジョンセンサおよびレーダを制御する制御部と、を備える。また、制御部は、特定部と、取得部と、を有する。特定部は、ビジョンセンサによって被測定物内の振動源の位置を特定する。取得部は、特定された振動源の位置の振動に関する振動情報をレーダによって取得する。
【選択図】図１３

【特許請求の範囲】

【請求項1】

ビジョンセンサと、
レーダと、
前記ビジョンセンサおよび前記レーダを制御する制御部と、
を備え、
前記制御部は、
前記ビジョンセンサによって被測定物内の振動源の位置を特定する特定部と、
特定された前記振動源の位置の振動に関する振動情報を前記レーダによって取得する取得部と、
を有する振動検出システム。

【請求項2】

前記ビジョンセンサおよび前記レーダは、互いに近接して配置される
請求項１に記載の振動検出システム。

【請求項3】

前記取得部は、前記振動情報から、前記被測定物における前記振動源とは異なる位置の振動に関するノイズ振動情報を除去する
請求項１に記載の振動検出システム。

【請求項4】

前記ノイズ振動情報は、前記レーダによって取得される
請求項３に記載の振動検出システム。

【請求項5】

前記ノイズ振動情報は、前記ビジョンセンサによって取得される
請求項３に記載の振動検出システム。

【請求項6】

前記取得部は、前記振動情報から、振動センサによって取得されるノイズ振動情報を除去する
請求項１に記載の振動検出システム。

【請求項7】

前記ビジョンセンサおよび前記レーダは、車両の内部が観測領域となるように設置される
請求項１に記載の振動検出システム。

【請求項8】

前記被測定物は、人体であり、
前記振動源は、心臓および肺の少なくとも一方である
請求項１に記載の振動検出システム。

【請求項9】

コンピュータが実行する振動検出方法であって、
ビジョンセンサによって被測定物内の振動源の位置を特定する特定工程と、
特定された前記振動源の位置の振動に関する振動情報をレーダによって取得する取得工程と、
を含む振動検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、振動検出システムおよび振動検出方法に関する。

【背景技術】

【0002】

近年、自動車の安全性向上などを目的に、車室内の乗員検出用センサの開発が進められている。このセンサは、たとえば、エアバッグの制御、自動運転の制御などに利用される（たとえば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平８－１２７２６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示では、微小な振動を精度よく検出することができる振動検出システムおよび振動検出方法を提案する。

【課題を解決するための手段】

【0005】

本開示によれば、振動検出システムが提供される。振動検出システムは、ビジョンセンサと、レーダと、前記ビジョンセンサおよび前記レーダを制御する制御部と、を備える。また、前記制御部は、特定部と、取得部と、を有する。特定部は、前記ビジョンセンサによって被測定物内の振動源の位置を特定する。取得部は、特定された前記振動源の位置の振動に関する振動情報を前記レーダによって取得する。

【図面の簡単な説明】

【0006】

【図1】本開示の実施形態に係る車両制御システムの構成例を示すブロック図である。

【図2】本開示の実施形態に係るセンシング領域の例を示す図である。

【図3】本開示の実施形態に係る車両制御システムの詳細な構成例を示すブロック図である。

【図4】本開示の実施形態に係るビジョンセンサおよびレーダの配置の一例を示す図である。

【図5】本開示の実施形態に係る車両制御システムが実行する処理の一例を説明するための図である。

【図6】本開示の実施形態に係る車両制御システムが実行する処理の一例を説明するための図である。

【図7】本開示の実施形態の変形例１に係る車両制御システムが実行する処理の一例を説明するための図である。

【図8】本開示の実施形態の変形例１に係る車両制御システムが実行する処理の一例を説明するための図である。

【図9】本開示の実施形態の変形例２に係る車両制御システムが実行する処理の一例を説明するための図である。

【図10】本開示の実施形態の変形例３に係る車両制御システムが実行する処理の一例を説明するための図である。

【図11】本開示の実施形態の変形例４に係る車両制御システムが実行する処理の一例を説明するための図である。

【図12】本開示の実施形態の変形例４に係る車両制御システムが実行する処理の一例を説明するための図である。

【図13】本開示の実施形態に係る車両制御システムが実行する検出処理の手順の一例を示すフローチャートである。

【図14】本開示の実施形態の変形例１に係る車両制御システムが実行する検出処理の手順の一例を示すフローチャートである。

【図15】本開示の実施形態の変形例２に係る車両制御システムが実行する検出処理の手順の一例を示すフローチャートである。

【図16】本開示の実施形態の変形例３に係る車両制御システムが実行する検出処理の手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0007】

以下、添付図面を参照して、本開示の各実施形態について説明する。なお、以下に示す実施形態により本開示が限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0008】

近年、自動車の安全性向上などを目的に、車室内の乗員検出用センサの開発が進められている。このセンサは、たとえば、エアバッグの制御、自動運転の制御などに利用される。

【0009】

しかしながら、上記の従来技術では、車室内における乗員の有無自体を検出することができる一方で、乗員のバイタル情報（たとえば、心拍数や呼吸数など）を精度よく検出することは非常に困難であった。

【0010】

そこで、上述の問題点を克服し、乗員の心拍や呼吸などによって生じる微小な振動を精度よく検出することができる技術の実現が期待されている。

【0011】

＜車両制御システムの構成例＞
図１は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。車両制御システム１１は、振動検出システムの一例である。

【0012】

車両制御システム１１は、車両１に設けられ、車両１の走行支援及び自動運転に関わる処理を行う。

【0013】

車両制御システム１１は、車両制御ＥＣＵ（Electronic Control Unit）２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ＤＭＳ（Driver Monitoring System）３０、ＨＭＩ（Human Machine Interface）３１、及び、車両制御部３２を備える。走行支援・自動運転制御部２９は、制御部の一例である。

【0014】

車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ドライバモニタリングシステム（ＤＭＳ）３０、ヒューマンマシーンインタフェース（ＨＭＩ）３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク４１は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してＣＡＮが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（ＮＦＣ（Near Field Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。

【0015】

なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単に車両制御ＥＣＵ２１と通信部２２とが通信を行うと記載する。

【0016】

車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）といった各種のプロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体又は一部の機能の制御を行う。

【0017】

通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。

【0018】

通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部２２が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。

【0019】

また、例えば、通信部２２は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、ＭＴＣ（Machine Type Communication）端末である。さらに、通信部２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle to Vehicle）通信、路側器等との間の路車間（Vehicle to Infrastructure）通信、家との間（Vehicle to Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Vehicle to Pedestrian）通信等の、自車と他との通信をいう。

【0020】

通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる（Over The Air)。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報等を外部から受信することができる。また例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識部７３による認識結果等がある。さらに例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。

【0021】

例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Vehicle Information and Communication System）（登録商標））により送信される電磁波を受信する。

【0022】

通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless USB）といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、ＭＨＬ（Mobile High-definition Link）といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。

【0023】

ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。

【0024】

地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。

【0025】

高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、ＡＤＡＳ（Advanced Driver Assistance System）やＡＤ（Autonomous Driving）に適合させた地図である。

【0026】

ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ５１、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。

【0027】

位置情報取得部２４は、ＧＮＳＳ（Global Navigation Satellite System）衛星からＧＮＳＳ信号を受信し、車両１の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部２９に供給される。なお、位置情報取得部２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。

【0028】

外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。

【0029】

例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）５３、及び、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。

【0030】

なお、カメラ５１の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ５１に適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。

【0031】

また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。

【0032】

さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。

【0033】

車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。

【0034】

例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。かかる車内センサ２６の詳細については後述する。

【0035】

車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。

【0036】

例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。

【0037】

記憶部２８は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部２８は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）及びＲＡＭ（Random Access Memory）として用いられ、記憶媒体としては、ＨＤＤ（Hard Disc Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部２８は、車両制御システム１１の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部２８は、ＥＤＲ（Event Data Recorder）やＤＳＳＡＤ（Data Storage System for Automated Driving）を備え、事故等のイベントの前後の車両１の情報や車内センサ２６によって取得された情報を記憶する。

【0038】

走行支援・自動運転制御部２９は、車両１の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。

【0039】

分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。また、実施形態に係る分析部６１は、特定部７４（図３参照）、取得部７５（図３参照）、及び、変換部７６（図３参照）をさらに備える。

【0040】

自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。

【0041】

ローカルマップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy Grid Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。

【0042】

なお、自己位置推定部７１は、位置情報取得部２４により取得される位置情報、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。

【0043】

センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。

【0044】

認識部７３は、車両１の外部の状況の検出を行う検出処理、及び、車両１の外部の状況の認識を行う認識処理を実行する。

【0045】

例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。

【0046】

具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。

【0047】

例えば、認識部７３は、レーダ５２又はＬｉＤＡＲ５３等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。

【0048】

例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。

【0049】

例えば、認識部７３は、カメラ５１から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部７３は、セマンティックセグメンテーション等の認識処理を行うことにより、車両１の周囲の物体の種類を認識してもよい。

【0050】

例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、及び、認識部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識部７３は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。

【0051】

例えば、認識部７３は、車両１の周囲の環境の認識処理を行うことができる。認識部７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。

【0052】

図１には図示されていない特定部７４、取得部７５および変換部７６を含めた、実施形態に係る分析部６１の詳細については後述する。

【0053】

行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。

【0054】

なお、経路計画（Global path planning）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Local path planning）を行う処理も含まれる。

【0055】

経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。

【0056】

動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。

【0057】

例えば、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部６３は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。

【0058】

ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び、後述するＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。

【0059】

なお、ＤＭＳ３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。

【0060】

ＨＭＩ３１は、各種のデータや指示等の入力と、各種のデータの運転者等への提示を行う。

【0061】

ＨＭＩ３１によるデータの入力について、概略的に説明する。ＨＭＩ３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。ＨＭＩ３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ３１は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。

【0062】

ＨＭＩ３１によるデータの提示について、概略的に説明する。ＨＭＩ３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、ＨＭＩ３１は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。ＨＭＩ３１は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、ＨＭＩ３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、ＨＭＩ３１は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。

【0063】

ＨＭＩ３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ３１は、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera Monitoring System）、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。

【0064】

ＨＭＩ３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。

【0065】

ＨＭＩ３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１の搭乗者が接触する部分に設けられる。

【0066】

車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。

【0067】

ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うステアリングＥＣＵ、ステアリングシステムの駆動を行うアクチュエータ等を備える。

【0068】

ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock Brake System）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うブレーキＥＣＵ、ブレーキシステムの駆動を行うアクチュエータ等を備える。

【0069】

駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行う駆動ＥＣＵ、駆動システムの駆動を行うアクチュエータ等を備える。

【0070】

ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うボディ系ＥＣＵ、ボディ系システムの駆動を行うアクチュエータ等を備える。

【0071】

ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うライトＥＣＵ、ライトの駆動を行うアクチュエータ等を備える。

【0072】

ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うホーンＥＣＵ、カーホーンの駆動を行うアクチュエータ等を備える。

【0073】

図２は、図１の外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４等によるセンシング領域の例を示す図である。なお、図２において、車両１を上面から見た様子が模式的に示され、左端側が車両１の前端（フロント）側であり、右端側が車両１の後端（リア）側となっている。

【0074】

センシング領域１０１Ｆ及びセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆは、複数の超音波センサ５４によって車両１の前端周辺をカバーしている。センシング領域１０１Ｂは、複数の超音波センサ５４によって車両１の後端周辺をカバーしている。

【0075】

センシング領域１０１Ｆ及びセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。

【0076】

センシング領域１０２Ｆ乃至センシング領域１０２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側面の後方の周辺をカバーしている。

【0077】

センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域１０２Ｌ及びセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。

【0078】

センシング領域１０３Ｆ乃至センシング領域１０３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側面の周辺をカバーしている。

【0079】

センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域１０３Ｌ及びセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。

【0080】

センシング領域１０４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより左右方向の範囲が狭くなっている。

【0081】

センシング領域１０４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。

【0082】

センシング領域１０５は、長距離用のレーダ５２のセンシング領域の例を示している。
センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。

【0083】

センシング領域１０５におけるセンシング結果は、例えば、ＡＣＣ（Adaptive Cruise Control）、緊急ブレーキ、衝突回避等に用いられる。

【0084】

なお、外部認識センサ２５が含むカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の各センサのセンシング領域は、図２以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでもよいし、複数であってもよい。

【0085】

＜制御処理の詳細＞
つづいて、実施形態に係る制御処理の詳細について、図３～図６を参照しながら説明する。図３は、本開示の実施形態に係る車両制御システム１１の詳細な構成例を示すブロック図であり、図４は、本開示の実施形態に係るビジョンセンサ５５およびレーダ５６の配置の一例を示す図である。また、図５および図６は、本開示の実施形態に係る車両制御システム１１が実行する処理の一例を説明するための図である。

【0086】

図３に示すように、実施形態に係る車内センサ２６は、ビジョンセンサ５５と、レーダ５６とを有する。ビジョンセンサ５５は、観測領域内の状況を撮像することができるセンサであり、たとえば、ＲＧＢカメラやＩＲ（赤外線）カメラ、ＴｏＦ（Time of Flight）センサ、ＥＶＳ（Event-based Vision Sensor）などである。

【0087】

レーダ５６は、所定帯域（たとえば、ミリ波など）の電波を発信するとともに、観測領域内の物体から反射した電波を受信することで、かかる物体までの距離や物体の方角、物体の速度などを測定する。

【0088】

かかるビジョンセンサ５５およびレーダ５６は、図４に示すように、車両１の車内前方（たとえば、オーバーヘッドコンソールの近傍など）に配置され、車内の所定領域（たとえば、運転席や助手席など）が観測領域となるように設置される。また、ビジョンセンサ５５およびレーダ５６は、互いに近接して配置される。

【0089】

図３の説明に戻る。分析部６１は、自己位置推定部７１と、センサフュージョン部７２と、認識部７３と、特定部７４と、取得部７５と、変換部７６とを具備し、以下に説明する制御処理の機能や作用を実現または実行する。

【0090】

なお、分析部６１の内部構成は、図３に示した構成に限られず、後述する制御処理を行う構成であれば他の構成であってもよい。また、自己位置推定部７１、センサフュージョン部７２および認識部７３については上記にて説明しているため、詳細な説明は省略する。

【0091】

最初に、図５に示すように、特定部７４（図３参照）は、ビジョンセンサ５５で車内の乗員（たとえば、運転者Ｄ）の胸部の位置を特定する（ステップＳ０１）。乗員および運転者Ｄは、被測定物の一例である。

【0092】

特定部７４は、たとえば、ビジョンセンサ５５で撮像された画像に対して公知の画像処理を施すことで、人体（運転者Ｄ）の各部位の位置を検出し、検出された各部位の中から胸部の位置を特定する。

【0093】

また胸部には、振動源の一例である心臓および肺が存在することから、特定部７４によって胸部の位置を特定することで、運転者Ｄにおける振動源の位置を特定することができる。

【0094】

次に、図６に示すように、取得部７５（図３参照）は、特定部７４（図３参照）によって位置が特定された胸部の振動情報を、レーダ５６で取得する（ステップＳ０２）。

【0095】

具体的には、取得部７５は、特定部７４によって特定された胸部の位置と同じ方角の物体までの距離の変位（時間推移）をレーダ５６で測定し、測定された距離の変位に基づいて胸部の振動情報を取得する。

【0096】

なお、本開示では、心拍の変位が０．１～０．５（ｍｍ）程度、呼吸の変位が１～１２（ｍｍ）程度であるのに対し、ミリ波の波長が１（ｃｍ）以下である。そのため、心拍や呼吸の変位によってミリ波の位相がずれることから、かかる位相の変化をレーダ５６で取得することで、問題無く胸部の振動情報を取得することができる。

【0097】

次に、変換部７６（図３参照）は、上述のステップＳ０２の処理につづいて、取得部７５によって取得された胸部の振動情報を、運転者Ｄのバイタル情報（たとえば、心拍数や呼吸数）に変換する（ステップＳ０３）。

【0098】

たとえば、変換部７６は、胸部の振動情報から、心拍数や呼吸数と推定可能な振動数（たとえば、心拍数であれば６０～１００（回／分）程度）を有する振動をバイタル情報として抽出することで、胸部の振動情報を運転者Ｄのバイタル情報に変換する。

【0099】

ここで、実施形態では、レーダ５６で用いられる電波が服を透過する帯域であることから、レーダ５６によって運転者Ｄの皮膚の動きを直接検知することができる。そのため、実施形態では、運転者Ｄの胸部の動きを精度よく検出することができる。

【0100】

さらに、実施形態では、運転者Ｄの胸部の位置をビジョンセンサ５５で特定し、かかる特定された胸部の位置に基づいて胸部の振動情報を取得するため、反射物が多い車内の環境下であっても、運転者Ｄの胸部の動きを精度よく検出することができる。

【0101】

このように、実施形態では、特定部７４および取得部７５によってビジョンセンサ５５とレーダ５６とを連動させることで、運転者Ｄの心拍や呼吸などによって生じる微小な振動を精度よく検出することができる。

【0102】

また、実施形態では、ビジョンセンサ５５およびレーダ５６が、互いに近接して配置されるとよい。これにより、特定部７４で特定された胸部の位置情報を精度よく取得部７５に連動させることができるため、運転者Ｄの心拍や呼吸などによって生じる微小な振動をさらに精度よく検出することができる。

【0103】

また、実施形態では、被測定物（ここでは、運転者Ｄ）の前方側（たとえば、車両１の車内前方）にレーダ５６が配置されるとよい。これにより、呼吸などの際に背中側の胸部よりも変位が大きい前方側の胸部をレーダ５６で測定することができるため、運転者Ｄの心拍や呼吸などによって生じる微小な振動をさらに精度よく検出することができる。

【0104】

＜変形例１＞
つづいて、実施形態の各種変形例に係る検出処理の詳細について説明する。図７および図８は、本開示の実施形態の変形例１に係る車両制御システム１１が実行する処理の一例を説明するための図である。

【0105】

この変形例１では、まず、特定部７４（図３参照）が、ビジョンセンサ５５（図３参照）で車内の運転者Ｄ（図５参照）の胸部の位置を特定する（ステップＳ１１）。次に、取得部７５（図３参照）は、特定部７４によって位置が特定された胸部の振動情報を、レーダ５６（図３参照）で取得する（ステップＳ１２）。

【0106】

なお、かかるステップＳ１１およびステップＳ１２の処理は、上述のステップＳ０１およびステップＳ０２の処理と同様であることから、詳細な説明は省略する。

【0107】

次に、図７に示すように、特定部７４（図３参照）は、ビジョンセンサ５５で運転者Ｄの胸部とは異なる部位の位置を特定する（ステップＳ１３）。

【0108】

特定部７４は、たとえば、ビジョンセンサ５５で撮像された画像に対して公知の画像処理を施すことで、運転者Ｄの各部位の位置を検出し、検出された各部位の中から胸部とは異なる部位（たとえば、肩や首筋など）の位置を特定する。

【0109】

次に、図８に示すように、取得部７５（図３参照）は、特定部７４（図３参照）によって位置が特定された部位の振動情報であるノイズ振動情報を、レーダ５６で取得する（ステップＳ１４）。

【0110】

具体的には、取得部７５は、特定部７４によって特定された部位の位置と同じ方角の物体までの距離の変位（時間推移）をレーダ５６で測定し、測定された距離の変位に基づいてノイズ振動情報を取得する。

【0111】

次に、変換部７６（図３参照）は、取得部７５によって取得された胸部の振動情報から、胸部とは異なる部位のノイズ振動情報を除去し、ノイズ振動情報が除去された振動情報を運転者Ｄのバイタル情報に変換する（ステップＳ１５）。

【0112】

これにより、走行中の車内などの微小な振動が常に発生する環境下であっても、かかる微小な振動成分が除去されたバイタル情報を取得することができる。したがって、変形例１によれば、運転者Ｄの心拍や呼吸などによって生じる微小な振動をさらに精度よく検出することができる。

【0113】

また、変形例１では、ノイズ振動情報を取得する部位が、胸部に近くかつ肌が露出している部位であるとよい。これにより、精度のよいノイズ振動情報を取得することができることから、運転者Ｄの心拍や呼吸などによって生じる微小な振動をさらに精度よく検出することができる。

【0114】

＜変形例２＞
図９は、本開示の実施形態の変形例２に係る車両制御システム１１が実行する処理の一例を説明するための図である。

【0115】

この変形例２では、まず、特定部７４（図３参照）が、ビジョンセンサ５５（図３参照）で車内の運転者Ｄ（図５参照）の胸部の位置を特定する（ステップＳ２１）。次に、取得部７５（図３参照）は、特定部７４によって位置が特定された胸部の振動情報を、レーダ５６（図３参照）で取得する（ステップＳ２２）。

【0116】

なお、かかるステップＳ２１およびステップＳ２２の処理は、上述のステップＳ０１およびステップＳ０２の処理と同様であることから、詳細な説明は省略する。

【0117】

次に、図９に示すように、特定部７４（図３参照）は、ビジョンセンサ５５で運転者Ｄの胸部とは異なる部位の位置を特定する（ステップＳ２３）。

【0118】

【0119】

次に、取得部７５（図３参照）は、特定部７４によって位置が特定された部位の振動情報であるノイズ振動情報を、ビジョンセンサ５５で取得する（ステップＳ２４）。

【0120】

具体的には、取得部７５は、特定部７４によって特定された部位の位置の変位（時間推移）をビジョンセンサ５５で測定し、測定された変位に基づいてノイズ振動情報を取得する。

【0121】

次に、変換部７６（図３参照）は、取得部７５によって取得された胸部の振動情報から、胸部とは異なる部位のノイズ振動情報を除去し、ノイズ振動情報が除去された振動情報を運転者Ｄのバイタル情報に変換する（ステップＳ２５）。

【0122】

これにより、走行中の車内などの微小な振動が常に発生する環境下であっても、かかる微小な振動成分が除去されたバイタル情報を取得することができる。したがって、変形例２によれば、運転者Ｄの心拍や呼吸などによって生じる微小な振動をさらに精度よく検出することができる。

【0123】

また、変形例２では、ノイズ振動情報を取得する部位が、胸部に近くかつ肌が露出している部位であるとよい。これにより、精度のよいノイズ振動情報を取得することができることから、運転者Ｄの心拍や呼吸などによって生じる微小な振動をさらに精度よく検出することができる。

【0124】

なお、変形例１および変形例２において、ノイズ振動情報を取得する部位は、胸部から離れた部位であってもよいし、肌が露出していない部位であってもよい。また、変形例１および変形例２では、運転者Ｄ以外の箇所の振動をノイズ振動情報として取得してもよい。

【0125】

＜変形例３＞
図１０は、本開示の実施形態の変形例３に係る車両制御システム１１が実行する処理の一例を説明するための図である。

【0126】

この変形例３では、まず、特定部７４（図３参照）が、ビジョンセンサ５５（図３参照）で車内の運転者Ｄ（図５参照）の胸部の位置を特定する（ステップＳ３１）。次に、取得部７５（図３参照）は、特定部７４によって位置が特定された胸部の振動情報を、レーダ５６（図３参照）で取得する（ステップＳ３２）。

【0127】

なお、かかるステップＳ３１およびステップＳ３２の処理は、上述のステップＳ０１およびステップＳ０２の処理と同様であることから、詳細な説明は省略する。

【0128】

次に、取得部７５は、車両１の車内に設置される振動センサ５７でノイズ振動情報を取得する（ステップＳ３３）。たとえば、取得部７５は、運転席などに設置される振動センサ５７で検出される振動情報をノイズ振動情報として取得する。

【0129】

次に、変換部７６は、取得部７５によって取得された胸部の振動情報から、振動センサ５７で検出されたノイズ振動情報を除去し、ノイズ振動情報が除去された振動情報を運転者Ｄのバイタル情報に変換する（ステップＳ３４）。

【0130】

これにより、走行中の車内などの微小な振動が常に発生する環境下であっても、かかる微小な振動成分が除去されたバイタル情報を取得することができる。したがって、変形例３によれば、運転者Ｄの心拍や呼吸などによって生じる微小な振動をさらに精度よく検出することができる。

【0131】

また、変形例３では、振動センサ５７が設置される箇所が、被測定物（ここでは、運転者Ｄ）の近傍（たとえば、運転席など）であるとよい。これにより、精度のよいノイズ振動情報を取得することができることから、運転者Ｄの心拍や呼吸などによって生じる微小な振動をさらに精度よく検出することができる。

【0132】

なお、変形例３において、振動センサ５７が設置される箇所は、車両１における運転席から離れた箇所であってもよい。

【0133】

＜変形例４＞
ここまで説明した実施形態および各種変形例では、運転者Ｄのバイタル情報を取得する例について示したが、本開示はかかる例に限られない。図１１および図１２は、本開示の実施形態の変形例４に係る車両制御システム１１が実行する処理の一例を説明するための図である。

【0134】

図１１に示すように、変形例４では、ビジョンセンサ５５およびレーダ５６が、車両１の中央部（たとえば、運転席と後部座席との間など）に配置され、車内の所定領域（たとえば、後部座席など）が観測領域となるように設置される。また、ビジョンセンサ５５およびレーダ５６は、互いに近接して配置される。

【0135】

そして、特定部７４（図３参照）は、ビジョンセンサ５５で車内の同乗者Ｐの胸部の位置を特定する（ステップＳ４１）。同乗者Ｐは、被測定物の別の一例である。

【0136】

特定部７４は、たとえば、ビジョンセンサ５５で撮像された画像に対して公知の画像処理を施すことで、人体（同乗者Ｐ）の各部位の位置を検出し、検出された各部位の中から胸部の位置を特定する。

【0137】

次に、図１２に示すように、取得部７５（図３参照）は、特定部７４（図３参照）によって位置が特定された胸部の振動情報を、レーダ５６で取得する（ステップＳ４２）。

【0138】

【0139】

次に、変換部７６（図３参照）は、取得部７５によって取得された胸部の振動情報を、同乗者Ｐのバイタル情報（たとえば、心拍数や呼吸数など）に変換する（ステップＳ４３）。

【0140】

ここまで説明したように、変形例４では、後部座席に搭乗する同乗者Ｐに対しても、心拍や呼吸などによって生じる微小な振動を精度よく検出することができる。したがって、変形例４によれば、たとえば車室内に置き去りにされた子供などを精度よく検出することができる。

【0141】

また、変形例４では、被測定物（ここでは、同乗者Ｐ）の前方側（たとえば、車両１における後部座席の前方）にレーダ５６が配置されるとよい。これにより、呼吸などの際に背中側の胸部よりも変位が大きい前方側の胸部をレーダ５６で測定することができるため、同乗者Ｐの心拍や呼吸などによって生じる微小な振動を精度よく検出することができる。

【0142】

また、この変形例４は、後部座席に搭乗する同乗者Ｐだけでなく、助手席に搭乗する同乗者に対しても適用可能である。

【0143】

なお、ここまで説明した実施形態および各種変形例では、車両１の乗員のバイタル情報を取得する例について示したが、本開示はかかる例に限られず、車両１内とは異なる場所に存在する人体のバイタル情報を取得してもよい。

【0144】

また、上記の実施形態および各種変形例では、検出対象として人体を対象とする例について示したが、本開示はかかる例に限られず、人間以外の生物や、振動源を内部に有する無生物（たとえば、機械など）などを検出対象としてもよい。

【0145】

＜検出処理の手順＞
つづいて、実施形態および各種変形例に係る検出処理の手順について、図１３～図１６を参照しながら説明する。図１３は、本開示の実施形態に係る車両制御システム１１が実行する検出処理の手順の一例を示すフローチャートである。

【0146】

最初に、走行支援・自動運転制御部２９は、ビジョンセンサ５５で乗員の胸部の位置を特定する（ステップＳ１０１）。そして、走行支援・自動運転制御部２９は、位置が特定された胸部の振動情報を、レーダ５６で取得する（ステップＳ１０２）。

【0147】

次に、走行支援・自動運転制御部２９は、取得された胸部の振動情報を乗員のバイタル情報に変換して（ステップＳ１０３）、処理を終了する。

【0148】

図１４は、本開示の実施形態の変形例１に係る車両制御システム１１が実行する検出処理の手順の一例を示すフローチャートである。

【0149】

最初に、走行支援・自動運転制御部２９は、ビジョンセンサ５５で乗員の胸部の位置を特定する（ステップＳ２０１）。そして、走行支援・自動運転制御部２９は、位置が特定された胸部の振動情報を、レーダ５６で取得する（ステップＳ２０２）。

【0150】

また、かかるステップＳ２０１およびステップＳ２０２の処理と並行して、走行支援・自動運転制御部２９は、ビジョンセンサ５５で乗員の胸部とは異なる部位の位置を特定する（ステップＳ２０３）。そして、走行支援・自動運転制御部２９は、胸部とは異なる部位の振動情報であるノイズ振動情報を、レーダ５６で取得する（ステップＳ２０４）。

【0151】

次に、走行支援・自動運転制御部２９は、胸部の振動情報からノイズ振動情報を除去する（ステップＳ２０５）。そして、走行支援・自動運転制御部２９は、ノイズ振動情報が除去された振動情報を乗員のバイタル情報に変換して（ステップＳ２０６）、処理を終了する。

【0152】

なお、図１４の例では、ステップＳ２０１およびステップＳ２０２の処理と、ステップＳ２０３およびステップＳ２０４の処理とを並行して行う場合について示したが、本開示はかかる例に限られず、一方の処理群が他方の処理群よりも先に行われてもよい。

【0153】

図１５は、本開示の実施形態の変形例２に係る車両制御システム１１が実行する検出処理の手順の一例を示すフローチャートである。

【0154】

最初に、走行支援・自動運転制御部２９は、ビジョンセンサ５５で乗員の胸部の位置を特定する（ステップＳ３０１）。そして、走行支援・自動運転制御部２９は、位置が特定された胸部の振動情報を、レーダ５６で取得する（ステップＳ３０２）。

【0155】

また、かかるステップＳ３０１およびステップＳ３０２の処理と並行して、走行支援・自動運転制御部２９は、ビジョンセンサ５５で乗員の胸部とは異なる部位の位置を特定する（ステップＳ３０３）。そして、走行支援・自動運転制御部２９は、胸部とは異なる部位の振動情報であるノイズ振動情報を、ビジョンセンサ５５で取得する（ステップＳ３０４）。

【0156】

次に、走行支援・自動運転制御部２９は、胸部の振動情報からノイズ振動情報を除去する（ステップＳ３０５）。そして、走行支援・自動運転制御部２９は、ノイズ振動情報が除去された振動情報を乗員のバイタル情報に変換して（ステップＳ３０６）、処理を終了する。

【0157】

なお、図１５の例では、ステップＳ３０１およびステップＳ３０２の処理と、ステップＳ３０３およびステップＳ３０４の処理とを並行して行う場合について示したが、本開示はかかる例に限られず、一方の処理群が他方の処理群よりも先に行われてもよい。

【0158】

図１６は、本開示の実施形態の変形例３に係る車両制御システム１１が実行する検出処理の手順の一例を示すフローチャートである。

【0159】

最初に、走行支援・自動運転制御部２９は、ビジョンセンサ５５で乗員の胸部の位置を特定する（ステップＳ４０１）。そして、走行支援・自動運転制御部２９は、位置が特定された胸部の振動情報を、レーダ５６で取得する（ステップＳ４０２）。

【0160】

また、かかるステップＳ４０１およびステップＳ４０２の処理と並行して、走行支援・自動運転制御部２９は、振動センサ５７でノイズ振動情報を取得する（ステップＳ４０３）。

【0161】

次に、走行支援・自動運転制御部２９は、胸部の振動情報からノイズ振動情報を除去する（ステップＳ４０４）。そして、走行支援・自動運転制御部２９は、ノイズ振動情報が除去された振動情報を乗員のバイタル情報に変換して（ステップＳ４０５）、処理を終了する。

【0162】

なお、図１６の例では、ステップＳ４０１およびステップＳ４０２の処理と、ステップＳ４０３の処理とを並行して行う場合について示したが、本開示はかかる例に限られず、一方の処理群が他方の処理群よりも先に行われてもよい。

【0163】

［効果］
実施形態に係る振動検出システム（車両制御システム１１）は、ビジョンセンサ５５と、レーダ５６と、ビジョンセンサ５５およびレーダ５６を制御する制御部（走行支援・自動運転制御部２９）と、を備える。また、制御部（走行支援・自動運転制御部２９）は、特定部７４と、取得部７５と、を有する。特定部７４は、ビジョンセンサ５５によって被測定物内の振動源の位置を特定する。取得部７５は、特定された振動源の位置の振動に関する振動情報をレーダ５６によって取得する。

【0164】

これにより、乗員の心拍や呼吸などによって生じる微小な振動を精度よく検出することができる。

【0165】

また、実施形態に係る振動検出システム（車両制御システム１１）において、ビジョンセンサ５５およびレーダ５６は、互いに近接して配置される。

【0166】