特開 2023-154658 モニタリングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023154658

(43)【公開日】2023-10-20

(54)【発明の名称】モニタリングシステム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20231013BHJP

   G06F 3/16 20060101ALI20231013BHJP

   G06F 3/01 20060101ALI20231013BHJP

【ＦＩ】

G08G1/16 F

G06F3/16 610

G06F3/16 520

G06F3/01 510

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022064130

(22)【出願日】2022-04-07

(71)【出願人】

【識別番号】000002967

【氏名又は名称】ダイハツ工業株式会社

(74)【代理人】

【識別番号】100180644

【弁理士】

【氏名又は名称】▲崎▼山 博教

(72)【発明者】

【氏名】山内 徹

(72)【発明者】

【氏名】北村 隆正

(72)【発明者】

【氏名】友松 史幸

(72)【発明者】

【氏名】黒木 大陽

【テーマコード（参考）】

5E555

5H181

【Ｆターム（参考）】

5E555AA46

5E555AA64

5E555AA74

5E555BA23

5E555BB23

5E555BC04

5E555BE10

5E555CA42

5E555CA47

5E555CB64

5E555CB66

5E555CB67

5E555CC01

5E555DA23

5E555EA22

5E555FA00

5H181AA01

5H181CC04

5H181CC11

5H181FF04

5H181FF27

5H181LL07

5H181LL20

(57)【要約】

【課題】画像処理技術と音声処理技術を組み合わせた場合でもコスト低減が可能で、的確に操縦者のモニタリングが可能なモニタリングシステムを提供する。
【解決手段】モニタリングシステム１は、移動体の操縦者の顔に係る画像を取得する画像取得部１０と、操縦者の発話による音声を受け付ける音声受付部２０と、音声出力部４０と、制御部５０とを備え、制御部５０は、取得した画像を処理すると共に、当該画像における顔の表情変化から操縦者に生じた異常を検知する画像処理部５１と、操縦者に対する音声による問いかけ、及び当該問いかけに対応して受け付けた音声の処理を伴う処理を実行することにより、操縦者との音声対話処理を実現可能な音声処理部５２とを備える。制御部５０は、画像処理部５１において、操縦者の異常が検知されたことを条件として、画像取得部１０における画像の取得を制限する制御、及び音声対話処理を許可する制御を行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体の操縦者に係る画像を取得する画像取得部と、
前記操縦者の発話による音声を受け付ける音声受付部と、
前記操縦者に向けて音声を出力する音声出力部と、
制御部と、
を備え、
前記制御部は、
前記画像取得部において取得した前記画像に基づいて当該操縦者に生じた異常を検知可能な画像処理部と、
前記音声出力部を介した操縦者に対する音声による問いかけ、及び当該問いかけに対応して前記音声受付部において受け付けた音声の処理を伴う処理を実行することにより、前記操縦者と音声を介した情報のやりとりを行う音声対話処理を実現可能な音声処理部と、
を備えると共に、
前記画像処理部において、前記操縦者の異常が検知されたことを条件として、前記画像取得部における画像の取得の少なくとも一部を制限する制御、及び前記音声対話処理を許可する制御を行うことを、特徴とするモニタリングシステム。

【請求項2】

前記画像取得部における画像の取得の制限が、前記画像の取得を停止させるもの、又は前記画像の取得頻度を低下させるものであること、を特徴とする請求項１に記載のモニタリングシステム。

【請求項3】

前記音声受付部において、所定時間内に前記操縦者による発話の受け付けがなされないことを条件として、前記画像取得部における前記画像の取得に係る制限の一部又は全部が解除されること、を特徴とする請求項１又は２に記載のモニタリングシステム。

【請求項4】

前記画像取得部における画像取得頻度は、前記画像処理部において検知された前記操縦者の異常の状態に基づいて変位されること、を特徴とする請求項１又は２に記載のモニタリングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両等の各種の移動体で利用できるモニタリングシステムに関する。

【背景技術】

【0002】

従来、自動車等の車両の運転者における異常を検知するＤＭＳ（ドライバモニタシステム）とも称される技術を採用した車両制御装置が知られている（例えば、特許文献１）。また、チャットボットとも称される会話型システムを利用して、車両を運転する運転者の発話に応じて、車両における車内機器の操作を実行可能とすることが行われている。チャットボットでは、運転者の発話を認識するための音声処理が行われるものとされている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５－６２９１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、最近では、ＤＭＳにチャットボットのような音声処理技術を組み合わせることの要請が高まってきている。ＤＭＳにおける画像処理やチャットボットにおける音声処理は、いずれも高負荷の演算処理を行う必要がある。そのため、これらの画像処理や音声処理を実行するには、高精度の演算処理装置を必要とし、その結果、コストが高く付く問題がある。

【0005】

そこで、本発明は、画像処理技術と音声処理技術を組み合わせた場合であってもコスト低減が可能で、的確に操縦者のモニタリングが可能なモニタリングシステムを提供することを目的とする。

【課題を解決するための手段】

【0006】

（１）上述した課題を解決すべく提供される本発明のモニタリングシステムは、移動体の操縦者に係る画像を取得する画像取得部と、前記操縦者の発話による音声を受け付ける音声受付部と、前記操縦者に向けて音声を出力する音声出力部と、制御部と、を備え、前記制御部は、前記画像取得部において取得した前記画像に基づいて当該操縦者に生じた異常を検知可能な画像処理部と、前記音声出力部を介した操縦者に対する音声による問いかけ、及び当該問いかけに対応して前記音声受付部において受け付けた音声の処理を伴う処理を実行することにより、前記操縦者と音声を介した情報のやりとりを行う音声対話処理を実現可能な音声処理部と、を備えると共に、前記画像処理部において、前記操縦者の異常が検知されたことを条件として、前記画像取得部における画像の取得の少なくとも一部を制限する制御、及び前記音声対話処理を許可する制御を行うことを、特徴とするものである。

【0007】

上述したモニタリングシステムは、画像処理部において、操縦者の異常が検知されたことを条件として、画像取得部における画像の取得の少なくとも一部を制限する制御が行われるものとされている。すなわち、上述したモニタリングシステムは、操縦者の異常が一旦検知されると、画像の取得を制限して、操縦者との音声対話に切り替えるものとされている。従って、上述したモニタリングシステムは、画像取得部や画像処理部における画像処理の負担を軽減しつつ、適切に操縦者との音声対話を実現できる。また、上述したモニタリングシステムは、画像処理部における画像処理による負荷を低減できるので、画像処理部及び音声処理部を併存させた場合であっても、処理能力の高い演算処理装置が求められることがない。これにより、上述したモニタリングシステムは、例えば、単一のマイコン（例えば、ＳｏＣ：システム・オン・チップ）で簡素に構成することができるので、コストの低減が期待できる。また、上述したモニタリングシステムは、操縦者に異常が生じた際に、画像取得部における画像の取得を制限した上で、音声対話処理が許可されるので、音声処理部における音声対話処理の応答性を損なうことがない。

【0008】

（２）上述した本発明のモニタリングシステムは、前記画像取得部における画像の取得の制限が、前記画像の取得を停止させるもの、又は前記画像の取得頻度を低下させるものであるとよい。

【0009】

上述したモニタリングシステムは、かかる構成とすることにより、画像処理における負荷を軽減することができる。そのため、上述したモニタリングシステムに採用できる演算処理装置の汎用性を高めることができる。これにより、上述したモニタリングシステムは、制御部に高い演算性能を求める必要がないので、当該モニタリングシステムのコスト低減が期待できる。ここで、画像取得部における画像の取得頻度の低下は、例えば、１０ｆｐｓ（初期取得頻度）から１ｆｐｓ（低下後取得頻度）に変更することによって行われる。

【0010】

（３）上述した本発明のモニタリングシステムは、前記画像取得部が、移動体の操縦者における少なくとも顔に係る画像を取得するものであり、前記画像処理部が、前記画像取得部において取得した前記画像に含まれる前記操縦者の顔の表情変化から当該操縦者に生じた異常を検知可能なものであると良い。

【0011】

上述したモニタリングシステムは、かかる構成とすることにより、操縦者の表情変化に基づいて、操縦者の異常を的確に把握できる。これにより、上述したモニタリングシステムは、例えば、操縦者が居眠りや、あくび、わき見等をしていることにより操縦者の表情が変化したと判断された場合に、音声対話処理に移行して操縦者と音声によるやりとり（対話）を行うことが可能となる。そのため、上述したモニタリングシステムは、操縦者の表情に異変が生じた段階でスムーズに音声対話に移行することができる。

【0012】

（４）上述した本発明のモニタリングシステムは、前記音声受付部において、所定時間内に前記操縦者による発話の受け付けがなされないことを条件として、前記画像取得部における前記画像の取得に係る制限の一部又は全部が解除されるとよい。

【0013】

上述したモニタリングシステムは、かかる構成とすることにより、操縦者に重篤な異常が発生したと推定される場合に、画像取得を再開することができる。これにより、上述したモニタリングシステムは、画像処理部における画像処理の負担を軽減しつつ、操縦者の状態を確実に取得できる。ここで、音声受付部において所定時間内に操縦者による所定の発話の受け付けがなされない場合とは、例えば、操縦者が居眠りに陥った場合や操縦者が体調不良に陥った場合等が挙げられる。上述した所定時間は、移動体の速度等に応じて各種の時間を設定可能であるが、例えば、１～３秒に設定するとよい。

【0014】

（５）上述した本発明のモニタリングシステムは、前記画像取得部における画像取得頻度が、前記画像処理部において検知された前記操縦者の異常の状態に基づいて変位されるとよい。

【0015】

上述したモニタリングシステムは、かかる構成とすることにより、操縦者の異常の状態に基づいた適切な画像取得及び画像処理を行うことができる。そのため、上述したモニタリングシステムは、制御部に掛かる負荷を低減しつつ、操縦者の異常の状態を確実に検知することができる。これにより、上述したモニタリングシステムは、制御部に高い演算性能を求める必要がないので、当該モニタリングシステムのコスト低減が期待できる。

【0016】

（６）上述した本発明のモニタリングシステムは、前記画像処理部において検知された前記操縦者の異常が、前記操縦者の所定範囲以上の姿勢変化によるもの、又は前記操縦者の所定時間以上の居眠りによるものであることを条件として、前記音声処理部が前記音声出力部に対して警報を発するように出力指示するとよい。

【0017】

上述したモニタリングシステムは、かかる構成とすることにより、操縦者に重篤な異常が発生したことを検知して、音声出力部から警報を発することができる。これにより、上述したモニタリングシステムは、操縦者に重篤な異常が発生した場合に、適切に警報を発報することができる。また、上述したモニタリングシステムは、不必要な警報の発報を抑制できるので、警報の発報が煩雑となることを抑制できる。

【0018】

（７）上述した本発明のモニタリングシステムは、前記音声処理部が、前記音声受付部で受け付けた音声が所定のキーワードを含むか否かを判定する音声判定部を有しており、前記制御部は、前記音声判定部における判定結果に応じて、前記音声出力部における音声の出力内容の変更に係る制御を行うとよい。

【0019】

上述したモニタリングシステムは、かかる構成とすることにより、操縦者の発話に応じて適切な音声を出力することができる。ここで、所定のキーワードには、適宜のキーワードが採用可能であるが、例えば、「休憩する」、「はい」、「ＯＫ」、「わかった」などのキーワードが採用可能である。

【0020】

（８）上述した本発明のモニタリングシステムは、前記移動体における速度を検知する速度検知部と、前記制御部に設けられ、前記速度検知部において検知した速度に応じた処理を行う速度処理部と、を備え、前記制御部は、前記速度処理部における速度の処理に応じて、前記画像取得部における画像の取得に係る制限、及び前記音声出力部における音声の出力内容の変更の少なくとも一方に係る制御を行うとよい。

【0021】

上述したモニタリングシステムは、かかる構成とすることにより、移動体の速度に応じた適切な画像処理及び音声処理を行うことができる。例えば、移動体の速度が速い場合は、操縦者に異常が発生した際の影響が大きいため、画像取得部における画像の取得に係る制限を低減させたり、音声出力部における音声の出力内容をより操縦者に訴えかける内容（例えば、警報）としたりするとよい。一方、移動体の速度が遅い場合は、例えば、画像取得部における画像の取得に係る制限を高めたり、音声出力部における音声の出力内容を穏やかな内容にしたりするとよい。

【発明の効果】

【0022】

本発明は、画像処理技術と音声処理技術を組み合わせた場合であってもコスト低減が可能で、的確に操縦者のモニタリングが可能なモニタリングシステムを提供することができる。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施形態に係るモニタリングシステムの構成図である。

【図2】（ａ）は、本発明の一実施形態に係るモニタリングシステムにおける操縦者の異常判定基準（異常判定Ａ）を表す説明図であり、（ｂ）は、本発明の変形例に係るモニタリングシステムにおける操縦者の異常判定基準（異常判定Ｂ）を表す説明図である。

【図3】本発明のモニタリングシステムにおいて出力される音声の内容の一例を表す説明図である。

【図4】本発明のモニタリングシステムのフロー図である。

【図5】本発明のモニタリングシステムにおける音声処理（サブルーチン）のフロー図である。

【図6】本発明の変形例に係るモニタリングシステムのフロー図である。

【発明を実施するための形態】

【0024】

以下、本発明の一実施形態に係るモニタリングシステム１について、図１及び図２を参照しつつ説明する。なお、本実施形態では移動体が、自動車（車両）である場合を例として説明する。また、本実施形態では、車両の運転席において操縦者（運転者）が、当該車両を運転していることを前提として説明する。

【0025】

図１に示すように、モニタリングシステム１は、画像取得部１０と、音声受付部２０と、速度検知部３０と、を備えている。また、モニタリングシステム１は、前記の他、音声出力部４０と、制御部５０等を備えている。

【0026】

画像取得部１０は、例えば、ドライブレコーダやカメラ（ビデオカメラを含む）等の撮影装置で構成されている。画像取得部１０は、例えば、車室内に設けられており、運転者における少なくとも顔に係る画像を取得できる。画像取得部１０は、夜間や周囲が暗い状況でも、運転者を撮影可能なように赤外線撮影が可能なカメラを好ましく利用できる。画像取得部１０で取得された画像は、後述する画像処理部５１において画像処理される。

【0027】

音声受付部２０は、例えば、マイクロフォン等で構成されており、運転者の発話による音声を受け付けるものとされている。また、音声受付部２０は、運転者の発話による音声を検知可能なように、例えば、車両におけるハンドルの周辺等に配置されている。音声受付部２０で受け付けた音声は、後述する音声処理部５２において音声処理される。

【0028】

速度検知部３０は、例えば、ＧＰＳセンサで構成されている。速度検知部３０は、ＧＰＳセンサに入力されるＧＰＳ信号（速度信号）を検知するものとされている。速度検知部３０で検知された速度は、後述する速度処理部５５において処理される。ＧＰＳセンサは、車載のナビゲーションシステムに搭載されたものを利用することもできる。なお、速度検知部３０は、ＧＰＳに代えて、車両に搭載された速度検知センサを利用して速度を検知するようにしてもよい。

【0029】

音声出力部４０は、例えば、スピーカで構成されており、車両の車内に配置されている。詳細は後述するが、音声出力部４０は、運転者の異常状態の判定結果に応じて、運転者に対して所定の問いかけに関する音声（発話や警報等）を出力するものとされている。

【0030】

制御部５０は、例えば、単一のマイコン（例えば、ＳｏＣ：システム・オン・チップ）で構成されている。詳細は後述するが、制御部５０は、本実施形態では、演算処理能力として最低限の画像処理と音声処理とが可能な演算処理装置が用いられている。制御部５０は、画像処理部５１と、音声処理部５２と、速度処理部５５等を備えている。制御部５０は、画像処理部５１、音声処理部５２、及び速度処理部５５の制御を行うと共に、モニタリングシステム１における全体の制御を行うことができる。

【0031】

画像処理部５１は、画像取得部１０において取得した画像を処理すると共に、処理した画像における運転者の顔の表情変化等を検知することができる。また、画像処理部５１は、運転者の顔の表情変化等から当該運転者に生じた異常を検知することができる。本実施形態では、図２（ａ）に示すように、異常判定Ａを基準として運転者の異常判定が行われる。異常判定Ａでは、例えば居眠り、あくび、わき見等による表情の変化や、姿勢崩れ等の表情以外に表れる運転状態の変化についての判定が行われる。以下、異常判定Ａについて詳説する。

【0032】

「居眠り」は、運転者の目の開閉を検知することで行われる。さらに詳説すると、画像処理部５１は、運転者が目を閉じた状態が、例えば２秒続く場合に運転者が「居眠り」をしていると判定する。また、「あくび」は、運転者の口の開閉を検知することで行われる。さらに詳説すると、画像処理部５１は、運転者が口を開けた状態が、例えば３秒続く場合に運転者が「あくび」をしていると判定する。また、「わき見」は、運転者の顔の特徴点（例えば、６点）を、ＡＩを使って検知し、顔向き角度（左右方向）を算出することにより行われる。さらに詳説すると、画像処理部５１は、運転者の顔向き角度が左右方向を向いた状態で、例えば２秒続く場合に運転者が「わき見」をしていると判定する。また、「姿勢崩れ」は、運転者の顔の特徴点（例えば、６点）を、ＡＩを使って検知し、顔向き角度（上下方向、Ｒｏｌｌ方向）を算出することにより行われる。さらに詳説すると、画像処理部５１は、運転者の顔向き角度が上下方向を向いた状態となった場合に運転者が「姿勢崩れ」をしていると判定する。

【0033】

図１に示すように、画像処理部５１は、運転者に異常が生じたと判定した場合、画像取得部１０における画像の取得を制限する制御を行うものとされている。ここで、画像取得部１０における画像の取得の制限は、例えば、画像の取得を停止させるもの、又は画像の取得頻度を低下させるものとすることができる。また、画像取得部１０における画像の取得頻度の低下は、例えば、１０ｆｐｓ（初期取得頻度）から１ｆｐｓ（低下後取得頻度）に変更することによって行われる。

【0034】

音声処理部５２は、音声受付部２０において受け付けた運転者の発話による音声をＡＩにより解析し、画像処理部５１による運転者の異常判定に基づいて、音声対話処理を実現するものとされている。具体的に説明すると、音声処理部５２は、音声出力部４０を介した操縦者に対する音声による問いかけ、及び当該問いかけに対応して音声受付部２０において受け付けた音声の処理を伴う処理を実行するものとされている。これにより、音声処理部５２は、操縦者と音声を介した情報のやりとりを行う音声対話処理（例えば、チャットボットと称される機能）を実現している。

【0035】

ここで、音声対話処理は、画像処理部５１において、運転者の異常が検知されたことを条件として、許可されるものとされている。すなわち、本発明のモニタリングシステム１では、運転者の異常が検知されると、画像取得部１０における画像取得を制限し、音声処理部５２における音声対話処理が開始される。言い換えると、負荷の高い画像処理部５１における画像処理と、負荷の高い音声処理部５２における音声処理とが、並列的に動作することを回避させることができる。そのため、本発明のモニタリングシステム１は、制御部５０に掛かる負荷を低減することができる。

【0036】

音声判定部５３は、音声受付部２０で受け付けた音声が所定のキーワードを含むか否かを判定するものとされている。ここで、所定のキーワードには、適宜のキーワードが採用可能であるが、例えば、「休憩する」、「はい」、「ＯＫ」、「わかった」などのキーワードが採用可能である。音声判定部５３（制御部５０）は、当該音声判定部５３における判定結果に応じて、音声出力部４０における音声の出力内容の変更に係る制御を行うことができる。音声の出力内容の詳細は、後述するモニタリングシステム１の動作フローにおいて説明する。

【0037】

速度処理部５５は、速度検知部３０で検知した車両の速度を処理するものとされている。具体的に説明すると、速度処理部５５は、速度検知部３０で検知した車両の速度を、適宜の範囲（例えば、５０～５９ｋｍ／ｈ）に分類し、分類した速度域に応じて、画像処理部５１や音声処理部５２における判定基準（例えば、居眠りの判定時間）を変更する制御を行うことができる。

【0038】

このように、本実施形態では、速度処理部５５（制御部５０）が、速度に応じて、画像処理部５１における画像の取得に係る制限、及び音声出力部４０における音声の出力内容の変更の少なくとも一方に係る制御を行うことができる。

【0039】

従って、上述したモニタリングシステム１は、車両の速度に応じた適切な画像処理及び音声処理を行うことができる。例えば、車両の速度が速い場合は、操縦者に異常が発生した際の影響が大きいため、画像取得部１０における画像の取得に係る制限を低減させたり、音声出力部４０における音声の出力内容をより操縦者に訴えかける内容（例えば、警報）としたりするとよい。一方、車両の速度が遅い場合は、例えば、画像取得部１０における画像の取得に係る制限を高めたり、音声出力部４０における音声の出力内容を穏やかな内容にしたりするとよい。

【0040】

以上が、本発明のモニタリングシステム１の構成であり、次に本発明のモニタリングシステム１の動作フローについて、図４及び図５を参照しながら以下に説明する。

【0041】

図４に示すように、モニタリングシステム１の処理が開始されると、まず、画像取得部１０において運転者の少なくとも顔を含む画像の取得が行われる（ステップＳ１０）。

【0042】

画像取得部１０において運転者の画像が取得されると、画像処理部５１において当該画像の処理が行われる。画像処理部５１での画像処理に伴い、運転者（操縦者）の異常が、異常判定Ａ（図２（ａ）参照）を基準として判定される（ステップＳ１１）。

【0043】

ステップＳ１１において、運転者に異常がないと判定された場合は、音声出力をすることなく、処理をステップＳ１０に戻す（ステップＳ１２）。

【0044】

ステップＳ１１において、運転者に異常（例えば、居眠り等）があると判定された場合は、画像取得部１０における画像取得を停止させる（ステップＳ１３）。ステップＳ１３での処理が終了すると、音声処理（ステップＳ２０）のサブルーチン処理に移行する。

【0045】

図５に示すように、ステップＳ２０における音声処理が開始されると、音声出力Ａ（図３参照）にしたがって、音声が出力される（ステップＳ２１）。例えば、運転者が「居眠り」に陥ったと判定された場合は、「運転お疲れ様です。今、眠いですか？」という音声の出力が行われる。

【0046】

続いて、音声受付部２０において、運転者の発声があるか否かの判定が行われる（ステップＳ２２）。ここで、音声受付部２０において、所定時間内に運転者による発話の受け付けがなされない場合は、画像取得部１０における画像の取得に係る制限（本実施形態では停止状態）が解除される。言い換えると、画像取得部１０における画像の取得が再開される（ステップＳ２３）。ここで、音声受付部２０において所定時間内に運転者による所定の発話の受け付けがなされない場合とは、例えば、運転者が居眠りに陥った場合や操縦者が体調不良に陥った場合等が挙げられる。上述した所定時間は、車両の速度等に応じて各種の時間を設定可能であるが、例えば、１～３秒に設定するとよい。

【0047】

ステップＳ２３において、画像の取得が再開されると、音声出力Ｄにしたがって、音声が出力される（ステップＳ２４）。ステップＳ２４においては、例えば「起きろ」という音声の出力又はブザー等による警報が行われる。

【0048】

ステップＳ２４が終了すると、ステップＳ２０におけるサブルーチン処理からメインルーチン（図４参照）に復帰する。メインルーチンの処理に復帰すると、処理がステップＳ１０に戻される。

【0049】

図５に示すように、ステップＳ２２において、所定時間内に運転者の発声があると判定された場合は、音声出力Ｂ（図３参照）にしたがって、音声が出力される（ステップＳ２５）。例えば、運転者が「居眠り」に陥ったと判定された場合は、「居眠りを検知したのでお声がけしました。ホットコーヒーでも飲んで休憩してはいかがでしょうか？」という音声の出力が行われる。

【0050】

続いて、音声受付部２０での音声の受け付けが開始され、運転者の発声（音声）が所定のキーワードと合致するか否かの判定が行われる（ステップＳ２６）。ステップＳ２６においては、運転者の発声が、音声処理部５２からの問いがけの内容と対応するキーワード（例えば、「休憩する」、「はい」、「ＯＫ」、「わかった」など）と合致するか否かについての判定が行われる。このように、上述したモニタリングシステム１は、運転者の発声が、キーワードと合致するか否かの判定を行うものとしているので、運転者の発声に応じて適切な音声を出力することができる。

【0051】

ステップＳ２６において、運転者の発声が、所定のキーワードと合致しない場合は、音声出力Ｅ（図３参照）にしたがって、音声出力が行われる（ステップＳ２７）。ステップＳ２６においては、例えば、「この後も安全に運転して下さいね。」という音声の出力が行われる。ステップＳ２７の処理が終了すると、ステップＳ２０におけるサブルーチン処理を終了して、メインルーチン（図４参照）に復帰する。メインルーチンの処理に復帰すると、処理がステップＳ１０に戻される。

【0052】

また、ステップＳ２６において、運転者の発声が、所定のキーワードと合致した場合は、音声出力Ｃ（図３参照）にしたがって、音声出力が行われる（ステップＳ２８）。ステップＳ２８においては、例えば、「ゆっくり休憩して下さいね。」という音声の出力が行われる。ステップＳ２８の処理が終了すると、ステップＳ２０におけるサブルーチン処理を終了して、メインルーチン（図４参照）に復帰する。メインルーチンの処理に復帰すると、処理がステップＳ１０に戻される。

【0053】

なお、本実施形態では、メインルーチンにおける処理の終了後、ステップＳ１０に処理が戻されるものとしたが、ステップＳ１０からの繰り返し処理は、必要に応じて行えばよく、メインルーチンにおける処理の終了後にモニタリングシステム１の処理を終了させることもできる。以上が、本発明の一実施形態に係るモニタリングシステム１の動作フローであり、次に本発明のモニタリングシステム１における作用効果について以下に説明する。

【0054】

上述したように本発明のモニタリングシステム１は、画像処理部５１において、操縦者（運転者）の異常が検知されたことを条件として、画像取得部１０における画像の取得の少なくとも一部を制限する制御が行われるものとされている。すなわち、上述したモニタリングシステム１は、操縦者の異常が一旦検知されると、画像の取得を制限して、操縦者との音声対話に切り替えるものとされている。従って、上述したモニタリングシステム１は、画像取得部１０や画像処理部５１における画像処理の負担を軽減しつつ、適切に操縦者との音声対話を実現できる。

【0055】

また、上述したモニタリングシステム１は、画像処理部５１における画像処理による負荷を低減できるので、画像処理部５１及び音声処理部５２を併存させた場合であっても、処理能力の高い演算処理装置が求められることがない。これにより、上述したモニタリングシステム１は、例えば、単一のマイコン（例えば、ＳｏＣ：システム・オン・チップ）で簡素に構成することができるので、当該モニタリングシステム１のコスト低減が期待できる。また、上述したように本発明のモニタリングシステム１は、制御部に高い演算性能を求める必要がないので、モニタリングシステム１に採用できる演算処理装置の汎用性を高めることができる。また、上述したモニタリングシステム１は、操縦者に異常が生じた際に、画像取得部１０における画像の取得を制限した上で、音声対話処理が許可されるので、音声処理部５２における音声対話処理の応答性を損なうことがない。

【0056】

また、上述したモニタリングシステム１は、画像に基づいて運転者に異常が生じたことが確認された場合に、音声対話処理に移行して、運転者との対話を行う。これにより、モニタリングシステム１は、眠気やよそ見により運転者が運転（操縦）に集中できていない可能性がある場合に、運転者の運転に対する意識や集中力を回復させることができる。これにより、モニタリングシステム１は、居眠りやよそ見による危険を事前に回避するために高い効果を奏することができる。

【0057】

また、上述したモニタリングシステム１は、音声受付部２０において、所定時間内に操縦者による発話の受け付けがなされないことを条件として、画像取得部１０における前記画像の取得に係る制限の一部又は全部を解除するものとされている。

【0058】

従って、上述したモニタリングシステム１は、操縦者に重篤な異常が発生したと推定される場合に、画像取得を再開することができる。これにより、上述したモニタリングシステム１は、画像処理部５１における画像処理の負担を軽減しつつ、操縦者の状態を確実に取得できる。

【0059】

また、上述したモニタリングシステム１は、画像処理部５１において検知された操縦者の異常が、操縦者の所定範囲以上の姿勢変化によるもの、又は操縦者の所定時間以上の居眠りによるものであることを条件として、音声処理部５２が音声出力部４０に対して警報を発するように出力指示するものとされている。

【0060】

従って、上述したモニタリングシステム１は、操縦者に重篤な異常が発生したことを検知して、音声出力部４０から警報を発することができる。これにより、上述したモニタリングシステム１は、操縦者に重篤な異常が発生した場合に、適切に警報を発報することができる。また、上述したモニタリングシステム１は、不必要な警報の発報を抑制できるので、警報の発報が煩雑となることを抑制できる。

【0061】

次に、本発明の変形例に係るモニタリングシステム１の動作フローについて以下に説明する。なお、上述した実施形態と同様の内容についての説明は省略する。

【0062】

≪変形例≫
図６に示すように、変形例に係るモニタリングシステム１の動作が開始すると、画像取得部１０における運転者の画像の取得が行われる（ステップＳ１００）。このときの画像取得頻度は、例えば、１０ｆｐｓとされる。

【0063】

続いて、運転者の異常判定が、異常判定Ａ（図２（ａ）参照）にしたがって行われる（ステップＳ１０１）。ステップＳ１０１において、運転者に異常がないと判定された場合は、音声出力をすることなく、処理をステップＳ１００に戻す（ステップＳ１０２）。

【0064】

ステップＳ１０１において、運転者に異常（例えば、居眠り等）があると判定された場合は、画像取得部１０における画像取得頻度を低下させる（ステップＳ１０３）。このときの画像取得頻度は、例えば、１ｆｐｓとされる。このように、変形例に係るモニタリングシステム１では、画像取得部１０における画像取得頻度が、画像処理部５１において検知された操縦者の異常の状態に基づいて変位される。

【0065】

ステップＳ１０３における処理が終了すると、並行処理に移行する。並行処理では、上述した実施形態における音声処理（ステップＳ２０）と並行して、ステップＳ１０４からの処理が行われる。音声処理（ステップＳ２０）は、上述した実施形態と同様であるので説明を省略する。

【0066】

ステップＳ１０４においては、画像取得部１０による画像取得が、例えば、１ｆｐｓで行われるものとされている。

【0067】

続いて、運転者の状態が、異常判定Ｂにしたがって行われる（ステップＳ１０５）。図２（ｂ）に示すように、異常判定Ｂでは、運転者が姿勢崩れに関する異常に陥っているか否かについての判定が行われる。まず、異常判定Ｂに先立って、画像処理部５１が、運転者の顔の輪郭をＡＩを利用して取得し、当該顔の輪郭から当該顔の中心位置座標を算出して、トラッキング（中心位置座標を追跡）する。続いて、トラッキング中に所定範囲から運転者の顔の中心位置座標が外れた場合は、運転者に姿勢崩れが発生したものと判定する。

【0068】

図６に示すように、ステップＳ１０５において運転者に姿勢崩れが発生していないと判定された場合は、ステップＳ１００の処理に戻される。

【0069】

ステップＳ１０５において運転者に姿勢崩れが発生していると判定された場合は、並列処理を行っている音声処理（ステップＳ２０）を停止させる（ステップＳ１０６）。ステップＳ１０６において、音声処理（ステップＳ２０）が停止されると、音声出力Ｄ（図３参照）にしたがって、音声が出力される。すなわち、ステップＳ１０６においては、運転者に姿勢崩れが発生するような重篤な異常が発生したと推定される場合に、警報に相当する音声出力Ｄが出力される。

【0070】

以上が、本発明の変形例に係るモニタリングシステム１の動作フローであり、次に変形例に係るモニタリングシステム１の作用効果について以下に説明する。

【0071】

上述したように変形例に係るモニタリングシステム１は、画像取得部１０における画像取得頻度が、画像処理部５１において検知された操縦者（運転者）の異常の状態に基づいて変位するものとされている。

【0072】

従って、上述したモニタリングシステム１は、操縦者の異常の状態に基づいた適切な画像取得及び画像処理を行うことができる。そのため、上述したモニタリングシステム１は、制御部５０に掛かる負荷を低減しつつ、操縦者の異常の状態を確実に検知することができる。これにより、上述したモニタリングシステム１は、制御部５０に高い演算性能を求める必要がないので、当該モニタリングシステム１のコスト低減が期待できる。

【0073】

以上が、本発明の実施形態及び変形例に係るモニタリングシステム１の構成及び作用効果であるが、本発明のモニタリングシステム１は、上述した実施形態や変形例に限定されるものではなく、様々な変形を行うことができる。

【0074】

本実施形態では、制御部５０が、画像処理部５１、音声処理部５２、及び速度処理部５５を備えるものとしたが、これらの処理部が、個別に配されていてもよい。また、本実施形態では、制御部５０に速度検知部３０及び速度処理部５５が設けられているが、速度検知部３０及び速度処理部５５は、必要に応じて適宜設ければよく、速度検知部３０を設けない構成とすることもできる。また、速度検知部３０は、例えば、ＧＰＳセンサや車両に搭載された速度センサなど、各種の速度検知手段を用いることができる。

【0075】

また、本実施形態では、画像処理部５１及び音声処理部５２が単一のマイコン（ＳｏＣ）として形成されている場合を例示したが、これには限定されなり。例えば、画像処理部５１及び音声処理部５２がそれぞれ独立して設けられていてもよい。また、画像処理部５１及び音声処理部５２は、掛かる負荷を考慮して、各種の性能（高性能のものを含む）の演算処理装置を利用することができる。画像処理部５１及び音声処理部５２等で要求される性能は、費用対効果を考慮し決定すればよい。画像取得部１０は、操縦者の状態を取得可能な各種のドライブレコーダ、カメラ、ビデオカメラ等を用いることができる。また、画像取得部１０は、顔の画像に代えて、あるいは、顔の画像と共に、操縦者の状態を取得可能な各種の画像を取得することができる。例えば、画像取得部１０は、操縦者の体の傾きを検知するものとしてもよい。また、音声受付部２０は、音声の取得が可能なマイクロフォン等の各種の手段を用いることができる。また、音声処理部５２は、チャットボットを利用するものとしてもよい。

【0076】

また、本実施形態では、画像処理部５１において、操縦者の異常が検知されたことを条件として、画像取得部１０における画像の取得の少なくとも一部を制限する制御を行うものとしたが、これには限定されない。画像取得部１０及び画像処理部５１に対する制限は、画像取得部１０及び画像処理部５１における処理負荷を低減できる各種の手段を用いることができる。例えば、画像処理部５１における画像処理が制限されるものとしてもよい。また、本変形例では、画像取得部１０における画像取得頻度を１０ｆｐｓから１ｆｐｓに制限するものを例示したが、画像取得頻度は、搭載する画像取得部１０の性能等に応じて、適宜変更すればよい。

【0077】

また、本実施形態で検知する操縦者の異常判定条件は、実施形態や変形例に限定されず、各種の条件を設定することができる。また、音声出力部４０から出力する音声の内容は、実施形態や変形例に限定されず、各種の内容の音声を設定することができる。

【0078】

本実施形態や変形例では、操縦者の異常が、操縦者の「姿勢崩れ」や操縦者の所定時間以上の「居眠り」によるものである場合に、警報を発するようにしているが、これには限定されず、様々な基準で警報を発することが可能である。

【0079】

また、本実施形態や変形例では、音声判定部５３により、音声が所定のキーワードを含むか否かを判定するものとしたが、当該キーワードは、各種のものが利用できる。また、音声判定部５３は、キーワードによるものだけではなく、操縦者との音声対話を可能とする各種の判定条件を設定することができる。例えば、音声判定部５３が、ＡＩを利用して操縦者による発声（発話）を判定するものとしてもよい。

【0080】

以上が、本発明に係るモニタリングシステム１の各種の実施形態や変形例であるが、本発明は上述した実施形態や変形例において例示したものに限定されるものではなく、特許請求の範囲を逸脱しない範囲でその教示及び精神から他の実施形態があり得ることは当業者に容易に理解できよう。

【産業上の利用可能性】

【0081】

本発明のモニタリングシステムは、自動車、航空機、電車等の各種の移動体における操縦者（運転者）のモニタリングに利用することができる。

【符号の説明】

【0082】

１ ：モニタリングシステム
１０ ：画像取得部
２０ ：音声受付部
３０ ：速度検知部
４０ ：音声出力部
５０ ：制御部
５１ ：画像処理部
５２ ：音声処理部
５３ ：音声判定部
５５ ：速度処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】