特開 2025-11964 あくび検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025011964

(43)【公開日】2025-01-24

(54)【発明の名称】あくび検出システム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20250117BHJP

   G06T 7/20 20170101ALI20250117BHJP

   G06T 7/00 20170101ALI20250117BHJP

   B60W 50/14 20200101ALI20250117BHJP

   A61B 5/11 20060101ALI20250117BHJP

【ＦＩ】

G08G1/16 F

G06T7/20 300B

G06T7/00 650Z

B60W50/14

A61B5/11 300

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023114445

(22)【出願日】2023-07-12

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100187311

【弁理士】

【氏名又は名称】小飛山 悟史

(74)【代理人】

【識別番号】100161425

【弁理士】

【氏名又は名称】大森 鉄平

(72)【発明者】

【氏名】坂田 拓也

(72)【発明者】

【氏名】山内 航一郎

(72)【発明者】

【氏名】奥山 実

【テーマコード（参考）】

3D241

4C038

5H181

5L096

【Ｆターム（参考）】

3D241BA70

3D241DD04Z

4C038VA04

4C038VB05

4C038VC05

5H181AA01

5H181CC04

5H181CC11

5H181LL20

5L096AA06

5L096BA04

5L096CA04

5L096DA02

5L096GA30

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【課題】ドライバのあくびを適切に検出できるあくび検出システムを提供する。
【解決手段】あくび検出システム１は、開口判定部１１と、口元隠れ判定部１２と、細目判定部１３と、あくび検出部１４と、を備える。開口判定部１１は、顔画像上でドライバの口が開いた開口状態が第一時間以上継続したか否かを判定する。口元隠れ判定部１２は、開口状態が第一時間以上継続したと判定された場合に、顔画像上で口の一部又は口の全部がドライバの手で隠された口元隠れ状態が第二時間以上継続したか否かを判定する。細目判定部１３は、口元隠れ状態が第二時間以上継続したと判定された場合に、ドライバが開口状態になる前と比べて顔画像上でドライバの目の縦幅が細くなる細目状態になったか否かを判定する。あくび検出部１４は、ドライバが細目状態になったと判定された場合に、ドライバのあくびを検出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両のドライバの顔画像から前記ドライバのあくびを検出するあくび検出システムであって、
前記顔画像上で前記ドライバの口が開いた開口状態が第一時間以上継続したか否かを判定する開口判定部と、
前記開口状態が前記第一時間以上継続したと判定された場合に、前記顔画像上で前記口の一部又は前記口の全部が前記ドライバの手で隠された口元隠れ状態が第二時間以上継続したか否かを判定する口元隠れ判定部と、
前記口元隠れ状態が前記第二時間以上継続したと判定された場合に、前記ドライバが前記開口状態になる前と比べて前記顔画像上で前記ドライバの目の縦幅が細くなる細目状態になったか否かを判定する細目判定部と、
前記ドライバが前記細目状態になったと判定された場合に、前記ドライバのあくびを検出するあくび検出部と、
を備える、あくび検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、あくび検出システムに関する。

【背景技術】

【0002】

従来のあくび検出装置に関する技術文献として、特開２０２１－１５２７２９号公報が知られている。特開２０２１－１５２７２９号公報には、所定時間内に生成されたドライバの時系列の顔画像に基づいてドライバの開口度の波形を検出すると共にドライバの開眼度の波形を検出し、ドライバがあくびをしているか否かを判定する技術が示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１５２７２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、手で口を隠すあくびの場合にはドライバの口元が隠されてしまうことから、ドライバのあくびを適切に検出できないおそれがある。

【0005】

本開示は、ドライバのあくびを適切に検出できるあくび検出システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示のあくび検出システムは、車両のドライバの顔画像から前記ドライバのあくびを検出するあくび検出システムであって、顔画像上でドライバの口が開いた開口状態が第一時間以上継続したか否かを判定する開口判定部と、開口状態が第一時間以上継続したと判定された場合に、顔画像上で口の一部又は口の全部がドライバの手で隠された口元隠れ状態が第二時間以上継続したか否かを判定する口元隠れ判定部と、口元隠れ状態が第二時間以上継続したと判定された場合に、ドライバが開口状態になる前と比べて顔画像上でドライバの目の縦幅が細くなる細目状態になったか否かを判定する細目判定部と、ドライバが細目状態になったと判定された場合に、ドライバのあくびを検出するあくび検出部と、を備える。

【発明の効果】

【0007】

本開示によれば、ドライバのあくびを適切に検出できるあくび検出システムを提供することが可能となる。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係るあくび検出システムのブロック図である。

【図2】あくび検出システムによるあくび検出処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本開示の実施形態について図面を参照して説明する。

【0010】

図１は、一実施形態に係るあくび検出システムのブロック図である。図１に示されるように、あくび検出システム１は、ドライバモニタカメラ２と、マイク（音検出部）３と、ＥＣＵ[Electronic Control Unit]１０と、を備えている。あくび検出システム１は、車両のドライバの顔画像からドライバのあくびを検出する。

【0011】

ドライバモニタカメラ２は、例えば車両の室内に配置されている。ドライバモニタカメラ２は、例えば、運転席の正面でドライバと向かい合うように配置されている。ドライバモニタカメラ２は、ドライバの顔を撮像する。ドライバモニタカメラ２は、ドライバの顔画像をＥＣＵ１０へ送信する。

【0012】

マイク３は、例えば車両の室内に配置されている。マイク３は、例えば、運転席の正面でドライバと向かい合うように配置されている。マイク３は、ドライバの声を認識してナビゲーション機能の目的地設定などを実行する音声認識装置の一部である。マイク３は、ドライバのくしゃみ音又は笑い声を検出可能である。マイク３は、検出された音の信号をＥＣＵ１０へ送信する。

【0013】

ＥＣＵ１０は、ＣＰＵ[CentralProcessing Unit]と、ＲＯＭ[Read Only Memory]又はＲＡＭ[Random Access Memory]などの記憶部とを有する電子制御ユニットである。ＥＣＵ１０では、例えば、記憶部に記憶されているプログラムがＣＰＵで実行されることにより各種の機能が実現される。ＥＣＵ１０は、例えば車両に設けられている。

【0014】

ＥＣＵ１０は、機能的構成として、開口判定部１１と、口元隠れ判定部１２と、細目判定部１３と、あくび検出部１４と、を備えている。

【0015】

開口判定部１１は、ドライバの顔画像上でドライバの口が開いた開口状態が第一時間以上継続したか否かを判定する。開口判定部１１は、例えば、エッジ抽出、ノイズ除去、パターンマッチング等のような周知の画像処理手法又はディープラーニング等で学習された機械学習モデルの利用により、ドライバの顔画像からドライバの開口状態を判定する。第一時間は、一般的なあくびの継続時間等に基づいて予め定められた値である。

【0016】

口元隠れ判定部１２は、ドライバの開口状態が第一時間以上継続したと判定された場合に、ドライバの顔画像上でドライバの口の一部又は全部がドライバの手で隠された口元隠れ状態が第二時間以上継続したか否かを判定する。口元隠れ判定部１２は、周知の画像処理手法又は機械学習モデルの利用により、ドライバの顔画像からドライバの口元隠れ状態を判定する。第二時間は、一般的なあくびにおいて手で口を隠す継続時間等に基づいて予め定められた値である。

【0017】

細目判定部１３は、ドライバの口元隠れ状態が第二時間以上継続したと判定された場合に、ドライバが開口状態になる前と比べて顔画像上でドライバの目の縦幅が細くなる細目状態になったか否かを判定する。細目判定部１３は、開口状態前におけるドライバの顔画像と口元隠れ状態におけるドライバの顔画像とを比較する。細目判定部１３は、口元隠れ状態におけるドライバの目の縦幅が開口状態前におけるドライバの目の縦幅のよりも細い場合に、ドライバが細目状態になったと判定する。細目判定部１３は、周知の画像処理手法又は機械学習モデルの利用により、ドライバの顔画像からドライバの細目状態を判定する。

【0018】

あくび検出部１４は、ドライバが細目状態になったと判定された場合に、ドライバのあくびを検出する。ただし、あくび検出部１４は、口元隠れ状態が第二時間以上継続したと判定された場合であっても、ドライバのくしゃみ音又は笑い声が検出されたときには、ドライバのあくびを検出しなくてもよい。ドライバの口元隠れ状態が第二時間以上継続したとしても、ドライバが手で口を隠してくしゃみをしている場合又はドライバが手で口を隠して笑っている場合には、ドライバがあくびをしていない可能性が高いからである。

【0019】

また、あくび検出部１４は、口元隠れ状態が第二時間以上継続したと判定された場合であっても、ドライバが急に顔を下に向けるくしゃみ動作を検出したときには、ドライバのあくびを検出しなくてもよい。ドライバの口元隠れ状態が第二時間以上継続したとしても、ドライバがくしゃみをしている場合には、ドライバがあくびをしていない可能性が高いからである。あくび検出部１４は、周知の画像処理手法又は機械学習モデルの利用により、ドライバの顔画像からドライバのくしゃみ動作を検出する。

【0020】

次に、ＥＣＵ１０の処理について説明する。図２は、あくび検出システム１によるあくび検出処理を示すフローチャートである。あくび検出処理は、例えば車両の走行中に実行される。図２に示されるように、ＥＣＵ１０は、ステップＳ１において、開口状態が第一時間以上継続したか否かを判定する。ＥＣＵ１０は、開口状態が第一時間以上継続したと判定した場合（ステップＳ１：ＹＥＳ）、ステップＳ２へ移行する。ＥＣＵ１０は、開口状態が第一時間以上継続していないと判定した場合（ステップＳ１：ＮＯ）、ステップＳ７へ移行する。

【0021】

ＥＣＵ１０は、ステップＳ２において、口元隠れ状態が第二時間以上継続したか否かを判定する。ＥＣＵ１０は、口元隠れ状態が第二時間以上継続したと判定した場合（ステップＳ２：ＹＥＳ）、ステップＳ３へ移行する。ＥＣＵ１０は、口元隠れ状態が第二時間以上継続していないと判定した場合（ステップＳ２：ＮＯ）、ステップＳ７へ移行する。

【0022】

ＥＣＵ１０は、ステップＳ３において、細目状態になったか否かを判定する。ＥＣＵ１０は、細目状態になったと判定した場合（ステップＳ３：ＹＥＳ）、ステップＳ４へ移行する。ＥＣＵ１０は、細目状態になっていないと判定した場合（ステップＳ３：ＮＯ）、ステップＳ７へ移行する。

【0023】

ＥＣＵ１０は、ステップＳ４において、ドライバのくしゃみ音又は笑い声が検出されなかったか否かを判定する。ＥＣＵ１０は、ドライバのくしゃみ音又は笑い声が検出されなかったと判定した場合（ステップＳ４：ＹＥＳ）、ステップＳ５へ移行する。ＥＣＵ１０は、ドライバのくしゃみ音又は笑い声が検出されたと判定した場合（ステップＳ４：ＮＯ）、ステップＳ７へ移行する。

【0024】

ＥＣＵ１０は、ステップＳ５において、ドライバのくしゃみ動作が検出されなかったか否かを判定する。ＥＣＵ１０は、ドライバのくしゃみ動作が検出されなかったと判定された場合（ステップＳ５：ＹＥＳ）、ステップＳ６へ移行する。ＥＣＵ１０は、ドライバのくしゃみ動作が検出されたと判定された場合（ステップＳ５：ＮＯ）、ステップＳ７へ移行する。

【0025】

ＥＣＵ１０は、ステップＳ６において、ドライバのあくびを検出する。つまり、ＥＣＵ１０は、ステップＳ６において、ドライバがあくびをしていると判定する。ＥＣＵ１０は、ドライバのあくびを検出した場合、例えばあくび検出情報を運転支援システム等へ送信してもよい。ＥＣＵ１０は、ドライバのあくびを頻繁に検出した場合、例えばスピーカ又はディスプレイ等を介して、ドライバへ注意喚起してもよい。ＥＣＵ１０は、ステップＳ７において、ドライバのあくびを検出しない。つまり、ＥＣＵ１０は、ステップＳ７において、ドライバがあくびをしているとは判定しない。

【0026】

以上説明したように、あくび検出システム１によれば、ドライバの口が開いた開口状態が第一時間以上継続し、口元隠れ状態が第二時間以上継続した上で、ドライバが開口状態になる前と比べて顔画像上で目の縦幅が細くなる細目状態になったと判定されたときに、ドライバのあくびを検出するので、手で口を隠すあくびを適切に検出することができる。

【0027】

あくび検出部１４は、口元隠れ状態が第二時間以上継続したと判定された場合であっても、ドライバのくしゃみ音又は笑い声が検出されたときには、ドライバのあくびを検出しない。ドライバのくしゃみ音や笑い声を検出した場合には、あくびを行っていると検出しないことにより、くしゃみや笑うために口を開けて口元を手で隠しているときに、誤ってあくびと検出してしまうことを避けることができる。

【0028】

あくび検出部１４は、口元隠れ状態が第二時間以上継続したと判定された場合であっても、ドライバが急に顔を下に向けるくしゃみ動作を検出したときには、ドライバがあくびを行っていると検出しない。口元隠れ状態が第二時間以上継続したと判定された場合であっても、ドライバが急に顔を下に向けるくしゃみ動作を検出したときには、あくびを行っていると検出しないことにより、くしゃみのために口を開けて口元を手で隠しているときに、誤ってあくびと検出してしまうことを避けることができる。

【0029】

以上、本開示の実施形態について説明したが、本開示は上述した実施形態に限定されるものではない。本開示は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

【0030】

ＥＣＵ１０は、図２に示すフローチャートにおいて、ステップＳ４の前にステップＳ５を実行してもよい。ＥＣＵ１０は、ステップＳ３の前にステップＳ４及びステップＳ５を実行してもよい。ＥＣＵ１０は、ステップＳ４を実行しなくてもよく、ステップＳ５を実行しなくてもよい。ＥＣＵ１０は、ドライバのくしゃみ音又は笑い声が検出されたとしても、ドライバのあくびを検出してもよい。ＥＣＵ１０は、ドライバのくしゃみ動作が検出されたとしても、ドライバのあくびを検出してもよい。

【0031】

あくび検出部１４は、車両の車室内の気温変化の検出結果に基づいてくしゃみ動作の判定精度を高めてもよい。例えば、車室内の気温が急激に下がった場合には、ドライバがくしゃみを行う可能性が高いため、あくび検出部１４は、車室内の気温が下がるほどくしゃみ動作の判定の確率を高めてもよい。あくび検出部１４は、車室内の気温の一定時間内における低下温度が低下判定閾値未満の場合には、低下温度が低下判定閾値未満ではない場合に比べて、車室内の気温が下がるほど顔を下げる角度が小さくてもくしゃみ動作として判定してもよい。あくび検出部１４は、車両の車室内の花粉又は粉塵等の検出結果に基づいてくしゃみ動作の判定精度を高めてもよい。例えば、花粉又は粉塵等が多く検出された場合には、ドライバがくしゃみを行う可能性が高いため、あくび検出部１４は、花粉又は粉塵等が多いほどくしゃみ動作の判定の確率を高めてもよい。

【符号の説明】

【0032】

１…あくび検出システム、１１…開口判定部、１２…口元隠れ判定部、１３…細目判定部、１４…あくび検出部。

【図1】

【図2】