特開 2024-54997 異常情報出力装置及び異常情報出力方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024054997

(43)【公開日】2024-04-18

(54)【発明の名称】異常情報出力装置及び異常情報出力方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240411BHJP

   G07C 5/00 20060101ALI20240411BHJP

   G08B 21/02 20060101ALI20240411BHJP

   G08B 25/04 20060101ALI20240411BHJP

   A61B 5/107 20060101ALI20240411BHJP

   A61B 5/16 20060101ALI20240411BHJP

   A61B 3/113 20060101ALI20240411BHJP

【ＦＩ】

G08G1/16 F

G07C5/00 Z

G08B21/02

G08B25/04 K

A61B5/107 300

A61B5/16 120

A61B3/113

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022161531

(22)【出願日】2022-10-06

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(72)【発明者】

【氏名】桜木 友喜

(72)【発明者】

【氏名】森 大樹

(72)【発明者】

【氏名】浅野 太貴

(72)【発明者】

【氏名】齋藤 沙也加

(72)【発明者】

【氏名】山下 華妃

(72)【発明者】

【氏名】▲高▼橋 紀行

【テーマコード（参考）】

3E138

4C038

4C316

5C086

5C087

5H181

【Ｆターム（参考）】

3E138AA07

3E138MB08

3E138MB15

3E138MC01

3E138MC17

4C038PP03

4C038PQ03

4C038PS00

4C038VA04

4C038VB03

4C038VB35

4C038VC05

4C316AA21

4C316AA30

4C316AB16

4C316FZ01

5C086AA22

5C086AA23

5C086BA22

5C086CA21

5C086CA28

5C086CB36

5C086DA33

5C086FA02

5C086FA06

5C086FA11

5C086FA17

5C086FA18

5C087AA02

5C087AA09

5C087AA10

5C087AA11

5C087AA19

5C087AA23

5C087AA25

5C087AA32

5C087AA37

5C087AA42

5C087AA44

5C087BB02

5C087BB20

5C087DD03

5C087DD14

5C087EE18

5C087FF02

5C087FF04

5C087GG08

5C087GG66

5C087GG70

5C087GG83

5H181AA01

5H181BB20

5H181CC04

5H181FF04

5H181FF05

5H181FF10

5H181FF27

5H181LL07

5H181LL08

5H181LL09

5H181LL20

(57)【要約】

【課題】車両の乗員に発生した発作症状を、より適切に判定して異常情報を出力することができる、異常情報出力装置及び異常情報出力方法を提供する。
【解決手段】
異常情報出力装置１０は、車両の乗員を撮影した画像を取得する画像取得部１１と、画像に基づいて乗員の姿勢を認識し、乗員の姿勢が正常状態であるか否か、及び、乗員の姿勢が脱力状態であるか否か、を判定する画像認識部１２と、車両の走行に関する情報を取得する車両情報取得部１３と、乗員の姿勢が正常状態であると判定されてから乗員の姿勢が脱力状態と判定されるまでの期間が第１の閾値より短い期間であり、かつ、車両が走行状態にある場合、第１の異常情報を出力する異常情報出力部１４と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の乗員を撮影した画像を取得する画像取得部と、
前記画像に基づいて前記乗員の姿勢を認識し、前記乗員の姿勢が正常状態であるか否か、及び、前記乗員の姿勢が脱力状態であるか否か、を判定する画像認識部と、
前記車両の走行に関する情報を取得する車両情報取得部と、
前記乗員の姿勢が正常状態であると判定されてから前記乗員の姿勢が脱力状態と判定されるまでの期間が第１の閾値より短い期間であり、かつ、前記車両が走行状態にある場合、第１の異常情報を出力する異常情報出力部と、
を備える異常情報出力装置。

【請求項2】

前記画像認識部は、前記画像に基づいて前記乗員の顔を認識して前記乗員が注視状態であるか否かをさらに判定し、
前記異常情報出力部は、前記乗員が注視状態にあるか否かにさらに基づいて、第２の異常情報を出力する、
請求項１に記載の異常情報出力装置。

【請求項3】

前記画像認識部は、前記画像に基づいて前記乗員の顔を認識して前記乗員に感情の高ぶりがあったか否かをさらに判定し、
前記異常情報出力部は、さらに、前記乗員に感情の高ぶりがあったと判定されてから、前記乗員の姿勢の変化が発生したと判定されるまでの期間が、第２の閾値より短い期間であるか否かにさらに基づいて、第３の異常情報を出力する、
請求項１または２に記載の異常情報出力装置。

【請求項4】

コンピュータが、
車両の乗員を撮影した画像を取得するステップと、
前記画像に基づいて前記乗員の姿勢を認識し、前記乗員の姿勢が正常状態であるか否か、及び、前記乗員の姿勢が脱力状態であるか否か、を判定するステップと、
前記車両の走行に関する情報を取得するステップと、
前記乗員の姿勢が正常状態であると判定されてから前記乗員の姿勢が脱力状態と判定されるまでの期間が第１の閾値より短い期間であり、かつ、前記車両が走行状態にある場合、第１の異常情報を出力するステップと、
を実行する、異常情報出力方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、異常情報出力装置及び異常情報出力方法に関する。

【背景技術】

【0002】

車両の運転者または乗車者の所定の疾病又は症状による健康状態の異変を画像または音声を認識して検出する異変検出手段を備えて、疾病又は症状を特定した場合に適切な対処をする技術が知られている。（例えば特許文献１）

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１７３８３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

睡眠障害であるナルコレプシーの症状のひとつとして、気持ちが高ぶった時などに突然全身の力が抜けてしまう，情動脱力発作と呼ばれる症状が知られている。情動脱力発作では、意識喪失を伴わない突然の筋力低下により患者の全身の力が抜け、患者がその場に倒れ込んでしまうこともある。このため車両の運転者にこの症状が発生すると、運転が困難になり、事故が発生する可能性が高まることが想定される。特許文献１に記載される異変検出手段は、車両の運転者または乗車者の人事不省、前後不覚、失神の状態や、癲癇の発作の状態、居眠りなどを、画像にパターンマッチング処理を行うことで認識しているが、突然に筋力が低下する発作的症状や、意識喪失を伴わないケースなどを画像により認識することは示唆されておらず、改善の余地がある。

【0005】

本発明は、上記に鑑みてなされたものであって、車両の乗員に発生した突然の筋力低下などの発作症状を、より適切に画像から検出して異常情報を出力することができる、異常情報出力装置及び異常情報出力方法を提供するものである。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る異常情報出力装置は、車両の乗員を撮影した画像を取得する画像取得部と、画像に基づいて乗員の姿勢を認識し、乗員の姿勢が正常状態であるか否か、及び、乗員の姿勢が脱力状態であるか否か、を判定する画像認識部と、車両の走行に関する情報を取得する車両情報取得部と、乗員の姿勢が正常状態であると判定されてから乗員の姿勢が脱力状態と判定されるまでの期間が第１の閾値より短い期間であり、かつ、車両が走行状態にある場合、第１の異常情報を出力する異常情報出力部と、を備えることを特徴とする。

【0007】

上記目的を達成するため、本発明に係る異常情報出力方法は、コンピュータが、車両の乗員を撮影した画像を取得するステップと、画像に基づいて乗員の姿勢を認識し、乗員の姿勢が正常状態であるか否か、及び、乗員の姿勢が脱力状態であるか否か、を判定するステップと、車両の走行に関する情報を取得するステップと、乗員の姿勢が正常状態であると判定されてから乗員の姿勢が脱力状態と判定されるまでの期間が第１の閾値より短い期間であり、かつ、車両が走行状態にある場合、第１の異常情報を出力するステップと、を実行することを特徴とする。

【発明の効果】

【0008】

本発明によれば、車両の乗員に発生した突然の筋力低下などの発作症状を、より適切に判定して異常情報を出力することができる異常情報出力装置及び異常情報出力方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る異常情報出力装置の構成の一例を示すブロック図である。

【図2】実施形態に係る異常情報出力の処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、発明の実施形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。

【0011】

＜実施形態＞
図１を用いて、本発明の実施形態について説明する。図１は、実施形態に係る異常情報出力システム１の構成の一例を示すブロック図である。

【0012】

異常情報出力システム１は、例えば、異常情報出力装置１０と、撮像部２０と、センサ３０と、報知制御装置４０と、を備える。

【0013】

撮像部２０は、車両内部に設置される、運転者や同乗者などの車両の乗員を撮影するカメラである。車両外部を含む範囲の画像を撮影してもよい。撮像部２０は、ひとつのカメラであってもよく、複数のカメラ群として構成されていてもよい。また撮像部２０は、車両の乗員が保有する携帯機器であってもよい。

【0014】

センサ３０は、車両の走行に関する情報、例えば車両が走行しているか停止しているかを判定するための情報を取得するセンサである。センサ３０は、例えば、車両に搭載される加速度センサや車速パルス検出センサなどである。センサ３０は、車両のシフトレバーの状態や、エンジンＯＮＯＦＦの状態などを検知するセンサであってもよい。

【0015】

報知制御装置４０は、異常情報出力装置１が出力する異常情報の出力先の一例であって、車両の乗員に異常が発生していることを、車両の外部、または、車両に搭乗する、異変が発生した乗員以外の乗員または乗客に向けて報知する。
報知制御装置４０は、例えば、異常情報出力装置１が出力する異常情報に基づいて、図示しないスピーカやブザーなどの音声出力装置または車両のクラクションを制御し、車両外部や車両乗員に向けて、音声による異常の報知を行う。報知制御装置４０は、例えば、異常情報出力装置１が出力する異常情報に基づいて、図示しないモニタやＬＥＤ（Light Emitting Diode）などの表示機器または車両のヘッドライトを制御し、車両外部や車両乗員に向けて、表示や光による異常の報知を行ってもよい。

【0016】

異常情報出力装置１０は、画像取得部１１と、画像認識部１２と、車両情報取得部１３と、異常情報出力部１４と、を備える。

【0017】

画像取得部１１は、撮像部２０から運転者などの車両の乗員を少なくとも含む車両内部を撮影した画像を取得する。画像取得部１１は、撮像部２０から複数の乗員を撮影した画像を取得してもよく、車両の外部を含む範囲を撮影した画像をさらに取得してもよい。
画像取得部１１は、撮像部２０を含めて構成されてもよく、別体である撮像部２０と接続され、撮像部２０が出力する出力信号を取得する、入力インタフェース部であってもよい。画像取得部１１は、取得した画像を画像認識部１２に出力する。

【0018】

画像認識部１２は、画像取得部１１が取得した画像から、画像認識技術を用い、車両の乗員及び車両の乗員の姿勢を認識する。より詳しくは、画像認識部１２は、画像取得部１１が取得した画像から、車両の乗員の姿勢が正常状態であるか否か、及び、車両の乗員の姿勢が脱力状態であるか否かを、画像認識技術を用いて判定する。画像認識部１２は、画像認識用の学習済モデルを備えており、認識対象物を認識する画像認識処理を行う。

【0019】

画像認識用の学習済モデルとは、例えば、車両に乗員が乗車していること、及び、車両の乗員が正常状態であることの認識用の学習済モデルとして、車両の乗員を撮影した画像と、教師データと、を一対のセットとした入力データをニューラルネットワークに入力して、機械学習させた学習済モデルである。
本願において教師データのひとつは、車両内部を撮影した画像に、乗員が乗車している場合や車両の座席に乗員が着座している場合に値を１とし、車両内部を撮影した画像に、乗員が乗車していない場合や車両の座席に乗員が着座している場合に値を０とするデータである。
また本願において教師データの別のひとつは、画像に写っている車両の乗員の姿勢が正常状態と見做される場合、例えば車両の進行方向を注視している姿勢や、車両の運転操作に支障がない姿勢である場合に値を１とし、画像に写っている車両の乗員の姿勢が正常状態と見做されない場合、例えば画像に写っている車両の乗員の姿勢が崩れた姿勢である場合や全身の力が抜けている脱力状態である場合に、値を０とするデータである。

【0020】

画像認識部１２は、画像に乗員が撮影されていることの認識用の学習済モデル、及び、車両の乗員が正常状態であることの認識用の学習済モデルにそれぞれ、画像取得部１１が取得した画像を入力する。それぞれの学習済モデルは、入力した画像に乗員が撮影されている可能性、及び、入力した画像に撮影されている車両の乗員の姿勢が正常状態と見做される可能性を、１から０の間の値として出力する。出力値が１に近いほど、入力した画像に乗員が撮影されている可能性、及び、入力された画像に撮影されている車両の乗員の姿勢が正常状態と見做される可能性が高く、出力値が０に近いほど、入力した画像に乗員が撮影されている可能性、及び、入力された画像に撮影されている車両の乗員の姿勢が正常状態と見做される可能性が低くなる。
学習済モデルが出力する出力値が、例えば０．８などの予め定められた閾値以上である場合、画像認識部１２は、画像取得部１１が取得した画像に乗員が撮影されている、及び、撮影されている車両の乗員の姿勢が正常状態であると判定する。
また、学習済モデルが出力する出力値が予め定められた閾値である、例えば０．３以下である場合、画像認識部１３は、画像取得部１１が取得した画像に乗員が撮影されていない、及び、撮影されている車両の乗員の姿勢が、脱力状態であると判定する。出力値が０．３から０．８の間にある場合、車両の乗員は、やや崩れた姿勢であるが、脱力状態とは判定できない姿勢であると言える。

【0021】

画像認識部１２は、例えば、上述した学習済モデルの他に，乗員の姿勢が脱力状態である場合に１，乗員の姿勢が脱力状態でない場合に０とする教師データを用いて学習させた学習済モデルを合わせて備えてもよい。脱力状態であることを認識する画像認識用の学習済モデルでは、画像に写っている車両の乗員の姿勢が脱力状態である場合の入力データとして、車両の乗員に情動脱力発作の症状が出ている際の画像や、車両の座席に座ったまま全身の力が抜けている脱力状態である際の画像と、このときの値を１とする教師データと、を一対のセットとする入力データを用いる。

【0022】

このとき画像認識部１２は、車両の乗員が正常状態であることの認識用の学習済モデルと、車両の乗員が脱力状態であることの認識用の学習済モデルと、のそれぞれに、画像取得部１１が取得した画像を入力する。それぞれの学習済モデルは、入力した画像に撮影されている車両の乗員の姿勢が正常状態と見做される可能性、及び、入力した画像に撮影されている車両の乗員の姿勢が脱力状態と見做される可能性を、１から０の間の値として出力する。

【0023】

画像認識部１２は、画像取得部１１が取得した画像に撮影されている車両の乗員の姿勢の認識結果が正常状態であるか否か、また、画像取得部１１が取得した画像に撮影されている車両の乗員の姿勢の認識結果が脱力状態であるか否かを判定し、判定した結果を異常情報出力部１４に出力する。
画像認識部１２は、上述した形態のほか、例えばパターンマッチングなどの公知の技術を用いて、認識対象物を認識し、乗員の姿勢が正常状態であるか否か、及び、乗員の姿勢が脱力状態であるか否かを判定しても良い。

【0024】

車両情報取得部１３は、車両の走行に関する情報、例えば車両が走行しているか停止しているかを示す情報を取得する。
車両情報取得部１３は、例えば、センサ３０である加速度センサや車速パルス検出センサなどのセンサ類から、車両の走行に関する情報を取得する。車両情報取得部１３は、図示しないＧＮＳＳ(Global Navigation Satellite System)を用いて、車両の現在位置の情報を逐次的に取得し、車両の現在位置の推移から、車両が走行しているか停止しているかを判断して用いても良い。車両情報取得部１３は、ＣＡＮ(Controller Area Network)を介して車両から、車両速度、シフトレバー位置やエンジンのＯＮＯＦＦ状態などの、車両の走行に関する情報を取得しても良い。
車両情報取得部１３は、画像取得部１１が取得した車両の外部を含む範囲を撮影した画像を解析し、車両が走行しているか停止しているかを判定して、車両の走行に関する情報としてもよい。
車両情報取得部１３は、取得した車両の走行に関する情報を異常情報出力部１４に出力する。

【0025】

異常情報出力部１４は、画像認識部１２が認識した車両の乗員の姿勢の変化、及び、車両情報取得部１３が取得した車両情報に基づいて、車両の乗員に関する異常情報を出力する。
異常情報出力部１４は、乗員の姿勢が正常状態であると判定されてから、乗員の姿勢が脱力状態と判定されるまでの期間が、例えば３秒間などの第１の閾値より短い期間である場合、言い換えると、車両の乗員の姿勢が突然に大きく崩れる姿勢の急変が発生した場合に、車両の乗員に筋力低下の発作が発生したと判定する。さらに異常情報出力部１４は、車両の乗員に筋力低下の発作が発生したと判定し、かつ、車両情報取得部１３が取得した車両情報が、車両が走行状態にあることを示す場合、車両の乗員に筋力低下の発作が発生したとする第１の異常情報を出力する。
異常情報出力部１４が出力する異常情報の出力先は、後述する図示しない通信部である他に、報知制御装置４０などの異常情報出力装置１の外部機器であってよい。異常情報出力装置１の外部機器は、車両の運転者に身体的または生理的な異常が発生し、車両の運転操作が困難になった場合に、適切な処置を行う装置であって、例えば報知制御装置４０や、後述する図示しない記録制御装置や車両走行制御装置などである。報知制御装置４０、記録制御装置、車両走行制御装置は、それぞれに異常情報出力装置１と別体であって異常情報出力装置１と有線又は無線で接続されても良く、異常情報出力装置１と一体的に形成される装置であってもよい。

【0026】

通信部は、異常情報出力部１４が出力する異常情報に基づいて、車両に関する情報を外部機器に送信する。通信部は、例えば、異常情報出力部１４から車両の乗員に関する異常情報を取得した場合、異常情報出力部１４が出力する異常情報を、図示しない車両管理サーバや、警察や保険会社などに接地される通報用サーバなどの外部機器に無線で送信する。通信部は、例えば、画像取得部１１が取得した画像を、図示しない外部サーバや、車両の乗員または車両の管理者が保持する通信機器などの外部機器に無線で送信する。通信部は、異常情報出力部１４が出力する異常情報に基づいて、車両情報取得部１３が取得した車両の走行状態及び車両の現在位置に関する情報や、後述する車両走行制御装置の動作状態に関する情報などを、同様に外部機器に送信してもよい。なお、通信部は、異常情報出力装置１０に必ずしも必須の構成要素ではなく、無くともよい。

【0027】

記録制御装置は、異常情報出力装置１が出力する異常情報に基づいて、車両外部または内部を撮影した画像を、図示しない記録部に記録する制御を行う。具体的には、異常情報出力装置１から車両の乗員に関する異常情報を取得した場合、記録制御装置が備える撮像部が取得した画像または画像取得部１１が取得した画像を、記録媒体などの記録部に記録し、車両の乗員が脱力状態である際の、車両の走行や車両の乗員に関する記録を保存する。記録制御装置は、画像の他、記録制御装置が備える収音部が収音した音声や、車両の現在位置情報などの車両走行に関する情報を記録してもよい。

【0028】

車両走行制御装置は、異常情報出力装置１が出力する異常情報に基づいて、車両の走行を制御する。具体的には、異常情報出力装置１から車両の乗員に関する異常情報を取得した場合、車両を減速させる、車両を停止させる、車両を駐車可能エリアに向けて自律走行させるなどの、交通事故を未然に防止するための車両走行の制御を行う。

【0029】

次に、上述した実施形態に係る装置１０の処理手順を、図２に示すフローチャートを参照して説明する。

【0030】

初めに、ステップＳ１０において、画像取得部１１が車両の乗員を撮影した画像を取得する。その後ステップＳ１１に進む。

【0031】

ステップＳ１１において、画像認識部１２が、取得した画像に対して画像認識処理を行って、車両の乗員が認識されるか否か、及び、車両の乗員の姿勢を認識し、車両の乗員が認識されている場合に、乗員の姿勢が正常状態であるか否か、及び、乗員の姿勢が脱力状態であるか否か、を判定する。その後ステップＳ１２に進む。

【0032】

ステップＳ１２において、車両情報取得部１３が車両の走行に関する情報を取得する。その後ステップＳ１３に進む。なお車両情報取得部１３が車両の走行に関する情報を取得するステップは、車両の乗員を撮影した画像を取得するステップＳ１０や車両の乗員の姿勢を認識するステップＳ１１より先に行われても良く、これらのステップと並行して行われても良い。

【0033】

ステップＳ１３において、異常情報出力部１４は、車両の乗員が認識されている場合、車両の乗員の姿勢が正常状態であると判定されてから、乗員の姿勢が脱力状態と判定されるまでの期間が、第１の閾値以下である場合に、車両の乗員に筋力低下の発作が発生したと判定する。異常情報出力部１４は、車両の乗員に筋力低下の発作が発生し、かつ、車両が走行中である場合（Ｓ１３でＹｅｓ）、ステップＳ１４に進む。
車両の乗員に筋力低下の発作が発生したと判定しない場合、または、車両が走行中でない場合、（Ｓ１３でＮｏ）、ステップＳ１０に戻り、処理を再度実行する。

【0034】

ステップＳ１４において、異常情報出力部１４は、車両の乗員に筋力低下の発作が発生したとする異常情報を、例えば通信部を介して外部機器に出力する。その後ステップＳ１０に戻り、処理を再度実行する。

【0035】

上述したように、実施形態によれば、異常情報出力装置１０は、車両が走行中であり、かつ、車両の乗員に突然の筋力低下が発生した場合に、適切な異常情報を出力することができる。車両の乗員に突然の筋力低下が発生した場合には、車両の運転操作が適正に行われず、交通事故が発生する可能性がある。実施形態によれば、車両の乗員に突然の筋力低下が発生したとする異常情報を、例えば報知制御装置４０や車両走行制御装置に出力することで、車両の周囲を走行する他車両に危険性を報知したり、車両の走行制御を行って安全に車両を停止させたりすることができる。

【0036】

本発明において上述した実施形態に示す具体例等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。
なお本発明は、実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【0037】

＜変型例１＞
上述の実施形態では、画像認識部１２は、画像に基づいて車両の乗員の姿勢を認識するものとした。変形例１において、画像認識部１２は、車両の乗員の顔を認識する形態をさらに備えて、車両の乗員の姿勢の判定結果、及び、車両の乗員が車両の進行方向を注視している注視状態であるか否かを判定した結果に基づいて、車両の乗員の異常状態を判定し、異常情報を出力する。

【0038】

変形例１において画像認識部１２は、上述した実施形態に記載した形態に加えて、車両の乗員の注視状態を認識する画像認識用の学習済モデルを備える。画像認識部１２は、車両の乗員の顔が車両の進行方向を注視しているか、または、車両の乗員の視線が車両の進行方向に向いているか、の少なくともいずれかである場合、車両の乗員が注視状態にあると判定する。

【0039】

変形例１では、車両の乗員の注視状態を認識する画像認識用の学習済モデルは、車両の乗員の顔を撮影した画像と、教師データと、を一対のセットとした入力データをニューラルネットワークに入力して、機械学習させた学習済モデルである。変形例１における教師データとは、画像に写っている車両の乗員の顔が車両の進行方向を注視している注視状態である場合や、車両の乗員の視線が車両の進行方向に向いている場合に値を１とし、画像に写っている車両の乗員が俯いていたりよそ見をしていたりする場合や、車両の乗員の視線が車両の進行方向に向いていない場合に、値を０とするデータである。

【0040】

画像認識部１２は、車両の乗員の注視状態認識用の学習済モデルに画像を入力する。学習済モデルは、入力した画像に撮影されている車両の乗員が注視状態にある可能性を、１から０の間の値として出力する。出力値が１に近いほど、入力された画像に撮影されている車両の乗員が注視状態にある可能性が高く、出力値が０に近いほど、入力された画像に撮影されている車両の乗員が注視状態にある可能性が低くなる。
この出力値が予め定められた閾値である、例えば０．８以上である場合、画像認識部１３は、画像取得部１１が取得した画像に撮影されている車両の乗員が注視状態にあると判定する。
なお、車両の乗員がサイドミラーや歩行者が存在する方向などの、車両の進行方向とは異なる方向を向いている場合に、車両の乗員が注視状態にないと判定される可能性がある。このため、２秒などの予め定めた所定時間以上に、車両の乗員が車両の進行方向とは異なる方向を向いている場合に、車両の乗員が注視状態にないと判定することが好ましい。

【0041】

変形例１において異常情報出力部１４は、乗員の姿勢が正常状態であると判定されてから、乗員の姿勢が脱力状態であると判定されるまでの期間が第１の閾値以下であり、かつ、車両の乗員が注視状態にある場合に、ナルコレプシーの症状のひとつである、意識消失を伴わない筋力低下の発作が発生したとする、第２の異常情報を出力する。

【0042】

変形例１において異常情報出力装置１０は、車両の乗員に突然の筋力低下が発生した場合に、車両の乗員の注視状態に基づいて、意識消失を伴わない筋力低下の発作が発生したことをより適切に判定し、異常情報を出力することができる。より詳しくは、変形例１において異常情報出力装置１０は、車両の乗員に突然の筋力低下が発生した場合に、車両の乗員が注視状態にあったとしても、異常と判定して異常情報を出力する。変形例１によれば、車両の乗員の姿勢が脱力状態である場合に車両の乗員が正常状態であると誤判定する可能性を、抑制することができる。

【0043】

＜変型例２＞
変形例２において、上述した実施形態や変形例１に記載した形態に加えて、画像認識部１２は車両の乗員の感情の高ぶりを認識する形態をさらに備える。異常情報出力部１４は、車両の乗員に感情の高ぶりがあった後に、車両の乗員の突然の姿勢の変化が発生したこと、または、車両の乗員に感情の高ぶりがあった後に、車両の乗員の突然の姿勢の変化が発生し、さらに車両の乗員が注視状態にあることを判定して、その判定結果に基づいて車両の乗員の状態を判定し、異常情報を出力する。

【0044】

変形例２において画像認識部１２は、車両の乗員の感情、例えば怒り、恐怖、喜び、笑い、驚きなどの感情の高ぶりを認識する画像認識用の学習済モデルをさらに備える。画像認識部１２は、車両の乗員の感情が怒り、気恐怖、喜びなどの感情を示す場合、車両の乗員の感情が高ぶっていると判定する。

【0045】

変形例２において、車両の乗員の感情を認識する画像認識用の学習済モデルとは、車両の乗員を撮影した画像と、教師データと、を一対のセットとした入力データをニューラルネットワークに入力して、機械学習させた学習済モデルである。変形例２における教師データとは、画像に写っている車両の乗員が怒り、恐怖、喜び、笑い、驚きなどの感情を示す場合や、それらの感情が予め定めたレベル以上である場合に値を１とし、画像に写っている車両の乗員が怒り、恐怖、喜び、笑い、驚きなどの感情を示さない場合や、それらの感情が予め定めたレベル以下の感情である場合に、値を０とするデータである。
変形例２において、怒り、恐怖、喜び、笑い、驚きなどの感情を認識する学習済モデルは、それぞれの感情ごとに教師データを設定した入力データを用いて学習された、感情ごとの画像認識用学習済モデルを備えて、車両の乗員が怒りの感情を示したか否か、車両の乗員が恐怖の感情を示したか否か、などのそれぞれの感情を示したか否かを、個別に判定してもよい。

【0046】

画像認識部１２は、車両の乗員の感情の高ぶりを認識する学習済モデルに画像を入力し、入力した画像に撮影されている車両の乗員の感情が高ぶっている可能性を、１から０の間の値として出力する。出力値が１に近いほど、入力された画像に撮影されている車両の乗員の感情が高ぶっている可能性が高く、出力値が０に近いほど、入力された画像に撮影されている車両の乗員の感情が高ぶっている可能性が低くなる。
この出力値が予め定められた閾値である、例えば０．８以上である場合、画像認識部１３は、画像取得部１１が取得した画像に撮影されている車両の乗員の感情が高ぶっていると判定する。

【0047】

車両の乗員に感情の高ぶりが発生したと判定されてから、乗員の姿勢の変化が発生したと判定されるまでの期間が、例えば１０秒などの第２の閾値より短い期間である場合、車両の乗員の感情の高ぶりが引き金となった情動脱力発作が発生したとする、第３の異常情報を出力する。

【0048】

変形例２において異常情報出力装置１０は、車両の乗員が、怒り、恐怖、喜び、笑い、驚きなどの感情を示したことを判定し、そのような感情を示してから短時間で脱力状態となったことに基づいて、突発的な感情が引き金となった車両の乗員の脱力状態であると判定することにより、車両の乗員に情動脱力発作が発生したことを、より適切に判定することができる。

【0049】

上述の実施形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、上述した任意の処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。

【0050】

上述の例において、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含み、例えば、ハードディスクドライブ等の磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリを含む。半導体メモリは、書き換え可能な様々な種類のＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）とすることもでき、またＳＳＤ（Solid State Drive）として提供されるものも含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によって電線及び光ファイバ等の有線通信路、又は無線通信路を介してコンピュータに供給されてもよく、例えば電気信号、光信号、及び電磁波を含む。

【0051】

特許請求の範囲、明細書、および図面中において示した装置および方法における各処理の実行順序は、任意の順序で実現しうる。特許請求の範囲、明細書および図面中の動作フローに関して、便宜上「初めに」、「次に」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。

【符号の説明】

【0052】

１ 異常情報出力システム
１０ 異常情報出力装置
１１ 画像取得部
１２ 画像認識部
１３ 車両情報取得部
１４ 異常情報出力部
２０ 撮像部
３０ センサ
４０ 報知制御部

【図1】

【図2】