ホーム > 特許ランキング > Ａｒｉｔｈｍｅｒ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-18
(45)【発行日】2024-11-26
(54)【発明の名称】運転支援方法、運転支援プログラムおよび運転支援システム
(51)【国際特許分類】
G08G 1/16 20060101AFI20241119BHJP
G06T 7/00 20170101ALI20241119BHJP
【ＦＩ】
G08G1/16 F
G06T7/00 660A
【請求項の数】
7
(21)【出願番号】P 2020129328
(22)【出願日】2020-07-30
(65)【公開番号】P2022026050
(43)【公開日】2022-02-10
【審査請求日】2023-05-30
【前置審査】
(73)【特許権者】
【識別番号】517332845
【氏名又は名称】Ａｒｉｔｈｍｅｒ株式会社
(72)【発明者】
【氏名】上坂 正晃
【審査官】西畑 智道
(56)【参考文献】
【文献】特開２０１７－２００８２２（ＪＰ，Ａ）
【文献】特開２０１８－０９２５５４（ＪＰ，Ａ）
【文献】特開２０１６－０２４７７８（ＪＰ，Ａ）
【文献】特開２００３－３１７１９７（ＪＰ，Ａ）
【文献】国際公開第２０２０／０３１５８６（ＷＯ，Ａ１）
【文献】特開２０１８－１４７０２１（ＪＰ，Ａ）
【文献】特開２０１５－１４４４０７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００－９９／００
Ｇ０１Ｃ ２１／００－２１／３６
Ｇ０１Ｃ ２３／００－２５／００
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
車両運転者への運転支援方法であって、取得部が車両を運転する運転者の顔を撮像した顔画像データを取得する第１取得ステップと、
判定部が前記顔画像データから前記運転者の覚醒度を判定する判定ステップと、
前記取得部が前記車両の前方を撮像した前方画像データを取得する第２取得ステップと、
警告部が前記前方画像データの前方画像に対して、前記車両の進行方向に安全な走行を妨げ得る警告事象が生じているか否かを検知する検知範囲のうち前記車両の走行方向に沿う奥行きを前記覚醒度が小さいほど長くさせ、前記警告事象を検知した場合に、前記警告事象を撮像画像に強調表示して運転者へ警告する警告ステップと、
を備える運転支援方法。
【請求項2】
前記警告ステップは、前記前方画像データの前方画像に写る対象物に対して前記覚醒度に応じて検知された警告事象を警告する、請求項１に記載の運転支援方法。
【請求項3】
前記警告ステップは、前記覚醒度が基準状態を越えた場合には、前記検知範囲の検知結果に関わらず注意喚起の警告を発する請求項１又は２に記載の運転支援方法。
【請求項4】
前記判定ステップは、前記顔画像データの顔画像から検出される特徴点に基づいて、前記運転者の眼の開き具合、あくび、および頭部の揺動を観察することにより前記覚醒度を判定する請求項１から３のいずれか１項に記載の運転支援方法。
【請求項5】
請求項１から４のいずれか１項に記載の運転支援方法をコンピュータに実現させるための運転支援プログラム。
【請求項6】
第１カメラユニット及び第２カメラユニットを有するスマートフォンのコンピュータにインストールされる請求項５に記載の運転支援プログラムであって、前記第１カメラユニットから前記顔画像データを取得させ、
前記第２カメラユニットから前記前方画像データを取得させる、
運転支援プログラム。
【請求項7】
車両を運転する運転者の顔を撮像した顔画像データと、前記車両の前方を撮像した前方画像データとを取得する取得部と、前記顔画像データから前記運転者の覚醒度を判定する判定部と、
前記前方画像データの前方画像に対して、前記車両の進行方向に安全な走行を妨げ得る警告事象が生じているか否かを検知する検知範囲のうち前記車両の走行方向に沿う奥行きを前記覚醒度が小さいほど長くさせ、前記警告事象を検知した場合に、前記警告事象を撮像画像に強調表示して運転者へ警告する警告部と、
を備える運転支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転支援方法、運転支援プログラムおよび運転支援システムに関する。
【背景技術】
【0002】
車両運転中の居眠りが社会問題となっている。運転中に運転者の居眠りの予兆を検知して、運転者に注意を喚起する装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特表２０１６－５３９４４６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
居眠り検知に限らず、歩行者の飛び出しや交通標識を検知する運転支援装置も普及しつつある。交通状態においてさまざまな危険を報知する運転支援装置は、運転者にとってはありがたい一方で、頻度の高い報知は煩わしく、運転者によっては運転支援機能をオフにしてしまう場合もある。
【0005】
本発明は、このような問題を解決するためになされたものであり、運転者にとって煩わしくなく、かつ、適切に安全運転を支援する運転支援方法等を提供するものである。
【課題を解決するための手段】
【0006】
本発明の第１の態様における運転支援方法は、車両を運転する運転者の顔を撮像した顔画像データを取得する第１取得ステップと、顔画像データから運転者の覚醒状態を判定する判定ステップと、車両の前方を撮像した前方画像データを取得する第２取得ステップと、前方画像データの前方画像に対して車両の走行方向に沿う奥行きが覚醒状態に基づいて伸縮されて設定される検知範囲で検知された警告事象を警告する警告ステップと、を備える。
【0007】
本発明の第２の態様における運転支援方法は、車両を運転する運転者の顔を撮像した顔画像データを取得する第１取得ステップと、顔画像データから運転者の覚醒状態を判定する判定ステップと、車両の前方を撮像した前方画像データを取得する第２取得ステップと、前方画像データの前方画像に写る対象物に対して覚醒状態に基づいて設定される閾値に応じて検知された警告事象を警告する警告ステップと、を備える。
【0008】
本発明の第３の態様における運転支援プログラムは、上記の運転支援方法をコンピュータに実現させるプログラムである。
【0009】
本発明の第４の態様における運転支援システムは、車両を運転する運転者の顔を撮像した顔画像データと、車両の前方を撮像した前方画像データとを取得する取得部と、顔画像データから運転者の覚醒状態を判定する判定部と、前方画像データの前方画像に対して車両の走行方向に沿う奥行きが覚醒状態に基づいて伸縮されて設定される検知範囲で検知された警告事象を警告する警告部と、を備える。
【発明の効果】
【0010】
本発明により、運転者にとって煩わしくなく、かつ、適切に安全運転を支援する運転支援プログラム等を提供することができる。
【図面の簡単な説明】
【0011】
【図1】自車両車室内から進行方向を観察した様子を示す概略図である。
【図2】スマートフォンの構成を示すブロック図である。
【図3】顔画像から特徴点を検出する処理を説明する図である。
【図4】顔の特徴点から開眼率を計算する手順を説明する図である。
【図5】顔の特徴点から開口率を計算する手順を説明する図である。
【図6】顔の特徴点から頭部重心を計算する手順を説明する図である。
【図7】警告度１の場合に、前方画像から警告事象を検知する手順を示す図である。
【図8】警告度２の場合に、前方画像から警告事象を検知する手順を示す図である。
【図9】警告度３の場合に、前方画像から警告事象を検知する手順を示す図である。
【図10】運転支援の処理フローを示すフロー図である。
【発明を実施するための形態】
【0012】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
【0013】
図１は、自車両車室内から進行方向を観察した様子を示す概略図である。本図は、自車両が道路上を走行する様子を、運転者を省いて示している。スマートフォン１００は、例えば運転者が日常的に携帯するスマートフォンであり、車両の運転時においてダッシュボードに設置されたホルダ等に載置される。スマートフォン１００は、運転支援プログラムがインストールされており、運転者の指示により、あるいはスマートフォン１００が車両の走行を検知して、当該運転支援プログラムを実行する。スマートフォン１００は、運転支援プログラムが実行されることにより、運転支援システムとして機能する。
【0014】
スマートフォン１００は、ディスプレイ１４０が設けられた面側の空間を撮像するインカメラユニット１２０と、反対側の空間を撮像するアウトカメラユニット１３０を備える。運転者がスマートフォン１００をホルダ等に載置すると、インカメラユニット１２０は、運転席に着座する運転者の顔を撮像することができ、アウトカメラユニット１３０は、ウィンドシールド越しに自車両の進行方向である前方を撮像することができる。
【0015】
スマートフォン１００は、インカメラユニット１２０で撮像した運転者の顔画像から運転者の覚醒状態を判定する。そして、アウトカメラユニット１３０で撮像した前方画像に対して、判定した運転者の覚醒状態に基づいて検知範囲を設定し、当該検知範囲内に警告すべき警告事象があるか否かを検知し、あれば運転者へ警告する。具体的には後に詳述するが、ある覚醒状態において設定される検知範囲に、例えば図示するように歩行者９０１が検知されると、スマートフォン１００は、ディスプレイ１４０に表示される前方画像に映る歩行者を枠で囲って強調表示する。また、警告音や音声で歩行者の存在を運転者へ告知する。
【0016】
図２は、スマートフォン１００の構成を示すブロック図である。スマートフォン１００は、主に、処理部１１０、インカメラユニット１２０、アウトカメラユニット１３０、ディスプレイ１４０、スピーカー１５０、入力デバイス１６０、メモリ１７０、通信ユニット１８ーによって構成される。処理部１１０は、スマートフォン１００の制御とプログラムの実行処理を行うプロセッサ（ＣＰＵ：Central Processing Unit）である。プロセッサは、ＡＳＩＣ（Application Specific Integrated Circuit）やＧＰＵ（Graphics Processing Unit）等の演算処理チップと連携する構成であってもよい。処理部１１０は、メモリ１７０に記憶された運転支援プログラムを読み出して、運転支援に関する様々な処理を実行する。
【0017】
インカメラユニット１２０は、スマートフォン１００が運転支援システムとして機能する場合には、上述のように運転者の顔を撮像するためのカメラユニットとして利用される。インカメラユニット１２０は、処理部１１０から撮像指示を受けると、撮像センサに画像信号を出力させ、当該画像信号から顔画像データを生成して処理部１１０へ引き渡す。アウトカメラユニット１３０は、スマートフォン１００が運転支援システムとして機能する場合には、上述のように車両の前方を撮像するためのカメラユニットとして利用される。アウトカメラユニット１３０は、処理部１１０から撮像指示を受けると、撮像センサに画像信号を出力させ、当該画像信号から前方画像データを生成して処理部１１０へ引き渡す。
【0018】
ディスプレイ１４０は、例えば液晶パネルを備えるディスプレイであり、車両の走行時においては、アウトカメラユニット１３０が捉える前方画像を表示し、警告事象が検知された場合には警告表示を行う。スピーカー１５０は、警告事象が検知された場合には、警告音や音声を発する。入力デバイス１６０は、ユーザの入力を受け付けるデバイスであり、例えば表示パネルに重畳されたタッチパネルである。ユーザの音声により指示を受け付ける音声認識ユニットを含んでも良い。
【0019】
メモリ１７０は、不揮発性の記憶媒体であり、例えばフラッシュメモリによって構成されている。メモリ１７０は、スマートフォン１００の制御や処理を実行するプログラムを記憶するほか、警告事象を検知するための学習済みモデルや、各種演算に用いるパラメータを記憶している。通信ユニット１８０は、通信基地局やインターネット網との間でデータの授受を行う。通信ユニット１８０は、例えば、通信モデムや無線ＬＡＮユニットによって構成される。
【0020】
処理部１１０は、運転支援プログラムが支持する処理に応じて様々な演算を実行する機能演算部としての役割も担う。処理部１１０は、取得部１１１、判定部１１２、検知部１１３、警告部１１４として機能し得る。取得部１１１は、インカメラユニット１２０が生成した顔画像データと、アウトカメラユニット１３０が生成した前方画像データを取得する。判定部１１２は、顔画像データの顔画像から運転者の顔の特徴点を検出し、当該特徴点に基づいて運転者の眼の開き具合、あくび、および頭部の揺動を観察することにより運転者の覚醒状態を判定する。判定部１１２は、運転者の眼の開き具合を観察するための演算を行う開眼演算部１１２ａ、あくびを観察するための演算を行うあくび演算部１１２ｂ、頭部の揺動を観察するための演算を行う揺動演算部１１２ｃを含む。具体的な演算処理については後述する。
【0021】
検知部１１３は、前方画像データの前方画像から運転者が車両を安全に運転する上で認識すべき警告事象を検知する。検知部１１３は、警告事象を検知する検知範囲を設定する範囲設定部１１３ａを含む。具体的な演算処理については後述する。警告部１１４は、検知部１１３が警告事象を検知した場合に、当該警告事象を運転者へ警告する。例えば、ディスプレイ１４０に警告表示を行ったり、スピーカー１５０を介して警告音を発したりする。
【0022】
図３は、顔画像から特徴点を検出する処理を説明する図である。取得部１１１がインカメラユニット１２０から顔画像データを取得すると、判定部１１２は、展開された顔画像から運転者の顔領域を識別し、当該顔領域を含む矩形領域をトリミングする。そして、画像処理によって眉の境界線、上下瞼の境界線、鼻の輪郭線、唇の境界線、顎の輪郭線を抽出し、設定された間隔で特徴点を定め、これら特徴点の座標を取得する。
【0023】
図４は、顔の特徴点から開眼率を計算する手順を説明する図である。開眼演算部１１２ａは、顔の特徴点のうち上下瞼の境界線に沿った特徴点を眼の特徴点として選択する。そして、右眼と左眼のそれぞれに対して、開眼率＝（ａ＋ｂ）／ｃを計算する。ここで、ａおよびｂは、眼の横幅を３等分するそれぞれの位置における縦幅に相当し、選択された特徴点間の距離として算出される。また、ｃは、眼の横幅に相当し、互いに最も離れた特徴点間の距離として算出される。なお、開眼率の計算は、まばたきの影響を回避するために、直近に取得された数画像のそれぞれにおいて算出された値を平均化したり、前後の開眼率に比較して閾値以上の割合で変化している値を排除したりするとよい。
【0024】
このように算出された右眼および左眼の開眼率が共に小さい値を示すほど、運転者は、瞼を閉じがちであって居眠りに近い状態と考えられる。そこで、開眼演算部１１２ａは、算出された開眼率を、このような基準に沿って予め定められた変換式に代入することによって開眼率評価値Ｅαを算出する。ここで採用する変換式は、小さい開眼率を入力するほど、大きな値の開眼率評価値Ｅαを出力する。
【0025】
図５は、顔の特徴点から開口率を計算する手順を説明する図である。あくび演算部１１２ｂは、顔の特徴点のうち唇の境界線に沿った特徴点を口の特徴点として選択する。そして、開口率＝＝（ａ＋ｂ）／ｃを計算する。ここで、ａおよびｂは、口の横幅を３等分するそれぞれの位置における縦幅に相当し、選択された特徴点間の距離として算出される。また、ｃは、口の横幅に相当し、互いに最も離れた特徴点間の距離として算出される。なお、開口率の計算は、例えば標準的なあくびの継続時間内に取得された数画像のそれぞれにおいて算出された値を平均化してもよい。
【0026】
このように算出される開口率が短時間に大きく変化した場合には、運転者はあくびをしたものと推定され、居眠りに近い状態と考えられる。そこで、あくび演算部１１２ｂは、算出された開口率を、このような基準に沿って予め定められた変換式に代入することによって開口率評価値Ｅβを算出する。ここで採用する変換式は、開口率が単位時間以内に大きく変化した場合や、更には、そのような変化が繰り返される場合に大きな値の開口率評価値Ｅβを出力する。
【0027】
図６は、顔の特徴点から頭部重心を計算する手順を説明する図である。揺動演算部１１２ｃは、顔の特徴点のうち上下瞼の境界線に沿った特徴点と、鼻の輪郭線のうち下部の特徴点とを頭部揺動の特徴点として選択する。そして、これらの特徴点の重心を計算して頭部重心とする。
【0028】
このように算出される頭部重心において縦方向の座標であるｙ座標の値が短時間に大きく変化した場合には、運転者は頭を前後に繰り返し傾けてうつらうつらしていると推定され、居眠りに近い状態と考えられる。そこで、揺動演算部１１２ｃは、算出された頭部重心を、このような基準に沿って予め定められた変換式に代入することによって揺動評価値Ｅγを算出する。ここで採用する変換式は、頭部重心のｙ座標の値が単位時間以内に大きく変化した場合や、更には、そのような変化が繰り返される場合に大きな値の揺動評価値Ｅγを出力する。
【0029】
判定部１１２は、運転者の覚醒状態を表す数値として覚醒度Ｅを計算する。具体的には、覚醒度Ｅ＝開眼率評価値Ｅα＋開口率評価値Ｅβ＋揺動評価値Ｅγとして計算する。このように計算される覚醒度Ｅは、大きな値であるほど運転者が居眠りしている可能性が高いと評価し得る。なお、図４から図６を用いて説明した、それぞれの評価値を算出するために利用した特徴点の選定は、上述の場合に限らず、例えば、眉の境界線に沿った特徴点や顎の輪郭に沿った特徴点を選択して利用しても構わない。また、本実施形態においては３つの評価値を利用して覚醒度Ｅを算出するが、居眠りを推定し得る他の身体的変化を捉えて評価値を計算し、覚醒度Ｅの算出に利用してもよい。また、上述の３つの評価値をすべて利用するのではなく、そのうちの一部を用いてもよい。また、開眼率など居眠りを強く推定し得る変化については、他の評価値よりも覚醒度算出へ大きく寄与するように重み付けを調整してもよい。
【0030】
さて、運転者の居眠りが推定される状態であれば、スマートフォン１００は、例えば警告音を発して、直ちに運転者の注意を喚起すべきである。一方で、人間が居眠りに至るまでの状態は段階的であり、居眠りと推定される前の状態であっても、居眠りに近い状態であれば運転者の注意力が既に低下している場合もある。すなわち、運転中において車両の進行方向に歩行者の飛び出しなど安全に関する事象が生じた場合に、覚醒した状態であれば直ちに対処できるような事象であっても、注意力が低下した状態では運転者の反応に遅延が生じて、事故につながることもあり得る。
【0031】
他方で、車両の進行方向に安全に関する事象が生じた場合に、それらを検知して運転者に警告する運転支援装置が普及しつつある。しかしながら、運転者が覚醒した状態にある場合には、警告されるまでもなくそのような事象をいち早く察知している場合も多く、運転者は頻度の高い警告を煩わしく感じることもある。運転者によっては、そのような運転支援機能をオフにしてしまう場合もある。
【0032】
そこで、本実施形態においては、車両の進行方向に安全な走行を妨げ得る警告事象が生じているか否かを検知する検知範囲を、運転者の覚醒状態に基づいて変更する。より具体的には、検知範囲のうち車両の走行方向に沿う奥行きを、運転者の覚醒状態に応じて伸縮させる。図を用いて以下に説明する。
【0033】
図７は、覚醒度が警告度１の場合に、前方画像から警告事象を検知する手順を示す図である。ここでは、自車両が市街地を走行しており、アウトカメラユニット１３０が上図のような前方画像を撮像した場合を想定する。
【0034】
判定部１１２が覚醒度Ｅを上述のように算出すると、検知部１１３は、その値に応じて運転者の覚醒状態を例えば４つの警告度に分類する。覚醒度ＥがＥ1未満の場合は、運転者は覚醒した状態であるとして、警告度１に分類する。覚醒度ＥがＥ1以上Ｅ2未満の場合は、運転者は居眠りの初期兆候が見られる状態であるとして、警告度２に分類する。覚醒度ＥがＥ2以上Ｅ3未満の場合は、運転者は居眠りへの移行状態であるとして、警告度３に分類する。覚醒度ＥがＥ3以上の場合は、運転者は居眠り状態であるとして、警告度４に分類する。
【0035】
範囲設定部１１３ａは、警告度１の場合に、自車両の進行方向に対して奥行きが比較的短い検知範囲２０１を設定する。図７下図においては走行路面に対して網線で示しているが、検知部１１３は、網線の領域を検知範囲２０１として、警告事象を検知する。例えば図示するように、歩行者９０２が歩道側から車道側へ移動すると、当該事象を警告事象として検知する。
【0036】
検知部１１３が警告事象を検知すると、その事象領域の情報と共に警告部１１４へ引き渡す。警告部１１４は、事象領域の情報に応じて警告枠２１１を生成し、ディスプレイ１４０に表示された前方画像に警告枠２１１を重畳して表示する。警告枠２１１は、ディスプレイ１４０上で強調表示される。例えば、点滅表示されたり、枠色が変化されたり、「注意！」の文字情報と共に表示されたりする。また、警告部１１４は、スピーカー１５０を介して、警告音や「注意してください」などの音声を発する。
【0037】
図８は、警告度２の場合に、前方画像から警告事象を検知する手順を示す図である。図７と同様に、自車両が市街地を走行しており、アウトカメラユニット１３０が上図のような前方画像を撮像した場合を想定する。ここでは、信号機付近の場所で、歩行者９０３が車道に進入している。
【0038】
範囲設定部１１３ａは、警告度２の場合には、警告度１の場合よりも奥行きが長い検知範囲２０１を設定する。図８下図においては走行路面に対して網線で示しているが、検知部１１３は、網線の領域を検知範囲２０１として、警告事象を検知する。例えば図示するように、歩行者９０３が歩道側から車道側へ移動すると、当該事象を警告事象として検知する。検知部１１３が警告事象を検知すると、上述のようにその事象領域の情報と共に警告部１１４へ引き渡す。警告部１１４は、ディスプレイ１４０やスピーカー１５０を介して当該警告事象を警告する。
【0039】
図９は、警告度３の場合に、前方画像から警告事象を検知する手順を示す図である。図８と同様に、自車両が市街地を走行しており、アウトカメラユニット１３０が上図のような前方画像を撮像した場合を想定する。ここでは、信号機より先の場所で、歩行者９０４が車道を歩いている。
【0040】
範囲設定部１１３ａは、警告度３の場合には、警告度２の場合よりも奥行きが長い検知範囲２０１を設定する。図９下図においては走行路面に対して網線で示しているが、検知部１１３は、網線の領域を検知範囲２０１として、警告事象を検知する。例えば歩行者９０４が車道を歩いていると、当該事象を警告事象として検知する。検知部１１３が警告事象を検知すると、上述のようにその事象領域の情報と共に警告部１１４へ引き渡す。警告部１１４は、ディスプレイ１４０やスピーカー１５０を介して当該警告事象を警告する。なお、このとき自車両が走行中であって前方の信号機が赤であれば、当該事象も歩行者の警告事象とは別の警告事象として検知され、警告部１１４は、信号機に対しても警告を実行する。このように警告度に応じて検知範囲２０１を設定することにより、居眠りに近い状態ではより早い段階で警告事象の警告を実行し、覚醒した状態では近傍で生じた警告事象に限定して警告を実行することができる。したがって、このように調整された警告は、運転者にとって煩わしくなく、かつ、適切に安全運転を支援することができる。
【0041】
検知部１１３が運転者の覚醒状態を警告度４に分類した場合には、その結果を警告部１１４へ引き渡し、警告部１１４は、警告事象の検知結果に関係なく、直ちに注意喚起の警告を発する。警告部１１４は、例えば「居眠り注意！」とディスプレイ１４０に高輝度で点滅表示したり、スピーカー１５０から通常よりも大音量で発声させたりする。
【0042】
なお、範囲設定部１１３ａは、自車両の速度に応じて検知範囲２０１の奥行きを伸縮させてもよい。具体的には、同じ警告度であれば、速度が大きいほど奥行きを長く設定する。自車両の速度は、スマートフォン１００が受信するＧＰＳ情報を利用して算出してもよいし、フレーム画像間の移動ベクトルから推測してもよい。また、路面の白線等により進行方向にカーブを検出した場合には、当該カーブに合わせて検知範囲２０１を設定するとよい。
【0043】
検知部１１３は、上述のような歩行者の飛び出しを検知する場合に限らず、赤信号や一時停止標識を検知したり、対向車両や先行車両との接近を検知したり、路面上の落下物を検知したり、その他の交通標識を検知したりしてもよい。車両走行に対して安全に関する事象を検知するものであれば、検知対象となり得る。検知部１１３は、このような警告事象を検知する場合に、様々な手法を採用し得る。例えば上述のように、前方画像を学習済みモデルへ入力して警告事象が生じている領域を出力させてもよいし、前方画像と予め用意されたパターン画像とをマッチングすることにより特定事象の有無を認識してもよい。
【0044】
図１０は、スマートフォン１００で実行する運転支援の処理フローを示すフロー図である。フローは、例えば運転者が入力デバイス１６０で開始を指示した時点から開始される。あるいは、スマートフォン１００が自車両の走行開始を検知した時点から開始されてもよい。
【0045】
取得部１１１は、ステップＳ１０１で、インカメラユニット１２０から顔画像データを取得し、判定部１１２へ引き渡す。判定部１１２は、ステップＳ１１２で、図３を用いて説明したように、顔画像データの顔画像から運転者の顔の特徴点を検出する。開眼演算部１１２ａは、ステップＳ１０３で、図４を用いて説明したように、運転者の顔の特徴点から開眼率を計算して、開眼率評価値Ｅαを算出する。あくび演算部１１２ｂは、ステップＳ１０４で、図５を用いて説明したように、運転者の顔の特徴点から開口率を計算して、開口率評価値Ｅβを算出する。揺動演算部１１２ｃは、ステップＳ１０５で、図６を用いて説明したように、運転者の顔の特徴点から頭部重心を計算して、揺動評価値Ｅγを算出する。なお、ステップＳ１０３からステップＳ１０５の順番は、入れ替えられてもよく、並列して処理されてもよい。
【0046】
判定部１１２は、ステップＳ１０６で、開眼率評価値Ｅα、開口率評価値Ｅβ、揺動評価値Ｅγから覚醒度Ｅを計算し、検知部１１３へ引き渡す。検知部１１３は、ステップＳ１０７で、覚醒度Ｅが閾値Ｅ3以上であるか否かを確認する。閾値Ｅ3は、これ以上は居眠り状態であると判断し得る基準状態に対応する覚醒度として予め設定される。覚醒度Ｅが閾値Ｅ3以上であると確認されれば、ステップＳ１０８へ進み、警告部１１４は、上述の警告度４に対応する緊急警告を実行する。その後ステップＳ１０９へ進む。覚醒度Ｅが閾値Ｅ3以上でないと確認されれば、ステップＳ１０８を経由せずにステップＳ１０９へ進む。
【0047】
取得部１１１は、ステップＳ１０９で、アウトカメラユニット１３０から前方画像データを取得し、検知部１１３へ引き渡す。範囲設定部１１３ａは、ステップＳ１１０で、覚醒度Ｅにより分類された警告度に従って、前方画像に警告事象を検知する検知範囲を設定する。検知部１１３は、ステップＳ１１１で、設定された検知範囲に警告事象が存在するかを検知する。そして、検知部１１３は、ステップＳ１１２で、一つでも警告事象が検知されたか否かを確認し、検知されたと確認した場合には、ステップＳ１１３へ進み、一つも検知されなかった場合にはステップＳ１１４へ進む。
【0048】
ステップＳ１１３へ進むと、警告部１１４は、検知部１１３から受け取った警告事象とその事象領域の情報を参照して、上述のような警告処理を実行する。その後ステップＳ１１４へ進む。
【0049】
処理部１１０は、ステップＳ１１４で、終了指示があったか否かを確認する。終了指示は、例えば運転者が入力デバイス１６０で終了を指示した場合であり、あるいは、スマートフォン１００が自車両の停止を検知した場合である。終了指示があったと確認されれば一連の処理を終了する。終了指示がなかったと確認されればステップＳ１０１へ戻り、一連の処理を継続して繰り返す。
【0050】
以上、本実施形態を説明したが、運転支援プログラムを実行させて運転支援システムとして機能させる装置は、スマートフォン１００に限らず、例えばタブレット端末、カーナビ、ドライブレコーダー等であってもよい。カーナビやドライブレコーダーを利用する場合は、自車両に設置され運転者の顔を撮像することが可能なカメラユニットから顔画像データを取得し、同じく自車両に設置され前方を撮像することが可能なカメラユニットから前方画像データを取得すればよい。
【0051】
また、本実施形態においては、スマートフォン１００が検知部１１３を含む構成を説明したが、検知部１１３の処理をネットワークに接続されたサーバが実行してもよい。この場合、処理部１１０は、取得した前方画像データと判定部１１２が処理した結果を、通信ユニット１８０を介してサーバへ送信する。そして、サーバによって検知された警告事象とその事象領域の情報を、通信ユニット１８０を介して受け取り、警告部１１４がそれらに応じて警告を行う。
【0052】
また、本実施形態に係る運転支援システムは、前方画像データの前方画像に写る対象物に対して覚醒状態に基づいて設定される閾値に応じて検知された警告事象を警告するようにしてもよい。具体的には、赤信号や一時停止標識を検知した場合、警告度１～３に応じた閾値（覚醒状態に基づいて設定される閾値）に基づいて、警告事象として警告するか否かを判定する。例えば、警告度２のときは警告度１のときよりも覚醒度が低いため、警告度１よりも閾値が低くなる。そのため、警告度２のときは警告度１のときより小さな面積の赤信号等が警告事象として取り扱われる。結果として、警告度２では、警告度１のときには警告事象として取り扱われなかった画面の奥の赤信号等も警告事象として警告されることになる。
【符号の説明】
【0053】
１００…スマートフォン、１１０…処理部、１１１…取得部、１１２…判定部、１１２ａ…開眼演算部、１１２ｂ…あくび演算部、１１２ｃ…揺動演算部、１１３…検知部、１１３ａ…範囲設定部、１１４…警告部、１２０…インカメラユニット、１３０…アウトカメラユニット、１４０…ディスプレイ、１５０…スピーカー、１６０…入力デバイス、１７０…メモリ、１８０…通信ユニット、２０１…検知範囲、２１１…警告枠、９０１、９０２、９０４…歩行者、９０３…信号機
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】