特許 7528776 脇見判定装置および脇見判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】脇見判定装置および脇見判定方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240730BHJP

   B60W 40/08 20120101ALI20240730BHJP

【ＦＩ】

G08G1/16 F

B60W40/08

【請求項の数】 5

(21)【出願番号】P 2020212966

(22)【出願日】2020-12-22

(65)【公開番号】P2022099160

(43)【公開日】2022-07-04

【審査請求日】2023-09-29

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】酒井 康利

(72)【発明者】

【氏名】林 啓太

(72)【発明者】

【氏名】谷山 紘史

【審査官】佐藤 吉信

(56)【参考文献】

【文献】特開２０１８－１５６１７３（ＪＰ，Ａ）

【文献】国際公開第２０１６／０５９７２４（ＷＯ，Ａ１）

【文献】国際公開第２０２０／１４９２２０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｂ６０Ｗ １０／００ － １０／３０

Ｂ６０Ｗ ３０／００ － ６０／００

Ｂ６０Ｒ ２１／００ － ２１／１３

Ｂ６０Ｒ ２１／３４ － ２１／３８

Ｂ６０Ｋ ２８／００ － ２８／１６

Ｇ０８Ｂ １９／００ － ２１／２４

(57)【特許請求の範囲】

【請求項1】

車両の運転者および前記運転者以外の搭乗者の顔または視線の向きを検出する検出部と、
前記検出部の検出結果に基づいて、前記運転者が前記車両の進行方向以外を第１期間以上向いているときに脇見を行っていると判定し、前記運転者以外の搭乗者が前記運転者と同一方向を向いている場合は、前記運転者が前記車両の進行方向以外を前記第１期間より短い第２期間以上向いているときに脇見を行っていると判定する判定部と、
前記判定部が脇見を行っていると判定した場合、前記運転者に警告を行う警告制御部と、
を備える、脇見判定装置。

【請求項2】

前記検出部は、前記運転者以外の搭乗者の着座位置をさらに検出し、
前記判定部は、前記車両の前部座席の搭乗者が前記運転者と同一方向を向いている場合は、前記運転者が前記車両の進行方向以外を前記第１期間より短い第２期間以上向いているときに脇見を行っていると判定する、
請求項１に記載の脇見判定装置。

【請求項3】

前記判定部は、前記運転者と同一方向を向いている搭乗者の人数が多いほど、前記第２期間を短く設定する、
請求項１または２に記載の脇見判定装置。

【請求項4】

前記検出部は、車両の運転者および前記運転者以外の搭乗者が発した声をさらに検出し、
前記判定部は、前記運転者以外の搭乗者が前記運転者と同一方向を向いているときに、声が発せられている場合は、前記第２期間を短く設定する、
請求項１から３のいずれか１項に記載の脇見判定装置。

【請求項5】

車両の運転者および前記運転者以外の搭乗者の顔または視線の向きを検出するステップと、
前記運転者が前記車両の進行方向以外を第１期間以上向いているときに脇見を行っていると判定し、前記運転者以外の搭乗者が前記運転者と同一方向を向いている場合は、前記運転者が前記車両の進行方向以外を前記第１期間より短い第２期間以上向いているときに脇見を行っていると判定するステップと、
脇見を行っていると判定された場合、前記運転者に警告を行うステップとを、
脇見判定装置が実行する、脇見判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、脇見判定装置および脇見判定方法に関する。

【背景技術】

【0002】

車両の運転者を撮影し、顔や視線の向きから脇見を判定する装置が知られている（例えば、特許文献１参照）。特許文献１に記載の技術は、車両の運転者が特定の車載部品の方向を基準時間以上向いている場合に脇見運転と判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－２４５３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両の運転者による脇見は、進行方向以外の方向に、特に目を引く対象物などが存在する場合、進行方向の確認が疎かになりやすい。一般的に、特許文献１に記載の装置などは、運転者が脇見を行っている場合、危険な状態が発生しない程度の時間で運転者に警告を行う。

【0005】

しかし、特に目を引く対象物に対しては、車両の運転者に加えて他の搭乗者も同様に、対象物を注視する傾向がある。車両の運転者に加えて他の搭乗者も対象物を注視することにより、運転者による車両の進行方向に対する確認がさらに疎かになる可能性が高くなる。

【0006】

本発明は、上記に鑑みてなされたものであって、車両の運転者の脇見に対して適切に警告を行うことを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本発明に係る脇見判定装置は、車両の運転者および前記運転者以外の搭乗者の顔または視線の向きを検出する検出部と、前記検出部の検出結果に基づいて、前記運転者が前記車両の進行方向以外を第１期間以上向いているときに脇見を行っていると判定し、前記運転者以外の搭乗者が前記運転者と同一方向を向いている場合は、前記運転者が前記車両の進行方向以外を前記第１期間より短い第２期間以上向いているときに脇見を行っていると判定する判定部と、を備える。

【0008】

本発明に係る脇見判定装置が実行する脇見判定方法は、車両の運転者および前記運転者以外の搭乗者の顔または視線の向きを検出するステップと、前記運転者が前記車両の進行方向以外を第１期間以上向いているときに脇見を行っていると判定し、前記運転者以外の搭乗者が前記運転者と同一方向を向いている場合は、前記運転者が前記車両の進行方向以外を前記第１期間より短い第２期間以上向いているときに脇見を行っていると判定するステップとを含む。

【発明の効果】

【0009】

本発明によれば、車両の運転者の脇見に対して適切に警告を行うことができるという効果を奏する。

【図面の簡単な説明】

【0010】

【図1】図１は、第一実施形態に係る脇見判定装置の構成例を示すブロック図である。

【図2】図２は、検出範囲の一例を説明する概略図である。

【図3】図３は、搭乗者の顔または視線の向きを説明する概略図である。

【図4】図４は、第一実施形態に係る脇見判定装置における処理の流れを示すフローチャートである。

【図5】図５は、第二実施形態に係る脇見判定装置における処理の流れを示すフローチャートである。

【図6】図６は、第三実施形態に係る脇見判定装置における処理の流れを示すフローチャートである。

【図7】図７は、第四実施形態に係る脇見判定装置における処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0011】

以下に添付図面を参照して、本発明に係る脇見判定装置および脇見判定方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

【0012】

［第一実施形態］
＜警告装置＞
図１は、第一実施形態に係る脇見判定装置２０の構成例を示すブロック図である。警告装置１０は、車両の運転者および運転者以外の搭乗者の顔または視線の向きに基づいて、脇見を判定して警告する。

【0013】

警告装置１０は、撮像部１１と、通知部１２と、脇見判定装置２０とを有する。警告装置１０は、例えば、車両にあらかじめ設置されている安全運転支援機能を有する装置やナビゲーション装置、ドライブレコーダー等、または、インフォテインメントシステムの機能として実装されていてもよい。警告装置１０は、可搬型で車両に持ち込まれた装置の機能として実装されていてもよい。

【0014】

撮像部１１は、車両の車室内の音声を含む映像を撮影する。撮像部１１は、例えば車内カメラである。撮像部１１は、撮影した車室内の車内映像データである撮像データを脇見判定装置２０の撮像データ取得部２１へ出力する。

【0015】

撮像部１１の車内カメラとしての機能について説明する。撮像部１１は、車両の車室内を撮影するカメラである。撮像部１１は、車両のすべての座席に着座している運転者を含む搭乗者の少なくとも顔部を撮影可能な位置に配置されている。撮像部１１は、例えば、車両のルームミラー内部またはルームミラーの周辺に配置されている。撮像部１１は、撮影範囲と撮影向きが固定またはほぼ固定である。撮像部１１は、例えば、可視光カメラまたは近赤外線カメラで構成される。撮像部１１は、例えば、可視光カメラと近赤外線カメラとの組み合わせで構成されてもよい。撮像部１１は、エンジンが始動してから停止するまでの間、つまり車両が動作している間は、映像を常時撮影する。撮像データは、例えば毎秒３０フレームの画像から構成される動画像である。

【0016】

通知部１２は、車両の運転者に対して警告を通知する。通知部１２は、スピーカおよび表示部の少なくともどちらかを含む。通知部１２は、脇見判定装置２０の警告制御部２４からの制御信号に基づいて通知を出力するよう制御する。本実施形態では、通知部１２は、脇見判定装置２０の警告制御部２４からの制御信号に基づいて、脇見運転を警告する通知を出力するよう制御する。

【0017】

通知部１２のスピーカとしての機能について説明する。通知部１２は、一例としては、警告装置１０に固有の音声出力装置、又は、ナビゲーションシステムを含む他のシステムと共用した音声出力装置などである。通知部１２は、脇見判定装置２０の警告制御部２４から出力された音声信号に基づいて、音声を出力する。本実施形態では、通知部１２は、脇見判定装置２０の警告制御部２４からの音声信号に基づいて、脇見運転を警告する音声をスピーカから出力するよう制御する。

【0018】

通知部１２の表示部としての機能について説明する。通知部１２は、一例としては、警告装置１０に固有の表示装置、または、ナビゲーションシステムを含む他のシステムと共用した表示装置などである。通知部１２は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。本実施形態では、通知部１２は、車両の運転者前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。通知部１２が表示部である場合、脇見判定装置２０の警告制御部２４から出力された映像信号に基づいて、映像を表示する。本実施形態では、通知部１２は、脇見判定装置２０の警告制御部２４からの映像信号に基づいて、脇見運転を警告する映像を表示部に表示させるよう制御する。

【0019】

＜脇見判定装置＞
脇見判定装置２０は、車両の運転者の脇見を判定する。脇見判定装置２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。脇見判定装置２０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。脇見判定装置２０には図示しない内部メモリが含まれ、内部メモリは脇見判定装置２０におけるデータの一時記憶などに用いられる。脇見判定装置２０は、本発明にかかるプログラムを動作させるコンピュータである。脇見判定装置２０は、バス２０Ｘに接続された、撮像データ取得部２１と、検出部２２と、判定部２３と、警告制御部２４とを有する。

【0020】

撮像データ取得部２１は、撮像部１１が撮影した撮像データを取得する。より詳しくは、撮像データ取得部２１は、撮像部１１が出力した車内映像データであり、車両の運転者および運転者以外の搭乗者の顔が撮影された撮像データを取得する。

【0021】

検出部２２は、車両の運転者および運転者以外の搭乗者の顔または視線の向きを検出する。より詳しくは、検出部２２は、撮像データ取得部２１が取得した撮像データから人物を認識する。撮像データから人物を認識する方法は、公知の方法を使用可能であり、限定されない。検出される人物は、車両の運転者および運転者以外の搭乗者である。

【0022】

検出部２２は、車両の運転者および運転者以外の搭乗者の顔または視線の向きを検出する。本実施形態では、検出部２２は、車内映像データに画像処理を行って、運転者および運転者以外の搭乗者の顔部を認識して、顔または視線の向きを検出する。より詳しくは、検出部２２は、例えば、車内映像データから運転者および運転者以外の搭乗者の眼を認識して、顔または視線の向きを示す情報を取得する。運転者および運転者以外の搭乗者の目の映像に基づく視線検出は、目の映像から検出した目頭と光彩の位置関係に基づく視線検出や、角膜反射と瞳孔の位置関係に基づく視線検出など任意の手法が適用可能である。

【0023】

図２を用いて、車内映像データ１００から運転者および運転者以外の搭乗者を検出する方法について説明する。図２は、検出範囲の一例を説明する概略図であり、乗車定員５名の車両の車内映像データ１００を一例として説明する。各座席に着座した人物の顔は、車内映像データ１００の座標で定義される範囲内にそれぞれ撮影される。これにより、各座席に対応した、車内映像データ１００の座標で定義される範囲から認識された人または顔が、当該座席の搭乗者である。本実施形態では、例えば、ステアリング位置が右側の車両の場合を示し車内映像データ１００の範囲１０２から人または顔が認識された場合、右前部座席に着座した運転者である。例えば、車内映像データ１００の範囲１０１、範囲１０３、範囲１０４、または、範囲１０５から人または顔が認識された場合、運転者以外の搭乗者である。このようにして、各座席においての搭乗者有無、搭乗者の顔や目の向きを検出可能である。

【0024】

図３は、搭乗者の顔または視線の向きを説明する概略図である。図３を用いて、各搭乗者の顔または目の向きを検出する方法について説明する。検出部２２は、撮像部１１の位置と各座席の位置とに基づいて、顔または目の向きを正面とするオフセット角が設定されている。図３は、撮像部１１が車両のインナーミラー内部やインナーミラー付近に備えられている場合の、右前部座席（例えば運転席）に着座している搭乗者Ｍ（例えば運転者）の検出を示している。図３は、搭乗者Ｍの頭部を示している。搭乗者Ｍの正面方向は車両の前方であり、ｆで示す。搭乗者Ｍの頭部中心部となることが仮定された位置を中心に、オフセット角ｂが設定されている。検出部２２が検出する搭乗者Ｍの顔または視線の向きは、実際に検出された方向からオフセット角ｂの補正が行われる。角度ａは、搭乗者Ｍの顔または視線の向きが、車両の前方を向いている、言い換えると、脇見ではないと判定される範囲の例を示す。つまり、搭乗者Ｍの顔または視線の向きが、車両の直進時に角度ａ以外の向きである場合は、車両の前方以外を向いている、言い換えると、脇見をしていると判定する。角度ａは、通常の運転者が、車両の直進時、つまり車両の走行時における右左折や後退以外のときに顔または視線を向ける範囲である。

【0025】

判定部２３は、検出部２２の検出結果に基づいて、運転者が車両の進行方向以外を第１期間ｔ１以上向いているときに脇見を行っていると判定し、運転者に加えて運転者以外の搭乗者が運転者と同一方向を向いている場合は、運転者が車両の進行方向以外を第１期間ｔ１より短い第２期間ｔ２（ｔ２＜ｔ１）以上向いているときに脇見を行っていると判定する。言い換えると、判定部２３は、検出部２２の検出結果に基づいて、運転者が車両の進行方向以外を向いているときは、運転者が脇見を行っていると判定するまでの期間を第１期間ｔ１に設定する。また、運転者に加えて運転者以外の搭乗者が運転者と同一方向を向いているときは、運転者が脇見を行っていると判定するまでの期間を第１期間ｔ１より短い第２期間ｔ２（ｔ２＜ｔ１）に設定する。例えば、第１期間ｔ１は、３秒、第２期間ｔ２は、２秒が設定される。

【0026】

運転者以外の搭乗者が運転者と同一方向を向いているとは、完全に角度が一致する場合に限らず、同一方向を含み所定角度の範囲内を同一方向として判定してもよい。例えば、運転者が角度ａの方向を向いている場合、角度ａを含む所定角度の範囲内を同一方向として判定する。

【0027】

運転者以外の搭乗者が運転者と同一方向を見ているタイミングは、運転者が進行方向以外を見ている期間と、運転者以外の搭乗者が運転者と同一方向を見ている期間との一部が重なっていればよい。

【0028】

運転者以外の搭乗者が運転者と同一方向を向いている場合は、向いている方向に、特に目を引く対象物などが存在する可能性が高く、運転者が対象物を注視してしまう場合などもあり、さらには、運転者以外の同乗者も車両の進行方向を確認する意識が低くなることから、運転者による車両の進行方向に対する確認がさらに疎かになる可能性が高くなる。そこで、運転者のみが車両の進行方向以外を向いている場合に比べて、早いタイミングで脇見と判定する。

【0029】

警告制御部２４は、運転者に対する警告の出力を制御する。より詳しくは、警告制御部２４は、判定部２３が脇見を行っていると判定した場合、通知部１２による表示または図示しない出力される音声を用いて、運転者の脇見を警告する。警告制御部２４は、映像信号を出力して、通知部１２に映像を表示するよう制御する。警告制御部２４は、音声信号を出力して、通知部１２から音声を出力するよう制御する。脇見に対する警告は、音声の出力による警告が適切であるが、音声に加えて映像の表示による警告を行ってもよい。

【0030】

＜脇見判定装置における処理＞
次に、図４を用いて、脇見判定装置２０における処理の流れについて説明する。図４は、第一実施形態に係る脇見判定装置２０における処理の流れを示すフローチャートである。警告装置１０が起動されると、図４に示すフローチャートの処理が開始される。図４の処理の開始は、任意の条件で開始される。例えば、警告装置１０を搭載している車両のエンジンが始動するなど車両が利用可能になった場合や、ユーザの操作によって警告装置１０の動作が開始されたときなどである。また、ステップＳ１０１の処理は、車両が走行していることを条件として実行されてもよい。

【0031】

図４の処理の開始に伴い、脇見判定装置２０は、搭乗者検出および顔または視線の向きの検出処理を開始する（ステップＳ１０１）。より詳しくは、脇見判定装置２０は、撮像部１１によって、車室内の運転者および運転者以外の搭乗者の撮影を開始させる。脇見判定装置２０は、撮像データ取得部２１によって、撮像部１１が出力した撮像データを取得する。脇見判定装置２０は、検出部２２によって、撮像データ取得部２１が取得した撮像データから、車室内の運転者および運転者以外の搭乗者を認識する。そして、脇見判定装置２０は、検出部２２によって、運転者および運転者以外の搭乗者の顔または視線の向きを検出する。脇見判定装置２０は、ステップＳ１０２に進む。

【0032】

脇見判定装置２０は、運転者が進行方向以外を向いているか否かを判定する（ステップＳ１０２）。より詳しくは、脇見判定装置２０は、判定部２３によって、検出部２２の検出結果に基づいて、図２に示す車内映像データ１００の範囲１０２から検出された運転者の顔または視線の向きが、車両の直進時に角度ａ以外の向きである場合は、進行方向以外を向いていると判定する。脇見判定装置２０は、判定部２３によって、検出部２２の検出結果に基づいて、運転者が進行方向以外を向いていると判定する場合（ステップＳ１０２でＹｅｓ）、ステップＳ１０３へ進む。脇見判定装置２０は、判定部２３によって、検出部２２の検出結果に基づいて、運転者が進行方向以外を向いていないと判定する場合（ステップＳ１０２でＮｏ）、ステップＳ１０９へ進む。

【0033】

運転者が進行方向以外を向いていると判定する場合（ステップＳ１０２でＹｅｓ）、脇見判定装置２０は、運転者以外の搭乗者が運転者と同一方向を向いているか否かを判定する（ステップＳ１０３）。より詳しくは、脇見判定装置２０は、判定部２３によって、検出部２２の検出結果に基づいて、運転者以外の搭乗者が、言い換えると、図２に示す車内映像データ１００の範囲１０２以外から検出された搭乗者が、同一方向を向いていると判定する。脇見判定装置２０は、判定部２３によって、検出部２２の検出結果に基づいて、運転者以外の搭乗者が運転者と同一方向を向いていると判定する場合（ステップＳ１０３でＹｅｓ）、ステップＳ１０４へ進む。脇見判定装置２０は、判定部２３によって、検出部２２の検出結果に基づいて、運転者以外の搭乗者が運転者と同一方向を向いていないと判定する場合（ステップＳ１０３でＮｏ）、ステップＳ１０５へ進む。

【0034】

運転者以外の搭乗者が運転者と同一方向を向いていると判定する場合（ステップＳ１０３でＹｅｓ）、脇見判定装置２０は、判定部２３によって、運転者へ警告するまでの期間ｔを第２期間ｔ２に設定する（ステップＳ１０４）。より詳しくは、脇見判定装置２０は、判定部２３によって、運転者が進行方向以外を向いたことが検出されてから第２期間ｔ２が経過したときに警告が行われる期間を設定し、ステップＳ１０６へ進む。

【0035】

運転者以外の搭乗者が運転者と同一方向を向いていないと判定する場合（ステップＳ１０３でＮｏ）、脇見判定装置２０は、判定部２３によって、運転者へ警告するまでの期間ｔを第１期間ｔ１に設定する（ステップＳ１０５）。より詳しくは、脇見判定装置２０は、判定部２３によって、運転者が進行方向以外を向いたことが検出されてから第１期間ｔ１が経過したときに警告が行われる期間を設定し、ステップＳ１０６へ進む。

【0036】

脇見判定装置２０は、期間ｔが経過したか否かを判定する（ステップＳ１０６）。より詳しくは、脇見判定装置２０は、判定部２３によって、ステップＳ１０４またはステップＳ１０５で設定された期間ｔが経過したか否かを判定する。期間ｔが経過したと判定された場合（ステップＳ１０６でＹｅｓ）、ステップＳ１０８へ進む。この場合は、運転者が進行方向以外を向いたことが検出されてから第２期間ｔ２または第１期間ｔ１が経過した場合である。期間ｔが経過したと判定されない場合、つまり期間ｔが経過していない場合（ステップＳ１０６でＮｏ）、ステップＳ１０７へ進む。

【0037】

脇見判定装置２０は、期間ｔが経過していない場合（ステップＳ１０６でＮｏ）、運転者が進行方向以外をまだ向いているか否かを判定する（ステップＳ１０７）。より詳しくは、脇見判定装置２０は、判定部２３によって、運転者が進行方向以外を向いている状態が継続されているか否かを判定する。運転者が進行方向以外をまだ向いていると判定された場合（ステップＳ１０７でＹｅｓ）、ステップＳ１０６へ進み、ステップＳ１０３の判定に基づく第２期間ｔ２または第１期間ｔ１が経過したか否かを判定する。運転者が進行方向以外を向いていないと判定された場合（ステップＳ１０７でＮｏ）、ステップＳ１０９へ進む。

【0038】

脇見判定装置２０は、運転者が脇見をしたと判定し、警告を行う（ステップＳ１０８）。より詳しくは、脇見判定装置２０は、警告制御部２４によって、運転者に脇見を警告する。例えば、脇見判定装置２０は、警告制御部２４によって、通知部１２に音声信号を出力して、スピーカから警告を示す音声を出力させてもよい。例えば、脇見判定装置２０は、警告制御部２４によって、通知部１２に映像信号を出力して、表示部に警告を示す映像を表示させてもよい。脇見判定装置２０は、ステップＳ１０９へ進む。

【0039】

脇見判定装置２０は、搭乗者検出および顔または視線の向きの検出処理を終了するか否かを判定する（ステップＳ１０９）。脇見判定装置２０は、例えば、処理を終了する操作を検出した場合、または、車両が停止してエンジンがＯＦＦされた場合などは、搭乗者検出および顔または視線の向きの検出処理を終了すると判定する。脇見判定装置２０は、搭乗者検出および顔または視線の向きの検出処理を終了すると判定する場合（ステップＳ１０９でＹｅｓ）、処理を終了する。脇見判定装置２０は、搭乗者検出および顔または視線の向きの検出処理を終了すると判定しない場合（ステップＳ１０９でＮｏ）、ステップＳ１０２の処理を再度実行する。

【0040】

上記で説明した、図４に示す処理は、車両に運転者と運転者以外の搭乗者が搭乗している場合の処理である。車内に運転者以外の搭乗者がいない場合、言い換えると、運転者が一人で搭乗している場合、運転者の顔または視線の向きが進行方向以外の方向を、第１期間ｔ１継続して向いているとき、脇見と判定されて、警告が通知される。

【0041】

＜効果＞
上述したように、本実施形態では、運転者が車両の進行方向以外を第１期間ｔ１以上向いているときに脇見を行っていると判定する。本実施形態は、運転者以外の搭乗者が運転者と同一方向を向いている場合は、運転者が車両の進行方向以外を第１期間ｔ１より短い第２期間ｔ２以上向いているときに脇見を行っていると判定する。本実施形態によれば、運転者および運転者以外の搭乗者の顔または視線の向きによって脇見を判定することができる。本実施形態では、運転者に加えて運転者以外の搭乗者が同一方向を向いている場合には、より早いタイミングで警告することができる。本実施形態によれば、車両の運転者の脇見に対して適切に警告を行うことができる。

【0042】

［第二実施形態］
図５を参照しながら、本実施形態に係る警告装置１０について説明する。図５は、第二実施形態に係る脇見判定装置における処理の流れを示すフローチャートである。第二実施形態にかかる警告装置１０の構成は第一実施形態の警告装置１０と同一であり、処理が異なるため、構成の説明は省略する。

【0043】

検出部２２は、運転者以外の搭乗者の着座位置をさらに検出する。本実施形態では、検出部２２は、前部座席および後部座席に着座している運転者以外の搭乗者を区別して検出する。より詳しくは、検出部２２は、図２に示すように、撮像部１１の撮影範囲と撮影向きが固定またはほぼ固定であるので、前部座席および後部座席に着座している搭乗者を区別して検出可能である。図２に示す例では、前部座席の着座位置は、範囲１０１と範囲１０２とに対応し、後部座席の着座位置は、範囲１０３と範囲１０４と範囲１０５とに対応する。例えば、車内映像データ１００の範囲１０１から人または顔が認識された場合、左前部座席の搭乗者である。例えば、車内映像データ１００の範囲１０２から人または顔が認識された場合、右前部座席の搭乗者である。例えば、車内映像データ１００の範囲１０３から人または顔が認識された場合、左後部座席の搭乗者である。例えば、車内映像データ１００の範囲１０４から人または顔が認識された場合、中央後部座席の搭乗者である。例えば、車内映像データ１００の範囲１０５から人または顔が認識された場合、右後部座席の搭乗者である。

【0044】

判定部２３は、車両の前部座席の搭乗者が運転者と同一方向を向いている場合は、車両の後部座席の搭乗者が運転者と同一方向を向いている場合に比べて、第２期間を短く設定する。本実施形態では、判定部２３は、図２に示す車内映像データ１００の範囲１０１から検出された搭乗者が、範囲１０２から検出された運転者と同一方向を向いている場合は、範囲１０３、範囲１０４および範囲１０５から検出された搭乗者が運転者と同一方向を向いている場合に比べて、第２期間を短く設定する。

【0045】

前部座席の搭乗者は、運転者と同様の視界があるため、運転者と同様の対象物を視認できる。また、前部座席の搭乗者は、運転者とコミュニケーションがとりやすいため、前部座席の搭乗者の脇見は、運転者に影響を与えやすい。このため、前部座席の搭乗者が運転者と同一方向を向いている場合は、運転者による車両の進行方向に対する確認がさらに疎かになる可能性が高くなる。そこで、後部座席の搭乗者が運転者と同一方向を向いている場合に比べて、早いタイミングで脇見と判定する。

【0046】

次に、図５を用いて、脇見判定装置２０における処理の流れについて説明する。図５に示すステップＳ１１１ないしステップＳ１１３、ステップＳ１１６、ステップＳ１１７、ステップＳ１２０、ステップＳ１２１の処理は、図４に示すステップＳ１０１ないしステップＳ１０３、ステップＳ１０５、ステップＳ１０４、ステップＳ１０８、ステップＳ１０９と同様の処理を行う。

【0047】

運転者以外の搭乗者が運転者と同一方向を向いていると判定する場合（ステップＳ１１３でＹｅｓ）、脇見判定装置２０は、運転者以外の前席搭乗者が運転者と同一方向を向いているか否かを判定する（ステップＳ１１４）。より詳しくは、脇見判定装置２０は、判定部２３によって、検出部２２の検出結果に基づいて、図２に示す車内映像データ１００の範囲１０１から検出された搭乗者が、範囲１０２から検出された運転者と同一方向を向いているか否かを判定する。脇見判定装置２０は、判定部２３によって、検出部２２の検出結果に基づいて、運転者以外の前席搭乗者が運転者と同一方向を向いていると判定する場合（ステップＳ１１４でＹｅｓ）、ステップＳ１１５へ進む。脇見判定装置２０は、判定部２３によって、検出部２２の検出結果に基づいて、運転者以外の前席搭乗者が運転者と同一方向を向いていないと判定する場合（ステップＳ１１４でＮｏ）、ステップＳ１１７へ進む。

【0048】

運転者以外の前席搭乗者が運転者と同一方向を向いていると判定する場合（ステップＳ１１４でＹｅｓ）、脇見判定装置２０は、判定部２３によって、運転者へ警告するまでの期間ｔを第２期間ｔ２より短い期間である第３期間ｔ３（ｔ３＜ｔ２）に設定する（ステップＳ１１５）。より詳しくは、脇見判定装置２０は、判定部２３によって、運転者が進行方向以外を向いたことが検出されてから第３期間ｔ３が経過したときに警告が行われる期間を設定し）、ステップＳ１１８へ進む。第３期間ｔ３は、第２期間を短く設定した値であり、例えば１秒が設定される。

【0049】

脇見判定装置２０は、期間ｔが経過したか否かを判定する（ステップＳ１１８）。より詳しくは、脇見判定装置２０は、判定部２３によって、ステップＳ１１１５、ステップS１１６またはステップＳ１１７で設定された期間ｔが経過したか否かを判定する。期間ｔが経過したと判定された場合（ステップＳ１１８でＹｅｓ）、ステップＳ１２０へ進む。この場合は、運転者が進行方向以外を向いたことが検出されてから第３期間ｔ３または第２期間ｔ２または第１期間ｔ１が経過した場合である。期間ｔが経過したと判定されない場合、つまり期間ｔが経過していない場合（ステップＳ１１８でＮｏ）、ステップＳ１１９へ進む。

【0050】

脇見判定装置２０は、期間ｔが経過していない場合（ステップＳ１１８でＮｏ）、運転者が進行方向以外をまだ向いているか否かを判定する（ステップＳ１１９）。より詳しくは、脇見判定装置２０は、判定部２３によって、運転者が進行方向以外を向いている状態が継続されているか否かを判定する。運転者が進行方向以外をまだ向いていると判定された場合（ステップＳ１１９でＹｅｓ）、ステップＳ１１８へ進み、ステップＳ１１３またはステップＳ１１４の判定に基づく第３期間ｔ３、第２期間ｔ２または第１期間ｔ１が経過したか否かを判定する。運転者が進行方向以外を向いていないと判定された場合（ステップＳ１１９でＮｏ）、ステップＳ１２１へ進む。

【0051】

上述したように、本実施形態では、車両の前部座席の搭乗者が運転者と同一方向を向いている場合は、車両の後部座席の搭乗者が運転者と同一方向を向いている場合に比べて、第２期間より短い期間である第３期間を設定する。本実施形態によれば、前部座席の搭乗者が運転者と同一方向を向いている場合には、後部座席の搭乗者が運転者と同一方向を向いている場合に比べて、より早いタイミングで警告することができる。

【0052】

［第三実施形態］
図６を参照しながら、本実施形態に係る警告装置１０について説明する。図６は、第三実施形態に係る脇見判定装置における処理の流れを示すフローチャートである。第三実施形態にかかる警告装置１０の構成は第一実施形態の警告装置１０と同一であり、処理が異なるため、構成の説明は省略する。

【0053】

判定部２３は、運転者と同一方向を向いている搭乗者の人数が多いほど、第２期間を短く設定する。本実施形態では、判定部２３は、運転者と同一方向を向いている搭乗者の人数が所定割合である場合、第２期間より短い期間である第３期間を設定する。所定割合は、例えば５割とする。つまり、運転者以外の搭乗者が２名である場合は、１名の搭乗者が運転者と同一方向を向いている場合に所定割合を満たすと判断できる。同様に、運転者以外の搭乗者が３名である場合は、２名の搭乗者が運転者と同一方向を向いている場合に所定割合を満たすと判断できる。

【0054】

運転者と同一方向を向いている搭乗者の人数が多いほど、車両の搭乗者における対象物への注目度が高いことが想定され、運転者による車両の進行方向に対する確認がさらに疎かになる可能性が高くなる。そこで、運転者と同一方向を向いている搭乗者の人数が多いほど、早いタイミングで脇見と判定する。

【0055】

次に、図６を用いて、脇見判定装置２０における処理の流れについて説明する。図６に示すステップＳ１３１ないしステップＳ１３３、ステップＳ１３５ないしステップＳ１４１の処理は、図５に示すステップＳ１１１ないしステップＳ１１３、ステップＳ１１５ないしステップＳ１２１と同様の処理を行う。

【0056】

運転者以外の搭乗者が運転者と同一方向を向いていると判定する場合（ステップＳ１３３でＹｅｓ）、脇見判定装置２０は、運転者以外の搭乗者の所定割合以上が運転者と同一方向を向いているか否かを判定する（ステップＳ１３４）。より詳しくは、脇見判定装置２０は、判定部２３によって、検出部２２の検出結果に基づいて、運転者以外の搭乗者の所定割合が運転者と同一方向を向いていると判定する場合（ステップＳ１３４でＹｅｓ）、ステップＳ１３５へ進む。脇見判定装置２０は、判定部２３によって、検出部２２の検出結果に基づいて、運転者以外の搭乗者の所定割合が運転者と同一方向を向いていないと判定する場合（ステップＳ１３４でＮｏ）、ステップＳ１３７へ進む。

【0057】

上述したように、本実施形態では、運転者と同一方向を向いている搭乗者の人数が多いほど、第２期間より短い期間である第３期間を設定する。本実施形態によれば、運転者と同一方向を向いている搭乗者の人数が多いほど、より早いタイミングで警告することができる。

【0058】

［第四実施形態］
図７を参照しながら、本実施形態に係る警告装置１０について説明する。図７は、第四実施形態に係る脇見判定装置における処理の流れを示すフローチャートである。第四実施形態にかかる警告装置１０の構成は第一実施形態の警告装置１０と同一であり、処理が異なるため、構成の説明は省略する。

【0059】

撮像部１１は、さらに、車両の車室内の音声の音声データを収音するマイクロフォンとしての機能を有する。本実施形態では、撮像部１１は、車内カメラおよびマイクロフォンを含む。撮像部１１は、撮像した車室内の映像データおよび音声データを含む撮像データを脇見判定装置２０の撮像データ取得部２１へ出力する。

【0060】

撮像データ取得部２１は、さらに撮像部１１が出力した音声データを含む車内映像データを取得する。

【0061】

検出部２２は、車両の運転者および運転者以外の搭乗者が発した声をさらに検出する。り詳しくは、検出部２２は、撮像データ取得部２１が取得した撮像データの音声データから声を認識する。音声データから声を認識する方法は、公知の方法を使用可能であり、限定されない。検出部２２が検出する、車両の運転者および運転者以外の搭乗者が発した声は、単に声が発せられたことを検出してもよく、発話分析によって発話内容も含めて検出してもよい。例えば、「見て」「事故」などの発話である場合に、発声ありと判断してもよい。

【0062】

判定部２３は、運転者以外の搭乗者が運転者と同一方向を向いているときに、声が発せられている場合は、第２期間より短い期間である第３期間を設定する。

【0063】

運転者以外の搭乗者が運転者と同一方向を向いているときに、声が発せられている場合は、運転者の注意が声に向けられ、注意が進行方向以外へそれる可能性が高くなる。このため、より早いタイミングで脇見を判定することが好ましい。

【0064】

声が発せられているタイミングは、運転者以外の搭乗者が運転者と同一方向を見ている期間と一部が重なっていればよい。

【0065】

次に、図７を用いて、脇見判定装置２０における処理の流れについて説明する。図７に示すステップＳ１５１ないしステップＳ１５３、ステップＳ１５５ないしステップＳ１６１の処理は、図５に示すステップＳ１１１ないしステップＳ１１３、ステップＳ１１５ないしステップＳ１２１と同様の処理を行う。

【0066】

運転者以外の搭乗者が運転者と同一方向を向いていると判定する場合（ステップＳ１５３でＹｅｓ）、脇見判定装置２０は、搭乗者の発声があるか否かを判定する（ステップＳ１５４）。より詳しくは、脇見判定装置２０は、判定部２３によって、検出部２２の検出結果に基づいて、搭乗者の発声があると判定する場合（ステップＳ１５４でＹｅｓ）、ステップＳ１５５へ進む。脇見判定装置２０は、判定部２３によって、検出部２２の検出結果に基づいて、搭乗者の発声がないと判定する場合（ステップＳ１５４でＮｏ）、ステップＳ１５７へ進む。

【0067】

上述したように、本実施形態では、運転者以外の搭乗者が運転者と同一方向を向いているときに、声が発せられている場合は、第２期間より短い期間である第３期間を設定する。本実施形態によれば、運転者の注意が進行方向以外にそれる可能性が高い場合に、より早いタイミングで警告することができる。

【0068】

これまで本発明に係る警告装置１０について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。

【0069】

図示した警告装置１０の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0070】

警告装置１０の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

【0071】

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【符号の説明】

【0072】

１０ 警告装置
１１ 撮像部
１２ 通知部
２０ 脇見判定装置
２１ 撮像データ取得部
２２ 検出部
２３ 判定部
２４ 警告制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】