特許 7613350 一時停止検出装置および一時停止検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-06

(45)【発行日】2025-01-15

(54)【発明の名称】一時停止検出装置および一時停止検出方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20250107BHJP

   G08G 1/00 20060101ALI20250107BHJP

   G06T 7/00 20170101ALI20250107BHJP

【ＦＩ】

G08G1/16 D

G08G1/00 D

G06T7/00 650Z

【請求項の数】 6

(21)【出願番号】P 2021205924

(22)【出願日】2021-12-20

(65)【公開番号】P2023091266

(43)【公開日】2023-06-30

【審査請求日】2024-03-20

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(72)【発明者】

【氏名】上田 健揮

(72)【発明者】

【氏名】立花 亮介

(72)【発明者】

【氏名】川端 伸一朗

(72)【発明者】

【氏名】北川 敬

(72)【発明者】

【氏名】加藤 隆典

(72)【発明者】

【氏名】新田 英智

(72)【発明者】

【氏名】原山 康平

(72)【発明者】

【氏名】森 瑞希

【審査官】西畑 智道

(56)【参考文献】

【文献】特開２０１２－１５９９５５（ＪＰ，Ａ）

【文献】特開２０１０－２１９９３３（ＪＰ，Ａ）

【文献】特開２００５－２１４９１４（ＪＰ，Ａ）

【文献】特開２００４－０１３４００（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０２８６９８８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｇ０１Ｃ ２１／００－２１／３６

Ｇ０１Ｃ ２３／００－２５／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

車両に搭載されたカメラで時系列順に撮像された複数の撮像画像を取得する取得部と、
取得された複数の撮像画像に画像処理をする画像処理部と、
画像処理結果をもとに、一時停止位置での前記車両の車速を検出する検出部と、を備え、
前記画像処理部は、
撮像画像から検出された一時停止位置を示す標示をもとに一時停止位置を特定する停止位置特定部と、
時系列順の撮像画像を比べて車速を算出する車速算出部と、を有し、
前記車速算出部は、複数の撮像画像から特定の領域を除いて撮像画像を比べ、前記特定の領域の大きさを道路情報をもとに設定することを特徴とする一時停止検出装置。

【請求項2】

前記車速算出部は、前記特定の領域を、撮像画像の中央に位置する所定の中央領域にすることを特徴とする請求項１に記載の一時停止検出装置。

【請求項3】

前記車速算出部は、撮像画像に含まれる移動体を個別に覆う領域を前記特定の領域に設定することを特徴とする請求項１または２に記載の一時停止検出装置。

【請求項4】

前記車速算出部は、走行環境情報にもとづいて、前記特定の領域を所定の中央領域および移動体のいずれかに設定することを特徴とする請求項１から３のいずれかに記載の一時停止検出装置。

【請求項5】

前記車速算出部は、時系列順に並んだ撮像画像に含まれる特徴点を追跡して車速を算出することを特徴とする請求項１から４のいずれかに記載の一時停止検出装置。

【請求項6】

コンピュータに実行させる一時停止位置検出方法であって、
車両に搭載されたカメラで時系列順に撮像された複数の撮像画像を取得するステップと、
取得された複数の撮像画像に画像処理をするステップと、
画像処理結果をもとに、一時停止位置での前記車両の車速を検出するステップと、を含み、
前記画像処理をするステップには、
撮像画像から検出された一時停止位置を示す標識をもとに一時停止位置を特定するステップと、
時系列順の撮像画像を比べて車速を算出するステップと、が含まれ、
前記車速を算出するステップでは、撮像画像から特定の領域を除いて撮像画像を比べ、前記特定の領域の大きさを道路情報をもとに設定することを特徴とする一時停止検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載カメラの撮像画像をもとに一時停止位置での運転を検出する技術に関する。

【背景技術】

【0002】

特許文献１には、一時停止すべきことが指定された一時停止地点において、車両が一時停止動作を行ったか否かを判定する安全運転度評価装置が開示されている。この安全運転度評価装置は、一時停止地点を通過したことを測位用データと地図データとをもとに判定し、一時停止地点で一時停止をしたかを車速センサと加速度センサの検出データをもとに判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－１２５１４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術では、一時停止地点の通過を測位用データを用いて判定し、一時停止地点での運転状況を車速センサと加速度センサの検出データを用いて判定するため、それらのデータの同期ズレが発生するおそれがある。同期ズレが発生すると、一時停止地点で一時停止動作を行ったか否かの判定精度が低下する。

【0005】

本発明の目的は、一時停止位置での運転を精度良く検出する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の一時停止検出装置は、車両に搭載されたカメラで時系列順に撮像された複数の撮像画像を取得する取得部と、取得された複数の撮像画像に画像処理をする画像処理部と、画像処理結果をもとに、一時停止位置での車両の車速を検出する検出部と、を備える。画像処理部は、撮像画像から検出された一時停止位置を示す標示をもとに一時停止位置を特定する停止位置特定部と、時系列順の撮像画像を比べて車速を算出する車速算出部と、を有する。車速算出部は、複数の撮像画像から特定の領域を除いて撮像画像を比べ、特定の領域の大きさを道路情報をもとに設定する。

【0007】

本発明の別の態様は、一時停止検出方法である。この方法は、コンピュータに実行させる一時停止位置検出方法であって、車両に搭載されたカメラで時系列順に撮像された複数の撮像画像を取得するステップと、取得された複数の撮像画像に画像処理をするステップと、画像処理結果をもとに、一時停止位置での車両の車速を検出するステップと、を含む。画像処理をするステップには、撮像画像から検出された一時停止位置を示す標識をもとに一時停止位置を特定するステップと、時系列順の撮像画像を比べて車速を算出するステップと、が含まれ、車速を算出するステップでは、撮像画像から特定の領域を除いて撮像画像を比べ、特定の領域の大きさを道路情報をもとに設定する。

【発明の効果】

【0008】

本発明によれば、一時停止位置での運転を精度良く検出する技術を提供できる。

【図面の簡単な説明】

【0009】

【図1】実施例の一時停止検出装置の概要について説明するための図であり、車載カメラによって撮像された撮像画像を示す図である。

【図2】一時停止検出装置の機能構成を示す図である。

【図3】車速算出部によって中央領域を除いた撮像画像を示す図である。

【図4】車速算出部によって移動体領域を除いた撮像画像を示す図である。

【図5】一時停止位置での車速を検出する処理について説明するための図である。

【図6】一時停止検出処理のフローチャートを示す。

【発明を実施するための形態】

【0010】

図１は、実施例の一時停止検出装置の概要について説明するための図であり、車載カメラによって撮像された撮像画像２０を示す。一時停止検出装置は、車両のドライブレコーダに記憶された撮像画像２０を解析して、車両が一時停止位置で適切な運転をしたか検出する。

【0011】

例えば自動車ディーラーに車両が持ち込まれた場合に、作業者がその車両のドライブレコーダから一連の撮像画像２０を取り出し、一時停止検出装置に撮像画像２０を入力する。一時停止検出装置は、入力された一連の撮像画像２０を解析してその車両が一時停止位置で適切な運転をしたか検出し、運転スコアを算出する。算出された運転スコアは車両の運転者に提供され、運転者は自身の運転能力を知ることができる。

【0012】

図１に示す撮像画像２０には、車両前部２２と、一時停止線２４と、一時停止標識２６と、横断歩道標示２８、自動販売機２９が示される。一時停止検出装置は、画像処理によって一時停止線２４、一時停止標識２６および横断歩道標示２８などの交通標示を検出し、一時停止位置を特定することができる。また、一時停止検出装置は、自動販売機２９などの所定の対象物を特徴点として検出し、時系列順に並んだ撮像画像２０に含められる特徴点を追跡して車両の速度を算出する。これによって、一時停止検出装置は一時停止位置と車速を導出でき、一時停止位置で車両が適切な運転をしたか検出できる。

【0013】

このように、一時停止検出装置は、一時停止位置で適切な運転をしたか、撮像画像２０のみで検出できるため、撮像画像以外のセンサ値を用いる場合と比べて、データの取り出しが容易である。作業者がドライブレコーダのメモリを引き抜いて、一時停止検出装置の入力スロットに差し込めば、撮像画像２０を取り出すことができる。また、複数種類のセンサ値を用いる場合は、センサ値の同期ズレによって検出精度が低下するおそれがあるが、撮像画像２０のみで検出することで、同期ズレの問題を生じないようにできる。

【0014】

図２は、一時停止検出装置１０の機能構成を示す図である。一時停止検出装置１０の各機能は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたシステムソフトウェアやアプリケーションプログラムなどによって実現される。したがって一時停止検出装置１０の各機能はハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0015】

画像記憶部１２は、車載カメラによって車両周辺を撮像した撮像画像を記憶する。画像記憶部１２に記憶される撮像画像は、時系列順に並んでおり、動画である。一時停止検出装置１０は、画像記憶部１２からドライブレコーダに記憶された動画を取得する。画像記憶部１２は、フラッシュメモリなどのハードウェアであって、作業者が車両から手作業で取り出して一時停止検出装置１０に接続されてよい。また、画像記憶部１２は、車両の通信機を用いてインターネットなどのネットワークを介して一時停止検出装置１０に接続されてよい。

【0016】

出力部１４は、ディスプレイやスピーカなどであって、一時停止検出装置１０による検出結果を運転者に出力する。出力部１４は、一時停止検出装置１０と一体に設けられてよく、別体であってよい。

【0017】

一時停止検出装置１０は、取得部３０、画像処理部３２、検出部３４および運転スコア算出部３６を備える。取得部３０は、画像記憶部１２から車載カメラによって時系列順に撮像された複数の撮像画像を取得する。

【0018】

画像処理部３２は、取得された複数の撮像画像２０に画像処理をする。画像処理部３２は、物体検出部３７、停止位置特定部３８および車速算出部４０を有する。画像処理部３２は、画像記憶部１２に記憶される全てのデータに対して画像処理を実行してよいが、運転中のデータに対して画像処理を実行してよい。つまり、物体検出部３７での処理を実行する前に、運転中でないデータを除く処理をしてよい。

【0019】

物体検出部３７は、ＹＯＬＯなどの物体検出モデルを用いて撮像画像２０に含まれる物体を検出する。物体検出部３７は、入力された全ての撮像画像２０に対して物体検出処理を実行する。複数の撮像画像２０は、例えば、１秒間に３０フレームの動画を構成し、時系列順に並んでいる。物体検出部３７は、検出した物体の撮像画像上の位置座標と、物体の種類を導出する。物体の位置座標は、物体を囲む矩形の四隅の位置座標であってよい。

【0020】

停止位置特定部３８は、撮像画像２０から一時停止位置を示す標示を検出して一時停止位置を特定する。一時停止位置を示す標示は、図１に示す一時停止線２４や一時停止標識２６などの特定の交通標示である。

【0021】

停止位置特定部３８は、物体検出部３７によって検出された物体のうち、一時停止位置を示す標示を抽出し、抽出した一時停止線と自車両との距離を算出して、一時停止位置を特定する。停止位置特定部３８は、１フレームの撮像画像２０から一時停止線２４および一時停止標識２６の両方を検出した場合にのみ、一時停止位置を特定してよい。これにより、一時停止位置の誤検出を抑えることができる。

【0022】

車速算出部４０は、時系列順の撮像画像２０を比べて車速を算出する。車速算出部４０は、複数の撮像画像２０から特定の領域を除いて撮像画像２０を比べる。この特定の領域について、新たな図面を参照して説明する。

【0023】

図３は、車速算出部４０によって中央領域４２を除いた撮像画像２０を示す。また、ず３に示す撮像画像２０には、特徴点となる複数の物体４４ａ，４４ｂ，４４ｃ，４４ｄが示される。特徴点となる複数の物体４４ａ，４４ｂ，４４ｃ，４４ｄは、物体検出部３７によって検出される。車速算出部４０は、時系列順に複数の物体４４ａ，４４ｂ，４４ｃ，４４ｄの位置ずれ量を算出し、それらの位置ずれ量をもとに車速を検出する。このように、車速算出部４０は、時系列順に並んだ撮像画像２０に含まれる特徴点を追跡して車速を算出する。

【0024】

特徴点は、複数の物体４４ａ，４４ｂ，４４ｃ，４４ｄの中心点であってよく、四隅での点であってよい。特徴点は、主に車道外側に位置する看板や樹木や建物であり、車道の上には少ない。物体４４ａと物体４４ｃは樹木であり、物体４４ｂは配電箱であり、これらは地面に固定されている。

【0025】

ここで、物体４４ｄは、移動している車両であるため車速算出処理のノイズとなり、物体４４ｄを追跡して車速を算出すると算出精度の低下を招く。そこで、車速算出部４０は、撮像画像２０から特定の領域として中央領域４２を除く処理をし、中央領域４２に重なる物体を除いて、物体４４ａ，４４ｂ，４４ｃ，４４ｄを追跡する。撮像画像２０から特定の領域（例えば、中央領域４２である）を除くことで、車速検出のノイズ要因を除くことができる。つまり、特定の領域とは、撮像画像２０の一部をマスキングする領域をいう。中央領域４２は、図３に示すように、撮像画像２０の中央点を含む領域であり中央に位置するが、実験等によって撮像画像２０での左右上下の位置を調整されてもよい。

【0026】

特定の領域を撮像画像２０の中央に位置する所定の中央領域４２に設定することで、前方を走行している車両や対向車が入り込んでいる可能性が高い領域を容易に省くことができ、画像処理を簡素化できる。また、車道外の看板や建物は中央領域４２よりも両端側の領域に位置することが多く、中央領域４２を省いても追跡の対象となる物体を確保することができる。

【0027】

車速算出部４０は、特定の領域である中央領域４２の大きさを道路情報をもとに設定する。例えば、車速算出部４０は、道路情報に示す道路幅に応じて中央領域４２の横幅を設定してよく、道路幅が大きいほど中央領域４２の横幅を大きくなるように設定してよい。設定する中央領域４２の横幅は例えば「大」、「中」、「小」の３段階に設定され、片側１車線で「小」、片側２車線で「中」、片側３車線以上で「大」に設定される。

【0028】

また、道路情報が坂路である場合には、坂路の傾斜角に応じて、撮像画像２０における中央領域４２の高さを上下に調整してよく、中央領域４２の縦幅を調整してよい。例えば、車速算出部４０は、上り坂である場合、平地よりも中央領域４２の縦幅を上方に長くなるように設定し、下り坂である場合、平地よりもの中央領域４２の縦幅を下方に長くなるように設定する。このように中央領域４２の大きさが道路情報をもとに設定されることで、移動体が入り込む可能性が高い領域を除くことができる。なお、道路情報は、撮像画像２０から導出される。

【0029】

図４は、車速算出部４０によって移動体領域４６を除いた撮像画像２０を示す。図４では、図３と同じ撮像画像２０に対して、特定の領域として移動体を個別に覆う移動体領域４６を設定し、移動体領域４６を除く画像処理を施している。

【0030】

図４に示すように、撮像画像２０に含まれる複数の移動体に対して個別に移動体領域４６ａ，４６ｂ，４６ｃを設定してマスキングしている。これらの移動体は物体検出部３７によって検出されたものであり、物体検出部３７によって車両であることが特定されている。移動体には、車両だけでなく、人も含まれてよい。移動体領域４６は、撮像画像での移動体の上下の最大長さと、左右の最大長さをもとに矩形状に形成され、移動体の大きさに合わせて形成される。

【0031】

このように、車速算出部４０は、撮像画像２０に含まれる移動体を特定の領域（移動体領域４６ａ，４６ｂ，４６ｃ）に設定し、移動体領域４６ａ，４６ｂ，４６ｃをマスキングして、固定体である物体４４ａ,４４ｂ,４４ｃを特徴点として追跡し、車速を算出する。移動体領域４６を除く処理は、物体検出モデルで検出した移動体を除くため、中央領域４２を除くよりも精度良くノイズを取り除くことができる。

【0032】

車速算出部４０は、走行環境情報にもとづいて、特定の領域を所定の中央領域および移動体のいずれかに設定する。つまり、車速算出部４０は、マスキングする特定の領域を、中央領域にするか移動体領域にするか、走行環境に応じて使い分ける。例えば、天候が雨である場合、物体検出部３７の検出精度が低下するため、移動体を精度良く除けない可能性がある。そこで、車速算出部４０は、天候が雨や雪などの悪天候である場合には、中央領域４２を特定の領域に設定し、天候が悪天候でない場合には、移動体領域４６を特定の領域に設定する。これによって、特徴点の追跡処理を精度良く実行できる。

【0033】

図２に戻る。検出部３４は、画像処理結果をもとに、一時停止位置での車速を検出する。車載カメラには死角があるため、撮像画像２０には、一時停止線２４の上を通る瞬間は写っていない。そこで図５を参照して、検出部３４の処理を説明する。

【0034】

図５は、一時停止位置での車速を検出する処理について説明するための図である。図５には車両が一時停止線２４を通る経過を○印で示し、車載カメラは○印の位置で撮像する。撮像画像２０は、車載カメラの画角や取り付け位置の問題で、図１に示すように車両前部２２が写り込み、一時停止線２４に接近すると一時停止線２４を撮像できなくなる。
例えば、図５に示す一時停止線２４は、車両が不検出範囲４８に位置する場合に車載カメラに撮像されない。

【0035】

そこで、検出部３４は、車両が一時停止位置に所定距離以内に接近したことを検出したタイミングを、一時停止位置を通過したタイミングであるとし、そのときの車速を検出する。検出部３４は、画像処理結果として、停止位置特定部３８から自車両と一時停止位置の距離情報を受け取り、車速算出部４０から車速情報を受け取る。停止位置特定部３８から受け取った自車両と一時停止位置の距離情報と、車速算出部４０から受け取った車速情報とは、いずれかの撮像画像２０に関連付けられている。

【0036】

不検出範囲４８は車種に応じて定まるが、例えば３メートルである。そのため、検出部３４が車両が一時停止位置を通過したことを、不検出範囲４８外の位置５０で撮像された撮像画像２０によって検出し、一時停止位置に所定距離以内に接近した場合に、車両が一時停止位置を通過したとする。この所定距離は、不検出範囲４８をもとに設定され、例えば、１メートルから４メートルの範囲のいずれかの値に設定される。また、所定距離は、車種に応じて設定されてよく、車両前部２２が短い車両は短くなるように設定されてよい。

【0037】

図２に戻る。検出部３４は、画像処理結果をもとに、一時停止位置での車両の車速が所定車速以下であるか検出する。これによって車両が一時停止したか判定する。所定車速は時速１０キロメートル以下に設定される。検出部３４は、一時停止位置での車両の車速が所定車速以下であれば、適切な運転をしたと判定し、一時停止位置での車両の車速が所定車速を越えると、一時停止違反であると判定する。

【0038】

運転スコア算出部３６は、検出部３４による検出結果をもとに運転者の運転技量を表す運転スコアを算出する。運転スコアは、一時停止位置で適切な運転をしていれば高くなるように算出され、一時停止位置での車速が小さいほど高くなる。なお、一時停止検出装置１０では、一時停止以外の交通違反についても検出してよく、総合的な運転スコアを算出してよい。例えば交通標示から制限速度を検出し、車両が制限速度を守っているか判定してもよい。

【0039】

運転スコア算出部３６によって算出された運転スコアは、出力部１４から出力され、運転者に音声や画像で示される。このように、一時停止検出装置１０は、撮像画像２０のみから運転者の技量を診断できるため、自動車ディーラーなどで簡単に診断できる。そのため、高齢者などが車両を自動車ディーラーに持ち込んだ際に、運転技量を診断し、アドバイスすることが可能となる。

【0040】

図６は、一時停止検出処理のフローチャートを示す。取得部３０は、画像記憶部１２から車載カメラによって撮像された一連の撮像画像を取得する（Ｓ１０）。画像処理部３２の物体検出部３７は、取得した一連の撮像画像に対して物体を検出する処理を実行する（Ｓ１２）。物体検出部３７は、検出した物体の種類と、撮像画像上の物体の位置を導出する。

【0041】

停止位置特定部３８は、物体検出部３７によって検出された物体のうち、一時停止位置を示す標示を検出して一時停止位置を特定する（Ｓ１４）。また、停止位置特定部３８は、一時停止位置と自車両との距離を算出する。

【0042】

車速算出部４０は、物体検出部３７によって検出された物体のうち、特定の領域に含まれない物体を特徴点とし、その特徴点を時系列順の撮像画像で追跡して、特徴点の位置ずれ量をもとに車速を算出する（Ｓ１６）。特定の領域に含まれない物体とは、特定の領域に一部でも重なっていない物体であってよく、特定の領域に半分以上の面積で重なっていない物体であってよい。車速算出部４０は、撮像画像毎に車速を算出してよく、一時停止位置が検出された撮像画像のみの車速を算出してよい。

【0043】

検出部３４は、停止位置特定部３８から一時停止位置と自車両の距離を受け取り、車速算出部４０から車速を受け取って、一時停止位置での車速を検出する（Ｓ１８）。検出部３４は、一時停止位置で所定の車速以下であるか検出してもよい。

【0044】

運転スコア算出部３６は、検出部３４の検出結果をもとに、運転技量を示す運転スコアを算出する（Ｓ２０）。出力部１４は、算出された運転スコアをディーラーの作業者や運転者に示す（Ｓ２２）。

【0045】

以上、本開示を実施例をもとに説明した。本開示は、上述の実施例に限定されるものではなく、当業者の知識に基づいて各種の設計変更等の変形を加えることも可能である。

【符号の説明】

【0046】

１０ 一時停止検出装置、 １２ 画像記憶部、 １４ 出力部、 ２０ 撮像画像、 ２２ 車両前部、 ２４ 一時停止線、 ２６ 一時停止標識、 ２８ 横断歩道標示、 ２９ 自動販売機、 ３０ 取得部、 ３２ 画像処理部、 ３４ 検出部、 ３６ 運転スコア算出部、 ３７ 物体検出部、 ３８ 停止位置特定部、 ４０ 車速算出部、 ４２ 中央領域、 ４６ 移動体領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】