特開 2022-190855 運転支援装置及び運転支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022190855

(43)【公開日】2022-12-27

(54)【発明の名称】運転支援装置及び運転支援プログラム

(51)【国際特許分類】

   G08B 21/00 20060101AFI20221220BHJP

   G08B 21/24 20060101ALI20221220BHJP

   G08B 25/00 20060101ALI20221220BHJP

   B60R 11/04 20060101ALN20221220BHJP

【ＦＩ】

G08B21/00 U

G08B21/24

G08B25/00 510M

B60R11/04

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021099328

(22)【出願日】2021-06-15

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(72)【発明者】

【氏名】吉岡 裕規

(72)【発明者】

【氏名】孝治 吉春

(72)【発明者】

【氏名】小野寺 毅

(72)【発明者】

【氏名】宇宿 秀希

(72)【発明者】

【氏名】田中 俊

(72)【発明者】

【氏名】王 暁峰

【テーマコード（参考）】

3D020

5C086

5C087

【Ｆターム（参考）】

3D020BA20

3D020BB01

3D020BC01

3D020BE03

5C086AA22

5C086AA60

5C086BA22

5C086CA28

5C086CB36

5C086DA33

5C086EA13

5C086EA23

5C086FA06

5C086FA12

5C086FA17

5C087AA02

5C087AA10

5C087AA12

5C087AA19

5C087AA37

5C087DD03

5C087DD14

5C087DD35

5C087FF02

5C087FF23

5C087GG02

5C087GG06

5C087GG35

(57)【要約】

【課題】運転環境が好ましくないことをユーザに気づかせることが可能となる運転支援装置及び運転支援プログラムを提供する。
【解決手段】運転支援装置１は、車内に設置され、車内を撮像する撮像部１２と、撮像部１２によって撮像された、静止画または動画を含む画像を用いて画像に映る車内の窓ガラスの範囲を特定する範囲特定部２３１と、範囲特定部２３１によって特定された窓ガラスの範囲内に車外の景色以外の物体が所定時間以上映っているか否かを判定する判定部２３２と、判定部２３２によって窓ガラスの範囲内に車外の景色以外の物体が所定時間以上映っていると判定された場合、視界不良である旨を通知する通知部２５と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

車内に設置され、前記車内を撮像する撮像部と、
前記撮像部によって撮像された、静止画または動画を含む画像を用いて前記画像に映る前記車内の窓ガラスの範囲を特定する範囲特定部と、
前記範囲特定部によって特定された前記窓ガラスの範囲内に車外の景色以外の物体が所定時間以上映っているか否かを判定する判定部と、
前記判定部によって前記窓ガラスの範囲内に車外の景色以外の物体が所定時間以上映っていると判定された場合、視界不良である旨を通知する通知部と、を備える
ことを特徴する運転支援装置。

【請求項2】

前記窓ガラスの範囲とは、前記撮像部から前記車外の景色を撮像する際に妨げとなる物体が存在しない場合において前記画像に映る窓ガラスの範囲と定義され、
前記判定部によって判定される判定条件には、前記窓ガラスの範囲内で所定の動きが検出されたか否か、前記窓ガラスの範囲内かつ所定範囲以上で所定の色が検出されたか否か、前記窓ガラスの範囲内で乗員もしくは荷物が検出されたか否か、またはこれらの組合せが含まれる
ことを特徴する請求項１に記載の運転支援装置。

【請求項3】

前記判定部は、前記判定条件の少なくとも１つについてスコアを算出し、算出されたスコアが所定値以上である場合に前記窓ガラスの範囲内に車外の景色以外の物体が所定時間以上映っていると判定する
ことを特徴する請求項２に記載の運転支援装置。

【請求項4】

前記スコアは、前記所定の色が付着している範囲が広いほど大きくなる、前記乗員もしくは前記荷物の大きさが大きいほど大きくなる、または、前記乗員の人数もしくは前記荷物の個数が多いほど大きくなる
ことを特徴する請求項３に記載の運転支援装置。

【請求項5】

端末装置のコンピュータに、
車内を撮像した画像を取得するステップと、
取得された、静止画または動画を含む画像を用いて前記画像に映る前記車内の窓ガラスの範囲を特定するステップと、
特定された前記窓ガラスの範囲内に車外の景色以外の物体が所定時間以上に映っているか否かを判定するステップと、
前記窓ガラスの範囲内に車外の景色以外の物体が所定時間以上映っていると判定された場合、視界不良である旨を通知するステップと、を実行させる
ことを特徴する運転支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転支援装置及び運転支援プログラムに関する。

【背景技術】

【0002】

従来より、ウィンドウの外界を撮像するカメラを車室内に設置し、このカメラによる撮像画像を処理してウィンドウの視界不良を判断する発明が知られている（特許文献１）。特許文献１に記載された発明は、湿気によるウィンドウ内側の曇り、ガラス自体の汚れ等による視界不良を検知する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１１－１３９２６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、窓ガラスの視界不良の原因は、曇り、汚れだけではない。乗員、荷物なども視界不良の原因になりうる。特許文献１に記載された発明はこの点を考慮しておらず、改善の余地がある。

【0005】

そこで、本発明は、このような状況に鑑みてなされたものであり、運転環境が好ましくないことをユーザに気づかせることが可能となる運転支援装置及び運転支援プログラムの提供を目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る運転支援装置は、車内に設置され、車内を撮像する撮像部と、撮像部によって撮像された、静止画または動画を含む画像を用いて画像に映る車内の窓ガラスの範囲を特定する範囲特定部と、範囲特定部によって特定された窓ガラスの範囲内に車外の景色以外の物体が所定時間以上映っているか否かを判定する判定部と、判定部によって窓ガラスの範囲内に車外の景色以外の物体が所定時間以上映っていると判定された場合、視界不良である旨を通知する通知部と、を備える。

【発明の効果】

【0007】

本発明によれば、運転環境が好ましくないことをユーザに気づかせることが可能となる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の実施形態に係る運転支援装置１の構成図である。

【図2】図２は、バックミラーから見た車内後方を示す画像を説明する図である。

【図3】図３は、バックミラーから見た車内後方を示す画像を説明する図である。

【図4】図４は、バックミラーから見た車内後方を示す画像を説明する図である。

【図5】図５は、本発明の実施形態に係る運転支援装置１の一動作例を説明するフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

【0010】

図１を参照して運転支援装置１の構成例を説明する。運転支援装置１は車内に設置される。図１に示すように、運転支援装置１は、ドライブレコーダ１０と、コントローラ２０と、スピーカ３０と、ディスプレイ３１とを備える。

【0011】

ドライブレコーダ１０は、搭載されている自車両の周辺の画像及び車内の画像、音声を記録する。図１に示すように、ドライブレコーダ１０は、インターフェース１１、撮像部１２、記憶装置１３を備える。本実施形態ではドライブレコーダ１０は、バックミラー一体型のドライブレコーダとして説明するが、これに限定されない。バックミラーが映す画像（リアガラス及びサイドガラスが映る画像）、フロントガラスが映る画像を取得できれば足りる。

【0012】

インターフェース１１は、ネットワークアダプタなどのハードウェア、各種の通信用ソフトウェア、及びこれらの組み合わせとして実装され、コントローラ２０との間でデータを送受信するために用いられる。

【0013】

撮像部１２は、ドライブレコーダ１０に内蔵されるカメラである。撮像部１２はＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有する。撮像部１２は、リアガラスが映る画像、サイドガラスが映る画像、フロントガラスが映る画像、またはこれらのガラスが同時に映る画像（例えばリアガラスとサイドガラスが同時に映る画像）を撮像する。画像は、静止画でもよく動画でもよい。本実施形態では、上記の画像が取得できれば足りるため、ドライブレコーダ１０（ドライブレコーダ１０に内蔵されたカメラ）は必須ではない。例えば、ドライブレコーダ１０の代わりに車内にスマートフォンをセットし、スマートフォンに内蔵されたカメラが上記の画像を取得してもよい。この場合、コントローラ２０はスマートフォンから画像を取得すればよい。

【0014】

記憶装置１３は、撮像部１２によって撮像された画像、マイク（図示しない）によって取得された音声を記録する装置であり、フラッシュメモリなどの不揮発性メモリ、ハードディスクなどである。

【0015】

コントローラ２０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部（インターフェース２１）、記憶装置２４を備える汎用のマイクロコンピュータである。マイクロコンピュータには、運転支援装置１として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは運転支援装置１が備える複数の情報処理回路として機能する。なおここでは、ソフトウェアによって運転支援装置１が備える複数の情報処理回路を実現する例を示すが、もちろん以下に示す各情報処理を実行するための専用のハードウェアを用意して情報処理回路を構成することも可能である。また複数の情報処理回路を個別のハードウェアにより構成してもよい。コントローラ２０は、端末装置のコンピュータに該当する。コントローラ２０は、複数の情報処理回路の一例として、画像取得部２２と、画像解析部２３と、通知部２５とを備える。画像解析部２３は範囲特定部２３１と、判定部２３２に分類される。

【0016】

次に図２～４を参照して、画像取得部２２、範囲特定部２３１、判定部２３２、及び通知部２５の動作の詳細について説明する。図２～４は、バックミラー（撮像部１２）から見た車内後方を示す画像である。図２～４に示す画像は、撮像部１２によって撮像される。

【0017】

画像取得部２２は、インターフェース１１，２１を介して撮像部１２によって撮像された画像を取得する。図２において、符号４０はサイドガラスを示し、符号４１はリアガラスを示し、符号５０は後部座席のシートを示す。符号４２は、リアガラス４１の範囲を示す。

【0018】

図３に示す符号６０は、車内の後部に積まれた荷物（ダンボール）を示す。図２と図３を比較すると、ダンボール６０によってリアガラス４１の範囲４２が小さくなっていることがわかる。ダンボール６０は、撮像部１２から車外の景色を撮像する際に妨げとなる物体といえる。つまりダンボール６０は、視界を悪化させる物体といえる。範囲特定部２３１は、撮像部１２によって撮像された画像を用いて画像に映る車内の窓ガラスの範囲を特定する。範囲特定部２３１によって特定される窓ガラスの範囲とは、撮像部１２から車外の景色を撮像する際に妨げとなる物体が存在しない場合において画像に映る窓ガラスの範囲と定義される。したがって、図２に示す範囲４２が、範囲特定部２３１によって特定される窓ガラスの範囲である。図３に示す範囲４２は、範囲特定部２３１によって特定される窓ガラスの範囲ではない。図３に示す範囲４２は、範囲特定部２３１によって特定された図２の範囲４２が、小さくなっていることを示すものである。ここでいう「小さくなった」とは、ダンボール６０の存在によって概念的に小さくなっていることを意味するものであり、現実にリアガラス４１の範囲が小さくなったことを意味するものではない。範囲特定部２３１による特定方法の一例を説明する。ドライブレコーダ１０の設置場所は固定されているため（バックミラーに設置）、撮像部１２によって撮像される範囲も固定となる。よってリアガラス４１、サイドガラス４０を示す座標群を予め記憶装置２４に記憶させておけば、範囲特定部２３１は記憶装置２４を参照することにより自動的に窓ガラスの範囲を特定できる。

【0019】

判定部２３２は、範囲特定部２３１によって特定された、図２に示す範囲４２内に車外の景色以外の物体が所定時間以上映っているか否かを判定する。図２に示す例では、範囲４２内に車外の景色以外の物体が映っていないため、判定部２３２は、物体は映っていないと判定する。一方で、図３に示す例では、「図２に示す範囲４２内」にダンボール６０が映っている。したがって、ダンボール６０が所定時間以上画像に映っている場合、判定部２３２は、物体は映っていると判定する。所定時間は特に限定されないが、一例として、ドライバが車両に乗り込んでから車両を動かすまでの時間である。

【0020】

ここで、撮像部１２から車外の景色を撮像する際に妨げとなる物体は、ダンボール６０に限定されない。例えば、図４に示すように、後部座席のシート５０に乗車する乗員７０、７１も妨げとなる物体となりうる。乗員７０、７１の頭部（もちろん頭部以外の身体も含む）によって、撮像部１２から見て車外の景色が妨げられるからである。その他として、ダンボール６０以外の荷物（ゴルフバッグ、スーツケースなど）、窓ガラスの曇り、窓ガラスに付着した泥なども妨げとなる物体となりうる。なお、基本的に常時車両に搭載される物体は妨げとなる物体から除外される。例えば、図２～４に示す後部座席のヘッドレストより高いヘッドレストが採用される車両であれば、そのヘッドレストによって車外の景色が妨げられる可能性があるが、そのようなヘッドレストは妨げとなる物体から除外される。

【0021】

繰り返しになるが、図４に示す範囲４２は、範囲特定部２３１によって特定される窓ガラスの範囲ではない。図４に示す範囲４２は、図３に示す範囲４２と同様に、範囲特定部２３１によって特定された図２の範囲４２が、乗員７０、７１の存在が原因で小さくなっていることを示すものである。

【0022】

通知部２５は、判定部２３２によって窓ガラスの範囲内に車外の景色以外の物体が所定時間以上映っていると判定された場合、視界不良である旨を通知する。図３、図４に照らして具体的に説明すれば、ダンボール６０または乗員７０、７１が所定時間以上映っていると判定された場合、通知部２５は視界不良である旨をユーザ（主にドライバ）に通知する。通知方法の一例として、通知部２５はスピーカ３０を介して音声で「リアガラスの視界が不良です」とユーザに通知する。または通知部２５はディスプレイ３１に「リアガラスの視界が不良です」と表示してユーザに伝えてもよい。なおディスプレイ３１は、カーナビゲーション装置のディスプレイでもよく、ディスプレイメータでもよく、ヘッドアップディスプレイでもよい。その他の通知として、視界不良であることがユーザに伝われば足りるため、インジケータ（例えばディスプレイメータ内のインジケータ）を点灯または点滅させてもよい。

【0023】

判定部２３２は、範囲特定部２３１によって特定された、図２に示す範囲４２内に車外の景色以外の物体が所定時間以上映っているか否かを判定する、と説明したが、これに限定されない。判定部２３２は、さらに他の条件を加えて、妨げとなる物体が映っているか否かを判定してもよい。他の条件として、妨げとなる物体が図２に示す範囲４２において、所定範囲に渡って映っているか否か、が含まれてもよい。ダンボール６０または乗員７０、７１が図２に示す範囲４２を遮る場合であっても、遮る範囲が運転の邪魔にならなければ、視界を悪化させるとまではいえない。よって、判定部２３２は、範囲特定部２３１によって特定された、図２に示す範囲４２内に車外の景色以外の物体が所定時間以上、所定範囲に渡って映っているか否かを判定してもよい。判定後の動作は上述と同じであるため記載を省略する。所定範囲は、とくに限定されないが、図２に示す範囲４２の７０％と設定されてもよい。

【0024】

他の条件として、窓ガラスの範囲内で所定の動きが検出されたか否か、窓ガラスの範囲内かつ所定範囲以上で所定の色が検出されたか否か、窓ガラスの範囲内で乗員もしくは荷物が検出されたか否か、またはこれらの組合せが含まれてもよい。判定部２３２は、「窓ガラスの範囲内で所定の動きが検出されたか否か」、「窓ガラスの範囲内かつ所定範囲以上で所定の色が検出されたか否か」、「窓ガラスの範囲内で乗員もしくは荷物が検出されたか否か」の判定条件のうち、少なくとも１つについてスコアを算出し、算出されたスコアが所定値以上である場合に、妨げとなる物体が所定時間以上映っていると判定してもよい。もちろん３つの判定条件のすべてについてスコアが算出されてもよい。所定値については実験、シミュレーションを通じて求めることができる。

【0025】

判定部２３２によって算出されるスコアについて説明する。「窓ガラスの範囲内で所定の動きが検出されたか否か」の一例は、図２に示す範囲４２内で車外の景色に関する動きベクトルが検出されたか否かを意味する。動きベクトルとは、車外の景色に映る物体の移動方向、移動量を表すものである。検出された動きベクトルの数が多いほど、スコアは小さくなる。一方で、検出された動きベクトルの数が少ないほど、スコアは大きくなる。検出された動きベクトルの数が少ないほど、映っている車外の景色が少ないといえ、視界は不良といえるからである。

【0026】

「窓ガラスの範囲内かつ所定範囲以上で所定の色が検出されたか否か」の一例は、図２に示す範囲４２において、所定範囲以上に渡って曇りを示す色または泥を示す色が検出されたか否かを意味する。ここでいう所定範囲とは、例えば図２に示す範囲４２の３０％～１００％である。図２に示す範囲４２の３０％～１００％において、曇りを示す色または泥を示す色が付着している範囲が狭いほど、スコアは小さくなる。一方で、曇りを示す色または泥を示す色が付着している範囲が広いほど、スコアは大きくなる。曇りを示す色または泥を示す色が付着している範囲が広いほど、視界は不良といえるからである。

【0027】

「窓ガラスの範囲内で乗員または荷物が検出されたか否か」の一例は、図２に示す範囲４２内で乗員７０、７１またはダンボール６０が検出されたか否かを意味する。乗員７０、７１またはダンボール６０が小さいほど、スコアは小さくなる。一方で、乗員７０、７１またはダンボール６０が大きいほど、スコアは大きくなる。乗員７０、７１またはダンボール６０が大きいほど、視界は不良といえるからである。また、乗員または荷物については、大きさだけではなく、人数、個数を考慮してもよい。この場合、検出された乗員の人数が多いほど、または、検出された荷物の個数が多いほど、スコアは大きくなる。検出された乗員の人数が多いほど、または、検出された荷物の個数が多いほど、視界は不良といえるからである。乗員もしくは荷物の大きさ、または数量に関しては、どちらか一方のみでスコアが算出されてもよく、両方を組み合せてスコアが算出されてもよい。

【0028】

次に、図５に示すフローチャートを参照して、運転支援装置１の一動作例を説明する。ステップＳ１０１において、画像取得部２２は、インターフェース１１，２１を介して撮像部１２によって撮像された画像を取得する。処理はステップＳ１０３に進み、範囲特定部２３１は、撮像部１２によって撮像された画像を用いて画像に映る車内の窓ガラスの範囲を特定する。処理はステップＳ１０５に進み、判定部２３２は、上記で説明した動きベクトル、曇りを示す色または泥を示す色、乗員または荷物の大きさ、数量に関するスコアを算出する。処理はステップＳ１０７に進み、判定部２３２は、算出されたスコアを用いて、範囲特定部２３１によって特定された範囲内に車外の景色以外の物体が所定時間以上映っているか否かを判定する。判定部２３２によって窓ガラスの範囲内に車外の景色以外の物体が所定時間以上映っていると判定された場合（ステップＳ１０９でＹｅｓ）、処理はステップＳ１１１に進み、通知部２５は視界不良である旨をユーザに通知する。判定部２３２によって窓ガラスの範囲内に車外の景色以外の物体が所定時間以上映っていると判定されない場合（ステップＳ１０９でＮｏ）、一連の処理は終了する。なおステップＳ１０５に示すスコア算出は必須ではない。

【0029】

（作用効果）
以上説明したように、本実施形態に係る運転支援装置１によれば、以下の作用効果が得られる。

【0030】

運転支援装置１は、車内を撮像する撮像部１２と、撮像部１２によって撮像された、静止画または動画を含む画像を用いて画像に映る車内の窓ガラスの範囲を特定する範囲特定部２３１と、範囲特定部２３１によって特定された窓ガラスの範囲内に車外の景色以外の物体が所定時間以上映っているか否かを判定する判定部２３２と、判定部２３２によって窓ガラスの範囲内に車外の景色以外の物体が所定時間以上映っていると判定された場合、視界不良である旨を通知する通知部２５と、を備える。これにより、運転環境が好ましくないこと（視界不良であること）をユーザ（主にドライバ）に気づかせることが可能となる。また、視界不良であるか否かが自動的に判定されるため、ユーザが運転環境を確認するための時間を短縮させることが可能となる。窓ガラスには、フロントガラス、サイドガラス、及びリアガラスが含まれる。

【0031】

窓ガラスの範囲とは、撮像部１２から車外の景色を撮像する際に妨げとなる物体が存在しない場合において画像に映る窓ガラスの範囲と定義される。したがって、窓ガラスの範囲とは、図２に示す範囲４２を意味するものであり、図３～図４に示す範囲４２を意味するものではない。判定部２３２によって判定される判定条件には、窓ガラスの範囲内で所定の動きが検出されたか否か、窓ガラスの範囲内かつ所定範囲以上で所定の色が検出されたか否か、窓ガラスの範囲内で乗員もしくは荷物が検出されたか否か、またはこれらの組合せが含まれてもよい。これにより視界不良であるか否かを精度よく判定することが可能となる。

【0032】

判定部２３２は、判定条件の少なくとも１つについてスコアを算出してもよい。判定部２３２は、算出されたスコアが所定値以上である場合に窓ガラスの範囲内に車外の景色以外の物体が所定時間以上映っていると判定してもよい。これにより視界不良であるか否かを精度よく判定することが可能となる。スコアは、所定の色が付着している範囲が広いほど大きくなる、乗員もしくは荷物の大きさが大きいほど大きくなる、または、乗員の人数もしくは荷物の個数が多いほど大きくなる。所定の色の一例は、曇りを示す色または泥を示す色である。

【0033】

上述の実施形態に記載される各機能は、１または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や回路部品等の装置を含む。

【0034】

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

【符号の説明】

【0035】

１ 運転支援装置
１２ 撮像部
２０ コントローラ
２２ 画像取得部
２３ 画像解析部
２３１ 範囲特定部
２３２ 判定部
２５ 通知部

【図1】

【図2】

【図3】

【図4】

【図5】