ホーム > 特許ランキング > 株式会社デンソーテン
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-25
(45)【発行日】2024-10-03
(54)【発明の名称】判定装置及び判定方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240926BHJP
G06T 7/269 20170101ALI20240926BHJP
G06T 7/70 20170101ALI20240926BHJP
G06V 20/58 20220101ALI20240926BHJP
G08G 1/16 20060101ALI20240926BHJP
【ＦＩ】
G06T7/00 650
G06T7/269
G06T7/70 B
G06V20/58
G08G1/16 D
【請求項の数】
6
(21)【出願番号】P 2021009005
(22)【出願日】2021-01-22
(65)【公開番号】P2022112952
(43)【公開日】2022-08-03
【審査請求日】2023-12-05
(73)【特許権者】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】三野 敦
(72)【発明者】
【氏名】藤本 知之
(72)【発明者】
【氏名】村角 周樹
(72)【発明者】
【氏名】谷 泰司
(72)【発明者】
【氏名】橋本 順次
(72)【発明者】
【氏名】笠目 知秀
【審査官】菊池 伸郎
(56)【参考文献】
【文献】特開２０２０－０５２６４７（ＪＰ，Ａ）
【文献】特開２０１７－０９７５８１（ＪＰ，Ａ）
【文献】特開２００７－２７９８０５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００－７／９０
Ｇ０６Ｖ １０／００－４０／７０
Ｇ０８Ｇ １／１６
(57)【特許請求の範囲】
【請求項1】
走行中の車両から撮影された画像内のカーブミラーに映る物体のオプティカルフローを抽出する抽出部と、前記画像から、前記カーブミラーの向きを検出する検出部と、
前記カーブミラーの向きと前記物体のオプティカルフローの向きを基に、前記物体が前記車両に接近しているか否かを判定する判定部と、
を有することを特徴とする判定装置。
【請求項2】
前記判定部は、前記画像内の前記カーブミラーの位置、及び前記検出部によって検出された前記カーブミラーの向きに応じて定められる条件を、前記物体のオプティカルフローの向きが満たすか否かによって、前記物体が前記車両に接近しているか否かを判定することを特徴とする請求項１に記載の判定装置。
【請求項3】
前記判定部は、前記物体が前記車両に接近していると判定した場合、前記物体のオプティカルフローの向きを基に前記物体がどの方向から接近しているかをさらに判定することを特徴とする請求項２に記載の判定装置。
【請求項4】
前記判定部は、前記物体のオプティカルフローと、前記車両の移動に起因して前記画像内のカーブミラーに生じるオプティカルフローと、の変化量の差分が所定の量より大きい場合、前記物体が接近していると判定することを特徴とする請求項２又は３に記載の判定装置。
【請求項5】
前記抽出部は、走行中の車両から撮影された画像内のカーブミラーに映る物体であって、あらかじめ登録された背景に含まれない物体のオプティカルフローを抽出し、前記判定部は、前記オプティカルフローが下向きの成分を含む場合、前記物体が前記車両に接近していると判定することを特徴とする請求項１に記載の判定装置。
【請求項6】
判定装置によって実行される判定方法であって、走行中の車両から撮影された画像内のカーブミラーに映る物体のオプティカルフローを抽出する抽出工程と、
前記画像から、前記カーブミラーの向きを検出する検出工程と、
前記カーブミラーの向きと前記物体のオプティカルフローの向きを基に、前記物体が前記車両に接近しているか否かを判定する判定工程と、
を含むことを特徴とする判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、判定装置及び判定方法に関する。
【背景技術】
【0002】
従来、車両に搭載カメラで撮影された画像内のカーブミラーに映る特徴点の移動ベクトル（オプティカルフロー、移動フロー）の向きから、自車両に近付いてくる移動物体、あるいは、自車両から離れていく移動物体を判断する技術が知られている（例えば、特許文献１を参照。）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００５－２３４９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、走行中の車両によって撮影された画像から、カーブミラーに映る物体が車両に接近して来ているか否かを判断できない場合があるという問題がある。
【0005】
例えば、図５に示すように、画像を撮影する車両（以降、自車両）が停止中である場合、自車両に接近してくる物体（図５の例では車両）のオプティカルフローは下向きの成分を含む。図５は、カーブミラーに映る物体の例を示す図である。
【0006】
一方で、図６に示すように、自車両が走行中の場合、自車両の移動に起因してカーブミラー内の静止物（背景）がオプティカルフローを生じさせる。図６は、カーブミラーに映る物体の例を示す図である。図６の車両は停止中であるものとする。
【0007】
このため、図６の例では、自車両が走行中の場合、画像に映る物体のオプティカルフローの向きだけでは、当該物体が自車両に接近して来ているか否かを判断できない。
【0008】
本発明は、上記に鑑みてなされたものであって、走行中の車両によって撮影された画像から、カーブミラーに映る物体が車両に接近して来ているか否かを判断できる判定装置及び判定方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上述した課題を解決し、目的を達成するために、本発明に係る判定装置は、抽出部と、検出部と、判定部と、を有する。抽出部は、走行中の車両から撮影された画像内のカーブミラーに映る物体のオプティカルフローを抽出する。検出部は、画像から、カーブミラーの向きを検出する。判定部は、カーブミラーの向きと物体のオプティカルフローの向きを基に、物体が車両に接近しているか否かを判定する。
【発明の効果】
【0010】
本発明によれば、走行中の車両によって撮影された画像から、カーブミラーに映る物体が車両に接近して来ているか否かを判断することができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、添付図面を参照して、本願の開示する判定装置及び判定方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。
【0013】
【0014】
判定装置１０は、走行中の車両に搭載されたカメラによって撮影された画像を入力として受け付ける。
【0015】
そして、判定装置１０は、入力された画像に映るカーブミラーの領域の画像を基に、物体が車両に接近しているか否かを判定する。
【0016】
判定装置１０は、車両に備えられていてもよいし、車両に備えられた車載装置とインターネット等のネットワークを介して接続されるサーバであってもよい。
【0017】
なお、オプティカルフローは、連続する複数の画像（例えば動画像）における、特徴点の位置の変化をベクトルで表したものである。以降の説明では、オプティカルフローと移動ベクトルは同義であるものとする。
【0018】
【0019】
まず、図２に示すように、車両Ｖ１が走行中であって、車載カメラの光軸中心に対して右側にカーブミラーＭ１０がある場合を考える。
【0020】
この場合、車両Ｖ１の移動に起因して、画像中のカーブミラーＭ１０内に左下向きの移動ベクトルＦ１１が生じる。一方、車両Ｖ１に左側から接近して来る車両Ｖ２の移動に起因して、画像中のカーブミラーＭ１０内に右下向きの移動ベクトルＦ１２が生じる。
【0021】
次に、図３に示すように、車両Ｖ１が走行中であって、車載カメラの光軸中心に対して左側にカーブミラーＭ１０がある場合を考える。
【0022】
この場合、車両Ｖ１の移動に起因して、画像中のカーブミラーＭ１０内に右下向きの移動ベクトルＦ２１が生じる。さらに、車両Ｖ１に左側から接近して来る車両Ｖ２の移動に起因して、画像中のカーブミラーＭ１０内に右下向きの移動ベクトルＦ２２が生じる。
【0023】
ここで、走行中の車両Ｖ１が観測する移動物体のベクトルは、車両Ｖ１が生じさせる移動ベクトルと移動物体の移動ベクトルの合成となる。しかしながら、通常は、移動物体のベクトルは、車両Ｖ１が生じさせる移動ベクトルよりも大きくなる。
【0024】
このため、図２のケースであれば、車両Ｖ１の移動ベクトルＦ１１と向きが異なる移動ベクトルＦ１２を、移動物体の移動ベクトルとして検知することができる。
【0025】
これに対し、図３のケースでは、車両Ｖ１の移動ベクトルＦ２１と移動ベクトルＦ２２の向きが同じであることから、移動物体の移動ベクトルを向きから単純に検知することは困難である。なお、向きが同じであるとは、向きが完全に一致することだけでなく、角度の差分が一定値以下であることであってもよい（例えば５度以内）。
【0026】
本実施形態の１つの目的は、走行中の自車両と移動物体が同一方向の移動ベクトルを生じさせるときに、移動物体が自車両に接近して来ているか否かを判定することである。
【0027】
図１に示すように、判定装置１０は、入出力部１１、記憶部１２及び制御部１３を有する。
【0028】
入出力部１１は、データの入力及び出力を行うためのインタフェースである。入出力部１１は、カメラ又は他の装置から画像の入力を受け付けることができる。
【0029】
また、入出力部１１は、判定結果として、例えば物体が接近しているか否かを、テキストメッセージ、音声、バイナリデータ等の形式で出力する。
【0030】
判定装置１０の制御部１３及び記憶部１２は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ、入出力ポート等を有するコンピュータや各種の回路により実現される。
【0031】
記憶部１２は、ＲＡＭやフラッシュメモリに対応する。ＲＡＭやフラッシュメモリは、判定装置１０で実行される各種プログラムの情報等を記憶することができる。
【0032】
なお、判定装置１０は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【0033】
コンピュータのＣＰＵは、例えばＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部１３の検知部１３１、抽出部１３２、検出部１３３及び判定部１３４として機能する。
【0034】
検知部１３１は、走行中の車両から撮影された画像内のカーブミラーを検知する。
【0035】
抽出部１３２は、走行中の自車両から撮影された画像内のカーブミラーに映る物体の移動ベクトル（オプティカルフロー）を抽出する。例えば、抽出部１３２は、既存の画像処理技術を用いて移動ベクトルの抽出を行うことができる。
【0036】
検出部１３３は、画像から、カーブミラーの向きを検出する。検出部１３３は、既存の手法（参考文献：特開２０１９－８７０１号公報）を用いてカーブミラーの向きを検出してもよい。
【0037】
判定部１３４は、カーブミラーの向きと物体の移動ベクトルの向きを基に、物体が車両に接近しているか否かを判定する。
【0038】
これにより、判定装置１０は、移動ベクトルの向きだけでなく、カーブミラーの向きを考慮して物体が自車両に接近しているか否かを精度良く判定することができる。
【0039】
例えば、判定部１３４は、画像内のカーブミラーの位置、及び検出部１３３によって検出されたカーブミラーの向きに応じて定められる条件を、物体の移動ベクトルの向きが満たすか否かによって、物体が車両に接近しているか否かを判定する。
【0040】
さらに、判定部１３４は、物体が車両に接近していると判定した場合、物体の移動ベクトルの向きを基に物体がどの方向から接近しているかをさらに判定する。
【0041】
例えば、図３のようにカーブミラーが左側に位置し、左向きである場合、物体の移動ベクトルの向きが右下であるという条件が設定される。
【0042】
このとき、右下向きの移動ベクトルが存在すれば条件が満たされることになるため、判定部１３４は、物体が左側から自車両に接近していると判定する。
【0043】
このように、判定装置１０は、カーブミラーの位置及び向きを基に、物体が接近しているか否か、及び接近方向を判定することができる。
【0044】
さらに、判定部１３４は、物体の移動ベクトルと、車両の移動に起因して画像内のカーブミラーに生じる移動ベクトルと、の変化量の差分が所定の量より大きい場合、物体が接近していると判定する。
【0045】
これにより、判定装置１０は、図３のようなケースであっても、物体が自車両に接近しているか否かを判定することができる。
【0046】
例えば、自車両の移動量（例えば、移動ベクトルの絶対値）と物体の移動ベクトルが同じ向きであり、かつ長さ（絶対値、量）が比例しているか又は同一であれば、判定装置１０は、当該物体が接近していないと判定することができる。この場合、物体の移動ベクトルは自車両の移動に起因して生じていると考えられる。
【0047】
一方、自車両の移動量（例えば、移動ベクトルの絶対値）と物体の移動ベクトルが同じ向きであり、かつ長さ（絶対値、量）が比例していない場合、判定装置１０は、当該物体が接近していると判定することができる。
【0048】
例えば、自車両の移動量を物体の移動ベクトルの絶対値が大きく上回っている場合、物体は自車両に接近していることが考えられる。
【0049】
さらに、抽出部１３２は、走行中の車両から撮影された画像内のカーブミラーに映る物体であって、あらかじめ登録された背景に含まれない物体の移動ベクトルを抽出してもよい。
【0050】
この場合、判定部１３４は、移動ベクトルが下向きの成分を含む場合、物体が車両に接近していると判定する。
【0051】
このように、あらかじめカーブミラーに映る背景が既知の場所であれば、物体の移動ベクトルを背景から分離して判定を行うことができ、処理負荷を低減し精度を向上させることができる。
【0052】
【0053】
図４に示すように、まず、検知部１３１は、入力された画像内のカーブミラーを検知する（ステップＳ１０１）。次に、抽出部１３２は、カーブミラー内の画像の特徴点を抽出する（ステップＳ１０２）。
【0054】
ここで、抽出した特徴点に基づく下向きの移動ベクトルがない場合（ステップＳ１０３：Ｎｏ）、判定部１３４は、物体が接近していないと判定する（ステップＳ１１０）。
【0055】
また、下向きの移動ベクトルがあり（ステップＳ１０３：Ｙｅｓ）、自車両が停車中の場合（ステップＳ１０４：Ｙｅｓ）、判定部１３４は、物体が接近していると判定する（ステップＳ１０９）。
【0056】
さらに、下向きの移動ベクトルがあり（ステップＳ１０３：Ｙｅｓ）、自車両が停車中でない場合（ステップＳ１０４：Ｎｏ）、判定装置１０はステップＳ１０５へ進む。
【0057】
ここで、検出部１３３は、画像からカーブミラーの向きを検出する（ステップＳ１０５）。そして、判定部１３４は、物体の移動ベクトルの向きを取得する（ステップＳ１０６）。
【0058】
ここで、自車両が生じさせる移動ベクトルと物体の移動ベクトルが逆向きである場合（ステップＳ１０７：Ｙｅｓ）、判定部１３４は、物体が接近していると判定する（ステップＳ１０９）。
【0059】
一方、自車両が生じさせる移動ベクトルと物体の移動ベクトルが逆向きでない場合（ステップＳ１０７：Ｎｏ）、判定部１３４は、自車両の移動量と物体の移動ベクトルが比例しているか否かを判定する（ステップＳ１０８）。
【0060】
続いて、自車両の移動量と物体の移動ベクトルが比例している場合（ステップＳ１０８：Ｙｅｓ）、判定部１３４は、物体が接近していないと判定する（ステップＳ１１０）。
【0061】
また、自車両の移動量と物体の移動ベクトルが比例していない場合（ステップＳ１０８：Ｎｏ）、判定部１３４は、物体が接近していると判定する（ステップＳ１０９）。
【0062】
なお、ステップＳ１０７における「逆向き」は、「同じ向きでない」に置き換えられてもよい。ここで、同じ向きとは、移動ベクトルの角度の差分が所定範囲内にあることである。
【0063】
例えば、所定範囲を５度以内とすると、判定部１３４は、自車両が生じさせる移動ベクトルと物体の移動ベクトルの角度の差が５度以内の場合、ステップＳ１０７：Ｎｏに進む。
【0064】
上述してきたように、実施形態に係る判定装置１０は、抽出部１３２と、検出部１３３と、判定部１３４と、を有する。抽出部１３２は、走行中の車両から撮影された画像内のカーブミラーに映る物体のオプティカルフローを抽出する。検出部１３３は、画像から、カーブミラーの向きを検出する。判定部１３４は、カーブミラーの向きと物体のオプティカルフローの向きを基に、物体が車両に接近しているか否かを判定する。
【0065】
このように、判定装置１０は、カーブミラーの向きを考慮した上で判定を行う。このため、本実施形態によれば、走行中の車両によって撮影された画像から、カーブミラーに映る物体が車両に接近して来ているか否かを判断することができる。
【0066】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【0067】
１０ 判定装置
１１ 入出力部
１２ 記憶部
１３ 制御部
１３１ 検知部
１３２ 抽出部
１３３ 検出部
１３４ 判定部
１１ 入出力部
１２ 記憶部
１３ 制御部
１３１ 検知部
１３２ 抽出部
１３３ 検出部
１３４ 判定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】