IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通テン株式会社の特許一覧

<>
  • 特許-判定装置及び判定方法 図1
  • 特許-判定装置及び判定方法 図2
  • 特許-判定装置及び判定方法 図3
  • 特許-判定装置及び判定方法 図4
  • 特許-判定装置及び判定方法 図5
  • 特許-判定装置及び判定方法 図6
  • 特許-判定装置及び判定方法 図7
  • 特許-判定装置及び判定方法 図8
  • 特許-判定装置及び判定方法 図9
  • 特許-判定装置及び判定方法 図10
  • 特許-判定装置及び判定方法 図11
  • 特許-判定装置及び判定方法 図12
  • 特許-判定装置及び判定方法 図13
  • 特許-判定装置及び判定方法 図14
  • 特許-判定装置及び判定方法 図15
  • 特許-判定装置及び判定方法 図16
  • 特許-判定装置及び判定方法 図17
  • 特許-判定装置及び判定方法 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-28
(45)【発行日】2024-12-06
(54)【発明の名称】判定装置及び判定方法
(51)【国際特許分類】
   G06T 7/70 20170101AFI20241129BHJP
   G06T 7/00 20170101ALI20241129BHJP
   G06V 20/58 20220101ALI20241129BHJP
   G08G 1/16 20060101ALI20241129BHJP
【FI】
G06T7/70 B
G06T7/00 650Z
G06V20/58
G08G1/16 D
【請求項の数】 8
(21)【出願番号】P 2021009004
(22)【出願日】2021-01-22
(65)【公開番号】P2022112951
(43)【公開日】2022-08-03
【審査請求日】2023-12-05
(73)【特許権者】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】三野 敦
(72)【発明者】
【氏名】藤本 知之
(72)【発明者】
【氏名】村角 周樹
(72)【発明者】
【氏名】谷 泰司
(72)【発明者】
【氏名】橋本 順次
(72)【発明者】
【氏名】笠目 知秀
【審査官】菊池 伸郎
(56)【参考文献】
【文献】特開2007-279805(JP,A)
【文献】特開2017-097581(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00-7/90
G06V 10/00-40/70
G08G 1/16
(57)【特許請求の範囲】
【請求項1】
車両から撮影されたカーブミラーの画像を解析する解析部と、
前記解析部による解析で得られた前記カーブミラーの鏡面の中心位置と、前記カーブミラーの支柱の位置と、の関係を基に前記カーブミラーの向きを判定する判定部と、
を有することを特徴とする判定装置。
【請求項2】
前記判定部は、前記カーブミラーの鏡面の中心位置と、前記カーブミラーの支柱に設けられた標識の位置と、の関係を基に前記カーブミラーの向きを判定することを特徴とする請求項1に記載の判定装置。
【請求項3】
前記判定部は、前記カーブミラーの鏡面の中心位置と、前記カーブミラーのひさしの領域の位置と、の関係を基に前記カーブミラーの向きを判定することを特徴とする請求項1又は2に記載の判定装置。
【請求項4】
前記判定部は、前記カーブミラーの鏡面の中心線の傾きを基に前記カーブミラーの向きを判定することを特徴とする請求項1又は2に記載の判定装置。
【請求項5】
前記判定部は、前記カーブミラーの鏡面の領域の画像のパターンを基に、前記カーブミラーの向きを判定することを特徴とする請求項1又は2に記載の判定装置。
【請求項6】
前記判定部は、前記画像に映る所定のオブジェクトが示す方向を基に、前記カーブミラーの向きを判定することを特徴とする請求項1又は2のいずれか1項に記載の判定装置。
【請求項7】
前記判定部は、前記画像に所定の位置関係を満たす2つのカーブミラーが映っている場合、前記2つのカーブミラーのうちの一方を左向きと判定し、他方を右向きと判定することを特徴とする請求項1又は2に記載の判定装置。
【請求項8】
判定装置によって実行される判定方法であって、
車両から撮影されたカーブミラーの画像を解析する解析工程と、
前記解析工程による解析で得られた前記カーブミラーの鏡面の中心位置と、前記カーブミラーの支柱の位置と、の関係を基に前記カーブミラーの向きを判定する判定工程と、
を含むことを特徴とする判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、判定装置及び判定方法に関する。
【背景技術】
【0002】
従来、カーブミラーの向きを判定する技術が知られている(例えば、特許文献1を参照)。例えば、カーブミラーの向きを判定する処理は、車両に接近して来る物体がカーブミラーに映っているか否かを判断する処理の一部として利用されることがある。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2019-8701号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、画像内のカーブミラーの向きを正確に判定できない場合があるという問題がある。例えば、特許文献1に記載の技術は、カーブミラーの柱部分の画像を分析し、向きを判定するものである。このため、柱部分が画像に映っていない場合はカーブミラーの判定は困難である。
【0005】
本発明は、上記に鑑みてなされたものであって、画像内のカーブミラーの向きを正確に判定することができる判定装置及び判定方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明に係る判定装置は、解析部と、判定部と、を有する。解析部は、車両から撮影されたカーブミラーの画像を解析する。判定部は、解析部による解析で得られた情報を基に、カーブミラーの向きを判定する。
【発明の効果】
【0007】
本発明によれば、画像内のカーブミラーの向きを正確に判定することができる。
【図面の簡単な説明】
【0008】
図1図1は、実施形態に係る判定装置の構成例を示す図である。
図2図2は、カーブミラーの向きの違いについて説明する図である。
図3図3は、カーブミラーの向きの違いについて説明する図である。
図4図4は、第1の判定方法を説明する図である。
図5図5は、第1の判定方法の手順を示すフローチャートである。
図6図6は、第2の判定方法を説明する図である。
図7図7は、第2の判定方法の手順を示すフローチャートである。
図8図8は、第3の判定方法を説明する図である。
図9図9は、第3の判定方法の手順を示すフローチャートである。
図10図10は、第4の判定方法を説明する図である。
図11図11は、第4の判定方法の手順を示すフローチャートである。
図12図12は、第5の判定方法を説明する図である。
図13図13は、第5の判定方法の手順を示すフローチャートである。
図14図14は、第6の判定方法を説明する図である。
図15図15は、第6の判定方法を説明する図である。
図16図16は、第6の判定方法の手順を示すフローチャートである。
図17図17は、第7の判定方法を説明する図である。
図18図18は、接近物に関する判定処理全体のフローチャートである。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本願の開示する判定装置及び判定方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。
【0010】
まず、図1を用いて、実施形態に係る判定装置について説明する。図1は、実施形態に係る判定装置の構成例を示す図である。
【0011】
判定装置10は、走行中の車両に搭載されたカメラによって撮影された画像を入力として受け付ける。
【0012】
そして、判定装置10は、入力された画像に映るカーブミラーの向きを判定する。例えば、判定装置10は、画像に映るカーブミラーが右向きであるか左向きであるかを判定する。
【0013】
判定装置10は、車両に備えられていてもよいし、車両に備えられた車載装置とインターネット等のネットワークを介して接続されるサーバであってもよい。
【0014】
例えば、カーブミラーの向きの判定は、カーブミラーに映る物体の接近判定に利用される場合がある。
【0015】
例えば、カーブミラー内に映った物体のオプティカルフローの向きで接近判定を行うことが考えられる。
【0016】
ここで、オプティカルフローは、連続する複数の画像(例えば動画像)における、特徴点の位置の変化をベクトルで表したものである。
【0017】
しかしながら、図2及び図3に示すように、オプティカルフローの向きだけでは、接近判定が正確にできない場合がある。図2及び図3は、カーブミラーの向きの違いについて説明する図である。
【0018】
図2図3において、カーブミラーは交差点付近の同じ位置に置かれている。一方で、図2のカーブミラーM10は右側を向いているのに対し、図3のカーブミラーM20は左側を向いている。
【0019】
図2では、自車両である車両V11から撮影した画像IMG10において、接近物体である車両V12が生じさせるオプティカルフローF11は左向きとなる。M11aは画像に映ったカーブミラーM10の領域である。また、V12aはカーブミラーM10に映った車両V12である。
【0020】
一方、図3では、自車両である車両V21から撮影した画像IMG20において、接近物体である車両V22が生じさせるオプティカルフローF21は右向きとなる。M21aは画像に映ったカーブミラーM20の領域である。また、V22aはカーブミラーM20に映った車両V22である。
【0021】
このように、カーブミラーの向きによって接近物体のオプティカルフローの向きは変化するため、接近物体の判定を行うためには、カーブミラーの向きを判定することが必要になる。
【0022】
図1に示すように、判定装置10は、入出力部11、記憶部12及び制御部13を有する。
【0023】
入出力部11は、データの入力及び出力を行うためのインタフェースである。入出力部11は、カメラ又は他の装置から画像の入力を受け付けることができる。
【0024】
また、入出力部11は、判定結果として、例えば画像に映るカーブミラーの向きを、テキストメッセージ、音声、バイナリデータ等の形式で出力する。
【0025】
判定装置10の制御部13及び記憶部12は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ、入出力ポート等を有するコンピュータや各種の回路により実現される。
【0026】
記憶部12は、RAMやフラッシュメモリに対応する。RAMやフラッシュメモリは、判定装置10で実行される各種プログラムの情報等を記憶することができる。
【0027】
なお、判定装置10は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【0028】
コンピュータのCPUは、例えばROMに記憶されたプログラムを読み出して実行することによって、制御部13の解析部131及び判定部132として機能する。
【0029】
解析部131は、車両から撮影されたカーブミラーの画像を解析する。例えば、解析部131は、既存の物体認識技術等を用いて、カーブミラー及び他の物体を認識する。さらに、解析部131は、認識したカーブミラー及び他の物体の位置座標及び画素値等のパラメータを算出する。
【0030】
具体的には、解析部131は、カーブミラーを構成する鏡面、ひさし、支柱、標識等を認識する。さらに、解析部131は、画像内の構造物、車両、道路標識等を認識する。
【0031】
判定部132は、解析部131による解析で得られた情報を基に、カーブミラーの向きを判定する。
【0032】
このように、判定装置10は、画像の解析結果を利用することにより、画像内のカーブミラーの向きを正確に判定することができる。
【0033】
判定部132は、以下に説明する判定方法のいずれか1つ又は複数を利用して判定を行うことができる。
【0034】
また、以下の図4図6図8図10図12図14図15及び図17は、車両のカメラで撮影された画像を示すものとする。
【0035】
また、説明における右及び左は、車両からの視点を基準としたものである。カーブミラーの鏡面からの視点を基準としたものではないことに注意されたい。
【0036】
このため、右向きは各画像の右側を向いていることを意味し、左向きは各画像の左側を向いていることを意味する。
【0037】
[第1の判定方法]
第1の判定方法では、判定部132は、カーブミラーの鏡面の中心位置と、カーブミラーの支柱の位置と、の関係を基にカーブミラーの向きを判定する。
【0038】
図4は、第1の判定方法を説明する図である。また、図5は、第1の判定方法の手順を示すフローチャートである。
【0039】
図4及び図5に示すように、まず、解析部131は、カーブミラーM101の鏡面部分の中心の位置座標(横軸の座標:x1)を検出する(ステップS101)。
【0040】
ただし、以降の説明において、横軸の座標の値は、図の右側ほど大きくなるものとする。
【0041】
次に、解析部131は、カーブミラーM101の支柱部分の中心の位置座標(横軸の座標:x2)を検出する(ステップS102)。
【0042】
ここで、x1>x2である場合(ステップS103:Yes)、判定部132は、カーブミラーM101が右向きであると判定する(ステップS104)。
【0043】
一方、x1>x2でない場合(ステップS103:No)、判定部132は、カーブミラーM101が左向きであると判定する(ステップS105)。
【0044】
第1の判定方法によれば、カーブミラーの構成物のみから向きを判定することができる。
【0045】
[第2の判定方法]
第2の判定方法では、判定部132は、カーブミラーの鏡面の中心位置と、カーブミラーの支柱に設けられた標識の位置と、の関係を基にカーブミラーの向きを判定する。
【0046】
図6は、第2の判定方法を説明する図である。また、図7は、第2の判定方法の手順を示すフローチャートである。
【0047】
図6及び図7に示すように、まず、解析部131は、カーブミラーM102の鏡面部分の中心の位置座標(横軸の座標:x3)を検出する(ステップS111)。
【0048】
次に、解析部131は、カーブミラーM102の支柱部分に設けられた「注意」と書かれた補助標識の中心の位置座標(横軸の座標:x4)を検出する(ステップS112)。
【0049】
ここで、x3>x4である場合(ステップS113:Yes)、判定部132は、カーブミラーM102が右向きであると判定する(ステップS114)。
【0050】
一方、x3>x4でない場合(ステップS113:No)、判定部132は、カーブミラーM102が左向きであると判定する(ステップS115)。
【0051】
第2の判定方法によれば、カーブミラーの構成物のみから向きを判定することができる。
【0052】
[第3の判定方法]
第3の判定方法では、判定部132は、カーブミラーM103の鏡面の中心位置と、カーブミラーM103のひさしの領域の位置と、の関係を基にカーブミラーM103の向きを判定する。
【0053】
図8は、第3の判定方法を説明する図である。また、図9は、第3の判定方法の手順を示すフローチャートである。
【0054】
図8及び図9に示すように、まず、解析部131は、カーブミラーM103の鏡面部分の中心の位置座標を検出する(ステップS121)。
【0055】
次に、解析部131は、鏡面部分の中心の右上部分と左上部分のオレンジ色の割合を算出する(ステップS122)。
【0056】
右上部分のオレンジ色の割合が左上部分に比べて大きい場合(ステップS123:Yes)、判定部132は、カーブミラーM103が右向きであると判定する(ステップS124)。
【0057】
一方、右上部分のオレンジ色の割合が左上部分に比べて大きくない場合(ステップS123:No)、判定部132は、カーブミラーM103が左向きであると判定する(ステップS125)。
【0058】
第3の判定方法は、カーブミラーのひさしがオレンジ色であることと、カーブミラーの向きと同じ側のひさし部分が、反対側のひさし部分に比べて大きく見えることを利用した方法である。
【0059】
第3の方法では、オレンジ色の割合の大きさだけでなく、明るさの違いを利用して判定を行ってもよい。
【0060】
例えば、判定部132は、ひさし部分(右上部分、左上部分)の輝度が小さい方の向きをカーブミラーの向きと判定する。
【0061】
これは、カーブミラーの向きと同じ側にはひさしの内側が見え、反対側のひさしの外側が見えるためである。この場合、カーブミラーの向きと同じ側のひさし部分の輝度が、反対側のひさし部分に比べて小さくなる。
【0062】
第3の判定方法によれば、カーブミラーを構成する鏡面部分及びひさし部分のみから向きを判定することができる。
【0063】
[第4の判定方法]
第4の判定方法では、判定部132は、カーブミラーの鏡面の中心線の傾きを基にカーブミラーの向きを判定する。
【0064】
図10は、第4の判定方法を説明する図である。また、図11は、第4の判定方法の手順を示すフローチャートである。
【0065】
図10及び図11に示すように、まず、解析部131は、鏡面部分の楕円形状の中心線の傾きを算出する(ステップS131)。
【0066】
中心線が右に傾いている場合(ステップS132:Yes)、判定部132は、カーブミラーM104が右向きであると判定する(ステップS133)。
【0067】
一方、中心線が右に傾いていない場合(ステップS132:No)、判定部132は、カーブミラーM104が左向きであると判定する(ステップS134)。
【0068】
第4の判定方法は、カーブミラーの形状が楕円かつ前傾して設置されていることを利用した方法である。
【0069】
第4の判定方法によれば、カーブミラーを構成する鏡面部分のみから向きを判定することができる。
【0070】
[第5の判定方法]
第5の判定方法では、判定部132は、カーブミラーの鏡面の領域の画像のパターンを基に、カーブミラーの向きを判定する。
【0071】
図12は、第5の判定方法を説明する図である。図13は、第5の判定方法の手順を示すフローチャートである。
【0072】
図12及び図13に示すように、まず、解析部131は、カーブミラーM105に映った画像を抽出する(ステップS141)。
【0073】
さらに、解析部131は、抽出した画像のパターンマッチングを行う(ステップS142)。例えば、解析部131は、画像内のカーブミラーM105以外の領域とのパターンマッチングを行う。
【0074】
そして、解析部131は、マッチする画像内の位置座標を検出する(ステップS143)。例えば、解析部131は、カーブミラーM105に映った画像が、道路標識202の付近の領域とマッチした場合、道路標識202の付近の位置座標を検出する。
【0075】
検出した位置座標がカーブミラーM105よりも右側である場合(ステップS144:Yes)、判定部132は、カーブミラーM105が右向きであると判定する(ステップS145)。
【0076】
検出した位置座標がカーブミラーM105よりも右側でない場合(ステップS144:No)、判定部132は、カーブミラーM105が左向きであると判定する(ステップS146)。
【0077】
さらに、判定部132は、カーブミラーM105に映った領域のパラメータ(RGB値、輝度等)の配置と、画像内のカーブミラー105以外の領域のパタメータの配置との類似度を基に、カーブミラー105の向きを判定してもよい。
【0078】
例えば、図12の例では、カーブミラーM105が右向きであれば、カーブミラーM105に映った領域に、図面右側の構造物及び車両と同様のパラメータが分布すると考えられる。
【0079】
しかしながら、実際にはカーブミラーM105は左向きであるため、カーブミラーM105に映った領域には、図面左側の道路標識及び構造物と同様のパラメータが分布する。
【0080】
第5の判定方法によれば、カーブミラーの鏡面の性質を利用して精度の高い判定を行うことができる。
【0081】
[第6の判定方法]
第6の判定方法では、判定部132は、画像に映る所定のオブジェクトが示す方向を基に、カーブミラーの向きを判定する。オブジェクトは、例えば道路標識、車両、構造物等である。
【0082】
図14及び図15は、第6の判定方法を説明する図である。図16は、第6の判定方法の手順を示すフローチャートである。
【0083】
図14図15及び図16に示すように、まず、解析部131は、画像内の特定のオブジェクトを検出する(ステップS151)。
【0084】
例えば、解析部131は、オブジェクトとして図14の道路標識204を検出する。また、解析部131は、図15の領域205及び領域206にあるオブジェクトを検出してもよい。
【0085】
さらに、解析部131は、オブジェクトとして図12の道路標識201及び車両203を検出してもよい。
【0086】
判定部132は、検出したオブジェクトを基に、カーブミラーが右向きであることを示す条件が充足されるか否かを判定する(ステップS152)。
【0087】
判定部132は、オブジェクトが右向きであることを示す条件を充足する場合(ステップS152:Yes)、カーブミラーが右向きであると判定する(ステップS153)。
【0088】
一方、判定部132は、オブジェクトが右向きであることを示す条件を充足しない場合(ステップS152:No)、カーブミラーが左向きであると判定する(ステップS154)。
【0089】
例えば、図14の道路標識204(指定方向以外通行禁止)の矢印が左方向を指していないことから、左側から車両が来ることが考えられる。その場合カーブミラーが設置されるとすれば左向きであると推定される。
【0090】
このため、判定部132は、道路標識204は右向きであることを示す条件を充足しないと判定する。
【0091】
また、例えば、図15の領域205には構造物があるが、領域206には構造物がない。このような場合、領域205の構造物による死角を減らすために、カーブミラーが設置されるとすれば左向きであると推定される。
【0092】
このため、判定部132は、領域205及び領域206は右向きであることを示す条件を充足しないと判定する。
【0093】
また、例えば、図12の道路標識201(一方通行)は右方向を指していることから、左側から車両が来ることが考えられる、その場合カーブミラーが設置されるとすれば左向きであると推定される。
【0094】
このため、判定部132は、道路標識201は右向きであることを示す条件を充足しないと判定する。
【0095】
さらに、例えば、図12の車両203は右方向へ進行していることから、カーブミラーが設置されるとすれば左向きであると推定される。
【0096】
このため、判定部132は、車両203は右向きであることを示す条件を充足しないと判定する。
【0097】
第6の判定方法によれば、カーブミラー自体の状態が不明瞭であっても、周囲の状況からカーブミラーの向きを判定することができる。また、第6の判定方法によれば、カーブミラーが画像の撮影範囲外にある場合であっても、向きを判定することができる。
【0098】
[第7の判定方法]
第7の判定方法では、判定部132は、画像に所定の位置関係を満たす2つのカーブミラーが映っている場合、2つのカーブミラーのうちの一方を左向きと判定し、他方を右向きと判定する。
【0099】
図17は、第7の判定方法を説明する図である。図17に示すように、解析部131は、2つのカーブミラーM107a及びM107bの距離を検出する。
【0100】
判定部132は、検出された距離が一定値以内であれば、左側にあるカーブミラーM107aを左向きと判定し、右側にあるカーブミラーM107bを右向きと判定する。
【0101】
第7の方法は、車両から左右両方の様子を確認できるようにするため、2つのカーブミラーが互いに反対方向を向くようにペアで設置される場合があることを利用した方法である。
【0102】
第7の判定方法によれば、複数のカーブミラーの向きを同時に判定することができる。
【0103】
[システム全体の処理の流れ]
判定装置10は、車両の自動運転、及び運転者の支援等に用いられる危険予測システムの一部であってもよい。その場合、例えば、判定装置10によるカーブミラーの向きの判定結果は、接近物の判定に用いられる。
【0104】
図18は、接近物に関する判定処理全体のフローチャートである。図18に示すように、まず、危険予測システムは、画像からカーブミラーの形状を検出する(ステップS11)。
【0105】
次に、危険予測システムは、検出したカーブミラーの形状のエッジを抽出する(ステップS12)。ここで、危険予測システムは、カーブミラー内のオプティカルフローを抽出する(ステップS13)。
【0106】
続いて、危険予測システムは、カーブミラーの向きを判定する(ステップS14)。ステップS14は、本実施形態の判定装置10によって実行される。例えば、ステップS14においては、これまでに説明した各判定方法のいずれかが実行される。
【0107】
さらに、危険予測システムは、カーブミラーに映った接近物を判定する(ステップS15)。そして、危険予測システムは、接近物の方向を判定する(ステップS16)。
【0108】
上述してきたように、実施形態に係る判定装置10は、解析部131と、判定部132と、を有する。解析部131は、車両から撮影されたカーブミラーの画像を解析する。判定部132は、解析部131による解析で得られた情報を基に、カーブミラーの向きを判定する。
【0109】
このように、判定装置10は、画像の解析結果を利用して画像内のカーブミラーの向きを判定する。このため、本実施形態によれば、画像内のカーブミラーの向きを正確に判定することができる。
【0110】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【0111】
10 判定装置
11 入出力部
12 記憶部
13 制御部
131 解析部
132 判定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18