IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アイシン精機株式会社の特許一覧

<>
  • 特許-情報処理システム 図1
  • 特許-情報処理システム 図2
  • 特許-情報処理システム 図3
  • 特許-情報処理システム 図4
  • 特許-情報処理システム 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】情報処理システム
(51)【国際特許分類】
   G08G 1/09 20060101AFI20241008BHJP
   G09B 29/00 20060101ALI20241008BHJP
【FI】
G08G1/09 D
G09B29/00 Z
【請求項の数】 3
(21)【出願番号】P 2020188502
(22)【出願日】2020-11-12
(65)【公開番号】P2022077622
(43)【公開日】2022-05-24
【審査請求日】2023-09-08
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】110000660
【氏名又は名称】Knowledge Partners弁理士法人
(72)【発明者】
【氏名】中野 聖也
【審査官】武内 俊之
(56)【参考文献】
【文献】特開2006-224754(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/09
G09B 29/00
(57)【特許請求の範囲】
【請求項1】
移動体の周囲の道路状況情報を取得する道路状況情報取得部と、
前記道路状況情報に基づいて、前記移動体に備えられる撮影部により撮影される画像であって、前記移動体の前方の画像から認識される一時停止の指示オブジェクトから、定められた距離以内の位置に交差点が存在するか否かを確認する交差点確認部と、
前記移動体から前記指示オブジェクトまでの距離が定められた範囲内であるか否かを確認する距離確認部と、
前記道路状況情報に基づいて、前記移動体が走行する道路が非優先道路であるか否かを確認する道路確認部と、
前記交差点確認部により前記位置に前記交差点が存在することが確認され、且つ、前記距離確認部により前記移動体から前記指示オブジェクトまでの距離が前記定められた範囲内であることが確認され、且つ、前記道路確認部により前記道路が非優先道路であることが確認されることを条件として、前記指示オブジェクトの情報を、前記道路に存在するオブジェクトの情報として、取得するオブジェクト情報取得部と、
を備える情報処理システム。
【請求項2】
前記道路状況情報に基づいて、前記道路についての信号機が前記交差点に存在しないか否かを確認する信号機確認部をさらに備え、
前記条件には、前記信号機確認部により信号機が存在しないと確認されることが含まれる、
請求項1に記載の情報処理システム。
【請求項3】
前記オブジェクト情報取得部により取得される前記指示オブジェクトの情報に基づいて、前記指示オブジェクトの位置および種類を示す情報を地図情報に追加する追加部をさらに備える、
請求項1又は2に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システムに関する。
【背景技術】
【0002】
撮影部に撮影された画像から、一方通行、右左折禁止等を指示する標識、標示等のオブジェクトを認識する技術がある。特許文献1には、撮像カメラで撮像されて画像処理部で認識された交通規制情報が既に所定の記憶媒体内に記憶された道路地図情報のなかに含まれているか否かを判断し、画像処理部で認識された交通規制情報が既に所定の記憶媒体内に既に記憶された道路地図情報のなかに含まれていなかった場合に、画像処理部で認識された交通規制情報を新たな交通規制情報として認識し、当該新たな交通規制情報を所定の記憶媒体内の道路地図情報に追加または更新し、これを加味して推奨経路を検索するカーナビゲーションシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平11―351895号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
撮影された画像から一時停止の指示オブジェクトを認識する場合、特許文献1では、認識された指示オブジェクトがどの道路についてのオブジェクトであるかを特定できない場合があった。例えば、複数の道路が鋭角で交差している地点の周辺において、想定される道路と異なる道路についてのオブジェクトが認識される場合がある。このように、誤った指示オブジェクトが認識され、誤った指示オブジェクトの情報が取得される場合があるという課題があった。
本発明は、上記課題にかんがみてなされたもので、誤った指示オブジェクトの情報が取得される可能性を低減することを目的とする。
【課題を解決するための手段】
【0005】
上記の目的を達成するため、情報処理システムは、移動体の周囲の道路状況情報を取得する道路状況情報取得部と、前記道路状況情報に基づいて、前記移動体に備えられる撮影部により撮影される画像であって、前記移動体の前方の画像から認識される一時停止の指示オブジェクトから、定められた距離以内の位置に交差点が存在するか否かを確認する交差点確認部と、前記移動体から前記指示オブジェクトまでの距離が定められた範囲内であるか否かを確認する距離確認部と、前記道路状況情報に基づいて、前記移動体が走行する道路が非優先道路であるか否かを確認する道路確認部と、前記交差点確認部により前記位置に前記交差点が存在することが確認され、且つ、前記距離確認部により前記移動体から前記指示オブジェクトまでの距離が前記定められた範囲内であることが確認され、且つ、前記道路が非優先道路であることが確認されることを条件として、前記指示オブジェクトの情報を、前記道路に存在するオブジェクトの情報として、取得するオブジェクト情報取得部と、を備える。
【図面の簡単な説明】
【0006】
図1】情報処理システムの構成を示すブロック図である。
図2図2Aは撮影された画像を示す図であり、図2Bは車幅軸と車長軸とを含む平面を示す図である。
図3】T字路における状況を示す図である。
図4】オブジェクト情報追加処理を示すフローチャートである。
図5】オブジェクト情報追加処理を示すフローチャートである。
【発明を実施するための形態】
【0007】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)情報処理システムの構成:
(2)オブジェクト情報追加処理:
(3)他の実施形態:
【0008】
(1)情報処理システムの構成:
図1は、本発明の一実施形態にかかる情報処理システムを10の構成を示すブロック図である。情報処理システム10は、移動体として機能する車両Cに備えられており、制御部20、記録媒体30を備えている。制御部20は、CPU,RAM,ROM等を備えるコンピュータである。情報処理システム10は、記録媒体30やROMに記憶されたプログラムを制御部20で実行することができる。記録媒体30には、予め地図情報30aが記録されている。
【0009】
地図情報30aは、車両Cの位置の特定や、交差点の位置の特定、道路形状の特定等に利用される情報であり、車両が走行する道路上に設定されたノードの位置等を示すノードデータ,ノード間の道路の形状を特定するための形状補間点の位置等を示す形状補間点データ,ノード同士の連結を示すリンクデータ,道路やその周辺に存在する地物の位置や形状等を示す地物データ,信号機の設置位置を示すデータ等を含んでいる。なお、本実施形態においてノードは例えば交差点を示している。
【0010】
また、リンクデータには、リンクの属性を示す情報が対応付けられている。具体的には、リンクデータには、車線数、進行方向、車道幅員、幅員区分、道路種別(例えば、高速道路、一般道(国道、県道、市道)、細街路等)、優先道路であることを示す情報等が対応付けられている。
【0011】
本実施形態における車両Cは、撮影部として機能するカメラ40とGNSS受信部41と車速センサ42とジャイロセンサ43とを備えている。GNSS受信部41は、Global Navigation Satellite Systemの信号を受信する装置であり、航法衛星からの電波を受信、図示しないインタフェースを介して車両Cの現在位置を導出するための信号を出力する。制御部20は、この信号を取得して地図の座標系における車両Cの現在位置(緯度、経度等)を取得する。車速センサ42は、車両が備える車輪の回転速度に対応した信号を出力する。制御部20は、図示しないインタフェースを介してこの信号を取得し、車速を取得する。ジャイロセンサ43は、車両の水平面内の旋回についての角加速度を検出し、車両の向きに対応した信号を出力する。制御部20は、この信号を取得して車両の進行方向を取得する。車速センサ42およびジャイロセンサ43等は、車両の走行軌跡を特定するために利用され、本実施形態においては、車両の出発地と走行軌跡とに基づいて現在位置が特定され、当該出発地と走行軌跡とに基づいて特定された車両の現在位置がGNSS受信部41の出力信号に基づいて補正される。
【0012】
カメラ40は、車両Cの前方に向けられた視野内の画像を取得する装置である。本実施形態では、カメラ40は、単眼カメラであるとするが、複眼カメラであってもよい。カメラ40の光軸は車両Cに対して固定されており、情報処理システム10において当該光軸の方向が既知であればよい。本実施形態において、カメラ40は車両Cの車幅方向と光軸中心が垂直で、車両Cの進行方向前方が視野に含まれるような姿勢で車両Cに取り付けられている。制御部20は、当該カメラ40の出力する画像を取得し、特徴量の抽出等によって画像を解析することによって車両Cの周辺に存在する一時停止を指示する標識、標示等の指示オブジェクトを認識する。
【0013】
制御部20は、オブジェクト情報追加プログラム21を実行することができる。オブジェクト情報追加プログラム21は、車両Cの周辺に存在する一時停止の指示オブジェクトを認識し、認識した指示オブジェクトが車両Cの走行する道路についてのオブジェクトであることを確認できた場合に、この指示オブジェクトの情報を取得し、取得した情報に基づいて、地図情報にこの指示オブジェクトの種類、位置を示す情報を追加する機能を有する。この機能を実現するため、オブジェクト情報追加プログラム21が実行されると、制御部20は、認識部21aと、道路状況情報取得部21bと、交差点確認部21cと、信号機確認部21dと、距離確認部21eと、道路確認部21fと、オブジェクト情報取得部21gと、追加部21hと、として機能する。
【0014】
認識部21aは、カメラ40により撮影された画像から一時停止の指示オブジェクトを認識する機能である。制御部20は、認識部21aの機能により、カメラ40により撮影された車両Cの前方の画像を取得し、レンズによる歪み補正等を施す。制御部20は、例えばYOLO(You Only Look Once)やパターンマッチング等を用いた画像認識処理を実行することにより、画像に、一時停止の指示オブジェクト(例えば、標識、標示等)の特徴が含まれるか否かを判定し、車両Cの周辺に存在する一時停止の指示オブジェクトの画像を検出する。
【0015】
図2Aは、カメラ40によって撮影された画像(車両Cの前方の画像)であって歪み補正後の画像Iの一例を示す図である。同図において、バウンディングボックスBは、画像I内に検出された一時停止の指示オブジェクトである標識を囲む矩形領域であり、指示オブジェクトを示す画像の大きさや、画像I内における指示オブジェクトの位置を示している。バウンディングボックスBの左右の辺は画像Iの左右の辺と平行であり、上下の辺は画像Iの上下の辺と平行である。バウンディングボックスBの大きさや位置は、例えばバウンディングボックスBの左上の頂点の座標と右下の頂点の座標によって表される。制御部20は、バウンディングボックスBの対角2頂点の座標から、バウンディングボックスBの高さh(画素数)と、バウンディングボックスBの代表座標Bo(x、y)を取得する。代表座標Boは、例えばバウンディングボックスBの中心座標(幅方向および高さ方向の中点)であってよい。
【0016】
画像I内の各座標には、車両Cを基準とした相対方位であって当該座標に写る物体の相対方位が対応付けられており、対応関係を示す情報が記録媒体30に記憶されている。制御部20はこの対応関係に基づいて、代表座標Boに写る指示オブジェクトの車両Cを基準とした相対方位を取得する。本実施形態においては、車両Cを基準とした車両座標系を定義する。車両座標系は、互いに直交する車幅軸と車長軸と車高軸とで定義される3次元の座標系である。図2Bは車幅軸と車長軸とを含む平面を示している。同図において点Oは、車両Cにおける車両座標系の原点である。図2Bの例において、車長軸は車両Cの走行道路を示すリンクL0と平行である。相対方位は、例えば、車幅軸と車長軸とを含む平面において、車両座標系の原点Oと代表座標Boに対応する地点とを結ぶ直線と車長軸とのなす角度(θ)で表現される(例えばθが負値の場合は進行方向前方に向かって車長軸の左側、正値の場合は右側であることを示す)。
【0017】
また、制御部20は、バウンディングボックス内の指示オブジェクトの種別と信頼度を、オブジェクトを識別するIDと対応づけて、YOLOにより取得する。指示オブジェクトの種別は、指示オブジェクトの種類を示しており、例えば、一時停止、一方通行、進入禁止、駐停車禁止等を示す標識、標示のように分類されてよい。信頼度は、値が大きいほどバウンディングボックス内の指示オブジェクトの種別の信頼度が高いことを示している。
【0018】
一時停止の指示オブジェクトのサイズは、予め規定されており、車両Cと当該指示オブジェクトとの直線距離と、当該指示オブジェクトを車両Cのカメラで撮影した場合のバウンディングボックスの高さとが予め計測されている。そして、当該指示オブジェクトについて、バウンディングボックスの高さと、車両座標系の原点を基準とした直線距離との対応関係を示す情報が記録媒体30に記憶されている。制御部20は、この対応関係に基づいて、バウンディングボックスBの高さhに対応する直線距離D(図2Bを参照)を導出する。以上のようにして、制御部20は、カメラ40が撮影した画像に基づいて、画像内に含まれる一時停止の指示オブジェクトの相対方位θと、車両Cとの直線距離Dと、を取得する。
【0019】
道路状況情報取得部21bは、車両Cの周囲の道路の状況を示す道路状況情報を取得する機能である。本実施形態では、道路状況情報として、地図情報30aが用いられる。制御部20は、記録媒体30から地図情報30aを取得する。制御部20は、また、制御部20は、GNSS受信部41、車速センサ42、ジャイロセンサ43の出力信号に基づいて、車両Cの地図座標系での座標(緯度、経度)を、車両Cの現在位置として取得する。また、制御部20は、制御部20は、ジャイロセンサ43の出力信号に基づいて、車両Cの向きを特定する。
【0020】
交差点確認部21cは、道路状況情報取得部21bの機能により取得した地図情報30aに基づいて、認識部21aの機能により認識した一時停止の指示オブジェクトから、車両Cの前方、定められた距離以内の位置に交差点が存在するか否かを確認する機能である。本実施形態では、この定められた距離は、例えば、30m、20m等である。
一時停止の指示オブジェクトは、交差点やその付近において車両等が一時的に停止すべきことを指示するオブジェクトである。そのため、認識部21aの機能により認識された指示オブジェクトから車両Cの前方、定められた距離以内に交差点がなければ、認識部21aの機能により認識された指示オブジェクトは、車両Cの走行する道路についてのオブジェクトではないと判断できる。
【0021】
そこで、制御部20は、地図情報30aと車両Cの現在位置とに基づいて、車両Cが現在走行している道路と、この道路における車両Cの位置と、を特定する。以下では、車両Cが現在走行している道路を走行道路とする。制御部20は、車速センサ42、ジャイロセンサ43の信号に基づいて、自立航法での車両Cの位置変化を特定する。制御部20は、特定した位置変化とGNSS受信部41からの信号とを使ってマップマッチングにより車両Cの現在地を特定する。従って、車両Cの位置は、リンク上の特定の位置として特定され続ける。そして、制御部20は、リンクの方向を車両Cが向いている方向(進行方向)として特定する。制御部20は、車両Cの現在位置から、特定した車両Cの向きから相対方位θだけずれた方向へ、直線距離Dだけ進んだ位置を、認識部21aの機能により認識された指示オブジェクトの位置として特定する。そして、制御部20は、走行道路上で、認識部21aの機能により認識された指示オブジェクトの位置から車両Cの前方へ既定距離以内の位置に交差点がある(地図情報30aにおけるノードがある)か否か確認する。制御部20がこの指示オブジェクから、車両Cの前方、定められた距離以内の位置に交差点が存在しないと確認した場合、この指示オブジェクトが走行道路についてのオブジェクトではないと判断できることとなる。
【0022】
信号機確認部21dは、地図情報30aに基づいて、交差点確認部21cの機能により確認された交差点に、走行道路についての信号機が存在するか否かを確認する機能である。
交差点に信号機が設置されている場合、設置された信号機を用いた交通整理が行われるため、一時停止の指示オブジェクトは設置されない。そこで、制御部20は、信号機確認部21dの機能により、地図情報30aを参照することで、交差点確認部21cの機能により確認された交差点に、信号機が存在するか否かを確認する。制御部20がこの交差点に、信号機が存在すると確認した場合、この指示オブジェクトが走行道路についてのオブジェクトではないと判断できることとなる。
【0023】
距離確認部21eは、車両Cから認識部21aの機能により認識された指示オブジェクトまでの距離が、定められた範囲内であるか否かを確認する機能である。本実施形態では、この定められた範囲は、例えば、5m以上10m以下の範囲、3m以上15m以下の範囲等である。
車両Cに備えられたカメラ40による撮影された画像は、カメラ40の性能、走行中であるという撮影状況等を要因として、遠方のオブジェクトが十分な精細さで撮影されない場合がある。そのため、認識部21aの機能により認識された指示オブジェクトが車両Cから離れるほど、認識部21aによる認識が誤っている可能性が大きくなる。また、この指示オブジェクトと車両Cとが近すぎると、カメラ40と指示オブジェクトとの高低差が要因となり、カメラ40による指示オブジェクトの撮影が困難となる。
そこで、制御部20は、この指示オブジェクトと車両Cとの直線距離Dが、定められた範囲内であるか否かを確認する。制御部20が、直線距離Dが定められた範囲外と確認した場合、認識部21aによる認識結果が正しくない可能性があると判断できる。
【0024】
道路確認部21fは、地図情報30aに基づいて、走行道路が非優先道路であるか否かを確認する機能である。
一時停止の指示オブジェクトは、優先道路には設置されない。そこで、制御部20は、以下のようにして、走行道路が優先道路か否かを確認する。
【0025】
制御部20は、地図情報30aを参照し、走行道路に優先道路であることを示す情報が対応付けられているか否かを確認することで、走行道路が優先道路か否かを確認する。
制御部20は、走行道路の種別が優先道路であることを確認できなかった場合、さらに、地図情報30aを参照し、車両Cの前方の走行道路と接続する交差点を特定する。そして、制御部20は、特定した交差点がT字路であるか否かを判定する。具体的には、制御部20は、特定した交差点に接続された道路区間を特定し、特定した道路区間が3つであれば、特定した交差点がT字路である判定する。
【0026】
制御部20は、特定した交差点がT字路であると判定した場合、T字路を形成する3つの道路区間のうち、交差点において、最も大きな接続角度で接続している2つの道路区間を、優先道路として特定する。図3の例では、車両Cが走行する走行道路は、T字路の交差点において、他の2つの道路それぞれと90°の接続角度で接続する。また、走行道路と異なる他の2つの道路は、T字路の交差点において、180°の接続角度で接続する。そのため、図3の例では、制御部20は、走行道路以外の2つの道路を優先道路として特定する。そして、制御部20は、走行道路を優先道路として特定した場合、走行道路が優先道路であると確認し、走行道路を優先道路として特定しなかった場合、走行道路が非優先道路であると確認する。
【0027】
また、制御部20は、特定した車両Cの前方の交差点がT字路でないと判定した場合、走行道路と交差道路とが十字路を形成するとして、以下の処理を行う。すなわち、制御部20は、地図情報30aを参照することで、走行道路と、走行道路と交差する道路との道幅を特定する。以下では、走行道路と交差する道路を交差道路とする。そして、制御部20は、走行道路の道幅が交差道路の道幅よりも広い場合、走行道路を優先道路と確認し、走行道路の道幅が交差道路の道幅よりも狭い場合、走行道路を非優先道路と確認する。
優先道路と非優先道路とが交差している場合、一時停止の指示オブジェクトは、通常、交差点の手前における非優先道路上に存在する。従って、制御部20が、走行道路が優先道路であると確認した場合、認識部21aの機能により認識された指示オブジェクトが走行道路についてのオブジェクトではないと判断できる。
【0028】
オブジェクト情報取得部21gは、複数の条件が確認された場合に、認識部21aの機能により認識された指示オブジェクトの情報を、走行道路に存在するオブジェクトの情報として取得する機能である。すなわち、制御部20は、オブジェクト情報取得部21gの機能により、以下の条件1~4を満たすか否かの確認を行う。
1.認識部21aの機能により認識された指示オブジェクトから定められた距離以内の位置に交差点が存在することが確認された
2.信号機確認部21dの機能により交差点確認部21cの機能により確認された交差点に走行道路についての信号機が存在すると確認された
3.距離確認部21eの機能により車両Cからこの指示オブジェクトまでの距離が定められた範囲内であることが確認された
4.道路確認部21fの機能により走行道路が非優先道路であることが確認された
【0029】
そして、制御部20は、条件1~4全てを満たすことを確認した場合、この指示オブジェクトの情報を、走行道路に存在するオブジェクトの情報として、取得する。
【0030】
指示オブジェクトの情報が走行道路に存在するオブジェクトの情報として取得された場合、制御部20は、以下の処理を行う。
【0031】
すなわち、制御部20は、車両Cの現在位置と相対方位θと直線距離Dとから、認識部21aの機能により認識された指示オブジェクトの緯度、経度の位置情報と、この指示オブジェクトの種類を示す属性情報と、この指示オブジェクトのIDと、を対応づけた情報を、この指示オブジェクトの情報として取得する。そして、制御部20は、取得した指示オブジェクトの情報を、記録媒体30に記録する。
本実施形態では、制御部20は、定められた期間間隔で、認識部21a~オブジェクト情報取得部21gの処理を繰り返すことで、記録媒体30に指示オブジェクトの情報を蓄積する。定められた期間間隔は、例えば、100msec、200msec等である。
【0032】
追加部21hは、オブジェクト情報取得部21gの機能により取得された一時停止の指示オブジェクトの情報に基づいて、この指示オブジェクトの位置および種類を示す情報を地図情報30aに追加する機能である。制御部20は、定められた期間間隔で、認識部21aによる指示オブジェクトの認識を行うが、ある指示オブジェクトについて、認識できなくなった場合、以下の処理を行う。すなわち、制御部20は、この指示オブジェクトについての情報が記録媒体30に十分に蓄積されたとして、蓄積された情報に基づいて、この指示オブジェクトの最終的な緯度、経度を導出して、導出した緯度、経度の位置に、指示オブジェクトの種類が一時停止の指示オブジェクトであることを示す情報を対応付け、地図情報30aに追加する。本実施形態では、制御部20は、蓄積された情報が示す緯度、経度の平均値を最終的な緯度、経度の値として導出する。また、制御部20は、蓄積された情報が示す緯度、経度のうち、外れ値を除くため、最大のものから定められた個数、最小のものから定められた個数を除いて、平均を導出してもよい。
【0033】
以上のように、本実施形態の構成によれば、情報処理システム10は、交差点確認部21c、信号機確認部21d、距離確認部21e、道路確認部21fによる確認結果に応じて、認識部21aの機能により認識された指示オブジェクトの情報を取得する。情報処理システム10は、交差点確認部21c、信号機確認部21d、道路確認部21fによる確認結果を用いることで、認識された指示オブジェクトが走行道路についてのオブジェクトでないと判断できる場合、認識された指示オブジェクトの情報を取得しない。また、情報処理システム10は、距離確認部21eによる確認結果を用いることで、認識部21aによる認識結果が正しくない可能性があると判断できる場合にも、認識された指示オブジェクトの情報を取得しない。これにより、情報処理システム10は、誤った指示オブジェクトの情報が取得される可能性を低減できる。また、情報処理システム10は、地図情報30aに対して、誤った情報が追加される可能性を低減しつつ、一時停止の指示オブジェクトの情報を追加できる。
例えば、自動運転において、一時停止の指示オブジェクトの情報が追加されていない地図情報30aを用いる場合、一時停止の指示オブジェクトを車両に備えられたカメラにより撮影された画像から認識することとなる。画像認識で高精度に指示オブジェクトを特定するためには、車両が指示オブジェクトに対して特定距離以下まで近づかないといけないが、地図情報に登録されていれば、指示オブジェクトに地図情報の指示オブジェクトに基づいて、特定距離より遠方からでも制御可能となる。そのため、本実施形態で得られる、一時停止の指示オブジェクトの情報が追加された地図情報30aを自動運転に適用することで、車両はより安全に一時停止できる。
【0034】
(2)オブジェクト情報追加処理
次に、制御部20が実行するオブジェクト情報追加処理を、図4図5を参照しながら説明する。情報処理システム10の制御部20は、車両Cの走行中において、情報処理システム10の動作中において、オブジェクト情報追加処理を実行する。
S100において、制御部20は、道路状況情報取得部21bの機能により、記録媒体30から地図情報30aを取得する。また、制御部20は、GNSS受信部41、車速センサ42、ジャイロセンサ43からの信号に基づいて、車両Cの現在位置を取得する。
S105において、制御部20は、認識部21aの機能により、カメラ40により撮影された車両Cの前方の画像から一時停止の指示オブジェクトを認識する。また、制御部20は、カメラ40により撮影された画像に基づいて、認識した指示オブジェクトの相対方位θと、車両Cとの直線距離Dと、を取得する。
【0035】
S110において、制御部20は、追加部21hの機能により、車両Cが指示オブジェクトを通過したか否か判定する。具体的には、制御部20は、S105~S140のループ処理を行っている。そこで、制御部20は、現在実行中のループをN番目、直前のループをN-1番目とした場合に、N-1番目のループにおけるS105の処理で認識された指示オブジェクトが、N番目のループにおけるS105の処理で認識されない場合、制御部20は、指示オブジェクトを通過したと判定する。N-1番目のループにおけるS105の処理で認識された指示オブジェクトが、N番目のループにおけるS105の処理でも認識された場合、制御部20は、指示オブジェクトを通過していないと判定する。S110において、指示オブジェクトを通過していないと判定されない場合、制御部20は、処理をS115に進める。S110において、指示オブジェクトを通過したと判定された場合、制御部20は、処理をS145に進める。
【0036】
S115において、制御部20は、交差点確認部21cの機能により、地図情報30aと車両Cの現在位置とに基づいて、車両Cが現在走行している走行道路と、走行道路における車両Cの位置と、を特定する。そして、制御部20は、直線距離Dに基づいて、直前のS105で認識された指示オブジェクトの位置を特定する。制御部20は走行道路において、この指示オブジェクから、車両Cの前方、定められた距離以内の位置に交差点が存在するか否かを確認する。
制御部20は、走行道路において、この指示オブジェクから、車両Cの前方、定められた距離以内の位置に交差点が存在すると確認した場合、この指示オブジェクトが走行道路についてのオブジェクトである可能性があるとして、処理をS120に進める。また、制御部20は、走行道路において、この指示オブジェクから、車両Cの前方、定められた距離以内の位置に交差点が存在しないと確認した場合、この指示オブジェクトが走行道路についてのオブジェクトではないとして、処理をS140に進める。
【0037】
S120において、制御部20は、信号機確認部21dの機能により、地図情報30aを参照することで、S115で存在すると確認された交差点に、走行道路についての信号機が存在するか否かを確認する。制御部20がこの交差点に、信号機が存在しないと確認した場合、認識部21aの機能により認識された指示オブジェクトが走行道路についてのオブジェクトである可能性があるとして、処理をS125に進める。また、制御部20がこの交差点に、信号機が存在すると確認した場合、認識部21aの機能により認識された指示オブジェクトが走行道路についてのオブジェクトではないとして、処理をS140に進める。
【0038】
S125において、制御部20は、距離確認部21eの機能により、直線距離Dが、定められた範囲内であるか否かを確認する。制御部20が、直線距離Dが定められた範囲内と確認した場合、認識部21aによる認識結果が信頼できるとして、処理をS130に進める。また、制御部20が、直線距離Dが定められた範囲外と確認した場合、認識部21aによる認識結果が信頼できないとして、処理をS140に進める。
【0039】
S130において、制御部20は、道路確認部21fの機能により、走行道路が非優先道路であるか否かを確認する。制御部20は、走行道路が非優先道路であると確認した場合、認識部21aの機能により認識された指示オブジェクトが走行道路についてのオブジェクトである可能性があるとして、処理をS135に進める。制御部20は、走行道路が優先道路であると確認した場合、認識部21aの機能により認識された指示オブジェクトが走行道路についてのオブジェクトではないとして、処理をS140に進める。
【0040】
ここで、S130の処理の詳細について図5を用いて説明する。
S200において、制御部20は、地図情報30aを参照し、走行道路に優先道路を示す情報が対応付けられているか否かを判定する。そして、制御部20は、走行道路に優先道路を示す情報が対応付けられている場合、走行道路が優先道路であるとして処理をS140に進める。制御部20は、走行道路に優先道路を示す情報が対応付けられていない場合、走行道路が非優先道路である可能性があるとして処理をS205に進める。
【0041】
S205において、制御部20は、地図情報30aを参照し、車両Cの前方における走行道路を含む交差点を特定し、特定した交差点がT字路であるか否かを判定する。制御部20は、特定した交差点がT字路であると判定した場合、処理をS210に進め、特定した交差点がT字路でないと判定した場合、特定した交差点が十字路であるとして、処理をS215に進める。
【0042】
S210において、制御部20は、S205で特定したT字路を形成する3つの道路のうち、交差点において、最も大きな接続角度で接続している2つの道路を、優先道路として特定する。そして、制御部20は、走行道路を優先道路として特定した場合、走行道路が優先道路であると確認し、処理をS140に進め、走行道路を優先道路として特定しなかった場合、走行道路が非優先道路であると確認し、処理をS135に進める。
【0043】
S215において、制御部20は、地図情報30aを参照することで、走行道路と、走行道路と交差する交差道路との道幅を特定する。そして、制御部20は、走行道路の道幅が交差道路の道幅よりも広い場合、走行道路を優先道路と確認し、処理をS140に進め、走行道路の道幅が交差道路の道幅よりも狭い場合、走行道路を非優先道路と確認し、処理をS135に進める。
【0044】
図4の説明に戻る。
S135において、制御部20は、オブジェクト情報取得部21gの機能により、車両Cの現在位置と相対方位θと直線距離Dとから、認識部21aの機能により認識された指示オブジェクトの緯度、経度を、この指示オブジェクトの情報として取得する。そして、制御部20は、取得した指示オブジェクトの情報を、記録媒体30に記録し蓄積する。
S140において、制御部20は、直前のS105の処理を開始した時点から、定められた期間間隔経過するまで待機して、処理をS105に進める。
【0045】
S145において、制御部20は、追加部21hの機能により、S135で蓄積された指示オブジェクトについての情報に基づいて、この指示オブジェクトの最終的な緯度、経度を導出する。制御部20は、蓄積された情報が示す緯度、経度の平均値を最終的な緯度、経度の値として導出する。
S150において、制御部20は、追加部21hの機能により、S145で導出された位置に存在する一時停止の指示オブジェクトの情報を地図情報30aに追加する。
【0046】
(3)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、情報処理システムは、上述の実施形態のように車両等に搭載された装置であっても良いし、可搬型の端末によって実現される装置であっても良いし、複数の装置(例えば、クライアントとサーバーや、情報処理装置内の制御部とユーザI/F部内の制御部等)によって実現されるシステムであっても良い。
【0047】
上述の実施携帯では、情報処理システム10は、機能21a~21hを備えることとした。ただし、機能21a~21hのうちの一部は、他の装置、システムにより実現されることとしてもよい。
例えば、認識部21aの機能は、他の装置、システムにより実現されることとしてもよい。その場合、情報処理システム10は、認識部21aの機能による処理の結果を、取得することとなる。
【0048】
また、例えば、追加部21hの機能は、車両Cの外部のサーバー等により実現されるとしてもよい。その場合、情報処理システム10がS135の処理で取得した指示オブジェクトの情報を、外部のサーバーに送信し、外部のサーバーが受信した情報に基づいて、S140、S145と同様の処理を行うこととしてもよい。
【0049】
また、例えば、情報処理システム10は、S100~S140の処理まで実行し、S140で求めた指示オブジェクトの位置の情報を、外部のサーバーに送信することとしてもよい。そして、外部のサーバーが、S145と同様の処理を行い、地図情報に指示オブジェクトの情報を追加してもよい。また、その場合、外部のサーバーは、情報処理システム10と同様の複数のシステムそれぞれから、同じ指示オブジェクトの位置の情報を取得してもよい。そして、外部のサーバーは、取得した指示オブジェクトの位置の情報が示す位置の平均値を、この指示オブジェクトの最終的な位置として決定してもよい。
【0050】
また、上述の実施形態では、情報処理システム10は、信号機確認部21dの機能を備えることとした。ただし、情報処理システム10は、信号機確認部21dの機能を備えないこととしてもよい。その場合、情報処理システム10は、オブジェクト情報取得部21gの機能により、上述の条件1、3、4を満たす場合、認識部21aの機能により認識された指示オブジェクトの情報を、走行道路に存在するオブジェクトの情報として、取得してもよい。この場合でも、情報処理システム10は、交差点確認部21c、距離確認部21e、道路確認部21fの確認結果に応じて、認識部21aの機能により認識された指示オブジェクトの情報を、走行道路についてのオブジェクトの情報として取得する。これにより、情報処理システム10は、誤った指示オブジェクトの情報が取得される可能性を低減できる。ただし、情報処理システム10は、上述の実施形態のように、信号機確認部21dによる確認結果を用いることで、さらに、誤った指示オブジェクトの情報が取得される可能性を低減できる。
【0051】
上述の実施形態では、情報処理システム10は、道路確認部21fの機能により、優先道路を示す情報、T字路における道路間の接続角度、交差する道路の幅の比較に基づいて、走行道路が優先道路であるか否かを確認するとした。ただし、情報処理システム10は、上述の実施形態と異なる方法で、上述の実施形態の方法の代わりに、または、上述の実施形態の方法と併せて、走行道路が優先道路であるか否かを確認してもよい。
例えば、情報処理システム10は、地図情報30aに基づいて、走行道路と、車両Cの前方で走行道路と交差する道路と、を特定する。そして、情報処理システム10は、走行道路と、車両Cの前方で走行道路と交差する道路と、のそれぞれの道路種別を特定する。情報処理システム10は、走行道路の種別と、車両Cの前方で走行道路と交差する道路の種別と、が規定の組み合わせである場合、走行道路が優先道路であるか否かを確認してもよい。例えば、情報処理システム10は、走行道路の種別が一般道であり、車両Cの前方で走行道路と交差する道路の種別が細街路である場合、走行道路を優先道路と確認し、走行道路の種別が細街路であり、車両Cの前方で走行道路と交差する道路の種別が一般道である場合、走行道路を非優先道路と確認してもよい。
【0052】
また、上述の実施形態では、一時停止の指示オブジェクトは、予め定められたサイズのオブジェクトであるとした。ただし、一時停止の指示オブジェクトは、予め定められた複数のサイズのうちの何れかのサイズのオブジェクトであるとしてもよい。
その場合、情報処理システム10は、カメラ40により撮影された画像から一時停止の指示オブジェクトを認識した場合、以下のようにしてもよい。すなわち、情報処理システム10は、認識した指示オブジェクトを、複数のサイズそれぞれと仮定して、複数のサイズそれぞれについて、直線距離Dと相対方位θとを求める。そして、車両Cが定められた距離だけ移動した際に、情報処理システム10は、再度、認識した指示オブジェクトを複数のサイズそれぞれと仮定して、複数のサイズそれぞれについて、移動後の直線距離Dと相対方位θとを求める。そして、情報処理システム10は、複数のサイズそれぞれについて、移動後の直線距離Dと移動前の直線距離Dとの差分が車両Cの移動距離と合致するか否かを判定する。情報処理システム10は、車両Cの移動距離と合致すると判定した移動後の直線距離Dと移動前の直線距離Dとに対応するサイズを、認識された指示オブジェクトのサイズとして決定してもよい。
【0053】
また、上述の実施形態では、情報処理システム10は、認識部21aの機能により、指示オブジェクトを認識し、認識した指示オブジェクトについて、車両座標系における車幅軸と車長軸とを含む平面における車両Cに対するこの指示オブジェクトの相対位置(相対方位θと直線距離Dと)を取得するとした。ただし、情報処理システム10は、車両Cに対するこの指示オブジェクトの相対位置を、3次元座標上の位置として取得してもよい。
例えば、情報処理システム10は、以下のようにしてもよい。カメラ40による撮影画像の各画素には、車両Cを基準として特定の方向に存在する被写体が写ることとなる。すなわち、カメラ40による撮影画像の各画素と、車両Cを基準とした各方向と、は対応づけることができる。そこで、車両座標系が極座標系で表されるとして、カメラ40による撮影画像の各画素と、車両座標系における原点を基準とした各方向(極座標の2つの偏角で表される方向)と、の対応情報が予め記録媒体30に記録されているとする。また、バウンディングボックスの高さと、車両座標系における原点から対象までの距離(極座標における動径)と、の対応情報が予め記録媒体30に記録されているとする。そして、情報処理システム10は、認識した指示オブジェクトのバウンディングボックスの代表座標Boに対応付けられた車両座標系における方向(2つの偏角)を特定する。また、情報処理システム10は、認識部21aで認識された指示オブジェクトのバウンディングボックスの高さから、この指示オブジェクトと車両Cとの距離を特定する。このようにして、情報処理システム10は、指示オブジェクトの3次元座標上の座標を特定してもよい。この場合、情報処理システム10は、車両座標系における指示オブジェクトの座標から、車両座標系における車幅軸と車長軸とを含む平面における車両Cに対するこの指示オブジェクトの相対的な位置を特定し、特定した相対的な位置と、車両Cの現在位置と、に基づいて、この指示オブジェクトの緯度、経度を取得できる。
【0054】
また、上述の実施形態では、情報処理システム10は、地図情報30aに指示オブジェクトの情報を追加するとした。ただし、情報処理システム10は、地図情報30aと異なる地図情報に指示オブジェクトの情報を追加するとしてもよい。
【0055】
移動体は、撮影部が備えられ、道路を移動可能であればよく、上述の実施形態のように車両であってもよいし、検査員、ドローン、馬、自転車等であってもよい。
道路状況情報取得部は、移動体の周囲の道路の状況を示す情報を取得できればよい。上述の実施形態のように、道路状況情報取得部は、予め用意された地図情報を取得してもよいし、カメラにより撮影された移動体の周囲の画像を解析することで、移動体の周囲の道路の状況を示す情報を取得してもよい。
定められた距離は、一時停止の指示オブジェクトと交差点との間の距離として想定される距離であればよい。
定められた範囲は、撮影画像から認識可能に指示オブジェクトを撮影可能な範囲であればよい。
オブジェクト情報取得部は、一時停止の指示オブジェクトの情報として、位置の情報を取得すればよい。
【0056】
さらに、本発明は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のようなシステムで実現される方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【符号の説明】
【0057】
10 情報処理システム、20…制御部、21…オブジェクト情報追加プログラム、21a…認識部、21b…道路状況情報取得部、21c…交差点確認部、21d…信号機確認部、21e…距離確認部、21f…道路確認部、21g…オブジェクト情報取得部、21h…追加部、30…記録媒体、30a…地図情報、40…カメラ、41…GNSS受信部
図1
図2
図3
図4
図5