特許 7342499 タグ付与装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-04

(45)【発行日】2023-09-12

(54)【発明の名称】タグ付与装置

(51)【国際特許分類】

   G06V 10/774 20220101AFI20230905BHJP

   G06T 7/00 20170101ALI20230905BHJP

【ＦＩ】

G06V10/774

G06T7/00 350C

【請求項の数】 1

(21)【出願番号】P 2019141133

(22)【出願日】2019-07-31

(65)【公開番号】P2021026287

(43)【公開日】2021-02-22

【審査請求日】2022-02-18

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】米森 力

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１２－１７０１００（ＪＰ，Ａ）

【文献】特開２０１０－１１８０１９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０９Ｂ ２９／００

(57)【特許請求の範囲】

【請求項1】

撮影装置により撮影されたときの前記撮影装置の位置を示す撮影位置および前記撮影装置の向いている方位を示す撮影方位を含む撮影条件が関連づけられた画像に対応する、少なくとも前記撮影位置を含む対象エリアを特定する対象エリア特定部と、
所定領域に存在する地物について、少なくとも地物の名称および当該地物に対応する地図上の位置を示す地物範囲を含む地物情報を記憶するサーバから、前記対象エリアに前記地物範囲の少なくとも一部が含まれる前記地物情報を取得する地物情報取得部と、
取得した前記地物情報に含まれる前記地物範囲と、前記画像における前記撮影位置および前記撮影方位に基づいて定められる、前記画像に撮影された領域が前記地図上に占める範囲を示す撮影範囲とが重複するか否かを判定する重複判定部と、
前記撮影範囲と重複すると判定された前記地物範囲に対応する地物名称をタグとして前記画像に付与するタグ付与部とを備える、
タグ付与装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、タグ付与装置に関する。

【背景技術】

【0002】

車両に搭載されたカメラにより取得された、車両の周辺状況を示す画像を用いて走行制御装置が車両の走行を制御する技術が知られている。走行制御装置は、カメラが撮像する画像に基づいて認識された物体や地物など物体等の情報を、車両の動力、制動、操舵といった走行動作の制御のために用いる。

【0003】

人工知能を搭載した走行制御装置による走行制御の精度を向上させるため、人工知能に識別させるべき属性がタグとして付与された教師データを用いて人工知能に学習させることが求められる。例えば、車両に搭載されたカメラにより生成された画像に対し、画像に撮影された地物の情報をタグとして付与することにより、教師データが作成される。

【0004】

特許文献１には、撮影された画像と、画像に応じて検索された地物特定情報とを重畳して表示する画像表示装置が記載されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１２－１７０１００号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載の技術によると、画像表示装置は、撮影位置と撮影方位と姿勢とに基づいて撮影空間を特定し、特定された撮影空間内に代表点座標が位置する地物を、地物特定情報記憶部から検索する。したがって、大量に登録された地物の中から撮影空間に存在する地物を迅速に特定することは容易ではない。

【0007】

本発明は、撮影装置により撮影された画像に対し、画像に含まれる地物の情報を迅速に特定するタグ付与装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明にかかるタグ付与装置は、撮影装置により撮影されたときの撮影装置の位置を示す撮影位置および撮影装置の向いている方位を示す撮影方位を含む撮影条件が関連づけられた画像に対応する、少なくとも撮影位置を含む対象エリアを特定する対象エリア特定部と、所定領域に存在する地物について、少なくとも地物の名称および当該地物に対応する地図上の位置を示す地物範囲を含む地物情報を記憶するサーバから、対象エリアに前記地物範囲の少なくとも一部が含まれる地物情報を取得する地物情報取得部と、取得した地物情報に含まれる地物範囲と、画像における撮影位置および撮影方位に基づいて定められる、画像に撮影された領域が地図上に占める範囲を示す撮影範囲と重複するか否かを判定する重複判定部と、撮影範囲と重複すると判定された地物範囲に対応する地物名称をタグとして画像に付与するタグ付与部とを備える。

【0009】

本発明にかかるタグ付与装置によれば、撮影装置により撮影された画像について、画像に含まれる地物の情報を迅速に特定することができる。

【図面の簡単な説明】

【0010】

【図1】タグ付与装置の動作概要図である。

【図2】タグ付与装置が実装される車両の概略構成図である。

【図3】タグ付与装置のハードウェア模式図である。

【図4】タグ付与装置が有するプロセッサの機能ブロック図である。

【図5】対象エリアの特定を説明する図である。

【図6】重複判定処理を説明する図である。

【図7】タグ付与処理のフローチャートである。

【図8】異なる重複判定処理を説明する図である。

【図9】（ａ）は地物高さを用いた重複判定処理を説明する図であり、（ｂ）は地物高さを用いた画像へのタグ付与を説明する図である。

【発明を実施するための形態】

【0011】

以下、図面を参照してタグ付与装置について詳細に説明する。ただし、本発明は図面または以下に記載される実施形態に限定されないことを理解されたい。

【0012】

タグ付与装置は、撮像装置により撮影された画像に対し、画像に含まれる地物の情報をタグとして付与する。このとき、タグ付与装置は、少なくとも画像に関連づけられた撮影位置を含む対象エリアを特定する。そして、タグ付与装置は、サーバから対象エリアに対応する地物情報を取得する。そして、タグ付与装置は、地物情報に含まれる地物範囲と、画像に関連づけられた撮影位置および撮影方位とに基づいて定められる撮影範囲とが重複するか否かを判定し、重複すると判定された地物の名称をタグとして画像に付与する。これにより、このタグ付与装置は、撮像装置により撮影された画像について、画像に含まれる地物の情報を迅速に特定することができる。

【0013】

以下では、タグ付与装置を車両に搭載した実施形態について説明する。タグ付与装置は、車両に搭載されたカメラにより撮影された画像にタグを付与する。

【0014】

図１は、タグ付与装置の動作概要図であり、図２はタグ付与装置が実装される車両の概略構成図である。

【0015】

車両Ｖは、撮影装置の一例であるカメラ１と、タグ付与装置２と、ＧＮＳＳ受信機３と、データ通信モジュール４を有する。カメラ１は、所定時間（ごとに車両の周囲の領域を撮影する。タグ付与装置２は、カメラ１により撮影された画像にタグを付与する。ＧＮＳＳ受信機３は、人工衛星から送信される信号に基づいて位置情報を出力する。タグ付与装置２は、ＧＮＳＳ受信機３が出力する位置情報に基づいて、車両Ｖの進行方向が示す車両方位を推定する。また、タグ付与装置２は、車両Ｖの車体に対するカメラ１の撮影方向、カメラ１の画角といった情報を予め記憶している。データ通信モジュール４は、外部ネットワーク６に含まれる無線基地局７に接続するための通信インタフェース回路を有する。カメラ１、タグ付与装置２、ＧＮＳＳ受信機３、データ通信モジュール４は、車内ネットワーク５を介して通信可能に接続される。車両Ｖは、車両Ｖの走行を制御し、車内ネットワークに接続されるＥＣＵ（Electronic Control Unit、不図示）をさらに有していてもよい。この場合、タグ付与装置２は、車両Ｖに搭載された各種センサの出力を用いた位置情報補正処理によりＥＣＵが作成する車両Ｖの詳細位置情報を、ＥＣＵから取得して利用することができる。

【0016】

タグ付与装置２は、カメラ１が位置Ｏ（N_O,E_O）にあるときに撮影された画像Ｉの入力を受け付ける。タグ付与装置２は、位置Ｏを所定の緯度幅と経度幅とで区分したメッシュに対応づけ、メッシュＸ１と位置Ｏを含むメッシュＸ２とを対象エリアとして特定する。対象エリアの特定の詳細については後述する。

【0017】

タグ付与装置２は、対象エリアの情報をサーバ８に送信し、サーバ８から対象エリアに対応する地物情報を取得する。サーバ８は、所定領域に存在する地物についての地物情報を記憶するデータベースを有し、外部ネットワーク６に接続される。タグ付与装置２は、車内ネットワーク５、データ通信モジュール４、無線基地局７、外部ネットワーク６を介して、サーバ８と通信可能である。地物情報とは、地図上に表現可能な物の概念である地物を示す情報である。地物には、道路、建物、街路樹といった地図上で所定の範囲を占める物体が含まれる。サーバ８は、各メッシュに関連づけて地物情報を記憶している。タグ付与装置２は、対象エリアであるメッシュＸ１に関連づけられた、ビルＰに関する地物情報とビルＱに関する地物情報とを取得する。また、タグ付与装置２は、対象エリアであるメッシュＸ２に関連づけられた、ビルＲに関する地物情報とビルＳに関する地物情報とを取得する。地物情報には、地物の名称および地物が地図上に占める範囲を示す地物範囲が含まれる。

【0018】

タグ付与装置２は、取得した地物情報に含まれる地物範囲と、画像に撮影された領域が地図上に占める範囲を示す撮影範囲とが重複するか否かを判定する。撮影範囲は、撮影位置および撮影方位に基づいて定められる。撮影位置は、画像が撮影された時に対応するＧＮＳＳ受信機３からの位置情報である。撮影方位は、車体に対する撮影方向および画像が撮影されたときの車両方位に基づいて算出される、画像が撮影されたときにカメラ１が向く方位である。図１の例では、扇形の破線で示す撮影範囲はビルＰの地物範囲と重複しており、他の地物範囲とは重複していない。

【0019】

タグ付与装置２は、撮影範囲と重複すると判定された地物範囲に対応する地物の地物名称「ビルＰ」を、画像Ｉに属性として付与する。

【0020】

図３は、タグ付与装置２のハードウェア模式図である。

【0021】

タグ付与装置２は、少なくとも車両Ｖに設置されたカメラ１により撮影された画像の撮影位置を含む対象エリアを特定する。また、タグ付与装置２は、サーバ８から対象エリアに対応する地物情報を取得する。そして、タグ付与装置２は、地物情報に含まれる地物範囲と、画像に関連づけられた撮影位置および撮影方位とに基づいて定められる撮影範囲とが重複するか否かを判定し、重複すると判定された地物の名称をタグとして画像に付与する。そのために、タグ付与装置２は、入出力インタフェース２１と、メモリ２２と、プロセッサ２３と、ストレージ２４とを備える。

【0022】

入出力インタフェース２１は、通信部の一例であり、タグ付与装置２と外部とのデータの入出力を行うためのインタフェース回路を有する。入出力インタフェース２１は、受信したデータをプロセッサ２３に供給する。また、入出力インタフェース２１は、プロセッサ２３から供給されたデータを外部に出力する。入出力インタフェース２１は、例えばＣＡＮ（Controller Area Network）に準拠した通信を行うための回路である。

【0023】

メモリ２２は、記憶部の一例であり、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ２２は、プロセッサ２３による処理に用いられる各種データ、例えばカメラ１から受け付けた画像、サーバ８から受信した地物情報、タグ付与処理に用いる各種閾値等を記憶する。

【0024】

プロセッサ２３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。プロセッサ２３は、カメラ１から画像を受信するたびに、受信した画像に対してタグ付与処理を実行する。なお、プロセッサ２３は、カメラ１から所定数の画像を受信するたびに、その時に受信した画像に対してタグ付与処理を実行してもよい。また、プロセッサ２３は、車両Ｖの位置情報の変位量が閾値を超えたこと、画像から新たな物体が検出されたことといった条件に従って、タグ付与処理の対象となる画像を選択してもよい。

【0025】

ストレージ２４は、記憶部の一例であり、不揮発性のＳＳＤ（Solid State Drive）またはＨＤＤ（Hard Disk Drive）を有する。ストレージ２４は、プロセッサ２３によりタグが付与された画像を記憶する。ストレージ２４に記憶された画像は、入出力インタフェース２１を介して外部に出力可能である。

【0026】

図３は、タグ付与装置２が有するプロセッサ２３の機能ブロック図である。

【0027】

タグ付与装置２のプロセッサ２３は、機能ブロックとして、対象エリア特定部２３１と、地物情報取得部２３２と、重複判定部２３３と、タグ付与部２３４とを有する。プロセッサ２３が有するこれらの各部は、プロセッサ２３上で実行されるプログラムによって実装される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとしてタグ付与装置２に実装されてもよい。

【0028】

対象エリア特定部２３１は、カメラ１から入力された画像ごとに、少なくとも画像に関連づけられた撮影条件に含まれる撮影位置を含む対象エリアを特定する。カメラ１は、例えばExif（Exchangeable image file format）規格により定められる所定の領域に撮影条件が埋め込まれた画像を出力する。撮影条件に含まれる撮影位置は、画像が撮影されたときにＧＮＳＳ受信機３が出力する位置情報であってよい。ＧＮＳＳ受信機３が出力する位置情報は、WGS84測地系における座標（緯度、経度、標高）であってよい。

【0029】

図５は、対象エリアの特定を説明する模式図である。

【0030】

模式図５００は、撮影位置Ｏ（N_O,E_O）とメッシュとの関係を示している。なお、撮影位置Ｏ（N_O,E_O）とは、位置Ｏの北緯がN_Oであり、東経がE_Oであることを示している。

【0031】

撮影位置０は、メッシュＸ２に含まれる。この場合、メッシュＸ２は対象エリアとして特定される。

【0032】

メッシュＸ２において、撮影位置と、メッシュＸ２の北側を区分する境界Ｂ₁₂との距離はd_nbである。同様に、撮影位置とメッシュＸ２の東側、南側、西側を区分する境界Ｂ_XY、Ｂ₂₃、Ｂ_WXとの距離は、それぞれd_eb、d_sb、d_wbである。

【0033】

対象エリア特定部２３１は、撮影位置Ｏと境界との距離d_nb、d_eb、d_sbおよびd_wbを、メモリ２２に記憶された距離閾値と比較する。模式図５００の例において、距離d_nbは距離閾値未満であり、距離d_eb、d_sbおよびd_wbは距離閾値未満でない。この場合、対象エリア特定部２３１は、撮影位置Ｏからの距離が距離d_nbである境界Ｂ₁₂により、撮影位置Ｏを含むメッシュＸ２と区分されるメッシュＸ１を、対象エリアとしてさらに特定する。

【0034】

地物情報取得部２３２は、対象エリア特定部２３１により特定された対象エリアを示す情報をサーバ８に送信する。対象エリアを示す情報は、対象エリアとして特定されたメッシュの緯度方向における位置と経度方向における位置との組み合わせ（例えば「Ｘ１」）といった、対象エリアを一意に特定する情報である。

【0035】

サーバ８は、メッシュに関連づけて地物情報を記憶している。サーバ８は、地物情報取得部２３２から受信した対象エリアを示す情報に応じて、対象エリアとして特定されたメッシュに関連づけられた地物情報を地物情報取得部２３２に送信する。地物情報取得部２３２は、サーバ８から対応エリアに関連づけられた地物情報を取得する。

【0036】

重複判定部２３３は、画像に撮影された領域が地図上に占める範囲を示す撮影範囲を定める。そして、重複判定部２３３は、地物情報取得部２３２が取得した地物情報に含まれる地物範囲と撮影範囲とが重複するか否かを判定する。

【0037】

地物範囲は、地物に対応する地図上の位置を示す情報であり、例えばWGS84測地系における座標（緯度、経度、標高）を用いて特定される。地物範囲は、地物が占める範囲に外接する多角形の各頂点の座標により特定される。このとき、各頂点の座標における標高は、当該地物の位置する位置における地表の標高である。また、各頂点の座標における標高は、当該地物の最高地点の標高であってもよい。また、地物範囲は、地図上の一点に対応する座標により特定されてもよい。また、地物範囲は、地図上の線に対応する複数の地点の座標により特定されてもよい。

【0038】

重複判定部２３３は、撮影位置および撮影方位を含む撮影条件に基づいて撮影範囲を定める。撮影位置が、カメラ１が画像を撮影したときにＧＮＳＳ受信機３により出力される位置情報であって、カメラ１の位置とＧＮＳＳ受信機３が出力する位置とがずれている場合、重複判定部２３３は、撮影位置の位置情報がカメラ１の位置を示すよう、撮影位置を修正してよい。具体的には、重複判定部２３３は、メモリ２２に記憶されているカメラ１の取り付け位置の情報とＧＮＳＳ受信機３の取り付け位置の情報と撮影方位とに基づいて、撮影位置を修正する。なお、このとき、撮影位置はWGS84測地系における座標を用いて特定されているとする。

【0039】

重複判定部２３３は、撮影位置および地物範囲に用いられる座標を、既知の換算式を用いてWGS84測地系からUTM座標系に変換する。重複判定部２３３は、撮影位置を中心とし、撮影方位に向けて画角を中心角とする所定の半径（例えば60m）の扇形を、撮影範囲として定める。

【0040】

図６は、重複判定処理を説明する図である。

【0041】

図６において、画像Ｉに対応する撮影範囲ＩＡは、中心を撮影位置Ｏとする扇形で示される。画像Ｉの撮影方位は、撮影位置Ｏから進行方向位置Ｗに向かう直線で示される。撮影範囲ＩＡにおいて、扇形の半径は撮影位置Ｏから進行方向位置Ｗまでの距離ｄであり、扇形の中心角は2θである。また、図６において、地物Ｐ－Ｓに対応する地物範囲ＦＡ_P－ＦＡ_Sが示される。

【0042】

重複判定部２３３は、撮影範囲に地物範囲の少なくとも一部が含まれるか否かを判定し、図６の例では、地物範囲ＦＡ_Pと、地物範囲ＦＡ_Pの少なくとも一部を含む撮影範囲ＩＡとが重複すると判定される。

【0043】

撮影位置Ｏと地物範囲ＦＡ_Pにおける頂点Ｅ_P1とを結ぶ直線が進行方向となす角をαとする。このとき、重複判定部２３３は、画像Ｉの左右方向における中心線からtanα×ｄの距離にある線状のいずれかの位置に頂点Ｅ_P1が表わされると推定することができる。

【0044】

タグ付与部２３４は、撮影範囲と重複すると判定された地物範囲に対応する地物名称を、タグとして画像Ｉに付与する。タグ付与部２３４は、Exif規格により定められる所定の領域に地物名称を埋め込むことによって画像Ｉにタグを付与する。タグを付与された画像Ｉは、ストレージ２４に記憶される。また、タグ付与部２３４は、画像の識別子と地物名称とを関連づけて記憶するデータベースに対し、画像Ｉの識別子と対応する地物名称とを関連づけて記憶させることによって画像Ｉにタグを付与してもよい。

【0045】

図７は、タグ付与処理のフローチャートである。プロセッサ２３は、カメラ１により撮影された画像を受け付ける度にタグ付与処理を実行する。

【0046】

対象エリア特定部２３１は、まず、少なくとも画像の撮影位置を含む対象エリアを特定する（ステップＳ１）。

【0047】

次に、地物情報取得部２３２は、特定された対象エリアを示す情報をサーバ８に送信し、サーバ８から対象エリアに関連づけられた地物情報を取得する（ステップＳ２）。

【0048】

次に、重複判定部２３３は、取得した地物情報に含まれる地物範囲と、画像の撮影位置および撮影方位に基づいて定められる撮影範囲とが重複するか否かを判定する（ステップＳ３）。地物範囲と撮影範囲とが重複しないと判定された場合（ステップＳ３：Ｎ）、プロセッサ２３はタグ付与処理を終了する。

【0049】

地物範囲と撮影範囲とが重複すると判定された場合（ステップＳ３：Ｙ）、タグ付与部２３４は当該地物範囲に対応する地物名称をタグとして画像に付与し（ステップＳ４）、タグ付与処理を終了する。

【0050】

変形例によれば、重複判定部２３３は、撮影範囲ＩＶと重複すると判定された複数の地物範囲が互いに重複するかを判定してもよい。この場合、タグ付与部２３４は、互いに重複すると判定された複数の地物範囲のうち、撮影位置Ｏからの位置が大きい地物範囲に対応する地物名称と、当該地物が他の地物により遮蔽されていることを示す遮蔽情報とをタグとして画像に付与する。

【0051】

図８は、異なる重複判定処理を説明する図である。

【0052】

図８の例では、撮影範囲ＩＶは、地物Ｕに対応する地物範囲ＦＡ_Uおよび地物Ｖに対応する地物範囲ＦＡ_Vと重複する。地物範囲ＦＡ_Uは頂点Ｅ_U1およびＥ_U2を含む。地物範囲ＦＡ_Vは頂点Ｅ_V1およびＥ_V2を含む。

【0053】

重複判定部２３３は、撮影位置Ｏから見た地物範囲ＦＡ_Uおよび地物範囲ＦＡ_Vの位置関係を特定する。具体的には、重複判定部２３３は、まず、撮影位置Ｏと地物範囲ＦＡ_Vの頂点Ｅ_V1およびＥ_V2とを結ぶ線分が、地物範囲ＦＡ_Uと重なるか否かを判定する。また、重複判定部２３３は、撮影位置Ｏと地物範囲ＦＡ_Uの頂点Ｅ_U1およびＥ_U2とを結ぶ線分が、地物範囲ＦＡ_Vと重なるか否かを判定する。

【0054】

図８の例においては、重複判定部２３３は、撮影位置Ｏと地物範囲ＦＡ_Vの頂点Ｅ_V1およびＥ_V2とを結ぶ線分は地物範囲ＦＡ_Uと重なると判定し、撮影位置Ｏと地物範囲ＦＡ_Uの頂点Ｅ_U1およびＥ_U2とを結ぶ線分は、地物範囲と重ならないと判定する。

【0055】

重複判定部２３３は、地物範囲ＦＡ_Uに重なると判定された地物範囲ＦＡ_Vに対応する地物名称と、当該地物範囲が他の地物により遮蔽されていることを示す遮蔽情報とを、タグとして画像に付与する。

【0056】

図８の例において、頂点Ｅ_U1およびＥ_U2に対応する水平位置は、点Ｅ′_U1およびＥ′_U2である。また、撮影範囲ＩＶに対する画像において、頂点Ｅ_V1およびＥ_V2に対応する水平位置は、点Ｅ′_V1およびＥ′_V2である。重複判定部２３３は、画像における点Ｅ′_U1とＥ′_U2との間の領域を地物Ｕに対応する領域として特定する。また、重複判定部２３３は、画像における点Ｅ′_V1とＥ′_V2との間の領域を地物Ｖに対応する領域として特定する。

【0057】

タグ付与部２３４は、重複判定部２３３により特定された地物範囲に対応する領域を特定する領域情報を、タグとして画像に付与する。タグ付与部２３４は、地物Ｕの背後にあるため隠蔽された（画像には表われていない可能性のある）地物Ｖに対応する領域情報（点Ｅ′_V1－Ｅ′_V2）を画像にタグとして付与するにあたり、遮蔽されていることを示す遮蔽情報をあわせてタグとして付与してもよい。

【0058】

上記変形例において、重複判定部２３３は、地物の高さを示す地物高さをさらに含む地物情報に基づいて、地物範囲と撮影範囲とが重複するか否かを判定してもよい。この場合、タグ付与部２３４は、地物高さを用いて遮蔽情報をタグとして付与する。

【0059】

図９（ａ）は地物高さを用いた重複判定処理を説明する図であり、図９（ｂ）は地物高さを用いた画像へのタグ付与を説明する図である。

【0060】

図９（ａ）は、撮影位置Ｏにおいて画像Ｉを撮影したときの撮影範囲と地物範囲との関係を示している。地物Ｕ、Ｖの地物範囲ＦＡ_U、ＦＡ_Uは、それぞれ地物高さＨ_U、Ｈ_Vを用いて定められる。地物Ｕよりも撮影位置Ｏから遠い地物Ｖの地物高さＨ_Vは、地物Ｕの地物高さＨ_Uよりも大きい。

【0061】

重複判定部２３３は、地物の高さを示す地物高さをさらに含む地物情報に基づいて、地物範囲ＦＡ_U、ＦＡ_Uと撮影範囲ＩＡとが重複するか否かを判定する。図９（ａ）に示す例では、地物範囲ＦＡ_U、ＦＡ_Uと撮影範囲ＩＡとが重複すると判定される。

【0062】

タグ付与部２３４は、図９（ｂ）に示すように画像Ｉにタグを付与する。すなわち、タグ付与部２３４は、画像Ｉのうち地物範囲ＦＡ_Uに対応する領域ＴＡ_Uと地物Ｕの名称とをタグとして画像Ｉに付与する。また、タグ付与部２３４は、画像Ｉのうち地物範囲ＦＡ_Vに対応する領域ＴＡ_Vと地物Ｖの名称とをタグとして画像Ｉに付与する。このとき、タグ付与部２３４は、領域ＴＡ_Vを、地物範囲における地物高さを超える領域ＴＡ_V1と超えない領域ＴＡ_V2とに分けて、異なるタグとして画像Ｉに付与してよい。

【0063】

すなわち、地物範囲における地物高さを超える領域ＴＡ_V1では、地物Ｖは画像Ｉに表われているため、タグ付与部２３４は、領域ＴＡ_V1が地物Ｖに対応する領域であることを示すタグを付与する。一方、地物範囲における地物高さを超えない領域ＴＡ_V2では、地物Ｖは地物Ｕに遮蔽されて画像Ｉに表われていないため、タグ付与部２３４は、領域ＴＡ_V2が地物Ｖに対応する領域であり、かつ遮蔽されていることを示すタグを付与する。このとき、タグ付与部２３４は、領域ＴＡ_Vに対する領域ＴＡ_V2の割合に応じた遮蔽度を、タグとして画像Ｉに付与してもよい。

【0064】

他の変形例によれば、プロセッサ２３は、画像から物体の名称を抽出する物体名称抽出部（不図示）をさらに備え、タグ付与部２３４は、物体の名称と地物種別との組み合わせに応じて定められるシーン特性を、タグとして画像に付与してもよい。物体名称抽出部は、表わされる物体の種別に応じて画像を複数のクラスに分類するよう重み付けが設定されたニューラルネットワークを用いて構成される。物体名称抽出部は、画像の入力を受け付けると、画像に表わされる物体の種別に対応するクラスを、物体の名称として出力する。メモリ２２は、シーン特性と、物体の名称と地物名称との組み合わせとを関連づけて記憶している。シーン特性とは、例えば、地物名称「黄色センターライン」と物体名称「救急車」とに関連づけられた「追い越し禁止道路での救急車による追い越し」といった特性である。タグ付与部２３４は、重複判定部２３３により撮影範囲と重複すると判定された地物範囲に対応する地物名称と、物体名称抽出部により出力された物体の名称との組み合わせに関連づけられたシーン特性をメモリ２２から読み出し、画像にタグとして付与する。

【0065】

上述した実施形態または変形例によるタグ付与装置は、カメラ１以外の車両Ｖの周囲に存在する物体を検知するためのセンサにより取得されたセンサ信号に対して適用されてもよい。そのような、所定の検知範囲内に存在する物体を検出するためのセンサとして、例えば、車両Ｖに搭載されたＬＩＤＡＲ（Light Detection and Ranging）センサ、または、ＲＡＤＡＲ（Radio Detection and Ranging）センサが用いられてもよい。この場合、重複判定部２３３は、ＬＩＤＡＲセンサまたはＲＡＤＡＲセンサにより取得される距離画像を用いて、地物範囲が撮影範囲と重複するか否かの判定を行う。距離画像は、各画素が当該画素に表わされた物体までの距離に応じた値を持つ距離画像である。タグ付与部２３４は、距離画像の各画素に表された距離に応じた値を、UTM座標系の座標に変換する。タグ付与部２３４は、UTM座標系で表わされた地物範囲と対比することにより、画像において地物範囲に対応する領域を特定する。

【0066】

さらに他の変形例によれば、上述の実施形態または変形例によるタグ付与装置は、車載機器以外の機器として実装されてもよい。例えば、上述の実施形態または変形例によるタグ付与装置は、記録媒体または通信ネットワークを介して車両に搭載されたカメラにより撮影された画像の入力を受け付ける据置型コンピュータとして実装されてもよい。

【0067】

当業者は、本発明の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。

【符号の説明】

【0068】

１ カメラ
２ タグ付与装置
２３１ 対象エリア特定部
２３２ 地物情報取得部
２３３ 重複判定部
２３４ タグ付与部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】