特許 7295711 教師データ生成装置、教師データの生成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-13

(45)【発行日】2023-06-21

(54)【発明の名称】教師データ生成装置、教師データの生成方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230614BHJP

   G08G 1/09 20060101ALI20230614BHJP

   G06N 20/00 20190101ALI20230614BHJP

【ＦＩ】

G06T7/00 350B

G08G1/09 D

G06N20/00

G06T7/00 650Z

【請求項の数】 7

(21)【出願番号】P 2019107299

(22)【出願日】2019-06-07

(65)【公開番号】P2020201662

(43)【公開日】2020-12-17

【審査請求日】2022-03-16

(73)【特許権者】

【識別番号】321011767

【氏名又は名称】ジオテクノロジーズ株式会社

(74)【代理人】

【識別番号】110000637

【氏名又は名称】弁理士法人樹之下知的財産事務所

(72)【発明者】

【氏名】竹田 淳一

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２０１７－１４６７１１（ＪＰ，Ａ）

【文献】特開２０１０－１９１５０５（ＪＰ，Ａ）

【文献】堰澤映，外１名，人工的に生成した道路シーンを用いた道路標識認識器の学習，信学技報PRMU2018-89，2018年12月，pp.73-78

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／０９

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

一枚の画像に含まれ得る複数の交通標識の相対位置及び交通標識毎に付与された識別情報を含む相対位置データを用いて、第１交通標識の周辺に位置する可能性がある第２交通標識、及び当該第２交通標識の前記第１交通標識に対する第１相対位置を推定する推定部と、
前記推定部の推定結果を用いて、前記第１交通標識及び、前記第１相対位置に位置する前記第２交通標識を含む教師用画像データを生成する生成部とを備え、
前記推定部は、複数の前記第２交通標識を、当該第２交通標識の存在確率とともに出力し、
前記生成部は、前記存在確率を用いて前記教師用画像データの生成に用いる前記第２交通標識を選択する、教師データ生成装置。

【請求項2】

請求項１に記載の教師データ生成装置において、
前記生成部は、前記存在確率が基準値以下の前記第２交通標識を、前記教師用画像データの生成に使用しない教師データ生成装置。

【請求項3】

請求項１または請求項２に記載の教師データ生成装置において、
前記相対位置データは、道路の属性に紐づけられており、
前記推定部は、前記教師用画像データの対象となる道路の前記属性を取得し、当該属性に対応する前記相対位置データを用いて前記推定結果を生成する教師データ生成装置。

【請求項4】

請求項３に記載の教師データ生成装置において、
前記属性は道路の種別及び車線数の少なくとも一方を含む教師データ生成装置。

【請求項5】

請求項１から請求項４のいずれか一項に記載の教師データ生成装置において、
前記第２交通標識は前記第１交通標識の隣に位置しており、
前記推定部は、前記相対位置データを用いて、前記第２交通標識の隣に位置していて前記第１交通標識とは異なる第３交通標識、及び当該第３交通標識の前記第２交通標識に対する第２相対位置を推定し、
前記生成部は、前記教師用画像データに、前記第２相対位置に位置する前記第３交通標識を含ませる教師データ生成装置。

【請求項6】

コンピュータが、
一枚の画像に含まれ得る複数の交通標識の相対位置及び交通標識毎に付与された識別情報を含む相対位置データを用いて、第１交通標識の周辺に位置する可能性がある第２交通標識、及び当該第２交通標識の前記第１交通標識に対する第１相対位置を推定し、
前記推定の結果を用いて、前記第１交通標識及び、前記第１相対位置に位置する前記第２交通標識を含む教師用画像データを生成する、教師データの生成方法であって、
複数の前記第２交通標識を、当該第２交通標識の存在確率とともに出力し、
前記存在確率を用いて前記教師用画像データの生成に用いる前記第２交通標識を選択する、教師データの生成方法。

【請求項7】

コンピュータに、
一枚の画像に含まれ得る複数の交通標識の相対位置及び交通標識毎に付与された識別情報を含む相対位置データを用いて、第１交通標識の周辺に位置する可能性がある第２交通標識、及び当該第２交通標識の前記第１交通標識に対する第１相対位置を推定する機能と、
前記推定の結果を用いて、前記第１交通標識及び、前記第１相対位置に位置する前記第２交通標識を含む教師用画像データを生成する機能と、
を持たせるプログラムであって、
前記推定する機能は、複数の前記第２交通標識を、当該第２交通標識の存在確率とともに出力し、
前記生成する機能は、前記存在確率を用いて前記教師用画像データの生成に用いる前記第２交通標識を選択する、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、教師データ生成装置、教師データ生成装置、及びプログラムに関する。

【背景技術】

【0002】

車両の運転者をサポートする際、及び、車両を自動運転する際には、画像処理によって交通標識を高精度で認識できるようにすることが好ましい。

【0003】

例えば特許文献１には、以下の技術が記載されている。まず、車両に搭載された装置が、画像解析によって道路標識を認識し、認識結果を情報センタに送信する。情報センタは、この認識結果を含む情報を、他の車両に配信する。

【0004】

また、特許文献２には、以下の技術が記載されている。まず、車載カメラによって撮影された画像に対して明暗に関する補正を行うことにより、明暗補正画像を生成する。また、同じ画像に対して色に関する補正を行うことにより、色補正画像を生成する。次いで、明暗補正画像を用いて物体を検出するとともに、色補正画像を用いて物体検出を行う。そして、２つの物体検出処理結果を用いて、標識及び表示を認識する。

【0005】

一方、近年は機械学習に関する開発が行われている。機械学習の精度は、教師データの質及び量に大きく影響される。これに対して特許文献３には、背景の特徴量を別の値に置換することにより、シルエット画像から複数の学習用の画像を生成することが記載されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００４－１７１１５９号公報

【文献】特開２０１８－７２８９３号公報

【文献】特開２００８－５９１１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

一つの場所には複数の交通標識が設置されることが多い。本発明者は、これら複数の交通標識の相対位置を用いると、画像処理による交通標識の認識精度が向上すると考えた。一方、機械学習にこの相対位置を用いるためには、この相対位置を含む教師データを準備する必要がある。

【0008】

本発明が解決しようとする課題としては、複数の交通標識の相対位置を含む画像認識処理用の教師データを準備できるようにすることが一例として挙げられる。また本発明が解決しようとする他の課題としては、画像処理による交通標識の認識精度を向上させることが一例として挙げられる。

【課題を解決するための手段】

【0009】

請求項１に記載の発明は、一枚の画像に含まれ得る複数の交通標識の相対位置及び交通標識毎に付与された識別情報を含む相対位置データを用いて、第１交通標識に周辺に位置する可能性がある第２交通標識、及び当該第２交通標識の前記第１交通標識に対する第１相対位置を推定する推定部と、
前記推定部の推定結果を用いて、前記第１交通標識及び、前記第１相対位置に位置する前記第２交通標識を含む教師用画像データを生成する生成部と、
を備える教師データ生成装置である。

【0010】

請求項７に記載の発明は、コンピュータが、
一枚の画像に含まれ得る複数の交通標識の相対位置及び交通標識毎に付与された識別情報を含む相対位置データを用いて、第１交通標識に周辺に位置する可能性がある第２交通標識、及び当該第２交通標識の前記第１交通標識に対する第１相対位置を推定し、
前記推定の結果を用いて、前記第１交通標識及び、前記第１相対位置に位置する前記第２交通標識を含む教師用画像データを生成する、教師データの生成方法である。

【0011】

請求項８に記載の発明は、コンピュータに、
一枚の画像に含まれ得る複数の交通標識の相対位置及び交通標識毎に付与された識別情報を含む相対位置データを用いて、第１交通標識に周辺に位置する可能性がある第２交通標識、及び当該第２交通標識の前記第１交通標識に対する第１相対位置を推定する機能と、
前記推定の結果を用いて、前記第１交通標識及び、前記第１相対位置に位置する前記第２交通標識を含む教師用画像データを生成する機能と、
を持たせるプログラムである。

【図面の簡単な説明】

【0012】

【図1】第１実施形態に係る教師データ生成装置の機能構成を示す図である。

【図2】教師データ生成装置が行う処理の意味を説明するための図である。

【図3】教師データ生成装置が行う処理の意味を説明するための図である。

【図4】相対位置記憶部のデータ構成の一例をテーブル形式で示す図である。

【図5】推定情報記憶部のデータ構成の一例をテーブル形式で示す図である。

【図6】教師データ記憶部が記憶している教師データの第１例を示す図である。

【図7】教師データ記憶部が記憶している教師データの第２例を示す図である。

【図8】教師データ生成装置１０のハードウェア構成例を示す図である。

【図9】推定部が行う処理の一例を示すフローチャートである。

【図10】生成部が行う処理の一例を示すフローチャートである。

【図11】第２実施形態に係る教師データ生成装置の動作を説明するための図である。

【図12】第２実施形態に係る推定情報記憶部のデータ構成の一例をテーブル形式で示す図である。

【図13】第２実施形態に係る教師データ記憶部のデータ構成の一例をテーブル形式で示す図である。

【図14】第３実施形態に係る標識推定装置の機能構成を示す図である。

【図15】判断部が行う処理の一例を示すフローチャートである。

【図16】判断部が行う処理の一例を説明するための図である。

【図17】第４実施形態に係る判断部の機能を説明するための図である。

【図18】第３交通標識の特定方法を説明するための図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0014】

［第１実施形態］
図１は、第１実施形態に係る教師データ生成装置１０の機能構成を示す図である。図２及び図３は、教師データ生成装置１０が行う処理の意味を説明するための図である。

【0015】

本実施形態に係る教師データ生成装置１０は、交通標識を機械学習するための教師データを生成する装置であり、図１に示すように推定部１１０及び生成部１２０を有している。

【0016】

図２に示すように、一つの地点には複数の交通標識が配置されていることが多い。例えば図２に示す例において、基準となる第１交通標識の隣（上下左右の少なくとも一つ）に第２交通標識が位置している。詳細には、第１交通標識に対して、右方向（第１クラス）、左方向（第２クラス）、上方向（第３クラス）、及び下方向（第４クラス）のそれぞれに、第２交通標識が配置されている。そして、これら複数の交通標識の相対位置には規則性がある程度ある。このため、第１交通標識の種類別に、各クラスにどの第２交通標識が存在し得るかを、交通標識の現実世界での配置を示すデータを処理することにより推定できる。そして教師データ生成装置１０は、図３に示す、第１交通標識、第２交通標識の候補、及び、これらの間の相対位置（例えばクラス）を、教師データの生成に用いる。

【0017】

具体的には、推定部１１０は、相対位置データを用いて、第１交通標識に周辺に位置する可能性がある第２交通標識、及び当該第２交通標識の第１交通標識に対する相対位置を推定する。相対位置データは、一枚の画像に含まれ得る複数の交通標識の相対位置、及び交通標識毎に付与された識別情報を含んでいる。生成部１２０は、推定部１１０の推定結果を用いて教師データを生成する。本実施形態において、教師データは、教師用画像データと、その教師用画像データの属性を含んでいる。教師用画像データは、第１交通標識及び第２交通標識を含む画像である。第２交通標識は、第１交通標識に対して上記した相対位置に位置している。また、教師用画像データの属性は、少なくとも、その教師用画像データが第１交通標識及び第２交通標識を含むことを示している。なお、推定部１１０及び生成部１２０が行う処理の詳細については後述する。

【0018】

本図に示す例において、教師データ生成装置１０は、さらに、相対位置記憶部１３０、画像記憶部１５０、推定情報記憶部１４０、及び教師データ記憶部１６０を有している。

【0019】

相対位置記憶部１３０は、上記した相対位置データを記憶している。相対位置データは、例えば実際に設置されている交通標識を撮影した画像を用いて、予め生成されている。相対位置記憶部１３０のデータ構成の一例については、図４を用いて後述する。

【0020】

推定情報記憶部１４０は、推定部１１０の推定結果を示す情報（以下、推定情報と記載）を記憶している。推定情報は、第１交通標識の標識特定情報毎に、第２交通標識の標識特定情報及び当該第２交通標識の第１交通標識に対する相対位置を、少なくとも一つの第２交通標識（多くの場合は複数の第２交通標識）について記憶している。推定情報記憶部１４０のデータ構成の一例については、図５を用いて後述する。

【0021】

画像記憶部１５０は、背景画像を記憶している。背景画像は、教師データとしての画像の背景となる画像であり、例えば風景を撮影した画像である。画像記憶部１５０は、背景画像を属性別に記憶していてもよい。この場合の属性としては、例えば道路の属性が挙げられる。道路の属性には、道路の種別（高速道路、一般道（さらには国道、県道・・・）、有料道路等）及び車線数、並びにその道路が位置している地域の特性が含まれている。地域の特性は、都市部、郊外部、トンネル、及び山岳部などである。

【0022】

また画像記憶部１５０は、交通標識の画像を、その交通標識の標識特定情報に紐づけて記憶している。この画像も、教師用画像データの生成に用いられる。

【0023】

教師データ記憶部１６０は、生成部１２０が生成した教師データを記憶している。教師データ記憶部１６０のデータ構成の一例については、図６を用いて後述する。

【0024】

図４は、相対位置記憶部１３０のデータ構成の一例をテーブル形式で示す図である。本図に示す例において、相対位置記憶部１３０は、相対位置データの基になった画像のＩＤ別に、第１交通標識の標識特定情報（以下、第１標識特定情報と記載）、並びに、第２交通標識の標識特定情報（以下、第２標識特定情報と記載）及びその第２交通標識の第１交通標識に対する相対位置を示す情報（以下、相対位置情報と記載）を記憶している。

【0025】

また、本図に示す例において、相対位置記憶部１３０は、相対位置データを道路の属性に紐づけて記憶している。ここでの道路の属性は、相対位置データの基になった画像に含まれる交通標識が設置されていた道路の属性を示している。道路の属性の具体例は、上記した通りである。そして相対位置記憶部１３０は、道路の属性毎に、複数の相対位置データを記憶している。

【0026】

相対位置データの生成は、例えば画像処理装置によって行われる。この場合、画像処理装置は、例えば、交通標識別に設定された特徴量を用いて画像を処理することにより、相対位置データを生成してもよい。また、画像処理装置は、交通標識を検出するための機械学習結果を用いて画像内の交通標識を検出し、この交通標識の検出結果を用いて相対位置データを生成してもよい。

【0027】

ここで画像処理装置は、処理対象となる画像に紐付いた情報を用いて、道路の属性を生成してもよい。例えば画像に、その画像が撮影された場所を特定する情報（例えば緯度経度情報）が紐付いていた場合、画像処理装置は、この情報及び既存の地図情報を用いて道路の属性を生成する。

【0028】

なお、相対位置記憶部１３０は、画像のＩＤを記憶していなくてもよい。

【0029】

図５は、推定情報記憶部１４０のデータ構成の一例をテーブル形式で示す図である。推定情報記憶部１４０は、第１標識特定情報毎に、第２標識特定情報及び相対位置情報を記憶している。本図に示す例において、推定情報記憶部１４０は、第２標識特定情報毎に、その第２交通標識が存在する確率（確からしさ）を示す情報（以下、存在確率と記載）を、クラス別（方向別）に記憶している。

【0030】

また図５に示す例において、推定情報記憶部１４０は、第１標識特定情報毎の第２標識特定情報及び相対位置情報を、さらに道路の属性別に記憶している。この道路の属性は、相対位置記憶部１３０に記憶されている属性を用いて設定される。

【0031】

図６は、教師データ記憶部１６０が記憶している教師データ、すなわち生成部１２０が生成した教師データの第１例を説明するための図である。上記したように、教師データは教師用画像データ及びその教師用画像データの属性を互いに対応付けたものである。教師用画像データは、第１交通標識、第２交通標識、及び背景を含んでいる。ここで、第１交通標識、第２交通標識、並びにその相対位置が同一であっても、背景画像が異なれば、異なる教師用画像データとなる。教師データ記憶部１６０は、第１交通標識、第２交通標識、並びにその相対位置が同一であるが、背景が異なる教師用画像データを複数記憶している。

【0032】

本図に示す例において、教師用画像データの属性は、その教師用画像データが適用される道路の属性、その教師用画像データが含んでいる第１交通標識（図６においては標識１）及び第２交通標識（図６においては標識２）それぞれの標識特定情報（第１標識特定情報及び第２標識特定情報）、並びに第１交通標識に対する第２交通標識の相対位置を含んでいる。なお、本図に示す例において、第２交通標識は第１交通標識の隣に位置していることが前提になっている。このため、相対位置は、第１交通標識を基準に、第２交通標識が位置している方向を示している。

【0033】

図６に示す例において、生成部１２０は、推定情報が有している第２交通標識のすべてに対して、教師用画像データ及びその属性を生成している。言い換えると、生成部１２０は、教師データの生成に際し、推定情報に含まれている存在確率を使用しない。このようにすると、教師データの網羅性は向上し、その結果、この教師データを用いた分類器の分類精度は高くなる。

【0034】

図７は、教師データ記憶部１６０が記憶している教師データ、すなわち生成部１２０が生成した教師データの第２例を説明するための図である。本図に示す教師データのデータ構造は、図６に示した教師データのデータ構造と同様である。ただし、生成部１２０は、推定情報の存在確率を教師データの生成に使用している。具体的には、生成部１２０は、存在確率が基準値以下の第２交通標識に対応する教師用画像データを生成しない。このようにすると、教師データ生成装置１０の演算量を少なくすることができる。

【0035】

図８は、教師データ生成装置１０のハードウェア構成例を示す図である。教師データ生成装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

【0036】

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

【0037】

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

【0038】

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

【0039】

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は教師データ生成装置１０の各機能（例えば推定部１１０及び生成部１２０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。

【0040】

入出力インタフェース１０５０は、教師データ生成装置１０と各種入出力機器とを接続するためのインタフェースである。

【0041】

ネットワークインタフェース１０６０は、教師データ生成装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

【0042】

図９は、推定部１１０が行う処理の一例を示すフローチャートである。まず、推定部１１０は、第１標識特定情報及び道路の属性の指定を取得する（ステップＳ１０２）。この取得は、例えば、あらかじめ用意されたテーブルから第１標識特定情報及び道路の属性の組み合わせを読み出すことによって行われるが、ユーザ入力によって行われてもよい。

【0043】

次いで推定部１１０は、相対位置記憶部１３０から、指定された第１交通標識の第１標識特定情報及び道路の属性の組み合わせを含む相対位置データを読み出す（ステップＳ１０４）。次いで推定部１１０は、読み出された相対位置データを用いて、推定情報を生成し、生成した推定情報を推定情報記憶部１４０に記憶させる（ステップＳ１０６）。例えば推定部１１０は、複数の相対位置データのそれぞれから、第２標識特定情報及び相対位置情報の組み合わせを特定し、特定した複数の組み合わせ、第１標識特定情報、及び道路の属性を、推定情報に含ませる。

【0044】

図１０は、生成部１２０が行う処理の一例を示すフローチャートである。まず生成部１２０は、第１標識特定情報及び道路の属性の指定を取得する（ステップＳ１２２）。この取得の方法は、例えば図９のステップＳ１０２に説明した方法と同様である。

【0045】

次いで生成部１２０は、推定情報記憶部１４０から、指定された第１標識特定情報及び道路の属性の組み合わせに対応する推定情報を読み出す。また生成部１２０は、画像記憶部１５０から、ステップＳ１２２で指定された道路の属性に対応する背景画像を読み出す（ステップＳ１２４）。ここでその属性に対応する背景画像が複数ある場合、画像記憶部１５０はこれら複数の背景画像を読み出す。

【0046】

次いで生成部１２０は、読み出した推定情報及び背景情報を用いて、教師データを生成して教師データ記憶部１６０に記憶させる（ステップＳ１２６）。例えば生成部１２０は、推定情報を用いて、第１交通標識の第１標識特定情報、第２交通標識の第２標識特定情報、及びこれら２つの交通標識の相対位置を特定する。そして生成部１２０は、画像記憶部１５０から、第１標識特定情報に対応する画像（すなわち第１交通標識の画像）、及び第２標識特定情報に対応する画像（すなわち第２交通標識の画像）を読み出す。そして生成部１２０は、背景画像に、第１交通標識の画像及び第２交通標識の画像を、特定した相対位置となるように合成することにより、教師用画像データを生成する。ここで生成部１２０は、複数の背景画像を読み出していた場合、これら複数の背景画像それぞれを用いて、互いに異なる教師用画像データを生成する。次いで生成部１２０は、この教師用画像データと、この教師用画像データの属性を互いに対応付けることにより、教師データを生成する。

【0047】

以上、本実施形態によれば、生成部１２０は、第１交通標識と第２交通標識の相対位置を用いて、これら第１交通標識と第２交通標識を含む教師用画像データを生成する。従って、複数の交通標識の相対位置を含む画像認識処理用の教師データを容易に準備することができる。

【0048】

［第２実施形態］
図１１は、本実施形態に係る教師データ生成装置１０の動作を説明するための図である。本実施形態に係る教師データ生成装置１０は、教師用画像データに第３交通標識を含ませる点を除いて、第１実施形態に係る教師データ生成装置１０と同様である。

【0049】

第３交通標識は、第２交通標識の隣に位置する交通標識である。すなわち、第１交通標識、第２交通標識、及び第３交通標識は、第１の方向（例えば図１１の左から右に向かう方向）においてこの順に並んでいる。推定部１１０が生成する推定情報は、これら３つの交通標識の並び順に関する情報を含んでいる。そして生成部１２０は、この推定情報を用いて、教師用画像データに、第１交通標識、第２交通標識、及び第３交通標識を含ませる。

【0050】

図１２は、本実施形態に係る推定情報記憶部１４０のデータ構成すなわち推定情報のデータ構成の一例をテーブル形式で示す図である。推定情報記憶部１４０は、図５に示した例と同様に、第２標識特定情報は、クラス別（方向別）に記憶されている。また推定情報記憶部１４０は、第２標識特定情報毎に、その第２交通標識の存在確率を記憶している。

【0051】

また推定情報記憶部１４０は、第２標識特定情報毎に、その第２交通標識が存在する確率を示す情報（以下、存在確率と記載）を、クラス別（方向別）、かつ、道路の属性別に記憶している。

【0052】

さらに推定情報記憶部１４０は、第２標識特定情報毎に、複数の第３標識特定情報及び存在確率を記憶している。第３標識特定情報は第３交通標識の標識特定情報であり、存在確率はその第３交通標識がそのクラス（方向）において第２交通標識の隣に存在している確率である。このため、推定情報を用いると、第１交通標識の隣に位置する可能性がある第２交通標識、及び、その第２交通標識の隣に位置する可能性がある第３交通標識を認識することができる。なお、図１２に示したクラス（方向）は、第３交通標識の前記第２交通標識に対する相対位置（第２相対位置）の一例である。

【0053】

図１３は、本実施形態に係る教師データ記憶部１６０のデータ構成の一例をテーブル形式で示す図である。第１実施形態と同様に、教師データ記憶部１６０は生成部１２０が生成した教師データを記憶している。教師データは教師用画像データ及びその教師用画像データの属性を互いに対応付けたものである。そして教師用画像データは、上記したように、第２交通標識及び第３交通標識を含んでいる。そして教師用画像データの属性は、図６に示した例に加えて、その教師用画像データが含んでいる第３交通標識の標識特定情報（第３標識特定情報）を含んでいる。

【0054】

なお、図１３に示す例において、生成部１２０は、図６を用いて説明した方法、すなわち存在確率を用いずに教師データを生成している。ただし、本実施形態においても、図７を用いて説明した方法、すなわち存在確率を用いて教師データを生成してもよい。この場合の存在確率の使用方法は、図７を用いて説明した通りであり、例えば存在確率が基準値以上の第２交通標識及び第３交通標識のみを用いる。

【0055】

本実施形態によっても、第１実施形態と同様に、複数の交通標識の相対位置を含む画像認識処理用の教師データを容易に準備することができる。さらに、教師用画像データに、第１交通標識及び第２交通標識に加えて、第３交通標識を加えることができる。従って、さらに多くの教師用データを容易に準備することができる。

【0056】

［第３実施形態］
図１４は、本実施形態に係る標識推定装置１２の機能構成を示す図である。本実施形態に係る標識推定装置１２は、複数の交通標識を含む画像（以下、処理対象画像と記載）を処理することにより、処理対象画像に含まれる交通標識を特定する。そしてこの特定の際に、上記した推定情報に含まれる存在確率（以下、第１の確率と記載）を用いる。標識推定装置１２は、例えば車両の自動運転装置の一部であるが、これに限定されない。

【0057】

具体的には、標識推定装置１２は、推定部１１０、相対位置記憶部１３０、推定情報記憶部１４０、取得部１７０、判断部１８０、及び標識記憶部１９０を有している。

【0058】

推定部１１０の機能、並びに相対位置記憶部１３０及び推定情報記憶部１４０のデータ構成は、第１実施形態又は第２実施形態に示したとおりである。

【0059】

取得部１７０は、処理対象画像を取得する。処理対象画像は、第１交通標識及び第２交通標識を含んでおり、例えば車両の前方を撮影した画像である。判断部１８０は、推定情報記憶部１４０から推定情報を取得し、この推定情報を用いて処理対象画像を処理することにより、処理対象画像に含まれる第１交通標識及び第２交通標識を特定する。この際、判断部１８０は、複数の交通標識それぞれの特徴量を用いる。これらの特徴量は、標識記憶部１９０に記憶されている。

【0060】

標識推定装置１２のハードウェア構成は、図８に示した教師データ生成装置１０のハードウェア構成と同様である。ただし、ストレージデバイス１０４０は標識推定装置１２の各機能、例えば推定部１１０、取得部１７０、及び判断部１８０を実現するプログラムモジュールを記憶している。

【0061】

図１５は、判断部１８０が行う処理の一例を示すフローチャートである。まず判断部１８０は、処理対象画像を処理することにより、第１交通標識を特定するとともに、第１交通標識の周囲に位置する交通標識（以下、第１周辺標識と記載）の存在を検出する。そして、判断部１８０は、第１周辺標識に対して、標識記憶部１９０が有している特徴量のマッチング処理を行うことにより、第１周辺標識別に、候補となる複数の交通標識を特定する。この際、判断部１８０は、複数の交通標識別に、その交通標識であることの確からしさ（以下、第２の確率と記載）も算出する（ステップＳ２０２）。

【0062】

例えば判断部１８０は、処理対象画像から、交通標識が存在している領域を検出する。そして、この領域が複数検出された場合、各領域について、標識記憶部１９０が有している特徴量のマッチング処理を行う。そして、これら領域の相対位置において、予め定められた位置にある領域（例えば最も右側の領域、最も左側の領域、又は中心に位置する領域）に含まれる交通標識を、第１交通標識と認識し、この第１交通標識がいずれの交通標識であるかを特定する。なお、判断部１８０は、マッチング処理においてスコアが最も高い領域（すなわち交通標識）を、第１交通標識と認識してもよい。

【0063】

次いで判断部１８０は、残りの領域のそれぞれについて、第１周辺標識の候補となる交通標識（以下、候補標識と記載）と、その交通標識であることの確からしさ（以下、第２の確率と記載）を算出する。候補標識が複数特定された場合、判断部１８０は、候補標識ごとに第２の確率を算出する。

【0064】

次いで判断部１８０は、第１周辺標識ごとに、以下の処理を行う。

【0065】

まず、判断部１８０は、第２の確率が最大である候補標識と、第２の確率が２番目に大きい交通標識を特定し、これらの間の第２の確率の差を算出する。判断部１８０は、算出した差が基準値以上の場合（ステップＳ２０４：Ｙｅｓ）、第２の確率が最大の候補標識を、第１交通標識の隣に位置する交通標識（第２交通標識）と判断する（ステップＳ２０６）。この際、判断部１８０は、第２の確率が予め定められた下限値以上であることを、第２交通標識の特定要件に含めてもよい。

【0066】

一方、判断部１８０は、算出した差が基準値未満の場合（ステップＳ２０４：Ｎｏ）、推定情報を用いて、第１周辺標識が第２交通標識のいずれであるかを判断する（ステップＳ２１０）。

【0067】

例えば判断部１８０は、ステップＳ２０２で特定された第１交通標識に対応する推定情報を、推定情報記憶部１４０から読み出す。そして、判断部１８０は、各候補標識の第１の確率を特定し、図１６に示すように、候補標識ごとに、第１の確率と第２の確率を用いた演算を行う。そして、これらの演算結果を用いて、第１周辺標識がいずれの候補標識であるか（すなわちいずれの第２交通標識であるか）を特定する。

【0068】

例えば図１６に示す例において、判断部１８０は、第１の確率と第２の確率を加算し、この加算結果が最大となる候補標識（第２の候補標識）を選択する。なお判断部１８０は、加算の代わりに乗算を行ってもよい。

【0069】

以上、本実施形態によれば、判断部１８０は、画像認識によって第１交通標識及び第２交通標識を特定する。この際、第２交通標識の候補標識が複数あり、かつこれら複数の候補標識の確からしさ（第２の確率）が近かった場合、推定情報記憶部１４０が記憶している第１の確率をさらに用いて、第２交通標識を特定する。第１の確率は、第１交通標識の隣にどの交通標識が存在し得るかを示している。このため、判断部１８０は、第１交通標識が特定された後、第１の確率を用いることにより、高い精度で第２交通標識を特定することができる。

【0070】

例えば図１６に示す例において、第２の確率のみを根拠にした場合、判断部１８０は、第２交通標識は第１の候補標識であると判断してしまう。しかし、統計的にみると、第１の交通標識の隣に第１の候補標識が存在する確率（第１の確率）は低く、画像認識の結果が誤っている可能性が高い。これに対して本実施形態に係る判断部１８０は、第２の候補標識を第２交通標識として選択できる。

【0071】

［第４実施形態］
本実施形態に係る標識推定装置１２は、処理対象画像から、第２実施形態に示した第３交通標識も特定する点を除いて、第３実施形態に係る標識推定装置１２と同様の構成である。本実施形態において、第１交通標識及び第２交通標識の特定方法は、第３実施形態と同様である。

【0072】

例えば、判断部１８０は、図１７に示すようなテンプレートを有している。このテンプレートは、第１交通標識、第２交通標識、及び第３交通標識の並び方を示している。このため、このテンプレートを用いることにより、第１交通標識を特定した後、第２交通標識が存在し得る領域、および第３交通標識が存在し得る領域を特定しやすくなる。なお、テンプレートは横並びである必要はなく、縦並びであってもよい。

【0073】

図１８は、本実施形態における第３交通標識の特定方法を説明するための図である。第３交通標識の特定方法は、第２交通標識の特定方法と同一である。すなわち、図１５のステップＳ２０２～Ｓ２１０に相当する処理を、第３交通標識に対しても行う。

【0074】

例えば判断部１８０は、処理対象画像を処理することにより、第１交通標識及び第２交通標識を特定する。さらに判断部１８０は、第２交通標識の周辺に位置する交通標識（以下、第２周辺標識と記載）を検出する。

【0075】

そして、判断部１８０は、第２周辺標識に対して、標識記憶部１９０が有している特徴量のマッチング処理を行うことにより、第２周辺標識別に、候補となる複数の交通標識（以下、候補標識と記載）を特定する。この際、判断部１８０は、複数の交通標識別に、その交通標識であることの確からしさ（以下、第３の確率と記載）も算出する。この処理の詳細は、第１周辺標識に対する処理と同様である。

【0076】

次いで判断部１８０は、第２周辺標識ごとに、以下の処理を行う。この処理は、第３実施形態における第１周辺領域に対する処理と同様である。

【0077】

まず、判断部１８０は、第３の確率が最大である候補標識と、第３の確率が２番目に大きい交通標識を特定し、これらの間の第３の確率の差を算出する。判断部１８０は、算出した差が基準値以上の場合、第３の確率が最大の候補標識を、第２交通標識の隣に位置する交通標識（第３交通標識）と判断する。

【0078】

一方、判断部１８０は、算出した差が基準値未満の場合、推定情報を用いて、第２周辺標識が第３交通標識のいずれであるかを判断する（ステップＳ２１０）。

【0079】

例えば判断部１８０は、第１交通標識に対応する推定情報を、推定情報記憶部１４０から読み出す。そして、判断部１８０は、各候補標識の第１の確率を特定し、図１８に示すように、候補標識ごとに、第１の確率と第３の確率を用いた演算を行う。そして、これらの乗算結果を用いて、第２周辺標識がいずれの候補標識であるか（すなわちいずれの第３交通標識であるか）を特定する。

【0080】

以上、本実施形態によれば、判断部１８０は、第１交通標識が特定された後、第１の確率を用いることにより、高い精度で第２交通標識及びその隣に位置する第３交通標識を特定することができる。

【0081】

なお、第３及び第４の実施形態によれば、以下の発明が開示されている。
１．第１交通標識に対して第１の方向に位置する可能性がある複数の第２交通標識を特定する第２交通標識特定情報、及び、前記複数の第２交通標識別に設定された確率であって当該第２交通標識が前記第１交通標識に周辺に位置する確からしさである第１の確率を含む推定情報を取得する取得部と、
前記推定情報を用いて、前記第１交通標識及び前記第１交通標識に対して第１の方向に位置する交通標識である第１周辺標識を含む処理対象画像を処理し、前記第１周辺標識が前記第２交通標識のいずれであるかを判断する判断部と、
を備える標識推定装置。
２．上記１に記載の標識処理装置において、
前記判断部は、
前記処理対象画像を処理することにより、前記第１周辺標識が前記第２交通標識である確率である第２の確率を、前記複数の第２交通標識毎に算出し、
記複数の第２交通標識毎に、前記第１の確率と前記第２の確率を用いた演算を行い、当該演算結果を用いて、前記第１周辺標識がいずれの前記第２交通標識であるかを推定する標識推定装置。
３．上記１又は２に記載の標識処理装置において、
前記判断部は、前記処理対象画像を処理することにより、前記第１交通標識を推定し、
前記取得部は、前記判断部が推定した前記第１交通標識に対応する前記推定情報を取得する、標識推定装置。
４．上記１～３のいずれか一項に記載の標識推定装置において、
前記第２交通標識は前記第１交通標識の隣に位置しており、
前記推定情報は、さらに、前記第２交通標識に対して前記第１の方向に位置する可能性がある複数の第３交通標識を特定する第３標識特定情報、及び、前記複数の第３交通標識別に設定された確率であって当該第３交通標識が前記第１交通標識に周辺に位置する確からしさである前記第１の確率を含んでおり、
前記判断部は、前記処理対象画像が、前記第１周辺標識に対して前記第１の方向に位置する交通標識である第２周辺標識を含んでいる場合、前記第３標識特定情報及び前記第１の確率を用いて、前記第２周辺標識がいずれの前記第３交通標識であるかを推定する、標識推定装置。
５．コンピュータが、
第１交通標識に対して第１の方向に位置する可能性がある複数の第２交通標識を特定する第２交通標識特定情報、及び、前記複数の第２交通標識別に設定された確率であって当該第２交通標識が前記第１交通標識に周辺に位置する確からしさである第１の確率を含む推定情報を取得し、
前記推定情報を用いて、前記第１交通標識及び前記第１交通標識に対して第１の方向に位置する交通標識である第１周辺標識を含む処理対象画像を処理し、前記第１周辺標識が前記第２交通標識のいずれであるかを判断する、標識推定方法。
６．コンピュータに、
第１交通標識に対して第１の方向に位置する可能性がある複数の第２交通標識を特定する第２交通標識特定情報、及び、前記複数の第２交通標識別に設定された確率であって当該第２交通標識が前記第１交通標識に周辺に位置する確からしさである第１の確率を含む推定情報を取得する機能と、
前記推定情報を用いて、前記第１交通標識及び前記第１交通標識に対して第１の方向に位置する交通標識である第１周辺標識を含む処理対象画像を処理し、前記第１周辺標識が前記第２交通標識のいずれであるかを判断する機能と、
を持たせるプログラム。

【0082】

以上、図面を参照して実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

【符号の説明】

【0083】

１０ 教師データ生成装置
１２ 標識推定装置
１１０ 推定部
１２０ 生成部
１３０ 相対位置記憶部
１４０ 推定情報記憶部
１５０ 画像記憶部
１６０ 教師データ記憶部
１７０ 取得部
１８０ 判断部
１９０ 標識記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】