特許 7061873 情報処理装置、情報処理プログラム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-21

(45)【発行日】2022-05-02

(54)【発明の名称】情報処理装置、情報処理プログラム及び情報処理方法

(51)【国際特許分類】

   G08G 1/00 20060101AFI20220422BHJP

   G06T 1/00 20060101ALI20220422BHJP

   G06T 7/00 20170101ALI20220422BHJP

【ＦＩ】

G08G1/00 A

G06T1/00 330A

G06T7/00 650A

【請求項の数】 9

(21)【出願番号】P 2017253139

(22)【出願日】2017-12-28

(65)【公開番号】P2019120985

(43)【公開日】2019-07-22

【審査請求日】2020-09-30

(73)【特許権者】

【識別番号】321011767

【氏名又は名称】ジオテクノロジーズ株式会社

(74)【代理人】

【識別番号】110000637

【氏名又は名称】特許業務法人樹之下知的財産事務所

(72)【発明者】

【氏名】竹田 淳一

(72)【発明者】

【氏名】菅原 拓矢

(72)【発明者】

【氏名】池田 佑太

(72)【発明者】

【氏名】藤田 陽子

【審査官】上野 博史

(56)【参考文献】

【文献】特開２００５－１２２５８３（ＪＰ，Ａ）

【文献】特開２００９－１７９２４８（ＪＰ，Ａ）

【文献】特開２０１２－０３０６１１（ＪＰ，Ａ）

【文献】特開平０８－１０１９２４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２１０３８３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

道路に関する道路環境情報を記憶する記憶部と、
前記道路の画像を取得する取得部と、
前記道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析部と、
前記解析の結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定部と、
前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込んで、前記道路標識の前記道路における設置のバリエーションを学習させる運転支援用教師データを生成する書込部と、を備える、ことを特徴とする情報処理装置。

【請求項2】

道路に関する道路環境情報を記憶する記憶部と、
前記道路の画像を取得する取得部と、
前記道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析部と、
前記解析の結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定部と、
前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込む書込部と、
前記疑似標識が書き込まれた前記画像の被写体に対する陰影に基づいて光源の位置を推定し、該光源の位置に基づいて、前記画像に書き込んだ前記標識の色または明暗を調整するレンダリング部と、を備える、ことを特徴とする情報処理装置。

【請求項3】

前記解析部による解析の結果、前記画像から前記道路標識と該道路標識の配置位置が検出された場合、前記決定部は、前記道路環境情報に基づいて、前記検出された道路標識の配置位置の水平方向または垂直方向に前記疑似標識を配置させる配置位置を決定する
ことを特徴とする請求項１又は請求項２に記載の情報処理装置。

【請求項4】

前記解析部による解析の結果、前記画像から前記道路標識と該道路標識の配置位置が検出された場合、前記決定部は、前記道路環境情報に基づいて、前記疑似標識と該疑似標識を支持する標識柱の配置位置を決定する
ことを特徴とする請求項１又は請求項２に記載の情報処理装置。

【請求項5】

前記解析部による解析の結果、前記画像から前記道路標識が検出されなかった場合、前記決定部は、前記道路環境情報に基づいて、前記疑似標識と該疑似標識を支持する標識柱の配置位置を決定する
ことを特徴とする請求項１又は請求項２に記載の情報処理装置。

【請求項6】

道路の画像を取得する取得処理と、
道路に関する道路環境情報を記憶する記憶部に記憶された該道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析処理と、
前記解析の結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定処理と、
前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込んで、前記道路標識の前記道路における設置のバリエーションを学習させる運転支援用教師データを生成する書込処理と、をコンピュータに実行させる、ことを特徴とする情報処理プログラム。

【請求項7】

道路の画像を取得する取得処理と、
道路に関する道路環境情報を記憶する記憶部に記憶された該道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析処理と、
前記解析の結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定処理と、
前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込む書込処理と、
前記疑似標識が書き込まれた前記画像の被写体に対する陰影に基づいて光源の位置を推定し、該光源の位置に基づいて、前記画像に書き込んだ前記標識の色または明暗を調整するレンダリング処理と、をコンピュータに実行させる、ことを特徴とする情報処理プログラム。

【請求項8】

道路の画像を取得する取得工程と、
道路に関する道路環境情報を記憶する記憶部に記憶された該道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析工程と、
前記解析の結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定工程と、
前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込んで、前記道路標識の前記道路における設置のバリエーションを学習させる運転支援用教師データを生成する書込工程と、をコンピュータが実行する、ことを特徴とする情報処理方法。

【請求項9】

道路の画像を取得する取得工程と、
道路に関する道路環境情報を記憶する記憶部に記憶された該道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析工程と、
前記解析の結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定工程と、
前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込む書込工程と、
前記疑似標識が書き込まれた前記画像の被写体に対する陰影に基づいて光源の位置を推定し、該光源の位置に基づいて、前記画像に書き込んだ前記標識の色または明暗を調整するレンダリング処理と、をコンピュータが実行する、ことを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転支援用教師データの生成技術に関する。

【背景技術】

【0002】

近年、人間による車両の運転を補助する運転支援技術や、コンピュータ制御によって自動で車両を運転する自動運転技術等の技術（以下、「運転支援技術」という）が注目されている。

【0003】

このような運転支援技術では、車両に、レーザ光を用いたリモートセンシング技術であるＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）を実現するセンサ、グローバルポジショニングシステム（ＧＰＳ）、カメラ等のセンシングデバイスや制御装置が搭載された車両が用いられる。制御装置は、人工知能（ＡＩ）プログラム等を実行して、センシングデバイスから得られた情報を解析し、解析結果に基づいて車両の運転支援を行う。

【0004】

ＡＩは、機械学習またはディープラーニングによりその性能を向上させていくが、機械学習またはディープラーニングによりＡＩを訓練するためには、訓練用データ、すなわち教師データが用いられる。

【0005】

ＡＩを用いた運転支援技術の一例として、白線やナビの情報が得られない道路においても、リフレクタの反射光等を対向車と誤認識することを防止する技術がある（例えば、特許文献１）。特許文献１では、様々なシチュエーションにおける標識の画像と、その標識に描かれている制限速度をセットとした、教師データセットを用いて、ＡＩの学習を行う。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１２－０３０６７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

道路標識には、道路やその周辺環境に応じて様々な配置のバリエーションがある。道路標識に関する情報を学習させるための教師データとしての道路標識データを、実際に存在する道路標識、例えば複数の並んでいる道路標識が存在する場所を、カメラが搭載された車両を走行させて探して収集していた。そのため、運転支援用教師データの生成には、コストがかかり、生成効率が良くなかった。

【0008】

本発明が解決しようとする課題としては、道路の画像から、疑似的に道路標識を設置した画像を含む運転支援用教師データを生成することが一例として挙げられる。

【課題を解決するための手段】

【0009】

上記課題を解決するために、請求項１に記載の発明は、情報処理装置であって、道路に関する道路環境情報を記憶する記憶部と、前記道路の画像を取得する取得部と、前記道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析部と、前記解析結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定部と、前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込む書込部と、を備えることを特徴とする。

【0010】

上記課題を解決するために、請求項５に記載の発明は、情報処理プログラムであって、道路の画像を取得する取得処理と、道路に関する道路環境情報を記憶する記憶部に記憶された該道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析処理と、前記解析結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定処理と、前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込む書込処理と、を、コンピュータに実行させることを特徴とする。

【0011】

上記課題を解決するために、請求項６に記載の発明は、情報処理方法であって、道路の画像を取得する取得工程と、道路に関する道路環境情報を記憶する記憶部に記憶された該道路環境情報に基づいて、前記画像の道路状況及び道路標識の設置状況の解析を行う解析工程と、前記解析結果に基づいて、前記画像における疑似的な標識である疑似標識と、該疑似標識の配置位置を決定する決定工程と、前記疑似標識の配置位置に基づいて、前記画像に該疑似標識を書き込む書込工程と、を、コンピュータが実行することを特徴とする。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態における情報処理装置を説明する図

【図2】本発明の一実施例における疑似教師データ生成装置のブロック図

【図3】図２に示された道路環境情報のデータ構造例を示す図

【図4】図２に示された疑似教師データ生成装置の道路画像に基づいて道路標識が書き込まれた画像の生成について説明するための図

【図5】図２に示された疑似教師データ生成装置の道路画像に基づいて道路標識が書き込まれた画像の生成について説明するための図

【図6】図２に示された疑似教師データ生成装置の道路画像に基づいて道路標識が書き込まれた画像の生成について説明するための図

【図7】本実施形態における制御部の処理のフロー図

【発明を実施するための形態】

【0013】

図１は、本発明の一実施形態における情報処理装置を説明する図である。情報処理装置１の一例としては、後述する疑似教師データ生成装置１１が挙げられる。情報処理装置１は、記憶部７、取得部２、解析部３、決定部４、書込部５を含む。記憶部７は、道路の環境に関する道路環境情報８を記憶する。記憶部７の一例としては、例えば、後述する記憶装置１７が挙げられる。道路環境情報８の一例としては、後述する道路環境情報１８が挙げられる。

【0014】

取得部２は、移動体に搭載された図示しないカメラ等の撮影部が撮影した道路の画像を取得する。取得部２の一例として、後述するＳ１の処理を実行する制御部１３が挙げられる。解析部３は、道路環境情報８に基づいて、取得した画像の道路状況及び道路標識の設置状況の解析を行う。解析部３の一例として、後述するＳ３～Ｓ５の処理を実行する制御部１３が挙げられる。

【0015】

決定部４は、解析結果に基づいて、取得した画像における疑似的な標識である疑似標識と、疑似標識の配置位置を決定する。決定部４の一例として、後述するＳ６の処理を実行する制御部１３が挙げられる。

【0016】

書込部５は、疑似標識の配置位置に基づいて、取得した画像に疑似標識を書き込む。書込部５の一例として、後述するＳ７の処理を実行する制御部１３が挙げられる。

【0017】

このように構成することにより、道路の画像から、疑似的に道路標識を設置した画像を含む運転支援用教師データを生成することができる。

【0018】

解析部３による解析の結果、取得した画像から道路標識と道路標識の配置位置が検出された場合、決定部４は、道路環境情報８に基づいて、検出された道路標識が配置された位置の水平方向または垂直方向に疑似標識を並べるように、疑似標識の配置位置を決定することができる。

【0019】

このように構成することにより、画像内において既存の道路標識が配置された位置の水平方向または垂直方向に疑似標識を並列することができる。

【0020】

解析部３による解析の結果、取得した画像から道路標識と道路標識の配置位置が検出された場合、決定部４は、道路環境情報８に基づいて、疑似標識と疑似標識を支持する疑似的な標識柱の配置位置を決定することができる。

【0021】

このように構成することにより、画像内において既存の道路標識が配置された標識柱とは異なる標識柱（疑似柱）に疑似標識を設置することができる。

【0022】

解析部３による解析の結果、取得した画像から道路標識が検出されなかった場合、決定部４は、道路環境情報８に基づいて、疑似標識と疑似標識を支持する疑似的な標識柱の配置位置を決定することができる。

【0023】

このように構成することにより、画像内において道路標識が存在しない場合にも、標識柱（疑似柱）に疑似標識を設置することができる。

【0024】

前記疑似標識が書き込まれた画像は、道路標識が存在する道路における設置のバリエーションを学習させる運転支援用教師データである。このように構成することにより、運転支援用疑似教師データを生成することができる。

【0025】

情報処理装置１は、さらに、レンダリング部６を含む。レンダリング部６は、前記疑似標識が書き込まれた画像における被写体に対する陰影に基づいて、光源の位置を推定する。それからレンダリング部６は、光源の位置に基づいて、画像に書き込んだ道路標識の色または明暗を調整する。

【0026】

このように構成することにより、画像から光源位置を推定し、疑似標識の画像部分をより自然で、よりリアルに加工することができる。

【実施例】

【0027】

本発明の一実施例を図２～図７を用いて説明する。図２は、本実施形態の一実施例における疑似教師データ生成装置のブロック図である。疑似教師データ生成装置１１は、道路の画像から、疑似的に道路標識を設置した画像を含む教師データを生成する。例えば、疑似教師データ生成装置１１は、実際には道路標識が並んでいない画像から道路標識が並んでいる画像を含む運転支援用疑似教師データを生成することができる。また、疑似教師データ生成装置１１は、画像内において既存の道路標識が配置された標識柱とは異なる標識柱（疑似柱）に、疑似標識が設置されている画像を含む運転支援用疑似教師データを生成することができる。さらに、疑似教師データ生成装置１１は、画像内において道路標識が存在しない場合にも、標識柱（疑似柱）に疑似標識が設置されている画像を含む運転支援用疑似教師データを生成することができる。

【0028】

疑似教師データ生成装置１１は、コンピュータによって実現される計算装置である。疑似教師データ生成装置１１は、入力Ｉ／Ｆ１２、制御部１３、出力Ｉ／Ｆ１４，メモリ１５、通信Ｉ／Ｆ１６、記憶装置１７、バス１９によって構成されている。バス１９は、入力Ｉ／Ｆ１２、制御部１３、出力Ｉ／Ｆ１４、メモリ１５、通信Ｉ／Ｆ１６、記憶装置１７との間の通信を行うための通信経路である。

【0029】

入力Ｉ／Ｆ１２は、疑似教師データ生成装置１１に情報の入力を行うためのインターフェースであり、不図示のキーボード、マウス等の入力装置が接続される。制御部１３は、中央演算装置（ＣＰＵ）、ＭＰＵ（micro-processing unit）等のプロセッサ等で構成され、疑似教師データ生成装置１１全体の動作を制御する。

【0030】

出力Ｉ／Ｆ１４は、疑似教師データ生成装置１１から情報を出力するためのインターフェースであり、ディスプレイ、プリンタ、スピーカなどを接続することが可能である。メモリ１５は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）等のメモリデバイスである。

【0031】

通信Ｉ／Ｆ１６は、例えば、外部のネットワークと接続して他の装置と通信するためのポート等のインターフェースである。ネットワークは、インターネット、ＬＡＮ、ＷＡＮ、専用線、有線、無線等の通信網であってよい。

【0032】

記憶装置１７は、大容量記憶装置であり、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリカードなど様々な形式の記憶装置を使用することができる。

【0033】

記憶装置１７には、道路環境情報１８が記憶されている。道路環境情報１８には、一の道路標識と当該一の道路標識の周囲に配置されている道路標識とが対応付けられた情報が含まれている。また、道路環境情報１８には、道路標識が設置されていない場合であっても、道路（車線数、幅員、道路種別、道路の形状等）及び道路の周辺環境（市街地、店舗、駐車場、学校等の施設情報、山や川などの地理的情報、または緯度経度等の位置情報）に基づいて、本来設置されているのが望ましいと判断される標識情報が含まれている。また、一の道路標識と当該一の道路標識の周囲に配置されている道路標識、または本来設置されているのが望ましいと判断される標識情報は、道路及び道路の周辺環境に応じて、実際に配置されている道路標識の組み合わせ等に基づいて、対応付けてもよい。

【0034】

また、記憶装置１７には、制御部１３を、取得部２、解析部３、決定部４、書込部５及びレンダリング部６として機能させる本実施形態に係るプログラムが格納されている。

【0035】

制御部１３は、記憶装置１７から本実施形態に係るプログラムを読み出し、当該プログラムを実行する。当該プログラムは、プログラム提供者側から通信ネットワーク、および通信Ｉ／Ｆ１６を介して、例えば記憶装置１７に格納されてもよい。また、当該プログラムは、市販され、流通している可搬型記憶媒体に格納されていてもよい。この場合、この可搬型記憶媒体は不図示の読取装置にセットされて、制御部１３によってそのプログラムが読み出されて、実行されてもよい。可搬型記憶媒体としてはＣＤ－ＲＯＭ、フレキシブルディスク、光ディスク、光磁気ディスク、ＩＣカード、ＵＳＢメモリ装置、半導体メモリカードなど様々な形式の記憶媒体を使用することができる。このような記憶媒体に格納されたプログラムが読取装置によって読み取られる。

【0036】

図３は、本実施例における道路環境情報のデータ構造例を示す図である。道路環境情報１８は、「道路標識」１８ａ、「周囲情報」１８ｂ、「疑似標識」１８ｃのデータ項目を含む。

【0037】

「道路標識」１８ａには、原則として、道路標識情報が格納される。なお、道路標識の設置がない場合もあるので、この場合「道路標識」１８ａには「設置無し」を示す情報が格納される。

【0038】

「道路標識」１８ａに道路標識情報が格納されている場合には、「周囲情報」１８ｂには、その道路標識の周囲に配置される道路標識に関する情報が格納される。「道路標識」１８ａに「設置無し」を示す情報が格納されている場合には、「周囲情報」１８ｂには、道路及びその道路の周辺の環境に関する情報が格納される。

【0039】

「疑似標識」１８ｃには、疑似的に配置される標識（疑似標識）が格納される。

【0040】

図４は、図２に示された疑似教師データ生成装置の入力された道路画像に基づいて、道路標識が書き込まれた画像の生成について説明するための図である。ここで、「道路画像」とは、例えば、移動体の前方を撮影した画像を示す。具体的には、図４は、実際には道路標識が並んでいない画像（図４（ａ））から、道路標識が並んでいる画像（図４（ｂ））を含む運転支援用擬似教師データを生成する処理を説明するための図である。

【0041】

図４（ａ）は、道路標識が設置されている道路画像の一例を示す。図４（ｂ）は、図４（ａ）の道路画像に、疑義標識を既存の道路標識と並べて書き込んだ画像の一例を示す。なお、図４では、最高速度60ｋｍ／ｈの速度制限を示す道路標識と、駐車禁止を示す道路標識を例として説明するが、道路標識はこれらに限定されない。

【0042】

制御部１３は、道路画像を取得すると、図４（ａ）に示すように、画像２１から、符号２２で示される最高速度60ｋｍ／ｈの速度制限を示す道路標識を検出する。このとき、制御部１３は、画像２１の道路標識２２の配置から疑似標識の配置位置を決定する。

【0043】

検出された道路標識が、例えば、図４（ａ）に示すような最高速度標識である場合、制御部１３は、記憶装置１７に記憶された道路環境情報１８を参照して、「道路標識」１８ａから該当するレコードを読み出す。制御部１３は、「周囲情報」１８ｂを参照して、その道路標識の左右（または上下）に駐車禁止の道路標識が多いという情報を取得し、画像２１に疑似標識を書き込む位置を決定する。疑似標識を書き込む位置の決定の際には、道路標識を支持する柱（標識柱）の位置も判定され、最適な配置位置が決定される。

【0044】

さらに、制御部１３は、画像２１に書き込んだ疑似標識２３をその画像２１に馴染ませて、画像２１上でリアルな道路標識に見えるように（すなわち疑似標識か実際の道路標識かの区別がつきにくくするために）、レンダリング処理を行う。

【0045】

レンダリング処理により、画像内の物体に色や陰影を付けたり、物体を見る視点を仮定して遠近感を出す処理や、光源の位置を仮定して影を付けるシェーディング、物体表面の質感を定めるテクスチャマッピング等を行うことができる。

【0046】

レンダリング処理として、例えば、イメージベースドライティングや半球ライティングがある。イメージベースドライティングは、背景画像を撮像した現場の全周囲画像（環境マップ）を撮像し、得られた環境マップを光源画像として用い、ライティング効果を施す方法である。半球ライティングは，イメージベースドライティングテクニックの１つで、グローバルな２種類の光のジオメトリへの影響を、半球を使って反映させる方法である。

【0047】

これにより、画像から光源位置を推定し、疑似標識の画像部分をより自然で、よりリアルに加工することができる。さらに、画像の日時情報、車両の位置情報や車両の走行方向に関する方向情報を用いることにより、季節や時間帯を考慮した太陽（光源）の位置や光の強度、陰影等を調整してもよい。

【0048】

図５は、図２に示された疑似教師データ生成装置１１が取得した道路画像に基づいて、道路標識が書き込まれた画像の生成について説明するための図である。図５は、図４の変形例であって、図４では同一の標識柱に疑似標識を並べたが、図５では疑似標識だけでなく疑似的に生成した標識柱（疑似柱）も画像に書き込む。

【0049】

図５（ａ）は、道路標識が設置されている道路画像の一例を示す。図５（ｂ）は、図５（ａ）の道路画像に、疑義標識と疑似柱を新たに書き込んだ画像の一例を示す。なお、図５では、最高速度60ｋｍ／ｈの速度制限を示す道路標識と、駐車禁止を示す道路標識を例として説明するが、道路標識はこれらに限定されない。また、疑似柱の形状も、図５（ｂ）に記載の形状に限定されず、既存の標識柱や周辺の環境に応じて、疑似柱のバリエーションを生成することができる。

【0050】

制御部１３は、道路画像を取得すると、図５（ａ）に示すように、画像２１から、符号２２で示される最高速度60ｋｍ／ｈの速度制限を示す道路標識を検出する。このとき、制御部１３は、画像２１の道路標識２２の配置から、疑似標識及び疑似柱の配置位置を決定する。

【0051】

検出された道路標識が、例えば、図５（ａ）に示すような最高速度標識である場合、制御部１３は、記憶装置１７に記憶された道路環境情報１８を参照して、「道路標識」１８ａから該当するレコードを読み出す。制御部１３は、「周囲情報」１８ｂを参照して、その道路標識の周辺に駐車禁止の道路標識が多いという情報を取得し、画像２１に疑似標識及び疑似柱を書き込む位置を決定する。疑似標識を書き込む位置の決定の際には、まずは疑似柱を書き込む最適な配置位置が決定され、その後、その疑似柱に配置される疑似標識の最適な位置が決定される。なお、制御部１３は、擬似標識の配置位置の決定、擬似標識が配置される標識柱の配置位置の決定の順に処理を行ってもよい。

【0052】

さらに、制御部１３は、画像２１に書き込んだ疑似標識２４及び疑似柱２５をその画像２１に馴染ませて、画像２１上でリアルな道路標識及び標識柱に見えるように（すなわち疑似標識及び疑似柱か、実際の道路標識及び標識柱かの区別がつきにくくするために）、レンダリング処理を行う。

【0053】

これにより、画像から光源位置を推定し、疑似標識及び疑似柱の画像部分をより自然で、よりリアルに加工することができる。さらに、画像の日時情報、車両の位置情報や車両の走行方向に関する方向情報を用いることにより、季節や時間帯を考慮した太陽（光源）の位置や光の強度、陰影等を調整してもよい。

【0054】

図６は、図２に示された疑似教師データ生成装置１１が取得した道路画像に基づいて、道路標識が書き込まれた画像の生成について説明するための図である。図４及び図５では、道路画像内にある道路標識に基づいて疑似標識を決定した。それに対して、図６では、道路画像内にある道路標識以外の道路環境に基づいて、疑似標識を決定する。

【0055】

図６（ａ）は、道路標識が設置されていない道路上で撮影された道路画像の一例を示す。図６（ｂ）は、図６（ａ）の道路画像に、疑義標識と疑似柱を新たに書き込んだ画像の一例を示す。なお、図６では、一時停止を示す道路標識を例として説明するが、道路標識はこれらに限定されない。また、疑似柱の形状も、図６に記載の形状に限定されず、既存の標識柱や周辺の環境に応じて、疑似柱のバリエーションを生成することができる。

【0056】

制御部１３は、道路画像を取得すると、図６（ａ）に示すように、道路標識も信号も設置されていない画像２６を抽出する。このとき、制御部１３は、画像解析の結果から、画像２６の道路の形状、信号の設置無し、標識の設置なしであることを判定する。

【0057】

この場合、制御部１３は、記憶装置１７に記憶された道路環境情報１８を参照して、「道路標識」１８ａから該当する１以上のレコード（「道路標識」１８ａ＝「設置無し」）を読み出す。制御部１３は、「周囲情報」１８ｂを参照して、道路の形状が交差点及び信号の設置無し等の条件に合致するレコードを読み出す。

【0058】

制御部１３は、その読み出した、条件に合致するレコードに基づいて、疑似標識２７を決定し、さらに疑似柱を書き込む位置を決定する。疑似標識を書き込む位置の決定の際には、まずは疑似柱を書き込む最適な配置位置が決定され、その後、その疑似柱に配置される疑似標識の最適な位置が決定される。

【0059】

さらに、制御部１３は、画像２６に書き込んだ疑似標識２７及び疑似柱２８をその画像２６に馴染ませて、画像２６上でリアルな道路標識及び標識柱に見えるように（すなわち疑似標識及び疑似柱か、実際の道路標識及び標識柱かの区別がつきにくくするために）、レンダリング処理を行う。

【0060】

これにより、画像から光源位置を推定し、疑似標識及び疑似柱の画像部分をより自然で、よりリアルに加工することができる。さらに、画像の日時情報、車両の位置情報や車両の走行方向に関する方向情報を用いることにより、季節や時間帯を考慮した太陽（光源）の位置や光の強度、陰影等を調整してもよい。

【0061】

図７は、本実施例における制御部１３における処理のフロー図である。まず、制御部１３は、入力Ｉ／Ｆ１２または通信Ｉ／Ｆ１６を介して取得された道路画像、天候、及び日時を取得する（Ｓ１）。道路画像は、移動体の前方を撮影した静止画または動画である。天候は、その画像が撮影されたときの天候に関する情報である。日時は、その画像が撮影された日時である。制御部１３は、道路画像から１つの画像を抽出する（Ｓ２）。制御部１３は、予め記憶された道路標識データベースに基づいて、画像解析により、抽出した画像に道路標識が存在するか否かを判定する（Ｓ３）。

【0062】

抽出した画像に道路標識が存在しないと判定された場合（Ｓ３で「ＮＯ」）、制御部１３は、画像解析により、抽出した画像から、その画像に写っている道路の周辺環境を解析する（Ｓ４）。ここでの解析は、例えば、道路が交差点か、信号があるか、線路があるか等である。

【0063】

抽出した画像に道路標識が存在すると判定された場合（Ｓ３で「ＹＥＳ」）、制御部１３は、画像解析により、抽出した画像から道路標識とその配置位置を検出する（Ｓ５）。

【0064】

Ｓ４またはＳ５の処理後、制御部１３は、道路環境情報１８に基づいて、抽出した画像に含まれる道路標識に対応する疑似標識及び道路標識を支持する標識柱における設置位置を決定する（Ｓ６）。このとき、疑似標識を疑似柱に設置する場合には、疑似柱の設置位置及びその疑似柱における疑似標識の設置位置も決定する。

【0065】

制御部１３は、抽出した画像に対して、疑似標識を、決定された設置位置に書き込む（Ｓ７）。Ｓ６にて疑似柱の設置位置及びその疑似柱における疑似標識の設置位置が決定されている場合には、制御部１３は、疑似標識及び疑似柱を、その決定された設置位置に書き込む。

【0066】

制御部１３は、Ｓ１で取得した天候情報及び日時に基づいて、イメージベースドライティングや半球ライティング等を用いてレンダリング処理を行う（Ｓ８）。このとき、画像の日時情報、車両の位置情報や車両の走行方向に関する方向情報を用いることにより、太陽（光源）の位置や光の強度、陰影等を調整してもよい。

【0067】

未処理の画像がある場合（Ｓ９で「ＹＥＳ」）、処理がＳ２の処理へ戻る。未処理の画像がない場合（Ｓ９で「ＹＥＳ」）、本フローは終了する。これにより、道路画像が加工された結果、運転支援用疑似教師データが生成される。

【0068】

本実施形態によれば、道路画像から、疑似的に道路標識を設置した画像を含む運転支援用疑似教師データを生成することができる。

【0069】

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。

【符号の説明】

【0070】

１ 情報処理装置
２ 取得部
３ 解析部
４ 決定部
５ 書込部
６ レンダリング部
７ 記憶部
８ 道路環境情報
１１ 疑似教師データ生成装置
１２ 入力Ｉ／Ｆ
１３ 制御部
１４ 出力Ｉ／Ｆ
１５ メモリ
１６ 通信Ｉ／Ｆ
１７ 記憶装置
１８ 道路環境情報
１９ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】