特開 2024-19588 地図データ生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024019588

(43)【公開日】2024-02-09

(54)【発明の名称】地図データ生成装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240201BHJP

   G08G 1/00 20060101ALI20240201BHJP

   G06T 7/00 20170101ALI20240201BHJP

   G06V 10/25 20220101ALI20240201BHJP

【ＦＩ】

G08G1/16 A

G08G1/00 D

G06T7/00 650Z

G06T7/00 130

G06V10/25

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023212652

(22)【出願日】2023-12-18

(62)【分割の表示】P 2022505797の分割

【原出願日】2021-01-14

(31)【優先権主張番号】P 2020040998

(32)【優先日】2020-03-10

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】100134832

【弁理士】

【氏名又は名称】瀧野 文雄

(74)【代理人】

【識別番号】100165308

【弁理士】

【氏名又は名称】津田 俊明

(74)【代理人】

【識別番号】100115048

【弁理士】

【氏名又は名称】福田 康弘

(72)【発明者】

【氏名】伊藤 友二

(72)【発明者】

【氏名】井上 俊明

(72)【発明者】

【氏名】柴田 晃司

(72)【発明者】

【氏名】加川 良平

(72)【発明者】

【氏名】小野寺 渉

(57)【要約】

【課題】視覚的に注意を要する地点を地図データに付加する。
【解決手段】地図データ生成装置１は、入力手段２で車両から外部を撮像した画像データと当該車両の地点データとを取得して、双方のデータを関連付けて、視覚顕著性抽出手段３で画像データに基づいて視覚顕著性の高低を推測して得られた視覚顕著性マップを生成する。そして、解析手段４で視覚顕著性マップに基づいて、当該視覚顕著性マップに対応する位置情報が示す地点又は区間が視覚的に注意を要する地点または区間かを解析し、付加手段５で解析手段４の解析結果に基づいて視覚的に注意を要する地点又は区間を地図データに付加する。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体から外部を撮像した画像に基づいて地図データに所定の情報を付加する地図データ生成装置で実行される地図データ生成方法であって、
前記画像と前記移動体の位置情報とが関連けられた入力情報を取得する第１取得工程と、
前記画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する第２取得部と、
前記視覚顕著性分布情報に基づいて、当該視覚顕著性分布情報に対応する前記位置情報が示す地点又は区間が視覚的に注意を要する地点又は区間であるか解析する解析工程と、
前記解析工程の解析結果に基づいて前記視覚的に注意を要する地点又は区間を地図データに付加する付加工程と、
を含むことを特徴とする地図データ生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体から外部を撮像した画像に基づいて地図データに所定の情報を付加する地図データ生成装置に関する。

【背景技術】

【0002】

移動体として、例えば車両が走行する際に、事故の起き易い交差点、踏み切り、急カーブ等、特に注意して走行すべき地点を地図上に表示することは既に知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－２５８６５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

注意して走行すべき地点は、上記した事故の起き易い交差点、踏み切り、急カーブに限らない。例えば、急カーブ等でなくても、視覚的に負荷を感じたり、脇見のリスクが高かったり、単調な道路等では注意を要する。

【0005】

本発明が解決しようとする課題としては、視覚的に注意を要する地点等を地図データに付加することが一例として挙げられる。

【課題を解決するための手段】

【0006】

上記課題を解決するために、請求項１に記載の発明は、移動体から外部を撮像した画像と前記移動体の位置情報とが関連けられた入力情報を取得する第１取得部と、前記画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する第２取得部と、前記視覚顕著性分布情報に基づいて、当該視覚顕著性分布情報に対応する前記位置情報が示す地点又は区間が視覚的に注意を要する地点又は区間であるか解析する解析部と、前記解析部の解析結果に基づいて前記視覚的に注意を要する地点又は区間を地図データに付加する付加部と、を備えることを特徴としている。

【0007】

請求項９に記載の発明は、移動体から外部を撮像した画像に基づいて地図データに所定の情報を付加する地図データ生成装置で実行される地図データ生成方法であって、前記画像と前記移動体の位置情報とが関連けられた入力情報を取得する第１取得工程と、前記画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する第２取得部と、前記視覚顕著性分布情報に基づいて、当該視覚顕著性分布情報に対応する前記位置情報が示す地点又は区間が視覚的に注意を要する地点又は区間であるか解析する解析工程と、前記解析工程の解析結果に基づいて前記視覚的に注意を要する地点又は区間を地図データに付加する付加工程と、を含むことを特徴としている。

【0008】

請求項１０に記載の発明は、請求項９に記載の地図データ生成方法をコンピュータにより実行させることを特徴としている。

【0009】

請求項１１に記載の発明は、請求項１０に記載の地図データ生成プログラムを格納したことを特徴としている。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施例にかかる地図データ生成装置の機能構成図である。

【図2】図１に示された視覚顕著性抽出手段の構成を例示するブロック図である。

【図3】（ａ）は判定装置へ入力する画像を例示する図であり、（ｂ）は（ａ）に対し推定される、視覚顕著性マップを例示する図である。

【図4】図１に示された視覚顕著性抽出手段の処理方法を例示するフローチャートである。

【図5】非線形写像部の構成を詳しく例示する図である。

【図6】中間層の構成を例示する図である。

【図7】（ａ）および（ｂ）はそれぞれ、フィルタで行われる畳み込み処理の例を示す図である。

【図8】（ａ）は、第１のプーリング部の処理を説明するための図であり、（ｂ）は、第２のプーリング部の処理を説明するための図であり、（ｃ）は、アンプーリング部の処理を説明するための図である。

【図9】図１に示された解析手段の機能構成図である。

【図10】図１に示された地図データ生成装置の動作のフローチャートである。

【図11】図１に示された地図データ生成装置が生成する地図データの例である。

【図12】本発明の第２の実施例にかかる地図データ生成装置の機能構成図である。

【図13】ベクトル誤差の説明図である。

【図14】図１に示された入力手段に入力された画像と、その画像から取得された視覚顕著性マップの例である。

【図15】視覚的注意集中度の時間的変化の例を示したグラフである。

【図16】本発明の第３の実施例にかかる地図データ生成装置が対象とする交差点の例を示した図である。

【図17】図１６に示された交差点について理想視線を設定して視覚的注意集中度を算出した図である。

【図18】図１７に示された視覚的注意集中度の時間的変化を示したグラフである。

【図19】図１８に示された視覚的注意集中度について右左折時と直進時で比を算出した結果のグラフである。

【図20】第３の実施例の変形例が対象とするカーブの例である。

【図21】本発明の第４の実施例にかかる地図データ生成装置の機能構成図である。

【図22】注視エリアの設定方法の説明図である。

【図23】脇見検出エリアの説明図である。

【図24】他の脇見検出エリアの説明図である。

【図25】図２１に示された地図データ生成装置の動作のフローチャートである。

【図26】本発明の第５の実施例にかかる地図データ生成装置の動作のフローチャートである。

【図27】本発明の第６の実施例にかかる地図データ生成装置の動作のフローチャートである。

【図28】自己相関の演算結果の例である。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態にかかる地図データ生成装置を説明する。本発明の一実施形態にかかる地図データ生成装置は、第１取得部が、移動体から外部を撮像した画像と移動体の位置情報とが関連けられた入力情報を取得し、第２取得部が、画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する。そして、解析部が、視覚顕著性分布情報に基づいて、当該視覚顕著性分布情報に対応する位置情報が示す地点又は区間が視覚的に注意を要する地点又は区間であるか解析し、付加部が、解析部の解析結果に基づいて視覚的に注意を要する地点又は区間を地図データに付加する。このようにすることにより、移動体から外部を撮像した画像に基づいて視覚顕著性を推定し、その推定された特徴に基づいて視覚的に注意を要する地点等を地図データに付加することができる。

【0012】

また、解析部は、視覚顕著性分布情報に基づいて推定注視点の移動量を算出する移動量算出部と、算出された推定注視点の移動量を第１閾値と比較することで視覚顕著性分布情報に対応する位置情報が示す地点又は区間は視認負荷が高い傾向か判定する第１判定部と、を備え、付加部は、視認負荷が高い傾向か判定された地点又は区間を前記視覚的に注意を要する地点として前記地図データに付加してもよい。このようにすることにより、推定注視点の移動量を第１閾値と比較することにより視認負荷量が高い傾向か否かを容易に判定して、この判定結果に基づいて注意を要する地点等を地図データに付加することができる。

【0013】

また、移動量算出部は、推定注視点を、視覚顕著性分布情報において視覚顕著性が最大値となる画像上の位置と推定して移動量の算出をしてもよい。このようにすることにより、最も視認すると推定される位置に基づいて移動量を算出することができる。

【0014】

また、解析部は、予め定めた規則に従って画像における基準視線位置を設定する視線位置設定部を備え、視覚顕著性分布情報と基準視線位置とに基づいて画像における視覚的注意の集中度を算出する視覚的注意集中度算出部と、視覚的注意の集中度に基づいて視覚顕著性分布情報に対応する位置情報が示す地点又は区間が視覚的に注意を要する地点又は区間か判定する第２判定部と、を備え、付加部は、視覚的に注意を要する地点又は区間と判定された地点又は区間を地図データに付加してもよい。このようにすることにより、視覚顕著性分布情報から得られた視覚的注意の集中度に基づいて注意を要する地点等を判定して、地図データに付加することができる。

【0015】

また、第２取得部は、交差点に進入する際の道路である進入路毎の画像から、視覚顕著性分布情報を進入路毎に取得し、視線位置設定部は、視覚顕著性分布情報について、交差点に進入後抜け出す道路となる退出路毎に、画像における基準視線位置をそれぞれ設定し、視覚的注意集中度算出部は、視覚顕著性分布情報と基準視線位置とに基づいて画像における退出路毎の前記視覚的注意の集中度を算出し、第２判定部は、退出路毎の視覚的注意の集中度に基づいて交差点が視覚的に注意を要する地点か判定してもよい。このようにすることにより、交差点について、注意を要する地点か判定して、地図データに付加することができる。

【0016】

また、解析部は、視覚顕著性分布情報における少なくとも１つのピーク位置を時系列に検出するピーク位置検出部と、画像における前記移動体の運転者が注視すべき範囲を設定する注視範囲設定部と、ピーク位置が前記注視すべき範囲から所定時間以上連続して外れていた場合は脇見の傾向がある旨の情報を出力する脇見出力部と、脇見の傾向がある旨の情報に基づいて視覚顕著性分布情報に対応する位置情報が示す地点又は区間が視覚的に注意を要する地点又は区間か判定する第３判定部と、を備え、付加部は、視覚的に注意を要する地点又は区間と判定された地点又は区間を前記地図データに付加してもよい。このようにすることにより、脇見の傾向がある地点等を注意を要する地点等と判定して、地図データに付加することができる。

【0017】

また、解析部は、視覚顕著性分布情報に基づいて算出された統計量を用いて当該画像が単調傾向か判定する単調判定部と、単調判定部の判定結果に基づいて視覚顕著性分布情報に対応する位置情報が示す地点又は区間が視覚的に注意を要する地点又は区間か判定する第４判定部と、を備え、付加部は、視覚的に注意を要する地点又は区間と判定された地点又は区間を地図データに付加してもよい。このようにすることにより、単調傾向と判定された地点等を注意を要する地点等と判定して、地図データに付加することができる。

【0018】

また、第２取得部は、画像を写像処理可能な中間データに変換する入力部と、中間データを写像データに変換する非線形写像部と、写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部と、を備え、非線形写像部は、中間データに対し特徴の抽出を行う特徴抽出部と、特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部と、を備えてもよい。このようにすることにより、小さな計算コストで、視覚顕著性を推定することができる。

【0019】

また、本発明の一実施形態にかかる地図データ生成方法は、第１取得工程で、移動体から外部を撮像した画像と移動体の位置情報とが関連けられた入力情報を取得し、第２取得工程で、画像に基づいて、その画像内における視覚顕著性の高低を推測して得られた視覚顕著性分布情報を取得する。そして、解析工程で、視覚顕著性分布情報に基づいて、当該視覚顕著性分布情報に対応する位置情報が示す地点又は区間が視覚的に注意を要する地点又は区間であるか解析し、付加工程で、解析工程の解析結果に基づいて視覚的に注意を要する地点又は区間を地図データに付加する。このようにすることにより、移動体から外部を撮像した画像に基づいて視覚顕著性を推定し、その推定された特徴に基づいて注意を要する地点等を地図データに付加することができる。

【0020】

また、上述した地図データ生成方法を、コンピュータにより実行させている。このようにすることにより、コンピュータを用いて、移動体から外部を撮像した画像に基づいて視覚顕著性を推定し、その推定された特徴に基づいて視覚的に注意を要する地点等を地図データに付加することができる。

【0021】

また、上述した地図データ生成プログラムをコンピュータ読み取り可能な記憶媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。

【実施例0022】

本発明の一実施例にかかる地図データ生成装置を図１～図１１を参照して説明する。本実施例にかかる地図データ生成装置は、例えば事業所等に設置されるサーバ装置等で構成することができる。

【0023】

図１に示したように、地図データ生成装置１は、入力手段２と、視覚顕著性抽出手段３と、解析手段４と、付加手段５と、を備えている。

【0024】

入力手段２は、例えばカメラなどで撮像された画像（動画像）が入力及びＧＰＳ（Global Positioning System）受信機等から出力された位置情報（地点データ）が入力され、その画像を地点データと関連付けて出力する。なお、入力された動画像は、例えばフレーム毎等の時系列に分解された画像データとして出力する。入力手段２に入力される画像として静止画を入力してもよいが、時系列に沿った複数の静止画からなる画像群として入力するのが好ましい。

【0025】

入力手段２に入力される画像は、例えば車両の進行方向が撮像された画像が挙げられる。つまり、移動体から外部を連続的に撮像した画像とする。この画像はいわゆるパノラマ画像や複数カメラを用いて取得した画像等の水平方向に１８０°や３６０°等進行方向以外が含まれる画像であってもよい。また、入力手段２には入力されるのは、カメラで撮像された画像が直接入力されるに限らず、ハードディスクドライブやメモリカード等の記録媒体から読み出した画像であってもよい。即ち、入力手段２は、移動体から外部を撮像した画像と移動体の位置情報とが関連けられた入力情報を取得する第１取得部として機能する。

【0026】

視覚顕著性抽出手段３は、入力手段２から画像データが入力され、後述する視覚顕著性推定情報として視覚顕著性マップを出力する。即ち、視覚顕著性抽出手段３は、移動体から外部を撮像した画像に基づいて視覚顕著性の高低を推測して得られた視覚顕著性マップ（視覚顕著性分布情報）を取得する第２取得部として機能する。

【0027】

図２は、視覚顕著性抽出手段３の構成を例示するブロック図である。本実施例に係る視覚顕著性抽出手段３は、入力部３１０、非線形写像部３２０、および出力部３３０を備える。入力部３１０は、画像を写像処理可能な中間データに変換する。非線形写像部３２０は、中間データを写像データに変換する。出力部３３０は、写像データに基づき顕著性分布を示す顕著性推定情報を生成する。そして、非線形写像部３２０は、中間データに対し特徴の抽出を行う特徴抽出部３２１と、特徴抽出部３２１で生成されたデータのアップサンプルを行うアップサンプル部３２２とを備える。以下に詳しく説明する。

【0028】

図３（ａ）は、視覚顕著性抽出手段３へ入力する画像を例示する図であり、図３（ｂ）は、図３（ａ）に対し推定される、視覚顕著性分布を示す画像を例示する図である。本実施例に係る視覚顕著性抽出手段３は、画像における各部分の視覚顕著性を推定する装置である。視覚顕著性とは例えば、目立ちやすさや視線の集まりやすさを意味する。具体的には視覚顕著性は、確率等で示される。ここで、確率の大小は、たとえばその画像を見た人の視線がその位置に向く確率の大小に対応する。

【0029】

図３（ａ）と図３（ｂ）とは、互いに位置が対応している。そして、図３（ａ）において、視覚顕著性が高い位置ほど、図３（ｂ）において輝度が高く表示されている。図３（ｂ）のような視覚顕著性分布を示す画像は、出力部３３０が出力する視覚顕著性マップの一例である。本図の例において、視覚顕著性は、２５６階調の輝度値で可視化されている。出力部３３０が出力する視覚顕著性マップの例については詳しく後述する。

【0030】

図４は、本実施例に係る視覚顕著性抽出手段３の動作を例示するフローチャートである。図４に示したフローチャートは、コンピュータによって実行される地図データ生成方法の一部であって、入力ステップＳ１１５、非線形写像ステップＳ１２０、および出力ステップＳ１３０を含む。入力ステップＳ１１５では、画像が写像処理可能な中間データに変換される。非線形写像ステップＳ１２０では、中間データが写像データに変換される。出力ステップＳ１３０では、写像データに基づき顕著性分布を示す視覚顕著性推定情報が生成される。ここで、非線形写像ステップＳ１２０は、中間データに対し特徴の抽出を行う特徴抽出ステップＳ１２１と、特徴抽出ステップＳ１２１で生成されたデータのアップサンプルを行うアップサンプルステップＳ１２２とを含む。

【0031】

図２に戻り、視覚顕著性抽出手段３の各構成要素について説明する。入力ステップＳ１１５において入力部３１０は、画像を取得し、中間データに変換する。入力部３１０は、画像データを入力手段２から取得する。そして入力部３１０は、取得した画像を中間データに変換する。中間データは非線形写像部３２０が受け付け可能なデータであれば特に限定されないが、たとえば高次元テンソルである。また、中間データはたとえば、取得した画像に対し輝度を正規化したデータ、または、取得した画像の各画素を、輝度の傾きに変換したデータである。入力ステップＳ１１５において入力部３１０は、さらに画像のノイズ除去や解像度変換等を行っても良い。

【0032】

非線形写像ステップＳ１２０において、非線形写像部３２０は入力部３１０から中間データを取得する。そして、非線形写像部３２０において中間データが写像データに変換される。ここで、写像データは例えば高次元テンソルである。非線形写像部３２０で中間データに施される写像処理は、たとえばパラメータ等により制御可能な写像処理であり、関数、汎関数、またはニューラルネットワークによる処理であることが好ましい。

【0033】

図５は、非線形写像部３２０の構成を詳しく例示する図であり、図６は、中間層３２３の構成を例示する図である。上記した通り、非線形写像部３２０は、特徴抽出部３２１およびアップサンプル部３２２を備える。特徴抽出部３２１において特徴抽出ステップＳ１２１が行われ、アップサンプル部３２２においてアップサンプルステップＳ１２２が行われる。また、本図の例において、特徴抽出部３２１およびアップサンプル部３２２の少なくとも一方は、複数の中間層３２３を含むニューラルネットワークを含んで構成される。ニューラルネットワークにおいては、複数の中間層３２３が結合されている。

【0034】

特にニューラルネットワークは畳み込みニューラルネットワークであることが好ましい。具体的には、複数の中間層３２３のそれぞれは、一または二以上の畳み込み層３２４を含む。そして、畳み込み層３２４では、入力されたデータに対し複数のフィルタ３２５による畳み込みが行われ、複数のフィルタ３２５の出力に対し活性化処理が施される。

【0035】

図５の例において、特徴抽出部３２１は、複数の中間層３２３を含むニューラルネットワークを含んで構成され、複数の中間層３２３の間に第１のプーリング部３２６を備える。また、アップサンプル部３２２は、複数の中間層３２３を含むニューラルネットワークを含んで構成され、複数の中間層３２３の間にアンプーリング部３２８を備える。さらに、特徴抽出部３２１とアップサンプル部３２２とは、オーバーラッププーリングを行う第２のプーリング部３２７を介して互いに接続されている。

【0036】

なお、本図の例において各中間層３２３は、二以上の畳み込み層３２４からなる。ただし、少なくとも一部の中間層３２３は、一の畳み込み層３２４のみからなってもよい。互いに隣り合う中間層３２３は、第１のプーリング部３２６、第２のプーリング部３２７およびアンプーリング部３２８のいずれかで区切られる。ここで、中間層３２３に二以上の畳み込み層３２４が含まれる場合、それらの畳み込み層３２４におけるフィルタ３２５の数は互いに等しいことが好ましい。

【0037】

本図では、「Ａ×Ｂ」と記された中間層３２３は、Ｂ個の畳み込み層３２４からなり、各畳み込み層３２４は、各チャネルに対しＡ個の畳み込みフィルタを含むことを意味している。このような中間層３２３を以下では「Ａ×Ｂ中間層」とも呼ぶ。たとえば、６４×２中間層３２３は、２個の畳み込み層３２４からなり、各畳み込み層３２４は、各チャネルに対し６４個の畳み込みフィルタを含むことを意味している。

【0038】

本図の例において、特徴抽出部３２１は、６４×２中間層３２３、１２８×２中間層３２３、２５６×３中間層３２３、および、５１２×３中間層３２３をこの順に含む。また、アップサンプル部３２２は、５１２×３中間層３２３、２５６×３中間層３２３、１２８×２中間層３２３、および６４×２中間層３２３をこの順に含む。また、第２のプーリング部３２７は、２つの５１２×３中間層３２３を互いに接続している。なお、非線形写像部３２０を構成する中間層３２３の数は特に限定されず、たとえば画像データの画素数に応じて定めることができる。

【0039】

なお、本図は非線形写像部３２０の構成の一例であり、非線形写像部３２０は他の構成を有していても良い。たとえば、６４×２中間層３２３の代わりに６４×１中間層３２３が含まれても良い。中間層３２３に含まれる畳み込み層３２４の数が削減されることで、計算コストがより低減される可能性がある。また、たとえば、６４×２中間層３２３の代わりに３２×２中間層３２３が含まれても良い。中間層３２３のチャネル数が削減されることで、計算コストがより低減される可能性がある。さらに、中間層３２３における畳み込み層３２４の数とチャネル数との両方を削減しても良い。

【0040】

ここで、特徴抽出部３２１に含まれる複数の中間層３２３においては、第１のプーリング部３２６を経る毎にフィルタ３２５の数が増加することが好ましい。具体的には、第１の中間層３２３ａと第２の中間層３２３ｂとが、第１のプーリング部３２６を介して互いに連続しており、第１の中間層３２３ａの後段に第２の中間層３２３ｂが位置する。そして、第１の中間層３２３ａは、各チャネルに対するフィルタ３２５の数がＮ１である畳み込み層３２４で構成されており、第２の中間層３２３ｂは、各チャネルに対するフィルタ３２５の数がＮ２である畳み込み層３２４で構成されている。このとき、Ｎ２＞Ｎ１が成り立つことが好ましい。また、Ｎ２＝Ｎ１×２が成り立つことがより好ましい。

【0041】

また、アップサンプル部３２２に含まれる複数の中間層３２３においては、アンプーリング部３２８を経る毎にフィルタ３２５の数が減少することが好ましい。具体的には、第３の中間層３２３ｃと第４の中間層３２３ｄとが、アンプーリング部３２８を介して互いに連続しており、第３の中間層３２３ｃの後段に第４の中間層３２３ｄが位置する。そして、第３の中間層３２３ｃは、各チャネルに対するフィルタ３２５の数がＮ３である畳み込み層３２４で構成されており、第４の中間層３２３ｄは、各チャネルに対するフィルタ３２５の数がＮ４である畳み込み層３２４で構成されている。このとき、Ｎ４＜Ｎ３が成り立つことが好ましい。また、Ｎ３＝Ｎ４×２が成り立つことがより好ましい。

【0042】

特徴抽出部３２１では、入力部３１０から取得した中間データから勾配や形状など、複数の抽象度を持つ画像特徴を中間層３２３のチャネルとして抽出する。図６は、６４×２中間層３２３の構成を例示している。本図を参照して、中間層３２３における処理を説明する。本図の例において、中間層３２３は第１の畳み込み層３２４ａと第２の畳み込み層３２４ｂとで構成されており、各畳み込み層３２４は６４個のフィルタ３２５を備える。第１の畳み込み層３２４ａでは、中間層３２３に入力されたデータの各チャネルに対して、フィルタ３２５を用いた畳み込み処理が施される。たとえば入力部３１０へ入力された画像がＲＧＢ画像である場合、３つのチャネルｈ^０ _ｉ（ｉ＝１．．３）のそれぞれに対して処理が施される。また、本図の例において、フィルタ３２５は６４種の３×３フィルタであり、すなわち合計６４×３種のフィルタである。畳み込み処理の結果、各チャネルｉに対して、６４個の結果ｈ^０ _ｉ，ｊ（ｉ＝１．．３，ｊ＝１．．６４）が得られる。

【0043】

次に、複数のフィルタ３２５の出力に対し、活性化部３２９において活性化処理が行われる。具体的には、全チャネルの対応する結果ｊについて、対応する要素毎の総和に活性化処理が施される。この活性化処理により、６４チャネルの結果ｈ１ｉ（ｉ＝１．．６４）、すなわち、第１の畳み込み層３２４ａの出力が、画像特徴として得られる。活性化処理は特に限定されないが、双曲関数、シグモイド関数、および正規化線形関数の少なくともいずれかを用いる処理が好ましい。

【0044】

さらに、第１の畳み込み層３２４ａの出力データを第２の畳み込み層３２４ｂの入力データとし、第２の畳み込み層３２４ｂにて第１の畳み込み層３２４ａと同様の処理を行って、６４チャネルの結果ｈ^２ _ｉ（ｉ＝１．．６４）、すなわち第２の畳み込み層３２４ｂの出力が、画像特徴として得られる。第２の畳み込み層３２４ｂの出力がこの６４×２中間層３２３の出力データとなる。

【0045】

ここで、フィルタ３２５の構造は特に限定されないが、３×３の二次元フィルタであることが好ましい。また、各フィルタ３２５の係数は独立に設定可能である。本実施例において、各フィルタ３２５の係数は記憶部３９０に保持されており、非線形写像部３２０がそれを読み出して処理に用いることができる。ここで、複数のフィルタ３２５の係数は機械学習を用いて生成、修正された補正情報に基づいて定められてもよい。たとえば、補正情報は、複数のフィルタ３２５の係数を、複数の補正パラメータとして含む。非線形写像部３２０は、この補正情報をさらに用いて中間データを写像データに変換することができる。記憶部３９０は視覚顕著性抽出手段３に備えられていてもよいし、視覚顕著性抽出手段３の外部に設けられていてもよい。また、非線形写像部３２０は補正情報を、通信ネットワークを介して外部から取得しても良い。

【0046】

図７（ａ）および図７（ｂ）はそれぞれ、フィルタ３２５で行われる畳み込み処理の例を示す図である。図７（ａ）および図７（ｂ）では、いずれも３×３畳み込みの例が示されている。図７（ａ）の例は、最近接要素を用いた畳み込み処理である。図７（ｂ）の例は、距離が二以上の近接要素を用いた畳み込み処理である。なお、距離が三以上の近接要素を用いた畳み込み処理も可能である。フィルタ３２５は、距離が二以上の近接要素を用いた畳み込み処理を行うことが好ましい。より広範囲の特徴を抽出することができ、視覚顕著性の推定精度をさらに高めることができるからである。

【0047】

以上、６４×２中間層３２３の動作について説明した。他の中間層３２３（１２８×２中間層３２３、２５６×３中間層３２３、および、５１２×３中間層３２３等）の動作についても、畳み込み層３２４の数およびチャネルの数を除いて、６４×２中間層３２３の動作と同じである。また、特徴抽出部３２１における中間層３２３の動作も、アップサンプル部３２２における中間層３２３の動作も上記と同様である。

【0048】

図８（ａ）は、第１のプーリング部３２６の処理を説明するための図であり、図８（ｂ）は、第２のプーリング部３２７の処理を説明するための図であり、図８（ｃ）は、アンプーリング部３２８の処理を説明するための図である。

【0049】

特徴抽出部３２１において、中間層３２３から出力されたデータは、第１のプーリング部３２６においてチャネル毎にプーリング処理が施された後、次の中間層３２３に入力される。第１のプーリング部３２６ではたとえば、非オーバーラップのプーリング処理が行われる。図８（ａ）では、各チャネルに含まれる要素群に対し、２×２の４つの要素３０を１つの要素３０に対応づける処理を示している。第１のプーリング部３２６ではこのような対応づけが全ての要素３０に対し行われる。ここで、２×２の４つの要素３０は互いに重ならないよう選択される。本例では、各チャネルの要素数が４分の１に縮小される。なお、第１のプーリング部３２６において要素数が縮小される限り、対応づける前後の要素３０の数は特に限定されない。

【0050】

特徴抽出部３２１から出力されたデータは、第２のプーリング部３２７を介してアップサンプル部３２２に入力される。第２のプーリング部３２７では、特徴抽出部３２１からの出力データに対し、オーバーラッププーリングが施される。図８（ｂ）では、一部の要素３０をオーバーラップさせながら、２×２の４つの要素３０を１つの要素３０に対応づける処理を示している。すなわち、繰り返される対応づけにおいて、ある対応づけにおける２×２の４つの要素３０のうち一部が、次の対応づけにおける２×２の４つの要素３０にも含まれる。本図のような第２のプーリング部３２７では要素数は縮小されない。なお、第２のプーリング部３２７において対応づける前後の要素３０の数は特に限定されない。

【0051】

第１のプーリング部３２６および第２のプーリング部３２７で行われる各処理の方法は特に限定されないが、たとえば、４つの要素３０の最大値を１つの要素３０とする対応づけ（max pooling）や４つの要素３０の平均値を１つの要素３０とする対応づけ（average pooling）が挙げられる。

【0052】

第２のプーリング部３２７から出力されたデータは、アップサンプル部３２２における中間層３２３に入力される。そして、アップサンプル部３２２の中間層３２３からの出力データはアンプーリング部３２８においてチャネル毎にアンプーリング処理が施された後、次の中間層３２３に入力される。図８（ｃ）では、１つの要素３０を複数の要素３０に拡大する処理を示している。拡大の方法は特に限定されないが、１つの要素３０を２×２の４つの要素３０へ複製する方法が例として挙げられる。

【0053】

アップサンプル部３２２の最後の中間層３２３の出力データは写像データとして非線形写像部３２０から出力され、出力部３３０に入力される。出力ステップＳ１３０において出力部３３０は、非線形写像部３２０から取得したデータに対し、たとえば正規化や解像度変換等を行うことで視覚顕著性マップを生成し、出力する。視覚顕著性マップはたとえば、図３（ｂ）に例示したような視覚顕著性を輝度値で可視化した画像（画像データ）である。また、視覚顕著性マップはたとえば、ヒートマップのように視覚顕著性に応じて色分けされた画像であっても良いし、視覚顕著性が予め定められた基準より高い視覚顕著領域を、その他の位置とは識別可能にマーキングした画像であっても良い。さらに、視覚顕著性推定情報は画像等として示されたマップ情報に限定されず、視覚顕著領域を示す情報を列挙したテーブル等であっても良い。

【0054】

解析手段４は、視覚顕著性抽出手段３が出力した視覚顕著性マップに基づいて、当該視覚顕著性マップに対応する地点が視認負荷が高い傾向か解析する。解析手段４は、図９に示したように、視認負荷量算出手段４１と、視認負荷判定手段４２と、を備えている。

【0055】

視認負荷量算出手段４１は、視覚顕著性抽出手段３が出力した視覚顕著性マップに基づいて視認負荷量を算出する。視認負荷量算出手段４１で算出された結果である視認負荷量は、例えばスカラ量またはベクトル量であってもよい。あるいは単一データまたは複数の時系列データであってもよい。視認負荷量算出手段４１は、注視点情報を推定し、視認負荷量として注視点移動量を算出する。

【0056】

視認負荷量算出手段４１の詳細を説明する。まず、視覚顕著性抽出手段３が出力した時系列の視覚顕著性マップから注視点情報を推定する。注視点情報の定義については特に限定しないが、例えば顕著性の値が最大値となる位置（座標）などとすることができる。つまり、視認負荷量算出手段４１は、注視点情報を、視覚顕著性マップ（視覚顕著性分布情報）において視覚顕著性が最大値となる画像上の位置と推定している。

【0057】

そして、推定された時系列の注視点情報から時系列の注視点移動量を算出する。算出された注視点移動量もまた時系列データとなる。算出方法については特に限定しないが、例えば時系列で前後の関係にある注視点座標間のユークリッド距離などとすることができる。つまり、本実施例では、注視点移動量を視認負荷量として算出している。即ち、視認負荷量算出手段４１は、生成された視覚顕著性マップ（視覚顕著性分布情報）に基づいて注視点（推定注視点）の移動量を算出する移動量算出部として機能する。

【0058】

視認負荷判定手段４２は、視認負荷量算出手段４１で算出された移動量に基づいて対象とする地点又は区間が視認負荷が大きいか否か判定する。視認負荷判定手段４２における判定方法は後述する。

【0059】

付加手段５は、取得した地図データに対して、解析手段４における解析結果に基づいて注意地点情報を付加する。つまり、付加手段５は、視認負荷判定手段４２で視認負荷が大きいと判定された地点を注意を要する地点として地図データに付加する。

【0060】

次に、上述した構成の地図データ生成装置１における動作（地図データ生成方法）について、図１０のフローチャートを参照して説明する。また、このフローチャートを地図データ生成装置１として機能するコンピュータで実行されるプログラムとして構成することで地図データ生成プログラムとすることができる。また、この地図データ生成プログラムは、地図データ生成装置１が有するメモリ等に記憶するに限らず、メモリカードや光ディスク等の記憶媒体に格納してもよい。

【0061】

まず、入力手段２が、地点データを取得する（ステップＳ２１０）。地点データは上述したようにＧＰＳ受信機等から取得すればよい。

【0062】

次に、入力手段２が、走行動画（画像データ）を取得する（ステップＳ２２０）。本ステップでは、入力手段２に入力された画像データを画像フレーム等の時系列に分解して、ステップＳ２１０で取得した地点データと関連付けて視覚顕著性抽出手段３へ入力している。また、本ステップでノイズ除去や幾何学変換などの画像処理を施してもよい。なお、ステップＳ２１０とＳ２２０は順序が逆であってもよい。

【0063】

次に、視覚顕著性抽出手段３が、視覚顕著性マップを抽出する（ステップＳ２３０）。視覚顕著性マップは、視覚顕著性抽出手段３において、上述した方法により図３（ｂ）に示したような視覚顕著性マップを時系列に出力する。

【0064】

次に、視認負荷量算出手段４１が、上記した方法により注視点移動量を算出する（ステップＳ２４０）。

【0065】

次に、視認負荷判定手段４２が、ステップＳ２４０で算出した注視点移動量が予め定めた閾値以上か否か判定する（ステップＳ２５０）。この閾値は、注視点移動量に関する閾値である。即ち、視認負荷判定手段４２は、算出された注視点の移動量が第１閾値と比較することで視覚顕著性マップ（視覚顕著性分布情報）に対応する地点データ（位置情報）が示す地点又は区間は視認負荷が高い傾向か判定する第１判定部として機能する。ステップＳ２５０の判定の結果、注視点移動量が予め定めた閾値以上であった場合は（ステップＳ２５０：ＹＥＳ）、付加手段５が、対象とする地点を視認負荷量が大きい注意地点として地図データに登録（付加）する（ステップＳ２６０）。

【0066】

また、ステップＳ２５０の判定の結果、注視点移動量が予め定めた閾値未満であった場合は（ステップＳ２５０：ＮＯ）、対象とする地点は、視認負荷量が大きくないので、注意地点として登録は行わない。

【0067】

ここで、注意地点が登録された地図の例を図１１に示す。図１１において符号Ｗで示した丸印が注意地点を示すものである。図１１は、視認負荷量が大きい地点を示した例である。ここで、視認負荷量の大きさに応じて丸印の色や濃さを変化させてもよいし、丸印の大きさを変化させてもよい。

【0068】

本実施例によれば、地図データ生成装置１は、入力手段２で車両から外部を撮像した画像データと当該車両の地点データとを取得して、双方のデータを関連付けて、視覚顕著性抽出手段３で画像データに基づいて視覚顕著性の高低を推測して得られた視覚顕著性マップを生成する。そして、解析手段４で視覚顕著性マップに基づいて、当該視覚顕著性マップに対応する位置情報が示す地点又は区間が視認負荷が高い傾向か解析し、付加手段５で解析手段４の解析結果に基づいて視認負荷が高い傾向を示す地点又は区間を地図データに付加する。このようにすることにより、車両から外部を撮像した画像に基づいて視覚顕著性を推定し、その推定された特徴に基づいて視覚的に負荷を感じる地点を地図データに付加することができる。

【0069】

また、解析手段４は、視覚顕著性マップに基づいて注視点移動量を算出する視認負荷量算出手段４１と、算出された注視点移動量を第１閾値と比較することで視覚顕著性マップに対応する地点データが示す地点又は区間は視認負荷が高い傾向か判定する視認負荷判定手段４２と、を備えている。このようにすることにより、注視点移動量を第１閾値と比較することにより視認負荷量が高い傾向か否かを容易に判定することができる。

【0070】

また、視認負荷量算出手段４１は、注視点を、視覚顕著性マップにおいて視覚顕著性が最大値となる画像上の位置と推定して移動量の算出をしている。このようにすることにより、最も視認すると推定される位置に基づいて移動量を算出することができる。

【0071】

また、視覚顕著性抽出手段３は、画像を写像処理可能な中間データに変換する入力部３１０と、中間データを写像データに変換する非線形写像部３２０と、写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部３３０と、を備え、非線形写像部３２０は、中間データに対し特徴の抽出を行う特徴抽出部３２１と、特徴抽出部３２１で生成されたデータのアップサンプルを行うアップサンプル部３２２と、を備えている。このようにすることにより、小さな計算コストで、視覚顕著性を推定することができる。

【実施例0072】

次に、本発明の第２の実施例にかかる地図データ生成装置を図１２～図１５を参照して説明する。なお、前述した第１の実施例と同一部分には、同一符号を付して説明を省略する。

【0073】

本実施例では、第１の実施例で説明した視覚的負荷ではなく、視覚的注意集中度を算出して、その視覚的注意集中度に基づいて視覚的に注意を要する地点等を地図データに付加するものである。視覚的注意集中度については後述する。

【0074】

図１２に示したように、本実施例にかかる解析手段４は、視線座標設定手段４３と、ベクトル誤差演算手段４４と、出力手段４５と、を備えている。

【0075】

視線座標設定手段４３は、後述する理想視線を視覚顕著性マップ上に設定する。理想視線とは、障害物や自分以外の交通参加者がいないという理想的な交通環境下で自動車の運転者が進行方向に沿って向ける視線をいう。画像データや視覚顕著性マップ上では（ｘ，ｙ）座標として取り扱う。なお、本実施例では理想視線は固定値とするが、移動体の停止距離に影響する速度や道路の摩擦係数の関数として扱ってもよいし、設定された経路情報を利用して決定されてもよい。即ち、視線座標設定手段４３は、予め定めた規則に従って画像における理想視線（基準視線位置）を設定する視線位置設定部として機能する。

【0076】

ベクトル誤差演算手段４４は、視覚顕著性抽出手段３が出力した視覚顕著性マップ及び当該視覚顕著性マップや画像に対して視線座標設定手段４３が設定した理想視線に基づいてベクトル誤差を算出し、そのベクトル誤差に基づいて視覚的注意の集中度を示す後述する視覚的注意集中度Ｐｓを演算する。即ち、ベクトル誤差演算手段４４は、視覚顕著性分布情報と視線位置とに基づいて画像における視覚的注意の集中度を算出する視覚的注意集中度算出部として機能する。

【0077】

ここで、本実施例におけるベクトル誤差について図１３を参照して説明する。図１３は、視覚顕著性マップの例を示したものである。この視覚顕著性マップはＨ画素×Ｖ画素の２５６階調の輝度値で示されており、図３と同様に視覚顕著性が高い画素ほど輝度が高く表示されている。図１３において、理想視線の座標（ｘ，ｙ）＝（ｘ_ｉｍ，ｙ_ｉｍ）としたとき、視覚顕著性マップ内の任意の座標（ｋ，ｍ）の画素とのベクトル誤差を算出する。視覚顕著性マップにおいて輝度が高い座標と理想視線の座標とが離れている場合は、注視すべき位置と実際に注視し易い位置とが離れることを意味し、視覚的注意が散漫になり易い画像といえる。一方、輝度が高い座標と理想視線の座標とが近い場合は、注視すべき位置と実際に注視し易い位置とが近いことを意味し、注視すべき位置に視覚的注意が集中し易い画像といえる。

【0078】

次に、ベクトル誤差演算手段４４における視覚的注意集中度Ｐｓの算出方法について説明する。本実施例では、視覚的注意集中度Ｐｓは次の（１）式により算出される。

【数1】

【0079】

（１）式において、Ｖ_ｖｃはピクセル深度（輝度値）、ｆ_ｗは重みづけ関数、ｄ_ｅｒｒはベクトル誤差を示している。この重みづけ関数は、例えばＶ_ｖｃの値を示す画素から理想視線の座標までの距離に基づいて重み設定される関数である。αは輝点１点の視覚顕著性マップ（リファレンスヒートマップ）における、輝点の座標と理想視線の座標が一致したときの視覚的注意集中度Ｐｓが１となるような係数である。

【0080】

即ち、ベクトル誤差演算手段４４（視覚的注意集中度算出部）は、視覚顕著性マップ（視覚顕著性分布情報）を構成する各画素の値と、各画素の位置と理想視線（基準視線位置）の座標位置とのベクトル誤差と、に基づいて視覚的注意の集中度を算出している。

【0081】

このようにして得られた視覚的注意集中度Ｐｓは、視覚顕著性マップ上に設定した理想視線の座標からの全画素の座標のベクトル誤差と輝度値の関係を重みづけした上で合計したものの逆数である。この視覚的注意集中度Ｐｓは、理想視線の座標から視覚顕著性マップの輝度が高い分布が離れていると低い値が算出される。即ち、視覚的注意集中度Ｐｓは、理想視線に対する集中度ともいえる。

【0082】

図１４に入力手段２に入力された画像と、その画像から取得された視覚顕著性マップの例を示す。図１４（ａ）は入力画像、（ｂ）は視覚顕著性マップである。このような図１４において、理想視線の座標を例えば前方を走行するトラック等の道路上に設定すると、その場合における視覚的注意集中度Ｐｓが算出される。

【0083】

出力手段４５は、ベクトル誤差演算手段４４で算出された視覚的注意集中度Ｐｓに基づいて当該視覚的注意集中度Ｐｓが算出された画像が示すシーンについてのリスクに関する情報を出力する。リスクに関する情報としては、例えば、視覚的注意集中度Ｐｓに所定の閾値を設け、算出された視覚的注意集中度Ｐｓが閾値以下の場合はリスクが高いシーンであるとの情報を出力する。例えば図１０で算出された視覚的注意集中度Ｐｓが閾値以下の場合はリスクが高いシーンであると判定し、リスク有（またはリスク高）といった情報を出力することができる。

【0084】

また、出力手段４５は、ベクトル誤差演算手段４４で算出された視覚的注意集中度Ｐｓの時間的変化に基づいてリスクに関する情報を出力してもよい。図１５に視覚的注意集中度Ｐｓの時間的変化の例を示す。図１５は、１２秒間の動画像における視覚的注意集中度Ｐｓの変化を示している。図１５において、約６．５秒～約７秒の間で視覚的注意集中度Ｐｓが急激に変化している。これは、例えば自車両の前方に他車両が割り込んだ場合等である。

【0085】

図１５に示したように、視覚的注意集中度Ｐｓの短時間当たりの変化率や変化値を予め定めた閾値と比較することによりリスクが高いシーンであると判定し、リスク有（またはリスク高）を示す情報を出力してもよい。また、例えば一旦下がった視覚的注意集中度Ｐｓが上がる等の変化のパターンによりリスクの有無（高低）を判定してもよい。

【0086】

そして、本実施例では、付加手段５は、出力手段４５から出力されたリスクに関する情報で、例えばリスク有との情報が含まれている場合は、処理された画像の示す地点又は区間を注意地点（注意を要する地点）として地図データに登録（付加）する。なお、地図の例としては図１１と同様である。

【0087】

本実施例によれば、視線座標設定手段４３が、予め定めた固定位置に理想視線の座標を設定する。そして、ベクトル誤差演算手段４４が、視覚顕著性マップと理想視線とに基づいて画像における視覚的注意集中度Ｐｓを算出する。このようにすることにより、視覚顕著性マップを用いるため、画像内に含まれる標識や歩行者といった物体が何かという文脈的な注意状態を反映することができる。したがって、精度良く視覚的注意集中度Ｐｓを算出することが可能となる。そして、このように算出された視覚的注意集中度Ｐｓに基づくリスク地点を地図データに付加することができる。

【0088】

また、ベクトル誤差演算手段４４は、視覚顕著性マップを構成する各画素の値と、各画素の位置と理想視線の座標位置とのベクトル誤差と、に基づいて視覚的注意集中度Ｐｓを算出している。このようにすることにより、視覚顕著性が高い位置と理想視線との差に応じた値が視覚的注意集中度Ｐｓとして算出される。したがって、例えば、視覚顕著性が高い位置と理想視線との距離に応じて視覚的注意集中度Ｐｓの値が変化するようにすることができる。

【0089】

また、視覚的注意集中度Ｐｓの時間的変化に基づいて当該画像の示す地点におけるリスク情報を出力する出力手段４５を備えている。このようにすることにより、例えば視覚的注意集中度Ｐｓの時間的変化が大きい地点を事故リスク地点等として出力することが可能となる。