特許 6948222 撮影画像に含まれる停車場所を判定するためのシステム、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6948222

(24)【登録日】2021年9月22日

(45)【発行日】2021年10月13日

(54)【発明の名称】撮影画像に含まれる停車場所を判定するためのシステム、方法、及びプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20210930BHJP

   G06T 7/00 20170101ALI20210930BHJP

   H04N 7/18 20060101ALI20210930BHJP

【ＦＩ】

   G08G1/16 C

   G06T7/00 650A

   G06T7/00 350C

   H04N7/18 J

【請求項の数】8

【全頁数】12

(21)【出願番号】特願2017-204033(P2017-204033)

(22)【出願日】2017年10月20日

(65)【公開番号】特開2019-79149(P2019-79149A)

(43)【公開日】2019年5月23日

【審査請求日】2020年8月19日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２８年度、国立研究開発法人新エネルギー・産業技術総合開発機構「ＩｏＴ社会の実現に向けたＩｏＴ推進部実施事業の周辺技術・関連課題における小規模研究開発／荷物受取における車両停車位置検出技術の研究開発」に係る委託研究、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】512200217

【氏名又は名称】株式会社Ｍｏｂｉｌｉｔｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ

(74)【代理人】

【識別番号】100125195

【弁理士】

【氏名又は名称】尾畑 雄一

(72)【発明者】

【氏名】森 紘一郎

(72)【発明者】

【氏名】本多 浩大

【審査官】 小林 勝広

(56)【参考文献】

【文献】 米国特許出願公開第２０１３／００５７６８６（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ２１／００ −２１／３６、２３／００−２５／００

Ｇ０６Ｆ １９／００

Ｇ０６Ｑ １０／００ −１０／１０、３０／００−３０／０８、

５０／００ −５０／２０、５０／２６−９９／００

Ｇ０６Ｔ １／００ − １／４０、 ３／００− ９／４０

Ｇ０８Ｇ １／００ −９９／００

Ｈ０４Ｎ ５／２２２− ５／２５７、７／１８

(57)【特許請求の範囲】

【請求項1】

１又は複数のコンピュータプロセッサを備え、撮影画像に含まれる道路上の停車場所を判定するためのシステムであって、
前記１又は複数のコンピュータプロセッサは、読取可能な命令の実行に応じて、
撮影画像を受け付けるステップと、
受け付けた撮影画像を所定の学習済みモデルに入力し、前記所定の学習済みモデルから出力される情報に少なくとも基づいて、前記受け付けた撮影画像に含まれる道路上の停車場所の画像上の位置を判定するステップと、を実行し、
前記所定の学習済みモデルは、複数の学習用画像であって画像に含まれる道路上の停車場所に対応する画像上の位置を特定する位置特定情報がそれぞれに関連付けられている前記複数の学習用画像を学習データとする機械学習によって生成され、入力される画像に対応する位置特定情報を出力するように構成されている、
システム。

【請求項2】

前記位置特定情報は、ヒートマップ情報である、
請求項１のシステム。

【請求項3】

前記判定するステップは、前記受け付けた撮影画像に含まれる道路上の停車場所を、前記受け付けた撮影画像上の点、線分、又は領域として判定することを含む、
請求項１又は２のシステム。

【請求項4】

前記判定するステップは、前記受け付けた撮影画像に含まれる道路上の停車場所を、前記受け付けた撮影画像上の線分として判定することを含み、
前記位置特定情報は、画像に含まれる道路上の停車場所に対応する線分の一方の端点の画像上の位置を特定する第１の情報と、画像に含まれる道路上の停車場所に対応する線分の他方の端点の画像上の位置を特定する第２の情報とを含む、
請求項３のシステム。

【請求項5】

前記判定するステップは、前記受け付けた撮影画像に関連付けられている撮影時の地理的な位置に少なくとも基づいて、前記受け付けた撮影画像に含まれる道路上の停車場所に対応する地理的な位置を特定することを含む、
請求項１ないし４何れかのシステム。

【請求項6】

前記所定の学習済みモデルは、畳み込みニューラルネットワークとして構成されている、
請求項１ないし５何れかのシステム。

【請求項7】

１又は複数のコンピュータによって実行され、撮影画像に含まれる道路上の停車場所を判定するための方法であって、
撮影画像を受け付けるステップと、
受け付けた撮影画像を所定の学習済みモデルに入力し、前記所定の学習済みモデルから出力される情報に少なくとも基づいて、前記受け付けた撮影画像に含まれる道路上の停車場所の画像上の位置を判定するステップと、を備え、
前記所定の学習済みモデルは、複数の学習用画像であって画像に含まれる道路上の停車場所に対応する画像上の位置を特定する位置特定情報がそれぞれに関連付けられている前記複数の学習用画像を学習データとする機械学習によって生成され、入力される画像に対応する位置特定情報を出力するように構成されている、
方法。

【請求項8】

撮影画像に含まれる道路上の停車場所を判定するためのプログラムであって、
１又は複数のコンピュータ上での実行に応じて、前記１又は複数のコンピュータに、
撮影画像を受け付ける処理と、
受け付けた撮影画像を所定の学習済みモデルに入力し、前記所定の学習済みモデルから出力される情報に少なくとも基づいて、前記受け付けた撮影画像に含まれる道路上の停車場所の画像上の位置を判定する処理と、を実行させ、
前記所定の学習済みモデルは、複数の学習用画像であって画像に含まれる道路上の停車場所に対応する画像上の位置を特定する位置特定情報がそれぞれに関連付けられている前記複数の学習用画像を学習データとする機械学習によって生成され、入力される画像に対応する位置特定情報を出力するように構成されている、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影画像に含まれる道路上の停車場所を判定するためのシステム、方法、及びプログラムに関するものである。

【背景技術】

【0002】

近年、自動運転車両に関する様々な技術の検討が行われている。例えば、自動運転車両を実現するためには、車両を安全な場所に停車させるための技術が必要とされる。この点に関して、例えば、下記特許文献１は、自動運転車両において、周囲を撮影するカメラの撮影画像に駐停車禁止の標識があるか否かを認識することにより、現在位置が駐停車禁止であるか否かを判定することを開示している。当該技術を活用することによって、法令により駐停車が禁止されている場所への車両の停車を防止することができると考えられる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１５／１６６８１１号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、法令によって禁止されていない場所というだけでは、車両にとって好ましい停車場所とは言えない場合が想定される。例えば、車両の停車は、典型的には、荷物の積み降ろし、又は、人の乗降車等の特定の作業／行動のために発生すると考えられるから、停車場所は、こうした作業／行動に適した場所であることが好ましい。また、例えば、法令により駐停車が禁止されていない場所であっても、モラル／マナーの観点で、停車するのが好ましくない場所（例えば、ごみ収集場所の周辺等）も存在し得る。このように、法令によって駐停車が禁止されている場所での停車を防止するのみでは不十分な場合が想定されるから、より適切な停車場所を判定するための技術の実現が望まれる。

【0005】

本発明の実施形態は、車両の適切な停車場所の判定を支援することを目的の一つとする。本発明の実施形態の他の目的は、本明細書全体を参照することにより明らかとなる。

【課題を解決するための手段】

【0006】

本発明の一実施形態に係るシステムは、１又は複数のコンピュータプロセッサを備え、撮影画像に含まれる道路上の停車場所を判定するためのシステムであって、前記１又は複数のコンピュータプロセッサは、読取可能な命令の実行に応じて、撮影画像を受け付けるステップと、受け付けた撮影画像を所定の学習済みモデルに入力し、前記所定の学習済みモデルから出力される情報に少なくとも基づいて、前記受け付けた撮影画像に含まれる道路上の停車場所を判定するステップと、を実行し、前記所定の学習済みモデルは、複数の学習用画像であって画像に含まれる道路上の停車場所に対応する画像上の位置を特定する位置特定情報がそれぞれに関連付けられている前記複数の学習用画像を学習データとする機械学習によって生成され、入力される画像に対応する位置特定情報を出力するように構成されている。

【0007】

本発明の一実施形態に係る方法は、１又は複数のコンピュータによって実行され、撮影画像に含まれる道路上の停車場所を判定するための方法であって、撮影画像を受け付けるステップと、受け付けた撮影画像を所定の学習済みモデルに入力し、前記所定の学習済みモデルから出力される情報に少なくとも基づいて、前記受け付けた撮影画像に含まれる道路上の停車場所を判定するステップと、を備え、前記所定の学習済みモデルは、複数の学習用画像であって画像に含まれる道路上の停車場所に対応する画像上の位置を特定する位置特定情報がそれぞれに関連付けられている前記複数の学習用画像を学習データとする機械学習によって生成され、入力される画像に対応する位置特定情報を出力するように構成されている。

【0008】

本発明の一実施形態に係るプログラムは、撮影画像に含まれる道路上の停車場所を判定するためのプログラムであって、１又は複数のコンピュータ上での実行に応じて、前記１又は複数のコンピュータに、撮影画像を受け付ける処理と、受け付けた撮影画像を所定の学習済みモデルに入力し、前記所定の学習済みモデルから出力される情報に少なくとも基づいて、前記受け付けた撮影画像に含まれる道路上の停車場所を判定する処理と、を実行させ、前記所定の学習済みモデルは、複数の学習用画像であって画像に含まれる道路上の停車場所に対応する画像上の位置を特定する位置特定情報がそれぞれに関連付けられている前記複数の学習用画像を学習データとする機械学習によって生成され、入力される画像に対応する位置特定情報を出力するように構成されている。

【発明の効果】

【0009】

本発明の様々な実施形態は、車両の適切な停車場所の判定を支援する。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係る停車場所判定システム１０の構成を概略的に示す構成図。

【図2】具体例における学習済みモデル１５２を説明するための図。

【図3】学習用画像２５を例示する図。

【図4】学習用画像２５に対応する２つのヒートマップ画像を例示する図。

【図5】停車場所判定システム１０によって実行される処理を例示するフロー図。

【図6】学習済みモデル１５２の入出力としての撮影画像３０及びヒートマップ画像３２、３４を例示する図。

【図7】撮影画像３０上で特定された停車場所が電子地図に反映される方法を説明するための図。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら、本発明の実施形態について説明する。

【0012】

図１は、本発明の一実施形態に係る停車場所判定システム１０の構成を概略的に示す構成図である。システム１０は、一般的なコンピュータとして構成されており、図１に示すように、ＣＰＵ（コンピュータプロセッサ）１１と、メインメモリ１２と、ユーザＩ／Ｆ１３と、通信Ｉ／Ｆ１４と、ストレージ（記憶装置）１５とを備え、これらの各構成要素が図示しないバス等を介して電気的に接続されている。

【0013】

ＣＰＵ１１は、ストレージ１５等に記憶されている様々なプログラムをメインメモリ１２に読み込んで、当該プログラムに含まれる各種の命令を実行する。メインメモリ１２は、例えば、ＤＲＡＭ等によって構成される。

【0014】

ユーザＩ／Ｆ１３は、ユーザとの間で情報をやり取りするための各種の入出力装置である。ユーザＩ／Ｆ１３は、例えば、キーボード、ポインティングデバイス（例えば、マウス、タッチパネル等）等の情報入力装置、マイクロフォン等の音声入力装置、カメラ等の画像入力装置を含む。また、ユーザＩ／Ｆ１３は、ディスプレイ等の画像出力装置（表示装置）、スピーカー等の音声出力装置を含む。

【0015】

通信Ｉ／Ｆ１４は、ネットワークアダプタ等のハードウェア、各種の通信用ソフトウェア、及びこれらの組み合わせとして実装され、有線又は無線の通信を実現できるように構成されている。

【0016】

ストレージ１５は、例えば磁気ディスク又はフラッシュメモリ等によって構成される。ストレージ１５は、オペレーティングシステムを含む様々なプログラム及び各種データ等を記憶する。本実施形態において、ストレージ１５には、画像に含まれる車両の停車場所の判定に用いられる学習済みモデル１５２が格納されている。

【0017】

本実施形態において、システム１０は、それぞれが上述したハードウェア構成を有する複数の装置を用いて構成され得る。また、システム１０は、画像処理に特化したプロセッサであるＧＰＵを備えるように構成され得る。

【0018】

次に、本実施形態の停車場所判定システム１０が有する機能について説明する。図１に示すように、システム１０のＣＰＵ１１は、画像の解析に関する処理を実行する画像解析部１１２、及び、当該画像解析部１１２による画像の解析結果に少なくとも基づいて当該画像に含まれる停車場所を判定する処理を実行する停車場所判定部１１４として機能するように構成されている。これらの機能は、ＣＰＵ１１が、メインメモリ１２等のハードウェア、並びに、ストレージ１５等に記憶されている各種プログラムやデータ等と協働して動作することによって実現され、例えば、メインメモリ１２に読み込まれたプログラムに含まれる命令を実行することによって実現される。

【0019】

画像解析部１１２は、受け付けた撮影画像を、学習済みモデル１５２を用いて解析するように構成されており、具体的には、当該撮影画像を学習済みモデル１５２に入力し、当該学習済みモデル１５２から出力される情報を取得するように構成されている。

【0020】

停車場所判定部１１４は、学習済みモデル１５２から出力される情報に少なくとも基づいて、撮影画像に含まれる道路上の停車場所を判定するように構成されている。

【0021】

本実施形態において、学習済みモデル１５２は、画像が入力されると、当該画像に含まれる道路上の適切な停車場所に対応する画像上の位置を特定する位置特定情報を出力するように構成されている。こうした学習済みモデル１５２は、適切な停車場所に対応する画像上の位置を特定する位置特定情報がそれぞれに関連付けられている複数の学習用画像を学習データ（正解データ）とする機械学習によって生成される。学習済みモデル１５２は、例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）として構成される。

【0022】

このように、本実施形態における停車場所判定システム１０は、停車場所に対応する位置特定情報がそれぞれに関連付けられている複数の学習用画像を学習データとする機械学習によって生成される学習済みモデル１５２に撮影画像を入力し、当該学習済みモデル１５２から出力される位置特定情報に少なくとも基づいて、撮影画像に含まれる道路上の停車場所を判定するように構成されている。従って、適切な停車場所に対応する位置特定情報が関連付けられている学習用画像を準備して学習済みモデル１５２を生成することにより、システム１０は、撮影画像に含まれる適切な停車場所を判定することができる。

【0023】

本実施形態において、停車場所に対応する画像上の位置を特定する位置特定情報は、様々な形式の情報を含み、例えば、ヒートマップ情報（２次元配列の形式を有する情報）を含む。ここでのヒートマップは、画像上の各位置（画素）における適切な停車場所である度合い（尤度）を複数段階で表現したものである。ヒートマップは、「ｃｏｎｆｉｄｅｎｃｅ ｍａｐ」と呼ばれることもある。こうした構成は、ヒートマップを活用した停車場所の判定を可能とする。

【0024】

また、停車場所判定部１１４は、受け付けた撮影画像に含まれる道路上の停車場所を、当該撮影画像上の点、線分、又は領域として判定するように構成され得る。停車場所が撮影画像上の線分として判定される場合において、位置特定情報は、停車場所に対応する線分の一方の端点の画像上の位置を特定する第１の情報（例えば、第１のヒートマップ情報）と、停車場所に対応する線分の他方の端点の画像上の位置を特定する第２の情報（例えば、第２のヒートマップ情報）とを含むように構成される。こうした構成は、停車場所に対応する線分の始点の判定と終点の判定とを別々に行うことを可能とし、この結果、各判定に要する処理の簡易化を促進し得る。各判定に要する処理の簡易化は、例えば、１つの撮影画像に含まれる複数の停車場所（線分）を判定する場合において有効である。

【0025】

また、停車場所判定部１１４は、受け付けた撮影画像に関連付けられている撮影時の地理的な位置（例えば、緯度及び経度等）に少なくとも基づいて、当該受け付けた撮影画像に含まれる道路上の停車場所に対応する地理的な位置（例えば、地図上の位置、又は、緯度及び経度等）を特定するように構成され得る。こうした構成は、判定した撮影画像における停車場所を、実際の地理的な位置に変換することを可能とし、例えば、判定した撮影画像における停車場所を電子地図上に反映することを可能とする。

【0026】

次に、このような機能を有する本実施形態の停車場所判定システム１０の具体例について説明する。当該具体例におけるシステム１０は、撮影画像に含まれる車両の適切な停車場所を判定し、当該判定した停車場所を、自動運転車両を用いた物品の配送サービスにおいて利用される電子地図に反映する（マッピングする）ように構成されている。

【0027】

図２は、この例における学習済みモデル１５２を説明するための図である。この例の学習済みモデル１５２は、図示するように、学習データ２０を用いた機械学習によって生成され、撮影画像が入力されると、当該撮影画像に対応するヒートマップ情報を出力する。当該ヒートマップ情報は、入力された撮影画像に含まれる道路上の適切な停車場所に対応する画像上の位置を特定する情報であり、２次元配列の形式を有する。

【0028】

学習データ２０は、走行中の車両から撮影された多数の学習用画像を含む。学習用画像は、例えば、車両の前方を撮影するように設けられたカメラ（例えば、ドライブレコーダが有するカメラ）を介して当該車両の走行中に撮影された動画を、所定のフレームレート（例えば、１ＦＰＳ）で分解することによって得られる複数の静止画である。学習用画像には、当該画像に含まれる道路上の適切な停車場所に対応する画像上の位置を特定するヒートマップ情報が関連付けられている。

【0029】

ここで、学習用画像に関連付けられるヒートマップ情報を生成する方法について説明する。この例において、学習用画像に関連付けられるヒートマップ情報を生成する際には、まず、作業者が、個別の学習用画像を目視で確認し、当該画像に含まれる適切な停車場所に対応する部分を特定する。適切な停車場所は、例えば、物品の積み降ろしに適した場所であり、戸建住宅の玄関／駐車場の前、及び、集合住宅のエントランス／駐車場の前等が挙げられる。

【0030】

図３は、この例における学習用画像２５を例示する。当該画像２５における線分ＬＳは、作業者によって特定された停車場所に対応する部分である。このように、この例では、停車場所は画像上の線分として特定され、典型的には、車道と歩道（又は私有地）との間の境界に沿った線分として特定される。図３の例では、線分ＬＳは、戸建住宅の玄関の前において、車道と私有地との間の境界に沿うように特定されている。

【0031】

こうした作業者による学習用画像に対する停車場所の特定（停車場所のアノテーション）は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォン等の様々な情報端末を用いて行われ得る。例えば、こうした情報端末において学習用画像が表示されると、作業者は、マウス又はタッチパネル等を用いて、表示されている画像における停車場所を線分として特定する。例えば、作業者は、当該線分の始点及び終点の位置を画像上で順に指定することによって、当該線分を特定することができる。

【0032】

なお、この例では、機械学習の効果を高めることを意図して、１つの学習用画像に対して設定する停車場所は最大で１つとしており、また、停車場所は、画像に含まれる道路の左側のみを対象としており、右側は対象としていない。しかしながら、本実施形態の他の例においては、１つの学習用画像に対して設定する停車場所の数は２以上でも良く、また、停車場所は、道路の右側に位置していても良い。

【0033】

こうして学習用画像に対して停車場所が特定されると、当該停車場所（線分）の画像上の位置に基づいて、ヒートマップ情報が生成される。図４は、図３に例示した学習用画像に基づいて生成されるヒートマップ情報に対応するヒートマップ画像を例示する。図４（Ａ）は、図３の画像２５上の線分ＬＳの始点ＳＰに対応するヒートマップ画像であり、図４（Ｂ）は、同じく線分ＬＳの終点ＥＰに対応するヒートマップ画像である。このように、この例では、線分ＬＳの始点ＳＰに対応する第１のヒートマップ情報と、線分ＬＳの終点ＥＰに対応する第２のヒートマップ情報とが別々に生成される。

【0034】

図４に例示するヒートマップ画像は、画像上の各位置（画素）の色が、適切な停車場所である度合いが大きくなるに従って白色から黒色に近づくように構成されている。また、各ヒートマップ情報は、始点ＳＰ／終点ＥＰに対応する位置を頂点（平均値）とし、所定の標準偏差を有する２次元正規分布に対応するように生成される。こうしたヒートマップ情報の生成に関する処理は、学習用画像に対する停車場所の特定のために用いられる上記情報端末、或いは、システム１０又は他のシステム／装置上で実行され得る。

【0035】

このように２つのヒートマップ情報がそれぞれに関連付けられている多数の学習用画像が準備される。そして、当該多数の学習用画像を学習データとする機械学習によって、学習済みモデル１５２が生成される。学習済みモデル１５２の生成（機械学習）に関する処理は、上記情報端末、或いは、システム１０又は他のシステム／装置上で実行され得る。

【0036】

ここで、この例の学習済みモデル１５２は、畳み込みニューラルネットワークとして構成されており、例えば、畳み込みニューラルネットワークを用いた人物の姿勢推定（ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ）におけるパーツ検出の技術は、この例における停車場所に対応する線分の端点の検出に適用される。

【0037】

このように生成された学習済みモデル１５２を用いて、システム１０は、撮影画像に含まれる適切な停車場所を判定する。そして、判定した停車場所に関する情報は、配送サービス用の電子地図に反映される。停車場所の判定の対象となる撮影画像は、学習用画像と同様に、例えば、車両の前方を撮影するように設けられたカメラ（例えば、ドライブレコーダが有するカメラ）を介して当該車両の走行中に撮影された動画を、所定のフレームレート（例えば、１ＦＰＳ）で分解することによって得られる複数の静止画である。例えば、配送サービスの提供エリアに含まれる全ての道路を対象として撮影画像が準備される。

【0038】

図５は、システム１０によって実行される撮影画像毎の処理を例示するフロー図である。システム１０は、まず、図示するように、撮影画像を学習済みモデル１５２に入力し、当該学習済みモデル１５２から出力されるヒートマップ情報を取得する（ステップＳ１００）。学習済みモデル１５２から出力されるヒートマップ情報は、停車場所に対応する線分の始点に対応する第１のヒートマップ情報と、同じく線分の終点に対応する第２のヒートマップ情報である。例えば、図６に例示するように、撮影画像３０が学習済みモデル１５２に入力されると、２つのヒートマップ画像３２、３４に対応するヒートマップ情報が出力される。第１のヒートマップ画像３２は、停車場所に対応する線分の始点に対応し、第２のヒートマップ画像３４は、停車場所に対応する線分の終点に対応する。

【0039】

続いて、システム１０は、第１のヒートマップ情報におけるピーク（頂点）の有無を判定し、ピークが存在する場合には（ステップＳ１０５においてＹＥＳ）、当該ピークのヒートマップ画像上の位置であるピーク座標を特定する（ステップＳ１１０）。一方、第１のヒートマップ情報におけるピークが存在しない場合は（ステップＳ１０５においてＮＯ）、撮影画像において停車場所に対応する線分の始点が認識されない場合であるから、そのまま処理を終了する。

【0040】

そして、同様に、システム１０は、第２のヒートマップ情報におけるピークの有無を判定し、ピークが存在する場合には（ステップＳ１２０においてＹＥＳ）、当該ピークのピーク座標を特定する（ステップＳ１３０）。一方、第２のヒートマップ情報におけるピークが存在しない場合は（ステップＳ１２０においてＮＯ）、撮影画像において停車場所に対応する線分の終点が認識されない場合であるから、そのまま処理を終了する。このように、第１及び第２のヒートマップ情報の少なくとも一方においてピークが存在しない場合、対応する撮影画像における停車場所の判定はスキップされる。

【0041】

一方、第１及び第２のヒートマップ情報の両方にピークが存在する場合、システム１０は、２つのピーク座標を結ぶ線分に対応する停車場所を電子地図に反映する（ステップＳ１４０）。具体的には、２つのピーク座標と、撮影画像に関連付けられている撮影時における緯度及び経度、並びに、撮影時におけるカメラ（車両の進行方向）の方位とに基づいて、２つのピーク座標を結ぶ線分の電子地図上における位置を特定し、特定した位置に停車場所に関する情報を追加する。電子地図に関するデータは、例えば、システム１０のストレージ１５等に格納される。

【0042】

図７は、図６に例示した撮影画像３０に含まれる停車場所が電子地図上に反映される方法を説明するための図である。図７の上側に示すように、撮影画像３０における停車場所は、線分ＬＳとして特定されている。当該線分ＬＳは、図６に例示した２つのヒートマップ画像３２、３４の各々のピーク座標を始点及び終点としている。また、撮影画像３０には、その撮影時における緯度及び経度、並びに、方位が関連付けられている。これらの情報に基づいて、停車場所（線分ＬＳ）の電子地図上における位置（始点及び終点それぞれの緯度及び経度）が特定され、図７の下側に示すように、地図内の道路上に停車場所ＰＬが設定される。

【0043】

ここで、図７の下側に例示した地図内に示した星型のマーク（当該マークは電子地図に反映されない。）は、撮影画像３０の撮影時におけるカメラ（車両）の位置を示している。当該カメラの位置と停車場所ＰＬ（線分の始点／終点）との間の距離は、撮影画像３０における線分ＬＳの位置に基づいて算出される。このように、この例では、撮影画像に含まれる停車場所が画像上の線分として判定されるから、当該停車場所の電子地図上の位置（地理的な位置）を精度よく特定することができる。

【0044】

このように、図５に例示したフロー図に対応する処理が複数の撮影画像の各々に対して実行されると、各撮影画像に含まれる停車場所が電子地図に反映される。当該電子地図は、自動運転車両の車両制御等において利用される。

【0045】

上述した例では、撮影画像に含まれる停車場所が線分として特定されるようにしたが、当該停車場所が画像上の点又は領域として特定されるようにしてもよい。停車場所を画像上の点として特定する場合には、学習用画像／撮影画像に対応するヒートマップ情報は１つとなる。また、停車場所を画像上の領域として特定する場合には、例えば、全層畳み込みネットワーク（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋ：ＦＣＮ）を用いたセマンティック・セグメンテーションの技術を適用することも可能である。

【0046】

上述した例では、撮影画像に含まれる停車場所が電子地図に反映されるようにしたが、走行中の自動運転車両において進行方向の画像を撮影し、当該撮影画像に含まれる適切な停車場所をリアルタイムで判定するようにしても良い。

【0047】

上述した例では、車両の前方（進行方向）を撮影した画像を用いたが、これに代えて、又は、これに加えて、車両の側方（例えば、左側）を撮影した画像を用いても良い。

【0048】

上述した例において、学習済みモデル１５２を定期的に評価し、評価指標が所定の閾値以下である場合に学習済みモデル１５２を更新（更なる機械学習を実行）するようにしても良い。評価指標は、例えば、精度を含み、当該精度は、学習済みモデル１５２を用いて判定される始点及び終点（第１及び第２のヒートマップ情報における２つのピーク座標）の正解率である。例えば、判定された始点及び終点が、正解から所定の範囲内（例えば、画像上で３０ピクセル内）であれば正解と見做される。

【0049】

以上説明した本実施形態に係る停車場所判定システム１０は、停車場所に対応する位置特定情報（例えば、ヒートマップ情報）がそれぞれに関連付けられている複数の学習用画像を学習データとする機械学習によって生成される学習済みモデル１５２に撮影画像を入力し、当該学習済みモデル１５２から出力される位置特定情報に少なくとも基づいて、撮影画像に含まれる道路上の停車場所を判定するように構成されている。従って、適切な停車場所に対応する位置特定情報が関連付けられている学習用画像を準備して学習済みモデル１５２を生成することにより、システム１０は、撮影画像に含まれる適切な停車場所を判定することができる。このように、本発明の実施形態は、車両の適切な停車場所の判定を支援する。

【0050】

本明細書で説明された処理及び手順は、明示的に説明されたもの以外にも、ソフトウェア、ハードウェアまたはこれらの任意の組み合わせによって実現される。例えば、本明細書で説明される処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク等の媒体に、当該処理及び手順に相当するロジックを実装することによって実現される。また、本明細書で説明された処理及び手順は、当該処理・手順に相当するコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能である。

【0051】

本明細書中で説明された処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理または手順は複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は複数のモジュールによって実行され得る。また、本明細書において説明されたソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、またはより多い構成要素に分解することによって実現することも可能である。

【0052】

本明細書において、発明の構成要素が単数もしくは複数のいずれか一方として説明された場合、又は、単数もしくは複数のいずれとも限定せずに説明された場合であっても、文脈上別に解すべき場合を除き、当該構成要素は単数又は複数のいずれであってもよい。

【符号の説明】

【0053】

１０ 停車場所判定システム
１１ ＣＰＵ
１１２ 画像解析部
１１４ 停車場所判定部
１５ ストレージ
１５２ 学習済みモデル
２０ 学習データ
２５ 学習用画像
３０ 撮影画像
３２ 第１のヒートマップ画像
３４ 第２のヒートマップ画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】