特開 2025-10851 車両位置推定システム、学習済みモデルの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025010851

(43)【公開日】2025-01-23

(54)【発明の名称】車両位置推定システム、学習済みモデルの生成方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20250116BHJP

   G06T 7/00 20170101ALI20250116BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 650B

G06T7/00 350B

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023113115

(22)【出願日】2023-07-10

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】岡 雄平

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA04

5L096CA02

5L096DA02

5L096FA09

5L096FA67

5L096FA69

5L096HA11

5L096JA11

5L096KA04

5L096KA15

(57)【要約】

【課題】カメラによって撮像された撮像画像に映る車両の位置を高い精度で推定する車両位置推定システムを提供する。
【解決手段】車両位置推定システムは、機械学習によって予め生成された学習済みモデルを用いて、撮像画像の中から車種に依らない特徴点を示す汎用特徴点と複数種類の適応車種のそれぞれと対応した特徴点を示す複数種類の固有特徴点とを抽出し、対象車両の車種に応じて、複数種類の固有特徴点の中から対象固有特徴点を選択し、汎用特徴点と対象固有特徴点の画像座標に基づいて対象車両の位置を推定する。
【選択図】図５

【特許請求の範囲】

【請求項1】

カメラと、
前記カメラによって撮像された撮像画像に映る対象車両の位置の推定を行う１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
機械学習によって予め生成された学習済みモデルを用いて、前記撮像画像の中から車種に依らない特徴点を示す汎用特徴点と複数の適応車種のそれぞれと対応した特徴点を示す複数種類の固有特徴点とを抽出する処理と、
前記対象車両の車種の情報を取得する処理と、
前記対象車両の車種に応じて、前記複数種類の固有特徴点の中から対象固有特徴点を選択する処理と、
前記汎用特徴点と前記対象固有特徴点の画像座標に基づいて前記対象車両の位置を推定する処理と、
を実行するように構成されている
車両位置推定システム。

【請求項2】

請求項１に記載の車両位置推定システムであって、
前記学習済みモデルは、
前記撮像画像を入力とする上段層と、
前記上段層の出力を入力として前記汎用特徴点を出力する汎用特徴点抽出層と、
前記複数の適応車種のそれぞれと対応し、それぞれが前記上段層の出力を入力として対応する適応車種に応じた固有特徴点を出力する複数の固有特徴点抽出層と、
から構成され、
前記上段層及び前記汎用特徴点抽出層は、車種を指定しない種々の車両が映る複数の画像で構成された訓練データにより学習されており、
前記複数の固有特徴点抽出層の各々は、前記対応する適応車種の車両が映る複数の画像で構成された訓練データにより学習されている
ことを特徴とする
車両位置推定システム。

【請求項3】

請求項１又は２に記載の車両位置推定システムであって、
前記複数種類の固有特徴点の各々は、車両の姿勢によって分類された複数種類の姿勢別特徴点を含み、
前記１又は複数のプロセッサは、前記対象車両の姿勢の情報を取得する処理をさらに実行するように構成され、
前記対象固有特徴点を選択する処理は、
前記複数種類の固有特徴点の中から前記対象車両の車種に応じた固有特徴点を選択することと、
選択された固有特徴点に含まれる前記複数種類の姿勢別特徴点うち前記対象車両の姿勢に応じた姿勢別特徴点を前記対象固有特徴点として選択することと、
を含む
ことを特徴とする
車両位置推定システム。

【請求項4】

請求項１又は２に記載の車両位置推定システムであって、
前記複数種類の固有特徴点の各々は、車両の姿勢に応じて変化する信頼度が与えられた複数の特徴点を含み、
前記１又は複数のプロセッサは、前記対象車両の姿勢の情報を取得する処理をさらに実行するように構成され、
前記対象固有特徴点を選択することは、
前記複数種類の固有特徴点のうち前記対象車両の車種に応じた固有特徴点を前記対象固有特徴点として選択することと、
前記対象車両の姿勢に基づいて、前記対象固有特徴点の中から前記信頼度がしきい値未満となる特徴点を除くことと、
を含む
ことを特徴とする
車両位置推定システム。

【請求項5】

対象画像に映る車両の特徴点を抽出するようにコンピュータを機能させるための学習済みモデルの生成方法であって、
前記学習済みモデルは、
前記対象画像を入力とする上段層と、
前記上段層の出力を入力として前記車両の特徴点を出力する汎用特徴点抽出層と、
複数の適応車種のそれぞれと対応し、それぞれが前記上段層の出力を入力として前記車両の特徴点を出力する複数の固有特徴点抽出層と、
から構成されており、
車種を指定しない種々の車両が映る複数の画像で構成された訓練データにより前記上段層及び前記汎用特徴点抽出層を学習することと、
対応する適応車種の車両が映る複数の画像で構成された訓練データにより前記複数の固有特徴点抽出層の各々を学習することと、
を含む
生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両の位置を推定する技術に関する。

【背景技術】

【0002】

車両の位置の推定精度を向上させるための様々な技術が提案されている。例えば、特許文献１には、ＧＰＳによる衛生信号の利用が困難な場合であっても、複数の車両の間の相対的な位置及び姿勢を高精度に推定するための技術が開示されている。その他、本技術分野の技術レベルを示す文献として、以下の特許文献２がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１８９９１０号公報

【特許文献2】特開２０１６－１８４３１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両の位置を推定する技術に関して、カメラによって撮像された撮像画像に映る車両の位置を推定する技術に対するニーズがある。例えば、カメラによって撮像された撮像画像に映る車両の推定位置は、ＡＶＰ（Auto Valet Parking）システム、自動運転システム、コネクティッドサービス、等の機能で活用することができる。しかしながら、従来、十分な精度の推定位置を得ることができていない。

【0005】

本開示の１つの目的は、上記の課題を鑑みたものであり、カメラによって撮像された撮像画像に映る車両の位置を推定する技術に関して、推定精度を向上させることができる技術を提供することにある。

【課題を解決するための手段】

【0006】

本開示の第１の観点は、車両位置推定システムに関する。第１の観点に係る車両位置推定システムは、カメラと、カメラによって撮像された撮像画像に映る対象車両の位置の推定を行う１又は複数のプロセッサを備える。１又は複数のプロセッサは、機械学習によって予め生成された学習済みモデルを用いて、撮像画像の中から車種に依らない特徴点を示す汎用特徴点と複数種類の適応車種のそれぞれと対応した特徴点を示す複数種類の固有特徴点とを抽出する処理と、対象車両の車種の情報を取得する処理と、対象車両の車種に応じて、複数種類の固有特徴点の中から対象固有特徴点を選択する処理と、汎用特徴点と対象固有特徴点の画像座標に基づいて対象車両の位置を推定する処理と、を実行するように構成されている。

【0007】

本開示の第２の観点は、対象画像に映る車両の特徴点を抽出するようにコンピュータを機能させるための学習済みモデルの生成方法に関する。学習済みモデルは、対象画像を入力とする上段層と、上段層の出力を入力として車両の特徴点を出力する汎用特徴点抽出層と、複数の適応車種のそれぞれと対応し、それぞれが上段層の出力を入力として車両の特徴点を出力する複数の固有特徴点抽出層と、から構成される。第２の観点に係る生成方法は、車種を指定しない種々の車両が映る複数の画像で構成された訓練データにより上段層及び汎用特徴点抽出層を学習することと、対応する適応車種の車両が映る複数の画像で構成された訓練データにより複数の固有特徴点抽出層の各々を学習することと、を含む。

【発明の効果】

【0008】

本開示によれば、汎用特徴点に加えて対象車両の車種に最適化された対象固有特徴点の画像座標を用いて対象車両の位置を推定することができるので、推定精度を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る車両位置推定システムの概略を示す図である。

【図2】第１実施形態に係る車両位置推定機能の構成の一例を示す図である。

【図3】抽出される特徴点の一例を示す図である。

【図4】実施形態に係る情報処理部のハードウェア構成の一例を示す図である。

【図5】第１実施形態に係る情報処理部によって実行される処理を示す図である。

【図6】実施形態に係る学習済みモデルについて説明するための図である。

【図7】実施形態に係る学習済みモデルの生成方法を示す図である。

【図8】第２実施形態に係る車両位置推定機能の構成の一例を示す図である。

【図9】第２実施形態に係る情報処理部によって実行される処理を示す図である。

【発明を実施するための形態】

【0010】

１ 第１実施形態
１．１ 車両位置推定システム
本実施形態に係る車両位置推定システムは、カメラによって撮像された撮像画像に映る車両の位置を推定する車両位置推定機能を提供する。図１は、本実施形態に係る車両位置推定システム１０の概略を示す図である。車両位置推定システム１０は、情報処理部１００と、カメラ２００と、を含んでいる。

【0011】

カメラ２００は、推定対象となる車両１を撮像するように設置される。カメラ２００によって撮像された撮像画像２は、情報処理部１００に送信される。

【0012】

情報処理部１００は、車両位置推定機能に係る処理を実行するコンピュータである。情報処理部１００は、撮像画像２を取得して処理を実行し、撮像画像２に映る車両１（以下、「対象車両１」とも呼ぶ）の推定位置を出力する。推定位置は、所定のワールド座標系で推定された対象車両１の位置を示す。ワールド座標系は、車両位置推定システム１０を適用する環境に応じて好適に与えられて良い。

【0013】

車両位置推定システム１０は、種々のシステムの一部として機能していても良い。例えば、車両位置推定システム１０は、ＡＶＰシステムの一部として機能していても良い。この場合、例えば、対象車両１は、ＡＶＰによって駐車を行う車両であり、推定位置は、対象車両１の駐車場内の位置を特定するために出力される。またカメラ２００は、例えば、ＡＶＰが実施される駐車場内に設置されたカメラである。またワールド座標系は、例えば、駐車場における位置を与える座標系である。

【0014】

また例えば、車両位置推定システム１０は、自動運転システムの一部として機能していても良い。この場合、例えば、対象車両１は、自動運転を行う車両であり、推定位置は、対象車両１の自己位置推定のために出力される。またカメラ２００は、例えば、車両を監視するように設置されたインフラカメラである。またワールド座標系は、例えば、地図上の位置を与える座標系である。

【0015】

１．２ 車両位置推定機能の構成
図２は、本実施形態に係る車両位置推定機能の構成の一例を示す図である。車両位置推定機能は、特徴点抽出部Ｐ１０と、対象固有特徴点選択部Ｐ２０と、車両位置推定部Ｐ３０と、により構成される。特徴点抽出部Ｐ１０、対象固有特徴点選択部Ｐ２０、及び車両位置推定部Ｐ３０のそれぞれは、情報処理部１００が処理を実行することにより実現される。

【0016】

特徴点抽出部Ｐ１０は、撮像画像２を取得し、撮像画像２の中から対象車両１の特徴点を抽出する。抽出された特徴点は、撮像画像２における画像座標で表される。特に特徴点抽出部Ｐ１０によって抽出される特徴点は、車種に依らない特徴点を示す汎用特徴点と、複数の適応車種のそれぞれと対応した特徴点を示す複数種類の固有特徴点と、を含む。特徴点は、「キーポイント」と言い換えることもできる。汎用特徴点及び固有特徴点のそれぞれは、複数の特徴点を含んでいても良い。

【0017】

汎用特徴点は、種々の車両に対して一様に解釈可能な特徴点である。例えば、汎用特徴点は、対象車両１が占める路面を示す矩形領域の四隅やタイヤの接地面である。固有特徴点は、対応する適応車種に対して最適化された特徴点である。例えば、固有特徴点は、対応する適応車種に特有な形状や部品に関連した特徴点である。

【0018】

適応車種は、車両位置推定システム１０がサポートする車両の種類であり、車両位置推定システム１０を適用する環境に応じて好適に設定されていて良い。例えば、複数の適応車種の各々は、車両のボディタイプ（ＳＵＶ、ミニバン、セダン、等）によって分類されていても良いし、車両の商品名によって分類されていても良い。また例えば、複数の適応車種の各々は、型式やスペック等に応じて適宜与えられた所定の分類番号によって分類されていても良い。

【0019】

図３は、適応車種が車種Ａと車種Ｂの２つである場合に、特徴点抽出部Ｐ１０によって抽出される対象車両１の特徴点の一例を示す図である。図３では、対象車両１が車種Ａである撮像画像２に対して抽出される特徴点の例と、対象車両１が車種Ｂである撮像画像２に対して抽出される特徴点の例と、がそれぞれ示されている。

【0020】

図３に示すように、対象車両１が車種Ａである撮像画像２と車種Ｂである撮像画像２のいずれに対しても、汎用特徴点と、車種Ａに係る固有特徴点（車種Ａ固有特徴点）と、車種Ｂに係る固有特徴点（車種Ｂ固有特徴点）と、が抽出されている。車種Ａ固有特徴点は、車種Ａに最適化されているため、対象車両１が車種Ａである撮像画像２に関してより的確な特徴点を与えている。一方で車種Ｂ固有特徴点は、車種Ｂに最適化されているため、対象車両１が車種Ｂである撮像画像２に関してより的確な特徴点を与えている。

【0021】

本実施形態において、特徴点抽出部Ｐ１０は、機械学習によって予め生成された学習済みモデルにより構成されている。つまり、特徴点抽出部Ｐ１０は、学習済みモデルを用いて撮像画像２の中から汎用特徴点と複数種類の固有特徴点とを抽出する。学習済みモデルは、撮像画像２を入力とし、入力された撮像画像２の中の汎用特徴点と複数種類の固有特徴点を出力するように生成されている。学習済みモデルの構成や生成方法については後述する。

【0022】

再度図２を参照する。対象固有特徴点選択部Ｐ２０は、抽出された複数種類の固有特徴点を取得する。そして、対象固有特徴点選択部Ｐ２０は、複数種類の固有特徴点の中から対象車両１に適した固有特徴点（以下、「対象固有特徴点」と呼ぶ）を選択する。第１実施形態において、対象固有特徴点選択部Ｐ２０は、対象車両１の車種情報を取得し、対象車両１の車種に応じた固有特徴点を対象固有特徴点として選択する。例えば、対象固有特徴点選択部Ｐ２０は、対象車両１が車種Ａであるとき、複数種類の固有特徴点のうち車種Ａに係る固有特徴点を対象固有特徴点として選択する。

【0023】

車両位置推定部Ｐ３０は、抽出された汎用特徴点と選択された対象固有特徴点とを取得する。また車両位置推定部Ｐ３０は、適応車種データベースＤ１０にアクセスする。適応車種データベースＤ１０は、複数の適応車種のそれぞれに関連するデータを管理するデータベースである。本実施形態において、適応車種データベースＤ１０は、各適応車種に関して、車両基準の車両座標系における各特徴点の座標を特定可能なデータを含んでいる。例えば、適応車種データベースＤ１０は、各適応車種に関して、車体のＣＡＤデータから事前に算出された各特徴点の車両座標系における座標データを管理する。

【0024】

車両位置推定部Ｐ３０は、汎用特徴点と対象固有特徴点の画像座標に基づいて対象車両１の位置を推定する。車両位置推定部Ｐ３０は、例えば、次のように対象車両１の位置を推定することができる。

【0025】

車両位置推定部Ｐ３０は、適応車種データベースＤ１０にアクセスすることにより、汎用特徴点と対象固有特徴点のそれぞれについて、車両座標系における座標を取得することができる。例えば、車両位置推定部Ｐ３０は、適応車種データベースＤ１０から対象車両１の車種に対応する座標データを取得し、特徴点のマッチングを行うことにより座標を取得する。ここで対象車両１のワールド座標系における位置が与えられたとき、車両座標系における座標から、汎用特徴点と対象固有特徴点のワールド座標系における座標を決めることができる。さらにワールド座標系における座標は、カメラ２００のカメラパラメータ（焦点距離、歪み補正パラメータ、カメラ位置、カメラ姿勢、等）を用いた公知の座標変換により、画像座標系の座標に変換することができる。つまり、車両位置推定部Ｐ３０は、対象車両１の位置を仮定すれば、汎用特徴点と対象固有特徴点の画像座標系の座標を算出することが可能である。この場合、車両位置推定部Ｐ３０は、拘束条件（例えば、路面位置の拘束条件として高さ＝０とする）を加えて画像座標系の座標を算出しても良い。

【0026】

従って、車両位置推定部Ｐ３０は、対象車両１の位置を未知数として、取得された汎用特徴点と対象固有特徴点の画像座標と、対象車両１の位置を仮定したときに算出される汎用特徴点と対象特徴点の画像座標と、の差分を最小化させるタスクを解くことにより対象車両１の位置を推定することができる。

【0027】

例えば、対象車両１の位置を（Ｘ，Ｙ，θ）の３次元で推定する場合を考える。このとき車両位置推定部Ｐ３０は、以下の式（１）で表されるタスクを解くことにより対象車両１の位置を推定することができる。ここで、（ｕ_ｉ，ｖ_ｉ）は取得された汎用特徴点又は対象固有特徴点の画像座標、（ｕ_ｉ’，ｖ_ｉ’）｜_{（Ｘ，Ｙ，θ）}は対象車両１の位置を（Ｘ，Ｙ，θ）としたときに算出される汎用特徴点又は対象固有特徴点の画像座標、ｗ_ｉは各特徴点に対する重みである。ｗ_ｉは、例えば、汎用特徴点に対しては小さな値が設定され、固有特徴点に対しては大きな値が設定される。なお以下の式（１）は、対象車両１の位置をより高次元又はより低次元で推定する場合に適用することも可能である。例えば、対象車両１の位置を（Ｘ，Ｙ，Ｚ，ｙａｗ，ｐｉｃｔｈ，ｒｏｌｌ）の６次元で推定する場合についても同様にタスクを構成することができる。

【数1】

【0028】

以上説明したように、本実施形態に係る車両位置推定機能が構成される。情報処理部１００は、車両位置推定部Ｐ３０によって推定された対象車両１の推定位置を出力する。

【0029】

１．３ 情報処理部
図４は、情報処理部１００のハードウェア構成の一例を示す図である。情報処理部１００は、１又は複数のプロセッサ１１０（以下、単にプロセッサ１１０と呼ぶ）と、１又は複数の記憶装置（以下、単に記憶装置１２０と呼ぶ）と、通信Ｉ／Ｆ１３０と、を備えている。

【0030】

プロセッサ１１０は、各種処理を実行する。プロセッサ１１０は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、等で構成することができる。

【0031】

記憶装置１２０は、プロセッサ１１０による処理の実行に必要な各種情報を格納する。記憶装置１２０は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等の記録媒体で構成することができる。

【0032】

記憶装置１２０は、コンピュータプログラム１２１と、学習済みモデル１２２と、適応車種データベースＤ１０と、を格納している。

【0033】

コンピュータプログラム１２１は、プロセッサ１１０によって実行される。コンピュータプログラム１２１を実行するプロセッサ１１０と記憶装置１２０との協働により、情報処理部１００による各種処理が実現されて良い。特に特徴点抽出部Ｐ１０、対象固有特徴点選択部Ｐ２０、及び車両位置推定部Ｐ３０が実現されて良い。特徴点抽出部Ｐ１０、対象固有特徴点選択部Ｐ２０、及び車両位置推定部Ｐ３０は、単一のプロセッサ１１０で実現されても良いし、別々のプロセッサ１１０で実現されても良い。コンピュータプログラム１２１は、コンピュータ読み取り可能な記録媒体に記録されていて良い。プロセッサ１１０は、学習済みモデル１２２を記憶装置１２０から読み出して利用することにより、特徴点抽出部Ｐ１０を構成して良い。

【0034】

通信Ｉ／Ｆ１３０は、情報処理部１００の外部と接続して通信するためのインタフェースである。通信Ｉ／Ｆ１３０としては、インターネットに接続するための機器、移動体通信ネットワークに接続するための機器、等が例示される。情報処理部１００は、通信Ｉ／Ｆ１３０を介して、カメラ２００や対象車両１と通信を行う。

【0035】

図５は、「１．２ 車両位置推定機能」で説明された構成を基に情報処理部１００によって実行される処理、より具体的には、プロセッサ１１０によって実行される処理の一例を示すフローチャートである。図５に示すフローチャートに係る処理は、例えば、情報処理部１００がカメラ２００から撮像画像２を取得したときに開始される。

【0036】

ステップＳ１１０で、プロセッサ１１０は、学習済みモデル１２２を用いて撮像画像２の中から汎用特徴点と複数種類の固有特徴点を抽出する。

【0037】

次にステップＳ１２０で、プロセッサ１１０は、対象車両１の車種情報を取得する。プロセッサ１１０は、対象車両１と通信することにより直接的に車種情報を取得しても良いし、撮像画像２の画像認識を行うことにより車種情報を取得しても良い。あるいは、プロセッサ１１０は、対象車両１と通信することにより対象車両１の識別情報を取得し、識別情報を用いて適応車種データベースＤ１０を参照することにより車種情報を取得しても良い。

【0038】

次にステップＳ１３０で、プロセッサ１１０は、対象車両１の車種に応じて、抽出された複数の固有特徴点の中から対象固有特徴点を選択する。

【0039】

次にステップＳ１４０で、プロセッサ１１０は、抽出された汎用特徴点と選択された対象固有特徴点の画像座標に基づいて対象車両１の位置を推定する。例えば、プロセッサ１１０は、拡張カルマンフィルタ、ラグランジュの未定乗数法、ソルバーによる繰り返し処理、等を用いて上述の式（１）で表されるタスクを解くことにより、対象車両１の位置を推定する。ステップＳ１４０に係る処理の実行により、対象車両１の推定位置が得られる。ステップＳ１４０の後、処理は終了する。

【0040】

このようにプロセッサ１１０が処理を実行することにより、本実施形態に係る車両位置推定機能が実現される。またこのようにプロセッサ１１０に処理を実行させるコンピュータプログラム１２１により、本実施形態に係る車両位置推定プログラムが実現される。

【0041】

１．４ 学習済みモデル
以下、撮像画像２から対象車両１の特徴点を抽出するための学習済みモデル１２２について説明する。図６は、学習済みモデル１２２の構成について説明するための図である。

【0042】

学習済みモデル１２２は、上段層２０と、汎用特徴点抽出層３１と、複数の適応車種のそれぞれと対応する複数の固有特徴点抽出層と、から構成される。

【0043】

上段層２０は、撮像画像２を入力として、撮像画像２の特徴量を出力する。上段層２０は、ＣＮＮ（Convolutional Neural Network）やTransformerモデル等を採用することができる。学習済みモデル１２２において、撮像画像２は、特徴点の抽出を行う対象となる「対象画像」と考えることもできる。

【0044】

汎用特徴点抽出層３１は、上段層２０の出力を入力として、汎用特徴点を出力する。図６において、｛ｋｐ_ｉ｝_ｉは、出力される汎用特徴点を示している。汎用特徴点抽出層３１は、例えば、上段層２０の出力からさらに汎用特徴点の抽出に適した特徴量を抽出するための特徴量抽出部と、特徴量抽出部の出力から汎用特徴点の画像座標を出力するための出力部と、により構成される。この場合、汎用特徴点抽出層３１は、特徴量抽出部として、ＣＮＮやTransformerモデル等を採用することができる。また出力部として、AffineレイヤやSoftmaxレイヤ等を採用することができる。

【0045】

複数の固有特徴点抽出層の各々は、上段層２０の出力を入力として、対応する適応車種に応じた固有特徴点を出力する。図６では、固有特徴点抽出層３２Ａ及び固有特徴点抽出層３２Ｂが示されている。例えば、固有特徴点抽出層３２Ａは、車種Ａに対応し、車種Ａに係る固有特徴点｛ｋｐＡ_ｉ｝_ｉを出力する。また固有特徴点抽出層３２Ｂは、車種Ｂに対応し、車種Ｂに係る固有特徴点｛ｋｐＢ_ｉ｝_ｉを出力する。複数の固有特徴点抽出層の各々は、例えば、上段層２０の出力からさらに対応する適応車種に応じた固有特徴点の抽出に適した特徴量を抽出するための特徴量抽出部と、特徴量抽出部の出力から対応する適応車種に応じた固有特徴点の画像座標を出力するための出力部と、により構成される。特に各固有特徴点抽出層は、互いに同等の構成を有していても良い。

【0046】

図６では、２つの固有特徴点抽出層３２Ａ及び３２Ｂが示されているが、複数の固有特徴点抽出層は、３つ以上の固有特徴点抽出層を含んでいても良い。上述の説明で理解されるように、３つ以上の固有特徴点抽出層を含む場合においても、同様の学習済みモデル１２２を構成することが可能である。

【0047】

以上説明したように、本実施形態に係る学習済みモデル１２２が構成される。学習済みモデル１２２は、機械学習によって予め生成される。図７は、学習済みモデル１２２の生成方法を示すフローチャートである。図７に示すフローチャートに係る処理は、例えば、学習時においてプロセッサ１１０により実行される。

【0048】

まずステップＳ２１０で、上段層２０及び汎用特徴点抽出層３１の学習を行う。上段層２０及び汎用特徴点抽出層３１の学習は、車種を指定しない種々の車両が映る複数の画像で構成された訓練データ（以下、「汎用的訓練データ」とも呼ぶ）により行われる。訓練データは、正解となる特徴点の情報を含んでいて良い。汎用的訓練データは、例えば、大規模データセットを利用することができる。上段層２０及び汎用特徴点抽出層３１の学習は、例えば、誤差逆伝播法により行うことができる。このとき、上段層２０及び汎用特徴点抽出層３１の学習は、一体的に行われて良い。

【0049】

汎用的訓練データによって学習が行われることで、上段層２０及び汎用特徴点抽出層３０は、種々の車両に対して汎化性能が高い結果を出力することが期待される。特に、汎用的訓練データとして大量の訓練データを用意することが可能であり、習熟度の高い学習を期待することができる。

【0050】

次にステップＳ２２０で、複数の固有特徴点抽出層の各々の学習を行う。各固有特徴点抽出層の学習は、対応する適応車種の車両が映る複数の画像で構成された訓練データにより行われる。例えば、車種Ａに係る固有特徴点抽出層の学習は、車種Ａの車両が映る複数の画像で構成された訓練データにより行われる。各固有特徴点抽出層の学習は、同様に、誤差逆伝播法により行うことができる。このとき、上段層２０と学習対象の固有特徴点抽出層が接続された状態で学習が行われて良い。ただし、汎用的訓練データによる上段層２０の学習結果を維持するため、各固有特徴点抽出層の学習では、上段層２０に係るパラメータはフリーズさせることが望ましい。

【0051】

このように複数の固有特徴点抽出層の各々の学習が行われることで、各固有特徴点抽出層は、対応する適応車種に対して最適化された結果を出力することが期待される。特に、汎用的訓練データにより上段層２０が高い習熟度で学習されていることを考慮すれば、各固有特徴点抽出層は、比較的少ない訓練データであっても高い習熟度で学習を行うことができる。延いては、高効率の学習を行うことが可能である。

【0052】

ステップＳ２２０の後、処理は終了する。このように処理を実行することにより、本実施形態に係る学習済みモデル１２２の生成方法が実現される。

【0053】

本実施形態に係る学習済みモデル１２２によれば、適応車種を事後的に拡張することが容易である。例えば、いま適応車種が車種Ａと車種Ｂの２つである場合を考える。そして、新たに車種Ｃを適応車種として追加する場合を考える。このとき、新たに車種Ｃに係る固有特徴点抽出層を上段層２０に接続して学習済みモデル１２２を構成すれば良い。車種Ｃに係る固有特徴点抽出層は、汎用特徴点抽出層３１又は他の固有特徴点抽出層を転用しても良い。そして学習済みモデル１２２の学習は、車種Ｃに係る固有特徴点抽出層に対する学習のみ行えば良い。このように本実施形態に係る学習済みモデル１２２を利用することにより、適応車種を事後的に拡張することが容易な車両位置推定システム１０を実現することができる。

【0054】

１．５ 効果
以上説明したように本実施形態によれば、汎用特徴点に加えて対象車両１の車種に最適化された対象固有特徴点の画像座標に基づいて位置の推定が行われるので、推定精度の高い車両位置推定機能を実現することができる。

【0055】

２．第２実施形態
以下、第２実施形態に係る車両位置推定システム１０について説明する。第２実施形態に係る車両位置推定システム１０は、第１実施形態と同様に、車両位置推定機能を提供する。以下の説明では、第１実施形態との相違点を中心に説明し、第１実施形態と共通する内容は適宜省略している。

【0056】

２．１ 車両位置推定機能の構成
図８は、第２実施形態に係る車両位置推定機能の構成の一例を示す図である。第２実施形態に係る車両位置推定機能は、特徴点抽出部Ｐ１１と、対象固有特徴点選択部Ｐ２１と、車両位置推定部Ｐ３０と、姿勢推定部Ｐ４０と、により構成される。図８において、第１実施形態と共通する要素には共通の符号を附している。

【0057】

特徴点抽出部Ｐ１１は、撮像画像２の中から汎用特徴点と複数種類の固有特徴点を抽出する。特に第２実施形態において、特徴点抽出部Ｐ１１によって抽出される複数種類の固有特徴点の各々は、さらに車両の姿勢によって分類された複数種類の姿勢別特徴点を含む。ここで「車両の姿勢」とは、カメラ２００から見たときの車両の姿勢のことであり、撮像画像２において車両が前向きであるか、後ろ向きであるか、等を示すものである。姿勢別特徴点は、複数の特徴点を含んでいても良い。

【0058】

姿勢別特徴点は、固有特徴点のうち対応する車両の姿勢に対してさらに最適化された特徴点である。例えば、姿勢Ｘが撮像画像２において車両が前向きであることを示す場合、姿勢Ｘに係る姿勢別特徴点は、車両が前向きのときによく映る形状や部品に関連した特徴点である。

【0059】

特徴点抽出部Ｐ１１は、第１実施形態と同様に、学習済みモデル１２２により構成される。従って学習済みモデル１２２において、複数の固有特徴点抽出層の各々は、複数種類の姿勢別特徴点を含む固有特徴点を出力するように構成される。例えば、車種Ａに係る固有特徴点抽出層は、姿勢Ｘに係る姿勢別特徴点｛ｋｐＡＸ_ｉ｝_ｉ、及び姿勢Ｙに係る姿勢別特徴点｛ｋｐＡＹ_ｉ｝_ｉを出力するように構成される。

【0060】

姿勢推定部Ｐ４０は、対象車両１の姿勢を推定する。例えば、姿勢推定部Ｐ４０は、抽出された汎用特徴点を取得し、汎用特徴点の画像座標に基づいて対象車両１の姿勢を推定する。汎用特徴点が矩形領域の四隅である場合、姿勢推定部Ｐ４０は、例えば、汎用特徴点によって表される矩形領域の形状から対象車両１の姿勢を推定する。姿勢推定部Ｐ４０は、撮像画像２の画像認識により対象車両１の姿勢を推定しても良い。また例えば、姿勢推定部Ｐ４０は、対象車両１をトラッキングすることにより対象車両１の姿勢を推定しても良い。

【0061】

対象固有特徴点選択部Ｐ２１は、さらに姿勢推定部Ｐ４０から対象車両１の姿勢情報を取得する。そして第２実施形態において、対象固有特徴点選択部Ｐ２１は、複数種類の固有特徴点の中から対象車両１の車種に応じた固有特徴点を選択し、選択された固有特徴点に含まれる複数種類の姿勢別特徴点のうち対象車両１の姿勢に応じた姿勢別特徴点を対象固有特徴点として選択する。つまり第２実施形態において、対象固有特徴点は、対象車両１の車種及び姿勢の両方に適合した特徴点となる。

【0062】

２．２ 情報処理部
図９は、「２．１ 車両位置推定機能」で説明された構成を基に情報処理部１００によって実行される処理、より具体的には、プロセッサ１１０によって実行される処理の一例を示すフローチャートである。

【0063】

ステップＳ３１０及びステップＳ３２０のそれぞれは、図５で説明したステップＳ１１０及びステップＳ１２０と同等である。ステップＳ３２０の後、処理はステップＳ３３０に進む。

【0064】

ステップＳ３３０で、プロセッサ１１０は、対象車両１の姿勢を推定する。

【0065】

次にステップＳ３４０で、プロセッサ１１０は、対象車両１の車種及び姿勢に応じて、抽出された複数の固有特徴点の中から対象固有特徴点を選択する。

【0066】

次にステップＳ３５０で、プロセッサ１１０は、抽出された汎用特徴点と選択された対象固有特徴点の画像座標に基づいて対象車両１の位置を推定する。ステップＳ３５０に係る処理の実行により、対象車両１の推定位置が得られる。ステップＳ３５０の後、処理は終了する。

【0067】

２．３ 効果
以上説明したように第２実施形態によれば、第１実施形態に対してさらに対象車両１の姿勢に最適化された対象固有特徴点の画像座標に基づいて位置の推定が行われるので、さらに推定精度の高い車両位置推定機能を実現することができる。

【0068】

２．４ 変形例
第２実施形態に係る車両位置推定システム１０は、以下のように変形した態様を採用しても良い。

【0069】

変形例において、特徴点抽出部Ｐ１１は、抽出される複数種類の固有特徴点の各々が、複数種類の姿勢別特徴点ではなく、車両の姿勢に応じて変化する信頼度が与えられた複数の特徴点を含むように構成される。例えば、車種Ａに係る固有特徴点としてｋｐＡ１、ｋｐＡ２、ｋｐＡ３、ｋｐＡ４、及びｋｐＡ５の５つの特徴点が抽出されるとき、各特徴点には、以下のように信頼度が与えられる。信頼度は、各特徴点のクラスに対して、あらかじめ用意されたマップにより与えられていて良い。この場合、マップは、過去の位置推定結果や適合試験等により生成されていて良い。

【表1】

【0070】

そして変形例において、対象固有特徴点選択部Ｐ２１は、複数種類の固有特徴点のうち対象車両１の車種に応じた固有特徴点を対象固有特徴点として選択し、さらに対象車両１の姿勢に基づいて、対象固有特徴点の中から信頼度がしきい値未満となる特徴点を除くように構成される。例えば、対象車両１が車種Ａであって、対象固有特徴点選択部Ｐ２１が上記の車種Ａに係る固有特徴点を対象固有特徴点として選択したとする。またしきい値が４０％であるとする。このとき対象固有特徴点選択部Ｐ２１は、対象固有特徴点の中からｋｐＡ１及びｋｐＡ２を除くように処理を実行する。

【0071】

これにより、車両位置推定部Ｐ３０において、対象車両１の姿勢に対して十分な信頼度を有する特徴点に基づいて対象車両１の位置を推定することが可能となる。延いては、このように変形した態様を採用することによっても、上述した効果と同様の効果を奏することが可能である。

【符号の説明】

【0072】

１ 対象車両、２ 撮像画像、１０ 車両位置推定システム、１００ 情報処理部、
１１０ プロセッサ、 ２００ カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】