特許 7606414 歩行者装置およびその測位方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-17

(45)【発行日】2024-12-25

(54)【発明の名称】歩行者装置およびその測位方法

(51)【国際特許分類】

   G01C 21/26 20060101AFI20241218BHJP

   G08G 1/005 20060101ALI20241218BHJP

【ＦＩ】

G01C21/26 P

G08G1/005

【請求項の数】 9

(21)【出願番号】P 2021092883

(22)【出願日】2021-06-02

(65)【公開番号】P2022185298

(43)【公開日】2022-12-14

【審査請求日】2024-05-20

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和１年度、国立研究開発法人新エネルギー・産業技術総合開発機構、戦略的イノベーション創造プログラム（ＳＩＰ）第２期／自動運転（システムとサービスの拡張）／狭域・中域情報の収集・統合・配信に係る研究開発の委託業務、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000005821

【氏名又は名称】パナソニックホールディングス株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】上野 剛

(72)【発明者】

【氏名】中川 洋一

(72)【発明者】

【氏名】沈 陽平

【審査官】貞光 大樹

(56)【参考文献】

【文献】特開２０１８－４５６０（ＪＰ，Ａ）

【文献】特開２００５－２６５４９４（ＪＰ，Ａ）

【文献】特開２０１７－１５６８４４（ＪＰ，Ａ）

【文献】特開２０２２－６８５７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／００ － ２１／３６

Ｇ０８Ｇ １／００ － １／１６

(57)【特許請求の範囲】

【請求項1】

歩行者の足元の路面を撮影することにより、足元カメラ画像を順次生成する足元カメラと、
前記歩行者の前後左右のうちの少なくとも一方向を撮影することにより、歩行者周囲カメラ画像を順次生成する周囲カメラと、
登録地点の路面を撮影した複数の路面カメラ画像に前記登録地点の位置情報をそれぞれ対応付けた路面登録情報、及び周辺を撮影した周辺カメラ画像に含まれる定着物に関する特徴情報にその位置情報をそれぞれ対応づけた定着物登録情報を記憶するメモリと、
前記歩行者の現在地の位置情報を取得する処理を実行するプロセッサと、を備え、
前記プロセッサは、
前記歩行者周囲カメラ画像に含まれる物体に関する特徴情報を抽出し、
前記物体に関する特徴情報と、前記定着物登録情報における前記定着物に関する特徴情報との比較により、前記定着物登録情報における前記位置情報を用いて前記歩行者の仮測位を実行し、
前記仮測位の結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を照合候補画像として抽出し、
前記足元カメラ画像と前記各照合候補画像とをそれぞれ照合し、
照合が成功した前記照合候補画像に対応付けられた前記登録地点の位置情報を、前記歩行者の現在地の位置情報として取得する、歩行者装置。

【請求項2】

衛星測位信号を受信する受信機を更に備え、
前記プロセッサは、前記衛星測位信号から得られた位置情報に応じて前記定着物登録情報を他の装置から取得し、その取得した定着物登録情報を前記メモリに記憶させる、請求項１に記載の歩行者装置。

【請求項3】

前記足元カメラおよび前記周囲カメラは、１つの３６０度カメラからなる、請求項１に記載の歩行者装置。

【請求項4】

前記プロセッサは、
前記仮測位を中断可能であり、
前記仮測位を中断する間に、前記歩行者の移動量を順次算出し、
前記移動量の算出結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を前記照合候補画像として抽出する、請求項１に記載の歩行者装置。

【請求項5】

前記プロセッサは、前記歩行者の移動量を、歩行者自律航法に基づく自己位置推定処理、及び前記周囲カメラによって生成された前記歩行者周囲カメラ画像に基づく自己位置推定処理の少なくとも一方によって取得する、請求項４に記載の歩行者装置。

【請求項6】

前記プロセッサは、
前記歩行者の前記仮測位を繰り返し実行し、
前記仮測位の結果を前記メモリに順次記憶し、
前記歩行者周囲カメラ画像に基づき、前記周囲カメラの撮影領域における遮蔽の発生の有無を判定し、
前記周囲カメラの撮影領域における遮蔽が発生したと判定した場合、前記メモリに記憶された過去の前記仮測位の結果を、最新の仮測位の結果として取得する、請求項１に記載の歩行者装置。

【請求項7】

前記プロセッサは、
前記仮測位を中断可能であり、
前記仮測位を中断する間に、前記歩行者の移動量を順次算出し、
前記移動量の算出結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を前記照合候補画像として抽出し、
前記周囲カメラの撮影領域における前記遮蔽が発生したと判定した場合、前記遮蔽の継続時間を算出し、
前記遮蔽の継続時間が閾値以上となった場合、前記仮測位を中断し、前記歩行者の移動量を、歩行者自律航法に基づく自己位置推定処理、及び前記周囲カメラによって生成された前記歩行者周囲カメラ画像に基づく自己位置推定処理の少なくとも一方によって取得する、請求項６に記載の歩行者装置。

【請求項8】

車両に搭載された車載装置および路側機の少なくとも一方と無線通信を行う通信部を更に備え、
前記プロセッサは、前記周囲カメラの撮影領域における遮蔽が発生したと判定した場合、前記通信部を介して前記無線通信を行う前記車載装置および前記路側機の少なくとも一方に前記遮蔽の発生に関するメッセージを送信する、請求項６または請求項７に記載の歩行者装置。

【請求項9】

歩行者の現在の位置情報を取得するための歩行者装置の測位方法であって、
歩行者の足元の路面をカメラで撮影することにより、足元カメラ画像を順次生成し、
さらに前記歩行者の前後左右のうちの少なくとも一方向をカメラで撮影することにより、歩行者周囲カメラ画像を順次生成し、
登録地点の路面を撮影した複数の路面カメラ画像に前記登録地点の位置情報をそれぞれ対応付けた路面登録情報、及び周辺を撮影した周辺カメラ画像に含まれる定着物に関する特徴情報にその位置情報をそれぞれ対応づけた定着物登録情報をメモリに記憶し、
前記歩行者周囲カメラ画像に含まれる物体に関する特徴情報を抽出し、
前記物体に関する特徴情報と、前記定着物登録情報における前記定着物に関する特徴情報との比較により、前記定着物登録情報における前記位置情報を用いて前記歩行者の仮測位を実行し、
前記仮測位の結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を照合候補画像として抽出し、
前記足元カメラ画像と前記各照合候補画像とをそれぞれ照合し、
照合が成功した前記照合候補画像に対応付けられた前記登録地点の位置情報を、前記歩行者の現在地の位置情報として取得する、歩行者装置の測位方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、歩行者によって所持され、その歩行者の位置情報を取得するための測位を行う歩行者装置およびその測位方法に関する。

【背景技術】

【0002】

ＩＴＳ（Intelligent Transport System：高度道路交通システム）を利用した安全運転支援無線システムでは、車両の位置情報を、車載端末同士で交換することで、車両同士の事故を回避し、また、車両や歩行者の位置情報を、車載端末と歩行者端末との間で交換することで、車両と歩行者との事故を回避する。

【0003】

車載端末や歩行者端末では、主に衛星測位により車両や歩行者の位置情報を取得するが、ＰＤＲ（歩行者自律航法：Pedestrian Dead Reckoning）を利用した測位など、様々な測位方法を採用することができる。このとき、交通事故を防止する上で、高精度な位置情報を取得できる測位方法が望まれる。

【0004】

そこで、車両や歩行者の周辺をカメラで撮影して、そのカメラ画像に基づいて、車両や歩行者の位置を測定することが考えられる。このようなカメラ画像を用いた測位方法に関連するものとして、道路を撮影したカメラ画像に基づいて、道路の路面に描かれた白線を検知して、車両の位置情報として、車両が走行する走行レーンを認識する技術が知られている（特許文献１－３参照）。また、前方を撮影したカメラ画像に写るランドマークとなる物体（道路の周辺の建物など）に着目して、自装置の位置を測定する技術も知られている。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第２７５４８７１号公報

【文献】特許第３３３３２２３号公報

【文献】特開平６－１４９３６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

歩行者は、車両等と比べて移動速度や進行方向の変化が顕著であるため、歩行者の現在地の位置情報を取得するための測位では、上記従来技術による測位方法をそのまま採用しても高精度な測位ができない場合がある。また、道路の路面を撮影したカメラ画像を用いて歩行者の測位を行う場合には、その処理負荷を軽減することが望まれる。

【0007】

本開示は、以上の背景に鑑み、歩行者が通行する路面を撮影したカメラ画像を用いて歩行者の測位を行う場合に、処理負荷を軽減できる歩行者装置およびその測位方法を提供することを主な目的とする。

【課題を解決するための手段】

【0008】

本開示の歩行者装置は、歩行者の足元の路面を撮影することにより、足元カメラ画像を順次生成する足元カメラと、前記歩行者の前後左右のうちの少なくとも一方向を撮影することにより、歩行者周囲カメラ画像を順次生成する周囲カメラと、登録地点の路面を撮影した複数の路面カメラ画像に前記登録地点の位置情報をそれぞれ対応付けた路面登録情報、及び周辺を撮影した周辺カメラ画像に含まれる定着物に関する特徴情報にその位置情報をそれぞれ対応づけた定着物登録情報を記憶するメモリと、前記歩行者の現在地の位置情報を取得する処理を実行するプロセッサと、を備え、前記プロセッサは、前記歩行者周囲カメラ画像に含まれる物体に関する特徴情報を抽出し、前記物体に関する特徴情報と、前記定着物登録情報における前記定着物に関する特徴情報との比較により、前記定着物登録情報における前記位置情報を用いて前記歩行者の仮測位を実行し、前記仮測位の結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を照合候補画像として抽出し、前記足元カメラ画像と前記各照合候補画像とをそれぞれ照合し、照合が成功した前記照合候補画像に対応付けられた前記登録地点の位置情報を、前記歩行者の現在地の位置情報として取得する構成とする。

【0009】

本開示の歩行者装置の測位方法は、歩行者の現在の位置情報を取得するための歩行者装置の測位方法であって、歩行者の足元の路面をカメラで撮影することにより、足元カメラ画像を順次生成し、さらに前記歩行者の前後左右のうちの少なくとも一方向をカメラで撮影することにより、歩行者周囲カメラ画像を順次生成し、登録地点の路面を撮影した複数の路面カメラ画像に前記登録地点の位置情報をそれぞれ対応付けた路面登録情報、及び周辺を撮影した周辺カメラ画像に含まれる定着物に関する特徴情報にその位置情報をそれぞれ対応づけた定着物登録情報をメモリに記憶し、前記歩行者周囲カメラ画像に含まれる物体に関する特徴情報を抽出し、前記物体に関する特徴情報と、前記定着物登録情報における前記定着物に関する特徴情報との比較により、前記定着物登録情報における前記位置情報を用いて前記歩行者の仮測位を実行し、前記仮測位の結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を照合候補画像として抽出し、前記足元カメラ画像と前記各照合候補画像とをそれぞれ照合し、照合が成功した前記照合候補画像に対応付けられた前記登録地点の位置情報を、前記歩行者の現在地の位置情報として取得する構成とする。

【発明の効果】

【0010】

本開示によれば、歩行者が通行する路面を撮影したカメラ画像を用いて歩行者の測位を行う場合に、画像照合の処理負荷を軽減できる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る交通安全支援システムの全体構成図

【図2】第１実施形態に係る歩行者端末で行われる画像照合処理の概要を示す説明図

【図3】第１実施形態に係る登録地点の設定状況を示す説明図

【図4】第１実施形態に係る画像位置ＤＢの登録内容を示す説明図

【図5】第１実施形態に係る歩行者端末で行われる仮測位処理の概要を示す説明図

【図6】第１実施形態に係る歩行者端末及び路側機の概略構成を示すブロック図

【図7】第１実施形態に係る歩行者端末１の動作手順を示すフロー図

【図8】第１実施形態に係る歩行者端末１の動作手順を示すフロー図

【図9】第１実施形態に係る車載端末２の動作手順を示すフロー図

【図10】第１実施形態に係る路側機３の動作手順を示すフロー図

【図11】第２実施形態に係る歩行者端末の概略構成を示すブロック図

【図12】第２実施形態に係る歩行者端末の動作手順を示すフロー図

【図13】第３実施形態に係る歩行者端末の概略構成を示すブロック図

【図14】第３実施形態に係る歩行者端末の動作手順を示すフロー図

【図15】第３実施形態の第１変形例に係る歩行者端末の動作手順を示すフロー図

【図16】第３実施形態の第２変形例に係る歩行者端末の動作手順を示すフロー図

【発明を実施するための形態】

【0012】

前記課題を解決するためになされた第１の発明は、歩行者の足元の路面を撮影することにより、足元カメラ画像を順次生成する足元カメラと、前記歩行者の前後左右のうちの少なくとも一方向を撮影することにより、歩行者周囲カメラ画像を順次生成する周囲カメラと、登録地点の路面を撮影した複数の路面カメラ画像に前記登録地点の位置情報をそれぞれ対応付けた路面登録情報、及び周辺を撮影した周辺カメラ画像に含まれる定着物に関する特徴情報にその位置情報をそれぞれ対応づけた定着物登録情報を記憶するメモリと、前記歩行者の現在地の位置情報を取得する処理を実行するプロセッサと、を備え、前記プロセッサは、前記歩行者周囲カメラ画像に含まれる物体に関する特徴情報を抽出し、前記物体に関する特徴情報と、前記定着物登録情報における前記定着物に関する特徴情報との比較により、前記定着物登録情報における前記位置情報を用いて前記歩行者の仮測位を実行し、前記仮測位の結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を照合候補画像として抽出し、前記足元カメラ画像と前記各照合候補画像とをそれぞれ照合し、照合が成功した前記照合候補画像に対応付けられた前記登録地点の位置情報を、前記歩行者の現在地の位置情報として取得する構成とする。

【0013】

これによると、路面カメラ画像の中から仮測位の結果に基づき抽出した照合候補画像と、足元カメラ画像とを照合し、その照合が成功した照合候補画像に対応付けられた登録地点の位置情報を歩行者の現在地の位置情報として取得するため、歩行者が通行する路面を撮影したカメラ画像（足元カメラ画像および路面カメラ画像）を用いて歩行者の測位を行う場合に、処理負荷を軽減できる。

【0014】

また、第２の発明は、衛星測位信号を受信する受信機を更に備え、前記プロセッサは、前記衛星測位信号から得られた位置情報に応じて前記定着物登録情報を他の装置から取得し、その取得した定着物登録情報を前記メモリに記憶させる構成とする。

【0015】

これによると、衛星測位信号から得られた位置情報に応じて必要な範囲の定着物登録情報のみを取得することができる。

【0016】

また、第３の発明は、前記足元カメラおよび前記周囲カメラは、１つの３６０度カメラからなる構成とする。

【0017】

これによると、歩行者装置の構成を複雑化することなく、足元カメラ画像および歩行者周囲カメラ画像を必要に応じて取得することができる。

【0018】

また、第４の発明は、前記プロセッサは、前記仮測位を中断可能であり、前記仮測位を中断する間に、前記歩行者の移動量を順次算出し、前記移動量の算出結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を前記照合候補画像として抽出する構成とする。

【0019】

これによると、比較的処理負荷の大きい仮測位を中断し、比較的処理負荷の小さい移動量の算出を行うことによって照合候補画像を抽出することにより、プロセッサの処理負荷を軽減することが可能となる。

【0020】

また、第５の発明は、前記プロセッサは、前記歩行者の移動量を、歩行者自律航法に基づく自己位置推定処理、及び前記周囲カメラによって生成された前記歩行者周囲カメラ画像に基づく自己位置推定処理の少なくとも一方によって取得する構成とする。

【0021】

これによると、歩行者の移動量を簡易な処理によって取得することができる。

【0022】

また、第６の発明は、前記プロセッサは、前記歩行者の前記仮測位を繰り返し実行し、前記仮測位の結果を前記メモリに順次記憶し、前記歩行者周囲カメラ画像に基づき、前記周囲カメラの撮影領域における遮蔽の発生の有無を判定し、前記周囲カメラの撮影領域における遮蔽が発生したと判定した場合、前記メモリに記憶された過去の前記仮測位の結果を、最新の仮測位の結果として取得する構成とする。

【0023】

これによると、周囲カメラの撮影領域において遮蔽が発生した場合に、不適切な歩行者周囲カメラ画像が使用されることを回避し、歩行者の現在地の位置情報を安定的に取得することができる。

【0024】

また、第７の発明は、前記プロセッサは、前記仮測位を中断可能であり、前記仮測位を中断する間に、前記歩行者の移動量を順次算出し、前記移動量の算出結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を前記照合候補画像として抽出し、前記周囲カメラの撮影領域における前記遮蔽が発生したと判定した場合、前記遮蔽の継続時間を算出し、前記遮蔽の継続時間が閾値以上となった場合、前記仮測位を中断し、前記歩行者の移動量を、歩行者自律航法に基づく自己位置推定処理、及び前記周囲カメラによって生成された前記歩行者周囲カメラ画像に基づく自己位置推定処理の少なくとも一方によって取得する構成とする。

【0025】

これによると、周囲カメラの撮影領域に発生した遮蔽の継続時間が大きくなった場合には、歩行者の移動量に基づき現在地の位置情報を適切に取得することができる。

【0026】

また、第８の発明は、車両に搭載された車載装置および路側機の少なくとも一方と無線通信を行う通信部を更に備え、前記プロセッサは、前記周囲カメラの撮影領域における遮蔽が発生したと判定した場合、前記通信部を介して前記無線通信を行う前記車載装置および前記路側機の少なくとも一方に前記遮蔽の発生に関するメッセージを送信する構成とする。

【0027】

これによると、歩行者の周囲（例えば、前方）が遮蔽されている状況を車載装置に対して通知できるため、歩行者および車両の安全性が高まる。

【0028】

また、第９の発明は、歩行者の現在の位置情報を取得するための歩行者装置の測位方法であって、歩行者の足元の路面をカメラで撮影することにより、さらに足元カメラ画像を順次生成し、前記歩行者の前後左右のうちの少なくとも一方向をカメラで撮影することにより、歩行者周囲カメラ画像を順次生成し、登録地点の路面を撮影した複数の路面カメラ画像に前記登録地点の位置情報をそれぞれ対応付けた路面登録情報、及び周辺を撮影した周辺カメラ画像に含まれる定着物に関する特徴情報にその位置情報をそれぞれ対応づけた定着物登録情報をメモリに記憶し、前記歩行者周囲カメラ画像に含まれる物体に関する特徴情報を抽出し、前記物体に関する特徴情報と、前記定着物登録情報における前記定着物に関する特徴情報との比較により、前記定着物登録情報における前記位置情報を用いて前記歩行者の仮測位を実行し、前記仮測位の結果に基づき、前記メモリに記憶された前記複数の路面カメラ画像の一部を照合候補画像として抽出し、前記足元カメラ画像と前記各照合候補画像とをそれぞれ照合し、照合が成功した前記照合候補画像に対応付けられた前記登録地点の位置情報を、前記歩行者の現在地の位置情報として取得する構成とする。

【0029】

これによると、路面カメラ画像の中から仮測位の結果に基づき抽出した照合候補画像と、足元カメラ画像とを照合し、その照合が成功した照合候補画像に対応付けられた登録地点の位置情報を歩行者の現在地の位置情報として取得するため、歩行者が通行する路面を撮影したカメラ画像（足元カメラ画像および路面カメラ画像）を用いて歩行者の測位を行う場合に、処理負荷を軽減できる。

【0030】

以下、本開示の実施の形態を、図面を参照しながら説明する。

【0031】

（第１実施形態）
図１は、第１実施形態に係る交通安全支援システムの全体構成図である。

【0032】

交通安全支援システムは、歩行者Ｗ及び車両Ｖの交通安全を支援するものであり、歩行者端末１（歩行者装置）と、車載端末２（車載装置）と、路側機３と、を備えている。

【0033】

歩行者端末１、車載端末２、および路側機３の間ではＩＴＳ通信が行われる。このＩＴＳ通信は、ＩＴＳ（Intelligent Transport System：高度道路交通システム）を利用した安全運転支援無線システムで採用されている周波数帯（例えば７００ＭＨｚ帯や５．８ＧＨｚ帯）を利用した無線通信である。なお、本実施形態では、適宜に歩行者端末１と車載端末２との間でのＩＴＳ通信を歩車間通信と呼称し、歩行者端末１と路側機３との間でのＩＴＳ通信を路歩間通信と呼称し、車載端末２と路側機３との間でのＩＴＳ通信を路車間通信と呼称する。また、車載端末２同士の間でもＩＴＳ通信が行われ、このＩＴＳ通信は車車間通信と呼称する。

【0034】

歩行者端末１は、そのユーザである歩行者Ｗが所持する。この歩行者端末１では、ＩＴＳ通信（歩車間通信）により、車載端末２との間で位置情報などを含むメッセージを送受信する。これにより、歩行者端末１は、歩行者Ｗと車両との衝突の危険性を判定し、衝突の危険性がある場合には、歩行者Ｗに対する注意喚起動作を行う。

【0035】

車載端末２は、車両Ｖに搭載される。この車載端末２は、ＩＴＳ通信（歩車間通信）により、歩行者端末１との間で位置情報などを含むメッセージを送受信する。これにより、車載端末２は、歩行者Ｗと車両Ｖとの衝突の危険性を判定し、衝突の危険性がある場合には、車両Ｖの運転者に対する注意喚起動作を行う。なお、車載端末２による注意喚起動作は、例えばカーナビゲーション装置などを用いて行われるとよい。

【0036】

路側機３は、道路の交差点などに設置される。この路側機３は、ＩＴＳ通信（路歩間通信、路車間通信）により、歩行者端末１及び車載端末２に対して、交通情報などの各種の情報を配信する。また、路側機３は、ＩＴＳ通信（路車間通信、路歩間通信）により、自装置の周辺に位置する車両Ｖや歩行者Ｗの存在を、車載端末２や歩行者端末１に通知する。これにより、車両Ｖや歩行者Ｗは、見通し外の交差点における衝突を防止することができる。

【0037】

歩行者端末１は、カメラ１１（足元カメラ、周囲カメラ）を備えている。カメラ１１は、歩行者Ｗの足元の路面を撮影したカメラ画像（以下、足元カメラ画像という。）と、歩行者Ｗの前方（移動方向）を撮影したカメラ画像（以下、前方カメラ画像という。）と、を生成可能である。足下カメラ画像および前方カメラ画像は、映像（動画）を構成するフレーム画像として所定のフレームレートで生成され得る。本実施形態では、カメラ１１は、歩行者端末１の本体と一体に設けられている。ただし、カメラ１１は、撮影の便宜（撮影方向や画角等）を考慮して歩行者端末１の本体とは別体に設けられてもよい。その場合、カメラ１１は、歩行者端末１の本体と有線または無線により通信可能に接続される。

【0038】

カメラ１１は、足元カメラ画像および前方カメラ画像をそれぞれ生成する複数のカメラ（図６における足元カメラ１１Ａおよび前方カメラ１１Ｂを参照）から構成され得る。あるいは、カメラ１１は、足元カメラ画像および前方カメラ画像（またはそれらに相当する画像）を生成可能なように、広範囲を撮影できる１つのカメラ（例えば、３６０度カメラ）によって構成されてもよい。歩行者端末１は、広範囲に撮影可能な（すなわち、必要な撮影領域をカバー可能な）１つのカメラを備えることにより、その構成を複雑化することなく、足元カメラ画像および前方カメラ画像を必要に応じて取得することができる。

【0039】

本実施形態では、説明の便宜上、カメラ１１が、歩行者Ｗの足元の路面を撮影した足元カメラ画像および歩行者Ｗの前方を撮影した前方カメラ画像を生成する例を示すが、前方カメラ画像の代わりに、他の方向を撮影したカメラ画像が生成されてもよい。つまり、前方カメラ１１Ｂ（周囲カメラ）は、歩行者Ｗの前後左右のうちの少なくとも一方向を撮影した画像（歩行者周囲カメラ画像）を生成可能なカメラであればよい。例えば、プライバシー保護のため、カメラ１１は、歩行者Wの前方を撮影することに代えて、歩行者Wの後方（移動方向と逆方向）を撮影してもよい。あるいは、カメラ１１は、足元カメラ画像に加え、歩行者Ｗの前後左右のうちの少なくとも一方向のカメラ画像（またはそれらに相当する画像）を生成可能なように、広範囲を撮影できる１つのカメラ（例えば、３６０度カメラ）によって構成されてもよい。なお、カメラ１１の向き（撮影方向）は、歩行者Ｗの前後左右のいずれかに対して厳密に一致する必要はない。

【0040】

図１に示す例では、歩行者端末１は、歩行者Ｗの頭部に装着される眼鏡型のウェアラブルデバイス（スマートグラス）である。歩行者端末１は、ＡＲディスプレイを有し、そのＡＲディスプレイにおいてＡＲ（拡張現実：Augmented Reality）を実現する機能を備えている。ＡＲは、歩行者Ｗの現実の視界に入る実空間上に仮想オブジェクトがＡＲディスプレイに重畳表示されることによって実現される。ＡＲディスプレイには、仮想オブジェクトとして、車両との衝突の危険性を表す画像や、見通し外の交差点において歩行者Ｗから直接視認できない車両の画像などが表示される。なお、歩行者端末１は、相互に通信可能な複数の装置によって構成されてもよい。例えば、歩行者端末１は、歩行者Ｗの頭部に装着されるヘッドマウント装置と、そのヘッドマウント装置とは別体として設けられ、歩行者Ｗの頭部以外に配置される本体装置とで構成されてもよい。

【0041】

次に、第１実施形態に係る歩行者端末１で行われる画像照合測位の概要について説明する。図２は、歩行者端末１で行われる画像照合処理の概要を示す説明図である。図３は、登録地点の設定状況を示す説明図である。図４は、画像位置ＤＢの登録内容を示す説明図である。図５は、歩行者端末１で行われる仮測位の概要を示す説明図である。本実施の形態では歩行者端末について述べたが、車載端末へ同様の仕組みを応用することも可能である。

【0042】

道路の路面は次第に経年劣化する。例えば、道路の路面には、専用塗料（トラフィックペイント）で白線などの路面標示が描かれている。この路面標示にはひび割れなどの劣化が発生する。また、アスファルト舗装材にも欠損などの劣化が発生する。このような路面の劣化状態は、地点ごとの固有の特徴を有している。このため、その固有の特徴に基づいて、カメラ画像が撮影された地点を特定することができる。

【0043】

本実施形態では、予め複数の登録地点の路面を撮影したカメラ画像（以下、路面カメラ画像という。）が、各登録地点の位置情報と対応付けられて、路側機３に構築された画像位置ＤＢ（データベース）に路面登録情報として登録される（図４参照）。一方、歩行者端末１では、カメラ１１が、歩行者の足元の路面を撮影して、足元カメラ画像をリアルタイムに出力する。そして、歩行者端末１では、図２に示すように、画像位置ＤＢに登録された登録地点の路面カメラ画像と、カメラ１１から出力されるリアルタイムの足元カメラ画像とを照合する画像照合処理が実行され、照合が成功した登録地点の路面カメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する。

【0044】

また、本実施形態では、図３に示すように、路側機３が交差点に設置されている場合、その路側機３が設置された交差点の周辺エリア、具体的には、路側機３が設置された交差点と、その交差点に接続された道路の所定範囲の区間が、画像位置ＤＢの対象範囲となる。この対象範囲内に、所定間隔（例えば２５ｃｍ）をおいて登録地点が設定される。なお、歩行者は、通常、交差点の横断歩道や、交差点に接続された道路の歩道や路側帯を通行するため、この歩行者が通行する道（すなわち、歩行経路）に登録地点が設定される。

【0045】

したがって、図２に示すように、歩行者が、交差点の横断歩道や、道路の歩道や路側帯を通行すると、歩行者端末１では、歩行者の足元の路面が撮影されたリアルタイムの足元カメラ画像が定期的にカメラから出力される。歩行者端末１では、そのリアルタイムの足元カメラ画像を用いて画像照合処理が行われ、歩行者が登録地点に到達したタイミングで、画像照合が成功することで、歩行者の現在地が特定される。

【0046】

また、画像照合処理により、歩行者の進行方向が求められる。すなわち、カメラ画像の向き、例えばカメラ画像の上方の方位（東西南北）が、画像位置ＤＢに登録されていれば、画像照合処理により、画像位置ＤＢに登録されたカメラ画像を回転させて、カメラ１１から出力されるリアルタイムの足元カメラ画像と向きを一致させることで、リアルタイムの足元カメラ画像の上方の方位、すなわち、歩行者の進行方向が求められる。

【0047】

画像照合処理では、画像位置ＤＢに登録された多くの（または全ての）のカメラ画像をリアルタイムの足元カメラ画像の照合候補とすると、迅速な処理（リアルタイムの処理）が難しくなる場合がある。そこで、歩行者端末１は、画像照合処理を実行するにあたり、リアルタイムの足元カメラ画像の照合対象としてより適したカメラ画像（以下、照合候補画像という。）を、画像位置ＤＢに登録されたカメラ画像から抽出する照合候補抽出処理を行う。

【0048】

照合候補抽出処理において、歩行者端末１は、歩行者Ｗに対して仮測位を行う。その結果、歩行者端末１は、歩行者Ｗの現在地の大まかな位置情報（以下、仮測位情報という。）を取得する。一般的に仮測位情報は、画像照合処理によって得られる位置情報よりも低い精度となる。

【0049】

本実施形態では、予めクラウド上に構築された３次元地図ＤＢ（データベース）に３次元地図情報（定着物登録情報）が登録される。この３次元地図情報は、歩行者の歩行経路における路面の周辺を撮影したカメラ画像（周辺カメラ画像）に含まれる定着物（建物、橋などの構造物）の輪郭などにおける視覚的な特徴情報（ここでは、複数の特徴点）に、それらの位置情報が対応づけられたものである。歩行者端末１は、カメラ１１からリアルタイムに出力される前方カメラ画像に含まれる物体（建造物等の定着物を含む）に関する特徴情報（ここでは、複数の特徴点）を抽出し、その物体に関する特徴情報を、３次元地図情報に含まれる定着物に関する特徴情報と照合（比較）することにより、歩行者に対する仮測位を行う。そのような歩行者端末１による仮測位には、Area Learning（エリアラーニング）やVPS（Visual Positioning Service）などの公知の技術を採用することができる。

【0050】

図５に示す例では、歩行者Ｗが矢印Ｄで示す方向に移動する場合に、歩行者端末１は、定着物としての建物Ａ（物体）をカメラ１１で撮影可能な位置に到達すると、リアルタイムの前方カメラ画像に含まれる建物Ａにおける複数の特徴点（ここでは、黒丸で示した部位）を、３次元地図情報に含まれる複数の特徴点と照合することにより、歩行者Ｗに対する仮測位を行う。歩行者端末１は、仮測位の結果（すなわち、仮測位情報）に基づき、自装置（すなわち、歩行者Ｗ）の仮の現在地を特定し、その仮の現在地付近の路面を撮影したカメラ画像を照合候補画像として抽出する。

【0051】

また、歩行者端末１は、照合候補画像を抽出するにあたり、クラウド上の３次元地図ＤＢに登録された３次元地図情報（定着物登録情報）の一部を予め取得し、その取得した情報を自装置のメモリに記憶することができる。例えば、歩行者端末１は、衛星測位信号を受信することにより、その衛星測位信号に基づき特定される歩行者Ｗの現在地の大まかな位置情報に基づき、仮測位に必要な（すなわち、歩行者Ｗの周辺のエリアに対応する）３次元地図情報のみを３次元地図ＤＢから取得するとよい。これにより、歩行者端末１は、３次元地図情報の取得にかかる時間や、自装置のメモリに記憶する３次元地図情報のデータ量を低減することができる。なお、歩行者端末１が３次元地図情報を取得するための３次元地図ＤＢは、通信ネットワークを介して歩行者端末１と通信可能な任意の他の装置（例えば、サーバなどのコンピュータ）に設けられ得る。

【0052】

更に、歩行者Ｗの移動にともなって、カメラ１１から出力されるリアルタイムの前方カメラ画像には、定着物としての建物Ｂおよび建物Ｃが含まれることになる。歩行者端末１は、上述の建物Ａの場合と同様に、リアルタイムの前方カメラ画像に含まれる建物Ｂおよび建物Ｃにおける複数の特徴点（ここでは、黒丸で示した部位）を用いることにより、歩行者Ｗに対する仮測位を順次行うことができる。

【0053】

なお、３次元地図情報は、クラウド上に構築される３次元地図ＤＢに限らず、歩行経路の周辺に位置する路側機３が備えるメモリに記憶されてもよい。その場合、路側機３は、自装置の周辺のエリアに関する３次元地図情報のみを記憶すればよい。

【0054】

また、歩行者端末１では、先読み画像照合を行うこともできる。この先読み画像照合では、歩行者の過去位置（例えば、前回の画像照合が行われた登録地点や、前回の仮測位によって得られた歩行者の位置）と、加速度センサ１２及びジャイロセンサ１３（図６参照）の検出結果から求められる歩行者Ｗの進行状態とに基づいて、次に歩行者Ｗが到達する登録地点が予測され、その予測結果に基づいて、画像位置ＤＢに登録された足元カメラ画像の中から、照合対象となる足元カメラ画像が抽出されて、その抽出された足元カメラ画像と、カメラ１１から出力されるリアルタイムの足元カメラ画像とが照合される。

【0055】

例えば、歩行者Ｗの進行状態として、ジャイロセンサ１３の検出結果に基づいて測定される歩行者Ｗの進行方向と、加速度センサ１２の検出結果に基づいて測定される歩行者Ｗの移動速度とが求められ、この歩行者の進行方向と移動速度とに基づいて、次に歩行者Ｗが到達する登録地点が予測される。なお、歩行者Ｗの進行方向のみに基づいて、次に歩行者Ｗが到達する登録地点を予測することもできる。この場合、歩行者Ｗの進行方向の先に位置する登録地点が、次に歩行者Ｗが到達する登録地点として選択される。

【0056】

なお、先読み画像照合では、歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測する処理が行われるが、このとき、ＰＤＲ（歩行者自律航法：Pedestrian Dead Reckoning）により歩行者の現在地を推定するＰＤＲ測位が行われ、その結果に基づいて、次に歩行者が到達する登録地点が予測されるものとしてもよい。

【0057】

このような先読み画像照合により、歩行者端末１では、画像照合処理の高速化を図ることができる。また、画像照合に係るプロセッサの処理負荷が軽減される。

【0058】

次に、第１実施形態に係る歩行者端末１及び路側機３の概略構成について説明する。図６は、歩行者端末１及び路側機３の概略構成を示すブロック図である。

【0059】

歩行者端末１は、カメラ１１と、加速度センサ１２と、ジャイロセンサ１３と、衛星測位部１４と、ＩＴＳ通信部１５と、無線通信部１６と、メモリ１７と、プロセッサ１８と、を備えている。

【0060】

カメラ１１は、歩行者の足元を撮影する足元カメラ１１Ａと、歩行者の前方を撮影する前方カメラ１１Ｂとを備える。

【0061】

加速度センサ１２は、歩行者の身体に発生する加速度を検出する。ジャイロセンサ１３は、歩行者の身体に発生する角速度を検出する。なお、歩行者端末１は、その他のモーションセンサが設けられるものとしてもよい。

【0062】

衛星測位部１４は、ＧＰＳ（Global Positioning System）、ＱＺＳＳ（Quasi-Zenith Satellite System）などの衛星測位システムにおいて、衛星から衛星測位信号を受信する受信機を含む。衛星測位部１４は、受信した衛星測位信号から自装置の位置を測定して、自装置の位置情報（緯度経度）を歩行者の位置情報として取得する。

【0063】

ＩＴＳ通信部１５は、ＩＴＳ通信（歩車間通信、路歩間通信）により、メッセージをブロードキャストで車載端末２や路側機３に送信し、また、車載端末２や路側機３から送信されるメッセージを受信する。

【0064】

無線通信部１６は、例えばＷｉＦｉ（登録商標）などの無線通信により、メッセージを路側機３に送信し、また、路側機３から送信されるメッセージを受信する。ＩＴＳ通信部１５及び無線通信部１６は、他の装置と通信を行うためのアンテナや通信回路などの公知のハードウェアを有する。

【0065】

メモリ１７は、地図情報や、プロセッサ１８で実行されるプログラムなどを記憶する。本実施形態では、メモリ１７は、画像位置ＤＢから取得した路面登録情報、すなわち、登録地点ごとのカメラ画像及び位置情報を記憶する。また、メモリ１７は、３次元地図ＤＢから取得した３次元地図情報、すなわち、歩行経路における路面の周辺に位置する建造物等の定着物に関する特徴情報及び位置情報を記憶する。なお、本実施形態では、歩行者端末１が、交差点に近づいた際に、その交差点に設置された路側機３から、交差点の周辺エリアに関する画像位置ＤＢの路面登録情報を取得する。また、路側機３に３次元地図ＤＢが構築されることにより、歩行者端末１は、周辺エリアに関する３次元地図ＤＢの３次元地図情報を路側機３から取得してもよい。

【0066】

プロセッサ１８は、メモリ１７に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ１８が、メッセージ制御処理と、衝突判定処理と、注意喚起制御処理と、速度測定処理と、方向測定処理と、仮測位処理と、照合候補抽出処理と、画像照合処理と、位置情報取得処理とを行う。なお、歩行者端末１は、各種の処理を複数のプロセッサによって実行してもよい。また、歩行者端末１は、上記処理の一部を他の情報処理装置に実行させることにより、その処理結果を取得してもよい。

【0067】

メッセージ制御処理では、プロセッサ１８が、車載端末２及び路側機３との間でのＩＴＳ通信のメッセージの送受信を制御する。また、プロセッサ１８が、路側機３との間での無線通信のメッセージの送受信を制御する。

【0068】

衝突判定処理では、プロセッサ１８が、車載端末２から取得した車両情報に含まれる車両の位置情報、及び衛星測位部１４で取得した歩行者の位置情報などに基づいて、歩行者に車両が衝突する危険性があるか否かを判定する。

【0069】

注意喚起制御処理では、プロセッサ１８が、衝突判定処理で衝突の危険性があると判定された場合に、歩行者に対する所定の注意喚起動作（例えば音声出力や振動など）を行うように制御する。

【0070】

速度測定処理では、プロセッサ１８が、加速度センサ１２の検出結果に基づいて歩行者の速度を測定する。歩行者が歩行すると、歩行者の身体に加速度が発生し、この加速度の変化状況に基づいて、歩行者の歩行ピッチが求められる。また、歩行ピッチと歩幅から速度が算出される。なお、歩幅は、歩行者端末１に登録された歩行者の属性（大人、子供など）に基づいて設定されるようにしてもよい。

【0071】

方向測定処理では、プロセッサ１８が、ジャイロセンサ１３の検出結果に基づいて歩行者の進行方向を測定する。

【0072】

仮測位処理では、プロセッサ１８が、前方カメラ１１Ｂから出力されるリアルタイムの前方カメラ画像に含まれる物体に関する特徴情報と、３次元地図情報に含まれる建造物等の定着物に関する特徴情報とを照合する。プロセッサ１８は、その照合結果に基づき仮測位情報を取得する。

【0073】

照合候補抽出処理では、プロセッサ１８が、仮測位情報に基づき、リアルタイムの足元カメラ画像の照合対象として適した照合候補画像を、画像位置ＤＢに登録されたカメラ画像から抽出する。より詳細には、プロセッサ１８は、仮測位情報における歩行者の現在地の大まかな位置から、その位置の周辺の登録地点に関する路面登録情報に含まれる路面カメラ画像を照合候補画像として抽出する。

【0074】

また、照合候補抽出処理では、プロセッサ１８が、歩行者の過去位置、移動速度及び進行方向に基づき次に歩行者が到達する登録地点（予測地点）を予測し、その予測結果に基づいて照合候補画像を抽出してもよい。

【0075】

画像照合処理では、プロセッサ１８が、カメラ１１から出力されるリアルタイムの足元カメラ画像と、照合候補抽出処理で抽出した照合候補画像とを照合する。このとき、プロセッサ１８が、リアルタイムの足元カメラ画像及び照合候補画像からそれぞれ特徴情報（特徴点の情報）を抽出して、各々の特徴情報を比較することで、カメラ画像の照合が行われる。なお、この画像照合処理は、ＡＩ（人工知能）を用いて行われるようにしてもよい。

【0076】

位置情報取得処理では、プロセッサ１８が、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する。

【0077】

なお、車載端末２も、プロセッサおよびメモリ（図示せず）を搭載し、メモリに記憶されたプログラムを実行することで、歩行者端末１と同様のメッセージ制御処理、衝突判定処理、および注意喚起制御処理などを行うことができる。

【0078】

路側機３は、ＩＴＳ通信部３１と、無線通信部３２と、メモリ３３と、プロセッサ３４と、を備えている。

【0079】

ＩＴＳ通信部３１は、ＩＴＳ通信（路歩間通信、路車間通信）により、メッセージをブロードキャストで歩行者端末１や車載端末２に送信し、また、歩行者端末１や車載端末２から送信されるメッセージを受信する。

【0080】

無線通信部３２は、例えばＷｉＦｉ（登録商標）などの無線通信により、メッセージを歩行者端末１に送信し、また、歩行者端末１から送信されるメッセージを受信する。ＩＴＳ通信部３１及び無線通信部３２は、他の装置と通信を行うためのアンテナや通信回路などの公知のハードウェアを有する。

【0081】

メモリ３３は、プロセッサ３４で実行されるプログラムなどを記憶する。また、本実施形態では、メモリ３３が、画像位置ＤＢ（図４参照）の路面登録情報を記憶する。また、メモリ３３は、３次元地図ＤＢの３次元地図情報を記憶してもよい。

【0082】

プロセッサ３４は、メモリ３３に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ３４が、メッセージ制御処理と、画像位置ＤＢ管理処理と、を行う。

【0083】

メッセージ制御処理では、プロセッサ３４が、歩行者端末１及び車載端末２との間でのＩＴＳ通信のメッセージの送受信を制御する。また、プロセッサ３４が、歩行者端末１との間での無線通信のメッセージの送受信を制御する。

【0084】

画像位置ＤＢ管理処理では、プロセッサ３４が、画像位置ＤＢ（図4参照）を管理する。この画像位置ＤＢには、登録地点ごとのカメラ画像及び位置情報が登録される。本実施形態では、歩行者端末１からの要求に応じて、画像位置ＤＢの登録情報が歩行者端末１に配信される。

【0085】

次に、第１実施形態に係る歩行者端末１、車載端末２、及び路側機３の動作手順について説明する。図７，図８は、歩行者端末１の動作手順を示すフロー図である。図９は、車載端末２の動作手順を示すフロー図である。図１０は、路側機３の動作手順を示すフロー図である。

【0086】

図７（Ａ）に示すように、歩行者端末１では、まず、衛星測位部１４が、歩行者の位置情報を取得する（ＳＴ１０１）。次に、プロセッサ１８が、歩行者の位置情報に基づいて、歩行者情報を送信する状況か否か、具体的にはユーザが危険エリアに進入したか否かを判定する（ＳＴ１０２）。

【0087】

ここで、歩行者情報を送信する状況であれば（ＳＴ１０２でＹｅｓ）、プロセッサ１８の送信指示に応じて、ＩＴＳ通信部１５が、歩行者情報（歩行者ＩＤ及び位置情報など）を含むＩＴＳ通信のメッセージを、車載端末２及び路側機３に送信する（ＳＴ１０３）。

【0088】

図９に示すように、車載端末２では、歩行者端末１からのＩＴＳ通信（歩車間通信）のメッセージを受信すると（ＳＴ２０１でＹｅｓ）、メッセージに含まれる車両の位置情報などに基づいて、自車両が歩行者に衝突する危険性があるか否かの衝突判定を行う（ＳＴ２０２）。

【0089】

ここで、自車両が歩行者に衝突する危険性がある場合には（ＳＴ２０２でＹｅｓ）、車載端末２は、運転者に対する所定の注意喚起動作を行う（ＳＴ２０３）。具体的には、車載端末２は、注意喚起動作として、カーナビゲーション装置に注意喚起動作（例えば音声出力や画面表示など）を行わせる。なお、自車両が自動運転車両である場合には、車載端末２は、自動運転ＥＣＵ（走行制御装置）に対して、所定の衝突回避動作を行うように指示する。

【0090】

図１０（Ａ）に示すように、路側機３では、ＩＴＳ通信部３１が、歩行者端末１からのＩＴＳ通信（歩車間通信）のメッセージを受信すると（ＳＴ３０１でＹｅｓ）、プロセッサ３４が、受信したメッセージに含まれる歩行者端末１の端末ＩＤと位置情報とを取得する（ＳＴ３０２）。次に、プロセッサ３４が、歩行者の位置情報に基づいて、歩行者端末１が、画像位置ＤＢの登録情報の対象エリアの周辺（対象エリアの内部または近傍）に位置するか否かを判定する（ＳＴ３０３）。

【0091】

ここで、歩行者端末１が対象エリアの周辺に位置する場合には（ＳＴ３０３でＹｅｓ）、プロセッサ３４の送信指示に応じて、ＩＴＳ通信部３１が、歩行者端末１が自装置のデータベース（メモリ１７）の登録情報を利用できる旨のＤＢ利用情報を含むＩＴＳ通信のメッセージを歩行者端末１に送信する（ＳＴ３０４）。

【0092】

図７（Ｂ）に示すように、歩行者端末１では、ＩＴＳ通信部１５が、路側機３から、ＤＢ利用情報を含むＩＴＳ通信のメッセージを受信すると（ＳＴ１１１でＹｅｓ）、プロセッサ１８の送信指示に応じて、無線通信部１６が、ＤＢ登録情報（ここでは、画像位置ＤＢの路面登録情報）を要求する無線通信のメッセージを路側機３に送信する（ＳＴ１１２）。なお、ＤＢ登録情報には、３次元地図ＤＢの３次元地図情報が含まれてもよい。

【0093】

図１０（Ｂ）に示すように、路側機３では、無線通信部３２が、歩行者端末１から、ＤＢ登録情報を要求する無線通信のメッセージを受信すると（ＳＴ３１１でＹｅｓ）、プロセッサ３４の送信指示に応じて、無線通信部３２が、ＤＢ登録情報を含む無線通信のメッセージを歩行者端末１に送信する（ＳＴ３１２）。

【0094】

このとき、路側機３の画像位置ＤＢの全ての路面登録情報が歩行者端末１に送信されるようにしてもよいが、歩行者端末１が利用する可能性が高い一部の路面登録情報のみが歩行者端末１に送信されるようにしてもよい。具体的には、歩行者端末１の周辺の所定範囲内、特に歩行者の進行方向に位置する所定範囲内の路面登録情報が歩行者端末１に送信されるようにしてもよい。

【0095】

図７（Ｃ）に示すように、歩行者端末１では、無線通信部１６が、路側機３から、ＤＢ登録情報を含む無線通信のメッセージを受信すると（ＳＴ１２１でＹｅｓ）、プロセッサ１８が、受信したメッセージに含まれるＤＢ登録情報を、自装置のデータベースに登録する（ＳＴ１２２）。

【0096】

次に、図８に示すように、歩行者端末１では、プロセッサ１８が、歩行者の位置情報を取得する（ＳＴ１３１）。この歩行者の位置情報（仮測位情報）は、歩行者端末１による仮測位の結果として得られる。より詳細には、プロセッサ１８が、カメラ１１からリアルタイムに出力される前方カメラ画像に含まれる物体に関する特徴情報を抽出し、それらの特徴情報を、３次元地図情報に含まれる建造物等の定着物に関する特徴情報と照合することにより、歩行者の位置情報（絶対位置の情報）を取得する。ステップＳＴ１３１では、プロセッサ１８が、仮測位を実行する代わりに、受信した衛星測位信号に基づき歩行者の位置情報を取得してもよい。ステップＳＴ１３１において取得された歩行者の位置情報は、メモリ１７に順次記憶される。

【0097】

なお、歩行者端末１では、ステップＳＴ１３１での仮測位に必要な範囲の３次元地図情報をクラウド上に構築された３次元地図ＤＢから取得し、それを自装置のデータベースに格納しておくことができる。

【0098】

また、プロセッサ１８が、カメラ１１による歩行者の足元を撮影したリアルタイムの足元カメラ画像を取得する（ＳＴ１３２）。このリアルタイムの足元カメラ画像は、所定の時間間隔で繰り返し取得される。また、プロセッサ１８が、加速度センサ１２の検出結果に基づいて、歩行者の移動速度を測定する（ＳＴ１３３）。また、プロセッサ１８が、ジャイロセンサ１３の検出結果に基づいて、歩行者の進行方向（移動方向）を測定する（ＳＴ１３４）。

【0099】

次に、プロセッサ１８が、照合候補抽出処理として、ステップＳＴ１３１において取得した歩行者の位置情報（すなわち、仮の現在地）に基づき、ステップＳＴ１３２で取得したリアルタイムの足元カメラ画像の照合対象となる照合候補画像を抽出する（ＳＴ１３５）。

【0100】

より詳細には、ステップＳＴ１３５において、プロセッサ１８は、歩行者の仮の現在地から所定の範囲内に位置する登録地点に対応する路面カメラ画像を照合候補画像として抽出することができる。このとき、プロセッサ１８は、抽出する照合候補画像を、歩行者の概ね前後方向（進行方向およびその逆方向）に位置する登録地点に対応するものに限定してもよい。

【0101】

次に、プロセッサ１８が、画像照合処理として、自装置のデータベースから抽出した照合候補画像と、カメラ１１から出力されるリアルタイムの足元カメラ画像とを照合する（ＳＴ１３６）。

【0102】

なお、プロセッサ１８は、ステップＳＴ１３５において、歩行者の過去位置（例えば、前回の仮測位によって得られた歩行者の位置）、移動速度、及び進行方向に基づき次に歩行者が到達する登録地点（予測地点）を予測し、その予測結果に基づいて照合候補画像を抽出してもよい。これにより、プロセッサ１８は、ステップＳＴ１３６において、歩行者がその予測地点に到達したタイミングで、その抽出された照合候補画像と、カメラ１１から出力されるリアルタイムの足元カメラ画像とを照合（先読み画像照合）することができる。

【0103】

この画像照合処理で照合が成功する、すなわち、自装置のデータベースから抽出した照合候補画像と、リアルタイムの足元カメラ画像とが一致する場合には（ＳＴ１３７でＹｅｓ）、プロセッサ１８が、位置情報取得処理として、照合が成功した登録地点の路面カメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する（ＳＴ１３８）。歩行者端末１は、上記ステップＳＴ１３１～ＳＴ１３８を繰り返し実行することができる。

【0104】

なお、本実施形態では、路側機３が、登録地点の路面カメラ画像を歩行者端末１に提供して、歩行者端末１において画像照合処理が行われるものとしたが、路側機３が、登録地点の路面カメラ画像から抽出された特徴情報（特徴点の情報）を歩行者端末１に提供するものとしてもよい。この場合、歩行者端末１では、画像照合処理において、路側機３から取得した登録地点の特徴情報と、リアルタイムの足元カメラ画像から抽出された特徴情報との照合が行われる。また、登録地点の路面カメラ画像から特徴のある部分の画像を切り出して、その特徴のある部分の画像を用いて画像照合処理が行われるものとしてもよい。このようにすると、路側機３から歩行者端末１に配信する画像位置ＤＢの路面登録情報の容量を削減して、路側機３と歩行者端末１との間の無線通信の負荷を軽減することができる。

【0105】

また、路側機３と歩行者端末１の通信手段を全てセルラー通信として、路側機３の機能をクラウド上に配置し、より広い範囲の画像位置ＤＢ管理をするようにしてもよい。

【0106】

このように、歩行者端末１は、路面カメラ画像の中から仮測位の結果に基づき抽出した照合候補画像と、足元カメラ画像とを照合し、その照合が成功した照合候補画像に対応付けられた登録地点の位置情報を歩行者の現在地の位置情報として取得するため、歩行者が通行する路面を撮影したカメラ画像（足元カメラ画像および路面カメラ画像）を用いて歩行者の測位を行う場合に、プロセッサ１８の処理負荷を軽減できる。

【0107】

（第２実施形態）
次に、第２実施形態に係る交通安全支援システムについて説明する。図１１は、第２実施形態に係る歩行者端末１の概略構成を示すブロック図である。図１２は、第２実施形態に係る歩行者端末１の動作手順を示すフロー図である。なお、第２実施形態に関し、以下で特に言及しない事項については第１実施形態と同様である。また、第２実施形態では、第１実施形態と同様の構成要素について同一の符号を付すことにより、詳細な説明を省略する。

【0108】

第２実施形態では、図１１に示すように、プロセッサ１８が、第１実施形態における各種の処理に加え、相対測位処理を行う。相対測位処理では、プロセッサ１８は、加速度センサ１２やジャイロセンサ１３を用いた歩行者自律航法（ＰＤＲ）に基づき、歩行者の基準位置（ここでは、位置情報取得処理によって取得された最新の歩行者の現在地の位置）からの移動量を順次算出し、それらの移動量を積算することにより、新たな歩行者の現在地の位置情報を取得する。また、相対測位処理では、プロセッサ１８は、公知のVisual SLAM（Simultaneous Localization and Mapping）技術に基づき、カメラ１１（前方カメラ１１Ｂ）を利用して自己位置推定及び環境地図作成を実行し、歩行者の基準位置からの移動量を順次算出することもできる。

【0109】

また、第２実施形態では、図１２に示すように、プロセッサ１８は、図８に示したステップＳＴ１３１～ＳＴ１３８とそれぞれ同様のステップＳＴ４３１～ＳＴ４３８（以下、絶対位置に基づく測位という。）を実行する。この絶対位置に基づく測位では、仮測位（絶対位置の測位）を繰り返し行うことにより歩行者の現在地の位置情報を取得するため、プロセッサ１８の処理負荷が比較的高い。

【0110】

そこで、第２実施形態では、更にプロセッサ１８は、測位誤差が所定の範囲内である限りにおいて絶対位置に基づく測位を中断し、その間に比較的処理負荷の小さい相対位置に基づく測位を行うことにより、歩行者の現在地の位置情報を取得する。

【0111】

相対位置に基づく測位では、まず、プロセッサ１８は、相対測位処理によって歩行者の基準位置からの歩行者の移動量と向きを算出することにより、その移動量と向きの算出結果に基づき新たな歩行者の現在地の位置情報を取得する（ＳＴ４３９）。ここで、歩行者の基準位置としては、絶対位置に基づく測位から相対位置に基づく測位に移行した直後には、ステップＳＴ４３８で取得される歩行者の現在地の位置が用いられ、その後は、前回の相対位置に基づく測位によって算出された新たな位置が用いられる。

【0112】

次に、プロセッサ１８が、ステップＳＴ４３６の照合候補抽出処理と同様に、ステップＳＴ４３９において取得した新たな位置に基づき、リアルタイムの足元カメラ画像の照合対象となる照合候補画像を抽出する（ＳＴ４４０）。このように、プロセッサ１８は、絶対位置による仮測位を中断する間に、歩行者の移動量と向きを順次算出し、その移動量と向きの算出結果に基づき仮測位を実施し、メモリに記憶された複数の路面カメラ画像の一部を照合候補画像として抽出することができる。

【0113】

次に、プロセッサ１８が、画像照合処理として、自装置のデータベースから抽出した照合候補画像と、カメラ１１から出力される最新の足元カメラ画像とを照合する（ＳＴ４４１）。

【0114】

この画像照合処理で照合が成功すると（ＳＴ４４２でＹｅｓ）、プロセッサ１８が、位置情報取得処理として、照合が成功した登録地点の路面カメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する（ＳＴ４４３）。

【0115】

その後、プロセッサ１８は、相対位置による測定誤差が許容範囲内にあるか否かを判定し、許容範囲内にある場合（ＳＴ４４４でＹｅｓ）、ステップＳＴ４３９に戻ることにより相対位置に基づく測位を継続する。一方、プロセッサ１８は、相対位置による測定誤差が許容範囲を超えた場合（ＳＴ４４４でＮｏ）、ステップＳＴ４３１に戻ることにより、相対位置に基づく測位を終了し、再び絶対位置に基づく測位を実行する。

【0116】

（第３実施形態）
次に、第３実施形態に係る交通安全支援システムについて説明する。図１３は、第３実施形態に係る歩行者端末１の概略構成を示すブロック図である。図１４は、第３実施形態に係る歩行者端末１の動作手順を示すフロー図である。なお、第３実施形態に関し、以下で特に言及しない事項については第１または第２実施形態と同様である。また、第３実施形態では、第１または第２実施形態と同様の構成要素について同一の符号を付すことにより、詳細な説明を省略する。

【0117】

第３実施形態では、図１３に示すように、プロセッサ１８が、第１実施形態における各種の処理に加え、遮蔽検知処理を行う。遮蔽検知処理では、プロセッサ１８が、前方カメラ１１Ｂの撮影領域における遮蔽が発生したか否かを判定する。これにより、歩行者端末１では、前方カメラ１１Ｂの撮影領域において遮蔽が発生した場合に、不適切な前方カメラ画像が使用されることを回避し、歩行者の現在地の位置情報を安定的に取得することができる。

【0118】

また、第３実施形態では、図１４に示すように、プロセッサ１８は、図８に示したステップＳＴ１３１と同様に、歩行者の位置情報を取得する（ＳＴ５３１）。続いて、プロセッサ１８は、遮蔽検知処理により前方カメラ１１Ｂの遮蔽の有無を検知し、遮蔽が生じている場合（ＳＴ５３２でＹｅｓ）、前回のステップＳＴ５３１の処理において正常に取得された歩行者の位置情報を、今回の歩行者の位置情報（すなわち、最新の仮測位の結果）として取得する（ＳＴ５３３）。これにより、歩行者端末１では、前方カメラ１１Ｂの撮影領域において遮蔽が発生した場合に、不適切な前方カメラ画像が使用されることを回避し、歩行者の現在地の位置情報を安定的に取得することができる。

【0119】

ステップＳＴ５３２において、プロセッサ１８は、例えば、ステップＳＴ５３１における歩行者の位置情報の取得が失敗した場合またはその位置情報に異常がある場合に、前方カメラ１１Ｂの遮蔽が生じていると判定することができる。あるいは、プロセッサ１８は、前方カメラ画像において公知の技術に基づき遮蔽物（例えば、Area LearningやVPSなどの実行を阻害し得る物体）を検出した場合に、前方カメラ１１Ｂの遮蔽が生じていると判定することができる。

【0120】

その後、プロセッサ１８は、図８に示したステップＳＴ１３２～ＳＴ１３８とそれぞれ同様のステップＳＴ５３４～ＳＴ５４０を実行する。

【0121】

カメラ１１として、１つの全天球カメラ（３６０度カメラ）が用いられる場合、ステップＳＴ５３１では、全天球カメラの撮影によって得られるカメラ画像における一部の画像領域が前方カメラ画として用いられる。また、ステップＳＴ５３４では、全天球カメラの撮影によって得られるカメラ画像における一部の画像領域が足元カメラ画像として用いられる。

【0122】

また、歩行者端末１は、ステップＳＴ５３２において遮蔽が生じている場合（ＳＴ５３２でＹｅｓ）、ステップＳＴ５３１に戻り、当該遮蔽物の影響を受けない歩行者の前方以外の方向を全天球カメラによって撮影したカメラ画像（または一部の画像領域）を取得し、その前方以外の方向のカメラ画像を前方カメラ画像として用いることもできる。その場合、ステップＳＴ５３３は省略することができる。上述のような全天球カメラは、本開示における他の実施形態や変形例にも同様に適用することができる。

【0123】

（第３実施形態の第１変形例）
次に、第３実施形態の第１変形例に係る交通安全支援システムについて説明する。図１５は、第３実施形態の第１変形例に係る歩行者端末１の動作手順を示すフロー図である。なお、第１変形例に関し、以下で特に言及しない事項については第３実施形態と同様である。また、第１変形例では、第３実施形態と同様の構成要素について同一の符号を付すことにより、詳細な説明を省略する。

【0124】

第１変形例では、図１５に示すように、プロセッサ１８が、図１４に示したステップＳＴ５３１およびＳＴ５３２と同様に、プロセッサ１８が、歩行者の位置情報を取得し、前方カメラの遮蔽の有無を検知する（ＳＴ６３１、ＳＴ６３２）。プロセッサ１８は、前方カメラの遮蔽を検知すると（ＳＴ６３２でＹｅｓ）、その遮蔽の継続時間が予め設定した閾値以上であるか否かを判定する（ＳＴ６３３）。

【0125】

そこで、プロセッサ１８は、遮蔽の継続時間が予め設定した閾値以下の場合は（ＳＴ６３３でＮｏ）、図１４のステップＳＴ５３３と同様に、前回のステップＳＴ６３１の処理において正常に取得された歩行者の位置情報を、今回の歩行者の位置情報として取得する（ＳＴ６３４）。一方、プロセッサ１８は、遮蔽の継続時間が閾値以上となると（ＳＴ６３３でＹｅｓ）、図１２のステップＳＴ４３９と同様に、相対測位処理によって歩行者の基準位置からの歩行者の移動量を算出することにより、新たな歩行者の現在地の位置情報を取得する（ＳＴ６３５）。ここで、歩行者の基準位置としては、ステップＳＴ６３５における相対測位を最初に実行する際には、前回のステップＳＴ６３４で取得された歩行者の位置が用いられ、その後は、前回の相対測位によって算出された新たな位置が用いられる。

【0126】

続いて、プロセッサ１８は、図１４に示したステップＳＴ５３４～ＳＴ５４０とそれぞれ同様のステップＳＴ６３６～ＳＴ６４２を実行する。これにより、前方カメラ１１Ｂの撮影領域に発生した遮蔽の継続時間が大きくなった場合には、歩行者の移動量に基づき現在地の位置情報を適切に取得することができる。なお、プロセッサ１８は、ステップＳＴ６３９の照合候補抽出処理において、遮蔽の継続時間が予め設定した閾値以上であるか否かの判定（ＳＴ６３３）の結果に応じて、ステップＳＴ６３４またはＳＴ６３５で取得した位置のいずれかを用いることができる。

【0127】

（第３実施形態の第２変形例）
次に、第３実施形態の第２変形例に係る交通安全支援システムについて説明する。図１６は、第３実施形態の第２変形例に係る歩行者端末１の動作手順を示すフロー図である。なお、第２変形例に関し、以下で特に言及しない事項については第３実施形態と同様である。また第２変形例では、第３実施形態と同様の構成要素について同一の符号を付すことにより、詳細な説明を省略する。

【0128】

第２変形例では、図１６に示すように、プロセッサ１８は、図１４に示したステップＳＴ５３１およびＳＴ５３２と同様に、歩行者の位置情報を取得し、前方カメラの遮蔽の有無を検知する（ＳＴ７３１、ＳＴ７３２）。プロセッサ１８（ＩＴＳ通信部１５）は、前方カメラの遮蔽を検知すると（ＳＴ７３２でＹｅｓ）、その歩行者情報（歩行者ＩＤ及び位置情報など）を含むＩＴＳ通信のメッセージを歩車間通信および歩路間通信によってそれぞれ車両および路側機に送信する（ＳＴ７３３）。これにより、歩行者の前方が遮蔽されている状況を車載装置に対して通知できるため、歩行者および車両の安全性が高まる。

【0129】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0130】

本開示に係る歩行者装置およびその測位方法は、歩行者が通行する路面を撮影したカメラ画像を用いて歩行者の測位を行う場合に、処理負荷を軽減することができる効果を有し、歩行者によって所持され、その歩行者の位置情報を取得するための測位を行う歩行者装置およびその測位方法などとして有用である。

【符号の説明】

【0131】

１ 歩行者端末（歩行者装置）
２ 車載端末（車載装置）
３ 路側機
１１ カメラ
１１Ａ 足元カメラ
１１Ｂ 前方カメラ
１２ 加速度センサ
１３ ジャイロセンサ
１４ 衛星測位部
１５ ＩＴＳ通信部
１６ 無線通信部
１７ メモリ
１８ プロセッサ
３１ ＩＴＳ通信部
３２ 無線通信部
３３ メモリ
３４ プロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】