特開 2023-58334 歩行者装置、移動体装置、測位システム、および測位方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023058334

(43)【公開日】2023-04-25

(54)【発明の名称】歩行者装置、移動体装置、測位システム、および測位方法

(51)【国際特許分類】

   G01C 21/26 20060101AFI20230418BHJP

【ＦＩ】

G01C21/26 P

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2021168298

(22)【出願日】2021-10-13

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】上野 剛

(72)【発明者】

【氏名】村松 慎太郎

(72)【発明者】

【氏名】沈 陽平

【テーマコード（参考）】

2F129

【Ｆターム（参考）】

2F129AA02

2F129BB02

2F129BB03

2F129BB15

2F129BB21

2F129BB22

2F129BB26

2F129FF02

2F129HH15

(57)【要約】

【課題】ビジュアル測位の処理時間を短縮するために、ビジュアル測位における照合処理の効率化を図る。
【解決手段】歩行者端末１が、歩行者の周囲を撮影するカメラ１２と、歩行者の状態を検出する状態センサ１３と、歩行者の周辺環境に関する周辺環境ＤＢを記憶するメモリ１７と、カメラの撮影画像と周辺環境ＤＢとを照合して歩行者の現在位置を推定するビジュアル測位に関する処理を行うプロセッサ１８とを備え、プロセッサは、状態センサの検出結果に基づいて歩行者の注視方向を測定し、この注視方向を、照合が成功する可能性が高い最適照合方向として、その注視方向に対応する候補画像を照合対象として周辺環境ＤＢから抽出し、カメラの撮影画像と候補画像とを照合し、照合が成功した候補画像に対応付けられた位置情報を、歩行者の現在の位置情報として取得する。
【選択図】図４

【特許請求の範囲】

【請求項1】

歩行者の周囲の物体を検出する外界センサと、
歩行者の周辺環境に関する周辺環境情報を記憶するメモリと、
前記外界センサの検出画像と前記周辺環境情報とを照合して歩行者の現在位置を推定するビジュアル測位に関する処理を行うプロセッサと、を備え、
前記プロセッサは、
照合が成功する可能性が高い最適照合方向を推測し、
前記ビジュアル測位において、
前記最適照合方向に対応する候補情報を照合対象として前記周辺環境情報から抽出し、
前記外界センサの検出画像と前記候補情報とを照合し、
照合が成功した前記候補情報に対応付けられた位置情報を、歩行者の現在の位置情報として取得することを特徴とする歩行者装置。

【請求項2】

歩行者の状態を検出する状態センサを備え、
前記プロセッサは、
前記状態センサの検出結果に基づいて、歩行者の注視方向を測定し、
前記最適照合方向としての前記注視方向に対応する前記候補情報を照合対象として前記周辺環境情報から抽出することを特徴とする請求項１に記載の歩行者装置。

【請求項3】

歩行者の身体に装着されるウェアラブルデバイスで構成され、
前記状態センサは、歩行者の頭部方向および視線方向の少なくともいずれかを検出し、
前記プロセッサは、
前記頭部方向および前記視線方向の少なくともいずれかに基づいて、前記注視方向を測定することを特徴とする請求項２に記載の歩行者装置。

【請求項4】

前記プロセッサは、
前記注視方向に位置する特徴点を含む前記候補情報を照合対象として前記周辺環境情報から抽出することを特徴とする請求項２に記載の歩行者装置。

【請求項5】

前記外界センサは、歩行者の周囲を撮影するカメラであり、
前記プロセッサは、
前記ビジュアル測位において、
前記カメラにより歩行者の周囲を撮影した撮影画像と前記候補情報とを照合することを特徴とする請求項１に記載の歩行者装置。

【請求項6】

前記外界センサは、歩行者の足下を撮影するカメラであり、
前記プロセッサは、
前記カメラにより歩行者の足下を撮影した撮影画像と前記候補情報とを照合することを特徴とする請求項１に記載の歩行者装置。

【請求項7】

前記メモリは、
地図上の指標となる特徴物の位置情報を含む特徴物情報を記憶し、
前記プロセッサは、
標準測位により取得した歩行者の位置情報と、前記特徴物情報とに基づいて、歩行者の周辺に存在する特徴物の中から注目特徴物を選択して、歩行者を基準として前記注目特徴物が存在する方向を取得し、
前記ビジュアル測位において、
前記最適照合方向としての前記注目特徴物が存在する方向に基づいて、前記注目特徴物を含む前記候補情報を前記周辺環境情報から抽出することを特徴とする請求項１に記載の歩行者装置。

【請求項8】

前記プロセッサは、
前記注目特徴物が存在する方向に基づいて、
前記注目特徴物が前記外界センサの検出範囲に含まれるか否かを判定し、
前記注目特徴物が前記外界センサの検出範囲に含まれない場合には、
前記注目特徴物が前記外界センサの検出範囲に含まれるように、前記外界センサの検出方向を制御することを特徴とする請求項６に記載の歩行者装置。

【請求項9】

前記プロセッサは、
前記注目特徴物が存在する方向に基づいて、
前記注目特徴物が前記外界センサの検出範囲に含まれるか否かを判定し、
前記注目特徴物が前記外界センサの検出範囲に含まれない場合には、
前記注目特徴物が前記外界センサの検出範囲に含まれるように、前記外界センサの検出方向を変化させる行動を歩行者に促す誘導制御を行うことを特徴とする請求項６に記載の歩行者装置。

【請求項10】

前記特徴物情報は、
前記特徴物として、道路沿いに設置された灯火装置に関する情報を含むことを特徴とする請求項６に記載の歩行者装置。

【請求項11】

移動体の周囲の物体を検出する外界センサと、
移動体の周辺環境に関する周辺環境情報を記憶するメモリと、
前記外界センサの検出画像と前記周辺環境情報とを照合して移動体の現在位置を推定するビジュアル測位に関する処理を行うプロセッサと、を備え、
前記プロセッサは、
照合が成功する可能性が高い最適照合方向を推測し、
前記ビジュアル測位において、
前記最適照合方向に対応する候補情報を照合対象として前記周辺環境情報から抽出し、
前記外界センサの検出画像と前記候補情報とを照合し、
照合が成功した前記候補情報に対応付けられた位置情報を、移動体の現在の位置情報として取得することを特徴とする移動体装置。

【請求項12】

移動体装置において移動体の位置情報を取得する処理を実行する１つ以上のコンピュータで構成される測位システムであって、
移動体装置に設けられ、移動体の周囲の物体を検出する外界センサと、
前記コンピュータは、
移動体の周辺環境に関する周辺環境情報を記憶するメモリと、
前記外界センサの検出画像と前記周辺環境情報とを照合して移動体の現在位置を推定するビジュアル測位に関する処理を行うプロセッサと、を備え、
前記プロセッサは、
照合が成功する可能性が高い最適照合方向を推測し、
前記ビジュアル測位において、
前記最適照合方向に対応する候補情報を照合対象として前記周辺環境情報から抽出し、
前記外界センサの検出画像と前記候補情報とを照合し、
照合が成功した前記候補情報に対応付けられた位置情報を、移動体の現在の位置情報として取得することを特徴とする測位システム。

【請求項13】

移動体装置において移動体の位置情報を取得する処理を１つ以上のコンピュータで実行する測位方法であって、
前記コンピュータは、
移動体の周囲の物体を検出する外界センサの検出画像と、移動体の周辺環境に関する周辺環境情報とを照合して、移動体の現在位置を推定するビジュアル測位に関する処理を行い、
照合が成功する可能性が高い最適照合方向を推測し、
前記ビジュアル測位において、
前記最適照合方向に対応する候補情報を照合対象として前記周辺環境情報から抽出し、
前記外界センサの検出画像と前記候補情報とを照合し、
照合が成功した前記候補情報に対応付けられた位置情報を、移動体の現在の位置情報として取得することを特徴とする測位方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、歩行者に保持されて歩行者の現在位置を測定する測位を行う歩行者装置、歩行者や車両などの移動体に保持されて移動体の現在位置を測定する測位を行う移動体装置、測位システム、および測位方法に関するものである。

【背景技術】

【0002】

ＩＴＳ（Intelligent Transport System：高度道路交通システム）を利用した安全運転支援無線システムでは、車両の位置情報を、車載端末同士で交換することで、車両同士の事故を回避し、また、車両や歩行者の位置情報を、車載端末と歩行者端末との間で交換することで、車両と歩行者との事故を回避する。

【0003】

車載端末や歩行者端末では、主に衛星測位により車両や歩行者の位置情報を取得するが、ＰＤＲ（歩行者自律航法：Pedestrian Dead Reckoning）を利用した測位など、様々な測位方法を採用することができる。このとき、交通事故を防止する上で、高精度な測位技術を採用することが望まれる。

【0004】

このような高精度な測位技術として、ビジュアル測位、例えばＶＰＳ（Visual Positioning Service）と呼称される技術が知られている（特許文献１参照）。この技術では、測位装置が、カメラからリアルタイムに出力される撮影画像と、データベースに登録された候補画像とを照合して、両者が一致すると、候補画像に対応付けられた位置情報を、移動体の現在地の位置情報として取得する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０１２／０８６８２１号

【発明の概要】

【発明が解決しようとする課題】

【0006】

衛星測位では、歩行者が建築物の影に入ることによる衛星電波の遮蔽やマルチパスの影響により測位精度が低下する。一方、ビジュアル測位では、高い精度を確保することができるが、照合処理の負荷が大きいため、測位結果が得られるまでに時間がかかるという問題があった。このため、ビジュアル測位の処理時間を短縮する技術が望まれる。

【0007】

そこで、本発明は、ビジュアル測位の処理時間を短縮するために、ビジュアル測位における照合処理の効率化を図ることができる歩行者装置、移動体装置、測位システム、および測位方法を提供することを主な目的とする。

【課題を解決するための手段】

【0008】

本発明の歩行者装置は、歩行者の周囲の物体を検出する外界センサと、歩行者の周辺環境に関する周辺環境情報を記憶するメモリと、前記外界センサの検出画像と前記周辺環境情報とを照合して歩行者の現在位置を推定するビジュアル測位に関する処理を行うプロセッサと、を備え、前記プロセッサは、照合が成功する可能性が高い最適照合方向を推測し、前記ビジュアル測位において、前記最適照合方向に対応する候補情報を照合対象として前記周辺環境情報から抽出し、前記外界センサの検出画像と前記候補情報とを照合し、照合が成功した前記候補情報に対応付けられた位置情報を、歩行者の現在の位置情報として取得する構成とする。

【0009】

また、本発明の移動体装置は、移動体の周囲の物体を検出する外界センサと、移動体の周辺環境に関する周辺環境情報を記憶するメモリと、前記外界センサの検出画像と前記周辺環境情報とを照合して移動体の現在位置を推定するビジュアル測位に関する処理を行うプロセッサと、を備え、前記プロセッサは、照合が成功する可能性が高い最適照合方向を推測し、前記ビジュアル測位において、前記最適照合方向に対応する候補情報を照合対象として前記周辺環境情報から抽出し、前記外界センサの検出画像と前記候補情報とを照合し、照合が成功した前記候補情報に対応付けられた位置情報を、移動体の現在の位置情報として取得する構成とする。

【0010】

また、本発明の測位システムは、移動体装置において移動体の位置情報を取得する処理を実行する１つ以上のコンピュータで構成される測位システムであって、移動体装置に設けられ、移動体の周囲の物体を検出する外界センサと、前記コンピュータは、移動体の周辺環境に関する周辺環境情報を記憶するメモリと、前記外界センサの検出画像と前記周辺環境情報とを照合して移動体の現在位置を推定するビジュアル測位に関する処理を行うプロセッサと、を備え、前記プロセッサは、照合が成功する可能性が高い最適照合方向を推測し、前記ビジュアル測位において、前記最適照合方向に対応する候補情報を照合対象として前記周辺環境情報から抽出し、前記外界センサの検出画像と前記候補情報とを照合し、照合が成功した前記候補情報に対応付けられた位置情報を、移動体の現在の位置情報として取得する構成とする。

【0011】

また、本発明の測位方法は、移動体装置において移動体の位置情報を取得する処理を１つ以上のコンピュータで実行する測位方法であって、前記コンピュータは、移動体の周囲の物体を検出する外界センサの検出画像と、移動体の周辺環境に関する周辺環境情報とを照合して、移動体の現在位置を推定するビジュアル測位に関する処理を行い、照合が成功する可能性が高い最適照合方向を推測し、前記ビジュアル測位において、前記最適照合方向に対応する候補情報を照合対象として前記周辺環境情報から抽出し、前記外界センサの検出画像と前記候補情報とを照合し、照合が成功した前記候補情報に対応付けられた位置情報を、移動体の現在の位置情報として取得する構成とする。

【発明の効果】

【0012】

本発明によれば、ビジュアル測位の処理時間を短縮するために、ビジュアル測位における照合処理の効率化を図ることができる。

【図面の簡単な説明】

【0013】

【図1】第１実施形態に係る交通安全支援システムの全体構成図

【図2】第１実施形態に係る歩行者端末で行われるビジュアル測位の概要を示す説明図

【図3】第１実施形態に係る歩行者端末で行われる照合対象抽出処理の概要を示す説明図

【図4】第１実施形態に係る歩行者端末の概略構成を示すブロック図

【図5】第１実施形態に係る路側機の概略構成を示すブロック図

【図6】第１実施形態に係る歩行者端末の動作手順を示すフロー図

【図7】第１実施形態に係る歩行者端末の動作手順を示すフロー図

【図8】第１実施形態に係る車載端末の動作手順を示すフロー図

【図9】第１実施形態に係る路側機の動作手順を示すフロー図

【図10】第２実施形態に係る歩行者端末で行われる足下画像照合処理の概要を示す説明図

【図11】第２実施形態に係る歩行者端末の概略構成を示すブロック図

【図12】第３実施形態に係る歩行者端末で行われる制御の概要を示す説明図

【図13】第３実施形態に係る歩行者端末の概略構成を示すブロック図

【図14】第３実施形態に係る路側機の概略構成を示すブロック図

【図15】第３実施形態に係る歩行者端末の動作手順を示すフロー図

【図16】第４実施形態に係る歩行者端末で行われる制御の概要を示す説明図

【図17】第４実施形態に係る歩行者端末の概略構成を示すブロック図

【図18】第４実施形態に係る歩行者端末の動作手順を示すフロー図

【発明を実施するための形態】

【0014】

前記課題を解決するためになされた第１の発明は、歩行者の周囲の物体を検出する外界センサと、歩行者の周辺環境に関する周辺環境情報を記憶するメモリと、前記外界センサの検出画像と前記周辺環境情報とを照合して歩行者の現在位置を推定するビジュアル測位に関する処理を行うプロセッサと、を備え、前記プロセッサは、照合が成功する可能性が高い最適照合方向を推測し、前記ビジュアル測位において、前記最適照合方向に対応する候補情報を照合対象として前記周辺環境情報から抽出し、前記外界センサの検出画像と前記候補情報とを照合し、照合が成功した前記候補情報に対応付けられた位置情報を、歩行者の現在の位置情報として取得する構成とする。

【0015】

これによると、照合が成功する可能性が高い方向、すなわち、最適な候補情報が存在する方向を最適照合方向として推測し、その最適照合方向に対応する候補情報を照合対象として周辺環境情報から抽出する。これにより、ビジュアル測位における照合処理の効率化を図ることができる。

【0016】

また、第２の発明は、歩行者の状態を検出する状態センサを備え、前記プロセッサは、前記状態センサの検出結果に基づいて、歩行者の注視方向を測定し、前記最適照合方向としての前記注視方向に対応する前記候補情報を照合対象として前記周辺環境情報から抽出する構成とする。

【0017】

これによると、歩行者の注視方向に対応する候補情報が、外界センサの検出画像と照合される。これにより、ビジュアル測位における照合処理の効率化を図ることができる。

【0018】

また、第３の発明は、歩行者の身体に装着されるウェアラブルデバイスで構成され、前記状態センサは、歩行者の頭部方向および視線方向の少なくともいずれかを検出し、前記プロセッサは、前記頭部方向および前記視線方向の少なくともいずれかに基づいて、前記注視方向を測定する構成とする。

【0019】

これによると、歩行者の注視方向を精度よく測定することができる。

【0020】

また、第４の発明は、前記プロセッサは、前記注視方向に位置する特徴点を含む前記候補情報を照合対象として前記周辺環境情報から抽出する構成とする。

【0021】

これによると、歩行者の注視方向に位置する特徴点を含む候補情報が、外界センサの検出画像と照合される。これにより、ビジュアル測位における照合処理の効率化を図ることができる。

【0022】

また、第５の発明は、前記外界センサは、歩行者の周囲を撮影するカメラであり、前記プロセッサは、前記ビジュアル測位において、前記カメラにより歩行者の周囲を撮影した撮影画像と前記候補情報とを照合する構成とする。

【0023】

これによると、広範囲で効率の良いビジュアル測位を行うことができる。

【0024】

また、第６の発明は、前記外界センサは、歩行者の足下を撮影するカメラであり、前記プロセッサは、前記カメラにより歩行者の足下を撮影した撮影画像と前記候補情報とを照合する構成とする。

【0025】

これによると、精度の高い測位結果を取得することができる。

【0026】

また、第７の発明は、前記メモリは、地図上の指標となる特徴物の位置情報を含む特徴物情報を記憶し、前記プロセッサは、標準測位により取得した歩行者の位置情報と、前記特徴物情報とに基づいて、歩行者の周辺に存在する特徴物の中から注目特徴物を選択して、歩行者を基準として前記注目特徴物が存在する方向を取得し、前記ビジュアル測位において、前記最適照合方向としての前記注目特徴物が存在する方向に基づいて、前記注目特徴物を含む前記候補情報を前記周辺環境情報から抽出する構成とする。なお、標準測位は、到来電波に基づいて位置情報を取得する電波測位、例えば、測位衛星からの電波に基づいて位置情報を取得する衛星測位などである。

【0027】

これによると、注目特徴物を含む候補情報が、外界センサの検出画像と照合される。これにより、ビジュアル測位における照合処理の効率化を図ることができる。

【0028】

また、第８の発明は、前記プロセッサは、前記注目特徴物が存在する方向に基づいて、前記注目特徴物が前記外界センサの検出範囲に含まれるか否かを判定し、前記注目特徴物が前記外界センサの検出範囲に含まれない場合には、前記注目特徴物が前記外界センサの検出範囲に含まれるように、前記外界センサの検出方向を制御する構成とする。

【0029】

これによると、注目特徴物を含む外界センサの検出画像を取得することができる。これにより、ビジュアル測位における照合処理の効率化を図ることができる。

【0030】

また、第９の発明は、前記プロセッサは、前記注目特徴物が存在する方向に基づいて、前記注目特徴物が前記外界センサの検出範囲に含まれるか否かを判定し、前記注目特徴物が前記外界センサの検出範囲に含まれない場合には、前記注目特徴物が前記外界センサの検出範囲に含まれるように、前記外界センサの検出方向を変化させる行動を歩行者に促す誘導制御を行う構成とする。

【0031】

これによると、注目特徴物を含む外界センサの検出画像を取得することができる。これにより、ビジュアル測位における照合処理の効率化を図ることができる。なお、誘導制御は、例えば、誘導画面をディスプレイに表示する制御や、誘導音声をスピーカーから出力する制御である。

【0032】

また、第１０の発明は、前記特徴物情報は、前記特徴物として、道路沿いに設置された灯火装置に関する情報を含む構成とする。

【0033】

これによると、夜間においてもビジュアル測位における照合処理の効率化を図ることができる。

【0034】

また、第１１の発明は、移動体の周囲の物体を検出する外界センサと、移動体の周辺環境に関する周辺環境情報を記憶するメモリと、前記外界センサの検出画像と前記周辺環境情報とを照合して移動体の現在位置を推定するビジュアル測位に関する処理を行うプロセッサと、を備え、前記プロセッサは、照合が成功する可能性が高い最適照合方向を推測し、前記ビジュアル測位において、前記最適照合方向に対応する候補情報を照合対象として前記周辺環境情報から抽出し、前記外界センサの検出画像と前記候補情報とを照合し、照合が成功した前記候補情報に対応付けられた位置情報を、移動体の現在の位置情報として取得する構成とする。

【0035】

これによると、第１の発明と同様に、ビジュアル測位の処理時間を短縮するために、ビジュアル測位における照合処理の効率化を図ることができる。

【0036】

また、第１２の発明は、移動体装置において移動体の位置情報を取得する処理を実行する１つ以上のコンピュータで構成される測位システムであって、移動体装置に設けられ、移動体の周囲の物体を検出する外界センサと、前記コンピュータは、移動体の周辺環境に関する周辺環境情報を記憶するメモリと、前記外界センサの検出画像と前記周辺環境情報とを照合して移動体の現在位置を推定するビジュアル測位に関する処理を行うプロセッサと、を備え、前記プロセッサは、照合が成功する可能性が高い最適照合方向を推測し、前記ビジュアル測位において、前記最適照合方向に対応する候補情報を照合対象として前記周辺環境情報から抽出し、前記外界センサの検出画像と前記候補情報とを照合し、照合が成功した前記候補情報に対応付けられた位置情報を、移動体の現在の位置情報として取得する構成とする。

【0037】

これによると、第１の発明と同様に、ビジュアル測位の処理時間を短縮するために、ビジュアル測位における照合処理の効率化を図ることができる。

【0038】

また、第１３の発明は、移動体装置において移動体の位置情報を取得する処理を１つ以上のコンピュータで実行する測位方法であって、前記コンピュータは、移動体の周囲の物体を検出する外界センサの検出画像と、移動体の周辺環境に関する周辺環境情報とを照合して、移動体の現在位置を推定するビジュアル測位に関する処理を行い、照合が成功する可能性が高い最適照合方向を推測し、前記ビジュアル測位において、前記最適照合方向に対応する候補情報を照合対象として前記周辺環境情報から抽出し、前記外界センサの検出画像と前記候補情報とを照合し、照合が成功した前記候補情報に対応付けられた位置情報を、移動体の現在の位置情報として取得する構成とする。

【0039】

これによると、第１の発明と同様に、ビジュアル測位の処理時間を短縮するために、ビジュアル測位における照合処理の効率化を図ることができる。

【0040】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0041】

（第１実施形態）
図１は、第１実施形態に係る交通安全支援システムの全体構成図である。

【0042】

この交通安全支援システムは、歩行者及び車両の交通安全を支援するものであり、歩行者端末１（歩行者装置、移動体装置、コンピュータ）と、車載端末２（車載装置）と、路側機３（路側装置）と、を備えている。

【0043】

歩行者端末１、車載端末２、および路側機３の間ではＩＴＳ通信が行われる。このＩＴＳ通信は、ＩＴＳ（Intelligent Transport System：高度道路交通システム）を利用した安全運転支援無線システムで採用されている周波数帯（例えば７００ＭＨｚ帯や５．８ＧＨｚ帯）を利用した無線通信である。なお、本実施形態では、適宜に歩行者端末１と車載端末２との間でのＩＴＳ通信を歩車間通信と呼称し、歩行者端末１と路側機３との間でのＩＴＳ通信を路歩間通信と呼称し、車載端末２と路側機３との間でのＩＴＳ通信を路車間通信と呼称する。また、車載端末２同士の間でもＩＴＳ通信が行われ、このＩＴＳ通信は車車間通信と呼称する。

【0044】

歩行者端末１は、歩行者に所持される。この歩行者端末１では、ＩＴＳ通信（歩車間通信）により車載端末２との間で、位置情報などを含むメッセージを送受信して、歩行者と車両との衝突の危険性を判定し、衝突の危険性がある場合には、歩行者に対する注意喚起動作を行う。歩行者端末１は、歩行者の身体に装着されるウェアラブルデバイス、特に歩行者の頭部に装着されるウェアラブルデバイス、いわゆるヘッドマウントデバイスやスマートグラスと呼称される装置であり、ＡＲ（拡張現実：Augmented Reality）を実現する機能を備えている。なお、歩行者端末１としてのウェアラブルデバイスは、歩行者の頭部方向または視線方向が検出できるものであればよく、必ずしも歩行者の頭部に装着される必要はなく、どのような装着形態でも構わない。

【0045】

車載端末２は、車両に搭載される。この車載端末２では、ＩＴＳ通信（歩車間通信）により歩行者端末１との間で、位置情報などを含むメッセージを送受信して、歩行者と車両との衝突の危険性を判定し、衝突の危険性がある場合には、運転者に対する注意喚起動作を行う。なお、注意喚起動作は、例えばカーナビゲーション装置などを用いて行われるとよい。

【0046】

路側機３は、道路の交差点などに設置される。この路側機３では、ＩＴＳ通信（路歩間通信、路車間通信）により、歩行者端末１及び車載端末２に対して、交通情報などの各種の情報を配信する。また、路側機３は、ＩＴＳ通信（路車間通信、路歩間通信）により、自装置の周辺に位置する車両や歩行者の存在を、車載端末２や歩行者端末１に通知する。これにより、見通し外の交差点における衝突を防止することができる。

【0047】

ここで、歩行者端末１では、歩行者の現在地の位置情報を取得するために標準測位として衛星測位が常時実施される。衛星測位は、測位衛星からの電波に基づいて位置情報を取得する。なお、標準測位は、到来電波に基づいて位置情報を取得する電波測位、例えば地上の基地局からの電波に基づいて位置情報を取得する測位でもよい。また、標準測位は、ＰＤＲ（歩行者自律航法：Pedestrian Dead-Reckoning）による測位でもよい。このＰＤＲによる測位では、歩行者端末１が、ジャイロセンサや加速度センサなどの検出結果に基づいて、前回の位置からの歩行者の相対的な移動量を推定して、歩行者の現在位置を相対的に推定する。

【0048】

次に、第１実施形態に係る歩行者端末１で行われるビジュアル測位について説明する。図２は、歩行者端末１で行われるビジュアル測位の概要を示す説明図である。

【0049】

歩行者端末１は、歩行者の周囲を撮影するカメラ１２（図４参照）を備えている。歩行者端末１では、カメラ１２の撮影画像を用いて歩行者の現在地の位置情報を取得するビジュアル測位が行われる。ビジュアル測位では、カメラ１２からリアルタイムに出力される撮影画像（以下、適宜に「リアルタイムの撮影画像」と呼称する。）と、周辺環境ＤＢ（周辺環境データベース）に登録された候補画像とを照合して、照合が成功した候補画像に対応する位置情報を、歩行者の現在地の位置情報として取得する。

【0050】

周辺環境ＤＢには、歩行者の周辺環境に関する情報（周辺環境情報）が登録されている。具体的には、歩行者が通行する道路において、歩行者が前方を見る視線に対応する撮影方向で撮影された撮影画像が、その撮影地点の位置情報と対応付けて、周辺環境ＤＢに登録される。なお、撮影画像そのものでなく、撮影画像から抽出された特徴情報（特徴点の情報）が周辺環境ＤＢに登録されてもよい。

【0051】

ビジュアル測位では、周辺環境ＤＢに登録された撮影画像が候補画像として抽出され、その候補画像が、カメラ１２の撮影方向に対応する、すなわち、歩行者の現在地から歩行者が見る景色に対応するものである場合には、カメラ１２の撮影画像との照合が成功する。

【0052】

また、周辺環境ＤＢには、三次元地図情報（環境地図情報）が登録されてもよい。三次元地図情報は、歩行者から見える景色の中に存在する物体、具体的には、道路や、その周辺の建築物などの定着物に関する三次元の情報である。この三次元地図情報は、例えば、歩行者が通行する道路を含む対象空間を種々の方向から撮影した撮影画像などに基づいて生成される。

【0053】

この場合、照合対象として周辺環境ＤＢから抽出される情報は、特徴点の集合であり、この特徴点の集合が候補情報として、照合処理において、カメラ１２の撮影画像から抽出された特徴点と比較される。

【0054】

ここで、本実施形態では、主に周辺環境ＤＢから候補画像が抽出される構成ついて説明するが、この記載は、特徴点の集合としての候補情報が周辺環境ＤＢから抽出される構成に読み替えることができる。また、候補情報は、適宜に、候補画像と、特徴点の集合としての候補情報とを双方を表すものとして用いられる。

【0055】

なお、路側機３は、自装置の周辺の所定範囲に関する周辺環境ＤＢの登録情報を保持する。路側機３は、自装置に歩行者端末１に近づくと、自装置の周辺環境ＤＢの登録情報を歩行者端末１に配信する。

【0056】

また、本実施形態では、ビジュアル測位が歩行者端末１で行われるが、車載端末２でビジュアル測位が行われる構成でもよい。

【0057】

次に、第１実施形態に係る歩行者端末１で行われる照合対象抽出処理について説明する。図３は、歩行者端末１で行われる照合対象抽出処理の概要を示す説明図である。

【0058】

歩行者端末１では、ビジュアル測位が行われる。ビジュアル測位では、周辺環境ＤＢから候補画像が抽出されて、その候補画像とカメラ１２の撮影画像とが照合される。このとき、歩行者の現在位置の周囲に対応する候補画像が順に抽出される。このとき、まず歩行者の進行方向に基づいて候補画像が抽出される。具体的には、歩行者の進行方向の前方に位置する候補画像が抽出される。

【0059】

ここで、本実施形態では、歩行者端末１が、歩行者の頭部に装着されるウェアラブルデバイスで構成され、カメラ１２が歩行者の正面を向くように設けられている。このため、歩行者が真っ直ぐに前を見て歩行している場合には、歩行者の進行方向の前方に位置する候補画像が抽出されることで、カメラ１２の撮影画像の撮影範囲に対応する候補画像が得られるため、照合処理が速やかに完了する。

【0060】

一方、歩行者が進行方向を変更する場合には、その直前に、歩行者は、その変更後の進行方向に位置する物体を注視する。この場合、歩行者の進行方向と、歩行者の注視方向、すなわち、カメラ１２の撮影方向とがずれている。このため、歩行者の進行方向に基づいて候補画像が抽出されると、抽出された候補画像が、カメラ１２の撮影画像の撮影範囲に対応しないため、照合処理に手間取る。

【0061】

そこで、本実施形態では、歩行者端末１が、歩行者の状態を検出する状態センサ１３（図４参照）を備え、その状態センサ１３の検出結果に基づいて、歩行者の注視方向を測定し、注視方向に対応する候補情報を照合対象として周辺環境ＤＢから抽出する。具体的には、歩行者の注視方向に位置する特徴点を含む候補情報が照合対象として周辺環境ＤＢから抽出される。図３に示す例は、歩行者が次の交差点を左折する場合であり、歩行者が左斜め前方を注視する。このため、歩行者の進行方向の前方に位置する候補画像ではなく、歩行者の左斜め前方に位置する候補画像が周辺環境ＤＢから抽出される。

【0062】

また、本実施形態では、歩行者端末１が、歩行者の頭部に装着されるウェアラブルデバイスで構成され、状態センサ１３が、歩行者の頭部方向（顔の向き）と、歩行者の頭部を基準にした視線方向（視点）を検出し、頭部方向および視線方向に基づいて、歩行者の注視方向が測定される。なお、視線方向が測定されずに、頭部方向が注視方向とされてもよい。

【0063】

なお、歩行者の周囲に存在する特徴点をできるだけ多く認識することで測位精度が向上する。また、特徴的な物体がない場所では、適切な特徴点を十分に取得できないため、測位精度が低下するが、特徴的な物体がある地点では測位精度が向上する。一方、歩行者は、何らかの行動を起こす直前に進行方向とは異なる方向を注視する場合がある。また、歩行者は、不案内な場所では、周りを見回しながら歩行する。また、歩行者の周囲に特徴的な物体がある場合には、歩行者は、その特徴的な物体を注視する。このため、歩行者が進行方向を変更する場合に限らず、歩行者が周りを見回しながら歩行する状況では、注視方向に基づいて候補画像が抽出されることで、ビジュアル測位における照合処理の効率化を図ると共に測位精度を高めることができる。

【0064】

次に、第１実施形態に係る歩行者端末１の概略構成について説明する。図４は、歩行者端末１の概略構成を示すブロック図である。

【0065】

歩行者端末１は、衛星測位部１１と、カメラ１２（外界センサ）と、状態センサ１３と、ＡＲディスプレイ１４と、ＩＴＳ通信部１５と、無線通信部１６と、メモリ１７と、プロセッサ１８と、を備えている。

【0066】

衛星測位部１１は、ＧＰＳ（Global Positioning System）、ＱＺＳＳ（Quasi-Zenith Satellite System）などの衛星測位システムにより自装置の位置を測定して、自装置の位置情報（緯度経度）を取得する。

【0067】

カメラ１２は、歩行者の前方を撮影する。

【0068】

状態センサ１３は、歩行者の状態を検出する。本実施形態では、歩行者端末１が、状態センサ１３として、加速度センサ２１と、ジャイロセンサ２２（角速度センサ）と、地磁気センサ２３と、視線センサ２４とを備えている。加速度センサ２１は、歩行者の身体に発生する加速度を検出する。ジャイロセンサ２２は、歩行者の身体に発生する角速度を検出する。地磁気センサ２３は、地磁気方位を検出する。視線センサ２４（視線カメラ）は、歩行者の左右の眼球を撮影する。

【0069】

ＡＲディスプレイ１４は、歩行者の現実の視界に入る実空間上に仮想オブジェクトを重畳表示して、ＡＲ（拡張現実：Augmented Reality）を実現する。

【0070】

ＩＴＳ通信部１５は、ＩＴＳ通信（歩車間通信、路歩間通信）により、メッセージをブロードキャストで車載端末２や路側機３に送信し、また、車載端末２や路側機３から送信されるメッセージを受信する。

【0071】

無線通信部１６は、例えばＷｉＦｉ（登録商標）などの無線通信により、メッセージを路側機３に送信し、また、路側機３から送信されるメッセージを受信する。

【0072】

メモリ１７は、地図情報や、プロセッサ１８で実行されるプログラムなどを記憶する。また、メモリ１７は、周辺環境ＤＢの登録情報（候補画像及び位置情報）を記憶する。なお、本実施形態では、歩行者端末１が、交差点に近づいた際に、その交差点に設置された路側機３から、交差点の周辺エリアに関する周辺環境ＤＢの登録情報を取得する。また、周辺環境ＤＢには、候補画像そのものではなく、候補画像から抽出された特徴情報（複数の特徴点の情報）が登録されてもよい。

【0073】

プロセッサ１８は、メモリ１７に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ１８が、メッセージ制御処理Ｐ１と、衝突判定処理Ｐ２と、注意喚起制御処理Ｐ３と、状態情報取得処理Ｐ４と、ビジュアル測位処理Ｐ５とを行う。

【0074】

メッセージ制御処理Ｐ１では、プロセッサ１８が、車載端末２及び路側機３との間でのＩＴＳ通信のメッセージの送受信を制御する。また、プロセッサ１８が、路側機３との間での無線通信のメッセージの送受信を制御する。

【0075】

衝突判定処理Ｐ２では、プロセッサ１８が、車載端末２から取得した車両情報に含まれる車両の位置情報、及び衛星測位部１１で取得した歩行者の位置情報などに基づいて、歩行者に車両が衝突する危険性があるか否かを判定する。

【0076】

注意喚起制御処理Ｐ３では、プロセッサ１８が、衝突判定処理Ｐ２で衝突の危険性があると判定された場合に、歩行者に対する所定の注意喚起動作（例えば音声出力や振動など）を行うように制御する。

【0077】

状態情報取得処理Ｐ４では、プロセッサ１８が、状態センサ１３の検出結果に基づいて、歩行者の状態を表す状態情報を取得する。この状態情報取得処理Ｐ４では、速度測定処理Ｐ１１と、方向測定処理Ｐ１２と、視線測定処理Ｐ１３とが行われる。

【0078】

速度測定処理Ｐ１１では、プロセッサ１８が、加速度センサ２１の検出結果に基づいて、歩行者の移動速度を測定する。歩行者が歩行すると、歩行者の身体に加速度が発生し、この加速度の変化状況に基づいて、歩行者の歩行ピッチが求められる。また、歩行ピッチと歩幅から速度が算出される。なお、歩幅は、歩行者端末１に登録された歩行者の属性（大人、子供など）に基づいて設定されるようにしてもよい。

【0079】

方向測定処理Ｐ１２では、プロセッサ１８が、加速度センサ２１、ジャイロセンサ２２および地磁気センサ２３の検出結果に基づいて、歩行者端末１が装着された歩行者の頭部方向（顔の向き）および歩行者の進行方向を測定する。また、プロセッサ１８が、視線測定処理Ｐ１３で取得した歩行者の視線方向と、歩行者の頭部方向とに基づいて、歩行者の注視方向を測定する。

【0080】

視線測定処理Ｐ１３では、プロセッサ１８が、視線センサ２４の検出結果（撮影画像）に基づいて、歩行者の視線方向（視点）を測定する（視線センシング）。具体的には、歩行者の視点の位置情報、すなわち、歩行者の視界の座標系における視点の座標値を取得する。

【0081】

ビジュアル測位処理Ｐ５では、プロセッサ１８が、カメラ１２からリアルタイムに出力される撮影画像と、自装置の周辺環境ＤＢから抽出された候補画像とを照合して、歩行者の現在位置を推定する。このビジュアル測位処理Ｐ５では、照合対象抽出処理Ｐ１５と、画像照合処理Ｐ１６と、位置情報取得処理Ｐ１７とが行われる。

【0082】

照合対象抽出処理Ｐ１５では、プロセッサ１８が、衛星測位により取得した歩行者の位置情報と、状態情報取得処理Ｐ４で取得した歩行者の状態情報とに基づいて、自装置の周辺環境ＤＢから、照合対象となる候補画像（候補情報）を抽出する。本実施形態では、方向測定処理Ｐ１２で取得した歩行者の注視方向に対応する候補画像が周辺環境ＤＢから抽出される。具体的には、歩行者の注視方向に位置する特徴点を含む候補画像が周辺環境ＤＢから抽出される。

【0083】

画像照合処理Ｐ１６では、プロセッサ１８が、カメラ１２からリアルタイムに出力される撮影画像と、照合対象抽出処理Ｐ１５で抽出した候補画像とを照合する。このとき、プロセッサ１８が、撮影画像及び候補画像からそれぞれ特徴情報（複数の特徴点の情報）を抽出して、各々の特徴情報を比較することで、画像照合が行われる。

【0084】

位置情報取得処理Ｐ１７では、プロセッサ１８が、画像照合処理Ｐ１６で照合が成功した候補画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する。

【0085】

なお、車載端末２も、プロセッサおよびメモリ（図示せず）を搭載し、メモリに記憶されたプログラムを実行することで、メッセージ制御処理、衝突判定処理、および注意喚起制御処理などを行うことができる。

【0086】

ところで、本実施形態では、歩行者端末１が、歩行者の周囲の物体を検出する外界センサとしてカメラ１２を備えているが、外界センサはカメラ１２に限定されない。例えば、外界センサは、レーザー光を用いて物体を検出するＬＩＤＡＲ（Light Detection and Ranging）であってもよい。また、外界センサは、電波を用いて物体を検出するレーダーであってもよい。また、外界センサは、深度、すなわち、外界センサから物体までの距離（深度）を計測する機能（深度予測機能）を有するもの、例えばデプスカメラであってもよい。ビジュアル測位では、このような外界センサからリアルタイムに出力される検出画像と、周辺環境ＤＢに登録された候補画像とが照合される。なお、本実施形態における画像は、２次元情報だけでなく、例えばデプスカメラにより取得される距離画像のような３次元情報を含むものでもよい。また、画像照合処理Ｐ１０で行われる処理は、２次元情報同士の照合や、３次元情報同士の照合の他に、２次元情報と３次元情報との照合でもよい。

【0087】

また、本実施形態では、カメラ１２が、歩行者の前方を撮影する構成としたが、カメラ１２は、歩行者の周囲のいずれかの方向、例えば後方を撮影する構成や、歩行者の周囲の広範囲を撮影する構成でもよい。

【0088】

また、本実施形態では、歩行者端末１が、ウェアラブルデバイス、特に、歩行者の頭部に装着されるウェアラブルデバイスで構成されるが、歩行者端末１が、ウェアラブルデバイスと携帯端末（本体部）とで構成されてもよい。この場合、カメラ１２や状態センサ１３やＡＲディスプレイ１４などがウェアラブルデバイスに設けられ、プロセッサ１８やメモリ１７などが携帯端末に設けられるとよい。また、歩行者端末１が、ウェアラブルデバイスでなく、スマートフォンなどの携帯端末で構成されてもよい。

【0089】

また、歩行者端末１の機能がクラウドコンピュータに設けられてもよい。例えば、本実施形態では、歩行者端末１が、ビジュアル測位などの処理を行うが、この処理がクラウドコンピュータで行われてもよい。この場合、カメラ１２や状態センサ１３やＡＲディスプレイ１４などが歩行者端末１に設けられる。

【0090】

次に、路側機３の概略構成について説明する。図５は、路側機３の概略構成を示すブロック図である。

【0091】

路側機３は、ＩＴＳ通信部３１と、無線通信部３２と、メモリ３３と、プロセッサ３４と、を備えている。

【0092】

ＩＴＳ通信部３１は、ＩＴＳ通信（路歩間通信、路車間通信）により、メッセージをブロードキャストで歩行者端末１や車載端末２に送信し、また、歩行者端末１や車載端末２から送信されるメッセージを受信する。

【0093】

無線通信部３２は、例えばＷｉＦｉ（登録商標）などの無線通信により、メッセージを歩行者端末１に送信し、また、歩行者端末１から送信されるメッセージを受信する。

【0094】

メモリ３３は、プロセッサ３４で実行されるプログラムなどを記憶する。また、本実施形態では、メモリ３３が、周辺環境ＤＢの登録情報を記憶する。

【0095】

プロセッサ３４は、メモリ３３に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ３４が、メッセージ制御処理と、周辺環境ＤＢ管理処理と、を行う。

【0096】

メッセージ制御処理では、プロセッサ３４が、歩行者端末１及び車載端末２との間でのＩＴＳ通信のメッセージの送受信を制御する。また、プロセッサ３４が、歩行者端末１との間での無線通信のメッセージの送受信を制御する。

【0097】

周辺環境ＤＢ管理処理では、プロセッサ３４が、周辺環境ＤＢを管理する。具体的には、プロセッサ３４が、歩行者端末１からの要求に応じて、周辺環境ＤＢの登録情報を無線通信部３２から歩行者端末１に配信する。

【0098】

ところで、路側機３の機能がクラウドコンピュータに設けられてもよい。例えば、本実施形態では、周辺環境ＤＢが路側機３に設けられたが、周辺環境ＤＢがクラウドコンピュータに設けられてもよい。この場合、歩行者端末１は、路側機３を経由してクラウドコンピュータと通信を行うことで、周辺環境ＤＢの登録情報をダウンロードする構成でもよい。また、歩行者端末１は、５Ｇなどの高速なセルラー通信の機能を備え、セルラー通信網などを介してクラウドコンピュータと通信を行うことで、周辺環境ＤＢの登録情報をダウンロードする構成でもよい。このとき、歩行者端末１が、自装置の位置情報をクラウドコンピュータに通知することで、クラウドコンピュータが、歩行者端末１の周辺の所要の範囲の周辺環境ＤＢの登録情報を歩行者端末１に配信する構成でもよい。

【0099】

次に、第１実施形態に係る歩行者端末１、車載端末２、及び路側機３の動作手順について説明する。図６，図７は、歩行者端末１の動作手順を示すフロー図である。図８は、車載端末２の動作手順を示すフロー図である。図９は、路側機３の動作手順を示すフロー図である。なお、図６（Ａ），（Ｂ），（Ｃ）、図８、および図９（Ａ），（Ｂ）に示す各処理は所定の間隔で行われる。すなわち、これらの処理は一旦終了しても繰り返し実行される。

【0100】

図６（Ａ）に示すように、歩行者端末１では、まず、衛星測位部１１が、歩行者の位置情報を取得する（ＳＴ１０１）。次に、プロセッサ１８が、歩行者の位置情報に基づいて、歩行者情報を送信する状況か否か、具体的には歩行者が危険エリア（例えば交差点）に進入したか否かを判定する（ＳＴ１０２）。

【0101】

ここで、歩行者情報を送信する状況であれば（ＳＴ１０２でＹｅｓ）、プロセッサ１８の送信指示に応じて、ＩＴＳ通信部１５が、歩行者情報（歩行者ＩＤ及び位置情報など）を含むＩＴＳ通信のメッセージを、車載端末２及び路側機３に送信する（ＳＴ１０３）。

【0102】

図８に示すように、車載端末２では、歩行者端末１からのＩＴＳ通信（歩車間通信）のメッセージを受信すると（ＳＴ２０１でＹｅｓ）、メッセージに含まれる車両の位置情報などに基づいて、自車両が歩行者に衝突する危険性があるか否かの衝突判定を行う（ＳＴ２０２）。

【0103】

ここで、自車両が歩行者に衝突する危険性がある場合には（ＳＴ２０２でＹｅｓ）、運転者に対する所定の注意喚起動作を行う（ＳＴ２０３）。具体的には、注意喚起動作として、カーナビゲーション装置に注意喚起動作（例えば音声出力や画面表示など）を行わせる。なお、自車両が自動運転車両である場合には、自動運転ＥＣＵ（走行制御装置）に対して、所定の衝突回避動作を行うように指示する。

【0104】

図９（Ａ）に示すように、路側機３では、ＩＴＳ通信部３１が、歩行者端末１からのＩＴＳ通信（歩車間通信）のメッセージを受信すると（ＳＴ３０１でＹｅｓ）、プロセッサ３４が、受信したメッセージに含まれる歩行者端末１の端末ＩＤと位置情報とを取得する（ＳＴ３０２）。次に、プロセッサ３４が、歩行者の位置情報に基づいて、歩行者端末１が、周辺環境ＤＢの登録情報の対象エリアの周辺（対象エリアの内部または近傍）に位置するか否かを判定する（ＳＴ３０３）。

【0105】

ここで、歩行者端末１が対象エリアの周辺に位置する場合には（ＳＴ３０３でＹｅｓ）、プロセッサ３４の送信指示に応じて、ＩＴＳ通信部３１が、歩行者端末１が自装置の周辺環境ＤＢの登録情報を利用できる旨のＤＢ利用情報を含むＩＴＳ通信のメッセージを歩行者端末１に送信する（ＳＴ３０４）。

【0106】

図６（Ｂ）に示すように、歩行者端末１では、ＩＴＳ通信部１５が、路側機３から、ＤＢ利用情報を含むＩＴＳ通信のメッセージを受信すると（ＳＴ１１１でＹｅｓ）、プロセッサ１８の送信指示に応じて、無線通信部１６が、ＤＢ登録情報（周辺環境ＤＢの登録情報）を要求する無線通信のメッセージを路側機３に送信する（ＳＴ１１２）。

【0107】

図９（Ｂ）に示すように、路側機３では、無線通信部３２が、歩行者端末１から、ＤＢ登録情報を要求する無線通信のメッセージを受信すると（ＳＴ３１１でＹｅｓ）、プロセッサ３４の送信指示に応じて、無線通信部３２が、ＤＢ登録情報（周辺環境ＤＢの登録情報）を含む無線通信のメッセージを歩行者端末１に送信する（ＳＴ３１２）。

【0108】

このとき、路側機３の周辺環境ＤＢの全ての登録情報が歩行者端末１に送信されるようにしてもよいが、歩行者端末１が利用する可能性が高い一部の登録情報のみが歩行者端末１に送信されるようにしてもよい。具体的には、歩行者端末１の周辺の所定範囲内、特に歩行者の進行方向に位置する所定範囲内の登録情報が歩行者端末１に送信されるようにしてもよい。

【0109】

図６（Ｃ）に示すように、歩行者端末１では、無線通信部１６が、路側機３から、ＤＢ登録情報を含む無線通信のメッセージを受信すると（ＳＴ１２１でＹｅｓ）、プロセッサ１８が、受信したメッセージに含まれるＤＢ登録情報（周辺環境ＤＢの登録情報）を、自装置の周辺環境ＤＢに登録する（ＳＴ１２２）。

【0110】

次に、図７に示すように、歩行者端末１では、プロセッサ１８が、衛星測位部１１による歩行者の位置情報を取得する（ＳＴ１３１）。

【0111】

また、プロセッサ１８が、状態センサ１３の検出結果に基づいて、歩行者の状態情報を取得する（ＳＴ１３２）。具体的には、プロセッサ１８が、加速度センサ２１の検出結果に基づいて、歩行者の移動速度を測定する。また、プロセッサ１８が、加速度センサ２１、ジャイロセンサ２２および地磁気センサ２３の検出結果に基づいて、歩行者の頭部方向（顔の向き）および進行方向を測定する。また、プロセッサ１８が、視線センサ２４の検出結果に基づいて、歩行者の視線方向を測定する。また、プロセッサ１８が、歩行者の視線方向および頭部方向に基づいて、歩行者の注視方向を測定する。

【0112】

次に、プロセッサ１８が、カメラ１２からリアルタイムの撮影画像を取得する（ＳＴ１３３）。

【0113】

次に、プロセッサ１８が、照合対象抽出処理Ｐ１５として、自装置の周辺環境ＤＢから、歩行者の注視方向に対応する候補画像を照合対象として抽出する（ＳＴ１３４）。

【0114】

次に、プロセッサ１８が、画像照合処理Ｐ１６として、自装置の周辺環境ＤＢから抽出した候補画像と、リアルタイムの撮影画像とを照合する（ＳＴ１３５）。

【0115】

この画像照合で照合が成功する、すなわち、候補画像と撮影画像とが一致する場合には（ＳＴ１３６でＹｅｓ）、プロセッサ１８が、位置情報取得処理Ｐ１７として、照合が成功した候補画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する（ＳＴ１３７）。

【0116】

（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１０は、第２実施形態に係る歩行者端末１で行われる足下画像照合処理の概要を示す説明図である。図１１は、第２実施形態に係る歩行者端末１の概略構成を示すブロック図である。

【0117】

第１実施形態では、歩行者の前方を撮影するカメラ１２の撮影画像を利用したビジュアル測位が行われる。一方、本変形例では、歩行者の前方が撮影された前方画像と、歩行者の足下が撮影された足下画像とを利用したビジュアル測位が行われる。

【0118】

本変形例では、歩行者端末１が、歩行者の前方を撮影する前方カメラ２５と、歩行者の足下を撮影する足下カメラ２６とを備えている（図１１参照）。なお、１つのカメラが、歩行者の前方および足下を含む広範囲を撮影できるように広い画角を有する構成であってもよい。

【0119】

道路の路面は次第に経年劣化する。例えば、道路の路面には、専用塗料（トラフィックペイント）で白線などの路面標示が描かれている。この路面標示にはひび割れなどの劣化が発生する。また、アスファルト舗装材にも欠損などの劣化が発生する。このような路面の劣化状態は、地点ごとの固有の特徴を有している。このため、路面の特徴に基づいて、足下画像が撮影された地点を特定することができる。

【0120】

そこで、本変形例では、予め登録地点の路面を撮影した撮影画像が、足下照合用として、登録地点の位置情報と対応付けて、周辺環境ＤＢに登録される。また、第１実施形態と同様に、歩行者が前方を見る視線に対応する撮影方向で撮影された撮影画像が、前方照合用として、登録地点の位置情報と対応付けて、周辺環境ＤＢに登録される。

【0121】

一方、歩行者端末１では、前方カメラ２５が、歩行者の前方を撮影した前方画像をリアルタイムに出力する。プロセッサ１８は、ビジュアル測位処理Ｐ５として、周辺環境ＤＢに登録された前方照合用の候補画像（登録地点の撮影画像）を抽出し（前方照合対象抽出処理Ｐ２１）、その前方照合用の候補画像と、リアルタイムの前方画像とを照合する（前方画像照合処理Ｐ２２、第１の照合処理）。

【0122】

また、歩行者端末１では、足下カメラ２６が、歩行者の足元の路面を撮影した足下画像をリアルタイムに出力する。プロセッサ１８は、ビジュアル測位処理Ｐ５として、周辺環境ＤＢに登録された足下照合用の候補画像（登録地点の撮影画像）を抽出し（足下照合対象抽出処理Ｐ２３）、その足下照合用の候補画像と、リアルタイムの足下画像とを照合する（足下画像照合処理Ｐ２４、第２の照合処理）。

【0123】

なお、前方画像照合処理Ｐ２２では、前方画像において、建物や道路標識などの物体の位置で特徴点が抽出されるが、足下画像照合処理Ｐ２４では、足下画像において、白線などの路面上に現れる物体の位置で特徴点が抽出される。

【0124】

次に、プロセッサ１８は、前方画像照合処理Ｐ２２において照合が成功した候補画像に対応する位置情報と、足下画像照合処理Ｐ２４において照合が成功した候補画像に対応する位置情報とに基づいて、歩行者の現在地の位置情報を取得する（位置情報取得処理Ｐ１７）。このとき、前方画像照合処理Ｐ２２に基づく位置情報と足下画像照合処理Ｐ２４に基づく位置情報とに対して適宜な統計処理（平均）を行うことで、歩行者の現在地の位置情報を取得してもよい。

【0125】

また、足下画像照合処理Ｐ２４に基づく位置情報が、前方画像照合処理Ｐ２２に基づく位置情報より精度が高いことから、前方画像照合処理Ｐ２２を仮測位とし、足下画像照合処理Ｐ２４を本測位として、足下画像照合処理Ｐ２４での候補画像を、前方画像照合処理Ｐ２２の照合結果を利用して絞り込んでもよい。具体的には、前方画像照合処理Ｐ２２に基づく歩行者の位置を、歩行者の暫定的な位置として、その暫定的な位置の周辺の所定範囲に含まれる足下照合用の候補画像を周辺環境ＤＢから抽出して、足下画像照合処理Ｐ２４を実施する。これにより、画像照合の処理負荷を軽減できる。

【0126】

ここで、前方照合対象抽出処理Ｐ２１は、第１実施形態の照合対象抽出処理Ｐ１５（図４参照）と同様である。一方、足下照合対象抽出処理Ｐ２３も、第１実施形態の照合対象抽出処理Ｐ１５と略同様であるが、この場合、歩行者の注視方向に相当する路面上の位置に対応する候補画像が抽出される。

【0127】

なお、本実施形態では、歩行者の前方を撮影した前方画像と、歩行者の足下を撮影した足下画像との両方を利用したビジュアル測位が行われるが、足下画像のみを利用したビジュアル測位が行われてもよい。

【0128】

（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１２は、第３実施形態に係る歩行者端末１で行われる制御の概要を示す説明図である。

【0129】

道路上の特徴物、すなわち、道路上の歩行者から目視可能で且つ特徴的な物体、例えば建物や道路標識などは、地図上の指標となる。したがって、ビジュアル測位において、カメラ１２の撮影画像に含まれる特徴物に注目することで、照合処理の効率化を図ると共に測位精度を高めることができる。

【0130】

そこで、本実施形態では、歩行者端末１が、歩行者の周辺に存在する特徴物の中から注目特徴物を選択して、歩行者を基準として注目特徴物が存在する方向を取得し、ビジュアル測位において、最適照合方向としての注目特徴物が存在する方向に基づいて、注目特徴物を含む候補画像を周辺環境情報から抽出する。

【0131】

また、本実施形態では、歩行者端末１に、撮影方向可変型のカメラ１２が採用される。歩行者端末１は、注目特徴物が存在する方向に基づいて、注目特徴物がカメラ１２の撮影範囲（外界センサの検出範囲）に含まれるか否かを判定し、注目特徴物がカメラ１２の撮影範囲に含まれない場合には、注目特徴物がカメラ１２の撮影範囲に含まれるように、カメラ１２の撮影方向（外界センサの検出方向）を制御する。

【0132】

また、本実施形態では、特徴物に関する情報（例えば位置情報）が、予め特徴物ＤＢ（特徴物データベース）に登録される。歩行者端末１は、特徴物ＤＢに登録された特徴物の位置情報と、衛星測位（標準測位）により取得した歩行者の位置情報とに基づいて、歩行者を基準として注目特徴物が存在する方向を取得することができる。なお、特徴物ＤＢは、特徴物の２次元の位置情報（緯度、経度）だけではなく、特徴物の高さに関する情報も含む３次元の位置情報であってもよい。

【0133】

また、夜間では、建物や道路標識が目立たなくなり、照合処理の効率が低下する。そこで、本実施形態では、特徴物ＤＢに、特徴物として、道路沿いに設置された街灯や信号機などの灯火装置（照明装置を含む）に関する情報が登録される。注目特徴物を選択する際に、夜間の場合には、灯火装置が注目特徴物に優先的に選択される。これにより、夜間においてもビジュアル測位における照合処理の効率化を図ることができる。

【0134】

特徴物ＤＢの登録情報（特徴物情報）は、周辺環境ＤＢと同様に、路側機３から歩行者端末１に配信される。なお、特徴物ＤＢの登録情報が、クラウドコンピュータで管理され、クラウドコンピュータから歩行者端末１に配信されてもよい。このとき、路側機３を経由してクラウドコンピュータから歩行者端末１に配信されてもよいし、路側機３を経由せずに、５Ｇなどの高速なセルラー通信を利用してクラウドコンピュータから歩行者端末１に配信されてもよい。

【0135】

次に、第３実施形態に係る歩行者端末１の概略構成について説明する。図１３は、歩行者端末１の概略構成を示すブロック図である。

【0136】

本実施形態では、歩行者端末１がカメラ駆動部１９を備えている。また、歩行者端末１のメモリ１７が、特徴物ＤＢの登録情報を記憶する。また、歩行者端末１のプロセッサ１８が、特徴物選択処理Ｐ３１と、特徴物方向取得処理Ｐ３２と、特徴物撮影判定処理Ｐ３３と、カメラ制御処理Ｐ３４とを行う。その他は第１実施形態（図４参照）と略同様である。

【0137】

カメラ駆動部１９は、プロセッサ１８からの指示に基づいて、カメラ１２の撮影方向を変化させる。

【0138】

特徴物選択処理Ｐ３１では、プロセッサ１８が、歩行者の位置情報と、自装置の特徴物ＤＢの登録情報とに基づいて、歩行者の周辺に存在する特徴物の中から、注目特徴物を選択する。このとき、特徴物の視認性の高さなどに基づいて、注目特徴物が選択される。例えば、歩行者の近くに位置し、また歩行者から大きく見え、また色や形状などから目立つなど、歩行者がすぐに認識できる特徴物が注目特徴物に選択される。

【0139】

特徴物方向取得処理Ｐ３２では、プロセッサ１８が、歩行者の位置情報と注目特徴物の位置情報とに基づいて、特徴物方向、すなわち歩行者を基準として注目特徴物が存在する方向を取得する。

【0140】

特徴物撮影判定処理Ｐ３３では、プロセッサ１８が、特徴物方向、すなわち歩行者を基準として注目特徴物が存在する方向と、現在のカメラ１２の撮影範囲とに基づいて、注目特徴物がカメラ１２の撮影範囲に含まれるか否か、すなわち、注目特徴物がカメラ１２の撮影画像に写るか否かを判定する。ここで、現在のカメラ１２の撮影範囲は、現在のカメラ１２の撮影方向とカメラ１２の画角とに基づいて求められる。また、カメラ１２の撮影方向は、カメラ１２の初期位置からの変化角度と、歩行者の頭部方向（顔の向き）とに基づいて求められる。

【0141】

カメラ制御処理Ｐ３４では、プロセッサ１８が、現在のカメラ１２の撮影範囲に注目特徴物が含まれない場合に、注目特徴物がカメラ１２の撮影範囲に含まれるように、カメラ駆動部１９を制御してカメラ１２の撮影方向を調整する。

【0142】

一方、ビジュアル測位処理Ｐ５の照合対象抽出処理Ｐ１５では、プロセッサ１８が、特徴物方向、すなわち、歩行者を基準として注目特徴物が存在する方向に基づいて、注目特徴物が含まれる候補画像を照合対象として自装置の周辺環境ＤＢから抽出する。

【0143】

次に、第３実施形態に係る路側機３の概略構成について説明する。図１４は、路側機３の概略構成を示すブロック図である。

【0144】

本実施形態では、路側機３のメモリ３３が、特徴物ＤＢの登録情報を記憶する。また、路側機３のプロセッサ３４が、特徴物ＤＢ管理処理を行う。その他は第１実施形態（図５参照）と略同様である。

【0145】

特徴物ＤＢ管理処理では、プロセッサ３４が、特徴物ＤＢを管理する。具体的には、プロセッサ３４が、歩行者端末１からの要求に応じて、特徴物ＤＢの登録情報を無線通信部３２から歩行者端末１に配信する。

【0146】

次に、第３実施形態に係る歩行者端末１の動作手順について説明する。図１５は、歩行者端末１の動作手順を示すフロー図である。なお、歩行者端末１では、第１実施形態（図６（Ａ），（Ｂ），（Ｃ）参照）と同様の処理が行われる。また、路側機３の動作手順は第１実施形態（図９参照）と同様である。

【0147】

歩行者端末１では、第１実施形態（図７参照）と同様に、プロセッサ１８が、衛星測位部１１による歩行者の位置情報を取得し（ＳＴ１３１）、また、プロセッサ１８が、状態センサ１３の検出結果に基づいて、歩行者の状態情報（移動速度、頭部方向（顔の向き）、進行方向、視線方向、および注視方向）を取得する（ＳＴ１３２）。

【0148】

次に、プロセッサ１８が、特徴物選択処理Ｐ３１として、歩行者の位置情報と、自装置の特徴物ＤＢの登録情報とに基づいて、歩行者の周辺に存在する特徴物の中から、注目特徴物を選択する（ＳＴ１４１）。

【0149】

次に、プロセッサ１８が、特徴物方向取得処理Ｐ３２として、歩行者の位置情報と、注目特徴物の位置情報とに基づいて、特徴物方向、すなわち歩行者を基準として注目特徴物が存在する方向を取得する（ＳＴ１４２）。

【0150】

次に、プロセッサ１８が、特徴物撮影判定処理Ｐ３３として、特徴物方向、すなわち歩行者を基準として注目特徴物が存在する方向と、現在のカメラ１２の撮影範囲とに基づいて、注目特徴物がカメラ１２の撮影範囲に含まれるか否か、すなわち、注目特徴物がカメラ１２の撮影画像に写るか否かを判定する（ＳＴ１４３）。

【0151】

ここで、注目特徴物がカメラ１２の撮影範囲に含まれない場合には（ＳＴ１４３でＮｏ）、プロセッサ１８が、カメラ制御処理Ｐ３４として、注目特徴物がカメラ１２の撮影範囲に含まれるように、カメラ駆動部１９を制御してカメラ１２の撮影方向を調整する（ＳＴ１４４）。

【0152】

次に、プロセッサ１８が、カメラ１２からリアルタイムの撮影画像を取得する（ＳＴ１３３）。

【0153】

次に、プロセッサ１８が、照合対象抽出処理Ｐ１５として、自装置の周辺環境ＤＢから、注目特徴物が含まれる候補画像を照合対象として抽出する（ＳＴ１４５）。

【0154】

以降の処理（ＳＴ１３５～ＳＴ１３７）は、第１実施形態（図７参照）と同様である。

【0155】

なお、図９（Ａ）に示すように、路側機３では、ＤＢ利用情報を含むＩＴＳ通信のメッセージを歩行者端末１に送信するが（ＳＴ３０４）、本実施形態では、このＩＴＳ通信のメッセージに、周辺環境ＤＢの登録情報と特徴物ＤＢの登録情報とを利用できる旨のＤＢ利用情報が含まれる。また、図９（Ｂ）に示すように、路側機３では、ＤＢ登録情報を含む無線通信のメッセージを歩行者端末１に送信するが（ＳＴ３１２）、本実施形態では、この無線通信のメッセージに、ＤＢ登録情報として、周辺環境ＤＢの登録情報と特徴物ＤＢの登録情報とが含まれる。これにより、歩行者端末１では、図６（Ｃ）に示すように、路側機３から無線通信のメッセージを受信することで（ＳＴ１２１でＹｅｓ）、ＤＢ登録情報として、周辺環境ＤＢの登録情報と特徴物ＤＢの登録情報とが取得され、その周辺環境ＤＢの登録情報と特徴物ＤＢの登録情報とがそれぞれ自装置の周辺環境ＤＢと特徴物ＤＢとに登録される（ＳＴ１２２）。

【0156】

（第４実施形態）
次に、第４実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１６は、第４実施形態に係る歩行者端末１で行われる制御の概要を示す説明図である。

【0157】

第３実施形態では、歩行者端末１に、撮影方向可変型のカメラ１２が採用されて、歩行者端末１が、注目特徴物がカメラ１２の撮影範囲に含まれない、すなわち、カメラ１２の現在の撮影画像に注目特徴物が写らない場合に、注目特徴物がカメラ１２の撮影範囲に含まれるように、カメラ１２の撮影方向を制御する。

【0158】

一方、本実施形態では、歩行者端末１に、歩行者の真正面を撮影する固定型のカメラ１２が採用されて、歩行者端末１が、注目特徴物がカメラ１２の撮影範囲に含まれない場合には、注目特徴物がカメラ１２の撮影範囲に含まれるように、カメラ１２の撮影方向を変化させる行動を歩行者に促す誘導制御を行う。特に本実施形態では、誘導制御として、顔の向きを左右方向に変えるように歩行者に促す誘導画面がＡＲディスプレイ１４に表示される。

【0159】

ここで、本実施形態では、歩行者端末１が、歩行者の頭部に装着されるウェアラブルデバイスで構成され、カメラ１２が歩行者の正面を向くように設けられているため、歩行者の顔の向きとカメラ１２の撮影方向とが一致する。このため、誘導画面において、顔の向きを左右方向に変えるように歩行者に促すことで、カメラ１２の撮影方向（撮影範囲）を左右方向に変化させることができる。

【0160】

例えば、注目特徴物が現在の撮影範囲より右側に位置する場合には、歩行者に右を向くように誘導し、注目特徴物が現在の撮影範囲より左側に位置する場合には、歩行者に左を向くように誘導する。図１６に示す例では、注目特徴物が現在の撮影範囲より左側に位置するため、ＡＲディスプレイ１４の画面に、歩行者に左側を見るように誘導する矢印の画像が表示される。

【0161】

なお、歩行者端末１のＡＲディスプレイ１４には、地図上に歩行者の現在位置を表示するナビゲーション画面が表示される。このナビゲーション画面に特徴物ＤＢの情報が表示されてもよい。例えば、地図上に、特徴物の位置が表示されてもよい。また、地図上に、歩行者の進行方向を表す画像や、歩行者と特徴物との位置関係を表す画像が表示されてもよい。

【0162】

次に、第４実施形態に係る歩行者端末１の概略構成について説明する。図１７は、歩行者端末１の概略構成を示すブロック図である。

【0163】

本実施形態では、歩行者端末１のプロセッサ１８が、特徴物選択処理Ｐ３１と、特徴物方向取得処理Ｐ３２と、特徴物撮影判定処理Ｐ３３と、歩行者誘導処理Ｐ４１とを行う。その他は第１実施形態（図４参照）と略同様である。特徴物選択処理Ｐ３１、特徴物方向取得処理Ｐ３２、および特徴物撮影判定処理Ｐ３３は、第３実施形態と同様である。

【0164】

歩行者誘導処理Ｐ４１では、プロセッサ１８が、注目特徴物がカメラ１２の撮影範囲に含まれない場合には、注目特徴物がカメラ１２の撮影範囲に含まれるように、カメラ１２の撮影方向を変化させる行動を歩行者に促す誘導制御を行う。具体的には、プロセッサ１８が、誘導制御として、歩行者の顔を指定された方向に向ける、すなわち、歩行者端末１が装着された歩行者の頭部の向き（顔の向き）を変えるように誘導する画面をＡＲディスプレイ１４に表示させる。

【0165】

なお、本実施形態では、誘導制御として、歩行者の顔の向きを変えるように誘導する画面をＡＲディスプレイ１４に表示したが、歩行者の顔の向きを変えるように誘導する音声をスピーカー（図示せず）から出力してもよい。

【0166】

次に、第４実施形態に係る歩行者端末１の動作手順について説明する。図１８は、歩行者端末１の動作手順を示すフロー図である。なお、歩行者端末１では、第１実施形態（図６（Ａ），（Ｂ），（Ｃ）参照）と同様の処理が行われる。また、路側機３の動作手順は第１実施形態（図９参照）と同様である。

【0167】

歩行者端末１では、第３実施形態（図１５参照）と同様に、プロセッサ１８が、衛星測位部１１による歩行者の位置情報を取得してから、現在のカメラ１２の撮影範囲に注目特徴物が含まれるか否かに関する判定までの処理（ＳＴ１３１，ＳＴ１３２，ＳＴ１４１～ＳＴ１４３）を行う。

【0168】

ここで、現在のカメラ１２の撮影範囲に注目特徴物が含まれない場合には、歩行者の頭部の向き（顔の向き）を変えるように誘導する画面をＡＲディスプレイ１４に表示する（ＳＴ１５１）。

【0169】

以降の処理（ＳＴ１３３，ＳＴ１４５，ＳＴ１３５～ＳＴ１３７）は、第３実施形態と同様である。

【0170】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0171】

本発明に係る歩行者装置、移動体装置、測位システム、および測位方法は、ビジュアル測位の処理時間を短縮するために、ビジュアル測位における照合処理の効率化を図ることができる効果を有し、歩行者に保持されて歩行者の現在位置を測定する測位を行う歩行者装置、歩行者や車両などの移動体に保持されて移動体の現在位置を測定する測位を行う移動体装置、測位システム、および測位方法などとして有用である。

【符号の説明】

【0172】

１ 歩行者端末（歩行者装置、移動体装置、コンピュータ）
２ 車載端末
３ 路側機
１１ 衛星測位部
１２ カメラ
１３ 状態センサ
１４ ＡＲディスプレイ
１７ メモリ
１８ プロセッサ
１９ カメラ駆動部
２１ 加速度センサ
２２ ジャイロセンサ
２３ 地磁気センサ
２４ 視線センサ
２５ 前方カメラ
２６ 足下カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】