(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022185300
(43)【公開日】2022-12-14
(54)【発明の名称】歩行道路データベースの作成装置および作成方法
(51)【国際特許分類】
G01C 21/26 20060101AFI20221207BHJP
G08G 1/00 20060101ALI20221207BHJP
G08G 1/005 20060101ALI20221207BHJP
G09B 29/10 20060101ALI20221207BHJP
G09B 29/00 20060101ALI20221207BHJP
【FI】
G01C21/26 B
G01C21/26 P
G08G1/00 J
G08G1/005
G09B29/10 A
G09B29/00 Z
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021092888
(22)【出願日】2021-06-02
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110001379
【氏名又は名称】特許業務法人 大島特許事務所
(72)【発明者】
【氏名】沈 陽平
(72)【発明者】
【氏名】上野 剛
(72)【発明者】
【氏名】中川 洋一
【テーマコード(参考)】
2C032
2F129
5H181
【Fターム(参考)】
2C032HB11
2C032HC11
2C032HC17
2C032HD26
2C032HD29
2F129AA02
2F129BB22
2F129BB26
2F129BB33
2F129BB38
2F129BB39
2F129BB40
2F129BB56
2F129EE02
2F129EE08
2F129EE43
2F129EE67
2F129EE78
2F129EE79
2F129EE94
2F129FF02
2F129FF12
2F129FF20
2F129FF52
2F129FF71
2F129FF75
2F129GG17
5H181AA21
5H181BB04
5H181BB05
5H181CC04
5H181FF07
5H181FF13
5H181FF14
5H181FF22
5H181FF40
5H181MC07
5H181MC16
(57)【要約】
【課題】歩行道路を撮影したカメラ画像およびそれに対応する位置情報を効率的に収集する。
【解決手段】歩行道路データベースの作成装置3が、歩行道路を移動しながら路面を撮影するカメラ11と、プロセッサ16と、を備え、プロセッサは、カメラが撮影を開始する路面における始点の位置情報を取得し、カメラの撮影により生成されるカメラ画像を処理対象のカメラ画像として順次取得し、処理対象のカメラ画像に対応する路面について、前回のカメラ画像に対応する路面からの移動量を算出し、始点の位置情報および移動量に基づき、処理対象のカメラ画像に対応する路面の位置情報を取得し、処理対象のカメラ画像と、処理対象のカメラ画像に対応する路面の位置情報とを含む歩行道路情報を歩行道路データベースに記憶する構成とする。
【選択図】
図4
【特許請求の範囲】
【請求項1】
歩行道路データベースの作成装置であって、
歩行道路を移動しながらその路面を撮影するカメラと、
プロセッサと、を備え、
前記プロセッサは、
前記カメラが撮影を開始する前記路面における始点の位置情報を取得し、
前記カメラの撮影により生成されるカメラ画像を処理対象のカメラ画像として順次取得し、
前記処理対象のカメラ画像に対応する前記路面について、前回の前記カメラ画像に対応する前記路面からの移動量を算出し、
前記始点の位置情報および前記移動量に基づき、前記処理対象のカメラ画像に対応する前記路面の位置情報を取得し、
前記処理対象のカメラ画像と、前記処理対象のカメラ画像に対応する前記路面の位置情報とを含む歩行道路情報を前記歩行道路データベースに記憶する、歩行道路データベースの作成装置。
【請求項2】
前記プロセッサは、
前記処理対象のカメラ画像として取得した前記カメラ画像に対して影除去を実行する、請求項1に記載の歩行道路データベースの作成装置。
【請求項3】
前記プロセッサは、
前記カメラが撮影を終了する前記路面における終点の位置情報を取得し、
前記終点の位置情報に基づき、前記歩行道路データベースに記憶する前記始点から前記終点の間における前記路面の位置情報の誤差を補正する、請求項1または請求項2に記載の歩行道路データベースの作成装置。
【請求項4】
前記始点の位置情報および前記終点の位置情報は、それぞれ前記歩行道路に間隔をおいて設置された2つの路側機の位置情報である、請求項3に記載の歩行道路データベースの作成装置。
【請求項5】
前記プロセッサは、
前記処理対象のカメラ画像から、前記歩行道路に存在する障害を検出し、
前記障害に関する情報を、前記歩行道路情報と共に前記歩行道路データベースに記憶する、請求項1から請求項4のいずれか1項に記載の歩行道路データベースの作成装置。
【請求項6】
前記プロセッサは、
前記処理対象のカメラ画像から、前記歩行道路を利用する歩行者を誘導する目的で設置された誘導物を検出し、
前記歩行道路を含む地図情報を取得し、
前記誘導物に関する情報を、前記地図情報に対して付加する、請求項1から請求項4のいずれか1項に記載の歩行道路データベースの作成装置。
【請求項7】
前記プロセッサは、
前記処理対象のカメラ画像から、前記歩行道路の周辺における所定エリアの境界を検出し、
前記所定エリアの前記境界に対する相対位置に関する情報を、前記歩行道路情報と共に前記歩行道路データベースに記憶する、請求項1から請求項4のいずれか1項に記載の歩行道路データベースの作成装置。
【請求項8】
前記歩行道路データベースに記憶された前記歩行道路情報には、前記路面の高度を含む位置情報が含まれ、
前記プロセッサは、
前記歩行道路を含む地図情報を取得し、
前記歩行道路情報から、前記歩行道路の所定範囲における勾配を算出し、
前記勾配の情報を前記地図情報に対して付加する、請求項1から請求項7のいずれか1項に記載の歩行道路データベースの作成装置。
【請求項9】
前記カメラの移動速度を検出するセンサを更に備え、
前記プロセッサは、
前記カメラの移動速度が閾値以上となった場合、自装置を操作する作業者に対して、前記歩行道路情報の再取得を指示するための音声出力および画像出力の少なくとも一方を実行する、請求項1から請求項8のいずれか1項に記載の歩行道路データベースの作成装置。
【請求項10】
歩行道路データベースの作成方法であって、
歩行道路を移動しながらその路面をカメラによって撮影し、
前記カメラが撮影を開始する前記路面における始点の位置情報を取得し、
前記カメラの撮影により生成されるカメラ画像を処理対象のカメラ画像として順次取得し、
前記処理対象のカメラ画像に対応する前記路面について、前回の前記カメラ画像に対応する前記路面からの移動量を算出し、
前記始点の位置情報および前記移動量に基づき、前記処理対象のカメラ画像に対応する前記路面の位置情報を取得し、
前記処理対象のカメラ画像と、前記処理対象のカメラ画像に対応する前記路面の位置情報とを含む歩行道路情報を前記歩行道路データベースに記憶する、歩行道路データベースの作成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、歩行者が通行する歩行道路を撮影したカメラ画像およびそれに対応する位置情報を含む歩行道路データベースの作成装置および作成方法に関する。
【背景技術】
【0002】
ITS(Intelligent Transport System:高度道路交通システム)を利用した安全運転支援無線システムでは、車両の位置情報を、車載端末同士で交換することで、車両同士の事故を回避し、また、車両や歩行者の位置情報を、車載端末と歩行者端末との間で交換することで、車両と歩行者との事故を回避する。
【0003】
車載端末や歩行者端末では、主に衛星測位により車両や歩行者の位置情報を取得するが、PDR(歩行者自律航法:Pedestrian Dead Reckoning)を利用した測位など、様々な測位方法を採用することができる。このとき、交通事故を防止する上で、高精度な位置情報を取得できる測位方法が望まれる。
【0004】
そこで、車両や歩行者の周辺をカメラで撮影して、そのカメラ画像に基づいて、車両や歩行者の位置を測定することが考えられる。このようなカメラ画像を用いた測位方法に関連するものとして、道路を撮影したカメラ画像に基づいて、道路の路面に描かれた白線を検知して、車両の位置情報として、車両が走行する走行レーンを認識する技術が知られている(特許文献1~3参照)。また、前方を撮影したカメラ画像に写るランドマークとなる物体(道路の周辺の建物など)に着目して、自装置の位置を測定する技術も知られている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第2754871号公報
【特許文献2】特許第3333223号公報
【特許文献3】特開平6-149360号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、カメラ画像に基づいて歩行者の位置を測定する場合、予め歩行道路の路面を撮影したカメラ画像およびその位置情報を含む歩行道路データベースを準備し、歩行者が携帯する歩行者端末によって歩行道路(歩行者の足元)をリアルタイムで撮影したカメラ画像を、その歩行道路データベースのカメラ画像と照合することが考えられる。
【0007】
一方、そのような歩行道路データベースの作成には、歩行道路の路面を撮影した膨大な数のカメラ画像およびそれに対応する位置情報の収集が必要となる。そこで、そのような歩行道路データベースをより効率的に作成できる装置や方法が望まれる。
【0008】
そこで、本開示は、歩行道路を撮影したカメラ画像およびそれに対応する位置情報を効率的に収集することができる歩行道路データベースの作成装置および作成方法を提供することを主な目的とする。
【課題を解決するための手段】
【0009】
本開示の歩行道路データベースの作成装置は、歩行道路データベースの作成装置であって、歩行道路を移動しながらその路面を撮影するカメラと、プロセッサと、を備え、前記プロセッサは、前記カメラが撮影を開始する前記路面における始点の位置情報を取得し、前記カメラの撮影により生成されるカメラ画像を処理対象のカメラ画像として順次取得し、前記処理対象のカメラ画像に対応する前記路面について、前回の前記カメラ画像に対応する前記路面からの移動量を算出し、前記始点の位置情報および前記移動量に基づき、前記処理対象のカメラ画像に対応する前記路面の位置情報を取得し、前記処理対象のカメラ画像と、前記処理対象のカメラ画像に対応する前記路面の位置情報とを含む歩行道路情報を前記歩行道路データベースに記憶する構成とする。
【0010】
また、本開示の歩行道路データベースの作成方法は、歩行道路データベースの作成方法であって、歩行道路を移動しながらその路面をカメラによって撮影し、前記カメラが撮影を開始する前記路面における始点の位置情報を取得し、前記カメラの撮影により生成されるカメラ画像を処理対象のカメラ画像として順次取得し、前記処理対象のカメラ画像に対応する前記路面について、前回の前記カメラ画像に対応する前記路面からの移動量を算出し、前記始点の位置情報および前記移動量に基づき、前記処理対象のカメラ画像に対応する前記路面の位置情報を取得し、前記処理対象のカメラ画像と、前記処理対象のカメラ画像に対応する前記路面の位置情報とを含む歩行道路情報を前記歩行道路データベースに記憶する構成とする。
【発明の効果】
【0011】
本開示によれば、歩行道路を撮影したカメラ画像およびそれに対応する位置情報を効率的に収集することができる。
【図面の簡単な説明】
【0012】
【
図1】第1実施形態に係るDB作成システムの全体構成図
【
図2】第1実施形態に係るDB作成装置の歩行道路データベース作成時の動作の概要を示す説明図
【
図3】第1実施形態に係るDB作成装置の概略構成を示すブロック図
【
図4】第1実施形態に係るDB作成装置による歩行道路DBの作成処理の流れを示すフロー図
【
図5】
図4のステップST105で得られる歩行道路情報の一例を示す説明図
【
図6】
図4のステップST107における位置最適化処理の詳細を示すフロー図
【
図7】第2実施形態に係るDB作成装置の概略構成を示すブロック図
【
図8】第2実施形態に係るDB作成装置による歩行道路DBの作成処理の流れを示すフロー図
【
図9】
図8のステップST306で得られる歩行道路DB情報の一例を示す説明図
【
図10】第3実施形態に係るDB作成装置の概略構成を示すブロック図
【
図11】第3実施形態に係るDB作成装置による歩行道路DBの作成処理の流れを示すフロー図
【
図12】
図11のステップST406で得られる歩行道路情報の一例を示す説明図
【
図13】
図11のステップST409で得られる地図情報の一例を示す説明図
【
図14】第4実施形態に係るDB作成装置の概略構成を示すブロック図
【
図15】第4実施形態に係るDB作成装置による歩行道路DBの作成処理の流れを示すフロー図
【
図16】
図15のステップST506で得られる歩行道路情報の一例を示す説明図
【
図17】第5実施形態に係るDB作成装置の概略構成を示すブロック図
【
図18】第5実施形態に係るDB作成装置による歩行道路DBの作成処理の流れを示すフロー図
【
図19】
図18のステップST605で得られる歩行道路情報の一例を示す説明図
【
図20】
図18のステップST608で得られる地図情報の一例を示す説明図
【
図21】第6実施形態に係るDB作成装置による歩行道路DBの作成処理の流れを示すブロック図
【
図22】第6実施形態に係るDB作成装置によるDB情報生成処理の流れを示すフロー図
【
図23】
図22のステップST705で行われる情報再取得処理の詳細を示すフロー図
【発明を実施するための形態】
【0013】
前記課題を解決するためになされた第1の発明は、歩行道路データベースの作成装置であって、歩行道路を移動しながらその路面を撮影するカメラと、プロセッサと、を備え、前記プロセッサは、前記カメラが撮影を開始する前記路面における始点の位置情報を取得し、前記カメラの撮影により生成されるカメラ画像を処理対象のカメラ画像として順次取得し、前記処理対象のカメラ画像に対応する前記路面について、前回の前記カメラ画像に対応する前記路面からの移動量を算出し、前記始点の位置情報および前記移動量に基づき、前記処理対象のカメラ画像に対応する前記路面の位置情報を取得し、前記処理対象のカメラ画像と、前記処理対象のカメラ画像に対応する前記路面の位置情報とを含む歩行道路情報を前記歩行道路データベースに記憶する構成とする。
【0014】
これによると、歩行道路を撮影したカメラ画像およびそれに対応する位置情報を効率的に収集することができる。
【0015】
また、第2の発明は、前記プロセッサは、前記処理対象のカメラ画像として取得した前記カメラ画像に対して影除去を実行する構成とする。
【0016】
これによると、処理対象のカメラ画像に対応する路面についての移動量の算出における処理負荷が軽減される。
【0017】
また、第3の発明は、前記プロセッサは、前記カメラが撮影を終了する前記路面における終点の位置情報を取得し、前記終点の位置情報に基づき、前記歩行道路データベースに記憶する前記始点から前記終点の間における前記路面の位置情報の誤差を補正する構成とする。
【0018】
これによると、始点から終点の間の一連のカメラ画像に対応する各路面の位置情報に累積する誤差を抑制することができる。
【0019】
また、第4の発明は、前記始点の位置情報および前記終点の位置情報は、それぞれ前記歩行道路に間隔をおいて設置された2つの路側機の位置情報である構成とする。
【0020】
これによると、既存の路側機の位置情報を用いることにより、カメラが撮影する路面における始点および終点の位置情報を容易に設定することができる。
【0021】
また、第5の発明は、前記プロセッサは、前記処理対象のカメラ画像から、前記歩行道路に存在する障害を検出し、前記障害に関する情報を、前記歩行道路情報と共に前記歩行道路データベースに記憶する構成とする。
【0022】
これによると、歩行道路に存在する障害の状況を、歩行道路データベースを利用する歩行者や歩行道路データベースの管理者に容易に認識させることができる。
【0023】
また、第6の発明は、前記プロセッサは、前記処理対象のカメラ画像から、前記歩行道路を利用する歩行者を誘導する目的で設置された誘導物を検出し、前記歩行道路を含む地図情報を取得し、前記誘導物に関する情報を、前記地図情報に対して付加する構成とする。
【0024】
これによると、歩行者を誘導する目的で歩行道路に設置された誘導物の情報を、当該歩行道路を含む地図情報に対して簡易な処理によって付加することが可能となる。
【0025】
また、第7の発明は、前記プロセッサは、前記処理対象のカメラ画像から、前記歩行道路の周辺における所定エリアの境界を検出し、前記所定エリアの前記境界に対する相対位置に関する情報を、前記歩行道路情報と共に前記歩行道路データベースに記憶する構成とする。
【0026】
これによると、歩行道路データベースを利用する歩行者等(例えば、歩行する老人の介護者、歩行者が利用する施設やエリアの管理者などを含む)に対し、所定エリアからの出入りに関する注意喚起や案内などを簡易な処理によって行うことができる。
【0027】
また、第8の発明は、前記歩行道路データベースに記憶された前記歩行道路情報には、前記路面の高度を含む位置情報が含まれ、前記プロセッサは、前記歩行道路を含む地図情報を取得し、前記歩行道路情報から、前記歩行道路の所定範囲における勾配を算出し、
前記勾配の情報を前記地図情報に対して付加する構成とする。
【0028】
これによると、歩行道路の勾配の情報を、当該歩行道路を含む地図情報に対して簡易な処理によって付加することが可能となる。
【0029】
また、第9の発明は、前記カメラの移動速度を検出するセンサを更に備え、前記プロセッサは、前記カメラの移動速度が閾値以上となった場合、自装置を操作する作業者に対して、前記歩行道路情報の再取得を指示するための音声出力および画像出力の少なくとも一方を実行する構成とする。
【0030】
これによると、カメラ(すなわち、それを操作する作業者)の移動速度が過度に大きいことに起因して、歩行道路情報を適切に取得できない可能性がある場合に、作業者に歩行道路情報の再取得を指示することにより、歩行道路情報を適切にすることが可能となる。
【0031】
また、第10の発明は、歩行道路データベースの作成方法であって、歩行道路を移動しながらその路面をカメラによって撮影し、前記カメラが撮影を開始する前記路面における始点の位置情報を取得し、前記カメラの撮影により生成されるカメラ画像を処理対象のカメラ画像として順次取得し、前記処理対象のカメラ画像に対応する前記路面について、前回の前記カメラ画像に対応する前記路面からの移動量を算出し、前記始点の位置情報および前記移動量に基づき、前記処理対象のカメラ画像に対応する前記路面の位置情報を取得し、前記処理対象のカメラ画像と、前記処理対象のカメラ画像に対応する前記路面の位置情報とを含む歩行道路情報を前記歩行道路データベースに記憶する構成とする。
【0032】
これによると、歩行道路を撮影したカメラ画像およびそれに対応する位置情報を効率的に収集することができる。
【0033】
以下、本開示の実施の形態を、図面を参照しながら説明する。
【0034】
(第1実施形態)
図1は、第1実施形態に係る歩行道路データベース作成システム1の全体構成図である。
【0035】
歩行道路データベース作成システム(以下、DB作成システムという。)1は、歩行者が通行する歩行道路を撮影したカメラ画像およびそれに対応する位置情報(例えば、緯度、経度)を含む歩行道路データベースを作成するものである。DB作成システム1は、歩行道路データベースの作成装置(以下、DB作成装置という。)3と、路側機5とを備える。なお、路側機5の数は、適宜変更可能である。また、路側機5は省略されてもよい。
【0036】
DB作成装置3および路側機5の間ではITS通信が行われる。このITS通信は、ITS(Intelligent Transport System:高度道路交通システム)を利用した安全運転支援無線システムで採用されている周波数帯(例えば700MHz帯や5.8GHz帯)を利用した無線通信である。なお、本実施形態では、DB作成装置3と路側機5の間でのITS通信を路歩間通信と呼称する。
【0037】
DB作成装置3は、作業者Wによって携帯される情報処理端末である。DB作成装置3は、作業者Wの足元の路面を撮影するためのカメラ11を備える。
図1に示す例では、DB作成装置3は、歩行者の頭部に装着される眼鏡型のウェアラブルデバイス(スマートグラス)である。カメラ11は、撮影の便宜(撮影方向や画角等)を考慮してDB作成装置3の本体とは別体に設けられてもよい。その場合、カメラ11は、DB作成装置3の本体と有線または無線により通信可能に接続される。
【0038】
また、DB作成装置3は、ウェアラブルデバイスに限定されず、例えば、作業者Wの身体、衣服、及び所持品(例えば、かばん、台車)などに取り付けられることにより、作業者Wと一体に移動可能な構成を有していればよい。また、作業者Wは、人に限らず、走行可能なロボットなどであってもよい。
【0039】
複数の路側機5には、道路の交差点などに設置された既存の路側機を用いることができる。各路側機5については、各々が設置された路面(歩行道路の一領域)の位置(例えば、緯度、経度、高度(海抜高度または標高))が測定されることにより、それぞれ位置情報が取得される。各路側機5の位置情報は、対応する路面を撮影したカメラ画像と共に各路側機5が備えるメモリに記憶されてもよい。例えば、路面を撮影したカメラ画像は、矩形の画像であり、その位置情報は、その矩形のエリアの中心(または重心)に設定され得る。
【0040】
図2は、DB作成装置3の歩行道路データベース作成時の動作の概要を示す説明図である。
【0041】
道路の路面は次第に経年劣化する。例えば、道路の路面には、専用塗料(トラフィックペイント)で白線などの路面標示が描かれている。この路面標示にはひび割れなどの劣化が発生する。また、アスファルト舗装材にも欠損などの劣化が発生する。このような路面の劣化状態は、地点ごとの固有の特徴を有している。このため、路面の特徴に基づいて、カメラ画像が撮影された地点を特定することができる。
【0042】
そこで、DB作成装置3は、カメラ11によって撮影された路面のカメラ画像およびそれに対応する路面の位置情報を含む歩行道路情報を取得し、歩行道路データベース(以下、歩行道路DBという。)に記憶する。これにより、歩行道路DBの利用者は、路面の特徴によってカメラ画像が撮影された地点(すなわち、撮影者の現在位置)を特定可能となる。例えば、後に歩行道路を通行する歩行者は、歩行道路DBにおけるカメラ画像と、自身が所持する歩行者端末(例えば、スマートフォン)によってリアルタイムで撮影したカメラ画像とを照合することにより、自身の現在地の位置情報を取得することができる。
【0043】
DB作成装置3は、例えば
図2に示すように、2つの路側機5A、5Bの間における歩行道路の一区間について歩行道路情報を取得する。路側機5Aに対応づけられた路面R1の位置は、カメラ11による路面の撮影を開始する始点となる。また、路側機5Bに対応づけられた路面R2の位置は、カメラ11による路面の撮影を終了する終点となる。このとき、始点および終点にそれぞれ対応づけられた路面R1、R2のカメラ画像(以下、路面画像という。)およびそれらの位置情報は、事前の撮影および測定によって取得されている。作業者Wは、歩行道路情報を取得するために、始点である路面R1の位置から終点である路面R2の位置まで移動する。このとき、DB作成装置3は、作業者Wと共に移動しながらカメラ11によって路面の映像(動画)を撮影し、所定のフレームレート(例えば、30fps)で取得される各フレーム画像(一連のカメラ画像の各々)に対応する路面の位置情報を順次取得する。
【0044】
DB作成装置は、リアルタイムでカメラ11から出力されるカメラ画像(すなわち、処理対象のカメラ画像)に対する路面の位置情報を、路側機5Aに対応する路面R1(始点)の位置情報と、処理対象のカメラ画像に対応する路面の移動量とに基づき順次取得する。この路面の移動量は、前回のカメラ画像(例えば、その直前に撮影されたカメラ画像)に対応する路面からの移動量である。路面の移動量は、例えば1cm程度である。
【0045】
次に、第1実施形態に係るDB作成装置3の詳細について説明する。
図3は、DB作成装置3の概略構成を示すブロック図である。
【0046】
DB作成装置3は、カメラ11と、表示部12と、入力部13と、メモリ14と、ITS通信部15と、プロセッサ16と、を備えている。
【0047】
カメラ11は、作業者Wの足元における路面の映像(動画)を撮影する。
【0048】
表示部12は、作業者Wに向けて画像を表示するARディスプレイ(透過型のディスプレイ)を含む。ただし、表示部12は、反射型のディスプレイを備えてもよい。
【0049】
入力部13は、表示部12のARディスプレイに表示され、ユーザ(作業者W)のジェスチャーによって操作可能なソフトウェアキーボードを含む。ただし、入力部13は、物理的なキーボードを備えてもよい。
【0050】
メモリ14は、複数の歩行道路情報から構成される歩行道路DBや、プロセッサ16で実行されるプログラムなどを記憶する。メモリ14に記憶された歩行道路DBは、新たに取得された歩行道路情報(それに付随する情報を含む)が順次追加されることによって、あるいは、歩行道路情報の一部が修正されることによって適宜更新され得る。メモリ14は、公知のハードウェア(RAM、ROM、及びストレージなど)から構成され得る。
【0051】
ITS通信部15は、ITS通信(路歩間通信)により、メッセージをブロードキャストで路側機5に送信し、また、路側機5から送信されるメッセージを受信する。ITS通信部15は、他の装置と通信を行うためのアンテナや通信回路などの公知のハードウェアを有する。
【0052】
プロセッサ16は、メモリ14に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ16は、基準位置取得処理と、影除去処理と、位置推定処理と、情報取得処理と、位置最適化処理とを行う。なお、DB作成装置3は、各種の処理を複数のプロセッサによって実行してもよい。
【0053】
基準位置取得処理では、プロセッサ16は、歩行道路情報を取得する歩行道路における始点(路面の撮影を開始する地点)の路面画像および位置情報を取得する。なお、始点の路面情報の取得は必須ではなく、プロセッサ16が、必要に応じて取得すればよい。また、プロセッサ16は、始点の位置情報に加え、歩行道路における終点の路面画像および位置情報を取得してもよい。
【0054】
影除去処理では、プロセッサ16は、処理対象のカメラ画像を取得し、公知の画像処理技術に基づき当該画像から検出した影を除去する。
【0055】
位置推定処理では、プロセッサ16は、処理対象のカメラ画像に対応する路面の位置を推定し、その位置情報を取得する。例えば、プロセッサ16は、前回(例えば、直前の処理対象)のカメラ画像における特徴点と、処理対象のカメラ画像における特徴点とを照合し、対応する特徴点の変位量を推定することにより、処理対象のカメラ画像に対応する路面の移動量を算出することができる。この移動量の算出は、AI(人工知能)を用いて行われるようにしてもよい。また、プロセッサ16は、始点である路面R1の位置と、処理対象よりも前(すなわち、始点から処理対象画像まで)の各カメラ画像に関する移動量の積算値とにより、処理対象のカメラ画像に対応する路面の位置情報を取得することができる。各カメラ画像の位置情報は、ポーズグラフとしてメモリ14に記憶される。プロセッサ16は、そのような移動量の算出を、公知のVisual SLAM(Simultaneous Localization and Mapping)技術を用いて行うことができる。
【0056】
情報取得処理では、プロセッサ16は、処理対象のカメラ画像と、それに対応する路面の位置情報とを対応づけることにより、歩行道路情報を取得する。プロセッサ16は、取得した歩行道路情報を歩行道路DBに記憶する。
【0057】
位置最適化処理では、プロセッサ16は、歩行道路における終点(路面の撮影を終了する地点)の路面画像とその位置情報とを取得する。この終点の路面画像の位置情報は、予め準備された正規の位置情報として用いられる。プロセッサ16は、歩行道路DBに記憶された歩行道路の終点における処理対象のカメラ画像と、終点の路面画像とに対応する路面間の位置情報の差分を算出する。さらに、プロセッサ16は、その位置情報の差分に基づき、メモリ14に記憶されたポーズグラフにおける各路面の位置情報を最適化する。その結果、各カメラ画像に対応する路面の位置情報が最適化(すなわち、位置誤差が補正)される。
【0058】
図4は、DB作成装置3による歩行道路DBの作成処理の流れを示すフロー図である。
図5は、
図4のステップST105で得られる歩行道路情報の一例を示す説明図である。
【0059】
DB作成装置3は、まず、プロセッサ16の基準位置取得処理により、歩行道路情報を取得する歩行道路における始点の位置情報を取得する(ST101)。ここでは、DB作成装置3は、始点の路側機5Aの設置地点における路面R1の位置情報(
図2参照)を取得する。DB作成装置3は、ITS通信によって路側機5A(
図2参照)から始点の位置情報を取得することができる。ただし、始点の位置情報は、必ずしも路側機に関連付けられる必要はない。例えば、DB作成装置3は、作業者Wの入力操作によって始点の位置情報を取得してもよい。その場合、ITS通信部15は省略できる。
【0060】
次に、DB作成装置3は、処理対象のカメラ画像を取得し(ST102)、プロセッサ16の影除去処理により、当該画像から検出した影を除去する(ST103)。DB作成装置3は、カメラ画像における影の除去に公知の画像処理を用いることができる。この影除去により、後のステップST104において、処理対象のカメラ画像に対応する路面についての移動量の算出におけるプロセッサ16の処理負荷が軽減される。
【0061】
続いて、DB作成装置3は、プロセッサ16の位置推定処理により、影を除去した処理対象のカメラ画像に対応する路面の位置を推定し、その位置情報を取得する(ST104)。その後、DB作成装置3は、プロセッサ16の情報取得処理により、歩行道路情報を取得し、それを歩行道路DBに記憶する(ST105)。歩行道路情報では、例えば
図5に示すように、画像ID(識別番号)、処理対象のカメラ画像のデータ、及びそれに対応する路面の位置情報(ここでは、緯度、経度のデータ)が対応づけられる。なお、DB作成システム1では、DB作成装置3と通信可能に接続された他の装置(例えば、路側機5)のメモリに歩行道路DBが記憶され、DB作成装置3が当該他の装置に歩行道路情報を適宜送信することにより、当該他の装置における歩行道路DBに歩行道路情報が追加される構成も可能である。
【0062】
DB作成装置3は、歩行道路における終点に到達するまでは、上記ステップST102~ST105を繰り返し実行する。DB作成装置3は、歩行道路における終点に到達したと判定すると(ST106でYes)、プロセッサ16の位置最適化処理により、各カメラ画像に対応する路面の位置情報が最適化される(ST107)。
【0063】
DB作成装置3は、上記のような処理を実行することにより、歩行道路DBを作成する場合に、歩行道路を撮影したカメラ画像およびそれに対応する位置情報を効率的に収集することができる。
【0064】
図6は、
図4のステップST107における位置最適化処理の詳細を示すフロー図である。
【0065】
位置最適化処理では、DB作成装置3は、歩行道路における終点の路面画像及び位置情報を取得する(ST201)。ここでは、DB作成装置3は、終点の路側機5Bの設置位置における路面R2(
図2参照)の画像および位置情報を取得する。DB作成装置3は、始点の位置情報と同様に、路側機5BとのITS通信によって、あるいは、作業者Wの入力操作によって終点の位置情報を取得することができる。
【0066】
次に、DB作成装置3は、終点の路側機5Bの路面画像との画像照合により、その路面画像に対応するカメラ画像を歩行道路DBにおけるカメラ画像から抽出する(ST202)。さらに、DB作成装置3は、その抽出したカメラ画像と、歩行道路の終点の路面画像との位置情報の差分を算出し、その位置情報の差分に基づき(すなわち、終点の路面画像の位置を基準として)、各カメラ画像に対応する路面の位置情報の誤差を補正する(ST203)。DB作成装置3は、ステップST203において補正された位置情報を歩行道路DBに適用することにより、歩行道路DBを更新する(ST204)。
【0067】
(第2実施形態)
次に、第2実施形態に係るDB作成システムについて説明する。
図7は、第2実施形態に係るDB作成装置3の概略構成を示すブロック図である。なお、第2実施形態に関し、以下で特に言及しない事項については第1実施形態と同様である。また、第2実施形態では、第1実施形態と同様の構成要素について同一の符号を付すことにより、詳細な説明を省略する。
【0068】
第2実施形態では、
図7に示すように、プロセッサ16が、第1実施形態における各種の処理に加え、障害検出処理を行う。障害検出処理では、プロセッサ16は、処理対象のカメラ画像に対する画像認識処理により、カメラ画像における路面の損傷部位(ここでは、亀裂や表面の剥がれ)を障害として検出する。さらに、プロセッサ16は、路面に損傷部位に関する損害レベルを算出することができる。なお、プロセッサ16による障害検出処理では、路面の損傷部位に限らず、例えば、路面に存在する人(例えば、迷子や、身動きのとれない状態にある人物など)や、路面に放置されたゴミを障害として検出してもよい。
【0069】
図8は、第2実施形態に係るDB作成装置3による歩行道路DBの作成処理の流れを示すフロー図である。
図9は、
図4のステップST306で得られる歩行道路情報の一例を示す説明図である。
【0070】
図8に示すように、DB作成装置3は、
図4に示したステップST101~ST104とそれぞれ同様のステップST301~ST304を実行する。続いて、DB作成装置3は、プロセッサ16の障害検出処理により、カメラ画像における路面の損傷部位を検出する(ST305)。このとき、DB作成装置3は、路面の損害レベルを、カメラ画像における路面全体の面積において損傷部位の面積が占める割合として算出することができる。
【0071】
続いて、DB作成装置3は、プロセッサ16の情報取得処理により、歩行道路情報を取得し、その歩行道路情報に対してステップST305において検出した障害に関する情報(以下、障害情報という。)を対応づけて歩行道路DBに記憶する(ST306)。この歩行道路DBによって、歩行道路に存在する障害の状況を、歩行道路データベースを利用する歩行者や歩行道路データベースの管理者に容易に認識させることができる。
【0072】
歩行道路情報では、例えば
図9に示すように、画像ID(識別番号)、処理対象のカメラ画像のデータ、それに対応する路面の位置情報(ここでは、緯度、経度のデータ)、及び障害情報としての路面の損害レベルが対応づけられる。なお、上述のようにプロセッサ16の障害検出処理により、路面に存在する人や、路面に放置されたゴミが障害として検出される場合には、歩行道路情報に対応付けられる障害情報には、それらの存在の有無に関する情報が含まれる。
【0073】
その後、DB作成装置3は、
図4に示したステップST106およびST107とそれぞれ同様のステップST307およびST308を実行する。
【0074】
(第3実施形態)
次に、第3実施形態に係るDB作成システムについて説明する。
図10は、第3実施形態に係るDB作成装置3の概略構成を示すブロック図である。なお、第3実施形態に関し、以下で特に言及しない事項については第1実施形態と同様である。また、第3実施形態では、第1形態と同様の構成要素について同一の符号を付すことにより、詳細な説明を省略する。
【0075】
第3実施形態では、
図10に示すように、プロセッサ16が、第1実施形態における各種の処理に加え、誘導物検出処理および誘導物情報マッピング処理を行う。
【0076】
誘導物検出処理では、プロセッサ16は、処理対象のカメラ画像に対する画像認識処理により、カメラ画像における点字ブロック(ここでは、誘導ブロック、警告ブロックを含む)を検出する。なお、プロセッサ16は、誘導物検出処理において、点字ブロックに限らず、歩行道路を利用する歩行者を誘導する目的で設置された他の誘導物を検出することができる。そのような誘導物としては、例えば、歩行者が利用すべき正規の経路(例えば、登山道)を示す案内パネルが挙げられる。
【0077】
また、誘導物情報マッピング処理では、プロセッサ16は、歩行道路を含む地図情報を取得し、誘導物検出処理によって検出した誘導物に関する情報(以下、誘導物情報という。)を、その地図情報に対して付加する。これにより、歩行道路を含む地図情報に対する誘導物の情報の付加を、簡易な処理によって実現することができる。
【0078】
図11は、第3実施形態に係るDB作成装置3による歩行道路DBの作成処理の流れを示すフロー図である。
図12は、
図11のステップST406で得られる歩行道路情報の一例を示す説明図である。
図13は、
図11のステップST409で得られる地図情報の一例を示す説明図である。
【0079】
図11に示すように、DB作成装置3は、
図4に示したステップST101~ST104とそれぞれ同様のステップST401~ST404を実行する。続いて、DB作成装置3は、プロセッサ16の誘導物検出処理により、カメラ画像における路面に存在する誘導物(ここでは、点字ブロック)を検出する(ST405)。
【0080】
続いて、DB作成装置3は、プロセッサ16の情報取得処理により、歩行道路情報を取得し、その歩行道路情報に対してステップST405において検出した誘導物情報を対応づけて歩行道路DBに記憶する(ST406)。歩行道路情報では、例えば
図12に示すように、画像ID(識別番号)、処理対象のカメラ画像のデータ、それに対応する路面の位置情報(ここでは、緯度、経度のデータ)、並びに誘導物情報としての誘導物の種類(ここでは、誘導ブロックまたは警告ブロック)及び誘導物の数が対応づけられる。なお、上述のようにプロセッサ16の誘導物検出処理により、案内用のパネルが誘導物として検出される場合には、歩行道路情報に対応付けられる誘導物情報には、それらの種類や数に関する情報が含まれる。
【0081】
その後、DB作成装置3は、
図4に示したステップST106およびST107とそれぞれ同様のステップST407およびST408を実行する。さらに、DB作成装置3は、プロセッサ16の誘導物情報マッピング処理により、歩行道路を含む地図情報に対して誘導物情報を付加する(ST409)。ステップST409では、DB作成装置3は、予めメモリ14に記憶された汎用の地図情報を用いることができる。
【0082】
ステップST409において誘導物情報を付加された地図情報では、例えば
図13に示すように、地図中の歩行道路において点字ブロック(誘導ブロック、警告ブロック)が設置された位置が表示される。
【0083】
(第4実施形態)
次に、第4実施形態に係るDB作成システムについて説明する。
図14は、第4実施形態に係るDB作成装置3の概略構成を示すブロック図である。なお、第4実施形態に関し、以下で特に言及しない事項については第1実施形態と同様である。また、第4実施形態では、第1形態と同様の構成要素について同一の符号を付すことにより、詳細な説明を省略する。
【0084】
第4実施形態では、
図14に示すように、プロセッサ16が、第1実施形態における各種の処理に加え、エリア境界検出処理を行う。エリア境界検出処理では、プロセッサ16は、処理対象のカメラ画像に対する画像認識処理により、歩行道路の周辺における所定エリア(ここでは、老人ホームの施設(敷地))の境界を検出する。さらに、プロセッサ16は、その境界に対する作業者W(歩行者)の相対位置(エリア内、エリア外)を決定することができる。これにより、歩行道路DBを利用する歩行者等(例えば、歩行する老人の介護者、歩行者が利用する施設やエリアの管理者などを含む)に対し、所定エリアからの出入りに関する注意喚起や案内などを簡易な処理によって行うことが可能となる。
【0085】
DB作成装置3では、検出対象となる所定エリアおよびそのエリアに関する位置情報(境界の位置情報を含む)が予め登録される。検出対象となる所定エリアとしては、老人ホームの施設に限らず、駅のホームや、登山道などの所望のエリアが登録され得る。
【0086】
図15は、第4実施形態に係るDB作成装置3による歩行道路DBの作成処理の流れを示すフロー図である。
図16は、
図15のステップST506で得られる歩行道路情報の一例を示す説明図である。
【0087】
図15に示すように、DB作成装置3は、
図4に示したステップST101~ST107とそれぞれ同様のステップST501~ST507を実行する。続いて、DB作成装置3は、プロセッサ16のエリア境界検出処理により、処理対象のカメラ画像に対応する路面について、所定エリアの境界を検出する(ST508)。さらに、ステップST508では、DB作成装置3は、検出した境界を基準として作業者W(歩行者)がエリア内、エリア外のいずれに位置するかを決定する。
【0088】
その後、DB作成装置3は、ステップST508で決定した位置をエリア境界情報として、メモリ14の歩行道路情報に付加することにより、歩行道路DBを更新する(ST509)。
【0089】
歩行道路情報では、例えば
図16に示すように、画像ID(識別番号)、処理対象のカメラ画像のデータ、それに対応する路面の位置情報(ここでは、緯度、経度のデータ)、及びエリア境界情報が対応づけられる。
【0090】
(第5実施形態)
次に、第5実施形態に係るDB作成システムについて説明する。
図17は、第5実施形態に係るDB作成装置3の概略構成を示すブロック図である。なお、第5実施形態に関し、以下で特に言及しない事項については第1実施形態と同様である。また、第5実施形態では、第1形態と同様の構成要素について同一の符号を付すことにより、詳細な説明を省略する。
【0091】
第5実施形態では、
図17に示すように、プロセッサ16が、第1実施形態における各種の処理に加え、勾配情報マッピング処理を行う。勾配情報マッピング処理では、プロセッサ16は、歩行道路DBにおける各カメラ画像に対応する路面の位置情報に基づき、歩行道路の所定範囲における勾配を算出する。さらに、プロセッサ16は、歩行道路を含む地図情報を取得し、算出した勾配の情報をその地図情報に対して付加する。これにより、DB作成装置3は、歩行道路の勾配の情報を、当該歩行道路を含む地図情報に対して簡易な処理によって付加することができる。
【0092】
図18は、第5実施形態に係るDB作成装置3による歩行道路DBの作成処理の流れを示すフロー図である。
図19は、
図18のステップST605で得られる歩行道路情報の一例を示す説明図である。
図20は、
図18のステップST608で得られる地図情報の一例を示す説明図である。
【0093】
図18に示すように、DB作成装置3は、
図4に示したステップST101~ST107とそれぞれ同様のステップST601~ST607を実行する。ただし、DB作成装置3は、ステップST604において、プロセッサ16の位置推定処理により、水平方向の移動量に加えて高度(高さ方向の移動)に基づき路面の位置が推定され、その位置情報(緯度、経度、高度のデータ)を取得する。これにより、DB作成装置3は、ステップST605において、例えば
図19に示すように、歩行道路情報に高度を含む位置情報を記憶する。
【0094】
その後、DB作成装置3は、プロセッサ16の勾配情報マッピング処理により、歩行道路の所定範囲における勾配を算出し、地図情報に対してその勾配の情報を付加する(ST608)。
【0095】
ステップST608において勾配の情報を付加された地図情報では、例えば
図20に示すように、地図中の歩行道路において勾配の情報(勾配があることを示す記号およびその勾配の大きさ)が表示される。
【0096】
(第6実施形態)
次に、第6実施形態に係るDB作成システムについて説明する。
図21は、第6実施形態に係るDB作成装置3の概略構成を示すブロック図である。なお、第6実施形態に関し、以下で特に言及しない事項については第1実施形態と同様である。また、第6実施形態では、第1形態と同様の構成要素について同一の符号を付すことにより、詳細な説明を省略する。
【0097】
第6実施形態では、
図21に示すように、DB作成装置3には、カメラ11の移動速度を検出可能なセンサが更に設けられる。ここでは、DB作成装置3は、加速度センサ17と、ジャイロセンサ18とを備える。
【0098】
加速度センサ17は、DB作成装置3(または作業者Wの身体)に発生する加速度を検出する。ジャイロセンサ18は、DB作成装置3に発生する角速度を検出する。なお、DB作成装置3は、その他のモーションセンサが設けられてもよい。
【0099】
また第6実施形態では、プロセッサ16が、第1実施形態における各種の処理に加え、情報再取得処理を行う。情報再取得処理では、プロセッサ16は、カメラ11(作業者W)の移動速度が、予め設定された速度上限を超えているか否かを判定し、速度上限を超えている場合には、作業者Wに対して、歩行道路情報の再取得を指示するための処理を実行する。DB作成装置3は、歩行道路情報の再取得を指示するための処理として、自装置に設けられたスピーカ(図示せず)からの音声出力および表示部12への情報表示(画像出力)の少なくとも一方を行うことができる。これにより、DB作成装置3は、カメラ11(すなわち、それを操作する作業者W)の移動速度が過度に大きいことに起因して、歩行道路情報を適切に取得できない可能性がある場合に、作業者に歩行道路情報の再取得を指示することにより、歩行道路情報を適切にすることが可能となる。
【0100】
図22は、第6実施形態に係るDB作成装置3による歩行道路DBの作成処理の流れを示すフロー図である。
【0101】
図22に示すように、DB作成装置3は、
図4に示したステップST101~ST104とそれぞれ同様のステップST701~ST704を実行する。続いて、DB作成装置3は、プロセッサ16の情報再取得処理により、カメラ11(作業者W)の移動速度が、予め設定された速度上限を超えている場合には、作業者Wに対して、歩行道路情報の再取得を指示するための処理を実行する(ST705)。なお、ステップST705では、DB作成装置3は、カメラ11の移動速度に関する判定の代わりに、ステップST704で位置情報が適切に取得されているか否かを判定し、位置情報が適切に取得されていない場合に、作業者Wに対して、歩行道路情報の再取得を指示するための処理を実行することもできる。同様に、DB作成装置3は、ステップST702でカメラ11の撮影に手ぶれが生じているか否かを判定し、手ぶれが生じている場合に、作業者Wに対して、歩行道路情報の再取得を指示するための処理を実行してもよい。
【0102】
その後、DB作成装置3は、
図4に示したステップST105~ST107とそれぞれ同様のステップST706~ST708を実行する。
【0103】
図23は、
図22のステップST705で行われる情報再取得処理の詳細を示すフロー図である。
【0104】
情報再取得処理では、DB作成装置3は、歩行道路データベース作成(歩行道路情報の取得)の開始時に、目標移動速度を報知する(ST801)。これにより、作業者Wは、自身の歩行速度の目安を得ることができる。目標移動速度の報知はDB作成装置3に設けられたスピーカ(図示せず)からの音声出力および表示部12への情報表示の少なくとも一方を行うことができる。
【0105】
続いて、DB作成装置3は、カメラ11(作業者W)の移動速度が、予め設定された速度上限を超えている場合(ST802でYes)、作業者Wに対して、歩行道路情報の再取得を指示するための処理を実行する(ST803)。この場合、DB作成装置3は、作業者Wに対して所定位置(歩行道路情報の再取得を必要とする位置)まで戻るように指示することができる。また、DB作成装置3は、カメラ11の撮影において手ぶれが発生している場合(ST804でYes)、作業者Wに対して、歩行道路情報の再取得を指示するための処理を実行する(ST803)。さらに、DB作成装置3は、処理対象のカメラ画像に対応する路面の位置情報が適切に取得されていない場合(ST805でYes)、作業者Wに対して、歩行道路情報の再取得を指示するための処理を実行する(ST803)。なお、DB作成装置3は、ステップST802、ST804、及びST805の少なくとも1つを実行すればよい。
【0106】
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。例えば、第2から第6実施形態は、それぞれの処理を阻害しない限りにおいて適宜組み合わせて実施され得る。
【産業上の利用可能性】
【0107】
本開示に係る歩行道路データベースの作成装置および作成方法は、歩行道路を撮影したカメラ画像およびそれに対応する位置情報を効率的に収集することができる効果を有し、歩行者が通行する歩行道路を撮影したカメラ画像およびそれに対応する位置情報を含む歩行道路データベースの作成装置および作成方法などとして有用である。
【符号の説明】
【0108】
1 :歩行道路データベース作成システム
3 :歩行道路データベースの作成装置
5 :路側機
11:カメラ
12:表示部
13:入力部
14:メモリ
15:ITS通信部
16:プロセッサ
17:加速度センサ
18:ジャイロセンサ