IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社 プロネットの特許一覧

特許7539178情報処理システムおよび情報処理プログラム
<>
  • 特許-情報処理システムおよび情報処理プログラム 図1
  • 特許-情報処理システムおよび情報処理プログラム 図2
  • 特許-情報処理システムおよび情報処理プログラム 図3
  • 特許-情報処理システムおよび情報処理プログラム 図4
  • 特許-情報処理システムおよび情報処理プログラム 図5
  • 特許-情報処理システムおよび情報処理プログラム 図6
  • 特許-情報処理システムおよび情報処理プログラム 図7
  • 特許-情報処理システムおよび情報処理プログラム 図8
  • 特許-情報処理システムおよび情報処理プログラム 図9
  • 特許-情報処理システムおよび情報処理プログラム 図10
  • 特許-情報処理システムおよび情報処理プログラム 図11
  • 特許-情報処理システムおよび情報処理プログラム 図12
  • 特許-情報処理システムおよび情報処理プログラム 図13
  • 特許-情報処理システムおよび情報処理プログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-15
(45)【発行日】2024-08-23
(54)【発明の名称】情報処理システムおよび情報処理プログラム
(51)【国際特許分類】
   G08G 1/00 20060101AFI20240816BHJP
   G06Q 50/26 20240101ALI20240816BHJP
【FI】
G08G1/00 A
G06Q50/26
【請求項の数】 11
(21)【出願番号】P 2023044561
(22)【出願日】2023-03-20
(65)【公開番号】P2023143828
(43)【公開日】2023-10-06
【審査請求日】2024-04-09
(31)【優先権主張番号】P 2022046628
(32)【優先日】2022-03-23
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】507328173
【氏名又は名称】株式会社 プロネット
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】金子 眞己
【審査官】秋山 誠
(56)【参考文献】
【文献】特開2019-028939(JP,A)
【文献】特開2021-107683(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00
G06Q 50/26
(57)【特許請求の範囲】
【請求項1】
道路の上方を移動する動画撮影機器により撮影された前記道路の動画ファイルを取得し、前記動画ファイルから複数のフレームを抽出することで、前記道路の複数の場所でそれぞれ撮影された複数の道路画像を取得する道路画像取得手段と、
前記動画撮影機器の種別を識別するか、又は、前記動画ファイルのファイル形式を識別し、前記種別又はファイル形式の識別結果に基づいて、撮影が行われた前記複数の場所にそれぞれ対応する位置情報が存在する前記動画ファイル内の個所を特定する位置情報個所特定手段と、
前記動画ファイル内の特定された前記個所から、前記複数の場所のそれぞれの位置情報を取得する位置情報取得手段と、
前記複数の道路画像を用いて、前記複数の場所における路面標示の状況をそれぞれ評価して評価結果を生成する評価手段と、
前記道路の前記複数の場所の各々の前記評価結果と前記位置情報を表示するグラフィカルユーザインタフェース(GUI)をユーザに提供するGUI手段と、
を備えた情報処理システム。
【請求項2】
道路の上方を移動する動画撮影機器により撮影された前記道路の動画ファイルを取得し、前記動画ファイルから複数のフレームを抽出することで、前記道路の複数の場所でそれぞれ撮影された複数の道路画像を取得する道路画像取得手段と、
前記動画ファイルから、前記複数の場所のそれぞれの位置情報を取得する位置情報取得手段と、
前記複数の道路画像を用いて、前記複数の場所における路面標示の状況をそれぞれ評価して評価結果を生成する評価手段と、
前記道路の前記複数の場所の各々の前記評価結果を表示するグラフィカルユーザインタフェース(GUI)をユーザに提供するGUI手段と、を備え、
前記複数の道路画像の各々から前記路面標示の画像を抽出し、抽出された前記路面標示の画像が前記路面標示を斜め方向から視た画像である場合、前記斜め方向から視た画像を、前記路面標示を真上から見た平面画像に変換する画像変換手段をさらに備え、
前記評価手段が、前記路面標示の前記平面画像を用いて、前記路面標示の状況を評価する、
情報処理システム。
【請求項3】
前記GUI手段が、前記複数の場所の各々における前記路面標示の前記平面画像を表示するGUIを前記ユーザに提供する、
請求項2記載の情報処理システム。
【請求項4】
道路の上方を移動する動画撮影機器により撮影された前記道路の動画ファイルを取得し、前記動画ファイルから複数のフレームを抽出することで、前記道路の複数の場所でそれぞれ撮影された複数の道路画像を取得する道路画像取得手段と、
前記動画ファイルから、前記複数の場所のそれぞれの位置情報を取得する位置情報取得手段と、
前記複数の道路画像を用いて、前記複数の場所における路面標示の状況をそれぞれ評価して評価結果を生成する評価手段と、
前記道路の前記複数の場所の各々の前記評価結果を表示するグラフィカルユーザインタフェース(GUI)をユーザに提供するGUI手段と、を備え、
前記GUI手段が、前記ユーザからの場所の指定を受けて、前記ユーザに指定された場所に対応する再生時刻から前記動画ファイルを再生し表示するGUIを前記ユーザに提供する、
情報処理システム。
【請求項5】
道路の上方を移動する動画撮影機器により撮影された前記道路の動画ファイルを取得し、前記動画ファイルから複数のフレームを抽出することで、前記道路の複数の場所でそれぞれ撮影された複数の道路画像を取得する道路画像取得手段と、
前記動画ファイルから、前記複数の場所のそれぞれの位置情報を取得する位置情報取得手段と、
前記複数の道路画像を用いて、前記複数の場所における路面標示の状況をそれぞれ評価して評価結果を生成する評価手段と、
前記道路の前記複数の場所の各々の前記評価結果を表示するグラフィカルユーザインタフェース(GUI)をユーザに提供するGUI手段と、を備え、
前記GUI手段が、前記複数の場所の各々における前記道路画像を表示し、かつ、評価対象の前記路面標示が前記道路画像内の何処であるかを示す図形を前記道路画像上に表示するGUIを前記ユーザに提供する、
情報処理システム。
【請求項6】
道路の上方を移動する動画撮影機器により撮影された前記道路の動画ファイルを取得し、前記動画ファイルから複数のフレームを抽出することで、前記道路の複数の場所でそれぞれ撮影された複数の道路画像を取得する道路画像取得手段と、
前記動画ファイルから、前記複数の場所のそれぞれの位置情報を取得する位置情報取得手段と、
前記複数の道路画像を用いて、前記複数の場所における路面標示の状況をそれぞれ評価して評価結果を生成する評価手段と、
前記道路の前記複数の場所の各々の前記評価結果を表示するグラフィカルユーザインタフェース(GUI)をユーザに提供するGUI手段と、を備え、
前記複数の場所のそれぞれの前記位置情報と前記評価結果と前記道路画像とを互いに関連付けて記録した状況登録データを有する状況登録手段をさらに備え、
前記GUI手段が、
前記状況登録データ内の前記複数の場所の前記位置情報と前記評価結果を用いて、前記道路における前記路面標示の状況を地図形式で表した地図を表示するGUIを前記ユーザに提供し、
前記状況登録データ内の各場所の前記位置情報と前記道路画像とを用いて、前記各場所の前記道路画像を前記地図に関係させて表示するGUIを前記ユーザに提供する、
情報処理システム。
【請求項7】
前記複数の道路画像の各々から前記路面標示の画像を抽出し、抽出された前記路面標示の画像が前記路面標示を斜め方向から視た画像である場合、前記斜め方向から視た画像を、前記路面標示を真上から見た平面画像に変換する画像変換手段をさらに備え、
前記状況登録データは、前記複数の場所の各々の前記位置情報と前記評価結果と前記道路画像と前記路面標示の前記平面画像とを互いに関連付けて記録している、
請求項6記載の情報処理システム。
【請求項8】
前記GUI手段が、前記状況登録データを用いて、各場所の前記路面標示の前記平面画像を、前記各場所の前記位置情報、前記評価結果、前記道路画像、又は、前記地図に関係させて表示するGUIを前記ユーザに提供する、
請求項7記載の情報処理システム。
【請求項9】
前記状況登録データを外部に出力するデータ出力手段をさらに備えた請求項7に記載の情報処理システム。
【請求項10】
道路の上方を移動する動画撮影機器により撮影された前記道路の動画ファイルを取得し、前記動画ファイルから複数のフレームを抽出することで、前記道路の複数の場所でそれぞれ撮影された複数の道路画像を取得する道路画像取得手段と、
前記動画ファイルから、前記複数の場所のそれぞれの位置情報を取得する位置情報取得手段と、
前記複数の道路画像を用いて、前記複数の場所における路面標示の状況をそれぞれ評価して評価結果を生成する評価手段と、
前記道路の前記複数の場所の各々の前記評価結果を表示するグラフィカルユーザインタフェース(GUI)をユーザに提供するGUI手段と、を備え、
前記動画ファイルを提供した者に、前記動画ファイルの有効性に応じた報酬を付与する報酬付与手段を、さらに備える、
情報処理システム。
【請求項11】
情報処理装置のコンピュータで実行される情報処理プログラムであって、前記コンピュータを、請求項1乃至10のいずれか1つに記載の情報処理システムとして機能させる、情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システムおよび情報処理プログラムに関し、特に例えば、道路上に書かれた路面標示を管理する処理を行う情報処理システムおよび情報処理プログラムに関する。
【背景技術】
【0002】
従来、車載カメラから撮像された画像を、地図上で閲覧できる地図アプリケーションがある(例えば、非特許文献1)。上記非特許文献1に記載された地図アプリケーションを実行することにより、地図上で指定した位置に対応する実世界の画像を、パーソナルコンピュータ等を用いて閲覧することができる。
【先行技術文献】
【非特許文献】
【0003】
【文献】”Googleマップ“、[online]、[令和4年3月16日検索]、インターネット(URL:https://www.google.co.jp/maps)
【発明の概要】
【発明が解決しようとする課題】
【0004】
道路上には、規制標示や指示標示を行うための路面標示が書かれていることが多いが、経年劣化等により当該路面標示が消えたりかすれたりすることがある。しかしながら、このような路面標示の劣化に起因する路面標示の改修工事は、住民からの情報に基づいて行われる場合が多い。また、上記非特許文献1に記載された地図アプリケーションを用いて、道路上に書かれた路面標示を確認したとしても、劣化箇所を見つけることは非常に困難であり非効率な作業となる。
【0005】
それ故に、本発明の目的は、道路上の路面標示の状況を容易に把握することができる情報処理システムおよび情報処理プログラムを提供することである。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明は例えば以下のような構成を採用し得る。なお、特許請求の範囲の記載を解釈する際に、特許請求の範囲の記載によってのみその範囲が解釈されるべきであることが理解され、特許請求の範囲の記載と本欄の記載とが矛盾する場合には、特許請求の範囲の記載が優先する。
【0007】
本発明の情報処理システムの一構成例は、画像情報所得手段、画像認識手段、分類手段、および出力手段を備える。画像情報所得手段は、複数の装置から、実世界を撮像した画像情報をそれぞれ取得する。画像認識手段は、画像情報において撮像されている道路上に、路面標示が書かれている状況を画像認識する。分類手段は、撮像されている道路を状況に基づいて分類する。出力手段は、所定の区域内に設けられている各道路の状況を、分類に基づいて出力する。
【0008】
上記によれば、区域内に設けられている道路上に書かれている路面標示の状況を容易に把握することができる。
【0009】
また、上記画像情報は、撮像された実世界の位置情報を含んでもよい。上記出力手段は、位置情報に対応する地図上の道路を分類に基づいて区別した地図情報を出力してもよい。
【0010】
上記によれば、路面標識の状況とともにその状況が生じている位置を一目で把握することができる。
【0011】
また、上記情報処理システムは、付与手段を、さらに備えてもよい。報酬付与手段は、取得した画像情報に応じて、当該画像情報を出力した装置のユーザに報酬を付与する。
【0012】
上記によれば、多数のユーザからの情報を効率的に集約することができる。
【0013】
また、上記報酬付与手段は、分類前の道路に関する画像情報を出力した装置のユーザに報酬を付与してもよい。
【0014】
上記によれば、有効な情報を提供したユーザに優先的に報酬を付与することができる。
【0015】
また、上記情報処理システムは、更新手段を、さらに備えてもよい。更新手段は、出力手段が出力する内容を、所定周期で更新する。
【0016】
上記によれば、路面標示の変化に対応した情報を出力することができる。
【0017】
また、上記情報処理システムは、元来情報取得手段を、さらに備えてもよい。元来情報取得手段は、区域内に設けられている各道路に書かれている元来の路面標示を示す情報を取得する。この場合、上記分類手段は、元来の路面標示との比較に基づいて、撮像されている道路の状況を分類してもよい。
【0018】
上記によれば、元来の路面標示からの変化に基づいた当該路面標示の状況を把握することができる。
【0019】
本発明の情報処理システムの一構成例は、道路上の複数の場所をそれぞれ撮影した複数の道路画像を取得する道路画像取得手段と、複数の場所のそれぞれの位置情報を取得する位置情報取得手段と、複数の道路画像を用いて、複数の場所における路面標示の状況をそれぞれ評価して評価結果を生成する評価手段と、複数の場所のそれぞれの位置情報と評価結果と道路画像とを互いに関連付けられて記録した状況登録データを有する状況登録手段と、状況登録データを用いて、道路の複数の場所の評価結果を表示したグラフィカルユーザインタフェース(GUI)をユーザに提供するGUI手段とを備える。そして、上記GUI手段が、状況登録データ内の複数の場所の位置情報と評価結果を用いて、道路における路面標示の状況を地図形式で表した地図をGUIに表示する地図表示手段と、状況登録データ内の各場所の位置情報と道路画像とを用いて、各場所の道路画像を上記地図に関係させてGUIに表示する道路画像表示手段とを有する。
【0020】
このように構成された情報処理システムによれば、GUI上でユーザは、道路の路面標示の劣化度などの状況の評価結果を地図形式で見れるだけでなく、任意の場所の道路画像を見てより具体的に認識することができる。これは、特に道路管理や道路補修を行うユーザにとって便利である。
【0021】
本発明の情報処理システムの一構成例は、道路上の複数の場所の路面標示をそれぞれ撮影した複数の路面標示画像を取得する路面標示画像取得手段と、複数の場所のそれぞれの位置情報を取得する位置情報取得手段と、複数の路面標示画像を用いて、複数の場所における路面標示の状況をそれぞれ評価して評価結果を生成する評価手段と、複数の場所のそれぞれの位置情報と評価結果と路面標示画像とを互いに関連付けられて記録した状況登録データを有する状況登録手段と、状況登録データを用いて、道路の複数の場所の評価結果を表示したグラフィカルユーザインタフェース(GUI)をユーザに提供するGUI手段とを備える。そして、上記GUI手段が、状況登録データ内の複数の場所の位置情報と評価結果を用いて、道路における路面標示の状況を地図形式で表した地図をGUIに表示する地図表示手段と、状況登録データ内の各場所の位置情報と路面標示画像とを用いて、各場所の路面標示画像を上記地図に関係させてGUIに表示する道路画像表示手段とを有する。
【0022】
このように構成された情報処理システムによれば、GUI上でユーザは、道路の路面標示の劣化度などの状況の評価結果を地図形式で見れるだけでなく、任意の場所の路面標示画像を見てより具体的に認識することができる。これは、特に道路管理や道路補修を行うユーザにとって便利である。
【0023】
上記情報処理システムは、状況登録データを外部に出力するデータ出力手段をさらに備えてよい。これにより、ユーザは、道路上の複数の場所のそれぞれの位置情報と評価結果と道路画像(または、路面標示画像)とが互いに関連付けられて記録された状況登録データを入手できる。そして、ユーザは、入手した状況登録データを利用することで、道路の路面標示の評価、および/または、補修工事の計画書や見積書の作成、等の作業を、従来に比べてより容易、より正確、又はより詳細に行うことが可能になる。
【0024】
また、本発明は、情報処理プログラムの形態で実施されてもよい。
【発明の効果】
【0025】
本発明によれば、区域内に設けられている道路上に書かれている路面標示の状況を容易に把握することができる。
【図面の簡単な説明】
【0026】
図1】路面標示管理システム1の構成の一例を示すブロック図
図2】サーバ200の構成の一例を示すブロック図
図3】各ユーザのパーソナルコンピュータ20からサーバ200にアップロードされたデータの一例を示す図
図4】路面標示の状況に基づいて、道路を分類したデータの一例を示す図
図5】地図上の道路を路面標示の状況に基づいて区分して表示する一例を示す図
図6】所定の区域内に設けられている各道路の路面標示の状況を示す出力情報の一例を示す図
図7】サーバ200の記憶部203に記憶される主なデータおよびプログラムの一例を示す図
図8】サーバ200において実行される処理の一例を示すフローチャート
図9】サーバ200において実行される処理の一例を示すフローチャートであり、特に、路面標示の一種である区画線(いわゆる白線)を例にとり、白線の劣化度を判定する処理の一例を示す図
図10図9に示された処理に引き続く処理の一例を示すフローチャート
図11図9のステップS310を説明するための道路画像の一例を示す図
図12図9図10の処理により作成されるデータ構造の一例を示す図
図13】サーバ200において実行されるデータ表示のための処理の一例を示すフローチャート
図14図13の処理によりスクリーンに表示されるGUIの一例を示す図
【発明を実施するための形態】
【0027】
図1を参照して、本発明の一実施例に係る路面標示管理システムについて説明する。なお、図1は、路面標示管理システム1の構成の一例を示すブロック図である。
【0028】
図1に示すように、路面標示管理システム1は、複数のパーソナルコンピュータ20およびサーバ200が、ネットワーク100を介して接続されて構築される。そして、一部のパーソナルコンピュータ20のユーザは、例えば、自動車で道路を走行しながら道路の動画を撮影する人たち(道路運送業者、一般人、等)である。そのようなユーザの各パーソナルコンピュータ20は、それぞれ、道路の動画を撮影する機器、例えばドライブレコーダ10から出力されるデータが入力される。別のパーソナルコンピュータ20のユーザは、例えば道路や路面標示の状況を把握したい人たち、典型例をあげれば、道路や路面標示の管理や補修等に関わる人たち(道路工事を発注する役所、道路工事を請け負う業者、交通安全に関わる警察、等)である。
【0029】
パーソナルコンピュータ20は、無線または有線通信を用いて、ネットワーク100に接続可能に構成され、サーバ200との間でクライアント-サーバシステムを構成している。例えば、パーソナルコンピュータ20は、所定のアプリケーション(例えば、動画データアップロードアプリケーション)の実行が可能である。また、パーソナルコンピュータ20は、上記所定のアプリケーションを実行することによって、ネットワーク100を介して、サーバ200と接続を確立して、サーバ200との通信が可能となる。例えば、パーソナルコンピュータ20は、交換可能なメモリカードや光ディスク等の記憶媒体内に記憶され、または、他の装置から受信した情報処理プログラムを実行可能である。パーソナルコンピュータ20は、一般的なパーソナルコンピュータの他、スマートフォン、携帯電話機、タブレット、携帯ゲーム機、PDA(Personal Digital As sistant)等のデバイスであってもかまわない。
【0030】
ドライブレコーダ10は、走行中の車外映像や音声等を記録する自動車用の車載装置であり、各パーソナルコンピュータ20のユーザが使用する車両に取り付けられている。例えば、ドライブレコーダ10は、常時録画型であり、走行中の車外映像が常に録画されて SDカード等の記憶媒体に動画データとして記録される。また、ドライブレコーダ10は、映像の記録とともに、車載されている車両の位置(例えば、撮像した車両の経度緯度)や時刻等のGPS情報の受信が可能であり、当該映像の動画データとともに上記記憶媒体に記録される。このように記録された動画データおよび当該動画データが撮像された車両の位置を示すGPS情報(位置情報)は、ドライブレコーダ10で記録された記憶媒体をパーソナルコンピュータ20で読み込むことにより、各ユーザがパーソナルコンピュータ 20に取り込むことができる。なお、動画データが撮像された車両の位置を示す位置情報は、動画フレーム毎に記録されてもよいし、所定の周期毎に記録されてもよい。
【0031】
次に、図2を参照して、本発明の情報処理システムの一例であるサーバ200について説明する。なお、図2は、サーバ200の構成の一例を示すブロック図である。
【0032】
図2に示すように、サーバ200は、通信部201、制御部202、および記憶部20 3を有している。通信部201は、通信パケットの送受信を行うことで、ネットワーク1 00を介してパーソナルコンピュータ20等と通信を行う。一例として、制御部202は、パーソナルコンピュータ20からアップロードされるデータを管理する処理、アップロードされたデータを解析する処理、解析されたデータを登録する処理、登録されたデータに基づいた情報を出力する処理、登録されたデータを更新する処理、ユーザに与える報酬を管理する処理のほか、通信部201を介してパーソナルコンピュータ20等との通信リンクを確立し、ネットワーク100におけるデータ搬送制御や経路選択を行う。記憶部2 03は、制御部202で実行されるプログラム、上記処理に必要な各種データ、パーソナルコンピュータ20との通信に必要な各種データ等が記憶される。なお、ネットワーク1 00を用いたデータ送受信に所定のログイン処理が必要なシステムである場合、当該ログインしようとしているユーザが正規のユーザか否かを判別する認証処理をサーバ200において行ってもかまわない。この場合、ユーザのアカウントデータが記憶部203に記憶されてもよい。また、サーバ200は、単一のサーバマシンから構成されてもいいし、複数のサーバマシンによって構成されてもよい。
【0033】
路面標示管理システム1においては、各ユーザのドライブレコーダ10で録画された動画データおよび当該録画された位置を示す位置情報が、ドライブレコーダ10の記憶媒体を介してパーソナルコンピュータ20に取り込まれる。そして、ネットワーク100を介して、パーソナルコンピュータ20のユーザが取り込まれた動画データおよび位置情報をサーバ200にアップロードすることにより、各ユーザの動画データおよび位置情報がサーバ200に集約される。サーバ200に集約された情報は、所定操作に応じて、所定のフォーマットで出力することができる。
【0034】
次に、サーバ200が行う具体的な処理を説明する前に、図3図6を用いて路面標示管理システム1において扱われるデータや処理の概要について説明する。なお、図3は、各ユーザのパーソナルコンピュータ20からサーバ200にアップロードされたデータの一例を示す図である。図4は、路面標示の状況に基づいて、道路を分類したデータの一例を示す図である。図5は、地図上の道路を路面標示の状況に基づいて区分して表示する一例を示す図である。図6は、所定の区域内に設けられている各道路の路面標示の状況を示す出力情報の一例を示す図である。
【0035】
図3において、サーバ200では、各ユーザのパーソナルコンピュータ20からアップロードされたデータが記憶される。上述したように、各ユーザは、ドライブレコーダ10で録画された動画データおよび当該録画された位置を示す位置情報を、パーソナルコンピュータ20を用いてサーバ200にアップロードする。例えば、サーバ200にデータをアップロードすることができるユーザは、アカウント登録されてもよく、サーバ200においてはデータをアップロードしたユーザのアカウントやユーザID等を用いて、データの提供者が登録される。
【0036】
例えば、サーバ200において、データをアップロードしたユーザのアカウントと関連付けて、当該ユーザがアップロードした動画データおよび位置情報が記憶される。例えば、図3の例では、ユーザAがアップロードした動画データAおよび位置情報AがユーザAのアカウントと関連付けて記憶され、ユーザBがアップロードした動画データBおよび位置情報BがユーザBのアカウントと関連付けて記憶され、ユーザCがアップロードした動画データCおよび位置情報CがユーザCのアカウントと関連付けて記憶されたデータが示されている。また、サーバ200は、ユーザがアップロードした動画データに撮像されている道路の総距離を当該動画データが撮像された位置情報を用いて算出し、当該総距離を当該ユーザの提供距離として当該ユーザのアカウントに関連付けて記憶する。なお、上記提供距離は、後述する路面標示の状況を登録するために用いられた分の道路の距離(すなわち、当該登録に用いられなかった道路の距離を上記総距離から除いた距離)であってもよい。
【0037】
サーバ200は、アップロードされた動画データの画像認識処理を行う。上述したように、ユーザからアップロードされた動画データは、当該ユーザの車両に車載されたドライブレコーダ10によって録画されることにより生成されており、当該車両周辺の道路も被写体として撮像されている。サーバ200は、上記動画に撮像されている道路に書かれた路面標示を認識して、当該路面標示が書かれている状態を解析する。一例として、サーバ 200は、画像から白線等の検出が可能なライブラリ(例えば、OpenCV)を実行することにより、撮像された道路上に白線や黄線等で書かれた路面標示を検出する画像認識処理を行う。
【0038】
ここで、上記画像認識処理で検出対象となる路面標示は、ペイント、石、道路鋲等により道路上に書かれる線、文字、記号等であり、道路標示と区画線(一部の区画線は道路標示とみなされる)とを少なくとも含んでいる。道路標示は、特定の通行方法を制限または指定する目的で設置される規制表示(転回禁止、進路変更禁止、最高速度、路側帯等)と、特定の通行方法ができることや、その区間・場所の道路交通法上の意味、通行すべき道路の部分などを示す目的で設置される指示標示(横断歩道、停止線、中央線、車線境界線、安全地帯、導流帯等)とに分類される。また、区画線は、車道中央線、車線境界線、車道外側線、導流帯等を含み、道路の構造の保全や交通の流れを適切に誘導する目的で設置される。
【0039】
サーバ200は、上記動画から画像認識された路面標示のかすれや欠損等を解析する。第1の例として、サーバ200は、上記動画から画像認識された白線や黄線と路面との境界が閾値より長い場合や、当該境界の色彩、明度、および/または彩度の差が閾値より小さい場合等によりかすれを検出する処理を行うことによって、路面標示におけるかすれの有無や欠損を検出する。一例として、所定のAI(Artificial Intell igence)技術を用いた画像認識を行うことにより、白線または黄線の認識精度が0%~20%を後述する「欠損」として分類し、認識精度が21%~70%を後述する「かすれ」として分類し、認識精度が71%以上を後述する「良好」として分類して、路面標示におけるかすれの有無や欠損を検出する。第2の例として、サーバ200は、上記動画が撮像された位置情報が示す実世界の位置において元来書かれているべき路面標示の情報を取得し、当該情報との比較により画像認識された路面標示との間で形状差違が認められた場合、当該差違の形状に基づいて、画像認識された路面標示におけるかすれの有無や一部欠損または全部欠損の有無を検出する。
【0040】
次に、サーバ200は、上記解析処理に基づいて、上記動画で撮像されている道路を複数段階に分類して路面標示の状況を登録する。例えば、図4に示すように、サーバ200は、路面標示にかすれも欠損もない状況を「良好」とし、路面標示に欠損はないがかすれが生じている状況を「かすれ」とし、路面標示に一部欠損または全部欠損が生じている状況を「欠損」として分類する。そして、サーバ200は、画像認識された動画が撮像された位置情報に基づいて、上記分類された道路の呼称およびその区間を設定し、当該区間に関連付けて上記分類結果を登録する。また、サーバ200は、上記分類結果が得られた動画を提供したユーザのアカウントを上記区間に関連付けて登録する。例えば、図4の例では、道路aにおける区間aがユーザAからの情報提供により「良好」状況に分類されて登録され、道路aにおける区間bがユーザAからの情報提供により「かすれ」状況に分類されて登録され、道路aにおける区間cがユーザFからの情報提供により「欠損」状況に分類されて登録されていることが示されている。また、道路bにおける区間aがユーザBからの情報提供により「かすれ」状況に分類されて登録され、道路bにおける区間bがユーザBからの情報提供により「良好」状況に分類されて登録され、道路bにおける区間cがユーザCからの情報提供により「良好」状況に分類されて登録されていることが示されている。また、道路cにおける区間aがユーザAからの情報提供により「良好」状況に分類されて登録され、道路cにおける区間bがユーザDからの情報提供により「良好」状況に分類されて登録され、道路cにおける区間cがユーザCからの情報提供により「良好」状況に分類されて登録されていることが示されている。なお、上記区間は、当該区間内が同じ分類に属するように上記分類に基づいて設定されるが、他の態様により区間が設定されてもよい。例えば、上記区間は、上記画像認識処理が行われる前から行政区分等に基づいて予め定められてもよいし、過去の分類結果に基づいて定められ区間が継続して用いられてもよい。
【0041】
本実施例においては、路面標示管理システム1は、上述した路面標示の状況を地図形式で出力してもよい。一例として、出力する地図に描かれている各道路が、上述した分類に基づいて色や線種等によって区別された地図が出力されてもよい。例えば、図5に示すように、地図上に描かれている道路における区間aおよび区間dが実線(または青線)で描かれることによって、当該区間における路面標識の状況が「良好」であることが示される。また、地図上に描かれている道路における区間bが破線(または黄線)で描かれることによって、当該区間における路面標識の状況が「かすれ」であることが示される。また、地図上に描かれている道路における区間cが一点鎖線(または赤線)で描かれることによって、当該区間における路面標識の状況が「欠損」であることが示される。
【0042】
例えば、図6に示すように、路面標示管理システム1から出力される情報は、サーバ2 00の管理者が出力する区域を指定することにより、描かれた道路が上記分類に基づいて区別された状態で、当該区域を含む地図の形式で出力される。図6の例では、サーバ20 0の管理者が所定の街を出力区域として指定することにより、道路a~eが描かれた当該街の地図が出力されている。そして、出力された地図内では、道路c~eの路面標識の状況が全区間「良好」であることが示され、道路aの路面標識の状況が一部区間「欠損」であることが示され、道路bの路面標識の状況が一部区間「かすれ」であることが示されている。このような地図形式で道路上の路面標識の状況を出力することにより、路面標識に不具合が生じている内容とともにその不具合が生じている位置を一目で把握することができる。なお、サーバ200の管理者が指定する区域は、国、地方、都道府県、市区町村、基本単位区、地域メッシュ、町丁等のほか、任意に設定可能な区画であってもよい。
【0043】
なお、第1の登録例として、路面標示の状況として登録されるデータは、当該登録される区間において最初に提供されるデータに基づくものであってもよい。この場合、路面標示の状況として登録されたデータが初期化されて削除されることにより、当該初期化後に当該初期化された区間において最初に提供されるデータに基づいて路面標示の状況が再登録されてもよい。第2の登録例として、路面標示の状況として登録されるデータは、当該登録される区間において最後に提供されるデータ(すなわち、最新の提供データ)に基づくものであってもよい。この場合、所定区間においてユーザからアップロードされた情報が重複した場合、路面標示の状況を示す情報が常に最新の情報(最後にアップロードされた情報)に更新されることになる。
【0044】
路面標示の状況として登録されるデータは、所定の条件を満たす場合に初期化されてもよい(例えば、Nullに更新されてもよい)。例えば、予め設定された初期化周期に到達した場合、路面標示の状況に関する情報を他の装置に出力する処理が行われた場合、サーバ200の管理者によって初期化する操作が行われた場合等において、路面標示の状況として登録されるデータが初期化されてもよい。また、上記初期化されるデータは、路面標示の状況として登録されているデータの一部(例えば、サーバ200の管理者が指定する区域内のデータ)が初期化されてもよいし、路面標示の状況として登録されているデータの全部が初期化されてもよい。
【0045】
また、動画データおよび位置情報をアップロードしたユーザに対して、所定の報酬(例えば、ポイント、仮想通貨、金銭等)が与えられてもよい。この場合、ユーザから提供されたデータの有効度に応じた報酬が与えられてもよい。第1の報酬付与例として、路面標示の状況の登録に採用されたデータを提供したユーザに対して、その採用された道路区間の距離(提供距離)に基づいて、当該ユーザに付与する報酬の量が調整されてもよい。第 1の報酬付与例では、上記第1の登録例と併用する場合に路面標示の状況が登録されていない区間において最初にデータを提供したユーザが報酬付与の対象となり、上記第2の登録例と併用する場合に最新のデータを提供したユーザが報酬付与の対象となる。第2の報酬付与例として、路面標示の状況が登録されていない区間において最初にデータを提供したユーザに対して、その提供された道路区間の距離(提供距離)に基づいて、当該ユーザに付与する報酬の量が調整されてもよい。第2の報酬付与例では、上記第1の登録例および上記第2の登録例の何れと併用する場合であっても、路面標示の状況が登録されていない区間において最初にデータを提供したユーザが報酬付与の対象となるため、上記第2の登録例と併用する場合は、登録に採用されたデータを提供したユーザと報酬が付与されるユーザとが異なることがあり得る。
【0046】
また、路面標示の状況に関する情報として出力される態様は、地図形式でなくてもよい。例えば、サーバ200の管理者によって指定された区域において、路面標示の状況が「良好」ではない区間が、その状況とともに列挙された文字情報や音声情報が出力されてもよい。
【0047】
サーバ200にアップロードされた動画データは、サーバ200の管理者によって再生されて見ることが可能であってもよい。このように、アップロード後に動画データを再生可能にすることにより、登録された路面標示の状況を撮像された動画で再確認することが可能となる。
【0048】
また、サーバ200にアップロードされた動画データは、所定の加工が施されてもよい。例えば、動画データにおいて撮像されている人物の顔や車両のナンバープレート等がぼかされる加工が施されてもよい。また、サーバ200にアップロードされた動画データは、他のユーザがアップロードした動画データと撮像されている道路の区間が重複した場合、路面標識の状況を登録するために採用されなかった動画データを削除してもかまわない。
【0049】
また、パーソナルコンピュータ20からアップロードされるデータは、静止画であってもよい。このように静止画がアップロードされる場合であっても、当該静止画が撮像された位置情報から当該静止画で撮像されている範囲の道路の区間を推定することができ、当該道路の区間における路面標示の状況を解析することができる。
【0050】
次に、サーバ200において行われる処理の詳細を説明する。まず、図7を参照して、サーバ200において行われる処理において用いられる主なデータについて説明する。なお、図7は、サーバ200の記憶部203に記憶される主なデータおよびプログラムの一例を示す図である。
【0051】
図7に示すように、記憶部203のデータ記憶領域には、アカウントデータDa、受信データDb、路面標示元来データDc、状況登録データDd、地図データDe、および出力データDf等が記憶される。なお、記憶部203には、図7に示すデータの他、実行するアプリケーションで用いるデータ等、処理に必要なデータが記憶される。また、記憶部 203のプログラム記憶領域には、情報処理プログラム等を構成する各種プログラム群P aが記憶される。
【0052】
アカウントデータDaは、サーバ200にデータをアップロードできる権利を有するユーザを示すデータであり、サーバ200にログインしようとしているユーザが正規のユーザか否かを判別するために用いられるデータである。
【0053】
受信データDbは、パーソナルコンピュータ20のユーザからアップロードされたデータである。
【0054】
路面標示元来データDcは、実世界の道路それぞれに元来書かれているべき路面標示の情報を示すデータであり、サーバ200の管理者によって予め準備されて登録される。
【0055】
状況登録データDdは、アップロードされた動画に基づいて登録された、実世界の道路それぞれにおける路面標示の状況を示すデータである。
【0056】
地図データDeは、サーバ200の管理者が指定可能な区域毎の地図を示すデータであり、サーバ200の管理者によって予め準備されて登録される。
【0057】
出力データDfは、サーバ200から出力されるデータであり、実世界の道路それぞれにおける路面標示の状況を示す地図情報を示すデータである。
【0058】
次に、図8を参照して、サーバ200において行われる処理の詳細を説明する。なお、図8は、サーバ200において実行される処理の一例を示すフローチャートである。ここで、図8に示すフローチャートにおいては、サーバ200における処理のうち、一例としてアップロードされるデータを登録して出力する処理について主に説明し、これらの処理と直接関連しない他の処理については詳細な説明を省略する。また、図8では、制御部2 02が実行する各ステップを「S」と略称する。
【0059】
本実施例においては、図8に示す一連の処理は、制御部202(CPU)が、記憶部203に記憶される情報処理プログラム等を実行することによって行われる。なお、図8に示す処理が開始されるタイミングは任意である。このとき、情報処理プログラムは、適宜のタイミングでその一部または全部が読み出され、制御部202によって実行される。これによって、図8に示す一連の処理が開始される。なお、情報処理プログラムは、記憶部203に予め記憶されているものとする。ただし、他の実施例においては、サーバ200に着脱可能な記憶媒体から取得されて記憶部203に記憶されてもよいし、インターネット等のネットワークを介して他の装置から取得されて記憶部203に記憶されてもよい。
【0060】
また、図8に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えておよび/または代えて別の処理が実行されてもよい。また、本実施例では、上記フローチャートの各ステップの処理を制御部202が実行するものとして説明するが、上記フローチャートにおける一部または全部のステップの処理を、上記制御部2 02のCPU以外のプロセッサや専用回路が実行するようにしてもよい。
【0061】
図8において、制御部202は、初期設定を行い(ステップS121)、次のステップに処理を進める。例えば、制御部202は、以降の処理に用いる各パラメータを初期化する。また、サーバ200の管理者により、路面標示状況の情報を出力するための地図データと、路面標示元来データDcは、実世界の道路それぞれに元来書かれているべき路面標示の情報を示すデータとが準備されて、地図データDeおよび路面標示元来データDcとしてそれぞれ格納される。
【0062】
次に、制御部202は、パーソナルコンピュータ20のユーザの認証処理を行うとともに、当該パーソナルコンピュータ20からアップロードされたデータを取得する処理を行い(ステップS122)、次のステップに処理を進める。例えば、制御部202は、アカウントデータDaを参照して、ネットワーク100を用いたデータ送受信に所定のログイン処理が必要なシステムである場合、当該ログインしようとしているユーザが正規のユーザか否かを判別する認証処理を行う。また、制御部202は、初めてサーバ200にログインするユーザである場合、当該ユーザとの間での所定の確認処理を経て、当該ユーザを正規ユーザとして当該ユーザのアカウントをアカウントデータDaに登録する。そして、制御部202は、図3を用いて説明したように、パーソナルコンピュータ20からアップロードされたデータを、当該アップロードしたユーザのアカウントと関連付けて受信データDbに格納する。
【0063】
次に、制御部202は、上記ステップS122においてアップロードされたデータの採否を判定し(ステップS123)、次のステップに処理を進める。例えば、制御部202は、アップロードされたデータに含まれる位置情報に基づいて、ユーザから提供された動画データで撮像されている道路のうち、状況登録データDdに既に路面標示状況が登録されている道路と重複していない道路に関するデータを採用し、重複している道路に関するデータを不採用とする判定を行う。そして、制御部202は、ユーザから提供された動画データで撮像されている道路のうち、上記採用する道路の距離を提供距離として算出し、受信データDbにおける当該ユーザのアップロードデータに当該提供距離を関連付けて記述する。
【0064】
次に、制御部202は、上記ステップS123における採否判定処理において、採用されるデータがあるか否かを判定する(ステップS124)。そして、制御部202は、採用されるデータがある場合、ステップS125に処理を進める。一方、制御部202は、採用されるデータがない場合、ステップS130に処理を進める。
【0065】
ステップS125において、制御部202は、報酬付与処理を行い、次のステップに処理を進める。例えば、制御部202は、採用されるデータをアップロードしたユーザに対して、上記提供距離に応じた報酬(例えば、提供距離に応じたポイント、仮想通貨、金銭等)を付与するための処理を行う。
【0066】
次に、制御部202は、採用された動画データの画像認識処理を行い(ステップS12 7)、次のステップに処理を進める。例えば、制御部202は、採用された動画データにおいて撮像されている道路に書かれた白線や黄線等の路面標示を抽出する画像認識処理を行う。
【0067】
次に、制御部202は、認識された道路上に書かれている路面標示の状況を判定する処理を行い(ステップS128)、次のステップに処理を進める。例えば、制御部202は、上記動画データから画像認識された路面標示のかすれや欠損等の状況を解析し、当該状況を複数段階(例えば、「良好」、「かすれ」、「欠損」の3段階)に分類する。なお、路面標示の状況の判定については上述されており、路面標示元来データDcが示す情報との比較等が用いられてもよいが、ここでは詳細な説明を省略する。
【0068】
次に、制御部202は、採用された動画データにおいて撮像されている道路の区間毎の路面標示の状況を登録し(ステップS129)、ステップS130に処理を進める。例えば、制御部202は、位置情報に基づいて、区間内が同じ路面標示状況の分類に属するように、採用された動画データにおいて撮像されている道路を少なくとも1つの区間に分割して当該区間を設定する。そして、制御部202は、図4を用いて説明したように、採用された動画データにおいて撮像されている道路の各区間に、上記ステップS128において判定された路面標示の状況(段階)を当てはめて、区間毎の路面標示の状況を情報提供ユーザとともに状況登録データDdに登録する。
【0069】
ステップS130において、制御部202は、路面標示の状況に関する情報を出力するか否かを判定する。例えば、制御部202は、サーバ200の管理者によって、路面標示の状況に関する情報を出力する区域を指定する操作が行われた場合、上記ステップS13 0において肯定判定する。そして、制御部202は、路面標示の状況に関する情報を出力する場合、ステップS131に処理を進める。一方、制御部202は、路面標示の状況に関する情報を出力しない場合、ステップS132に処理を進める。
【0070】
ステップS131において、制御部202は、路面標示の状況に関する情報を出力する処理を行い、ステップS132に処理を進める。例えば、制御部202は、サーバ200の管理者が指定した区域の地図を、地図データDeから抽出する。そして、制御部202は、図5および図6を用いて説明したように、状況登録データDdに登録された道路の区間毎の路面標示状況に基づいて、上記地図内の道路の路面標示状況が色や線種等によって区別されるように当該地図のデータを修正して出力データDfに格納する。出力データD fは、他の装置に出力されてもよく、例えば、プリンタに出力されて上記区別された地図として印刷されてもよいし、ディスプレイに出力されて上記区別された地図が画面表示されてもよいし、他の情報処理装置に転送されて利用されてもよい。
【0071】
ステップS132において、制御部202は、登録データの初期化を行うか否かを判定する。例えば、制御部202は、予め設定された初期化周期に到達した場合、路面標示の状況に関する情報を出力する処理が行われた場合、サーバ200の管理者によって初期化する操作が行われた場合等に、上記ステップS132において肯定判定する。なお、上記ステップS132における判定においては、登録データの一部(例えば、選択された区域内の登録データ)を初期化する場合でも肯定判定される。そして、制御部202は、登録データの初期化を行う場合、ステップS133に処理を進める。一方、制御部202は、登録データの初期化を行わない場合、上記ステップS122に戻って、上記ステップS1 22~S132の処理を繰り返す。
【0072】
ステップS133において、制御部202は、登録データを初期化する処理を行い、上記ステップS122に戻って、上記ステップS122~S132の処理を繰り返す。例えば、制御部202は、状況登録データDdにおいて少なくとも路面標示状況および情報提供ユーザを示すデータを初期化する(例えば、Nullに更新する)処理を行う。なお、上記ステップS133における初期化処理においては、サーバ200の管理者によって指定された登録データの一部(例えば、サーバ200の管理者が指定した区域内の道路に関連する登録データ)を初期化してもかまわない。
【0073】
以下では、上述した情報処理システム1に、幾つかの改良または変形を加えた実施形態について説明する。
【0074】
図9図10は、路面標示の一例としての区画線(いわゆる白線)の劣化度を判定するためにサーバ200において実行される処理の一具体例を示すフローチャートである。以下、このフローを説明するが、当業者は、以下に説明される処理を、白線以外の路面表示にも適宜に応用できることを容易に理解するはずである。
【0075】
図9を参照して、ステップS301で、ユーザ(例えば、道路をドライブレコーダ10で撮影したユーザ)の操作によりプロジェクトが特定される。すなわち、ユーザが設定した新規プロジェクトが登録されるか、あるいは、既存のプロジェクトの中からユーザ所望のプロジェクトが選択される。
【0076】
ステップS302で、ユーザ操作に従って、道路撮影に使用されたドライブレコーダ10の種別(例えばメーカー名と機種名、等)が選択または入力される。ドライブレコーダ10の種別により、撮影された道路動画のファイル形式や、GPSなどの衛星測位法で計測された位置情報(例えば、緯度と経度)の記録場所や記録方式が異なる。もし、過去に同じ種別のドライブレコーダ10で撮影された道路動画の処理がサーバ200でなされていたならば、このステップS302の後になされる位置情報を取得するステップS306~S308や台形図形を設定するステップS310などで、過去の同じ種別のドライブレコーダ10でなされた設定や条件が流用し得る。
【0077】
ステップS303で、ユーザのパーソナルコンピュータ20から、ドライブレコーダ10から出力されたデータがサーバ200に取り込まれる。この取り込みデータには、撮影された道路動画が含まれ、また、ドライブレコーダ10の種別によっては、道路動画に付属するデータ(例えば、撮影場所の位置情報、等)が含まれることがある。
【0078】
ステップS304で、取り込んだ道路動画のファイル形式(例えば、mp4、ts、mov、等)が識別される。ステップS305で、取り込まれた複数本の動画が時間順で繋げられて1本の動画に統合される。通常、ドライブレコーダ10内では、時間的に継続して撮影された動画が、例えば5分刻みのような短時間の複数本の動画に分けられて記録されている。ステップS305では、これら複数本の短時間動画が、時間的に連続した1本動画にまとめられる。
【0079】
ステップS306で、先に選択されたドライブレコーダ10の種別、および/または、先に識別された動画のファイル形式に基づいて、道路動画が撮影された場所(フレーム毎に異なる)の位置情報が、ドライブレコーダ10から取り込んだデータの何処に存在するかが特定される。ある種別のドライブレコーダ10の場合、例えば、フレーム毎の位置情報が動画ファイル内の特定個所に記述されている。その場合、ステップS307で、その動画ファイルの特定個所から、フレーム毎の位置情報が所得される。また、別の種別のドライブレコーダ10の場合、例えば、動画ファイルの各フレームの画像内に、テロップとして位置情報が記述されている。その場合、ステップS308で、フレームの画像からテロップの文字が認識されて位置情報が取得される。図示を省略してあるが、他の形式で位置情報が記録されている(例えば、道路動画に付属したデータ内に位置情報がある等の形式の)場合、その形式に応じた方法で位置情報が取得される。
【0080】
ステップS309で、道路動画内から代表的な複数(多数)のフレーム画像が抽出される。例えば、撮影時刻で10分の1秒間隔または10分の数秒間隔のフレーム画像(以下、単に道路画像という)が抽出される。なお、サーバ200のデータ処理能力が非常に高ければ、全てのフレームの道路画像が抽出されてもいい。
【0081】
ステップS310で、ユーザの操作に従って、抽出された道路画像画像の中の一つをユーザのパーソナルコンピュータ20のスクリーンに表示して、その表示された道路画像上に、評価対象である白線の部分が道路画像内の何処であるかを指定するための、遠近法に従った台形図形が描かれる。
【0082】
図11は、このステップS310を説明するための道路画像の一例を示す。
【0083】
図11に例示するように、スクリーンに表示された道路画像322内に、今走行している車線321と、その隣の車線(例えば対向車線)323が示されている。ここで、走行車線321の左側と右側の2本の白線(区画線)325、327が評価対象である場合を想定する。その場合、ユーザが、その2本白線325、327の評価したい部分を囲む遠近法に従った台形図形329を、道路画像322上に描く。あるいは、サーバ200が自動的に初期的な台形図形329を描き(例えば、ユーザが、道路画像322上で走行車線321を直線的に無限遠まで延長させた場合のその無限遠点を指定し、するとサーバ200が、その無限遠点で交差するような左辺と右辺をもつ初期的な台形図形321を自動的に描き)、その初期的な台形図形321の形状、位置、サイズをユーザが手動で調整するようになっていてもよい。
【0084】
なお、もし、評価対象の白線が左側白線325だけ、または右側白線327だけである場合、あるいは、評価対象が白線以外の路面標示である場合には、その評価対象の特性に応じた台形図形またはその他の適切な図形またはマークを描くことで、その評価対象を指定するようにしてもよい。
【0085】
再び図9を参照して、ステップS311で、台形図形329の上辺と下辺のそれぞれの位置のドライブレコーダ10からの距離が、ユーザより入力される。あるいは、台形図形329の上辺と下辺のドライブレコーダ10からの距離は、ドライブレコーダ10の種別から特定されるドライブレコーダ10のカメラの光学特性、ドライブレコーダ10の設置高さ(これは、ユーザにより入力されてよい)、および、道路画像内での台形図形329の位置と形状とサイズ等に基づいて、サーバ200により自動的に計算されても良い。ここで特定された上辺と下辺の距離は、評価対象の白線の位置情報を計算するためにサーバ200により使用される。例えば、ステップS307またはS308で取得された道路画像の撮影位置(つまり、ドライブレコーダ10の位置)の位置情報に、上記の上辺と下辺の距離(又はその中間値)、撮影時の走行方向(これは、直前の位置情報の時間微分、あるいは、道路地図、等から得ることができる)、および、台形図形329内での白線部分の位置、等に基づいて、評価対象の白線部分の位置情報が計算され得る(後述のステップS314で計算される)。
【0086】
次に図10を参照して、ステップS312で、ユーザからの指令により、評価対象の白線部分の劣化度の評価が開始される。すると、ステップS313により、抽出された道路画像の各々が順に選択されて、その選択された各道路画像についてステップS314~S319が行われる。そして、抽出された全ての道路画像について、ステップS314~S319が繰り返される。
【0087】
ステップS314で、道路画像内の台形図形内から評価対象の白線部分が画像認識により識別され、その識別された白線部分の画像が抽出され、また、上述したようにして、その白線部分の位置情報が計算される。ステップS315で、抽出された白線部分の画像(これは、ドライブレコーダ10から見た斜視画像である)が、真上から見た平面画像に幾何学的に変換される。そして、ステップS316で、変換された白線部分の平面画像に基づいて、その白線部分の劣化度が判定される。この判定は、例えば、その判定方法を機械学習した人工頭脳、あるいは、判定アルゴリズムがプログラムされた人工頭脳、等により、サーバ200にて自動的に行われる。
【0088】
ステップS317で、ステップS314~S316で使用された道路画像、その道路画像の撮影日時、評価対象の白線部分の平面画像(以下、単に「白線画像」という)、走行車線を特定する路線情報、評価対象の白線部分の位置情報、その白線部分の劣化度の判定結果、元の道路動画、等を記録した状況登録データがサーバ200に登録される。その際、ステップS318で、サーバ200に既に保存されている状況登録データと、新たに登録しようとする状況登録データとが、位置情報において重複してないかどうかがチェックされる。重複している場合には、ステップS319で、既保存の状況登録データと、新たに登録しようとする状況登録データとが、撮影日時で区別されるようにして、新たに登録しようとする状況登録データが登録される。これにより、ユーザは、同じ道路の同じ場所の状況登録データを、撮影日時を検索キーにして検索したり、比較したりすることができる。
【0089】
抽出された全ての道路画像について、上記のステップステップS314~S319が終わると、ステップS320で、上記の新たに登録された状況登録データがサーバ200に保存される。
【0090】
図12は、上記のステップS320でサーバ200に保存された状況登録データのデータ構造の一例を示すテーブルの図である。
【0091】
図12に示すように、状況登録データ330には、図12のテーブル内の複数の行でそれぞれ示される複数の状況登録レコード331が記録されている。複数の状況登録レコード331は、ドライブレコーダ10により撮影された1以上の道路上の複数の異なる場所にそれぞれ対応している。また、状況登録データ330には、複数の状況登録レコード331(つまり、撮影された1以上の道路上の複数の異なる場所)にそれぞれ関連付けられた複数の道路画像332と複数の白線画像333とが含まれている。さらに、状況登録データ330には、複数の道路動画(道路画像332の抽出元の動画)335も含まれており、各状況登録レコード331はいずれかの道路動画335に関連付けられている。
【0092】
各状況登録レコード331は複数のデータ項目を含んでいる。すわち、それらのデータ項目は、例えば、路線情報、道路画像リンク、撮影日時、位置情報、白線画像リンク、自動判定結果、ユーザ判定結果、機種、動画リンク、および、再生時刻、等である。
【0093】
ここで、路線情報は、その道路画像が撮影された路線を特定する情報であり、例えば、道路名、区間名および車線番号、等を含む。道路画像リンクは、その道路画像332へのリンクであり、例えば、その道路画像332のパス名を含む。撮影日時は、その道路画像が撮影された日時である。
【0094】
また、位置情報は、その道路画像内の評価対象の白線部分の位置情報であり、例えば、緯度値と経度値を含み、さらに、高度(標高)値を含んでもいい。白線画像リンクは、評価対象の白線画像333へのリンクであり、例えば、その白線画像333のパス名を含む。自動判定結果は、図10のステップS316でなされた自動的な劣化度判定の結果である。ユーザ判定結果は、後述するように、個々のユーザが白線画像333を見て、白線の劣化度を判定した結果である(図10では、1つの判定結果しか示されてないが、異なるユーザによる複数の判定結果が登録可能されていてよい)。
【0095】
また、機種は、ドライブコーダ10の種別を示し、例えば、メーカー名と機種番号等を含む。動画リンクは、その道路画像332が抽出された元の道路動画335へのリンクであり、例えば、その道路動画335のパス名を含む。再生時刻は、その道路画像332の道路動画335内の再生時刻(該当フレームの道路動画335内での相対時間位置)である。
【0096】
このように、図12に例示された状況登録データ330には、道路上の複数の場所にそれぞれに対応して、複数の状況登録レコード331(そこ含まれる上記各種データ項目)と、道路画像332と、白線画像333と、道路動画335が記録されており、そして、それらが互いに関連付けられている。したがって、状況登録データ330を用いることで、任意の道路上の任意の場所に関する状況登録レコード331(そこに含まれる上記各種データ項目)、道路画像332、白線画像333、および/または道路動画335を検索し読み出すことができる。例えば、ユーザが所望の場所(位置情報)を指定すれば、その位置情報に関連付けられた道路画像332、白線画像333、および/または道路動画335を読み出して表示したり出力したりすることができる。
【0097】
図13は、上記の状況登録データ330を用いてユーザのパーソナルコンピュータ20のスクリーンに道路の路面標示の状況を表示するための、サーバ200において実行される処理の一例を示す。
【0098】
図13を参照して、ステップS341で、ユーザからユーザ所望の検索条件が入力され、その検索条件に合致した全ての状況登録レコード331が状況登録データ330から検索される。検索条件の項目として、例えば、路線情報、位置情報の範囲(地域)、および/または撮影日時、等の状況登録レコード331を構成するデータ項目の一部または全てが使用できる。そして、ステップS342で、検索された状況登録レコード331に基づいた路面標示(例えば白線)の状況を表すGUI(グラフィカルユーザインタフェース)が作成され、そのGUIがユーザのパーソナルコンピュータ20のスクリーンに表示される。
【0099】
図14は、上記ステップS342で表示されるGUIの一例を示す。
【0100】
図14に例示するように、このGUI350には、それぞれの路線の路面標示の劣化度の自動判定結果を示した地図351の表示が含まれる。
【0101】
図14に例示したようなGUI350上で、ユーザが地図351内の所望の路線上の所望の場所を指定したとする(例えば、カーソル352でその地点を指してクリックしたとする)。すると、図13に示したフローのステップS343で、ユーザが所望の場所を指定したことが検出され、そして、ステップS344で、その指定された場所(位置情報)に該当する場所の道路画像と白線画像と自動判定結果とが、GUI35に表示される。
【0102】
すなわち、ユーザに指定された場所の位置情報が例えば「緯度x1、経度y1」であったならば、その位置情報「緯度x1、経度y1」に該当する(例えば、最も近い)位置情報「緯度x1、経度y1」をもつ状況登録レコード(例えば、図12中の最上行の状況登録レコード)331が選ばれ、その選ばれた状況登録レコード331にリンクされた道路画像331と白線画像333と、そのレコード331内の自動判定結果が読み出されてGUI350上に表示される。すなわち、図14に例示されるように、地図351上でカーソル352で指し示された場所の位置情報に関連付けられた道路画像354と白線画像355,357と自動判定結果359,361が、GUI350上に表示される。
【0103】
また、図14のGUI350の例において、ユーザが地図351上の別の地点を新たに指定すれば、その新たに指定された別地点で撮影された道路画像354と白線画像355,357と自動判定結果359,361が、GUI350上に表示されることになる。なお、図14の例では、ユーザが指定した地点の位置情報353も、GUI350上に表示される。さらに、図14には図示省略されているが、ユーザが指定した場所に該当する路線(道路)を撮影した道路動画(図12参照)335も、GUI350上に表示されて、その指定場所に関連付けられた再生時刻からその道路動画335が再生できるようになっていてもよい。このようにして、ユーザは、GUI350上で、任意の道路の任意の場所の路面標示の実際状況(道路画像、白線画像)と自動判定結果を見て、路面標示の状況を具体的に認識することができる。
【0104】
また、図14に例示するように、GUI350上には、ユーザが自分で判定した白線劣化度の判定結果を入力する手動判定フィールド363、365も存在する。したがって、ユーザは、自分で下した判定結果を手動判定フィールド363、365に入力できる。ここに入力された手動判定結果は、図12に例示したように、該当の状況登録レコード331に登録されて保存される。この処理は、図13のフローでは、ステップS345~S346に示されている。
【0105】
再び図13を参照する。ステップS347で、ユーザが所望の状況登録データ(例えば、検索された状況登録レコード)の出力を要求したか否かが判断される。この判断結果がYesであれば、そのユーザ所望の状況登録データがサーバ200からユーザのパーソナルコンピュータ20に出力(ダウンロード)される。このとき、(図12を参照して)ユーザ所望の状況登録レコード331だけでなく、それらのレコード331にそれぞれリンクされた道路画像332、白線画像333、および/または、道路動画335も、状況登録レコードとのリンク(または関連付け)を有しながら、一緒に出力(ダウンロード)されるようになっている。ユーザはダウンロードしたデータに含まれる状況登録レコードやそれに関連付けられた各種画像や動画を利用することで、道路管理や道路補修などに関わる様々な作業や文書作成(例えば、道路補修工事の見積もり業務、見積書作成、計画書作成、等)が、この情報処理システム1を利用しない時に比較して、より容易に、より正確に、または、より詳細に行うことができる。
【0106】
また、特に図示してないが、サーバ200は、ユーザが、任意の路線区間を指定した場合(例えば、道路名や区間名や車線名などの路線情報を入力した場合、あるいは、図14に例示したようなGUI350の地図351上でカーソル352を使って路線区間を指定した場合、等)、図12に例示したような状況登録データ330から、指定された路線区間上にある複数場所の状況登録レコード331から位置情報と判定結果(自動判定結果および/または手動判定結果)を読み、それらの読んだ情報に基づいて、その指定された路線区間のトータルの距離、および、それぞれの判定結果別の区間の距離を計算して、その計算結果をGUI350に表示したり、ユーザのパーソナルコンピュータ20に出力したりすることができる。また、この計算結果は、状況登録データ330に登録されて保存されてもよい。これにより、ユーザは、所望の路線区間における路面標示の状況のそれぞれの判定結果別の距離が把握できるので、例えば、路面標示の補修工事の費用を見積もるような場合に便利である。
【0107】
以上のように、上記処理を行う路面標示管理システム1によれば、所定の区域内に設けられている各道路の路面標示の状況を、地図、画像、および/または、動画等によって表示することができるため、当該区域内の道路上に書かれている路面標示の状況を効率的に認識することができる。例えば、道路管理者等が路面標示の改修するための工事指示を行う際の情報として有効に活用することが可能となる。また、上記処理を行う路面標示管理システム1によれば、情報を提供したユーザに対して、提供されたデータの有効度に応じた報酬が与えられるため、不特定多数のユーザからの情報を効率的に集約することができるとともに、ユーザ所有の既存の装置(ドライブレコーダ、パーソナルコンピュータ等)を有効活用することができる。
【0108】
なお、ドライブレコーダ10で録画された動画データおよび情報は、無線または有線接続によりパーソナルコンピュータ20に送信されてもかまわない。また、ドライブレコーダ10で録画された動画データおよび情報は、無線または有線接続により直接サーバ20 0にアップロードされてもよい。
【0109】
また、動画データを録音するデバイスは、ドライブレコーダ10とは異なるデバイスであってもよい。例えば、スマートフォン、タブレット、携帯ゲーム機、カーナビゲーション装置、デジタルカメラ、空撮用ドローン等、搭載されたカメラにより実世界の道路を撮像可能でGPS情報等の位置情報を取得可能なデバイスであれば、当該デバイスの動画データおよび位置情報をパーソナルコンピュータ20に読み取らせることにより、同様の処理が可能となる。
【0110】
また、人工衛星、航空機、またはドローンなどにより空中から撮影された道路の画像(静止画像または動画)を、ドライブレコーダで撮影された動画に代えて(または、ドライブレコーダで撮影された動画と組み合わせて)、路面標示の評価に用いてもよい。その場合、人工衛星、航空機、またはドローンなどから提供される測位情報や、それらの装置により空中から撮影された画像、等を用いて、公知技術により、それらの画像に含まれるあらゆる地点の位置情報を計算することができる。したがって、それらの空撮画像を利用する場合にも、上記実施形態に関して説明した処理が応用可能である。
【0111】
また、上述した説明では情報処理や通信処理をサーバ200で行う例を用いたが、上記処理における処理ステップの少なくとも一部を他の装置で行ってもかまわない。例えば、サーバ200と通信可能な他の装置(例えば、別のサーバ、他の情報処理装置、他の携帯端末)が協働することによって、上記処理における処理ステップが実行されてもよい。このように、上記処理における処理ステップの少なくとも一部を他の装置で行うことによって、上述した処理と同様の処理が可能となる。また、上述した処理は、少なくとも1つの情報処理装置により構成される情報処理システムに含まれる1つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。また、上記実施例においては、サーバ200の制御部202が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われたが、サーバ200が備える専用回路によって上記処理の一部または全部が行われてもよい。
【0112】
ここで、上述した変形例によれば、いわゆるクラウドコンピューティングのシステム形態や分散型の広域ネットワークおよびローカルネットワークのシステム形態でも本発明を実現することが可能となる。例えば、分散型のローカルネットワークのシステム形態では、据置型の情報処理装置と携帯型の情報処理装置との間で上記処理を協働により実行することも可能となる。なお、これらのシステム形態では、上述した処理の各ステップの処理をどの装置で行うかについては特に限定されず、どのような処理分担をしたとしても本発明を実現できることは言うまでもない。
【0113】
また、上述した情報処理で用いられる処理順序、設定値、判定に用いられる条件等は、単なる一例に過ぎず他の順序、値、条件であっても、本実施例を実現できることは言うまでもない。
【0114】
また、上記各プログラムは、外部メモリ等の外部記憶媒体を通じてサーバ200に供給されるだけでなく、有線または無線の通信回線を通じてサーバ200に供給されてもよい。また、上記プログラムは、サーバ200内部の不揮発性記憶装置に予め記録されていてもよい。なお、上記プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、CD-ROM、DVD、あるいはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープ、などでもよい。また、上記プログラムを記憶する情報記憶媒体としては、上記プログラムを記憶する揮発性メモリでもよい。このような記憶媒体は、コンピュータ等が読み取り可能な記録媒体ということができる。例えば、コンピュータ等に、これらの記録媒体のプログラムを読み込ませて実行させることにより、上述で説明した各種機能を提供させることができる。
【0115】
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施例の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書(定義を含めて)が優先する。
【産業上の利用可能性】
【0116】
以上のように、本発明は、道路上の路面標示の状況を容易に把握すること等を目的として、例えば情報処理システムおよび情報処理プログラム等として有用である。
【符号の説明】
【0117】
1…路面標示管理システム、10…ドライブレコーダ、20…パーソナルコンピュータ、100…ネットワーク、200…サーバ、201…通信部、202…制御部、203…記憶部、322…道路画像、321…走行車線、325,327…白線(区画線)、329…台形図形、330…状況登録データ、331…状況登録レコード、332…道路画像、333…白線画像、335…道路動画、350…GUI、351…地図、352…カーソル、354…道路画像、355,357…白線画像、369,361…自動判定結果、363、365…手動判定結果

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14