ホーム > 特許ランキング > 株式会社パイ・アール
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024126199
(43)【公開日】2024-09-20
(54)【発明の名称】情報処理装置、サーバー及びプログラム
(51)【国際特許分類】
G01C 21/36 20060101AFI20240912BHJP
G08G 1/00 20060101ALI20240912BHJP
G08G 1/16 20060101ALI20240912BHJP
G06T 7/00 20170101ALI20240912BHJP
【ＦＩ】
G01C21/36
G08G1/00 D
G08G1/16 C
G06T7/00 650Z
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023034427
(22)【出願日】2023-03-07
(71)【出願人】
【識別番号】509215765
【氏名又は名称】株式会社パイ・アール
(74)【代理人】
【識別番号】110000626
【氏名又は名称】弁理士法人英知国際特許商標事務所
(72)【発明者】
【氏名】安田 功
【テーマコード（参考）】
2F129
5H181
5L096
【Ｆターム（参考）】
2F129AA03
2F129CC33
2F129EE78
2F129EE90
2F129EE92
2F129EE95
2F129FF12
2F129FF15
2F129FF21
2F129FF24
2F129FF60
2F129FF62
2F129FF72
2F129GG17
5H181AA01
5H181BB04
5H181BB05
5H181BB20
5H181CC04
5H181EE01
5H181FF10
5H181FF13
5H181FF14
5H181FF27
5H181FF33
5H181LL01
5H181LL02
5H181LL04
5H181LL07
5H181LL08
5L096BA04
5L096FA06
(57)【要約】
【課題】車両走行時に撮像される画像を有効活用する情報処理装置、サーバー及びプログラムを提供することを目的とする。
【解決手段】車両内で使用される情報処理装置であって、少なくとも車両の前方の状況を撮影する撮像手段から撮影画像データを取得する画像データ取得手段と、前記画像データ取得手段により取得された前記撮影画像データの中の対象物から、地図情報及び／又は道路交通情報通信システムが保持することのない個別報知情報を抽出する情報抽出手段と、抽出された前記個別報知情報の一部又は全部を、自身の記憶手段及び／又は外部の記憶手段に記憶させる記憶制御手段と、前記情報抽出手段により抽出された前記個別報知情報及び／又は外部の記憶手段から受信した個別報知情報を適時に出力する適時情報出力手段を備えることを特徴とする。
【選択図】図２
【解決手段】車両内で使用される情報処理装置であって、少なくとも車両の前方の状況を撮影する撮像手段から撮影画像データを取得する画像データ取得手段と、前記画像データ取得手段により取得された前記撮影画像データの中の対象物から、地図情報及び／又は道路交通情報通信システムが保持することのない個別報知情報を抽出する情報抽出手段と、抽出された前記個別報知情報の一部又は全部を、自身の記憶手段及び／又は外部の記憶手段に記憶させる記憶制御手段と、前記情報抽出手段により抽出された前記個別報知情報及び／又は外部の記憶手段から受信した個別報知情報を適時に出力する適時情報出力手段を備えることを特徴とする。
【選択図】図２
【特許請求の範囲】
【請求項1】
車両内で使用される情報処理装置であって、
少なくとも車両の前方の状況を撮影する撮像手段から撮影画像データを取得する画像データ取得手段と、
前記画像データ取得手段により取得された前記撮影画像データの中の対象物から、地図情報及び／又は道路交通情報通信システムが保持することのない個別報知情報を抽出する情報抽出手段と、
抽出された前記個別報知情報の一部又は全部を自身の記憶手段及び／又は外部の記憶手段に記憶させる記憶制御手段と、
前記情報抽出手段により抽出された前記個別報知情報及び／又は外部の記憶手段から受信した個別報知情報を適時に出力する適時情報出力手段を備える
ことを特徴とする情報処理装置。
少なくとも車両の前方の状況を撮影する撮像手段から撮影画像データを取得する画像データ取得手段と、
前記画像データ取得手段により取得された前記撮影画像データの中の対象物から、地図情報及び／又は道路交通情報通信システムが保持することのない個別報知情報を抽出する情報抽出手段と、
抽出された前記個別報知情報の一部又は全部を自身の記憶手段及び／又は外部の記憶手段に記憶させる記憶制御手段と、
前記情報抽出手段により抽出された前記個別報知情報及び／又は外部の記憶手段から受信した個別報知情報を適時に出力する適時情報出力手段を備える
ことを特徴とする情報処理装置。
【請求項2】
前記情報抽出手段による前記個別報知情報の抽出は、前記撮影画像データの中の対象物に対してエッジ解析を行い、データの種類及び／又は属性を判断し、抽出対象と非抽出対象を選別することにより行われる
ことを特徴とする請求項１に記載の情報処理装置。
ことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記情報処理装置は、ドライブレコーダーであり、
前記適時情報出力手段は、個別報知情報を所定の車載機器及び／又は所定の通信端末に対して送信出力する
ことを特徴とする請求項１に記載の情報処理装置。
前記適時情報出力手段は、個別報知情報を所定の車載機器及び／又は所定の通信端末に対して送信出力する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項4】
前記情報処理装置は、通信端末であり、
前記適時情報出力手段は、報知手段であり、個別報知情報を音声出力及び／又は表示出力する
ことを特徴とする請求項１に記載の情報処理装置。
前記適時情報出力手段は、報知手段であり、個別報知情報を音声出力及び／又は表示出力する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項5】
前記適時情報出力手段は、安全に関する情報をリアルタイム及び／又は事前に出力する
ことを特徴とする請求項１に記載の情報処理装置。
ことを特徴とする請求項１に記載の情報処理装置。
【請求項6】
前記適時情報出力手段は、個別報知情報が外部記憶手段を介して他の車両と共有されることによって、安全に関する情報を事前に出力する
ことを特徴とする請求項５に記載の情報処理装置。
ことを特徴とする請求項５に記載の情報処理装置。
【請求項7】
前記適時情報出力手段は、所定の通信端末からの要求に応じて、商業上やサービスに関する情報を要求時に出力する
ことを特徴とする請求項１に記載の情報処理装置。
ことを特徴とする請求項１に記載の情報処理装置。
【請求項8】
少なくとも車両の前方の状況を撮影する撮像手段から撮影画像データを取得する画像データ取得手段と、前記画像データ取得手段により取得された前記撮影画像データの中の対象物から、地図情報及び／又は道路交通情報通信システムが保持することのない個別報知情報（ただし、走行指示の案内情報を除く）を抽出する情報抽出手段と、抽出された前記個別報知情報の一部又は全部を外部の記憶手段に記憶させる記憶制御手段を備える車両内で使用される情報処理装置と接続されるサーバーであって、
前記情報処理装置と通信を行う通信手段と、
前記情報処理装置から受信した前記個別報知情報を記憶するデータベースとを備え、
前記データベースは、安全に関する情報である警戒情報ＤＢと商業上やサービスに関する情報である商サービス情報ＤＢとから構成され、それぞれのＤＢは、場所、時間、利用者属性によって分類されている
ことを特徴とするサーバー。
前記情報処理装置と通信を行う通信手段と、
前記情報処理装置から受信した前記個別報知情報を記憶するデータベースとを備え、
前記データベースは、安全に関する情報である警戒情報ＤＢと商業上やサービスに関する情報である商サービス情報ＤＢとから構成され、それぞれのＤＢは、場所、時間、利用者属性によって分類されている
ことを特徴とするサーバー。
【請求項9】
車両内で使用される情報処理装置のコンピュータを、
少なくとも車両の前方の状況を撮影する撮像手段から撮影画像データを取得する画像データ取得手段、
前記画像データ取得手段により取得された前記撮影画像データの中の対象物から、地図情報及び／又は道路交通情報通信システムが保持することのない個別報知情報を抽出する情報抽出手段、
抽出された前記個別報知情報の一部又は全部を自身の記憶手段及び／又は外部の記憶手段に記憶させる記憶制御手段、
前記情報抽出手段により抽出された前記個別報知情報及び／又は外部の記憶手段から受信した個別報知情報を適時に出力する適時情報出力手段、
として機能させることを特徴とするプログラム。
少なくとも車両の前方の状況を撮影する撮像手段から撮影画像データを取得する画像データ取得手段、
前記画像データ取得手段により取得された前記撮影画像データの中の対象物から、地図情報及び／又は道路交通情報通信システムが保持することのない個別報知情報を抽出する情報抽出手段、
抽出された前記個別報知情報の一部又は全部を自身の記憶手段及び／又は外部の記憶手段に記憶させる記憶制御手段、
前記情報抽出手段により抽出された前記個別報知情報及び／又は外部の記憶手段から受信した個別報知情報を適時に出力する適時情報出力手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両走行時に撮像される画像を有効活用する情報処理装置、サーバー及びプログラムに関する。
【背景技術】
【0002】
近年、あおり運転や逆走事故が社会問題化したことにより、ドライブレコーダーの認知度が高まり、急速に普及してきている。国土交通省の発表によれば、２０代の若者が所有する自動車において半数以上にドライブレコーダーが搭載されている。
ドライブレコーダーは、圧倒的な情報量の画像を記録し、事故や盗難など不測の事態が発生した場合に、その時の様子を細かく検証でき、有効である。しかし、事後的に情報を検索して利用しようとするものであって、大量の情報を保有しているにも関わらず、それをリアルタイムに活用しようとする発想はなかった。
ドライブレコーダーは、圧倒的な情報量の画像を記録し、事故や盗難など不測の事態が発生した場合に、その時の様子を細かく検証でき、有効である。しかし、事後的に情報を検索して利用しようとするものであって、大量の情報を保有しているにも関わらず、それをリアルタイムに活用しようとする発想はなかった。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に開示のドライブレコーダーは、リアルタイムでの情報を発信できるものである。具体的には、検出対象の目標物から出射される各種の電波を受信し、受信した電波の内容に応じて所定の警報を報知したり、現在位置を取得し、その現在位置の周囲に存在する警報・報知すべき情報がある場合には、その情報の種類に応じた報知をしたりするものである。しかしながら、電波を出射しない物体についての情報は何も得られるものではなく、また、記録される画像データの情報を活用するものでもなかった。
そこで、本発明は、車両走行時に撮像される画像を有効活用する情報処理装置、サーバー及びプログラムを提供することを目的とする。なお、車両走行時に画像を撮像するのは、典型的には、ドライブレコーダーであるが、撮像手段を備えるものとしては、車両内で使用される情報処理端末が挙げられるし、車両自体が撮像手段を備える場合もあるため、上記目的の対象は、ドライブレコーダーには限定されないものである。
そこで、本発明は、車両走行時に撮像される画像を有効活用する情報処理装置、サーバー及びプログラムを提供することを目的とする。なお、車両走行時に画像を撮像するのは、典型的には、ドライブレコーダーであるが、撮像手段を備えるものとしては、車両内で使用される情報処理端末が挙げられるし、車両自体が撮像手段を備える場合もあるため、上記目的の対象は、ドライブレコーダーには限定されないものである。
【課題を解決するための手段】
【0005】
本発明の情報処理装置は、少なくとも以下の構成を具備するものである。
車両内で使用される情報処理装置であって、少なくとも車両の前方の状況を撮影する撮像手段から撮影画像データを取得する画像データ取得手段と、前記画像データ取得手段により取得された前記撮影画像データの中の対象物から、地図情報及び／又は道路交通情報通信システムが保持することのない個別報知情報を抽出する情報抽出手段と、抽出された前記個別報知情報の一部又は全部を、自身の記憶手段及び／又は外部の記憶手段に記憶させる記憶制御手段と、前記情報抽出手段により抽出された前記個別報知情報及び／又は外部の記憶手段から受信した個別報知情報を適時に出力する適時情報出力手段を備えることを特徴とする。
ここで、「車両内で使用される情報処理装置」とは、ドライブレコーダーやカーナビ装置といった車載機器の他、スマートフォンやタブレット等の通信端末を含むものである。また、「少なくとも車両の前方の状況を撮影する撮像手段から撮影画像データを取得する画像データ取得手段」とは、車両の後方や側方といった周囲の状況を撮影する複数の撮像手段（前方と側方を複合的に撮影するものを含む）を有している場合に、後方や側方の撮影画像データを取得する画像データ取得手段をも含むものである。また、「地図情報及び／又は道路交通情報通信システムが保持することのない個別報知情報」とは、上述した目標から明らかなように、地図情報や道路交通情報通信システムが提供する情報からは得ることのできない情報を、撮影画像データから得るようにしたという意味であって、結果として、地図情報や道路交通情報通信システムから得る情報と重複する場合が偶々あったとしても、それが排除されるものではない。また、当該個別情報は、運転に資するもの、若しくは、運転に関連するものであって、このような情報を提供する装置としては、カーナビ装置が挙げられるが、カーナビ装置が第一義的に与える情報である（例えば、右左折指示や車両変更指示等の）走行指示の案内情報は含まれない。カーナビ装置は、走行指示の案内情報以外にも、注意警戒情報や渋滞情報を案内するものの、それらの情報は道路交通情報通信システム等の基幹システムに頼らざるを得ないものであるところ、基幹システムが扱わないごく限られた地域での情報や、たった今発生したばかりの情報については得ることはできない。そのような代替手段のない有益な情報を、撮影画像データから得るようにするというのが本発明の基本的な技術思想である。
車両内で使用される情報処理装置であって、少なくとも車両の前方の状況を撮影する撮像手段から撮影画像データを取得する画像データ取得手段と、前記画像データ取得手段により取得された前記撮影画像データの中の対象物から、地図情報及び／又は道路交通情報通信システムが保持することのない個別報知情報を抽出する情報抽出手段と、抽出された前記個別報知情報の一部又は全部を、自身の記憶手段及び／又は外部の記憶手段に記憶させる記憶制御手段と、前記情報抽出手段により抽出された前記個別報知情報及び／又は外部の記憶手段から受信した個別報知情報を適時に出力する適時情報出力手段を備えることを特徴とする。
ここで、「車両内で使用される情報処理装置」とは、ドライブレコーダーやカーナビ装置といった車載機器の他、スマートフォンやタブレット等の通信端末を含むものである。また、「少なくとも車両の前方の状況を撮影する撮像手段から撮影画像データを取得する画像データ取得手段」とは、車両の後方や側方といった周囲の状況を撮影する複数の撮像手段（前方と側方を複合的に撮影するものを含む）を有している場合に、後方や側方の撮影画像データを取得する画像データ取得手段をも含むものである。また、「地図情報及び／又は道路交通情報通信システムが保持することのない個別報知情報」とは、上述した目標から明らかなように、地図情報や道路交通情報通信システムが提供する情報からは得ることのできない情報を、撮影画像データから得るようにしたという意味であって、結果として、地図情報や道路交通情報通信システムから得る情報と重複する場合が偶々あったとしても、それが排除されるものではない。また、当該個別情報は、運転に資するもの、若しくは、運転に関連するものであって、このような情報を提供する装置としては、カーナビ装置が挙げられるが、カーナビ装置が第一義的に与える情報である（例えば、右左折指示や車両変更指示等の）走行指示の案内情報は含まれない。カーナビ装置は、走行指示の案内情報以外にも、注意警戒情報や渋滞情報を案内するものの、それらの情報は道路交通情報通信システム等の基幹システムに頼らざるを得ないものであるところ、基幹システムが扱わないごく限られた地域での情報や、たった今発生したばかりの情報については得ることはできない。そのような代替手段のない有益な情報を、撮影画像データから得るようにするというのが本発明の基本的な技術思想である。
【0006】
また、本発明のサーバーは、少なくとも以下の構成を具備するものである。
少なくとも車両の前方の状況を撮影する撮像手段から撮影画像データを取得する画像データ取得手段と、前記画像データ取得手段により取得された前記撮影画像データの中の対象物から、地図情報及び／又は道路交通情報通信システムが保持することのない個別報知情報（ただし、走行指示の案内情報を除く）を抽出する情報抽出手段と、抽出された前記個別報知情報の一部又は全部を外部の記憶手段に記憶させる記憶制御手段を備える車両内で使用される情報処理装置と接続されるサーバーであって、前記情報処理装置と通信を行う通信手段と、前記情報処理装置から受信した前記個別報知情報を記憶するデータベースとを備え、前記データベースは、安全に関する情報である警戒情報ＤＢと商業上やサービスに関する情報である商サービス情報ＤＢとから構成され、それぞれのＤＢは、場所、時間、利用者属性によって分類されていることを特徴とする。
少なくとも車両の前方の状況を撮影する撮像手段から撮影画像データを取得する画像データ取得手段と、前記画像データ取得手段により取得された前記撮影画像データの中の対象物から、地図情報及び／又は道路交通情報通信システムが保持することのない個別報知情報（ただし、走行指示の案内情報を除く）を抽出する情報抽出手段と、抽出された前記個別報知情報の一部又は全部を外部の記憶手段に記憶させる記憶制御手段を備える車両内で使用される情報処理装置と接続されるサーバーであって、前記情報処理装置と通信を行う通信手段と、前記情報処理装置から受信した前記個別報知情報を記憶するデータベースとを備え、前記データベースは、安全に関する情報である警戒情報ＤＢと商業上やサービスに関する情報である商サービス情報ＤＢとから構成され、それぞれのＤＢは、場所、時間、利用者属性によって分類されていることを特徴とする。
【0007】
また、本発明のプログラムは、少なくとも以下の構成を具備するものである。
車両内で使用される情報処理装置のコンピュータを、少なくとも車両の前方の状況を撮影する撮像手段から撮影画像データを取得する画像データ取得手段、前記画像データ取得手段により取得された前記撮影画像データの中の対象物から、地図情報及び／又は道路交通情報通信システムが保持することのない個別報知情報を抽出する情報抽出手段、抽出された前記個別報知情報の一部又は全部を自身の記憶手段及び／又は外部の記憶手段に記憶させる記憶制御手段、前記情報抽出手段により抽出された前記個別報知情報及び／又は外部の記憶手段から受信した個別報知情報を適時に出力する適時情報出力手段、として機能させることを特徴とするプログラム。
車両内で使用される情報処理装置のコンピュータを、少なくとも車両の前方の状況を撮影する撮像手段から撮影画像データを取得する画像データ取得手段、前記画像データ取得手段により取得された前記撮影画像データの中の対象物から、地図情報及び／又は道路交通情報通信システムが保持することのない個別報知情報を抽出する情報抽出手段、抽出された前記個別報知情報の一部又は全部を自身の記憶手段及び／又は外部の記憶手段に記憶させる記憶制御手段、前記情報抽出手段により抽出された前記個別報知情報及び／又は外部の記憶手段から受信した個別報知情報を適時に出力する適時情報出力手段、として機能させることを特徴とするプログラム。
【発明の効果】
【0008】
本発明の情報処理装置、サーバー、ブログラムによれば、車両走行時に撮像される画像を有効活用することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の第１実施形態に係る情報処理装置のシステム構成図である。
【図2】本発明の第１実施形態に係る情報処理装置の機能ブロック図である。
【図3】本発明の第１実施形態に係る情報処理装置の対象となる個別報知情報の一例である。
【図4】本発明の第１実施形態に係る情報処理装置の対象となる個別報知情報の一例である。
【図5】本発明の第１実施形態に係る情報処理装置の対象となる個別報知情報の一例である。
【図6】本発明の第２実施形態に係る情報処理装置の機能ブロック図である。
【図7】本発明の第３実施形態に係る情報処理装置の機能ブロック図である。
【発明を実施するための形態】
【0010】
（第１実施形態）
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の第１実施形態に係る情報処理装置のシステム構成図であり、図２は、本発明の第１実施形態に係る情報処理装置の機能ブロック図を示している。
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の第１実施形態に係る情報処理装置のシステム構成図であり、図２は、本発明の第１実施形態に係る情報処理装置の機能ブロック図を示している。
【0011】
本発明の第１実施形態に係る情報処理装置１は、車内に搭載されるドライブレコーダーであり、図１に示されるように、制御部（ＣＰＵ）、撮像素子、撮像レンズ、ストレージデバイス、ＲＡＭ、ＲＯＭ、ＩＦ（インターフェース）を備えている。
【0012】
制御部（ＣＰＵ）は、樹脂製の回路基板上に実装されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向けの集積回路）であって、情報処理装置１（ドライブレコーダー）の各構成要素を統括的に制御するものである。制御部は、例えば、制御用プログラムを実行することにより、本発明に係る機能をコンピュータに実現させる。
【0013】
撮像レンズと撮像素子から撮像手段が構成される。撮像手段は、車両の前後など複数に配置されてもよい。また、撮像手段は、撮像レンズの他、露光量を調整する絞り（不図示）を備えている。撮像素子は、被写体像を画像信号に光電変換するものである。具体的に、撮像素子は、例えば、ＣＣＤ（Charge Couple Device）イメージセンサおよびＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子としてもよい。
【0014】
ＲＡＭは、撮影画像や後記する個別報知情報など、各種情報を一時記憶する。ＲＯＭは、制御用プログラムなどを恒常記憶する。また、ストレージデバイスは、撮影画像を解析して個別報知情報を抽出するための各種情報を記憶する他、抽出された個別報知情報の中、後にも利用される可能性が高い情報を蓄積して記憶する。
【0015】
ＩＦ（インターフェース）は、情報処理装置１が扱う情報を、所定の通信端末２やデータベース・サーバー３（何れも、図１においては不図示）との間でやりとりするものであり、ＷｉＦｉ（登録商標）、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、赤外線、５Ｇ（携帯電話）、又はＬＴＥ（Long Term Evolution）等の通信規格に対応した通信装置である。また、このような無線通信の他、有線ＬＡＮ、ＵＳＢ（Universal Serial Bus）ケーブル等を用いた有線通信に対応した通信装置であってもよい。
【0016】
図２は、本発明の第１実施形態に係る情報処理装置１（ドライブレコーダー）を、車内で使用される通信端末２や外部のデータベース・サーバー３とともに、機能ブロック図として示したものである。図中の矢印は、主だったデータの流れを示している。
【0017】
撮像手段１１は、情報処理装置１（ドライブレコーダー）内に搭載されるものであるが、物理的には、ドライブレコーダーから有線ないし無線で接続された単体のカメラであってもよい。特に、車両の後方に向けられるカメラについては、本体と接続されるタイプとされるのが普通である。ただし、装置構成としては、飽くまで、ドライブレコーダーが撮像手段１１を有しているという整理になる。
【0018】
画像データ取得手段１２は、撮像手段１１で撮影された画像信号を、適宜に設定された解像度やフレームレートに応じた画像データとして取得するものである。これら解像度やフレームレートの設定は、ドライブレコーダーとして本来的に記録する動画データと、本発明の第１実施形態に係る情報処理装置１が扱うデータとの間で異ならせるようにしてもよい。後述する個別報知情報を抽出するために画像データ（動画データ）を解析するに際して、特に、フレーム間差分法により、移動体を検出するに際しては、動画データは必要十分な情報量である方が有利であるからである。一方、ドライブレコーダーが本来的に記録する動画データについては、昨今、旅行等のビデオ撮影としても耐え得る綺麗な動画を記録できる機種なども登場するなど、高解像度での記録が望まれており、このことからも、解析される動画データと記録される動画データの設定は異ならせるようにするのが有利な場合がある。
【0019】
情報抽出手段１３は、画像データ取得手段１２により取得された撮影画像データに映り込んでいる対象物から、所定の解析処理を施した後に、運転者等に報知されるべき個別報知情報をテキスト情報やアイコン等の簡易画像に加工して抽出する。対象が運転者等とされている理由は、運転に関係する危険や安全に関わる警戒情報は、運転者に対して勿論、報知されることになるものの、本発明の第１実施形態に係る情報処理装置１（ドライブレコーダー）は、後述するように、商業上やサービスに関する情報も報知することが可能であるところ、これらの情報は、むしろ同乗者が利用することが有利だからである。
危険や安全に関わる警戒情報は、カーナビ装置でも提供されるものであるが、それらの情報は道路交通情報通信システムを介して取得されるものである。換言すれば、道路交通情報通信システムが保持していない情報については取得することができない。地図情報から得る警戒情報についても同様である。このような地域的に限定された情報やタイムリーには得ることのできない情報を、撮影画像データから得て、運転者に必要な情報を伝えるということに、本発明の意義が存するものである。
危険や安全に関わる警戒情報は、カーナビ装置でも提供されるものであるが、それらの情報は道路交通情報通信システムを介して取得されるものである。換言すれば、道路交通情報通信システムが保持していない情報については取得することができない。地図情報から得る警戒情報についても同様である。このような地域的に限定された情報やタイムリーには得ることのできない情報を、撮影画像データから得て、運転者に必要な情報を伝えるということに、本発明の意義が存するものである。
【0020】
記憶制御手段１４は、情報抽出手段１３により抽出された個別報知情報を、記憶手段に記憶させる処理を実行するものである。記憶手段は、情報処理装置１（ドライブレコーダー）内のメモリやストレージデバイスであってよく、また、外部のデータベース・サーバー３の記憶手段であってもよいが、情報の種別により、適宜の記憶手段が選択されるようにするのが好適である。例えば、前方に障害物が存在するといった警戒情報については、その場を通過してしまえば、運転者自身には関係のない情報になる。一方で、そのような情報は、同じ幹線道路を走行している後続車両にとっても有益な情報となる。そこで、このような警戒情報は、外部のデータベース・サーバー３に記憶されるのが望ましいということになる。一方で、商業上やサービスに関する情報は、後日にも利用する可能性があり、情報処理装置１（ドライブレコーダー）内に記憶する方が適している。とはいえ、このような情報も、最初に利用する際には、メモリに一時記憶させるようにし、複数回の情報へのアクセスがあったことを条件に、ストレージデバイスに情報を移動ないしコピーするといった設定とするのが好適である。
【0021】
このように記憶されるべき情報が振り分けられる結果として、情報処理装置１（ドライブレコーダー）内のメモリやストレージデバイスに記憶される情報についても、また、データベース・サーバー３の記憶手段に記憶される情報についても、情報抽出手段１３により抽出された個別報知情報の一部が記憶されることになる。ただし、例えば、情報処理装置１（ドライブレコーダー）内のメモリに全ての個別報知情報が記憶されることが妨げられるものではないし、情報処理装置１の内部と外部の両方の記憶手段の集合で捉えれば、全ての個別報知情報が記憶されることになる。
【0022】
外部出力手段１５は、情報抽出手段により抽出された個別報知情報を適時に出力する。また、図２においては、矢印の表示を省略しているが、ネットワーク接続されることによって、データベース・サーバー３から受信した個別報知情報についても、外部出力手段１５は、適時に出力することになる。ここでの「外部」とは、情報処理装置１から見て外部装置である通信端末２の意味である。すなわち、外部出力手段１５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信手段であって、個別報知情報を通信端末２に送信することになる。そして、外部出力手段１５は、本発明の適時情報出力手段の機能を担うことになる。
【0023】
解析手段１６は、画像データ取得手段１２により取得された撮影画像データに映り込んでいる対象物を解析し、危険ないし警戒対象となる移動体を検出したり、商業上やサービス上の有益な情報を検出したりする処理を実行する。移動体領域の検出は、自車両が走行していることを前提としているため、背景差分法は利用できず、フレーム間差分法を利用することになる。また、本発明の第１実施形態に係る情報処理装置１（ドライブレコーダー）が対象とする移動体の例としては、自車両と同じ進行方向或いは逆の進行方向で走行する自動車以外の移動体、例えば、キックボードや自転車といった軽車両が挙げられる。エッジ解析処理により、特徴点を抽出し、さらに、特徴点の動きベクトルを時系列の画像から抽出して、移動体として検出する。さらに、自車両との相対速度に基づいて、キックボードや自転車が前方を順方向で走行していることや、場合によっては逆走している（自転車ではよくあることである）ことを検知して、適時情報として出力する。低速走行時の立て看板などの情報は、エッジ解析処理により、文字情報を判別・解読して、有効な適時情報として出力する。
【0024】
これら解析される情報は、移動体データと静止物体データに分けられ、例えば、移動体であれば、エッジ解析により得られる輪郭、時系列的な挙動、（自車両に対する）相対速度等の複数の要素であり、また、立て看板や広告といった静止物体であれば、文字の配列や一緒に表示されている情報の種別といった要素である。これら要素は、実測データとして、移動体データ用と静止物体用、それぞれの判定アルゴリズムにより処理され、自転車やキックボード、警戒情報としての注意喚起を与える立て看板、広告といった結果として抽出される。判定アルゴリズムは、機械学習モデルであってもよく、機械学習は、教師あり学習、教師なし学習、強化学習、深層学習等といった実用化されている全ての手法を含むものであるし、具体的なアルゴリズムとしても、典型的なニューラルネットワーク以外に、決定木、ランダムフォレスト、ＳＶＭ等種々のアルゴリズムを採用し得る。実測データは、当然ながら、訓練データとしても用いられることになる。
【0025】
通信端末２は、スマートフォンやタブレット等の携帯通信端末である。図２においては、本発明において機能する要素以外のシステムないし機能ブロックの明示記載を省略しているが、制御部やメモリ、カメラといった通常の携帯通信端末が備える機能も有している。すなわち、本発明と関係する要素としては、ディスプレイ２１及びスピーカ２２であり、主として、スピーカ２２が、危険や安全に関わる警戒情報を音声により出力することになる。ただし、同乗者に対して、商業上やサービスについての情報を伝達するようにしてもよく、その場合には、ディスプレイ２１も利用されることになる。
なお、情報処理装置１（ドライブレコーダー）がスピーカを備えるものであれば、外部出力手段１５の代わりに、ドライブレコーダーのスピーカが音声出力手段として警戒情報を出力するようにして、適時情報出力手段を構成することも可能である。
なお、情報処理装置１（ドライブレコーダー）がスピーカを備えるものであれば、外部出力手段１５の代わりに、ドライブレコーダーのスピーカが音声出力手段として警戒情報を出力するようにして、適時情報出力手段を構成することも可能である。
【0026】
データベース・サーバー３は、情報処理装置１（ドライブレコーダー）の記憶制御手段１４による命令を受けて、個別情報を受信し、記憶し、情報を統括する。そのために、警戒情報ＤＢ３１と商サービスＤＢ３２を具備するように構成されている。キックボードや自転車を検出しての警戒情報の報知は、自車内だけの処理として完結させるのであれば、十分な事前報知とならない場合がある（それでも、人間が目視できる距離よりは遠距離を撮像手段が捉えることができるので、対象に接近する数秒前に報知することが可能であり、決して無意味ではない。）。データベース・サーバー３を介した情報を利用することによって、例えば、前方１ｋｍ先を走行している同じサービスを利用している他の車両からの警戒情報を受けて、時間的に余裕をもって、事前の警戒情報を報知することが可能となる。商業上の情報についても、他車両と共有できると便利である。
これら、警戒情報ＤＢ３１と商サービスＤＢ３２は、両者ともに、場所、時間、利用者属性によって分類されている。他車両との情報共有を実現するに際して、情報の取捨選択の目安として利用できるからである。
なお、図２では、情報処理装置１（ドライブレコーダ）自身がデータベース・サーバー３と通信を行う態様として示されているが、通信端末２を介して、通信を行う態様としてもよい。
これら、警戒情報ＤＢ３１と商サービスＤＢ３２は、両者ともに、場所、時間、利用者属性によって分類されている。他車両との情報共有を実現するに際して、情報の取捨選択の目安として利用できるからである。
なお、図２では、情報処理装置１（ドライブレコーダ）自身がデータベース・サーバー３と通信を行う態様として示されているが、通信端末２を介して、通信を行う態様としてもよい。
【0027】
（利用態様の第１例）
利用態様の第１例を、図２及び図３を用いて説明する。図３は、本発明の第１実施形態に係る情報処理装置の対象となる個別報知情報の一例である。自車両が走行している、ある幹線道路の左前方をキックボードＫＢが自車両と同一方向へ進行している様子が撮影されている。図示は、説明のために、左側方にやや向いた画像として示されているが、実際には、正面の左端に、キックボードＫＢの略真後ろの姿が映りこんだ画像となる。真後ろの姿であれば、当然ながら、見た目としてのキックボードＫＢの特徴量は小さいものとなるが、解析手段１６の機械学習モデルによる判定アルゴリズムが、自車両とキックボードＫＢとの相対速度差なども利用して判定を行うことにより、正確な判定を行うことができる。なお、自車両やキックボードＫＢの速度は、フレーム間差分法により求められるが、自車両については、車両本体から、速度計やＧＰＳ情報を利用して、速度情報を受け取るようにしてもよい。
利用態様の第１例を、図２及び図３を用いて説明する。図３は、本発明の第１実施形態に係る情報処理装置の対象となる個別報知情報の一例である。自車両が走行している、ある幹線道路の左前方をキックボードＫＢが自車両と同一方向へ進行している様子が撮影されている。図示は、説明のために、左側方にやや向いた画像として示されているが、実際には、正面の左端に、キックボードＫＢの略真後ろの姿が映りこんだ画像となる。真後ろの姿であれば、当然ながら、見た目としてのキックボードＫＢの特徴量は小さいものとなるが、解析手段１６の機械学習モデルによる判定アルゴリズムが、自車両とキックボードＫＢとの相対速度差なども利用して判定を行うことにより、正確な判定を行うことができる。なお、自車両やキックボードＫＢの速度は、フレーム間差分法により求められるが、自車両については、車両本体から、速度計やＧＰＳ情報を利用して、速度情報を受け取るようにしてもよい。
【0028】
車道を走行するキックボードＫＢは、時速十数ｋｍないし２０ｋｍ程度で走行し、電動アシスト自転車（や場合によっては自転車）も同程度の速度で走行するので、相対速度差により、順送しているか逆走しているかは（歩行者とは異なり）十分に判別することが可能である。撮像手段により撮影される画像での対象物の認識は、人の目視による対象物の認識よりは遠方を補足することが可能であるため、解析手段１６は、例えば、前方○○ｍ先をキックボードが走行中、場所は△▽である等の情報を生成し、情報抽出手段１３が必要な警戒情報を抽出する。
【0029】
記憶制御手段１４は、情報処理装置１（ドライブレコーダー）の内部記憶手段１７（ＲＡＭ）に警戒情報を一時記憶させるとともに、データベース・サーバー３の記憶手段にも警戒情報を記憶させる。前者の一時記憶は、場所についての情報は持たないが、後者の外部サーバーで記憶される情報は、場所についての情報をも有するものとなる。自車内で報知される情報は、迅速性が重要であり、キックボードが前方を走行している情報伝達が、先ずは優先されるからである。
【0030】
外部出力手段１５が、スマートフォン等の通信端末２に警戒情報を出力し、情報処理装置１（ドライブレコーダー）に連携したアプリによる制御によって、通信端末２は、警戒情報を音声により報知する。例えば、「前方○○ｍ先をキックボードが走行中です。注意して下さい。」、「危険です。自転車が逆走しています。」等の音声メッセージが出力される。
【0031】
データベース・サーバー３は、警戒情報として、場所を含めた情報を警戒情報の一時記憶手段（図２において不図示）に記憶させる。これは、警戒情報を共有すべき、他車両の選択を行うに際して利用されるものである。当該場所に間もなく接近することになる後続車両であって、本発明の一実施形態と同じサービスの提供を受けている後続車両に対して、キックボードＫＢが走行していることを報知するためである。キックボードＫＢも走行しているため、場所についての情報は刻一刻と変化することになるが、予めセグメント化されている大まかに篩分けされた場所属性として記憶し、複数の車両から伝達される情報によって、この場所属性は、第１エリア、第２エリア、第３エリアというように次第に変化する。キックボードＫＢが走行を止めた場合や当該幹線道路から外れた場合には、このキックボードＫＢについての情報は、データベース・サーバー３の警戒情報の一時記憶手段からは削除されることになる。
【0032】
（利用態様の第２例）
利用態様の第２例を、図２及び図４を用いて説明する。図４は、本発明の第１実施形態に係る情報処理装置の対象となる個別報知情報の一例である。通行止めや一部通行規制などの案内がされた立て看板から情報を読取って報知する態様を説明するものである。図４（ａ）は、お祭りによって、１１時から１８時の間、通行止めが実施されることを告知する立て看板であり、図４（ｂ）は、下水道工事によって行われることになる片側規制等の走行規制が３月３日から１７日まで実施されることを告知する立て看板である。文字認識は、長い歴史があり、自動認識処理が得意とする分野であるが、走行中の撮影画像ということになれば、そう簡単ではない。しかし、本発明の実施形態では、単なるパターン認識に止まらないエッジ解析を利用することと、立て看板のイラストと文字の組み合わせを機械学習させることによって、正解率を高めるようにしている。解析手段１６が、通行止めや一部走行規制等の情報とともに、第１例と同様に、場所についての情報も生成し、情報抽出手段１３が必要な警戒情報を抽出する。
利用態様の第２例を、図２及び図４を用いて説明する。図４は、本発明の第１実施形態に係る情報処理装置の対象となる個別報知情報の一例である。通行止めや一部通行規制などの案内がされた立て看板から情報を読取って報知する態様を説明するものである。図４（ａ）は、お祭りによって、１１時から１８時の間、通行止めが実施されることを告知する立て看板であり、図４（ｂ）は、下水道工事によって行われることになる片側規制等の走行規制が３月３日から１７日まで実施されることを告知する立て看板である。文字認識は、長い歴史があり、自動認識処理が得意とする分野であるが、走行中の撮影画像ということになれば、そう簡単ではない。しかし、本発明の実施形態では、単なるパターン認識に止まらないエッジ解析を利用することと、立て看板のイラストと文字の組み合わせを機械学習させることによって、正解率を高めるようにしている。解析手段１６が、通行止めや一部走行規制等の情報とともに、第１例と同様に、場所についての情報も生成し、情報抽出手段１３が必要な警戒情報を抽出する。
【0033】
記憶制御手段１４は、情報処理装置１（ドライブレコーダー）の内部記憶手段１７（ＲＡＭ）に警戒情報を一時記憶させるとともに、データベース・サーバー３の記憶手段にも警戒情報を記憶させる。前者の一時記憶は、場所についての情報は持たないが、後者の外部サーバーで記憶される情報は場所についての情報をも有するものとなる。自車内で報知される情報は、迅速性が重要であるからである。
【0034】
外部出力手段１５が、スマートフォン等の通信端末２に警戒情報を出力し、情報処理装置１（ドライブレコーダー）に連携したアプリによる制御によって、通信端末２は、警戒情報を音声により報知する。例えば、「前方○○ｍ先は、通行止めとなっています。迂回して下さい。」、「前方○○ｍ先で、片側車線規制中です。注意して走行して下さい。」等の音声メッセージが出力される。
【0035】
データベース・サーバー３は、警戒情報として、場所を含めた情報を警戒情報の一時記憶手段（図２において不図示）に記憶させる。これは、警戒情報を共有すべき、他車両の選択を行うに際して利用されるものである。当該場所に間もなく接近することになる後続車両であって、本発明の一実施形態と同じサービスの提供を受けている後続車両に対して、通行規制が実施されていることを報知するためである。通行規制が実施される場所は固定されているので、これらの情報は、一時記憶手段に記憶されるとともに、警戒情報ＤＢ３１にも記憶されるようにしている。お祭りや工事の態様に変更があった場合や終了した場合には、警戒情報ＤＢ３１の内容が更新や消去されることになる。
【0036】
（利用態様の第３例）
利用態様の第３例を、図２及び図５を用いて説明する。図５は、本発明の第１実施形態に係る情報処理装置の対象となる個別報知情報の一例である。先述したように、ドライブレコーダーは、２０代の若者が所有する自動車の半数以上に搭載されている。Ｚ世代、デジタルネイティブとも呼ばれる当該世代の若者は、ウェブを日常風景の一部のように使いこなしている。このような世代の若者にとって、ドライブレコーダーに蓄積される圧倒的な情報を、日常生活の中でも活用できれば顧客誘引力は大いに高まる。図５には、百貨店の高い位置から垂れ幕広告が吊り下げられている風景が撮影されている。遠方の風景としても撮影できる最たる例である。ここでは、百貨店の垂れ幕の広告から、企業のロゴやブランド名を画像認識し、該当企業の広告を流すことでデジタルサイネージとして運用したり、クーポン配布などで集客を行ったりする態様が、個別情報として観念される。当該情報は、警戒情報ではなく、商サービス上の情報となる。いつも何気なく通っていた経路を運転した後に、各種のサービスを行っている様々な店舗の情報が着信され、それを呼び出して確認することで、新しい気付きを得られることになる。
利用態様の第３例を、図２及び図５を用いて説明する。図５は、本発明の第１実施形態に係る情報処理装置の対象となる個別報知情報の一例である。先述したように、ドライブレコーダーは、２０代の若者が所有する自動車の半数以上に搭載されている。Ｚ世代、デジタルネイティブとも呼ばれる当該世代の若者は、ウェブを日常風景の一部のように使いこなしている。このような世代の若者にとって、ドライブレコーダーに蓄積される圧倒的な情報を、日常生活の中でも活用できれば顧客誘引力は大いに高まる。図５には、百貨店の高い位置から垂れ幕広告が吊り下げられている風景が撮影されている。遠方の風景としても撮影できる最たる例である。ここでは、百貨店の垂れ幕の広告から、企業のロゴやブランド名を画像認識し、該当企業の広告を流すことでデジタルサイネージとして運用したり、クーポン配布などで集客を行ったりする態様が、個別情報として観念される。当該情報は、警戒情報ではなく、商サービス上の情報となる。いつも何気なく通っていた経路を運転した後に、各種のサービスを行っている様々な店舗の情報が着信され、それを呼び出して確認することで、新しい気付きを得られることになる。
【0037】
記憶制御手段１４は、情報処理装置１（ドライブレコーダー）の内部記憶手段１７（ＲＡＭ）に商サービス情報を一時記憶させるとともに、データベース・サーバー３の記憶手段にも商サービス情報を記憶させる。商サービス情報については、前者の一時記憶においても、後者の外部サーバーで記憶される場合においても、場所についての情報が記憶されることになる。自車内での情報利用も、走行中でなく、後から利用される場合があるからである。
【0038】
外部出力手段１５が、スマートフォン等の通信端末２に商サービス情報があることを出力し、情報処理装置１（ドライブレコーダー）に連携したアプリによる制御によって、通信端末２は、商サービス情報が着信されたことを音声により報知する。例えば、「お得な情報をゲットしました。後で、御確認下さい。」等の音声メッセージが出力される。この情報は、後で呼び出すことができるが、同乗者のスマートフォンに対して、その場で、情報を表示するようにしてもよい。図５の例では、カードを保有することによって得ることのできる特典を画面表示で報知する様子が示されている。
【0039】
データベース・サーバー３は、商サービス情報として、場所を含めた情報を商サービスＤＢに記憶させる。この情報には、当該情報を取得した車両のＩＤや、生成抽出された商サービス情報にその後にアクセスしたか否かのアクセス実績が、併せて、属性として記憶されることになる。これらの情報は、利用者のプリファレンス情報として観念することができる。商サービスＤＢは、利用者ごとにフォルダとして整理して格納されるようにし、機械学習の利用と相まって、利用者に適した情報の取得、蓄積、情報の提供が可能となるようになる。
【0040】
これらの第１例～第３例の他にも、警戒情報として、例えば、車線や路面に記載されている規制情報を読取り、報知するようにしても良い。これらの情報も、道路交通情報通信システム等の基幹システムによって扱われることの少ない情報であり、ドライバーに確実な安全運転を促すことが可能となる。商サービス情報としては、駐車場やガソリンスタンドについての価格情報を読取り、抽出、蓄積して報知することもできる。車両運転者が駐車場所を探す際に、近隣の有料（ないし無料）駐車場の場所の表示や価格の比較を行うことで、車両運転者の駐車場所選択を補助することが可能となる。カーナビ装置では、駐車場やガソリンスタンドの行先案内はできても、価格情報を有することはまずない。仮に、価格情報を有していたとしても、頻繁にアップデートされるものではない。変動の激しいガソリン価格については、本発明の実施形態、特に、外部サーバーと組み合わされたシステムが特に有効なものとなる。
【0041】
さらに、住宅地情報、道路標識の変化、学校付近の場合の通学路の情報、人通りといった情報の取得、蓄積、情報提供も有効である。道路を走行中の車両が、道路脇の住宅地情報を取得することで、土地の価格や販売者、販売開始時期等の情報を取得する。また、近隣の当該情報収集によって地価評価の補助とすることも期待できる。認識した道路標識データを、一定の期間にわたり保管・比較することで道路標識の状態変化をいち早く発見することができるし、認識した道路標識が鮮明に認識されない場合、標識自体の経年劣化や標識完成後に車両と標識の間に木の枝等の障害物が発生したと推測できる。地図上の学校の位置を中心として一定範囲内の、道路の車両通行量や道路幅を測定する。車両運転者に不意の飛び出し等について注意喚起することができる。通行人のビッグデータ（時間帯、外見上の性別、年齢層、混雑度等）を収集することでマーケティングに活用できる。このように、本発明の実施形態は、撮影データから、様々な情報を生成して有効活用が可能となる。
【0042】
本発明は、ドライブレコーダー以外の態様でも実施することが可能であり、通信端末や他の車載機器でも、本発明を実施可能である。以下に、説明する。
【0043】
（第２実施形態）
本発明の第２実施形態に係る情報処理装置１Ａは、車内で使用されるスマートフォンやタブレット等の通信端末である。システム構成は、通常のスマートフォンやタブレットが有する制御部、ＲＡＭ、ＲＯＭ、ＩＦ（インターフェース）、ストレージデバイス、カメラ等であるので、図示や説明は省略するが、スマートフォン等に、専用のアプリをダウンロード・インストールして、システムとして構築するものである。システム構成としては、ＳａａＳ（Software as a Service）であっても、クライアントサーバモデルであっても良い。
本発明の第２実施形態に係る情報処理装置１Ａは、車内で使用されるスマートフォンやタブレット等の通信端末である。システム構成は、通常のスマートフォンやタブレットが有する制御部、ＲＡＭ、ＲＯＭ、ＩＦ（インターフェース）、ストレージデバイス、カメラ等であるので、図示や説明は省略するが、スマートフォン等に、専用のアプリをダウンロード・インストールして、システムとして構築するものである。システム構成としては、ＳａａＳ（Software as a Service）であっても、クライアントサーバモデルであっても良い。
【0044】
図６は、本発明の第２実施形態に係る情報処理装置１Ａ（スマートフォン）を、外部のデータベース・サーバー３とともに、機能ブロック図として示したものであって、クライアントサーバモデルである。図中の矢印は、主だったデータの流れを示している。また、情報処理装置１Ａ（スマートフォン）は、車内のダッシュボードの上などにスマートフォンフォルダ等を介して取付け使用されることが想定されている。
【0045】
撮像手段１１は、情報処理装置１Ａ（スマートフォン）に搭載されているカメラである。画像データ取得手段１２は、撮像手段１１で撮影された画像信号を、適宜に設定された解像度やフレームレートに応じた画像データとして取得するものである。これら解像度やフレームレートの設定は、スマートフォンの通常の動画撮影アプリにおける設定よりは低廉なものとされている。フレーム間差分法により、移動体を検出するに際しては、動画データは必要十分な情報量である方が有利であるからである。
【0046】
情報抽出手段１３は、画像データ取得手段１２により取得された撮影画像データに映り込んでいる対象物から、所定の解析処理を施した後に、運転者等に報知されるべき個別報知情報をテキスト情報やアイコン等の簡易画像に加工して抽出する。
危険や安全に関わる警戒情報は、カーナビ装置でも提供されるものであるが、それらの情報は道路交通情報通信システムを介して取得されるものである。換言すれば、道路交通情報通信システムが保持していない情報については取得することができない。地図情報から得る警戒情報についても同様である。第２実施形態によれば、このような地域的に限定された情報やタイムリーには得ることのできない情報を、撮影画像データから得て、運転者に必要な情報が伝えられることになる。
危険や安全に関わる警戒情報は、カーナビ装置でも提供されるものであるが、それらの情報は道路交通情報通信システムを介して取得されるものである。換言すれば、道路交通情報通信システムが保持していない情報については取得することができない。地図情報から得る警戒情報についても同様である。第２実施形態によれば、このような地域的に限定された情報やタイムリーには得ることのできない情報を、撮影画像データから得て、運転者に必要な情報が伝えられることになる。
【0047】
記憶制御手段１４は、情報抽出手段１３により抽出された個別報知情報を、記憶手段に記憶させる処理を実行するものである。記憶手段は、情報処理装置１Ａ（スマートフォン）内のメモリやストレージデバイスであってよく、また、外部のデータベース・サーバー３の記憶手段であってもよいが、情報の種別により、適宜の記憶手段が選択されるようにするのが好適である。例えば、前方に障害物が存在するといった警戒情報については、その場を通過してしまえば、運転者自身には関係のない情報になる。一方で、そのような情報は、同じ幹線道路を走行している後続車両にとっても有益な情報となる。そこで、このような警戒情報は、外部のデータベース・サーバー３に記憶されるのが望ましいということになる。一方で、商業上やサービスに関する情報は、後日にも利用する可能性があり、情報処理装置１Ａ（スマートフォン）内に記憶する方が適している。とはいえ、このような情報も、最初に利用する際には、メモリに一時記憶させるようにし、複数回の情報へのアクセス実績があったことを条件に、ストレージデバイスに情報を移動ないしコピーするといった設定とするのが好適である。
【0048】
このように記憶されるべき情報が振り分けられる結果として、情報処理装置１Ａ（スマートフォン）内のメモリやストレージデバイスに記憶される情報についても、また、データベース・サーバー３の記憶手段に記憶される情報についても、情報抽出手段１３により抽出された個別報知情報の一部が記憶されることになる。ただし、例えば、情報処理装置１Ａ（スマートフォン）内のメモリに、全ての個別報知情報が記憶されることが妨げられるものではないし、情報処理装置１の内部と外部の両方の記憶手段の集合で捉えれば、全ての個別報知情報が記憶されることになる。
【0049】
音声出力手段１８は、情報抽出手段により抽出された個別報知情報を、スピーカから適時に音声出力する。また、図６においては、矢印の表示を省略しているが、ネットワーク接続されることによって、データベース・サーバー３から受信した個別報知情報についても、音声出力手段１８は、適時に出力することになる。そして、音声出力手段１８は、本発明の適時情報出力手段の機能を担うことになる。
【0050】
解析手段１６は、画像データ取得手段１２により取得された撮影画像データに映り込んでいる対象物を解析し、危険ないし警戒対象となる移動体を検出したり、商業上やサービス上の有益な情報を検出したりする処理を実行する。移動体領域の検出は、自車両が走行していることを前提としているため、背景差分法は利用できず、フレーム間差分法を利用することになる。また、本発明の第２実施形態に係る情報処理装置１Ａ（スマートフォン）が対象とする移動体の例としては、自車両と同じ進行方向或いは逆の進行方向で走行する自動車以外の移動体、例えば、キックボードや自転車といった軽車両が挙げられる。エッジ解析処理により、特徴点を抽出し、さらに、特徴点の動きベクトルを時系列の画像から抽出して、移動体として検出する。さらに、自車両との相対速度に基づいて、キックボードや自転車が前方を順方向で走行していることや、場合によっては逆走していることを検知して、適時情報として出力する。低速走行時の立て看板などの情報は、エッジ解析処理により、文字情報を判別・解読して、有効な適時情報として出力する。
【0051】
これら解析される情報は、移動体データと静止物体データに分けられ、例えば、移動体であれば、エッジ解析により得られる輪郭、時系列的な挙動、（自車両に対する）相対速度等の複数の要素であり、また、立て看板や広告といった静止物体であれば、文字の配列や一緒に表示されている情報の種別といった要素である。これら要素は、実測データとして、移動体データ用と静止物体用、それぞれの判定アルゴリズムにより処理され、自転車やキックボード、警戒情報としての注意喚起を与える立て看板、広告といった結果として抽出される。判定アルゴリズムは、機械学習モデルであってもよく、機械学習は、教師あり学習、教師なし学習、強化学習、深層学習等といった実用化されている全ての手法を含むものであるし、具体的なアルゴリズムとしても、典型的なニューラルネットワーク以外に、決定木、ランダムフォレスト、ＳＶＭ等種々のアルゴリズムを採用し得る。実測データは、当然ながら、訓練データとしても用いられることになる。
【0052】
データベース・サーバー３は、情報処理装置１Ａ（スマートフォン）の記憶制御手段１４による命令を受けて、個別情報を受信し、記憶し、情報を統括する。そのために、警戒情報ＤＢ３１と商サービスＤＢ３２を具備するように構成されている。キックボードや自転車を検出しての警戒情報の報知は、自車内だけの処理として完結させるのであれば、十分な事前報知とならない場合がある（それでも、人間が目視できる距離よりは遠距離を撮像手段が捉えることができるので、対象に接近する数秒前に報知することが可能であり、決して無意味ではない。）。データベース・サーバー３を介した情報を利用することによって、例えば、前方１ｋｍ先を走行している同じサービスを利用している他の車両からの警戒情報を受けて、時間的に余裕をもって、事前の警戒情報を報知することが可能となる。商業上の情報についても、他車両と共有できると便利である。
これら、警戒情報ＤＢ３１と商サービスＤＢ３２は、両者ともに、場所、時間、利用者属性によって分類されている。他車両との情報共有を実現するに際して、情報の取捨選択の目安として利用できるからである。
なお、図６は、情報処理装置１Ａ（スマートフォン）自身に実装されるアプリとデータベース・サーバー３とからのシステム構成であるクライアントサーバモデルであるが、解析や判断抽出処理をサーバー側に担わせるＳａａＳ（Software as a Service）としてシステムを構築しても良い。また、アプリは、適時情報を出力するための専用のアプリであるが、ナビゲーションを行うアプリに組み込まれる一機能として実現するようにしてもよい。
これら、警戒情報ＤＢ３１と商サービスＤＢ３２は、両者ともに、場所、時間、利用者属性によって分類されている。他車両との情報共有を実現するに際して、情報の取捨選択の目安として利用できるからである。
なお、図６は、情報処理装置１Ａ（スマートフォン）自身に実装されるアプリとデータベース・サーバー３とからのシステム構成であるクライアントサーバモデルであるが、解析や判断抽出処理をサーバー側に担わせるＳａａＳ（Software as a Service）としてシステムを構築しても良い。また、アプリは、適時情報を出力するための専用のアプリであるが、ナビゲーションを行うアプリに組み込まれる一機能として実現するようにしてもよい。
【0053】
（第３実施形態）
本発明の第３実施形態に係る情報処理装置１Ｂは、車載用のカーナビ装置である。カーナビ装置は、通常、カメラを搭載していないので、外部の撮像手段がオプションとして接続される。このカメラは、ドライブレコーダーに搭載のものを利用したり、衝突防止機能などのために車両に搭載されているカメラを利用したりするが、専用のカメラを用意しても良い。図７は、本発明の第３実施形態に係る情報処理装置１Ｂ（カーナビ装置）を、外部のデータベース・サーバー３とともに、機能ブロック図として示したものであって、クライアントサーバモデルである。図中の矢印は、主だったデータの流れを示している。
本発明の第３実施形態に係る情報処理装置１Ｂは、車載用のカーナビ装置である。カーナビ装置は、通常、カメラを搭載していないので、外部の撮像手段がオプションとして接続される。このカメラは、ドライブレコーダーに搭載のものを利用したり、衝突防止機能などのために車両に搭載されているカメラを利用したりするが、専用のカメラを用意しても良い。図７は、本発明の第３実施形態に係る情報処理装置１Ｂ（カーナビ装置）を、外部のデータベース・サーバー３とともに、機能ブロック図として示したものであって、クライアントサーバモデルである。図中の矢印は、主だったデータの流れを示している。
【0054】
撮像手段は、情報処理装置１Ｂ（カーナビ装置）に外部入力されるカメラである。画像データ取得手段１２は、撮像手段で撮影された画像信号を、適宜に設定された解像度やフレームレートに応じた画像データとして取得するものである。これら解像度やフレームレートの設定は、フレーム間差分法により、移動体を検出するに際しては、必要十分な情報量となるように設定されている。
【0055】
情報抽出手段１３は、画像データ取得手段１２により取得された撮影画像データに映り込んでいる対象物から、所定の解析処理を施した後に、運転者等に報知されるべき個別報知情報をテキスト情報やアイコン等の簡易画像に加工して抽出する。
危険や安全に関わる警戒情報は、従前のカーナビ装置でも提供されるものであるが、それらの情報は道路交通情報通信システムを介して取得されるものである。換言すれば、道路交通情報通信システムが保持していない情報については取得することができない。地図情報から得る警戒情報についても同様である。第３実施形態によれば、このような地域的に限定された情報やタイムリーには得ることのできない情報を、撮影画像データから得て、運転者に必要な情報が伝えられることになるため、カーナビ装置が報知する情報がより充実したものとなる。
危険や安全に関わる警戒情報は、従前のカーナビ装置でも提供されるものであるが、それらの情報は道路交通情報通信システムを介して取得されるものである。換言すれば、道路交通情報通信システムが保持していない情報については取得することができない。地図情報から得る警戒情報についても同様である。第３実施形態によれば、このような地域的に限定された情報やタイムリーには得ることのできない情報を、撮影画像データから得て、運転者に必要な情報が伝えられることになるため、カーナビ装置が報知する情報がより充実したものとなる。
【0056】
記憶制御手段１４は、情報抽出手段１３により抽出された個別報知情報を、記憶手段に記憶させる処理を実行するものである。記憶手段は、情報処理装置１Ｂ（カーナビ装置）内のメモリやストレージデバイスであってよく、また、外部のデータベース・サーバー３の記憶手段であってもよいが、情報の種別により、適宜の記憶手段が選択されるようにするのが好適である。例えば、前方に障害物が存在するといった警戒情報については、その場を通過してしまえば、運転者自身には関係のない情報になる。一方で、そのような情報は、同じ幹線道路を走行している後続車両にとっても有益な情報となる。そこで、このような警戒情報は、外部のデータベース・サーバー３に記憶されるのが望ましいということになる。一方で、商業上やサービスに関する情報は、後日にも利用する可能性があり、情報処理装置１Ｂ（カーナビ装置）内に記憶する方が適している。とはいえ、このような情報も、最初に利用する際には、メモリに一時記憶させるようにし、複数回の情報へのアクセス実績があったことを条件に、ストレージデバイスに情報を移動ないしコピーするといった設定とするのが好適である。
【0057】
このように記憶されるべき情報が振り分けられる結果として、情報処理装置１Ｂ（カーナビ装置）内のメモリやストレージデバイスに記憶される情報についても、また、データベース・サーバー３の記憶手段に記憶される情報についても、情報抽出手段１３により抽出された個別報知情報の一部が記憶されることになる。ただし、例えば、情報処理装置１Ｂ（カーナビ装置）内のメモリに、全ての個別報知情報が記憶されることが妨げられるものではないし、情報処理装置１の内部と外部の両方の記憶手段の集合で捉えれば、全ての個別報知情報が記憶されることになる。
【0058】
音声出力手段１８は、情報抽出手段により抽出された個別報知情報を、スピーカから適時に音声出力する。また、図７においては、矢印の表示を省略しているが、ネットワーク接続されることによって、データベース・サーバー３から受信した個別報知情報についても、音声出力手段１８は、適時に出力することになる。そして、音声出力手段１８は、本発明の適時情報出力手段の機能を担うことになる。適時情報出力手段としては、音声出力手段１８に加えて、カーナビ装置のディスプレイを機能させてもよい。特に、カーナビ装置がドライバーディスプレイと連携していたり、コンバイナを利用したフロントガラスへの投影を行うものであったりする場合には、表示装置利用であっても、十分な注意喚起を行うことが可能となる。
【0059】
解析手段１６は、画像データ取得手段１２により取得された撮影画像データに映り込んでいる対象物を解析し、危険ないし警戒対象となる移動体を検出したり、商業上やサービス上の有益な情報を検出したりする処理を実行する。移動体領域の検出は、自車両が走行していることを前提としているため、背景差分法は利用できず、フレーム間差分法を利用することになる。また、本発明の第３実施形態に係る情報処理装置１Ｂ（カーナビ装置）が対象とする移動体の例としては、自車両と同じ進行方向或いは逆の進行方向で走行する自動車以外の移動体、例えば、キックボードや自転車といった軽車両が挙げられる。エッジ解析処理により、特徴点を抽出し、さらに、特徴点の動きベクトルを時系列の画像から抽出して、移動体として検出する。さらに、自車両との相対速度に基づいて、キックボードや自転車が前方を順方向で走行していることや、場合によっては逆走していることを検知して、適時情報として出力する。低速走行時の立て看板などの情報は、エッジ解析処理により、文字情報を判別・解読して、有効な適時情報として出力する。
【0060】
これら解析される情報は、移動体データと静止物体データに分けられ、例えば、移動体であれば、エッジ解析により得られる輪郭、時系列的な挙動、（自車両に対する）相対速度等の複数の要素であり、また、立て看板や広告といった静止物体であれば、文字の配列や一緒に表示されている情報の種別といった要素である。これら要素は、実測データとして、移動体データ用と静止物体用、それぞれの判定アルゴリズムにより処理され、自転車やキックボード、警戒情報としての注意喚起を与える立て看板、広告といった結果として抽出される。判定アルゴリズムは、機械学習モデルであってもよく、機械学習は、教師あり学習、教師なし学習、強化学習、深層学習等といった実用化されている全ての手法を含むものであるし、具体的なアルゴリズムとしても、典型的なニューラルネットワーク以外に、決定木、ランダムフォレスト、ＳＶＭ等種々のアルゴリズムを採用し得る。実測データは、当然ながら、訓練データとしても用いられることになる。
【0061】
データベース・サーバー３は、情報処理装置１Ｂ（カーナビ装置）の記憶制御手段１４による命令を受けて、個別情報を受信し、記憶し、情報を統括する。そのために、警戒情報ＤＢ３１と商サービスＤＢ３２を具備するように構成されている。キックボードや自転車を検出しての警戒情報の報知は、自車内だけの処理として完結させるのであれば、十分な事前報知とならない場合がある（それでも、人間が目視できる距離よりは遠距離を撮像手段が捉えることができるので、対象に接近する数秒前に報知することが可能であり、決して無意味ではない。）。データベース・サーバー３を介した情報を利用することによって、時間的に余裕をもって、事前の警戒情報を報知することが可能となる。商業上の情報についても、他車両と共有できると便利である。
これら、警戒情報ＤＢ３１と商サービスＤＢ３２は、両者ともに、場所、時間、利用者属性によって分類されている。他車両との情報共有を実現するに際して、情報の取捨選択の目安として利用できるからである。
これら、警戒情報ＤＢ３１と商サービスＤＢ３２は、両者ともに、場所、時間、利用者属性によって分類されている。他車両との情報共有を実現するに際して、情報の取捨選択の目安として利用できるからである。
【0062】
以上、本発明の実施形態に係る情報処理装置、サーバー及びプログラムについて、図面を参照して詳述してきたが、具体的な構成は、これらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。
特に、外部のサーバー利用により、別の車両が認識した情報を相互に組合せて、より確度の高い情報を生成することができる。例えば、逆走してくる軽車両を撮影補足できる時間は短時間となってしまうものの、逆走している軽車両と同じ方に向かって走行している反対車線を走行している自動車は、軽車両を長い時間補足できるため、これらの自動車からの情報をも組み合わせれば、逆走している軽車両が確かに存在していることを検証することができる。商サービス情報については、別の車両運転者が同様に認識した情報を相互に組合せることで情報の比較を行い、より有用な情報の取得やデータベースを作成することが期待できる。
特に、外部のサーバー利用により、別の車両が認識した情報を相互に組合せて、より確度の高い情報を生成することができる。例えば、逆走してくる軽車両を撮影補足できる時間は短時間となってしまうものの、逆走している軽車両と同じ方に向かって走行している反対車線を走行している自動車は、軽車両を長い時間補足できるため、これらの自動車からの情報をも組み合わせれば、逆走している軽車両が確かに存在していることを検証することができる。商サービス情報については、別の車両運転者が同様に認識した情報を相互に組合せることで情報の比較を行い、より有用な情報の取得やデータベースを作成することが期待できる。
【符号の説明】
【0063】
１ 情報処理装置（ドライブレコーダー）
１１ 撮像手段
１２ 画像データ取得手段
１３ 情報抽出手段
１４ 記憶制御手段
１５ 外部出力手段（適時情報出力手段）
１６ 解析手段
１７ 内部記憶手段
２ 通信端末
２１ ディスプレイ
２２ スピーカ
３ データベース・サーバー
３１ 警戒情報ＤＢ
３２ 商サービスＤＢ
１Ａ 情報処理装置（スマートフォン）
１８ 音声出力手段
１Ｂ 情報処理装置（カーナビ装置）
１１ 撮像手段
１２ 画像データ取得手段
１３ 情報抽出手段
１４ 記憶制御手段
１５ 外部出力手段（適時情報出力手段）
１６ 解析手段
１７ 内部記憶手段
２ 通信端末
２１ ディスプレイ
２２ スピーカ
３ データベース・サーバー
３１ 警戒情報ＤＢ
３２ 商サービスＤＢ
１Ａ 情報処理装置（スマートフォン）
１８ 音声出力手段
１Ｂ 情報処理装置（カーナビ装置）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】