ホーム > 特許ランキング > 本田技研工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-10
(45)【発行日】2024-10-21
(54)【発明の名称】情報処理装置、及び、情報処理方法
(51)【国際特許分類】
G08G 1/00 20060101AFI20241011BHJP
G08G 1/13 20060101ALI20241011BHJP
G06Q 50/163 20240101ALI20241011BHJP
G16Y 10/40 20200101ALI20241011BHJP
G16Y 40/10 20200101ALI20241011BHJP
【ＦＩ】
G08G1/00 J
G08G1/13
G06Q50/163
G16Y10/40
G16Y40/10
【請求項の数】
11
(21)【出願番号】P 2021057689
(22)【出願日】2021-03-30
(65)【公開番号】P2022154584
(43)【公開日】2022-10-13
【審査請求日】2023-11-28
(73)【特許権者】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】鬼丸 寛之
(72)【発明者】
【氏名】大石 康夫
(72)【発明者】
【氏名】飯星 明
(72)【発明者】
【氏名】柿沼 篤樹
(72)【発明者】
【氏名】徳永 武雄
【審査官】増子 真
(56)【参考文献】
【文献】特開２０２０－１２６３５９（ＪＰ，Ａ）
【文献】特開２０２０－０９５０９５（ＪＰ，Ａ）
【文献】国際公開第２０２０／２５５６２８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００ － ９９／００
Ｇ０１Ｃ ２１／００ － ２１／３６
Ｇ０１Ｃ ２３／００ － ２５／００
Ｂ６０Ｗ １０／００ － １０／３０
Ｂ６０Ｗ ３０／００ － ６０／００
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
Ｇ０９Ｂ ２３／００ － ２９／１４
Ｇ０６Ｑ ５０／００ － ５０／２０
Ｇ０６Ｑ ５０／２６ － ９９／００
Ｇ１６Ｚ ９９／００
Ｇ０６Ｑ １０／００ － １０／３０
Ｇ０６Ｑ ３０／００ － ３０／０８
(57)【特許請求の範囲】
【請求項1】
車両に搭載されたカメラの撮影画像を取得する取得部と、前記撮影画像に基づき処理対象物を特定する特定部と、
前記撮影画像から、前記処理対象物の変化を検出する対象となる変化点を抽出する抽出部と、を備え、
前記抽出部は、
複数の抽出処理を実行可能に構成され、前記特定部により特定された前記処理対象物に対応する前記抽出処理を行うことによって、前記処理対象物の変化点を抽出するよう構成され、
前記特定部によって前記処理対象物として住宅が特定された場合、前記撮影画像に含まれる前記住宅の側面の画像から変化点を抽出することによって、前記住宅が居住中であるか空き家かを判定する、
情報処理装置。
【請求項2】
前記抽出部は、夜間に撮影された前記撮影画像に含まれる前記住宅の側面の画像から抽出した前記変化点と、昼間に撮影された前記撮影画像に含まれる前記住宅の側面の画像から抽出した前記変化点と、を比較することによって、前記住宅が居住中であるか空き家かを判定する、請求項１に記載の情報処理装置。
【請求項3】
前記抽出部は、前記撮影画像から抽出した前記変化点をもとに、前記住宅の側面の画像から、前記住宅の内部または付近にいる人の有無、前記住宅の照明の点灯状態、前記住宅で干されている洗濯物の状態、前記住宅の窓の開閉状態、前記住宅の一部または全体における温度変化、及び、前記住宅に配達された郵便物の状態の少なくともいずれかを検出することによって、前記住宅が居住中であるか空き家かを判定する、請求項１または２に記載の情報処理装置。
【請求項4】
車両に搭載されたカメラの撮影画像を取得する取得部と、
前記撮影画像に基づき処理対象物を特定する特定部と、
前記撮影画像から、前記処理対象物の変化を検出する対象となる変化点を抽出する抽出部と、を備え、
前記抽出部は、
複数の抽出処理を実行可能に構成され、前記特定部により特定された前記処理対象物に対応する前記抽出処理を行うことによって、前記処理対象物の変化点を抽出するよう構成され、
前記特定部によって前記処理対象物として信号機が特定された場合、前記撮影画像に含まれる前記信号機の画像から変化点を抽出することによって、前記信号機の動作が正常であるか否かを判定する、
情報処理装置。
【請求項5】
車両に搭載されたカメラの撮影画像を取得する取得部と、
前記撮影画像に基づき処理対象物を特定する特定部と、
前記撮影画像から、前記処理対象物の変化を検出する対象となる変化点を抽出する抽出部と、を備え、
前記抽出部は、
複数の抽出処理を実行可能に構成され、前記特定部により特定された前記処理対象物に対応する前記抽出処理を行うことによって、前記処理対象物の変化点を抽出するよう構成され、
前記特定部によって前記処理対象物として道路が特定された場合、前記撮影画像に含まれる前記道路の画像から変化点を抽出することによって、前記道路の路面の冠水の有無を検出する、
情報処理装置。
【請求項6】
前記抽出部は、前記処理対象物における前記変化点、及び、前記変化点について検出する変化の態様が異なる複数の前記抽出処理を実行可能であり、複数の前記抽出処理のうち前記特定部により特定された前記処理対象物に対応する前記抽出処理を特定して実行することにより、前記処理対象物における前記変化点の変化の態様を検出する、請求項１から５のいずれか一項に記載の情報処理装置。
【請求項7】
前記抽出部は、前記抽出処理において、第１の前記撮影画像から抽出した前記変化点と、前記第１の前記撮影画像とは異なる時期に撮影された第２の前記撮影画像から抽出した前記変化点と、を比較することにより、前記変化点における変化を検出する、請求項１から６のいずれか一項に記載の情報処理装置。
【請求項8】
前記取得部は、前記カメラが撮影した動画像と、前記動画像の撮影中における前記車両の位置情報とを取得し、前記動画像から静止画像を切り出すことによって前記撮影画像を取得し、前記車両の位置情報をもとに前記静止画像に対応する位置情報を生成して、生成した位置情報を前記撮影画像に対応付ける処理を行い、前記抽出部は、前記撮影画像から前記変化点を抽出した処理の結果とともに、前記撮影画像に対応付けられた位置情報を出力する、請求項１から７のいずれか１項に記載の情報処理装置。
【請求項9】
車両に搭載されたカメラの撮影画像を取得するステップと、前記撮影画像に基づき処理対象物を特定するステップと、
前記撮影画像から、前記処理対象物の変化を検出する対象となる変化点を抽出する処理であって実行可能に設定された複数の抽出処理のうち、特定された前記処理対象物に対応する前記抽出処理を行うことによって、前記処理対象物の変化点を抽出するステップと、
を有し、
前記抽出するステップでは、前記特定するステップにおいて前記処理対象物として住宅が特定された場合、前記撮影画像に含まれる前記住宅の側面の画像から変化点を抽出することによって、前記住宅が居住中であるか空き家かを判定する、
情報処理方法。
【請求項10】
車両に搭載されたカメラの撮影画像を取得するステップと、
前記撮影画像に基づき処理対象物を特定するステップと、
前記撮影画像から、前記処理対象物の変化を検出する対象となる変化点を抽出する処理であって実行可能に設定された複数の抽出処理のうち、特定された前記処理対象物に対応する前記抽出処理を行うことによって、前記処理対象物の変化点を抽出するステップと、
を有し、
前記抽出するステップでは、前記特定するステップにおいて前記処理対象物として信号機が特定された場合、前記撮影画像に含まれる前記信号機の画像から変化点を抽出することによって、前記信号機の動作が正常であるか否かを判定する、
情報処理方法。
【請求項11】
車両に搭載されたカメラの撮影画像を取得するステップと、
前記撮影画像に基づき処理対象物を特定するステップと、
前記撮影画像から、前記処理対象物の変化を検出する対象となる変化点を抽出する処理であって実行可能に設定された複数の抽出処理のうち、特定された前記処理対象物に対応する前記抽出処理を行うことによって、前記処理対象物の変化点を抽出するステップと、
を有し、
前記抽出するステップでは、前記特定するステップにおいて前記処理対象物として道路が特定された場合、前記撮影画像に含まれる前記道路の画像から変化点を抽出することによって、前記道路の路面の冠水の有無を検出する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、及び、情報処理方法に関する。
【背景技術】
【0002】
従来、建物等の構造物に関する情報を得るため、広範囲を撮影した撮影画像を利用する方法が知られている。例えば、特許文献１は、航空写真画像、衛星画像などの撮影画像と、地図データとを利用して、建造物が空き家であるか否かを判定する手法を開示する。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開２０１９／２２５５９７
【発明の概要】
【発明が解決しようとする課題】
【0004】
建造物が空き家であるか否かの判定に限らず、撮影画像を利用して被写体に関する情報を得る手法は様々な目的に利用できる可能性がある。しかしながら、有用な情報を得るためには撮影画像を解析する処理を被写体に特化させなければならない。このため、特許文献１に記載されたように、特定の目的に適した装置を利用しなければならなかった。
本発明はかかる背景に鑑みてなされたものであり、撮影画像を利用して複数の種類の建造物等についての情報を得る方法を提供することを目的とする。
本発明はかかる背景に鑑みてなされたものであり、撮影画像を利用して複数の種類の建造物等についての情報を得る方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明の一の態様は、車両に搭載されたカメラの撮影画像を取得する取得部と、前記撮影画像に基づき処理対象物を特定する特定部と、前記撮影画像から、前記処理対象物の変化を検出する対象となる変化点を抽出する抽出部と、を備え、前記抽出部は、複数の抽出処理を実行可能に構成され、前記特定部により特定された前記処理対象物に対応する前記抽出処理を行うことによって、前記処理対象物の変化点を抽出するよう構成され、前記特定部によって前記処理対象物として住宅が特定された場合、前記撮影画像に含まれる前記住宅の側面の画像から変化点を抽出することによって、前記住宅が居住中であるか空き家かを判定する、情報処理装置である。
【0006】
本発明の他の態様は、車両に搭載されたカメラの撮影画像を取得する取得部と、前記撮影画像に基づき処理対象物を特定する特定部と、前記撮影画像から、前記処理対象物の変化を検出する対象となる変化点を抽出する抽出部と、を備え、前記抽出部は、複数の抽出処理を実行可能に構成され、前記特定部により特定された前記処理対象物に対応する前記抽出処理を行うことによって、前記処理対象物の変化点を抽出するよう構成され、前記特定部によって前記処理対象物として信号機が特定された場合、前記撮影画像に含まれる前記信号機の画像から変化点を抽出することによって、前記信号機の動作が正常であるか否かを判定する、情報処理装置である。
【0007】
本発明の他の態様は、車両に搭載されたカメラの撮影画像を取得する取得部と、前記撮影画像に基づき処理対象物を特定する特定部と、前記撮影画像から、前記処理対象物の変化を検出する対象となる変化点を抽出する抽出部と、を備え、前記抽出部は、複数の抽出処理を実行可能に構成され、前記特定部により特定された前記処理対象物に対応する前記抽出処理を行うことによって、前記処理対象物の変化点を抽出するよう構成され、前記特定部によって前記処理対象物として道路が特定された場合、前記撮影画像に含まれる前記道路の画像から変化点を抽出することによって、前記道路の路面の冠水の有無を検出する、情報処理装置である。
【0008】
本発明の他の態様は、車両に搭載されたカメラの撮影画像を取得するステップと、前記撮影画像に基づき処理対象物を特定するステップと、前記撮影画像から、前記処理対象物の変化を検出する対象となる変化点を抽出する処理であって実行可能に設定された複数の抽出処理のうち、特定された前記処理対象物に対応する前記抽出処理を行うことによって、前記処理対象物の変化点を抽出するステップと、を有し、前記抽出するステップでは、前記特定するステップにおいて前記処理対象物として住宅が特定された場合、前記撮影画像に含まれる前記住宅の側面の画像から変化点を抽出することによって、前記住宅が居住中であるか空き家かを判定する、情報処理方法である。
【0009】
本発明の他の態様は、車両に搭載されたカメラの撮影画像を取得するステップと、前記撮影画像に基づき処理対象物を特定するステップと、前記撮影画像から、前記処理対象物の変化を検出する対象となる変化点を抽出する処理であって実行可能に設定された複数の抽出処理のうち、特定された前記処理対象物に対応する前記抽出処理を行うことによって、前記処理対象物の変化点を抽出するステップと、を有し、前記抽出するステップでは、前記特定するステップにおいて前記処理対象物として信号機が特定された場合、前記撮影画像に含まれる前記信号機の画像から変化点を抽出することによって、前記信号機の動作が正常であるか否かを判定する、情報処理方法である。
【0010】
本発明の他の態様は、車両に搭載されたカメラの撮影画像を取得するステップと、
前記撮影画像に基づき処理対象物を特定するステップと、前記撮影画像から、前記処理対象物の変化を検出する対象となる変化点を抽出する処理であって実行可能に設定された複数の抽出処理のうち、特定された前記処理対象物に対応する前記抽出処理を行うことによって、前記処理対象物の変化点を抽出するステップと、を有し、前記抽出するステップでは、前記特定するステップにおいて前記処理対象物として道路が特定された場合、前記撮影画像に含まれる前記道路の画像から変化点を抽出することによって、前記道路の路面の冠水の有無を検出する、情報処理方法である。
前記撮影画像に基づき処理対象物を特定するステップと、前記撮影画像から、前記処理対象物の変化を検出する対象となる変化点を抽出する処理であって実行可能に設定された複数の抽出処理のうち、特定された前記処理対象物に対応する前記抽出処理を行うことによって、前記処理対象物の変化点を抽出するステップと、を有し、前記抽出するステップでは、前記特定するステップにおいて前記処理対象物として道路が特定された場合、前記撮影画像に含まれる前記道路の画像から変化点を抽出することによって、前記道路の路面の冠水の有無を検出する、情報処理方法である。
【発明の効果】
【0015】
本発明によれば、撮影画像において特定した処理対象物に対応する抽出処理を行うことによって、車両が搭載するカメラの撮影画像をもとに、複数の種類の処理対象物に関する情報を得ることができる。
【図面の簡単な説明】
【0016】
【図1】情報処理システムの概要を示す説明図である。
【図2】情報処理システムの構成図である。
【図3】情報処理装置の動作を示すフローチャートである。
【図4】情報処理装置の動作を示すフローチャートである。
【図5】情報処理装置の動作を示すフローチャートである。
【図6】情報処理装置の動作を示すフローチャートである。
【図7】情報処理装置の動作を示すフローチャートである。
【図8】情報処理装置の動作を示すフローチャートである。
【図9】情報処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0017】
［１．情報処理システムの概要］
図１は、本実施形態の情報処理システム１の概要を示す説明図である。
情報処理システム１は、車両Ｖに搭載されたカメラ２０５の撮影画像をもとに、車両Ｖが走行する道路、及び、道路の周辺に位置する建造物等の状態に関して情報を得るシステムである。情報処理システム１は、情報処理サーバ１００と、車両Ｖに搭載された車載装置２００とを含む。情報処理サーバ１００は、情報処理装置の一例に対応する。
図１は、本実施形態の情報処理システム１の概要を示す説明図である。
情報処理システム１は、車両Ｖに搭載されたカメラ２０５の撮影画像をもとに、車両Ｖが走行する道路、及び、道路の周辺に位置する建造物等の状態に関して情報を得るシステムである。情報処理システム１は、情報処理サーバ１００と、車両Ｖに搭載された車載装置２００とを含む。情報処理サーバ１００は、情報処理装置の一例に対応する。
【0018】
車載装置２００は、カメラ２０５を備える。カメラ２０５は、車両Ｖの走行中に道路を含む画角を撮影するデジタルカメラであり、動画像を撮影するビデオカメラであってもよいし、スチルカメラであってもよい。また、車載装置２００は、赤外線カメラ２０６を搭載してもよい。赤外線カメラ２０６は、赤外線サーモグラフィーカメラであり、赤外線カメラ２０６の撮影画像は撮影された被写体表面の温度を示す。
【0019】
カメラ２０５、及び、赤外線カメラ２０６の画角、すなわち撮影範囲には、例えば、道路５３０、道路５３０の横に建っている住宅５０１、道路５３０に設置された信号機５１０、歩道５２０、歩道５２０に駐輪された自転車５４０等が含まれる。これらの建造物、物体、人などがカメラ２０５及び赤外線カメラ２０６の被写体となり得る。
【0020】
車載装置２００は、セルラー通信等の無線通信機能を備え、カメラ２０５及び／または赤外線カメラ２０６の撮影画像を含む撮影データＤを、情報処理サーバ１００に送信する。情報処理システム１及び情報処理サーバ１００は、例えば、通信ネットワークＮＷを通じて相互にデータ通信可能に接続される。
【0021】
情報処理システム１に含まれる車両Ｖ及び車載装置２００の数に制限はない。図１には１台の車両Ｖを示しているが、これは一例であり、情報処理サーバ１００は、複数の車載装置２００から撮影画像を取得する構成とすることが可能である。また、以下では車両Ｖが四輪自動車である例を説明するが、車両Ｖの種類は特に制限されず、大型自動車、商用車、二輪車、三輪車等であってもよい。
【0022】
通信ネットワークＮＷは、データ通信ネットワークであればよく、公衆回線網を含む広域通信ネットワーク、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等が挙げられる。
【0023】
情報処理サーバ１００は、車載装置２００が送信する撮影データＤを受信し、撮影データＤに含まれる撮影画像を解析することによって、住宅５０１、信号機５１０、歩道５２０、道路５３０等に関する情報を取得する。本実施形態で、情報処理サーバ１００は、撮影画像を解析することにより得られた情報をもとに、住宅５０１が空き家であるか否か、信号機５１０の動作状態や外観の異常の有無、歩道５２０に放置された自転車５４０の有無、道路５３０の異常の有無等を判定する。
【0024】
本実施形態の情報処理サーバ１００は、通信ネットワークＮＷを介して配信サーバ３００とデータ通信可能に接続される。情報処理サーバ１００は、撮影画像に基づき判定した結果を、配信サーバ３００に送信する。
【0025】
配信サーバ３００は、ユーザ端末２５０と通信を実行することにより、ユーザ端末２５０に情報を配信する。ユーザ端末２５０は、モバイルデバイス、或いはハンドヘルドコンピュータと呼ばれる携帯型のコンピュータであり、例えばスマートフォンである。
【0026】
配信サーバ３００は、ユーザ端末２５０にインストールされたアプリケーションプログラム（以下、アプリという）の機能を利用して、ユーザ端末２５０との間で通信ネットワークＮＷを通じて情報を提供する。ユーザ端末２５０にインストールされるアプリは、例えば、市町村またはより狭い地域を対象とし、地域のコミュニティにおける情報交換や行政機関との情報交換に利用される地域アプリが挙げられる。地域アプリは、地域の住民が個人的に使用するユーザ端末２５０や、行政機関が使用する不図示のコンピュータにインストールされる。配信サーバ３００は、情報処理サーバ１００から送信される情報を取得し、地域アプリがインストールされたユーザ端末２５０やコンピュータに、情報を配信する。
【0027】
情報処理サーバ１００は、１つのサーバコンピュータで構成されてもよいし、複数のコンピュータで構成されてもよく、クラウド型のサーバであってもよい。配信サーバ３００も同様である。また、情報処理サーバ１００は、車載装置２００から撮影画像を取得可能であればよく、サーバに限定されない。デスクトップ型のコンピュータ、ノート型コンピュータ等のコンピュータであってもよい。
【0028】
［２．情報処理システムの構成］
図２は、情報処理システム１の構成図であり、情報処理システム１を構成する情報処理サーバ１００及び車載装置２００の構成を示す。
図２は、情報処理システム１の構成図であり、情報処理システム１を構成する情報処理サーバ１００及び車載装置２００の構成を示す。
【0029】
まず、車載装置２００の構成を説明する。
車載装置２００は、プロセッサ２０１、記憶部２０２、通信部２０３、タッチパネル２０４、カメラ２０５、及び、ＧＮＳＳ２０７を有する。
車載装置２００は、プロセッサ２０１、記憶部２０２、通信部２０３、タッチパネル２０４、カメラ２０５、及び、ＧＮＳＳ２０７を有する。
【0030】
プロセッサ２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やマイクロコントローラ等の情報処理デバイスである。記憶部２０２は、フラッシュメモリ等の半導体メモリデバイスを用いて構成される不揮発性の記憶装置が挙げられる。記憶部２０２は、揮発性の記憶領域を有し、プロセッサ２０１のワークエリアを形成する構成であってもよい。記憶部２０２は、プロセッサ２０１によって実行されるプログラムや、プロセッサ２０１が処理するデータを記憶する。
プロセッサ２０１は、記憶部２０２に記憶されたプログラムを実行し、車載装置２００を制御する。
プロセッサ２０１は、記憶部２０２に記憶されたプログラムを実行し、車載装置２００を制御する。
【0031】
通信部２０３は、アンテナ、ＲＦ回路等を備え、モバイル通信回線を通じてセルラー通信を実行する通信装置である。通信部２０３は、通信ネットワークＮＷに接続し、プロセッサ２０１の制御に従って、情報処理サーバ１００との間でデータ通信を実行する。
【0032】
タッチパネル２０４は、プロセッサ２０１の制御に従って各種の画像を表示する。タッチパネル２０４は、タッチパネル２０４に対するタッチ操作を検出し、検出した操作を示す操作データをプロセッサ２０１に出力する。タッチパネル２０４は、例えば、車両Ｖが搭載するカーナビゲーションシステムのタッチパネルであってもよい。
【0033】
カメラ２０５は、例えば車両Ｖのフロントガラス又はその近傍に設置され、車両Ｖの進行方向における前方を撮影する。また、カメラ２０５は、車両Ｖの後方を撮影するカメラであってもよい。また、カメラ２０５は、車両Ｖの前方を撮影するカメラと、車両Ｖの後方を撮影するカメラとを含んでもよい。カメラ２０５は、プロセッサ２０１の制御に従って撮影を行い、撮影画像をプロセッサ２０１に出力する。
【0034】
赤外線カメラ２０６は、プロセッサ２０１の制御に従って撮影を実行し、サーモグラフィー画像をプロセッサ２０１に出力する。上述のように、車載装置２００は、赤外線カメラ２０６を備えない構成であってもよい。
【0035】
ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）２０７は、プロセッサ２０１の制御に従って車載装置２００の位置を検出する。
【0036】
プロセッサ２０１は、カメラ２０５及び赤外線カメラ２０６によって撮影を実行する。プロセッサ２０１は、カメラ２０５の撮影画像及び赤外線カメラ２０６の撮影画像に、撮影時の位置情報と、撮影日時を示す情報とを付加して、撮影データＤを生成する。
【0037】
図２に示すように、撮影データＤは、撮影画像Ｄ１、サーモ画像Ｄ２、位置情報Ｄ３、及び、撮影日時Ｄ４を含む。撮影画像Ｄ１はカメラ２０５によって撮影された静止画像または動画像（映像）のデータである。サーモ画像Ｄ２は赤外線カメラ２０６によって撮影されたサーモグラフィー画像のデータである。車載装置２００が赤外線カメラ２０６を備えない構成では、撮影データＤはサーモ画像Ｄ２を含まない。位置情報Ｄ３は、車載装置２００が撮影画像Ｄ１を撮影したときの車両Ｖの位置情報であり、ＧＮＳＳ２０７により測位された位置情報である。撮影画像Ｄ１が動画像のデータである場合、位置情報Ｄ３は、動画像の撮影開始時及び／または撮影終了時の位置情報、或いは、動画像の撮影中に所定周期で測位された複数の位置情報を含む。撮影日時Ｄ４は、カメラ２０５の撮影日時である。撮影画像Ｄ１が動画像のデータである場合、撮影日時Ｄ４は、動画像の撮影開始時及び／または撮影終了時の日時、或いは、動画像の撮影中に所定周期で特定された複数の時刻情報を含む。
【0038】
プロセッサ２０１は、通信部２０３によって撮影データＤを情報処理サーバ１００に送信する。プロセッサ２０１は、例えば、車載装置２００が起動している間または車両Ｖの走行中に、カメラ２０５及び赤外線カメラ２０６による撮影を実行する。詳細には、カメラ２０５及び赤外線カメラ２０６によって、常時、動画像を撮影してもよいし、予め設定された周期で静止画像を撮影してもよい。この場合、プロセッサ２０１は、カメラ２０５及び赤外線カメラ２０６の撮影画像のデータと、ＧＮＳＳ２０７が測位した位置情報と、撮影日時とを記憶部２０２に一時的に記憶する。プロセッサ２０１は、予め設定された周期で、或いは、車載装置２００が動作を停止するときに、撮影データＤを生成して通信部２０３により送信する。
【0039】
情報処理サーバ１００は、プロセッサ１０、記憶部２０、及び、通信部３０を備える。プロセッサ１０は、ＣＰＵやマイクロコントローラ等の情報処理デバイスである。記憶部２０は、プロセッサ１０によって実行されるプログラムや、プロセッサ１０が処理するデータを記憶する。記憶部２０は、フラッシュメモリ等の半導体メモリデバイス、磁気的記憶デバイス、光学的記憶デバイス等を用いて構成される不揮発性の記憶装置が挙げられる。また、記憶部２０は、半導体メモリデバイスで構成される揮発性の記憶領域を備え、この揮発性の記憶領域によってプロセッサ１０のワークエリアを形成してもよい。また、プロセッサ１０が揮発性メモリを統合した統合型のデバイスで構成される場合、記憶部２０は不揮発性の記憶装置で構成される。
【0040】
記憶部２０は、制御用プログラム２１、動画像データ２２、撮影画像データ２３、サーモ画像データ２４、設定データ２５、及び、処理結果データ２６を記憶する。制御用プログラム２１は、プロセッサ１０が情報処理サーバ１００を制御するために実行するプログラムである。
【0041】
プロセッサ１０は、制御用プログラム２１を実行することによって、情報処理サーバ１００の機能を実現する。プロセッサ１０が構成する機能部として、取得部１１、特定部１２、抽出部１３、及び、出力部１４を示す。これらの各機能部は、プロセッサ１０が制御用プログラム２１を実行することによってソフトウェアとハードウェアの協働により実現される。
【0042】
取得部１１は、車載装置２００から撮影データＤを取得する。取得部１１は、撮影データＤに含まれる撮影画像Ｄ１が静止画像のデータである場合、撮影画像Ｄ１、位置情報Ｄ３及び撮影日時Ｄ４を対応付けて、撮影画像データ２３として記憶部２０に記憶させる。撮影画像Ｄ１が動画像のデータである場合、取得部１１は、撮影画像Ｄ１、位置情報Ｄ３及び撮影日時Ｄ４を対応付けて、動画像データ２２として記憶部２０に記憶させる。すなわち、動画像データ２２、及び、撮影画像データ２３は、それぞれ、カメラ２０５の撮影画像のデータと、位置情報と、撮影日時とを対応付けて含む。また、取得部１１は、サーモ画像Ｄ２を、位置情報Ｄ３及び撮影日時Ｄ４と対応付けてサーモ画像データ２４として記憶部２０に記憶させる。
【0043】
また、取得部１１は、動画像データ２２から静止画像のデータを切り出して、撮影画像データ２３として記憶させる機能を有する。
記憶部２０は、複数の車載装置２００から取得された撮影画像データ２３を記憶することができる。すなわち、複数の車両Ｖによって撮影された撮影画像を記憶部２０に記憶させることが可能である。取得部１１は、複数の車載装置２００から撮影データＤを取得し、撮影画像データ２３を記憶部２０に記憶させることができる。
記憶部２０は、複数の車載装置２００から取得された撮影画像データ２３を記憶することができる。すなわち、複数の車両Ｖによって撮影された撮影画像を記憶部２０に記憶させることが可能である。取得部１１は、複数の車載装置２００から撮影データＤを取得し、撮影画像データ２３を記憶部２０に記憶させることができる。
【0044】
ここで、取得部１１は、撮影データＤを取得した場合に、撮影データＤを送信した車載装置２００を識別する識別情報を取得してもよい。この識別情報は、予め車載装置２００に付与され、撮影データＤに含まれていてもよいし、取得部１１が付与してもよい。この場合、取得部１１は、動画像データ２２、撮影画像データ２３或いはサーモ画像データ２４に車載装置２００の識別情報を対応付けて記憶部２０に記憶させる。これにより、撮影画像データ２３またはサーモ画像データ２４を処理する場合に、これらを撮影した車載装置２００を特定できる。
【0045】
特定部１２は、撮影画像データ２３を解析して、撮影画像データ２３に被写体として写っている処理対象物を検出する。本実施形態では、特定部１２は、住宅５０１、信号機５１０、歩道５２０、及び、道路５３０を処理対象物として撮影画像データ２３から検出する。特定部１２は、検出した処理対象物が住宅５０１、信号機５１０、歩道５２０、及び、道路５３０のいずれであるかを特定する。
【0046】
抽出部１３は、特定部１２によって特定された処理対象物の画像から、処理対象物の変化点を抽出する。変化点は、処理対象物における変化を検出する対象となる点、部分、または領域であり、処理対象物の全体であってもよい。換言すれば、変化点は、処理対象物の変化を検出する処理で着目される着目点である。ここで、処理対象物の変化とは、例えば、経時的な変化である。経時的な変化とは、単なる経時劣化に限定されず、自然事象に起因する変化、人為的な変化、その他の突発的な変化等を含む。例えば、住宅５０１の住人の行動に起因する変化、信号機５１０への異物の付着、信号機５１０の故障、歩道５２０に物体が放置されること、道路５３０の路面に損傷が発生すること、道路５３０の路面が冠水すること等が処理対象物の変化の一例である。抽出部１３は、処理対象物の変化点における変化の態様を検出する。例えば、抽出部１３は、処理対象物が住宅５０１である場合に、住宅５０１の窓５０２を変化点として、窓５０２の変化を検出する。抽出部１３は、窓５０２の変化を検出することによって、住宅５０１の照明が点灯したか否かを判定する。住宅５０１の照明が点灯したことから、住宅５０１が空き家でないと判定することができる。
【0047】
処理対象物の変化点、及び、変化点について検出する変化の態様は、処理対象物ごとに異なる。換言すれば、抽出部１３は、処理対象物の種類に応じて設定された処理対象物の変化点について、処理対象物の種類に対応する変化の態様を検出する。
例えば、処理対象物が住宅５０１である場合、変化点は住宅５０１の側面を含む外観、住宅５０１の郵便受け、及び、住宅５０１の窓５０２である。抽出部１３が検出する変化の態様は、住宅５０１の周辺の人Ｐの有無、郵便物の有無、窓５０２に現れる照明の点灯状態、窓５０２に現れる洗濯物の有無、及び、窓５０２の開閉状態である。
例えば、処理対象物が住宅５０１である場合、変化点は住宅５０１の側面を含む外観、住宅５０１の郵便受け、及び、住宅５０１の窓５０２である。抽出部１３が検出する変化の態様は、住宅５０１の周辺の人Ｐの有無、郵便物の有無、窓５０２に現れる照明の点灯状態、窓５０２に現れる洗濯物の有無、及び、窓５０２の開閉状態である。
【0048】
抽出部１３は、処理対象物ごとの変化点を抽出し、変化の態様を検出するため、第１処理部１３１、第２処理部１３２、第３処理部１３３、及び、第４処理部１３４を使用する。第１処理部１３１、第２処理部１３２、第３処理部１３３及び第４処理部１３４は、それぞれ異なる処理対象物に対応する処理部である。これら各処理部には、処理対象物に対応する変化点及び検出する変化の態様が規定されている。これらの処理部は、プロセッサ１０が制御用プログラム２１の機能により実行する検出ロジックを表している。抽出部１３は、第１処理部１３１、第２処理部１３２、第３処理部１３３及び第４処理部１３４に相当する抽出処理を選択して実行可能である。
【0049】
抽出部１３は、第１処理部１３１、第２処理部１３２、第３処理部１３３及び第４処理部１３４のうち、取得部１１が特定した処理対象物に対応する処理部を選択して処理を実行する。これは、変化点及び検出する変化の態様が設定された検出ロジックを、取得部１１が特定した処理対象物に合わせて切り替えて実行することに相当する。
【0050】
抽出部１３の処理部は、変化点の変化の態様を検出する処理において、設定データ２５を利用する。設定データ２５は、例えば、変化点の通常の状態を示す画像データや、判定用の閾値である。
抽出部１３は、処理部によって処理を行った結果を、処理結果データ２６として記憶部２０に記憶させる。
抽出部１３は、処理部によって処理を行った結果を、処理結果データ２６として記憶部２０に記憶させる。
【0051】
出力部１４は、抽出部１３による処理の結果を出力する。出力部１４は、例えば、処理結果データ２６を通信部３０によって配信サーバ３００に送信する。
【0052】
［３．情報処理システムの動作］
図３は、情報処理サーバ１００の動作を示すフローチャートである。図3の動作は取得部１１により実行される。
取得部１１は、撮影データＤを車載装置２００から取得する（ステップＳ１１）。取得部１１は、撮影画像Ｄ１が動画像のデータであるか否かを判定する（ステップＳ１２）。
図３は、情報処理サーバ１００の動作を示すフローチャートである。図3の動作は取得部１１により実行される。
取得部１１は、撮影データＤを車載装置２００から取得する（ステップＳ１１）。取得部１１は、撮影画像Ｄ１が動画像のデータであるか否かを判定する（ステップＳ１２）。
【0053】
取得部１１は、撮影画像Ｄ１が動画像のデータでない、すなわち静止画像のデータであると判定した場合（ステップＳ１２；ＮＯ）、撮影画像Ｄ１と、位置情報Ｄ３と、撮影日時Ｄ４とを対応付けて撮影画像データ２３として記憶する（ステップＳ１３）。
【0054】
取得部１１は、撮影画像Ｄ１が動画像のデータであると判定した場合（ステップＳ１２；ＹＥＳ）、撮影画像Ｄ１から静止画像のデータを切り出す（ステップＳ１４）。ステップＳ１で、取得部１１は、例えば、動画像データを構成するフレームの一部または全部を抽出し、静止画像のデータとする。
【0055】
取得部１１は、撮影画像Ｄ１に付加された位置情報Ｄ３及び撮影日時Ｄ４をもとに、ステップＳ１４で切り出した静止画像に対応する位置情報と撮影日時とを生成する（ステップＳ１５）。取得部１１は、ステップＳ１４で切り出した静止画像のデータと、位置情報と、撮影日時とを対応付けて、撮影画像データ２３として記憶部２０に記憶させる（ステップＳ１６）。
【0056】
また、取得部１１は、サーモ画像Ｄ２についても図３の動作を実行する。これにより、サーモ画像Ｄ２がサーモ画像データ２４として記憶部２０に記憶される。
【0057】
図３の動作によって、車載装置２００が送信する撮影データＤが動画像のデータを含む場合であっても、特定部１２及び抽出部１３が静止画像データを利用して処理を行うことが可能となる。ここで、図３の動作を、車載装置２００が実行する構成としてもよい。すなわち、プロセッサ２０１が、カメラ２０５及び赤外線カメラ２０６によって撮影された動画像から静止画像のデータを生成し、静止画像のデータを含む撮影データＤを生成して情報処理サーバ１００に送信してもよい。この場合、車載装置２００が送信する撮影データＤは、静止画像である撮影画像Ｄ１及びサーモ画像Ｄ２を含むデータとなる。
【0058】
図４、図５、図６、図７、図８及び図９は、情報処理サーバ１００の動作を示すフローチャートである。図４のステップＳ２１－Ｓ２３は特定部１２により実行され、ステップＳ２４、Ｓ２５は抽出部１３により実行され、ステップＳ２６、Ｓ２７は出力部１４により実行される。
【0059】
図４に示すように、情報処理サーバ１００は、記憶部２０が記憶する撮影画像データ２３を取得する（ステップＳ２１）。情報処理サーバ１００は、取得した撮影画像データ２３から被写体の画像を抽出する（ステップＳ２２）。ステップＳ２２では、抽出部１３により処理される処理対象物であるか否かを問わず、撮影画像データ２３において建造物、物体或いは人として認識され得る被写体が抽出される。
【0060】
情報処理サーバ１００は、ステップＳ２２で抽出した被写体の中から、処理対象物を特定する（ステップＳ２３）。情報処理サーバ１００は、第１処理部１３１、第２処理部１３２、第３処理部１３３、及び第４処理部１３４のうち、ステップＳ２３で特定された処理対象物に対応する処理部を選択する（ステップＳ２４）。ステップＳ２４の処理は、ステップＳ２３で特定された処理対象物に対応する抽出処理のロジックを選択することに相当する。
【0061】
情報処理サーバ１００は、ステップＳ２３で選択した処理部によって抽出処理を実行する（ステップＳ２５）。情報処理サーバ１００は、抽出処理の結果が、出力すべき結果であるか否かを判定する（ステップＳ２６）。情報処理サーバ１００は、出力すべき結果であると判定した場合（ステップＳ２６；ＹＥＳ）、処理結果データ２６を配信サーバ３００に出力し（ステップＳ２７）、配信サーバ３００からユーザ端末２５０等に配信させる。情報処理サーバ１００は、処理結果データ２６が、出力すべき結果でないと判定した場合（ステップＳ２６；ＮＯ）、ステップＳ２７を行わずに本処理を終了する。
【0062】
【0063】
第１処理部１３１は、特定部１２によって特定された処理対象物が信号機５１０である場合に選択される。
第１処理部１３１は、信号機５１０の画像における変化点を、信号機５１０の点灯部に設定する（ステップＳ３１）。信号機５１０の点灯部とは、信号機５１０が内蔵するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）や電球の光によって赤、青、黄に発光する部分である。
第１処理部１３１は、信号機５１０の画像における変化点を、信号機５１０の点灯部に設定する（ステップＳ３１）。信号機５１０の点灯部とは、信号機５１０が内蔵するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）や電球の光によって赤、青、黄に発光する部分である。
【0064】
第１処理部１３１は撮影画像データ２３から変化点の画像を抽出する（ステップＳ３２）。第１処理部１３１は、変化点の画像を解析することにより、点灯部の点灯状態（動作状態）を判定する（ステップＳ３３）。具体的には、第１処理部１３１は、ステップＳ３３において、点灯部が正常に点灯しているか否かを判定する。第１処理部１３１は、例えば、正常に点灯しているときの信号機５１０の画像が設定データ２５として記憶部２０に予め記憶されている場合、この画像と、ステップＳ３２で抽出した画像とを比較することによって、ステップＳ３３の判定を行う。ステップＳ３３で、第１処理部１３１は、判定結果を処理結果データ２６に含めて記憶部２０に記憶させる。
【0065】
信号機５１０は通常、複数の点灯部を有する。第１処理部１３１は、ステップＳ３１で複数の点灯部を変化点として設定し、複数の点灯部についてステップＳ３３で判定を行ってもよい。また、第１処理部１３１は、ステップＳ３１で複数の点灯部のいずれか１つを変化点とし、この変化点についてステップＳ３３で判定を行ってもよい。この場合、第１処理部１３１は、点灯部の数だけステップＳ３１－Ｓ３３の動作を繰り返して実行してもよい。
【0066】
第１処理部１３１は、信号機５１０の画像における変化点を、信号機５１０の下端部に設定する（ステップＳ３４）。ここで、信号機５１０の下端部とは、信号機５１０を指示するポールを含まない部分において最も下に位置する部分であり、例えば信号機５１０の点灯部の下部である。
【0067】
第１処理部１３１は撮影画像データ２３から変化点の画像を抽出する（ステップＳ３５）。第１処理部１３１は、変化点の画像を解析することにより、信号機５１０における異物の付着の有無を判定する（ステップＳ３６）。第１処理部１３１は、例えば、異物がないときの信号機５１０の画像が設定データ２５として記憶部２０に予め記憶されている場合、この画像と、ステップＳ３５で抽出した画像とを比較することによって、ステップＳ３６の判定を行う。例えば、第１処理部１３１は、ステップＳ３３において信号機５１０に氷柱が付着しているか否かを判定する。ステップＳ３６で、第１処理部１３１は、判定結果を処理結果データ２６に含めて記憶部２０に記憶させる。
【0068】
図５に示したように、抽出部１３は、１つの処理対象物について、複数の変化点を設定することができ、変化点ごとに撮影画像を解析して判定を行うことができる。
【0069】
【0070】
第２処理部１３２は、特定部１２によって特定された処理対象物が住宅５０１である場合に選択される。
第２処理部１３２は、複数の撮影画像データ２３を取得する（ステップＳ４１）。第２処理部１３２は、ステップＳ２１で取得された撮影画像データ２３が１つの撮影画像である場合、この撮影画像とは異なる日時に撮影された撮影画像データ２３を取得する。また、ステップＳ２１で取得された撮影画像データ２３が複数の撮影画像を含む場合は、これら複数の撮影画像をステップＳ４１で取得すればよい。
第２処理部１３２は、複数の撮影画像データ２３を取得する（ステップＳ４１）。第２処理部１３２は、ステップＳ２１で取得された撮影画像データ２３が１つの撮影画像である場合、この撮影画像とは異なる日時に撮影された撮影画像データ２３を取得する。また、ステップＳ２１で取得された撮影画像データ２３が複数の撮影画像を含む場合は、これら複数の撮影画像をステップＳ４１で取得すればよい。
【0071】
以下では、ステップＳ４１で取得される撮影画像のいずれか１つを第１画像とし、他の撮影画像のうち１つを第２画像とする。第１画像と第２画像とは異なる日時に撮影された画像であることが好ましい。より好ましくは、撮影日時すなわち撮影時期が数時間以上、異なっていることが好ましく、さらに好ましくは、第１画像は夜間に撮影された画像であり、第２画像は昼間に撮影された画像である。また、第１画像と第２画像とは同じ住宅５０１を撮影した画像である。第２処理部１３２は、例えば、撮影画像データ２３が含む位置情報に基づいて、同じ住宅５０１を撮影した複数の撮影画像を取得する。第１画像と第２画像とは、異なる車両Ｖが搭載するカメラ２０５によって撮影された画像であってもよい。第１画像は第１の撮影画像の一例に対応し、第２画像は第２の撮影画像の一例に対応する。
【0072】
第２処理部１３２は、住宅５０１の画像における変化点を、住宅５０１の側面を含む外観に設定する（ステップＳ４２）。撮影画像データ２３は車両Ｖに搭載されたカメラ２０５が撮影した画像であるから、住宅５０１の側面を含む外観を撮影した画像であり、航空画像や衛星画像等のように上方から撮影した画像とは異なる。
【0073】
第２処理部１３２は、複数の撮影画像から変化点の画像を抽出する（ステップＳ４３）。第２処理部１３２は、ステップＳ４３で第１画像から抽出した変化点と第２画像から抽出した変化点とを比較することによって、住宅５０１の付近にいる人Ｐの有無を判定する（ステップＳ４４）。
【0074】
第２処理部１３２は、住宅５０１の画像における変化点を、住宅５０１の郵便受けに設定する（ステップＳ４５）。第２処理部１３２は、複数の撮影画像から変化点の画像を抽出する（ステップＳ４６）。第２処理部１３２は、ステップＳ４６で第１画像から抽出した変化点と第２画像から抽出した変化点とを比較することによって、住宅５０１の郵便受けに郵便物が溜まっているか否かを判定する（ステップＳ４７）。例えば、郵便受けの郵便物が時間の経過とともに増加している場合、住宅５０１に配達された郵便物が溜まっていると判定できる。また、郵便受けの郵便物が時間の経過とともに減少または消失している場合、住宅５０１に配達された郵便物が住宅５０１の住人によって回収された、すなわち郵便物が溜まっていないと判定できる。
【0075】
第２処理部１３２は、住宅５０１の画像における変化点を、窓５０２に設定する（ステップＳ４８）。第２処理部１３２は、複数の撮影画像から変化点の画像を抽出する（ステップＳ４９）。第２処理部１３２は、ステップＳ４９で第１画像から抽出した変化点と第２画像から抽出した変化点とを比較することによって、住宅５０１の照明の点灯状態を判定する（ステップＳ５０）。第１画像と第２画像のいずれかが、夜間に撮影された画像である場合、より確実に判定を行える。
【0076】
また、第２処理部１３２は、ステップＳ４９で第１画像から抽出した変化点と第２画像から抽出した変化点とを比較することによって、住宅５０１で干されている洗濯物の有無を判定する（ステップＳ５１）。第１画像と第２画像のいずれかが、昼間に撮影された画像である場合、より確実に判定を行える。
【0077】
また、第２処理部１３２は、ステップＳ４９で第１画像から抽出した変化点と第２画像から抽出した変化点とを比較することによって、窓５０２の開閉状態を判定する（ステップＳ５２）。窓５０２の開閉状態とは、例えば窓５０２が開閉されたか否かを指す。
【0078】
第２処理部１３２は、ステップＳ４４、Ｓ４７、Ｓ５０、Ｓ５１、Ｓ５２の判定結果に基づいて、住宅５０１が空き家であるか否かを判定し、判定結果を処理結果データ２６として記憶部２０に記憶させる（ステップＳ５３）。
上記処理において、第２処理部１３２は、変化点を窓５０２に設定した場合に、窓５０２に現れる住宅５０１の内部に人Ｐがいるか否かを判定してもよい。この場合、住宅５０１の室内に人Ｐがいるか否かの判定結果を、ステップＳ５３の判定に利用してもよい。
上記処理において、第２処理部１３２は、変化点を窓５０２に設定した場合に、窓５０２に現れる住宅５０１の内部に人Ｐがいるか否かを判定してもよい。この場合、住宅５０１の室内に人Ｐがいるか否かの判定結果を、ステップＳ５３の判定に利用してもよい。
【0079】
図６に示したように、抽出部１３は、１つの処理対象物について設定した１つの変化点に基づき、複数の判定を行うことができる。また、複数の判定の結果をもとにして、住宅５０１が空き家であるか、居住中であるかを判定することができる。
【0080】
図７は、第２処理部１３２が、サーモ画像データ２４から変化点を抽出する場合の動作を示す。
第２処理部１３２は、ステップＳ６１と同様の処理によって、複数のサーモ画像データ２４を取得する（ステップＳ６１）。以下では、ステップＳ６１で取得される撮影画像のいずれか１つを第１サーモ画像とし、他の撮影画像のうち１つを第２サーモ画像とする。第１サーモ画像と第２サーモ画像とは異なる日時に撮影された画像であることが好ましい。より好ましくは、撮影日時すなわち撮影時期が数時間以上、異なっていることが好ましく、さらに好ましくは、第１サーモ画像は夜間に撮影された画像であり、第２サーモ画像は昼間に撮影された画像である。また、第１サーモ画像と第２サーモ画像とは同じ住宅５０１を撮影した画像である。第２処理部１３２は、例えば、撮影画像データ２３が含む位置情報に基づいて、同じ住宅５０１を撮影した複数の撮影画像を取得する。第１サーモ画像と第２サーモ画像とは、異なる車両Ｖが搭載するカメラ２０５によって撮影された画像であってもよい。第１サーモ画像は第１の撮影画像の一例に対応し、第２サーモ画像は第２の撮影画像の一例に対応する。
第２処理部１３２は、ステップＳ６１と同様の処理によって、複数のサーモ画像データ２４を取得する（ステップＳ６１）。以下では、ステップＳ６１で取得される撮影画像のいずれか１つを第１サーモ画像とし、他の撮影画像のうち１つを第２サーモ画像とする。第１サーモ画像と第２サーモ画像とは異なる日時に撮影された画像であることが好ましい。より好ましくは、撮影日時すなわち撮影時期が数時間以上、異なっていることが好ましく、さらに好ましくは、第１サーモ画像は夜間に撮影された画像であり、第２サーモ画像は昼間に撮影された画像である。また、第１サーモ画像と第２サーモ画像とは同じ住宅５０１を撮影した画像である。第２処理部１３２は、例えば、撮影画像データ２３が含む位置情報に基づいて、同じ住宅５０１を撮影した複数の撮影画像を取得する。第１サーモ画像と第２サーモ画像とは、異なる車両Ｖが搭載するカメラ２０５によって撮影された画像であってもよい。第１サーモ画像は第１の撮影画像の一例に対応し、第２サーモ画像は第２の撮影画像の一例に対応する。
【0081】
第２処理部１３２は、住宅５０１の画像における変化点を、窓５０２に設定する（ステップＳ６２）。第２処理部１３２は、複数の撮影画像から変化点の画像を抽出する（ステップＳ６３）。第２処理部１３２は、ステップＳ６３で第１サーモ画像から抽出した変化点と第２サーモ画像から抽出した変化点とを比較することによって、窓５０２の温度変化を判定する（ステップＳ６４）。第２処理部１３２は、ステップＳ６４の判定結果に基づいて、住宅５０１が空き家であるか否かを判定し、判定結果を処理結果データ２６として記憶部２０に記憶させる（ステップＳ６５）。例えば、窓５０２の温度変化が、住宅５０１の地域の温度変化と相違する場合、住宅５０１が空き家で無いと判定することの根拠になる。詳細には、ステップＳ６４で、第２処理部１３２によって、昼間より夜間の方が窓５０２の温度が高いと判定された場合、住宅５０１が空き家でないと判定できる。
【0082】
ステップＳ６５で、第２処理部１３２は、図６のステップＳ４４、Ｓ４７、Ｓ５０、Ｓ５１、Ｓ５２の判定結果と、ステップＳ６５の判定結果とを合わせて、住宅５０１が空き家であるか否かを判定してもよい。例えば、ステップＳ６１において、第２処理部１３２が、サーモ画像データ２４に含まれる位置情報に基づいて、ステップＳ４１で取得した撮影画像データ２３と同じ住宅５０１を撮影したサーモ画像データ２４を取得すればよい。この場合、撮影画像データ２３とサーモ画像データ２４とを組み合わせることにより、住宅５０１が空き家であるか否かを、より正確に判定できる。
また、第２処理部１３２は、図７の処理で、変化点を住宅５０１の側面を含む外観全体として、温度変化を判定してもよい。この場合も、住宅５０１の温度変化に基づき、住宅５０１が空き家であるか否かを判定できる。
また、第２処理部１３２は、図７の処理で、変化点を住宅５０１の側面を含む外観全体として、温度変化を判定してもよい。この場合も、住宅５０１の温度変化に基づき、住宅５０１が空き家であるか否かを判定できる。
【0083】
図８は、ステップＳ２４で第３処理部１３３が選択された場合の動作を示す。すなわち、図８の動作は第３処理部１３３が実行する。
第３処理部１３３は、特定部１２によって特定された処理対象物が、道路５３０である場合に選択される。
第３処理部１３３は、特定部１２によって特定された処理対象物が、道路５３０である場合に選択される。
【0084】
第３処理部１３３は、道路の撮影画像における変化点を、道路５３０の路面に設定する（ステップＳ７１）。第３処理部１３３は撮影画像データ２３から変化点の画像を抽出する（ステップＳ７２）。第３処理部１３３は、変化点の画像を解析することにより、路面の陥没の有無を判定する（ステップＳ７３）。例えば、第３処理部１３３は、陥没がある状態の路面の画像が設定データ２５として記憶部２０に予め記憶されている場合、この画像と、ステップＳ７２で抽出した画像とを比較することによって、ステップＳ７３の判定を行う。ステップＳ７３で、第３処理部１３３は、判定結果を処理結果データ２６に含めて記憶部２０に記憶させる。
【0085】
第３処理部１３３は、変化点の画像を解析することにより、道路５３０における冠水の有無を判定する（ステップＳ７４）。例えば、第３処理部１３３は、冠水している状態の路面の画像が設定データ２５として記憶部２０に予め記憶されている場合、この画像と、ステップＳ７２で抽出した画像とを比較することによって、ステップＳ７４の判定を行う。ステップＳ７４で、第３処理部１３３は、判定結果を処理結果データ２６に含めて記憶部２０に記憶させる。
このように、第３処理部１３３は、撮影画像データ２３を利用して道路５３０の路面状態を判定できる。
このように、第３処理部１３３は、撮影画像データ２３を利用して道路５３０の路面状態を判定できる。
【0086】
図９は、ステップＳ２４で第４処理部１３４が選択された場合の動作を示す。すなわち、図９の動作は第４処理部１３４が実行する。
第４処理部１３４は、特定部１２によって特定された処理対象物が歩道５２０である場合に選択される。
第４処理部１３４は、特定部１２によって特定された処理対象物が歩道５２０である場合に選択される。
【0087】
第４処理部１３４は、複数の撮影画像データ２３を取得する（ステップＳ８１）。第４処理部１３４は、ステップＳ２１で取得された撮影画像データ２３が１つの撮影画像である場合、この撮影画像とは異なる日時に撮影された撮影画像データ２３を取得する。また、ステップＳ２１で取得された撮影画像データ２３が複数の撮影画像を含む場合は、これら複数の撮影画像をステップＳ８１で取得すればよい。
【0088】
ここで、ステップＳ８１で取得される撮影画像のいずれか１つを第１画像とし、他の撮影画像のうち１つを第２画像とする。第１画像と第２画像とは異なる日時に撮影された画像であることが好ましい。より好ましくは、第１画像と第２画像とは異なる日に撮影された画像である。さらに好ましくは、第１画像は夜間に撮影された画像であり、第２画像は昼間に撮影された画像である。また、第１画像と第２画像とは歩道５２０における同じ場所を撮影した画像である。第４処理部１３４は、例えば、撮影画像データ２３が含む位置情報に基づいて、同じ場所の歩道５２０を撮影した複数の撮影画像を取得する。第１画像と第２画像とは、異なる車両Ｖが搭載するカメラ２０５によって撮影された画像であってもよい。
【0089】
第４処理部１３４は、歩道５２０の画像における変化点を、歩道５２０そのものに設定する（ステップＳ８２）。第４処理部１３４は撮影画像データ２３から変化点の画像を抽出する（ステップＳ８３）。
【0090】
第４処理部１３４は、変化点の画像を解析することにより、歩道５２０における自転車５４０の有無を判定する（ステップＳ８４）。第４処理部１３４は、第１画像と第２画像の両方で自転車５４０が写っている場合、自転車５４０ありと判定する（ステップＳ８４；ＹＥＳ）。この場合、第４処理部１３４は、変化点を自転車５４０に設定し（ステップＳ８５）、第１画像および第２画像のそれぞれから変化点の画像を抽出する（ステップＳ８６）。
【0091】
第４処理部１３４は、ステップＳ８６で第１画像から抽出した変化点と第２画像から抽出した変化点とを比較することによって、自転車５４０が放置されているか否か、すなわち、自転車５４０が放置自転車か否かを判定する（ステップＳ８７）。ステップＳ８７で、第４処理部１３４は、判定結果を処理結果データ２６に含めて記憶部２０に記憶させる。
【0092】
また、ステップＳ８４で、第４処理部１３４は、第１画像と第２画像のいずれか一方で自転車５４０が写っていない場合、自転車５４０がないと判定する（ステップＳ８４；ＮＯ）。この場合、第４処理部１３４は、放置自転車がないと判定して（ステップＳ８８）、判定結果を処理結果データ２６に含めて記憶部２０に記憶させる。
【0093】
［４．他の実施形態］
上記実施形態は本発明を適用した一具体例を示すものであり、発明が適用される形態を限定するものではない。
上記実施形態は本発明を適用した一具体例を示すものであり、発明が適用される形態を限定するものではない。
【0094】
例えば、上記実施形態では、住宅５０１が居住中か空き家であるかを判定するため、ステップＳ４４、Ｓ４７、Ｓ５０、Ｓ５１、Ｓ５２の判定結果を利用する例を説明したが、これら全ての判定結果が必須ではない。抽出部１３は、ステップＳ４４、Ｓ４７、Ｓ５０、Ｓ５１、Ｓ５２の判定結果の少なくともいずれかを利用して、ステップＳ５３で判定を行えばよい。
【0095】
例えば、上記実施形態では、車載装置２００から情報処理サーバ１００に対してセルラー通信等により撮影データＤを送信する例を説明したが、車載装置２００は、セルラー通信機能を持たなくてもよい。例えば、車載装置２００が、車載装置２００に接続可能な可搬型の情報記憶媒体に撮影データＤを記憶させ、この情報記憶媒体から撮影データＤを情報処理サーバ１００が読み取る構成であってもよい。
【0096】
図２は、本願発明の理解を容易にするために、情報処理サーバ１００及び車載装置２００の機能構成を、主な処理内容により区分して示した概略図であり、情報処理サーバ１００及び車載装置２００の構成を限定するものではない。例えば、プロセッサ１０が備える構成要素の処理を、１つのハードウェアユニットにより実行してもよいし、複数のハードウェアユニットにより実行してもよい。また、図３－図９に示した各処理は、１つのプログラムにより実行されてもよいし、複数のプログラムにより実行されてもよい。
【0097】
制御用プログラム２１は、可搬型の情報記録媒体に制御用プログラム２１を記録させた状態で実現することも可能である。情報記録媒体は、ハードディスク等の磁気的記録媒体、ＣＤ等の光学的記録媒体、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の半導体記憶デバイスが挙げられるが、その他の記録媒体を用いることも可能である。プロセッサ１０は、情報記録媒体から制御用プログラム２１を読み出して実行してもよい。
【0098】
［５．上記実施形態によりサポートされる構成］
上記実施形態は、以下の構成をサポートする。
上記実施形態は、以下の構成をサポートする。
【0099】
（構成１）車両に搭載されたカメラの撮影画像を取得する取得部と、前記撮影画像に基づき処理対象物を特定する特定部と、前記撮影画像から、前記処理対象物の変化を検出する対象となる変化点を抽出する抽出部と、を備え、前記抽出部は、複数の抽出処理を実行可能に構成され、前記特定部により特定された前記処理対象物に対応する前記抽出処理を行うことによって、前記処理対象物の変化点を抽出する、情報処理装置。
構成１の情報処理装置によれば、撮影画像において特定した処理対象物に対応する抽出処理を行うことによって、車両が搭載するカメラの撮影画像をもとに、複数の種類の処理対象物に関する情報を得ることができる。
構成１の情報処理装置によれば、撮影画像において特定した処理対象物に対応する抽出処理を行うことによって、車両が搭載するカメラの撮影画像をもとに、複数の種類の処理対象物に関する情報を得ることができる。
【0100】
（構成２）前記抽出部は、前記処理対象物における前記変化点、及び、前記変化点について検出する変化の態様が異なる複数の前記抽出処理を実行可能であり、複数の前記抽出処理のうち前記特定部により特定された前記処理対象物に対応する前記抽出処理を特定して実行することにより、前記処理対象物における前記変化点の変化の態様を検出する、構成１記載の情報処理装置。
構成２の情報処理装置によれば、処理対象物に対応する抽出処理によって、処理対象物に特有の変化点において変化の態様を検出できる。これにより、車両が搭載するカメラの撮影画像を利用して、処理対象物の種類等に特有の情報を得ることができる。
構成２の情報処理装置によれば、処理対象物に対応する抽出処理によって、処理対象物に特有の変化点において変化の態様を検出できる。これにより、車両が搭載するカメラの撮影画像を利用して、処理対象物の種類等に特有の情報を得ることができる。
【0101】
（構成３）前記抽出部は、前記抽出処理において、第１の前記撮影画像から抽出した前記変化点と、前記第１の前記撮影画像とは異なる時期に撮影された第２の前記撮影画像から抽出した前記変化点と、を比較することにより、前記変化点における変化を検出する、構成１または構成２記載の情報処理装置。
構成３の情報処理装置によれば、複数の画像を比較することによって、処理対象物に関して詳細な情報を得ることができる。
構成３の情報処理装置によれば、複数の画像を比較することによって、処理対象物に関して詳細な情報を得ることができる。
【0102】
（構成４）前記抽出部は、前記特定部によって前記処理対象物として住宅が特定された場合、前記撮影画像に含まれる前記住宅の側面の画像から変化点を抽出することによって、前記住宅が居住中であるか空き家かを判定する、構成１から構成３のいずれか１項に記載の情報処理装置。
構成４の情報処理装置によれば、住宅の側面の画像を利用することによって、例えば上方から撮影された画像を利用する場合に比べ、より正確に、住宅が居住中であるか空き家かを判定できる。
構成４の情報処理装置によれば、住宅の側面の画像を利用することによって、例えば上方から撮影された画像を利用する場合に比べ、より正確に、住宅が居住中であるか空き家かを判定できる。
【0103】
（構成５）前記抽出部は、夜間に撮影された前記撮影画像に含まれる前記住宅の側面の画像から抽出した前記変化点と、昼間に撮影された前記撮影画像に含まれる前記住宅の側面の画像から抽出した前記変化点と、を比較することによって、前記住宅が居住中であるか空き家かを判定する、構成４記載の情報処理装置。
構成５の情報処理装置によれば、夜間に撮影された撮影画像と昼間に撮影された撮影画像とを比較するので、より正確に、住宅が居住中であるか空き家かを判定できる。
構成５の情報処理装置によれば、夜間に撮影された撮影画像と昼間に撮影された撮影画像とを比較するので、より正確に、住宅が居住中であるか空き家かを判定できる。
【0104】
（構成６）前記抽出部は、前記撮影画像から抽出した前記変化点をもとに、前記住宅の側面の画像から、前記住宅の内部または付近にいる人の有無、前記住宅の照明の点灯状態、前記住宅で干されている洗濯物の状態、前記住宅の窓の開閉状態、前記住宅の一部または全体における温度変化、及び、前記住宅に配達された郵便物の状態の少なくともいずれかを検出することによって、前記住宅が居住中であるか空き家かを判定する、構成４または構成５記載の情報処理装置。
構成６の情報処理装置によれば、住宅の居住状態の指標となる事象について判定を行うことにより、より正確に、住宅が居住中であるか空き家かを判定できる。
構成６の情報処理装置によれば、住宅の居住状態の指標となる事象について判定を行うことにより、より正確に、住宅が居住中であるか空き家かを判定できる。
【0105】
（構成７）前記抽出部は、前記特定部によって前記処理対象物として信号機が特定された場合、前記撮影画像に含まれる前記信号機の画像から変化点を抽出することによって、前記信号機の動作状態が正常であるか否か、及び、前記信号機に異物が付着しているか否かの少なくともいずれかを判定する、構成１から構成３のいずれか１項に記載の情報処理装置。
構成７の情報処理装置によれば、車両が搭載するカメラの撮影画像をもとに、信号機の状態に関する情報を得ることができる。
構成７の情報処理装置によれば、車両が搭載するカメラの撮影画像をもとに、信号機の状態に関する情報を得ることができる。
【0106】
（構成８）前記抽出部は、前記特定部によって前記処理対象物として道路が特定された場合、前記撮影画像に含まれる前記道路の画像から変化点を抽出することによって、前記道路の路面状態の異常を検出する、構成１から構成３のいずれか１項に記載の情報処理装置。
構成８の情報処理装置によれば、車両が搭載するカメラの撮影画像をもとに、道路の路面の状態に関する情報を得ることができる。
構成８の情報処理装置によれば、車両が搭載するカメラの撮影画像をもとに、道路の路面の状態に関する情報を得ることができる。
【0107】
（構成９）前記取得部は、前記カメラが撮影した動画像と、前記動画像の撮影中における前記車両の位置情報とを取得し、前記動画像から静止画像を切り出すことによって前記撮影画像を取得し、前記車両の位置情報をもとに前記静止画像に対応する位置情報を生成して、生成した位置情報を前記撮影画像に対応付ける処理を行い、前記抽出部は、前記撮影画像から前記変化点を抽出した処理の結果とともに、前記撮影画像に対応付けられた位置情報を出力する、構成１から構成８のいずれか１項に記載の情報処理装置。
構成９の情報処理装置によれば、車両が搭載するカメラが撮影した動画像を利用して、複数の種類の処理対象物に関する情報を得ることができる。
構成９の情報処理装置によれば、車両が搭載するカメラが撮影した動画像を利用して、複数の種類の処理対象物に関する情報を得ることができる。
【0108】
（構成１０）車両に搭載されたカメラの撮影画像を取得し、前記撮影画像に基づき処理対象物を特定し、前記撮影画像から、前記処理対象物の変化を検出する対象となる変化点を抽出する処理であって実行可能に設定された複数の抽出処理のうち、特定された前記処理対象物に対応する前記抽出処理を行うことによって、前記処理対象物の変化点を抽出する、情報処理方法。
構成１０の情報処理方法によれば、撮影画像において特定した処理対象物に対応する抽出処理を行うことによって、車両が搭載するカメラの撮影画像をもとに、複数の種類の処理対象物に関する情報を得ることができる。
構成１０の情報処理方法によれば、撮影画像において特定した処理対象物に対応する抽出処理を行うことによって、車両が搭載するカメラの撮影画像をもとに、複数の種類の処理対象物に関する情報を得ることができる。
【符号の説明】
【0109】
１…情報処理システム、１０…プロセッサ、１１…取得部、１２…特定部、１３…抽出部、１４…出力部、２０…記憶部、２１…制御用プログラム、２２…動画像データ、２３…撮影画像データ、２４…サーモ画像データ、２５…設定データ、２６…処理結果データ、３０…通信部、１００…情報処理サーバ（情報処理装置）、１３１…第１処理部、１３２…第２処理部、１３３…第３処理部、１３４…第４処理部、２００…車載装置、２０１…プロセッサ、２０２…記憶部、２０３…通信部、２０４…タッチパネル、２０５…カメラ、２０６…赤外線カメラ、２０７…ＧＮＳＳ、２５０…ユーザ端末、３００…配信サーバ、Ｄ…撮影データ、Ｄ１…撮影画像、Ｄ２…サーモ画像、Ｄ３…位置情報、Ｄ４…撮影日時、ＮＷ…通信ネットワーク、Ｖ…車両。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】