IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通テン株式会社の特許一覧

特許7300349画像記録システム、画像提供装置、および、画像提供方法
<>
  • 特許-画像記録システム、画像提供装置、および、画像提供方法 図1
  • 特許-画像記録システム、画像提供装置、および、画像提供方法 図2
  • 特許-画像記録システム、画像提供装置、および、画像提供方法 図3
  • 特許-画像記録システム、画像提供装置、および、画像提供方法 図4
  • 特許-画像記録システム、画像提供装置、および、画像提供方法 図5
  • 特許-画像記録システム、画像提供装置、および、画像提供方法 図6
  • 特許-画像記録システム、画像提供装置、および、画像提供方法 図7
  • 特許-画像記録システム、画像提供装置、および、画像提供方法 図8
  • 特許-画像記録システム、画像提供装置、および、画像提供方法 図9
  • 特許-画像記録システム、画像提供装置、および、画像提供方法 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-21
(45)【発行日】2023-06-29
(54)【発明の名称】画像記録システム、画像提供装置、および、画像提供方法
(51)【国際特許分類】
   G07C 5/00 20060101AFI20230622BHJP
   G06F 21/62 20130101ALI20230622BHJP
【FI】
G07C5/00 Z
G06F21/62 354
【請求項の数】 3
(21)【出願番号】P 2019161559
(22)【出願日】2019-09-04
(65)【公開番号】P2021039619
(43)【公開日】2021-03-11
【審査請求日】2022-03-31
(73)【特許権者】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(72)【発明者】
【氏名】三木 好州
(72)【発明者】
【氏名】山田 浩
(72)【発明者】
【氏名】渡部 浩行
(72)【発明者】
【氏名】中野 泰彦
(72)【発明者】
【氏名】鵜野 雄二
【審査官】平野 貴也
(56)【参考文献】
【文献】特開2018-124825(JP,A)
【文献】特開2019-057880(JP,A)
【文献】米国特許出願公開第2016/0344973(US,A1)
【文献】米国特許出願公開第2013/0108105(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G07C 1/00 - 15/00
G06F 12/14,
21/10,
21/60 - 21/88
G08G 1/00 - 99/00
G06Q 10/00 - 10/30,
30/00 - 30/08,
50/00 - 50/20,
50/26 - 99/00
G16Z 99/00
(57)【特許請求の範囲】
【請求項1】
車両に搭載された車外を撮影するカメラと、前記車両の車室を撮影するカメラとにより生成された撮影画像を記録する走行状況記録装置と、
当該走行状況記録装置と通信するサーバとを備え、
前記走行状況記録装置は、
前記撮影画像に含まれる個人情報を特定し、
前記個人情報を復元できるようにマスクされた撮影画像であるマスク画像を生成し、
前記サーバは、
前記マスク画像を前記走行状況記録装置から取得し、
第三者が前記取得されたマスク画像を要求した場合において、
前記取得されたマスク画像が前記車外を撮影するカメラの撮影画像により生成された場合には前記取得されたマスク画像に含まれる前記個人情報を復元しないことを決定し、
前記取得されたマスク画像が前記車室を撮影するカメラの撮影画像により生成された場合には前記車両の保有者の同意が得られているか否かに基づいて前記取得されたマスク画像に含まれる前記個人情報を復元するか否かを決定し、
復元することを決定した場合、前記個人情報が復元されたマスク画像を前記第三者に提供し、
復元しないことを決定した場合、前記個人情報が秘匿されたマスク画像を前記第三者に提供する
画像記録システム。
【請求項2】
個人情報がマスクされた撮影画像であるマスク画像を車両に搭載された走行状況記録装置から取得し、
第三者が前記取得されたマスク画像を要求した場合において、
前記取得されたマスク画像が車外を撮影するカメラの撮影画像により生成された場合には前記取得されたマスク画像に含まれる前記個人情報を復元しないことを決定し、
前記取得されたマスク画像が前記車両の車室を撮影する車室カメラの撮影画像により生成された場合には前記車両の保有者の同意が得られているか否かに基づいて前記取得されたマスク画像に含まれる前記個人情報を復元するか否かを決定し、
復元することを決定した場合、前記個人情報が復元されたマスク画像を前記第三者に提供し、
復元しないことを決定した場合、前記個人情報が秘匿されたマスク画像を前記第三者に提供する
画像提供装置。
【請求項3】
記憶装置に記憶されたプログラムを実行するCPUが実行する画像提供方法であって、
前記CPUは、
個人情報がマスクされた撮影画像であるマスク画像を車両に搭載された走行状況記録装置から取得し、
第三者が前記取得されたマスク画像を要求した場合において、
前記取得されたマスク画像が車外を撮影するカメラの撮影画像により生成された場合には前記取得されたマスク画像に含まれる前記個人情報を復元しないことを決定し、
前記取得されたマスク画像が前記車両の車室を撮影する車室カメラの撮影画像により生成された場合には前記車両の保有者の同意が得られているか否かに基づいて前記取得されたマスク画像に含まれる前記個人情報を復元するか否かを決定し、
復元することを決定した場合、前記個人情報が復元されたマスク画像を前記第三者に提供し、
復元しないことを決定した場合、前記個人情報が秘匿されたマスク画像を前記第三者に提供する
画像提供方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両で撮影された画像を記録する画像記録システムに関する。
【背景技術】
【0002】
ドライブレコーダは、車両に搭載されたカメラにより生成された撮影画像を記録する走行状況記録装置である。ドライブレコーダがトラックに搭載されている場合、トラックの運行管理者は、ドライブレコーダに記録された撮影画像に基づいて、運転者が安全にトラックを運転しているか否かを確認することができる。
【0003】
また、フロントカメラ等の車外カメラの撮影画像だけでなく、車室を撮影するカメラにより生成された撮影画像を記録するドライブレコーダが提供されている。
【0004】
特許文献1は、車両の急減速等のイベントを検出するドライブレコーダを開示している。このドライブレコーダは、イベントを検出した場合、イベントの発生を示す車両情報を生成する。このドライブレコーダは、カメラにより生成された動画像を圧縮して低解像度の動画データを生成し、生成した動画データに含まれる各フレームのヘッダに車両情報を付加する。車両情報が付加された動画データは、サーバに送信される。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2019-032725号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ドライブレコーダに記録された撮影画像は、撮影画像に含まれる人物を特定することができる個人情報を含む場合がある。個人情報保護の観点から、サーバは、ドライブレコーダから受信した動画データを第三者に提供することができない。
【0007】
上記問題点に鑑み、本発明の目的は、走行状況記録装置により記録された撮影画像を第三者に開示することができる画像記録システム、画像提供装置、および、画像提供方法を提供することである。
【課題を解決するための手段】
【0008】
上記課題を解決するため、第1の発明は、画像記録システムであって、走行状況記録装置と、サーバとを備える。走行状況記録装置は、車両に搭載されたカメラにより生成された撮影画像を記録する。サーバは、車両と通信する。走行状況記録装置は、個人情報特定部と、マスク部とを備える。個人情報特定部は、生成された撮影画像に含まれる個人情報を特定する。個人情報特定部が個人情報を特定した場合、マスク部は、生成された撮影画像に含まれる個人情報を復元できるように、生成された撮影画像に含まれる個人情報をマスクする。サーバは、取得部と、復元判断部と、画像提供部とを備える。取得部は、マスク部により個人情報がマスクされた撮影画像であるマスク画像を走行状況記録装置から取得する。第三者が取得部により取得されたマスク画像を要求した場合、復元判断部は、予め設定された復元レベルに基づいて、取得されたマスク画像に含まれる個人情報を復元するか否かを判断する。復元判断部が復元することを決定した場合、画像提供部は、取得されたマスク画像に含まれる個人情報を復元して個人情報が復元されたマスク画像を第三者に提供する。復元判断部が復元しないことを決定した場合、画像提供部は、取得されたマスク画像に含まれる個人情報を秘匿し、個人情報が秘匿されたマスク画像を第三者に提供する。
【0009】
車両に搭載されたカメラにより生成された撮影画像が個人を特定する個人情報を含む場合であっても、第1の発明は、撮影画像に含まれる個人情報が第三者に知られないように、撮影画像を第三者に提供することができる。
【0010】
第2の発明は、第1の発明であって、車両は、車両の前方の景色を撮影するフロントカメラと、車両の車室を撮影する車室カメラとを搭載する。取得されたマスク画像がフロントカメラにより生成された場合、復元判断部は、取得されたマスク画像に含まれる個人情報を復元しないことを決定する。取得されたマスク画像が車室カメラにより生成された場合、復元判断部は、車両の保有者の同意が得られているか否かに基づいて取得されたマスク画像に含まれる個人情報を復元するか否かを判断する。
【0011】
第2の発明によれば、車室画像に施されたマスクを復元するか否かを車両の保有者の同意があるか否かに基づいて判断することができる。
【発明の効果】
【0012】
本発明によれば、走行状況記録装置により記録された撮影画像を第三者に開示することができる画像記録システムを提供することができる。
【図面の簡単な説明】
【0013】
図1】本発明の実施の形態に係る画像記録システムの構成を示す機能ブロック図である。
図2図1に示す走行状況記録装置の構成を示す機能ブロック図である。
図3図1に示すサーバの構成を示す機能ブロック図である。
図4図1に示す画像記録システムの動作を示すシーケンス図である。
図5図1に示す走行状況記録装置の動作を示すフローチャートである。
図6図2に示すイベント検出部により生成されるイベント検出情報の一例を示す図である。
図7図2に示すフロントカメラにより生成される前方画像の一例を示す図である。
図8図1に示すサーバの動作を示すフローチャートである。
図9図3に示す復元判断部により参照される復元判断テーブルの一例を示す図である。
図10】CPUバス構成を示す図である。
【発明を実施するための形態】
【0014】
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
【0015】
[1.画像記録システム100の構成]
図1は、本実施の形態に係る画像記録システム100の構成を示す機能ブロック図である。画像記録システム100は、走行状況記録装置10と、ネットワーク20と、サーバ30と、PC(Personal Computer)40を備える。
【0016】
走行状況記録装置10は、自動車等の車両1に搭載され、車両1の走行状況を記録する。走行状況記録装置10は、ネットワーク20を介してサーバ30と通信する。走行状況記録装置10は、サーバ30からの要求に応じて、車両1の走行状況を撮影した画像をサーバ30に送信する。
【0017】
ネットワーク20は、インターネット等の広域ネットワークである。走行状況記録装置10は、無線通信を用いて、ネットワーク20にアクセスする。無線通信の方式は、例えば、LTE(Long Term Evolution)あるいは第5世代移動通信システムである。
【0018】
サーバ30は、車両1に搭載されたカメラにより撮影された画像を走行状況記録装置10から取得する。
【0019】
PC40は、車両1の所有者と無関係の第三者が操作する端末である。PC40は、第三者の操作に応じて、車両1の走行状況を撮影した画像をサーバ30から取得する。
【0020】
[2.車両1の搭載機器]
図2は、図1に示す走行状況記録装置10の構成を示す機能ブロック図である。図2を参照して、走行状況記録装置10は、車両1に搭載される各種機器からの出力を、車両1の走行状況を示す走行状況データとして記録する。各種機器は、車両1の走行状況を取得する装置であり、本実施の形態では、GPS(Global Positioning System)装置2、車速センサ3、車室カメラ4及びフロントカメラ5である。
【0021】
GPS装置2は、GPS衛星からの信号を受信し、その受信した信号に基づいて車両1の現在位置2Aを特定する。GPS装置2は、現在位置2Aを特定するたびに、その特定した現在位置2Aを走行状況記録装置10のデータ取得部11に出力する。
【0022】
車速センサ3は、車両1の駆動輪における単位時間あたりの回転量を計測し、その計測した回転量を車速情報3Aとしてデータ取得部11に出力する。
【0023】
車室カメラ4は、例えば、車両1のバックミラーに取り付けられ、運転席を含む車両1の車室を撮影する。従って、車室カメラ4は、車両1の運転者を撮影する。車室カメラ4は、車室画像4Aを生成し、その生成した車室画像4Aをデータ取得部11に出力する。車室画像4Aは、動画像を構成するフレームである。
【0024】
フロントカメラ5は、車両1の前端面に取り付けられ、車両1の前方の景色を撮影して前方画像5Aを生成する。フロントカメラ5が車両1の前方の景色を撮影できるのであれば、フロントカメラ5の取付位置は限定されない。フロントカメラ5は、生成した前方画像5Aをデータ取得部11に出力する。前方画像5Aは、動画像を構成するフレームである。
【0025】
車室画像4Aは、車両1に搭乗している人物の顔を含む場合がある。前方画像5Aは、歩行者や自転車、車両のナンバープレートを含む場合がある。つまり、車室画像4A及び前方画像5Aは、個人を特定することができる個人情報を含む。以下の説明において、車室画像4A及び前方画像5Aを総称して、「撮影画像」と記載する場合がある。
【0026】
[3.走行状況記録装置10の構成]
図2を参照して、走行状況記録装置10は、データ取得部11と、イベント検出部12と、個人情報特定部13と、マスク部14と、記録制御部15と、送信部16と、受信部17と、記憶部18とを備える。
【0027】
データ取得部11は、現在位置2Aと、車速情報3Aと、車室画像4Aと、前方画像5Aとを走行状況データとして車両1に搭載された各種機器から取得する。
【0028】
データ取得部11は、取得した走行状況データのうち、車速情報3A及び前方画像5Aをイベント検出部12に出力する。データ取得部11は、取得した走行状況データのうち、車室画像4A及び前方画像5Aを個人情報特定部13及びマスク部14に出力する。データ取得部11は、取得した走行状況データのうち、現在位置2A及び車速情報3Aを記録制御部15に出力する。
【0029】
イベント検出部12は、データ取得部11から受けた車速情報3A及び前方画像5Aを用いてイベントを検出する。イベントの検出には、人工知能が用いられる。イベントとは、車両1で発生する特定の走行状況であり、本実施の形態では、車両1の急減速及び落下物の検出である。車速情報3Aは、車両1の急減速の検出に用いられる。前方画像5Aは、落下物の検出に用いられる。イベント検出部12は、イベントの検出結果を示すイベント検出情報21を記録制御部15及び送信部16に出力する。
【0030】
個人情報特定部13は、車室画像4A及び前方画像5Aをデータ取得部11から受け、その受けた車室画像4A及び前方画像5Aの各々において個人情報が含まれる領域を特定する。個人情報特定部13は、車室画像4Aにおいて個人情報が含まれる領域を示す領域情報24と、前方画像5Aにおいて個人情報が含まれる領域を示す領域情報25とをマスク部14に出力する。
【0031】
マスク部14は、データ取得部11から受けた車室画像4A及び前方画像5Aの各々に含まれる個人情報を復元できるようにマスクする。具体的には、マスク部14は、個人情報特定部13から受けた領域情報24に基づいて、受けた車室画像4Aにおいて個人情報が含まれる領域をマスクして、マスク車室画像4Bを生成する。マスク部14は、個人情報特定部13から受けた領域情報25に基づいて、受けた前方画像5Aにおいて個人情報が含まれる領域をマスクしてマスク前方画像5Bを生成する。マスク部14は、生成したマスク車室画像4B及びマスク前方画像5Bを記録制御部15に出力する。
【0032】
以下の説明において、マスク車室画像4B及びマスク前方画像5Bを総称して、「マスク画像」と記載する場合がある。
【0033】
記録制御部15は、記憶部18に設けられたデータベースに各種情報を記録する。具体的には、記録制御部15は、データ取得部11から受けた現在位置2A及び車速情報3Aを、記憶部18に設けられた走行状況DB(DataBase)181に記録する。記録制御部15は、イベント検出部12から受けたイベント検出情報21を記憶部18に設けられたイベントDB182に記録する。記録制御部15は、マスク部14から受けたマスク画像を記憶部18に設けられた画像DB183に記録する。
【0034】
記録制御部15は、サーバ30により発行された送信要求28を受信部17から受けた場合、その受けた送信要求28に基づいてマスク画像を画像DB183から読み出す。記録制御部15は、読み出したマスク画像を含む応答データ29を生成し、その生成した応答データ29を送信部16に出力する。
【0035】
送信部16は、イベント検出情報21をイベント検出部12から受けた場合、その受けたイベント検出情報21をサーバ30に送信する。送信部16は、応答データ29を記録制御部15から受けた場合、その受けた応答データ29をサーバ30に送信する。
【0036】
受信部17は、送信要求28をサーバ30から受けた場合、その受けた送信要求28を記録制御部15に出力する。
【0037】
記憶部18は、不揮発性の記憶装置であり、例えば、HDD(Hard Disk Drive)や、フラッシュメモリである。記憶部18には、走行状況DB181と、イベントDB182と、画像DB183とが構築される。
【0038】
[4.サーバ30の構成]
図3は、図1に示すサーバ30の構成を示す機能ブロック図である。図3を参照して、サーバ30は、画像提供部31と、画像要求部32と、取得部33と、復元判断部34と、記録制御部35と、イベント情報提供部36と、記憶部37とを備える。
【0039】
画像提供部31は、画像提供要求41をPC40から受けた場合、その受けた画像提供要求を画像要求部32に出力する。画像提供要求41は、車両1を特定する情報と、提供を希望する画像の条件とを含む。画像の条件とは、例えば、撮影時刻、撮影位置である。
【0040】
画像提供部31は、マスク車室画像4B及びマスク前方画像5Bを取得部33から受け、判断結果42を復元判断部34から受ける。判断結果42は、マスク車室画像4B及びマスク前方画像5Bに含まれる個人情報を復元するか否かを示す情報である。
【0041】
判断結果42が個人情報の復元を示す場合、画像提供部31は、マスク画像に含まれる個人情報を解除することにより復元画像61を生成する。画像提供部31は、復元画像61をPC40に送信する。復元画像61は、個人情報が復元されたマスク車室画像4B及びマスク前方画像5Bの少なくとも一方を含む。
【0042】
判断結果42が個人情報の復元を示していない場合、画像提供部31は、個人情報を復元できないように、マスク車室画像4B及びマスク前方画像5Bに含まれる個人情報を秘匿する。この結果、秘匿画像62が生成される。画像提供部31は、生成した秘匿画像62をPC40に送信する。秘匿画像62は、個人情報が秘匿された車室画像4A及び前方画像5Aの少なくとも一方を含む。
【0043】
画像要求部32は、画像提供要求41を画像提供部31から受けた場合、その受けた画像提供要求41に基づいて送信要求28を生成する。画像要求部32は、その生成した送信要求28を、走行状況記録装置10に送信する。
【0044】
取得部33は、応答データ29を走行状況記録装置10から受けた場合、その受けた応答データ29に含まれるマスク車室画像4B及びマスク前方画像5Bを画像提供部31及び復元判断部34に出力する。取得部33は、イベント検出情報21を走行状況記録装置10から受けた場合、その受けたイベント検出情報21を記録制御部35に出力する。
【0045】
復元判断部34は、マスク車室画像4B及びマスク前方画像5Bを取得部33から受けた場合、マスク車室画像4B及びマスク前方画像5Bに含まれる個人情報を復元するか否かを、予め設定された復元レベルに基づいて決定する。復元判断部34は、復元するか否かを示す判断結果42を画像提供部31に出力する。
【0046】
記録制御部35は、イベント検出情報21を取得部33から受けた場合、その受けたイベント検出情報21をイベントDB371に記憶する。記録制御部35は、イベント情報提供部36からイベント検出情報21の読み出しを指示された場合、イベント検出情報21をイベントDB371から読み出してイベント情報提供部36に出力する。
【0047】
イベント情報提供部36は、イベント情報要求63をPC40から受けた場合、イベント情報要求63で指定された条件に従って、イベント検出情報21の読み出しを記録制御部35に指示する。イベント情報提供部36は、記録制御部35から受けたイベント検出情報21をPC40に送信する。
【0048】
記憶部37は、不揮発性の記憶装置であり、例えば、HDDや、フラッシュメモリである。
【0049】
[5.動作]
[5.1.画像記録システム100の動作]
図4は、図1に示す画像記録システム100の動作を示すシーケンス図である。以下、図4を参照しながら、画像記録システム100の全体動作を説明する。なお、図4は、各装置の動作の概略を示しており、各装置の詳細な動作を示すものではない。
【0050】
走行状況記録装置10は、図示しない車両1のイグニッションスイッチがオンされた場合、イベントの検出を開始する(ステップS1)。
【0051】
走行状況記録装置10は、図示しない車両1のイグニッションスイッチがオンされた場合、撮影画像に含まれる個人情報のマスクを開始する(ステップS2)。走行状況記録装置10は、車室カメラ4及びフロントカメラ5の各々から撮影画像を取得するたびに、取得した撮影画像に含まれる個人情報をマスクしてマスク画像を生成する。生成されたマスク画像は、画像DB183に記憶される。撮影画像に含まれる個人情報のマスクの詳細については、後述する。
【0052】
走行状況記録装置10は、イベントを検出した場合、イベントの検出結果を示すイベント検出情報21をサーバ30に送信する(ステップS3)。サーバ30は、走行状況記録装置10から受けたイベント検出情報21をイベントDB371に記憶する(ステップS4)。走行状況記録装置10がイベントを検出するたびに、ステップS3及び4が繰り返される。
【0053】
PC40は、上述のように、車両1の所有者と無関係な第三者により操作される。第三者は、例えば、高速道路や、国道等を管理する道路管理者である。道路管理者は、急減速の多発地点における車両の走行状況を確認する場合、PC40を操作して、多発地点における急減速が記録されたイベント検出情報21の送信を指示する。PC40は、第三者の操作に応じて、イベント情報要求63をサーバ30に送信する(ステップS5)。
【0054】
サーバ30は、PC40から受けたイベント情報要求63に対応するイベント検出情報21を、イベントDB371から読み出し、読み出したイベント検出情報21をPC40に送信する(ステップS6)。ステップS6で送信される。イベント検出情報21の数は、1つに限られない。
【0055】
PC40は、第三者の操作に応じて、サーバ30から受けたイベント検出情報21のうちいずれか1つを選択する。PC40は、選択したイベント検出情報21に基づいて画像提供要求41をサーバ30に送信する(ステップS7)。
【0056】
サーバ30は、画像提供要求41をPC40から受けた場合、その受けた画像提供要求41に基づいて送信要求28を生成し、その生成した送信要求28を走行状況記録装置10に送信する(ステップS8)。
走行状況記録装置10は、サーバ30から受けた送信要求28に対応するマスク画像を画像DB183から読み出する。走行状況記録装置10は、読み出したマスク画像を含む応答データ29をサーバ30に送信する(ステップS9)
サーバ30は、応答データ29を走行状況記録装置10から受けた場合、その受けた応答データ29に含まれるマスク画像の個人情報を復元するか否かを判断する(ステップS10)。詳細については後述するが、サーバ30は、マスク画像のうち、マスク前方画像5Bに含まれる個人情報を復元しないことを決定する。サーバ30は、マスク画像のうち、マスク車室画像4Bに含まれる個人情報を復元するか否かを、車両1の所有者が予め設定した復元レベルに基づいて決定する。
【0057】
サーバ30は、マスク画像の個人情報を復元しない場合、マスク画像に含まれる個人情報を復元できないように、マスク画像に含まれる個人情報を秘匿する。この結果、秘匿画像62が生成される。サーバ30は、マスク画像の個人情報を復元する場合、マスク画像に設定されたマスクを解除することにより、個人情報のマスクが解除された復元画像61を生成する。サーバ30は、生成した復元画像61及び秘匿画像62を含む応答データ29を、PC40に送信する(ステップS11)。
【0058】
[5.2.走行状況記録装置10の動作]
図5は、図1に示す走行状況記録装置10の動作を示すフローチャートである。図5を参照して、走行状況記録装置10は、図示しない車両1のイグニッションスイッチがオンされた場合、図5に示す処理を開始する。
【0059】
走行状況記録装置10において、記録制御部15は、データ取得部11により取得された現在位置2A及び車速情報3Aを走行状況DB181に保存する(ステップS101)。
【0060】
個人情報特定部13は、データ取得部11により取得された車室画像4A及び前方画像5Aの各々に含まれる個人情報を特定する(ステップS102)。
【0061】
図6は、図2に示すフロントカメラ5により生成される前方画像5Aの一例を示す図である。個人情報特定部13は、歩行者を検出する画像認識処理を実行して、図6に示す前方画像5Aから歩行者S1及びS2を検出する。個人情報特定部13は、歩行者S1の検出領域R1と、歩行者S2の検出領域R2とを特定する。個人情報特定部13は、特定した検出領域R1及びR2を示す情報を領域情報25として生成する。
【0062】
個人情報特定部13は、前方画像5Aに含まれる個人情報を特定する場合、前方画像5Aから自転車を検出してもよい。この場合、領域情報25は、自転車の検出領域を示す情報を含む。また、個人情報特定部13は、前方画像5Aに含まれる個人情報を特定する場合、車両のナンバープレートを検出してもよい。この場合、領域情報25は、ナンバープレートの検出領域を含む。
【0063】
また、個人情報特定部13は、車室画像4Aに含まれる個人情報を特定する場合、画像認識処理を実行して人物の顔を検出する。個人情報特定部13は、検出した人物の顔の領域を示す情報を領域情報24として生成する。
【0064】
図5を参照して、マスク部14は、ステップS102で特定された個人情報を、データ取得部11により取得された車室画像4A及び前方画像5Aの各々に含まれる個人情報をマスクする(ステップS103)。ステップS103の結果、マスク画像が生成される。
【0065】
図6に示す前方画像5Aに含まれる個人情報をマスクする場合を例にして、ステップS103を詳しく説明する。マスク部14は、前方画像5Aと同じサイズを有するマスク用レイヤを生成し、生成したマスク用レイヤを前方画像5Aの上に配置する。マスク用レイヤは、透明である。マスク部14は、前方画像5Aの上に配置された透明レイヤにおいて、取得した領域情報24により示される検出領域R1及びR2を黒く塗りつぶす。この結果、マスク前方画像5Bが、前方画像5Aから生成される。図6に示すマスク前方画像5Bにおいて、ハッチングで示す領域が、黒く塗りつぶされた領域である。なお、マスク前方画像5Bからマスク用レイヤを削除することにより、歩行者S1及びS2を復元することができる。つまり、マスク前方画像5Bは、前方画像5Aとマスク用レイヤとを含む。
【0066】
マスク部14は、マスク前方画像5Bの生成と同様に、車室画像4Aからマスク車室画像4Bを生成する。マスク車室画像4Bは、車室画像4Aとマスク用レイヤとを含む。
【0067】
図5を参照して、記録制御部15は、ステップS103で生成されたマスク画像を撮影時刻に対応付けて画像DB183に保存する(ステップS104)。なお、個人情報が車室画像4A及び前方画像5Aにおいて特定されない場合、車室画像4A及び前方画像5Aが撮影時刻と対応付けられた上で、画像DB183に保存される。
【0068】
イベント検出部12は、データ取得部11により取得された車速情報3A及び前方画像5Aを用いて、車両1で発生するイベントを検出する(ステップS105)。具体的には、イベント検出部12は、取得された車速情報3Aの時間変化に基づいて、車両1の急減速を検出する。イベント検出部12は、画像認識処理を実行して、道路上の落下物を前方画像5Aから検出する。
【0069】
イベントが検出された場合(ステップS106においてYes)、イベント検出部12がイベント検出情報21を生成する(ステップS107)。イベントが検出されなかった場合(ステップS106においてNo)、走行状況記録装置10は、後述するステップS109に進む。
【0070】
図7は、図2に示すイベント検出部12により生成されるイベント検出情報21の一例を示す図である。図7を参照して、イベント検出情報21は、装置IDと、イベントIDと、イベント種別と、検出時刻と、検出位置とを含む。装置IDは、走行状況記録装置10を一意に特定する識別情報である。イベントIDは、イベント検出情報21に一意に割り当てられる識別情報である。イベント種別は、検出されたイベントを特定する情報である。上述のように、車両1の急減速が検出された場合、イベント種別は、「4A」である。検出時刻は、急減速が検出された時刻である。検出位置は、急減速が検出された位置を示し、現在位置2Aに基づいて記述される。
【0071】
ステップS107で生成されたイベント検出情報21は、保存及び送信される(ステップS108)。具体的には、記録制御部15は、生成されたイベント検出情報21をイベントDB182に保存する。送信部16は、生成されたイベント検出情報21をサーバ30に送信する。ステップS107は、図4に示すステップS3に相当する。
【0072】
次に、記録制御部15は、送信要求28をサーバ30から受信したか否かを判断する(ステップS109)。送信要求28を受信していない場合(ステップS109においてNo)、走行状況記録装置10は、後述するステップS111に進む。送信要求28を受信している場合(ステップS109においてYes)、走行状況記録装置10は、画像DBに保存された画像のうち、送信要求28に基づいて指定された画像をサーバ30に送信する(ステップS110)。ステップS110は、図4に示すステップS9に相当する。
【0073】
ステップS110について具体的に説明する。送信要求28は、イベント検出情報21に記述されているイベントIDを含む。記録制御部15は、送信要求28に含まれるイベントIDに対応するイベント検出情報21をイベントDB182から読み出し、読み出したイベント検出情報21に記録された検出時刻を特定する。記録制御部15は、特定した検出時刻を含む所定時間に撮影された画像を画像DB183から読み出し、読み出した画像を含む応答データ29を生成する。所定時間は、例えば、1分である。記録制御部15は、生成した応答データ29をサーバ30に送信する。
【0074】
走行状況記録装置10は、イグニションスイッチがオンのままである場合、車両1の走行状況の記録を継続すると判断する(ステップS111においてNo)。この場合、走行状況記録装置10は、ステップS101に戻る。イグニションスイッチがオンからオフに変化した場合、走行状況記録装置10は、車両1の走行状況の記録を終了と判断する(ステップS111においてYes)。この場合、走行状況記録装置10は、図5に示す処理を終了する。
【0075】
[5.3.サーバ30の動作]
図8は、図1に示すサーバ30の動作を示すフローチャートである。図8を参照して、サーバ30は、電源がオンされた場合に、図8に示す処理を開始する。
【0076】
サーバ30において、取得部33は、イベント検出情報21を走行状況記録装置10から受信したか否かを判断する(ステップS301)。取得部33がイベント検出情報21を受信していない場合(ステップS301においてNo)、サーバ30は、後述するステップS303に進む。取得部33がイベント検出情報21を受信した場合(ステップS301においてYes)、記録制御部15は、取得部33が受信したイベント検出情報21をイベントDB371に保存する(ステップS302)。
【0077】
次に、イベント情報提供部36が、イベント情報要求63をPC40から受信したか否かを判断する(ステップS303)。イベント情報提供部36が、イベント情報要求63を受信していない場合(ステップS303においてNo)、サーバ30は、後述するステップS305に進む。
【0078】
イベント情報提供部36は、イベント情報要求63を受信した場合(ステップS303にいてYes)、イベント情報要求63で指定された条件を満たすイベント検出情報21をPC40に送信する(ステップS304)。例えば、PC40を操作する道路管理者が、急減速の多発地点における車両の走行状況を確認すると仮定する。この場合、PC40は、道路管理者の操作に応じて、急減速の多発地点の位置情報と、道路管理者により指定された時間帯とを含むイベント情報要求63をサーバ30に送信する。イベント情報提供部36は、イベントDB371を検索することにより、イベント要求情報63に含まれる位置情報と時間帯に対応するイベント検出情報21を特定する。イベント情報提供部36は、特定したイベント検出情報21をPC40に送信する。
【0079】
画像提供部31が、画像提供要求41をPC40から受信したか否かを判断する(ステップS305)。画像提供部31が画像提供要求41をPC40から受信していない場合(ステップS305においてNo)、サーバ30は、後述するステップS312に進む。
【0080】
画像提供部31は、画像提供要求41をPC40から受信した場合(ステップS305においてYes)、受信した画像提供要求41に基づいて、走行状況記録装置10を特定する(ステップS306)。具体的には、画像提供要求41は、装置IDを含む。画像提供要求41に含まれる装置IDは、PC40が提供を要求する画像を生成した走行状況記録装置10を示し、ステップS304でPC40に送信されたイベント検出情報21に由来する。画像提供部31は、装置IDを画像提供要求41から抽出し、抽出した装置IDに基づいて走行状況記録装置10を特定する。
【0081】
画像提供部31は、受信した画像提供要求41に基づいて送信要求28を生成し、その生成した送信要求28をステップS306で特定した走行状況記録装置10に送信する(ステップS307)。送信要求28は、画像提供要求41に含まれるイベントIDを含む。後述するように、走行状況記録装置10は、送信要求28に含まれるイベントIDに基づいて、サーバ30に送信する画像を特定する。画像提供要求41に含まれるイベントIDは、ステップS304でPC40に送信されたイベント検出情報21に由来する。
【0082】
ステップS307の後に、サーバ30は、応答データ29を走行状況記録装置10から受信するまで(ステップS308においてYes)、待機する。
【0083】
取得部33は、応答データ29を走行状況記録装置10から受信した場合(ステップS308においてYes)、その受信した応答データ29に含まれるマスク車室画像4B及びマスク前方画像5Bを画像提供部31及び復元判断部34に出力する。
【0084】
復元判断部34は、取得部33から受けたマスク車室画像4B及びマスク前方画像4Aの各々に含まれる個人情報を復元するか否かを判断する(ステップS309)。具体的には、復元判断部34は、個人情報を復元するか否かを判断するために、図9に示す復元判断テーブル39を参照する。
【0085】
図9を参照して、復元判断テーブル39は、車室画像及び前方画像に含まれる個人情報を復元するか否かを示す復元設定情報を記録している。図9における1行のレコードが、復元設定情報である。復元判断テーブル39は、走行状況記録装置10の復元設定情報だけでなく、走行状況記録装置10と同じ構成を有する他の装置の復元設定情報を記録する。
【0086】
走行状況記録装置10が搭載される車両1の所有者は、車室画像に含まれる個人情報を公開するか否かを選択することができる。サーバ30は、車両1の所有者の選択結果を予め復元判断テーブル29に記録している。図9に示すように、車室画像に含まれる個人情報を復元することが、走行状況記録装置10のレコードに記録されている。
【0087】
図9に示すように、前方画像に含まれる個人情報は、全て秘匿される。前方画像に含まれる個人情報の持ち主に、個人情報を公開するか否かを事前に確認することが現実的でないためである。
【0088】
管理ID「1」のレコードが、走行状況記録装置10の復元設定情報である。復元判断部34は、図9に示す復元判断テーブル39に従って、走行状況記録装置10から受けたマスク車室画像4Bに含まれる個人情報を復元することを決定する。また、復元判断部34は、走行状況記録装置10から受けたマスク前方画像5Bに含まれる個人情報を秘匿することを決定する。復元判断部34は、マスク画像の各々を復元するか否かを示す判断情報42を画像提供部31に出力する。
【0089】
図8を参照して、画像提供部31は、復元判断部34から受けた判断情報42に基づいて、取得部33から受けたマスク画像に含まれる個人情報を復元又は秘匿する(ステップS310)。ステップS310の結果、復元画像61及び秘匿画像62が生成される。
【0090】
上述のように、復元判断部34が、マスク車室画像4Bに含まれる個人情報を復元し、マスク前方画像5Bに含まれる個人情報を秘匿することを決定したと仮定する。この場合、画像提供部31は、マスク用レイヤをマスク車室画像4Bから削除することにより、マスク車室画像4Bに含まれる個人情報を復元する。この結果、復元画像61が、マスク車室画像4Bから生成される。画像提供部31は、マスク前方画像5Bに含まれる前方画像5Aとマスク用レイヤとを一体化して1つの画像を生成することにより、マスク前方画像5Bに含まれる個人情報を秘匿する。これにより、マスク前方画像5Bに含まれる個人情報が秘匿された秘匿画像62が生成される。
【0091】
画像提供部31は、ステップS310で生成された復元画像61及び秘匿画像62をPC40に送信する(ステップS311)。サーバ30は、動作を終了するか否かを判断する(ステップS312)。サーバ30は、図8に示す処理を繰り返す場合(ステップS312においてYes)、ステップS301に戻る。サーバ30は、動作を終了する場合(ステップS312においてNo)、図8に示す処理を終了する。
【0092】
以上説明したように、サーバ30は、走行状況記録装置10は、車両1に搭載されたカメラにより生成された撮影画像を取得した場合、取得した撮影画像に含まれる個人情報をマスクしてマスク画像を生成する。サーバ30は、車両1に搭載されたカメラにより生成された撮影画像の取得を第三者から要求された場合、走行状況記録装置10からマスク画像を取得し、取得したマスク画像に含まれる個人情報を予め設定された復元設定情報に基づいて復元又は秘匿する。従って、画像記録システム100は、ドライブレコーダにより記録された撮影画像を第三者に開示することができる画像記録システムを提供することができる。
【0093】
[変形例]
上記実施の形態において、道路管理者がPC40を操作する例を説明したが、これに限られない。車両1の所有者と無関係な第三者が、PC40を操作すればよい。
【0094】
上記実施の形態において、PC40が、サーバ30から取得したイベント検出情報21に基づいて、画像提供要求41をサーバ30に送信する例を説明したが、これに限られない。PC40は、提供を要求する画像の条件をサーバ30に送信してもよい。例えば、PC40は、画像の撮影位置や、撮影時刻、イベントの種類等をサーバ30に送信して、画像提供を要求すればよい。
【0095】
上記実施の形態において、イベント検出部12が、車両1の急減速と、落下物の検出をイベントとして検出する例を説明したが、これに限られない。イベント検出部12は、車両1に搭載された機器からの情報に基づいて、車両1で発生するイベントを検出すればよい。
【0096】
上記実施の形態において、マスク部14が、撮影画像に含まれる個人情報を、マスク用レイヤを用いてマスクする例を説明したが、これに限られない。マスク部14は、領域情報24又は25で指定される領域の画像を、暗号化してもよい。この場合、マスク部14は、暗号化された画像を復元できるアルゴリズムを使用する。
【0097】
また、上記実施の形態において、走行状況記録装置10及びサーバ30の各機能ブロックは、LSIなどの半導体装置により個別に1チップ化されてもよいし、一部又は全部を含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
【0098】
集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0099】
また、走行状況記録装置10及びサーバ30により実行される処理の一部または全部は、プログラムにより実現されてもよい。そして、上記各実施の形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
【0100】
また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
【0101】
例えば、走行状況記録装置10及びサーバ30の各機能ブロックを、ソフトウェアにより実現する場合、図10に示したハードウェア構成(例えば、CPU、ROM、RAM、入力部、出力部等をバスBusにより接続したハードウェア構成)を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。
【0102】
また、上記実施の形態における処理方法の実行順序は、上記実施の形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で実行順序を入れ替えてもよい。
【0103】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、大容量DVD、次世代DVD、半導体メモリを挙げることができる。
【0104】
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。
【符号の説明】
【0105】
100 画像記録システム
10 走行状況記録装置
11 データ取得部
12 イベント検出部
13 個人情報特定部
14 マスク部
15 記録制御部
30 サーバ
31 画像提供部
32 画像要求部
33 取得部
34 復元判断部
35 記録制御部
36 イベント情報提供部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10