IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 鈴木 晶の特許一覧 ▶ 鈴木 洋平の特許一覧

特許7239126ウエアラブル情報処理装置及びプログラム並びに記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-03-06
(45)【発行日】2023-03-14
(54)【発明の名称】ウエアラブル情報処理装置及びプログラム並びに記憶媒体
(51)【国際特許分類】
   G08B 21/02 20060101AFI20230307BHJP
   H04M 1/72421 20210101ALI20230307BHJP
   H04M 11/04 20060101ALI20230307BHJP
   G08B 25/00 20060101ALI20230307BHJP
【FI】
G08B21/02
H04M1/72421
H04M11/04
G08B25/00 510M
【請求項の数】 10
(21)【出願番号】P 2022576445
(86)(22)【出願日】2022-07-28
(86)【国際出願番号】 JP2022029209
【審査請求日】2022-12-16
(31)【優先権主張番号】P 2021123757
(32)【優先日】2021-07-28
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】521333612
【氏名又は名称】鈴木 晶
(73)【特許権者】
【識別番号】521333623
【氏名又は名称】鈴木 洋平
(74)【代理人】
【識別番号】100120075
【弁理士】
【氏名又は名称】大山 浩明
(72)【発明者】
【氏名】鈴木 晶
(72)【発明者】
【氏名】鈴木 洋平
【審査官】吉村 伊佐雄
(56)【参考文献】
【文献】特開2018-61215(JP,A)
【文献】特開2010-81480(JP,A)
【文献】特開2020-4307(JP,A)
【文献】特開2002-290626(JP,A)
【文献】特開2011-13911(JP,A)
【文献】米国特許出願公開第2013/0254133(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G08B19/00-31/00
H04M1/00
1/24-3/00
3/16-3/20
3/38-3/58
7/00-7/16
11/00-11/10
99/00
H04N5/222-5/257
7/18
(57)【特許請求の範囲】
【請求項1】
人に装着されるウエアラブル装置からのカメラ映像を含む情報を処理するウエアラブル情報処理装置であって、
前記ウエアラブル装置のカメラ映像を映像データとして記憶する映像処理装置と、地図データを記憶する地図処理装置と、事故又は事件の発生時の時刻データ及びGPSデータを含む状況データを収集可能な携帯端末装置と、にネットワークを介して接続され、
前記携帯端末装置から前記状況データを取得する状況データ取得部と、
前記映像処理装置から前記時刻データに基づく前記映像データを取得する映像データ取得部と、
前記地図処理装置から前記GPSデータに基づく前記地図データを取得する地図データ取得部と、
少なくとも前記映像データと前記地図データに基づいて状況略図を生成する状況略図生成部と、
前記状況略図を含む状況報告を生成する状況報告生成部と、を備え、
前記携帯端末装置は、衝撃を検知する衝撃センサを備え、前記衝撃センサにより衝撃が検知されると、事故の発生又は事件の発生又はどちらでもないのいずれかを選択するための事故事件選択画面を表示部に表示し、
前記状況データ取得部は、前記事故の発生又は前記事件の発生が選択された情報を含む前記状況データを前記携帯端末装置から取得し、
前記状況略図生成部は、前記状況データにより事故か事件かを判断し、判断した事故又は事件についての前記状況報告を生成する
ウエアラブル情報処理装置。
【請求項2】
前記カメラ映像は、前記ウエアラブル装置を装着した人の周囲の映像である
請求項1に記載のウエアラブル情報処理装置。
【請求項3】
前記状況略図生成部は、
前記映像データ取得部で取得された映像データから、前記事故又は事件を引き起こした対象の画像を検出し、前記対象の画像を所定の記号に置き換えて地図上の位置で示す現場状況略図を生成し、
前記地図データ取得部で取得された地図データから前記GPSデータの位置を含む現場付近地図を生成し、
前記現場状況略図と前記現場付近地図から状況略図を生成する
請求項1又は請求項2に記載のウエアラブル情報処理装置。
【請求項4】
前記ウエアラブル装置は、前記携帯端末装置に接続され、
前記映像処理装置は、前記携帯端末装置を介して前記ウエアラブル装置からのカメラ映像を受信して所定の映像時間ごとの複数の映像データとして記憶し、
前記映像データ取得部は、前記複数の映像データのうち少なくとも前記時刻データの時刻の映像を含む映像データを取得する
請求項3に記載のウエアラブル情報処理装置。
【請求項5】
前記状況略図生成部は、
前記現場状況略図を生成する前に、前記映像データ取得部で取得された映像データから前記対象の候補となる人物又は乗り物の画像が複数検出されたか否かを判断し、
前記対象の候補となる人物又は乗り物の画像が1つしか検出されないと判断した場合には、その1つの画像を前記事故又は事件を引き起こした対象として特定して、前記現場状況略図及び前記現場付近地図及び状況略図を生成し、
前記対象の候補となる人物又は乗り物の画像が複数検出されたと判断した場合には、前記映像データとそれよりも前の映像データとを比較することで前記対象の候補となる人物又は乗り物のそれぞれの位置と動きを検出して対象候補図を生成し、
前記対象候補図の前記位置と動きに基づいて、前記複数の画像の中から前記事故又は事件を引き起こした対象を特定して、前記現場状況略図及び前記現場付近地図及び状況略図を生成する
請求項4に記載のウエアラブル情報処理装置。
【請求項6】
前記状況報告生成部は、
前記携帯端末装置からの前記状況データにより事故か事件かを判断し、
前記事故であると判断した場合は、所定の事故発生状況報告書のフォームから前記状況報告を生成し、
前記事件であると判断した場合は、所定の事件発生状況報告書のフォームから前記状況報告を生成する
請求項5に記載のウエアラブル情報処理装置。
【請求項7】
前記状況略図を含む判例データを記憶する判例データベースと、
前記状況略図生成部で生成された状況略図と前記判例データベースの判例に含まれる状況略図と照合して前記状況略図が類似する判例を選出し、選出した判例から過失割合を抽出し、選出した判例の前記状況略図と前記過失割合を含む過失割合報告を生成する過失割合報告生成部と、を備える
請求項6に記載のウエアラブル情報処理装置。
【請求項8】
前記判例データベースは、事故判例データベースと事件判例データベースに分けられ、
前記過失割合報告生成部は、
前記携帯端末装置からの前記状況データにより事故か事件かを判断し、
前記事故であると判断した場合は、前記事故判例データベースから前記状況略図が類似する判例を選出し、
前記事件であると判断した場合は、前記事件判例データベースから前記状況略図が類似する判例を選出する
請求項7に記載のウエアラブル情報処理装置。
【請求項9】
ウエアラブル情報処理装置が行う事故又は事件の状況報告生成処理をコンピュータに実行させるプログラムであって、
前記ウエアラブル情報処理装置は、
人に装着されるウエアラブル装置のカメラ映像を映像データとして記憶する映像処理装置と、地図データを記憶する地図処理装置と、事故又は事件の発生時の時刻データ及びGPSデータを含む状況データを収集可能な携帯端末装置と、にネットワークを介して接続され、
前記携帯端末装置は、
衝撃を検知する衝撃センサを備え、前記衝撃センサにより衝撃が検知されると、事故の発生又は事件の発生又はどちらでもないのいずれかを選択するための事故事件選択画面を表示部に表示し、
前記状況報告生成処理は、
前記携帯端末装置から前記事故の発生又は前記事件の発生が選択された情報を含む前記状況データを取得するステップと、
前記映像処理装置から前記時刻データに基づく前記映像データを取得するステップと、
前記地図処理装置から前記GPSデータに基づく前記地図データを取得するステップと、
前記状況データにより事故か事件かを判断するステップと、
少なくとも前記映像データと前記地図データに基づいて状況略図を生成するステップと、
判断した事故又は事件についての前記状況略図を含む状況報告を生成するステップと、を含む
プログラム。
【請求項10】
ウエアラブル情報処理装置が行う事故又は事件の状況報告生成処理をコンピュータに実行させるプログラムを記憶するコンピュータ読取可能な記憶媒体であって、
前記ウエアラブル情報処理装置は、
人に装着されるウエアラブル装置のカメラ映像を映像データとして記憶する映像処理装置と、地図データを記憶する地図処理装置と、事故又は事件の発生時の時刻データ及びGPSデータを含む状況データを収集可能な携帯端末装置と、にネットワークを介して接続され、
前記携帯端末装置は、
衝撃を検知する衝撃センサを備え、前記衝撃センサにより衝撃が検知されると、事故の発生又は事件の発生又はどちらでもないのいずれかを選択するための事故事件選択画面を表示部に表示し、
前記状況報告生成処理は、
前記携帯端末装置から前記事故の発生又は前記事件の発生が選択された情報を含む前記状況データを取得するステップと、
前記映像処理装置から前記時刻データに基づく前記映像データを取得するステップと、
前記地図処理装置から前記GPSデータに基づく前記地図データを取得するステップと、
前記状況データにより事故か事件かを判断するステップと、
少なくとも前記映像データと前記地図データに基づいて状況略図を生成するステップと、
判断した事故又は事件についての前記状況略図を含む状況報告を生成するステップと、を含む
記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ウエアラブル装置のカメラ映像等の情報を利用して事故や事件の状況報告を生成するウエアラブル情報処理装置及びプログラムに関する。
【背景技術】
【0002】
近年、スマートフォンなどの携帯端末装置を運転中に使用して衝突事故を起こすケースが多発している。他方、ドライブレコーダを自動車に装着して運転時の映像を記憶しておくことで、その映像を見れば自動車の衝突事故の状況が分かるようになってきた。例えば特許文献1では、ドライブレコーダのカメラ映像を記憶しておくことで事後的に事故原因などの解析に利用できる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2006-306153公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、携帯端末の使用による衝突事故は自動車だけでなく、自転車やバイクと人、人と人との間でも多発している。しかしながら、特許文献1のようなドライブレコーダは自動車に搭載されるので、自動車事故の映像は記憶できても、自転車同士の事故や自転車と歩行者との事故などの自動車が関わらない事故の映像までは記憶できない。しかも、事故現場では被害者は気が動転しているため、状況を正確に伝えることは難しい。
【0005】
このような事情を考慮して、本発明は、人に装着するウエアラブル装置のカメラ映像等のウエアラブル情報を利用することで、その人が巻き込まれた事故や事件の状況報告を自動的に生成できるウエアラブル情報処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明の装置は、人に装着されるウエアラブル装置からのカメラ映像を含む情報を処理するウエアラブル情報処理装置であって、ウエアラブル装置のカメラ映像を映像データとして記憶する映像処理装置と、地図データを記憶する地図処理装置と、事故又は事件の発生時の時刻データ及びGPSデータを含む状況データを収集可能な携帯端末装置と、にネットワークを介して接続され、携帯端末装置から状況データを取得する状況データ取得部と、映像処理装置から時刻データに基づく映像データを取得する映像データ取得部と、地図処理装置からGPSデータに基づく地図データを取得する地図データ取得部と、少なくとも映像データと地図データに基づいて状況略図を生成する状況略図生成部と、状況略図を含む事故又は事件の状況報告を生成する状況報告生成部とを備える。
【0007】
本発明のウエアラブル情報処理装置によれば、人に装着されるウエアラブル装置からのカメラ映像に基づいて事故又は事件の状況報告を自動的に生成できる。このように、人に装着されるウエアラブル装置からのカメラ映像を用いることで、その人が巻き込まれた事故の状況報告だけでなく、ひったくりなどの事件の状況報告まで自動的に生成できる。しかも、事故又は事件の発生時の時刻データから映像データを取得し、GPSデータから地図データを取得して状況略図まで自動的に生成できるので、事故や事件に巻き込まれて気が動転していても、正確に現場の状況を伝える状況報告をその場で生成できる。
【0008】
本発明の好適な態様において、カメラ映像は、ウエアラブル装置を装着した人の周囲の映像である。本態様によれば、ウエアラブル装置を装着した人の周囲の映像をカメラ映像として用いるので、例えば自転車に衝突された事故であればその自転車がどちらの方向から衝突したのかが分かる。また、ひったくり犯人がどちらの方向からやってきたのかも分かる。
【0009】
本発明の好適な態様において、状況略図生成部は、映像データ取得部で取得された映像データから、事故又は事件を引き起こした対象の画像を検出し、対象の画像を所定の記号に置き換えて地図上の位置で示す現場状況略図を生成し、地図データ取得部で取得された地図データからGPSデータの位置を含む現場付近地図を生成し、現場状況略図と現場付近地図から状況略図を生成する。本態様によれば、事故又は事件を引き起こした対象の画像(例えば自転車・バイク・自動車等の乗り物、歩行者・ランナー等の人物)を検出し、対象の画像を所定の記号に置き換えて地図上の位置で示す現場状況略図と現場付近地図から状況略図を自動で生成できるから、単に映像データの画像を状況報告に貼りつける場合と比較して、その画像から状況略図への加工の手間を省くことができる。このように、加工しなくても保健会社や警察にそのまま送信できる状況略図を含む状況報告書が自動で生成されるので、事故や事件に巻き込まれて気が動転していても、正確に状況を伝えることができる。また、事故又は事件を引き起こした人物や乗り物の画像を所定の記号に置き換えた状況略図を自動で生成できるので、判例などの状況略図との直接照合も可能となり、人物や乗り物の画像をそのまま貼りつける場合に比較して照合精度を大幅に向上できる。
【0010】
本発明の好適な態様において、ウエアラブル装置は、携帯端末装置に接続され、映像処理装置は、携帯端末装置を介してウエアラブル装置からのカメラ映像を受信して所定の映像時間ごとの複数の映像データとして記憶し、映像データ取得部は、複数の映像データのうち少なくとも時刻データの時刻の映像を含む映像データを取得する。本態様によれば、ウエアラブル装置からのカメラ映像を所定の映像時間ごとの複数の映像データとして分けて記憶するから、複数の映像データに分けないで記憶する場合に比較して、事故や事件が発生した時刻の前後の映像を特定しやすい。
【0011】
本発明の好適な態様において、状況略図生成部は、現場状況略図を生成する前に、映像データ取得部で取得された映像データから対象の候補となる人物又は乗り物の画像が複数検出されたか否かを判断し、対象の候補となる人物又は乗り物の画像が1つしか検出されないと判断した場合には、その1つの画像を事故又は事件を引き起こした対象として特定して、現場状況略図及び現場付近地図及び状況略図を生成し、対象の候補となる人物又は乗り物の画像が複数検出されたと判断した場合には、上記映像データとそれよりも前の映像データとを比較することで対象の候補となる人物又は乗り物のそれぞれの位置と動きを検出して対象候補図を生成し、対象候補図の位置と動きに基づいて、複数の画像の中から事故又は事件を引き起こした対象を特定して、現場状況略図及び現場付近地図及び状況略図を生成する。本態様によれば、映像データに複数の乗り物や人物が写っている場合でも、事故又は事件を引き起こした対象を自動的に特定できる。また、事故又は事件の発生時に基づく映像データとそれよりも前の映像データとを比較することで、対象候補である人物や乗り物の位置と動きを検出できる。これにより、その対象候補の位置と動きに基づいて対象を特定することができるので、単に映像に写っている対象の大きさの違いなどから対象を特定する場合に比較してより正確に対象を特定できる。
【0012】
本発明の好適な態様において、携帯端末装置は、衝撃を検知する衝撃センサを備え、衝撃センサにより衝撃が検知されると、事故の発生又は事件の発生又はどちらでもないのいずれかを選択するための事故事件選択画面を表示部に表示し、状況データ取得部は、事故の発生又は事件の発生が選択された情報を含む状況データを携帯端末装置から取得する。衝撃を検知しても携帯端末装置を落としただけなど、事故の発生又は事件の発生してない場合もある。本態様によれば、状況データ取得部が携帯端末装置から取得する状況データには事故の発生又は事件の発生が選択された情報を含まれるから、事故の発生又は事件の発生がなければ状況報告書は自動で生成されないようにすることができるので、状況報告生成の無駄を抑制できる。
【0013】
本発明の好適な態様において、状況報告生成部は、携帯端末装置からの状況データにより事故か事件かを判断し、事故であると判断した場合は、所定の事故発生状況報告書のフォーム(ひな形)から状況報告を生成し、事件であると判断した場合は、所定の事件発生状況報告書のフォームから状況報告を生成する。本態様によれば、事故又は事件のそれぞれのフォームに応じた状況報告を自動で生成できるので、後から所定のフォームに合わせて状況報告を作り直す手間を省ける。
【0014】
本発明の好適な態様において、状況略図を含む判例データを記憶する判例データベースと、状況略図生成部で生成された状況略図と判例データベースの判例に含まれる状況略図と照合して状況略図が類似する判例を選出し、選出した判例から過失割合を抽出し、選出した判例の状況略図と過失割合を含む過失割合報告を生成する過失割合報告生成部とを備える。本態様によれば、判例データベースを状況略図で照合するので、テキスト検索で判例を探す場合に比較して類似の判例を見つけやすい。判例データに基づく過失割合報告を自動で生成できるので、同様のケースの過失割合が分かり、訴訟の提起や示談の判断をしやすくなり、保険会社も保険の適用を判断しやすくなる。
【0015】
本発明の好適な態様において、判例データベースは、事故判例データベースと事件判例データベースに分けられ、過失割合報告生成部は、携帯端末装置からの状況データにより事故か事件かを判断し、事故であると判断した場合は、事故判例データベースから状況略図が類似する判例を選出し、事件であると判断した場合は、事件判例データベースから状況略図が類似する判例を選出する。本態様によれば、事故の場合は事故判例データベースから状況略図が類似する判例が選出され、事件の場合は事件判例データベースから状況略図が類似する判例が選出されるので、事故に応じた適切な判例を選出でき、また事件に応じた適切な判例や犯罪類型(条文など)を選出できる。
【0016】
上記課題を解決するために、本発明のプログラムは、ウエアラブル情報処理装置が行う事故又は事件の状況報告生成処理をコンピュータに実行させるプログラムであって、ウエアラブル情報処理装置は、人に装着されるウエアラブル装置のカメラ映像を映像データとして記憶する映像処理装置と、地図データを記憶する地図処理装置と、事故又は事件の発生時の時刻データ及びGPSデータを含む状況データを収集可能な携帯端末装置と、にネットワークを介して接続され、状況報告生成処理は、携帯端末装置からの状況データを取得するステップと、映像処理装置から時刻データに基づく映像データを取得するステップと、地図処理装置からGPSデータに基づく地図データを取得するステップと、少なくとも映像データと地図データに基づいて状況略図を生成するステップと、状況略図を含む状況報告を生成するステップとを含む。これにより、コンピュータを、事故又は事件の状況報告生成処理を行うウエアラブル情報処理装置として機能させることができる。
【発明の効果】
【0017】
本発明によれば、人に装着するウエアラブル装置のカメラ映像等のウエアラブル情報を利用することで、人と自転車やバイク、人と人との事故や事件の映像も記憶できる。この映像に基づいて事故や事件の状況報告を自動的に生成できる。
【図面の簡単な説明】
【0018】
図1】第1実施形態のウエアラブル情報処理システムの構成を示す図である。
図2図1のウエアラブル情報処理システムのブロック図である。
図3】映像データの具体例を示すデータテーブルである。
図4】ユーザデータの具体例を示すデータテーブルである。
図5】第1実施形態のシステム全体の処理を説明するフローチャートである。
図6】事故事件選択画面の具体例を示す図である。
図7】通報指示画面の具体例を示す図である。
図8】事故発生状況報告書のフォームの具体例を示す図である。
図9】事件発生状況報告書のフォームの具体例を示す図である。
図10図5の状況報告生成処理の具体例を示すフローチャートである。
図11図10の状況略図生成処理の具体例を示すフローチャートである。
図12】状況略図生成処理で選出された映像データの具体例を示す図である。
図13】状況略図生成処理で生成された現場状況略図の具体例を示す図である。
図14】状況略図生成処理で生成された現場付近地図の具体例を示す図である。
図15】状況略図生成処理で生成された状況略図の具体例を示す図である。
図16】第2実施形態のウエアラブル情報処理システムのブロック図である。
図17】第2実施形態のシステム全体の処理を説明するフローチャートである。
図18】過失割合報告生成処理の具体例を示すフローチャートである。
図19】事故過失割合報告書のフォームの具体例を示す図である。
図20】事件過失割合報告書のフォームの具体例を示す図である。
図21】事件構成要件報告書のフォームの具体例を示す図である。
図22】事故事件選択画面の他の具体例を示す図である。
図23】通報指示画面の他の具体例を示す図である。
図24】変形例にかかる対象特定処理の具体例を示すフローチャートである。
図25】対象特定処理における映像例を示す図であり、(a)は全方位映像、(b)は全方位映像から生成される映像である。
図26図25の所定時間前の映像例を示す図であり、(a)は全方位映像、(b)は全方位映像から生成される映像である。
図27】対象候補図の具体例を示す図である。
図28】対象候補検証図の具体例を示す図である。
【発明を実施するための形態】
【0019】
<第1実施形態>
以下、本発明の第1実施形態について図面を参照しながら説明する。第1実施形態では本発明のウエアラブル情報処理装置10を備えるウエアラブル情報処理システム100を例示する。図1は、第1実施形態に係るウエアラブル情報処理システム100の構成を示す図である。図1のウエアラブル情報処理システム100は、ウエアラブル情報処理装置10と携帯端末装置20と映像処理装置40と地図処理装置50とを備える。
【0020】
ウエアラブル情報処理装置10は、携帯端末装置20と映像処理装置40と地図処理装置50とにインターネットなどのネットワークNを介して互いに通信可能に構成されている。ウエアラブル情報処理装置10と映像処理装置40と地図処理装置50は、パーソナルコンピュータで構成してもよく、クラウドサーバで構成してもよい。ウエアラブル情報処理装置10と映像処理装置40と地図処理装置50とはそれぞれ、複数台で分散処理するように構成してもよく、また1台のサーバ装置に設けられた複数の仮想マシンによって構成してもよい。
【0021】
携帯端末装置20は、ユーザによって利用される持ち運び可能な情報処理装置である。携帯端末装置20は、例えばスマートフォン、タブレット、PDA(Personal Digital Assistant)などである。ネットワークNには1つの携帯端末装置20が接続される場合を例示しているが、2つ以上の携帯端末装置20が接続されていてもよい。
【0022】
携帯端末装置20には、ウエアラブル装置30がブルートゥース(登録商標)などの通信規格に基づく無線通信ネットワークで接続可能である。ウエアラブル装置30はカメラ34を備え、人の身体に装着されてその人の周囲のカメラ映像を撮ることができる。図1のイラストに例示するウエアラブル装置30は、耳に装着する耳掛けタイプであり、全方位のカメラ映像を撮れるカメラ34が設けられている。
【0023】
ウエアラブル情報処理装置10は、ウエアラブル情報(身体周囲のカメラ映像など)に基づいて事故又は事件の状況報告を自動で生成する。第1実施形態のウエアラブル情報処理装置10は、携帯端末装置20をクライアントとするサーバコンピュータで構成する場合を例示する。映像処理装置40は、ウエアラブル装置30からのカメラ映像を、携帯端末装置20を介して受信して映像データとして記憶する。地図処理装置50は地図データを記憶し、受信したGPSデータの緯度と経度を含む現場付近の地図データをウエアラブル情報処理装置10へ送信する。
【0024】
図2は、図1のウエアラブル情報処理システム100のブロック図である。図2に示す携帯端末装置20は、通信部21、制御部22、記憶部23、カメラ24,マイク25、センサ部26、入力部27、表示部28などを備える。制御部22と、通信部21、記憶部23、カメラ24,マイク25、センサ部26、入力部27、表示部28とはそれぞれバスライン20Lに接続され、相互にデータ(情報)のやり取りが可能である。
【0025】
通信部21は、ネットワークNと有線又は無線で接続され、ウエアラブル情報処理装置10や映像処理装置40との間でデータ(情報)の送受信を行う。通信部21は、インターネットやイントラネットの通信インターフェースとして機能し、例えばTCP/IP、Wi-Fi(登録商標)、ブルートゥース(登録商標)を用いた通信などが可能である。通信部21は、ウエアラブル装置30との間でもデータ(情報)の送受信を行う。通信部21は、ブルートゥース(登録商標)などの通信規格に基づく無線通信ネットワークでウエアラブル装置30と接続可能である。
【0026】
制御部22は、携帯端末装置20全体を統括的に制御する。制御部22は、MPU(Micro Processing Unit)などの集積回路で構成される。制御部22は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)を備える。制御部22は、必要なプログラムをROMにロードし、RAMを作業領域としてそのプログラムを実行することで、各種の処理を行う。
【0027】
記憶部23は、制御部22で実行される各種プログラムやこれらのプログラムによって使用されるデータを記憶する記憶媒体(コンピュータ読み取り可能な有形の記憶媒体:a tangible storage medium)の例示である。記憶部23は、ハードディスク、光ディスク、磁気ディスクなどの記憶装置で構成される。記憶部23の構成はこれらに限られず、記憶部23をRAMやフラッシュメモリなどの半導体メモリなどで構成してもよい。例えば記憶部23をSSD(Solid State Drive)で構成することもできる。
【0028】
記憶部23は、プログラム記憶部231、データ記憶部232などを備える。プログラム記憶部231には、制御部22で実行される複数のアプリケーションプログラムが記憶される。プログラム記憶部231には、ウエアラブル装置30とウエアラブル情報処理装置10と映像処理装置40と連携してウエアラブル情報処理を行うための専用のアプリケーションプログラムが記憶される。この専用のアプリケーションプログラムは、ネットワークNを介して携帯端末装置20にダウンロード可能なプログラムである。データ記憶部232には、アプリケーションプログラムによって使用される各種データが記憶される。
【0029】
制御部22は、センサデータ取得部221、衝撃検知部222、衝撃データ収集部223、状況データ収集部224などを備える。センサデータ取得部221は、センサ部26からのセンサデータ(加速度データなど)を取得する。センサ部26は、携帯端末装置20の衝撃を検知する衝撃センサ(例えば加速度センサ)を含む。衝撃検知部222は、センサデータ取得部221で取得したセンサデータ(加速度データなど)によって携帯端末装置20の衝撃を検知する。例えばセンサデータに基づいて加速度データを監視し、加速度が所定値を超えたときに衝撃を検知する。この加速度の所定値はユーザの入力により変更可能にしてもよい。衝撃データ収集部223は、衝撃検知部222が衝撃を検知すると、その衝撃時(衝撃を検知した時)の時刻データ、衝撃時のGPSデータなどを衝撃データとして収集する。
【0030】
制御部22は、衝撃データ収集部223で収集した衝撃データを通信部21によりウエアラブル情報処理装置10に送信する。ウエアラブル情報処理装置10は衝撃データを受信すると、携帯端末装置20にプッシュ通知を送信する。状況データ収集部224は、プッシュ通知により、事故事件選択画面や状況入力画面などを表示部28に表示して状況データを収集可能である。
【0031】
事故事件選択画面は、例えば「事件発生か」「事故発生か」「何も発生してないか」などを選択できる画面である。状況入力画面は、例えば相手の容姿や信号の状況、どのような事故又は事件が発生したかなどの状況説明や詳細情報を入力できる画面である。この状況入力画面は、アンケート形式で入力できるようにしてもよい。事故事件選択画面や状況入力画面などにより入力部27から入力されたデータ(情報)を状況データとして収集する。状況データには、衝撃時の加速度データ、時刻データ、GPSデータなどの衝撃データが含まれる。
【0032】
入力部27は、例えばタッチパネルやボタンである。入力部27は、ブルートゥース(登録商標)で携帯端末装置20に接続される外部入力デバイス(キーボード、マウスなど)であってもよい。表示部28は、液晶ディスプレイや有機ELディスプレイなどであり、制御部22からの指示に従って各種情報を表示する。ここでの表示部28は、タッチパネル付きの液晶ディスプレイを例示する。入力部27のボタンは、表示部28に表示されたボタンであってもよい。
【0033】
図2のウエアラブル装置30は、通信部31、カメラ34などを備える。通信部31は、携帯端末装置20との間でデータ(情報)の送受信を行う。通信部31は、ブルートゥース(登録商標)などの通信規格に基づく無線通信ネットワークで携帯端末装置20と接続可能である。
【0034】
カメラ34は、人の身体に装着されて周囲(水平360度)のカメラ映像を撮ることができる。カメラ34は、全方位のカメラ映像を撮れるCCD(Charge Coupled Device)カメラなどで構成される。なお、カメラ34は、必ずしも全方位カメラでなくてもよい。人の身体の前後左右を含む周囲のカメラ映像を撮影できるカメラ34を備えるものであれば、どのようなウエアラブル装置30であってもよい。例えば複数のカメラ34で身体周囲のカメラ映像を撮影できるものでもよい。また、ウエアラブル装置30の種類は図示する耳掛けタイプに限られない。人の身体の周囲の映像を撮影可能なカメラ34を装着していれば、メガネタイプ、ヘッドホンタイプ、首掛けタイプなどどのような種類であってもよい。カメラ34は、CCDカメラに限られず、Webカメラ、IoTカメラなどであってもよい。
【0035】
ウエアラブル装置30は、携帯端末装置20に接続されると、カメラ34を起動してそのカメラ映像を携帯端末装置20に送信する。携帯端末装置20は、ウエアラブル装置30からのカメラ映像を映像処理装置40に送信する。
【0036】
映像処理装置40は、通信部41、制御部42、記憶部43などを備える。制御部42と、通信部41、記憶部43とはそれぞれバスライン40Lに接続され、相互にデータ(情報)のやり取りが可能である。通信部41は、ネットワークNと有線又は無線で接続され、ウエアラブル情報処理装置10や携帯端末装置20との間でデータ(情報)の送受信を行う。通信部41は、インターネットやイントラネットの通信インターフェースとして機能し、例えばTCP/IP、Wi-Fi(登録商標)、ブルートゥース(登録商標)を用いた通信などが可能である。
【0037】
制御部42は、映像処理装置40全体を統括的に制御する。制御部42は、MPUなどの集積回路で構成される。制御部42は、CPU、RAM、ROMを備える。制御部42は、必要なプログラムをROMにロードし、RAMを作業領域としてそのプログラムを実行することで、各種の処理を行う。
【0038】
記憶部43は、制御部42で実行される各種プログラムやこれらのプログラムによって使用されるデータを記憶する記憶媒体の例示である。記憶部43は、ハードディスク、光ディスク、磁気ディスクなどの記憶装置で構成される。記憶部43の構成はこれらに限られず、記憶部43をRAMやフラッシュメモリなどの半導体メモリなどで構成してもよい。例えば記憶部43をSSD(Solid State Drive)で構成することもできる。
【0039】
記憶部43には、携帯端末装置20を介して受信されるウエアラブル装置30からのカメラ映像が所定の映像時間ごとの複数の映像データ432として記憶される。具体的には記憶部43には、例えば図3のデータテーブルのように所定の映像時間ごとの複数の映像データが記憶される。図3のデータテーブルには、ユーザID、映像データ、映像日時、映像時間、場所などが関連付けられて記憶される。
【0040】
図3の映像日時は映像データ432の撮影日と映像開始時刻である。図3では、映像時間を5分にした場合を例示しているので、5分ごとの映像データが記憶される。映像時間は設定可能であり、5分に限られず、1分ごと、数秒ごとなどどのように設定してもよい。映像時間は、携帯端末装置20からのユーザ入力により自由に変えられる。
【0041】
また、映像時間は、ユーザの速度に応じて変えるようにしてもよい。ユーザの速度は、携帯端末装置20の加速度センサによって検知できる。例えばユーザが歩行する場合と、自転車を運転する場合とで映像時間を変えることもでき、ユーザの速度が速いほど映像時間を短くできる。これによれば、衝撃時の映像データの映像時間が長すぎたり、逆に短すぎたりせず、ユーザの速度に応じた最適な映像時間の映像データを得られる。場所は映像データの撮影場所であり、例えば映像開始時のGPSデータから特定した場所を記憶する。なお、映像データ432は図3に示すデータテーブルに限られず、データテーブルの項目も図3に示すものに限られない。
【0042】
なお、記憶部43には、図示しないプログラム記憶部、データ記憶部などを備える。プログラム記憶部には、制御部42で実行されるプログラムが記憶される。データ記憶部には、プログラムによって使用される各種データが記憶される。記憶部43は、ハードディスクで構成されていてもよく、フラッシュメモリなどの半導体メモリで構成されていてもよい。例えば記憶部43をSSDで構成することもできる。
【0043】
制御部42は、時刻データ取得部421と映像データ選択部422を備える。時刻データ取得部421は、ウエアラブル情報処理装置10からの衝撃時の時刻データを取得する。映像データ選択部422は、図3に示すような複数の映像データから衝撃時の時刻データに基づいて少なくともその時刻の映像を含む映像データを取得する。取得された映像データは、通信部41を介してウエアラブル情報処理装置10に送信される。
【0044】
地図処理装置50は、通信部51、制御部52、記憶部53などを備える。制御部52と、通信部51、記憶部53とはそれぞれバスライン50Lに接続され、相互にデータ(情報)のやり取りが可能である。通信部51は、ネットワークNと有線又は無線で接続され、ウエアラブル情報処理装置10との間でデータ(情報)の送受信を行う。通信部51は、インターネットやイントラネットの通信インターフェースとして機能し、例えばTCP/IP、Wi-Fi(登録商標)、ブルートゥース(登録商標)を用いた通信などが可能である。
【0045】
制御部52は、地図処理装置50全体を統括的に制御する。制御部52は、MPUなどの集積回路で構成される。制御部52は、CPU、RAM、ROMを備える。制御部52は、必要なプログラムをROMにロードし、RAMを作業領域としてそのプログラムを実行することで、各種の処理を行う。
【0046】
記憶部53は、制御部52で実行される各種プログラムやこれらのプログラムによって使用されるデータを記憶する記憶媒体の例示である。記憶部53は、ハードディスク、光ディスク、磁気ディスクなどの記憶装置で構成される。記憶部53の構成はこれらに限られず、記憶部53をRAMやフラッシュメモリなどの半導体メモリなどで構成してもよい。例えば記憶部53をSSD(Solid State Drive)で構成することもできる。
【0047】
記憶部53には、地図データ532などが記憶される。なお、記憶部53には、図示しないプログラム記憶部、データ記憶部などを備える。プログラム記憶部には、制御部52で実行されるプログラムが記憶される。データ記憶部には、プログラムによって使用される各種データが記憶される。記憶部53は、ハードディスクで構成されていてもよく、フラッシュメモリなどの半導体メモリで構成されていてもよい。例えば記憶部53をSSDで構成することもできる。
【0048】
制御部52は、GPSデータ取得部521と地図データ選択部522を備える。GPSデータ取得部521は、ウエアラブル情報処理装置10からの衝撃時のGPSデータを取得する。地図データ選択部522は、取得したGPSデータに基づいて少なくともその緯度と経度の地図を含む地図データを取得する。取得された地図データは、通信部51を介してウエアラブル情報処理装置10に送信される。
【0049】
図2のウエアラブル情報処理装置10は、通信部11と制御部12と記憶部14とを備える。制御部12と、通信部11、制御部12、記憶部14とはそれぞれバスライン10Lに接続され、相互にデータ(情報)のやり取りが可能である。
【0050】
通信部11は、ネットワークNと有線又は無線で接続され、携帯端末装置20と映像処理装置40と地図処理装置50との間でデータ(情報)の送受信を行う。通信部11は、インターネットやイントラネットの通信インターフェースとして機能し、例えばTCP/IPやWi-Fi(登録商標)、ブルートゥース(登録商標)などを用いた通信が可能である。
【0051】
制御部12は、ウエアラブル情報処理装置10全体を統括的に制御する。制御部12は、MPUなどの集積回路で構成される。制御部12は、CPU、RAM、ROMを備える。制御部12は、必要なプログラムをROMにロードし、RAMを作業領域としてそのプログラムを実行することで、各種の処理を行う。
【0052】
記憶部14は、制御部12で実行される各種プログラムやこれらのプログラムによって使用されるデータなどを記憶するコンピュータ読み取り可能な記憶媒体である。記憶部14は、ハードディスク、光ディスク、磁気ディスクなどの記憶装置で構成される。記憶部14の構成はこれらに限られず、記憶部14をRAMやフラッシュメモリなどの半導体メモリなどで構成してもよい。例えば記憶部14をSSD(Solid State Drive)で構成することもできる。
【0053】
記憶部14は、プログラム記憶部231、データ記憶部232を備える。プログラム記憶部231には、制御部12で実行されるプログラムが記憶される。データ記憶部232には、プログラムによって使用される各種データが記憶される。制御部12は、プログラム記憶部15から必要なプログラムを読み出して各種の処理を実行する。
【0054】
データ記憶部16には、ユーザデータ161、取得データ162、生成データ163などが記憶される。データ記憶部16には、上記の他、図8に例示する事故発生状況報告書126Aのフォームや図9に例示する事件発生状況報告書126Bのフォームなどが記憶される。ユーザデータ161には、例えば図4のデータテーブルのように、ユーザID、氏名、電話番号、住所、ウエアラブル装置の種類、通報先などが記憶される。これらのユーザデータ161は、ユーザから事前に入力されたものが予め記憶される。「ウエアラブル装置の種類」は、携帯端末装置20に接続するウエアラブル装置30の種類である。
【0055】
図4の「ウエアラブル装置の種類」の項目には、例えば耳掛けタイプ、メガネタイプ、ヘッドホンタイプ、首掛けタイプなどが記憶される。「通報先」は、事故の発生や事件の発生を通報する保険会社や警察などである。通報先が登録されている場合には、携帯端末装置20からユーザの指示(例えばアプリケーション上のボタンをクリック)により、ウエアラブル情報処理装置10で自動生成された状況報告書やデータを自動で送信できる。なお、ユーザデータ161は図4に示すデータテーブルに限られず、データテーブルの項目も図4に示すものに限られない。
【0056】
取得データ162は、ウエアラブル情報処理装置10が通信部11を介して取得する各種データである。取得データ162には、映像処理装置40から取得する映像データ432、携帯端末装置20から取得する状況データ、地図処理装置50から取得する地図データ532などが含まれる。生成データ163は、ウエアラブル情報処理装置10が生成したデータである。生成データ163としては、ウエアラブル情報処理装置10で生成された状況略図データや状況報告データなどを含む。
【0057】
制御部12は、映像データ取得部121、状況データ取得部122、地図データ取得部123、状況略図生成部125、状況報告生成部126を備える。映像データ取得部121は、通信部11を介して映像処理装置40からの映像データ(例えば衝撃時の映像データ)を取得する。状況データ取得部122は、通信部11を介して携帯端末装置20からの状況データ(例えば衝撃時の時刻データ及びGPSデータを含む状況データ)を取得する。地図データ取得部123は、通信部11を介して地図処理装置50からの地図データ(例えば衝撃時の地図データ)を取得する。
【0058】
状況略図生成部125は、少なくとも映像データ取得部121で取得された映像データと地図データ取得部123で地図データに基づいて状況略図を生成する。状況略図には例えば事故の場合の事故状況略図、事件の場合の事件状況略図が含まれる。具体的には状況略図生成部125は、事故の場合には事故状況略図を自動的に生成し、事件の場合には事件状況略図を自動的に生成する。状況略図生成部125で生成された状況略図は、データ記憶部16に生成データ163として記憶される。
【0059】
状況報告生成部126は、状況略図を含む状況報告を生成する。状況報告には、例えば事故の場合の事故発生状況報告書、事件の場合の事件発生状況報告書が含まれる。具体的には状況報告生成部126は、事故の場合には事故状況略図を図8の事故発生状況報告書126Aのフォームのうち事故状況略図」の欄に自動的に入力する。状況報告生成部126は、携帯端末装置20からの状況データに基づいて図8の事故発生状況報告書126Aのフォームのうち該当欄(事故詳細情報や事故状況説明の欄)に該当データを自動的に入力する。こうして、状況報告生成部126は図8に示すような事故発生状況報告書126Aを自動的に生成する。
【0060】
状況報告生成部126は、事件の場合には事件状況略図を図9の事件発生状況報告書126Bのフォームのうち事件状況略図の欄に自動的に入力する。状況報告生成部126は、携帯端末装置20からの状況データに基づいて図9の事件発生状況報告書126Bのフォームのうち該当欄(事件詳細情報や事件状況説明の欄)に該当データを自動的に入力する。こうして、状況報告生成部126は図9に示すような事件発生状況報告書126Bを自動的に生成する。
【0061】
図5は、第1実施形態に係るウエアラブル情報処理システム100全体の処理を説明するフローチャートである。図5に示すようにウエアラブル情報処理システム100は、ウエアラブル情報処理装置10と、携帯端末装置20、映像処理装置40、地図処理装置50とでデータのやり取りを行いながら処理を実行する。
【0062】
図5に示すように、先ずステップS10にて携帯端末装置20は専用のアプリケーションプログラムが起動されたか否かを判断する。この専用のアプリケーションプログラムは、携帯端末装置20がウエアラブル装置30とウエアラブル情報処理装置10と映像処理装置40と連携してウエアラブル情報処理を行うための専用のアプリケーションプログラムである。
【0063】
ステップS10にて携帯端末装置20は専用のアプリケーションプログラムが起動されたと判断すると、ウエアラブル装置30との接続をユーザに確認する。ユーザは人体(例えば耳掛けタイプなら耳)に装着したウエアラブル装置30を起動すると、携帯端末装置20にブルートゥース(登録商標)などにより接続される。ウエアラブル装置30は、携帯端末装置20に接続されると、カメラ34を起動してカメラ映像34aを映像処理装置40に送信する。すると、映像処理装置40はカメラ映像34aを所定の映像時間ごと(例えば図3では5分ごと)の複数の映像データ432として記憶する。
【0064】
次にステップS11にて携帯端末装置20の制御部22は衝撃を検知したか否かを判断する。携帯端末装置20の制御部22が衝撃を検知してないと判断した場合には、衝撃検知の判断を続ける。具体的には制御部22はセンサデータ取得部221で取得したセンサデータ(加速度データ)を監視し、衝撃検知部222が例えば加速度が所定値を超えたと判断したときに衝撃を検知する。
【0065】
ステップS11にて携帯端末装置20の制御部22は衝撃を検知したと判断した場合は、衝撃データ223aを収集し、その衝撃データ223aをウエアラブル装置30に送信する。衝撃データ223aは、制御部22の衝撃データ収集部223により収集される。衝撃データ223aとしては、衝撃時の時刻データ、衝撃時のGPSデータ、衝撃時の加速度データなどが挙げられる。
【0066】
ウエアラブル装置30は、衝撃データ223aを受信すると、携帯端末装置20にプッシュ通知Pを送信する。携帯端末装置20はプッシュ通知Pを受信すると、ステップS12にて事故か又は事件かを判断する。具体的には携帯端末装置20は例えば図6に示すような事故事件選択画面を表示部28に表示する。図6に示す事故事件選択画面は、ユーザに衝撃があったことを知らせ、「事故の発生」、「事件の発生」、「どちらでもない」を選択してもらうための表示である。
【0067】
ステップS12にて図6の表示画面でユーザが「どちらでもない」を選択した場合は、この衝撃は事故事件の発生ではないとして、携帯端末装置20は衝撃検知の判断を続ける。これに対して図6の表示画面でユーザが「事故の発生」又は「事件の発生」を選択した場合は、ステップS13にて携帯端末装置20は状況入力処理を実行する。状況入力処理では、例えば事故発生であれば事故用アンケートを表示部28に表示し、事件発生であれば事件用アンケートを表示部28に表示する。
【0068】
事故用アンケートは、図8に例示する事故発生状況報告書126Aのフォームに入力するデータを取得するためのアンケートである。事故発生状況報告書126Aのフォームに入力するデータのうち、例えば携帯端末装置20で取得できるデータ(センサデータ、天気データ、時刻データなど)では分からない未知データをユーザにより事故用アンケートで入力されたデータで補足できる。ここでの未知データとは、例えば図8の事故詳細情報のうち事故発生時の交通状況や信号の状態、相手のデータ(住所・氏名・電話番号など)や事故状況説明などである。これらの未知データを事故用アンケートで質問形式にすることで、ユーザに入力してもらいやすくすることができる。アンケートの事故状況説明には、例えば当たり屋のような場合を説明することで、発生前後の状況が分かるので不当請求などによる被害を未然に防ぐことができる。
【0069】
事件用アンケートは、図9に例示する事件発生状況報告書126Bのフォームに入力するデータを取得するためのアンケートである。事件発生状況報告書126Bのフォームに入力するデータのうち、例えば携帯端末装置20で取得できるデータ(センサデータ、天気データ、時刻データなど)では分からない未知データをユーザにより事件用アンケートで入力されたデータで補足できる。ここでの未知データとは、例えば図9の事件詳細情報のうち事件発生時の現場状況や人混み、相手のデータ(年齢男女・容姿など)や事件状況説明などである。これらの未知データを事件用アンケートで質問形式にすることで、ユーザに入力してもらいやすくすることができる。アンケートの事件状況説明には、例えばえん罪のような場合を説明することで、発生前後の状況が分かるので虚偽告訴などの被害を未然に防ぐことができる。
【0070】
次に携帯端末装置20は、衝撃時の状況データ122aをウエアラブル情報処理装置10に送信する。この衝撃時の状況データ122aには、衝撃時の時刻データ224a、衝撃時のGPSデータ、事故事件選択データ(図6の事故事件選択画面から選択されたデータ)、アンケートの入力データ、センサデータ(衝撃センサの加速度データなど)、衝撃時の天気データなど状況報告生成に必要なデータが含まれる。
【0071】
ウエアラブル情報処理装置10は、通信部11を介して衝撃時の状況データ122aを受信すると、その状況データ122aのうち衝撃時の時刻データ224aを映像処理装置40に送信する。
【0072】
映像処理装置40は、通信部41を介して衝撃時の時刻データ224aを受信すると、その時刻データ224aの時刻の映像を含む衝撃時の映像データ422aを、記憶部43に記憶された映像データ432から取得して、ウエアラブル情報処理装置10に送信する。ウエアラブル情報処理装置10は、通信部11を介して衝撃時の映像データ422aを受信する。
【0073】
こうして、ウエアラブル情報処理装置10の映像データ取得部121は、映像処理装置40の記憶部43に記憶された複数の映像データ432(ウエアラブル装置30のカメラ映像)から、時刻データ224aの時刻の映像を含む衝撃時の映像データ422aを取得する。なお、映像データ取得部121は、衝撃時の時刻データ224aの時刻の映像を含む映像データとその前後の映像データを衝撃時の映像データ422aとして取得してもよい。
【0074】
またウエアラブル情報処理装置10は、通信部11を介して衝撃時の状況データ122aを受信すると、その状況データ122aのうち衝撃時のGPSデータ224bを地図処理装置50に送信する。
【0075】
地図処理装置50は、通信部51を介して衝撃時のGPSデータ224bを受信すると、記憶部50に記憶された地図データ532から、その衝撃時のGPSデータ224bの緯度と経度の地図を含む所定範囲の衝撃時の地図データ522aを取得してウエアラブル情報処理装置10に送信する。ウエアラブル情報処理装置10は通信部11を介して衝撃時の地図データ522aを受信する。
【0076】
こうして、ウエアラブル情報処理装置10の地図データ取得部123は、地図処理装置50から衝撃時のGPSデータ224bの緯度と経度の地図を含む地図データを取得する。地図データ取得部123は、衝撃時のGPSデータ224bの緯度と経度を中心とした所定範囲の地図を衝撃時の地図データ522aとして取得する。所定範囲は予め設定されており、携帯端末装置20からのユーザからの入力で所定設定を変更できるようにしてもよい。
【0077】
次にウエアラブル情報処理装置10は、映像処理装置40から衝撃時の映像データ422aを取得し、地図処理装置50から衝撃時の地図データ522aを取得すると、ステップS20にて状況報告生成処理を実行する。状況報告生成処理は、衝撃時の状況データ122a、衝撃時の映像データ422a、衝撃時の地図データ522aに基づいて状況報告書(事故発生状況報告書又は事件発生状況報告書)を自動的に生成する処理である。この状況報告生成処理の詳細は後述する。
【0078】
ウエアラブル情報処理装置10で生成された状況報告データ126a(事故発生状況報告書又は事件発生状況報告書のデータ)は、通信部11を介して携帯端末装置20に送信される。携帯端末装置20は、状況報告データ126aを受信すると、ステップS14にて状況報告(事故発生状況報告書又は事件発生状況報告書)を表示部28に表示し、ステップS15にて通報するか否かを判断する。具体的には携帯端末装置20は、図7に示す通報指示画面を表示部28に表示する。図7に示す通報指示画面には、予め登録された保険会社などを表示し、その保険会社などに「通報する」又は「通報しない」をユーザに選択してもらうための表示である。
【0079】
ステップS15にて図7の表示画面でユーザが「通報する」を選択した場合は、ステップS16にて携帯端末装置20は予め登録された保険会社などに通報する。このとき、通報と共に状況報告データ126a(事故発生状況報告書又は事件発生状況報告書のデータ)を送信するようにしてもよい。なお、通報先は、予め記憶された保険会社などに限られない。警察や消防署を含めるようにしてもよい。警察への通報と状況報告データ126aの送信を同時にすることで、警察も事故事件を早期に把握できる。ステップS16の通報により、一連の処理は終了し、カメラ映像の送信が停止される。
【0080】
他方、ステップS15にて図7の表示画面でユーザが「通報しない」を選択した場合は、携帯端末装置20は通報せずに衝撃検知の判断を続ける。このようなウエアラブル情報処理システム100による一連の処理は、携帯端末装置20の専用のアプリケーションプログラムが終了するまで実行される。
【0081】
なお、ウエアラブル装置30のカメラ34によるカメラ映像の送信は、所定のタイミングで停止されるようにしてもよい。例えばウエアラブル装置30のカメラ34がオフにされた場合、ウエアラブル装置30の電源がオフにされた場合、ウエアラブル装置30との接続がオフにされた場合などにカメラ映像の送信を停止するようにしてもよい。カメラ映像の送信を停止するタイミングはこれに限られない。
【0082】
また、映像処理装置40は、記憶部43に記憶された映像データ432を所定のタイミングで削除するようにしてもよい。例えば携帯端末装置20の専用のアプリケーションプログラムが終了されたタイミングやウエアラブル装置30の電源がオフにされたタイミングで映像データ432を削除してもよい。映像データ432を削除するタイミングはこれに限られない。また、映像データ432は一定期間保存してから削除するようにしてもよい。映像データ432の保管期間は携帯端末装置20からのユーザ入力により自由に変えられるようにしてもよい。
【0083】
次に、上述した図5のステップS20にてウエアラブル情報処理装置10が行う状況報告生成処理について図面を参照しながら説明する。図10は、状況報告生成処理の具体例を示すフローチャートである。図10の状況報告生成処理は、制御部12(映像データ取得部121、状況データ取得部122、地図データ取得部123、状況略図生成部125、状況報告生成部126など)によってプログラム記憶部15から必要なプログラムが読み出されて実行される。
【0084】
先ず制御部12は、図10のステップS210にて状況データ取得部122により携帯端末装置20からの衝撃時の状況データ122aを取得したかを判断する。制御部12は、衝撃時の状況データ122aを取得してないと判断した場合はステップS210の処理に戻り、衝撃時の状況データ122aを取得したと判断した場合は、ステップS220にて映像データ取得部121により映像処理装置40から衝撃時の映像データ422aを取得したかを判断する。
【0085】
ステップS210にて制御部12は、衝撃時の映像データ422aを取得してないと判断した場合はステップS210の処理に戻り、衝撃時の映像データ422aを取得したと判断した場合は、ステップS230にて地図データ取得部123により地図処理装置50からの衝撃時の地図データ522aを取得したかを判断する。
【0086】
制御部12は、ステップS220にて衝撃時の地図データ522aを取得してないと判断した場合はステップS210の処理に戻り、衝撃時の地図データ522aを取得したと判断した場合は、ステップS240にて事故か否かを判断する。具体的には制御部12は、携帯端末装置20からの状況データのうち事故事件選択データ(図6の事故事件選択画面から選択されたデータ)から事故か事件かを判断する。
【0087】
制御部12は、ステップS240にて事故であると判断した場合は、ステップS242にて図8の事故発生状況報告書126Aのフォームをデータ記憶部16から取得する。制御部12は、ステップS240にて事故でないと判断した場合は、ステップS250にて事件か否かを判断する。
【0088】
制御部12は、ステップS250にて事件でないと判断した場合は、ステップS220の処理に戻り、ステップS250にて事件であると判断した場合は、ステップS252にて図9の事件発生状況報告書126Bのフォームをデータ記憶部16から取得し、ステップS260にて状況略図生成処理を行う。
【0089】
ここで、状況略図生成処理の具体例について図11乃至図15を参照しながら説明する。図11は、状況略図生成処理の具体例を示すフローチャートである。図12は、状況略図生成処理で選出された映像データの具体例を示す図である。図13は、状況略図生成処理で生成された現場状況略図の具体例を示す図である。図14は、状況略図生成処理で生成された現場付近地図の具体例を示す図である。図15は、状況略図生成処理で生成された状況略図の具体例を示す図である。
【0090】
図12乃至図15は、ユーザを甲pA(Party pA)とすると、甲が青信号で横断歩道を渡りはじめたときに、乙pB(Party pB)の運転する自転車が横断歩道に侵入し、甲に衝突したという事故について、状況略図を生成する場合の例示である。これは甲が被害者、自転車の乙が加害者の場合である。
【0091】
図11の状況略図生成処理は、衝撃時の映像データ422a、衝撃時の地図データ522a、衝撃時の状況データ122aに基づいて状況略図(事故状況略図又は事件状況略図)を自動で生成する処理であり、状況略図生成部125により所定のプログラムが読み出されて実行される。
【0092】
図11に示すように状況略図生成部125は、ステップS261にて略図生成用の映像を選出する。具体的には衝撃時の映像データ422aから図12に示すような略図生成用の映像(静止画像)を選出する。図12は、衝撃時の時刻の所定時間前(例えば数秒前)の映像(静止画像)である。図12によれば、乙の自転車が横断歩道に侵入しようとしているときの略図生成用映像422bである。このように略図生成用映像422bは、衝撃時の時刻の映像ではなく、衝撃時の時刻の数秒前の映像を選出することが好ましい。
【0093】
例えば状況略図生成部125は、衝撃時の映像データ422aから衝撃時の時刻の映像に写っている乙と自転車を検出し、その乙が写っている数秒前の映像を選出する。映像からの乙と乙の運転する自転車など人物や乗り物の検出は、例えば機械学習やAI(人工知能)などにより学習させた学習済みモデルを利用する。
【0094】
次にステップS262にて状況略図生成部125は、選出した略図生成用映像422bから現場状況略図を生成する。現場状況略図422cは、例えば図13に示すようにユーザ甲の頭を中心に数秒前の乙と乙の運転する自転車を含む所定の範囲の略図であり、甲と乙の自転車を所定の略記号に置き換えたものである。甲は人を表す記号に置き換えて表示し、乙と自転車は自転車を表す所定の記号に置き換えて表示する。このように人物が乗り物に乗っている場合には、人物と乗り物をそれぞれの記号に置き換えるのではなく、人物と乗り物をまとめてその乗り物を表す記号に置き換える。所定の記号は、例えば事故発生状況報告書で人や自転車やバイクなどの記号が決められていればその記号を予めデータ記憶部16に記憶しておき、ユーザ甲や乙をその記号で置き換える。このように、予め決められた記号を使って状況略図を生成できるので、本実施形態で自動生成された状況報告書をそのまま正式な書面として各所へ提出できる。
【0095】
図13の現場状況略図422cにおいて、ユーザ甲と乙の位置は、衝撃時のGPSデータ224bと映像データの分析によって決定できる。本実施形態の映像データは360度のカメラ映像なので数秒前の映像からおおよその乙の方向と距離が分かる。ユーザ甲の位置は、GPSデータで緯度と経度が分かるので、その乙の方向と距離によりおおよその乙のGPSデータを計算できる。こうして、ユーザ甲と乙の地図上の位置(GPSデータ)に置き換えることができる。なお、ユーザ甲と乙との距離は、数秒前の映像を画像認識して乙の画像の大きさから算出してもよい。
【0096】
次いで状況略図生成部125は、ステップS263にて略図生成用の地図を選出し、ステップS264にてその略図生成用の地図から現場付近地図を生成する。具体的には衝撃時の地図データ522aから図14に示すような略図生成用の地図の範囲を選出し、現場付近地図522bを生成する。図14は、図13のユーザ甲と乙の地図上の位置を含む現場付近地図522bである。図14では、衝撃時の数秒前の甲の位置と乙の位置とを×で示す現場状況略図422cの範囲を点線で重ねている。
【0097】
続いて状況略図生成部125は、ステップS265にて現場状況略図422cと現場付近地図522bから状況略図125aを生成する。具体的には状況略図生成部125は、図13に示すような現場状況略図422cを図14に示すような現場付近地図522bに重ねて、図15に示すような状況略図125aを生成する。
【0098】
そして、状況略図生成部125は、ステップS266にて状況略図125aをデータ記憶部16に生成データ163として記憶して一連の状況略図生成処理を終了し、図10のステップS270の処理に移る。
【0099】
図10のステップS270にて制御部12は、状況報告を生成する。具体的にはステップS240にて事故と判断した場合は、状況報告生成部126が図8に示す事故発生状況報告書126Aのフォームに事故状況略図と該当データを入力し、事故発生状況報告書126Aを自動で生成する。他方、ステップS240にて事件と判断した場合は、状況報告生成部126が図9に示す事件発生状況報告書126Bのフォームに事件状況略図と該当データを入力し、事件発生状況報告書126Bを自動で生成する。
【0100】
次にステップS280にて制御部12は、生成した状況報告(事故発生状況報告書126A又は事件発生状況報告書126B)を生成データ163としてデータ記憶部16に記憶し、一連の状況報告生成処理を終了する。
【0101】
このような第1実施形態によれば、ユーザに装着されるウエアラブル装置30からのカメラ映像に基づいて事故又は事件の状況報告を自動的に生成できる。このように、ユーザに装着されるウエアラブル装置30からのカメラ映像を用いることで、ユーザが自動車を運転しているときだけでなく、歩いているときや自転車やバイクに乗っているときにもユーザの周囲の映像を記憶しておくことができる。したがって、そのユーザが巻き込まれた事故の状況報告だけでなく、ひったくりなどの事件の状況報告まで自動的に生成できる。これにより、自動車に搭載したカメラ映像では報告書を生成できない事故や事件、例えば人と自転車やバイク、人と人との事故や事件の状況報告をも自動的に生成できる。
【0102】
しかも、事故又は事件の発生時(第1実施形態では衝撃時)の時刻データから映像データを取得し、GPSデータから地図データを取得して状況略図まで自動的に生成できるので、事故や事件に巻き込まれて気が動転していても、正確に現場の状況を伝える状況報告をその場で生成できる。これにより、事故や事件の状況を迅速かつ正確に保険会社や警察に伝えることができ、事故や事件の早期解決も期待できる。
【0103】
また、ウエアラブル装置30を装着したユーザの周囲の映像をカメラ映像として用いるので、例えば自転車に衝突された事故であればその自転車がどちらの方向から衝突したのかが分かる。また、ひったくり犯人がどちらの方向からやってきたのかも分かる。
【0104】
さらに、本実施形態によれば、ユーザの周囲の映像データから少なくとも事故又は事件を引き起こした対象(例えば自転車・バイク・自動車等の乗り物、歩行者・ランナー等の人物)の画像を検出し、その対象の画像を所定の記号に置き換えて地図上の位置で示す現場状況略図と現場付近地図から状況略図を自動で生成できるから、単に映像データの画像を状況報告に貼りつける場合と比較して、その画像から状況略図への加工の手間を省くことができる。このように、加工しなくても保健会社や警察にそのまま送信できる状況略図を含む状況報告書が自動で生成されるので、事故や事件に巻き込まれて気が動転していても、正確に状況を伝えることができる。
【0105】
また、本実施形態によれば、ウエアラブル装置30からのカメラ映像を所定の映像時間ごとの複数の映像データとして分けて記憶するから、複数の映像データに分けないで記憶する場合に比較して、事故や事件が発生した時刻の前後の映像を特定しやすい。また衝撃を検知しても携帯端末装置20を落としただけなど、事故の発生又は事件の発生してない場合もある。本実施形態によれば、状況データ取得部122が携帯端末装置20から取得する状況データには事故の発生又は事件の発生が選択された情報が含まれるから、事故の発生又は事件の発生がなければ状況報告書は自動で生成されないようにすることができるので、状況報告書生成の無駄を抑制できる。
【0106】
また、本実施形態の状況報告生成部126は、携帯端末装置20からの状況データにより事故か事件かを判断し、事故であると判断した場合は、所定の事故発生状況報告書のフォームから状況報告を生成し、事件であると判断した場合は、所定の事件発生状況報告書のフォームから状況報告を生成する。このように、事故又は事件のそれぞれのフォームに応じた状況報告を自動で生成できるので、後から所定のフォームに合わせて状況報告を作り直す手間を省ける。
【0107】
<第2実施形態>
本発明の第2実施形態について説明する。以下に例示する各形態において実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。第1実施形態では、事故又は事件の状況報告書を自動で生成する場合を例示したが、第2実施形態では状況報告書だけでなく、さらに事故又は事件の過失割合報告書まで自動で生成する場合を例示する。なお、第2実施形態のウエアラブル情報処理装置10の構成は、第1実施形態と同様のためその詳細な説明を省略する。
【0108】
図16は、第2実施形態のウエアラブル情報処理システム100の概略構成を示す図であり、図2に対応する。図16の記憶部14は、事故判例データベース17及び事件判例データベース18を備える。またデータ記憶部16には、図19に例示する事故過失割合報告書127Aのフォームや図20に例示する事件過失割合報告書127Bのフォームが記憶される。図16の制御部12は、過失割合報告生成部127を備える。
【0109】
過失割合報告生成部127は、状況報告生成部126で生成した状況報告と類似の判例を選出し、選出した判例に基づいて過失割合報告書を自動で生成する。具体的には過失割合報告生成部127は、事故の場合は、事故発生状況報告書126Aの事故状況広告データと類似の判例を事故判例データベース17から選出し、選出した判例に基づいて図19に例示する事故過失割合報告書127Aを自動で生成する。他方、過失割合報告生成部127は、事件の場合は、事件発生状況報告書126Bの事件状況報告データと類似の判例を事件判例データベース18から選出し、選出した判例に基づいて図20に例示する事件過失割合報告書127Bを自動で生成する。
【0110】
図17は、第2実施形態に係るウエアラブル情報処理システム100全体の処理を説明するフローチャートであり、図5に対応する。図17の処理では、ステップS30にて過失割合報告生成処理を行う。
【0111】
ここで、ステップS30の過失割合報告生成処理について図面を参照しながら説明する。図18は、過失割合報告生成処理の具体例を示すフローチャートである。図18の過失割合報告生成処理は、制御部12(過失割合報告生成部127など)によってプログラム記憶部15から必要なプログラムが読み出されて実行される。
【0112】
先ずステップS310にて過失割合報告生成部127は、状況報告生成処理(図17のステップS20)で生成した状況報告データ126a(事故状況報告データ又は事件状況報告データ)をデータ記憶部16から取得する。
【0113】
次に過失割合報告生成部127は、ステップS320にて事故状況報告データを取得したか否かを判断し、事故状況報告データを取得したと判断した場合は、ステップS322にて図19の事故過失割合報告書127Aのフォームをデータ記憶部16から取得する。
【0114】
そして、過失割合報告生成部127は、ステップS324にて事故判例データベース17を照合し、事故状況報告データと類似の判例を選出する。具体的には事故状況報告データに含まれる事故状況略図と事故判例データベース17の判例に含まれる事故状況略図とを照合し、事故状況略図が類似する判例を選出する。事故状況略図の照合は、機械学習やAI(人工知能)などによる学習済みモデルを用いることができる。
【0115】
なお、ステップS324における判例の選出は、事故状況略図を照合する場合を例に挙げたが、これに限られない。例えば事故状況報告データの事故状況略図以外のデータ(事故詳細情報や事件状況説明など)を照合するようにしてもよい。
【0116】
過失割合報告生成部127は、ステップS324にて判例を選出すると、ステップS340にて選出した判例から過失割合を抽出する。例えば図19における事故の判例情報の「過失割合」の欄に示すような基本過失割合と修正要素データに基づく過失割合評価とを抽出する。選出した判例は、例えば図19の備考の欄に参考判例として表示するようにしてもよい。修正要素データとしては、例えば図19に示すような事故現場が「幹線道路」「住宅街」かどうかやBの過失があったかどうか「Bの著しい過失」「Bの重過失」などが挙げられる。過失割合評価は、これらの修正要素データのそれぞれに対応して表示される数字である。図19は、Aに対する修正要素データの過失割合評価の具体例である。なお、修正要素データや過失割合評価は図示するものに限られない。例えば選出した判例によっては、Bに対する修正要素データと過失割合評価も表示され得る。
【0117】
次にステップS350にて過失割合報告生成部127は、過失割合報告(例えば図19の事故過失割合報告書127A)を自動で生成する。具体的には事故状況報告データから事故詳細情報、事故状況図、事故状況説明などを抽出して、事故過失割合報告書127Aのフォームに入力する。またステップS324で選出した判例から事故状況略図を抽出し、ステップS340にて抽出した過失割合(基本過失割合、修正要素データ、過失割合評価など)と共に事故過失割合報告書127Aのフォームに入力する。
【0118】
次にステップS360にて過失割合報告生成部127は、生成した過失割合報告(例えば図19の事故過失割合報告書127A)を生成データ163としてデータ記憶部16に記憶し、一連の過失割合報告生成を終了する。
【0119】
他方、ステップS320にて過失割合報告生成部127は、事故状況報告データを取得していないと判断した場合は、ステップS330にて事件状況報告データを取得したか否かを判断する。過失割合報告生成部127は、ステップS330にて事件状況報告データを取得していないと判断した場合は、ステップS310の処理に戻る。
【0120】
ステップS330にて過失割合報告生成部127は、事件状況報告データを取得したと判断した場合は、ステップS332にて図20の事件過失割合報告書127Bのフォームをデータ記憶部16から取得する。
【0121】
そして、ステップS334にて過失割合報告生成部127は、事件判例データベース18を照合し、事件状況報告データと類似の判例を選出する。具体的には事件状況報告データに含まれる事件状況略図と事件判例データベース18の判例に含まれる事件状況略図とを照合し、事件状況略図が類似する判例を選出する。事件状況略図の照合は、機械学習やAI(人工知能)などによる学習済みモデルを用いることができる。
【0122】
なお、ステップS334における判例の選出は、事件状況略図を照合する場合を例に挙げたが、これに限られない。例えば事件状況報告データの事件状況略図以外のデータ(事件詳細情報や事件状況説明など)を照合するようにしてもよい。
【0123】
過失割合報告生成部127は、ステップS334にて判例を選出すると、ステップS340にて選出した判例から過失割合を抽出する。例えば図20における事件の判例情報の「過失割合」の欄に示すような基本過失割合と判例類型とを抽出する。判例類型としては、例えば図20に示すような「窃盗」「傷害」「強盗」「強盗致傷」などが挙げられる。例えば選出した判例に、これらの文字が含まれる場合は「○」を表示し、これらの文字が含まれない場合は「×」を表示する。なお、判例類型の表記はこれらに限られない。なお、事件の判例では、過失割合は被害者0:加害者100の場合が多く、過失割合の表記がない場合もあるので、その場合には過失割合を被害者0:加害者100と推定してこれを表記するようにしてもよい。ステップS334にて選出した判例は、備考の欄に参考判例として表示するようにしてもよい。
【0124】
次にステップS350にて過失割合報告生成部127は、過失割合報告(例えば図20の事件過失割合報告書127B)を自動で生成する。具体的には事件状況報告データから事件詳細情報、事件状況図、事件状況説明などを抽出して、事件過失割合報告書127Bのフォームに入力する。またステップS334で選出した判例から事件状況略図を抽出し、ステップS340にて抽出した過失割合(基本過失割合、修正要素データ、過失割合評価など)と共に事件過失割合報告書127Bのフォームに入力する。
【0125】
次にステップS360にて過失割合報告生成部127は、生成した過失割合報告(例えば図20の事件過失割合報告書127B)を過失割合報告データ127aの生成データ163としてデータ記憶部16に記憶し、一連の過失割合報告生成を終了する。図17に示すように、ウエアラブル情報処理装置10で生成された過失割合報告データ127a(事故過失割合報告書又は事件過失割合報告書のデータ)は、通信部11を介して携帯端末装置20に送信される。携帯端末装置20は、過失割合報告データ127aを受信すると、ステップS14にて状況報告(事故発生状況報告書又は事件発生状況報告書)と共に、過失割合報告(事故過失割合報告書又は事件過失割合報告書)を表示部28に表示し、ステップS15にて通報するか否かを判断する。以降の処理は図5と同様であるため詳細な説明を省略する。
【0126】
以上のように第2実施形態によれば、第1実施形態と同様に、ウエアラブル装置30のカメラ映像から事故や事件の状況報告を自動的に生成でき、さらに過失割合報告も自動的に生成できる。しかも、判例データベース(事故判例データベース17又は事件判例データベース18)を状況略図で照合するので、テキスト検索で判例を探す場合に比較して類似の判例を見つけやすい。また、人物や乗り物の画像を所定の記号に置き換えた状況略図を自動で生成できるので、判例などの状況略図との直接照合も可能となり、人物や乗り物の画像をそのまま貼りつける場合に比較して照合精度を大幅に向上できる。判例データに基づく過失割合報告を自動で生成できるので、同様のケースの過失割合が分かり、訴訟の提起や示談の判断をしやすくなり、保険会社も保険の適用を判断しやすくなる。
【0127】
また、第2実施形態の判例データベースは、事故判例データベース17と事件判例データベース18に分けられ、過失割合報告生成部127は、携帯端末装置20からの状況データにより事故か事件かを判断し、事故であると判断した場合は、事故判例データベースから状況略図が類似する判例を選出し、事件であると判断した場合は、事件判例データベースから状況略図が類似する判例を選出する。これによれば、事故の場合は事故判例データベース17から状況略図が類似する判例が選出され、事件の場合は事件判例データベース18から状況略図が類似する判例を選出されるので、事故に応じた適切な判例を選出でき、また事件に応じた適切な判例や犯罪類型(条文など)を選出できる。
【0128】
<変形例>
本発明は、上述した各実施形態に限定されず、例えば以降に説明する各種の応用・変形が可能である。また、これらの変形の態様および上述した各実施形態は、任意に選択された一または複数を適宜組み合わせることも可能である。また当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0129】
(1)上記第2実施形態において、事件の場合には、図21に示すような事件構成要件報告書127Cを作成して、図17のステップS14にて事件過失割合報告書の代わりに携帯端末装置20に表示させるようにしてもよい。図21の事件構成要件報告書127Cは、図20の過失割合の欄に、過失割合の代わりに事件罪状推定を表示したものである。例えば図18のステップS334で選出した判例から事件罪状推定を推定する。事件罪状推定は、図20の判例類型のように「窃盗」「傷害」「強盗」「強盗致傷」などが挙げられる。怪我がなければ「窃盗」の可能性があるが、被害者の犯行が抑圧されていれば「強盗」の可能性もある。怪我があれば「傷害」「強盗」「強盗致傷」の可能性があるが、「窃盗」と「傷害」の併合罪の可能性もある。強盗行為が行われてその際に被害者が怪我をしていれば「強盗致傷」になる可能性がある。また「窃盗」の際に、暴行が行われていなければ窃盗罪のみの可能性が高いが、暴行が行われていれば「窃盗」と「暴行」の併合罪の可能性がある。このように、可能性のある事件罪状を判例から推定できる。第2実施形態で説明した通り、事件の場合には、過失割合は被害者0:加害者100の場合が多く、過失割合の表記がない場合もあるので、そのような場合に事件構成要件報告書127Cを自動で作成してもよい。なお、この事件罪状推定を事件過失割合報告書127Cに載せるようにしてもよい。
【0130】
(2)上記第1実施形態及び第2実施形態において、携帯端末装置20がウエアラブル情報処理を行うための専用のアプリケーションプログラムを実行しているときに、表示部28に緊急ボタンを表示するようにしてもよい。緊急ボタンは、携帯端末装置20が衝撃を検知しなくても、事故事件選択画面を表示するためのボタンである。緊急ボタンが押されると、例えば図22に示す事故事件選択画面が表示部28に表示される。
【0131】
この場合、図10及び図18のステップS11は衝撃検知か又は緊急ボタンが押されたかとし、緊急ボタンが押された場合のステップS11以降の処理においては、「衝撃時」とあるのを「緊急ボタン押下時」と読み替えて適用できる。具体的には例えば図10及び図18の衝撃時データは、緊急ボタン押下時データと読み替える。衝撃時の状況データ(時刻データ、GPSデータ、センサデータ)は、緊急ボタン押下時の状況データ(時刻データ、GPSデータ、センサデータ)と読み替える。衝撃時の映像データは、緊急ボタン押下時の映像データと読み替え、衝撃時の地図データは、緊急ボタン押下時の地図データと読み替える。
【0132】
このように、緊急ボタンで事故事件選択画面を携帯端末装置20に表示できるようにすることで、例えばストーカーのように携帯端末装置20に衝撃がほとんどないような事故や事件の場合も状況報告や過失割合報告を自動生成できる。
【0133】
(3)図10及び図18のステップS16の通報において、警察に通報する場合には、図23に示すような通報指示画面を表示部28に表示するようにしてもよい。これにより、事故や事件が発生した場合に、警察に通報するか否かを選択できる。警察への通報と共に状況報告書も警察に送信できるようにしてもよい。これにより、事故や事件の早急な解決を期待できる。特に緊急ボタンが押された場合に警察への通報指示画面を表示することで、緊急時の対応も可能になる。
【0134】
(4)図11の状況略図生成処理において、衝撃時の映像データ422aから衝撃時の時刻の所定時間前(例えば数秒前)の映像(静止画像)を選出する場合を例示した。この衝撃時の時刻の所定時間前の映像としては、上述の図12のように映像データ422aである全方位映像の一部から生成された映像を用いることもできるが、これに限られず、後述する図25のような全方位映像をそのまま用いてもよい。その全方位映像に写っている人物や乗り物を認識し、ユーザ甲を巻き込む事故又は事件を引き起こした対象として特定する。
【0135】
図12では、ユーザ甲の全方位映像に乙が運転する1台の自転車が写っている場合を例示した。このように全方位映像に対象となる候補が1つしか写ってない場合には、対象の特定が容易である。ところが、実際の現場では全方位映像に複数の乗り物や人物が写っている場合もある。この場合には、ユーザ甲を巻き込む事故又は事件を引き起こした対象(乗り物や人物)を、その全方位映像に写っている乗り物や人物の中から特定する必要がある。
【0136】
ここで、本発明の変形例にかかる対象特定処理について図24乃至図28を参照しながら説明する。図24は、対象特定処理の具体例を示すフローチャートである。図25乃至図28は、図12乃至図15と同様に、ユーザ甲pA(Party pA)が青信号で横断歩道を渡りはじめたときに、乙pB(Party pB)の運転する自転車が横断歩道に侵入し、甲に衝突したという事故の場合を例示する。なお、図25乃至図28では、説明を分かり易くするため、乙の自転車だけを表示し、他の乗り物や人物などは省略している。
【0137】
図25(a)、図26(a)は映像データ422aによる全方位映像である。図25(b)、図26(b)は全方位映像から生成された映像である。図25(a)、(b)は衝撃時又は緊急ボタン押下時の数秒前の映像であり、図26(a)、(b)は、図25(a)、(b)よりもさらに数秒前の映像である。図27は、対象候補図422dの具体例を示す図であり、図25及び図26の映像に基づく甲と乙の位置と動きを示すものである。図28は、対象候補検証図422eの具体例を示す図であり、図27に事故又は事件の位置mX(衝撃時又は緊急ボタン押下時の位置)を重ね合わせたものである。図27及び図28において甲のm1と乙のt1はそれぞれ、図25(a)の全方位映像に基づく甲と乙のGPSデータの緯度と経度である。甲のm2と乙のt2はそれぞれ、図26(a)の全方位映像に基づく甲と乙のGPSデータの緯度と経度である。
【0138】
図24の対象特定処理は、図11の状況略図生成処理を実行する前に、制御部12により所定のプログラムが読み出されて実行される。図24に示すように、先ず制御部12は、ステップS461にて略図生成用の映像を選出する。具体的には制御部12は、衝撃時の時刻の所定時間前(例えば数秒前)の全方位映像(例えば図25(a))を、衝撃時の映像データ422aから選出する。
【0139】
次いでステップS462にて制御部12は、選出した全方位映像から乗り物や人物を検出し、事故又は事件を引き起こした対象候補となり得る人物や乗り物が複数あるか否かを判断する。具体的には制御部12は、全方位映像から人物や乗り物の画像を検出し、人物や乗り物の画像が複数検出されたかどうか判断する。制御部12は、ステップS462にて対象候補(人物や乗り物の画像)が1つしか検出されないと判断した場合は、対象特定処理を終了して図11の状況略図生成処理に移り、ステップS462にて対象候補(人物や乗り物の画像)が複数検出されたと判断した場合はステップS463に移る。
【0140】
次にステップS463にて制御部12は、ステップS461で選出した図24の全方位映像よりもさらに所定時間前(例えば数秒前)の全方位映像(例えば図26(a))を映像データ422aより選出する。そしてステップS464にて制御部12は、選出した2つの全方位映像(図25(a)と図26(a))から対象候補となる人物や乗り物の位置(GPSデータの緯度と経度)を算出して、図27の対象候補図422dを生成し、その対象候補の位置と動きを検出する。
【0141】
ここで、対象候補となる人物や乗り物の位置(GPSデータの緯度と経度)の算出方法の具体例について説明する。例えば図25(a)の全方位映像は、ユーザ甲の周囲の映像なので、その全方位映像の中心m1を甲の位置とすることができる。この場合、全方位映像の中心がユーザの位置に合うようにカメラ映像を調整するようにしてもよい。そして、甲から乙までの位置をベクトル(m1→t1)で示す。このベクトルの方向が甲に対する乙の方向であり、ベクトルの大きさ(長さ)が甲と乙と間の距離に対応する。全方位映像内における複数の対象物までのベクトル(方向と距離)と、実際の甲からのその対象物までのベクトル(方向と距離)とを関連付けて予め学習させた学習モデルを用いて実際の乙の方向と距離を算出する。乙について甲に対する方向と距離が特定できれば、甲のGPSデータの緯度と経度に基づいて、乙のGPSデータの緯度と経度を得ることができる。なお、乙のGPSデータの緯度と経度の算出方法は上記に限られず、全方位映像から公知の別の方法で算出するようにしてもよい。甲のGPSデータの緯度と経度は上述したように携帯端末装置20から受信したものを利用する。
【0142】
次にステップS465にて制御部12は、対象候補がユーザ甲に近づいているか否かを判断する。具体的には制御部は、図27に示すように2つの全方位映像から得られた対象候補の位置と動きに基づいて対象候補がユーザ甲に近づいているか否かを判断する。例えば近づいているか否かは、動きの方向がユーザ甲の進路に向かっているか否かで判断する。
【0143】
例えば図27の対象候補図422dでは乙の自転車の動きの方向(t2→t1)がユーザ甲の進路(m2→m1)に向かっているので、近づいていると判断できる。これに対して、例えば乗り物や人物が写っていても静止していれば、位置が変わらないはずであるから対象候補ではないことがわかる。また動きの方向が甲の進路から遠ざかる方向であれば対象候補ではないことが分かる。このように、対象特定処理によれば、複数の人物や乗り物が写っていても、ユーザ甲を事故又は事件を引き起こした対象候補になるか否かを自動的に判断できる。
【0144】
次にステップS466にて制御部12は、その対象候補が事故又は事件の対象になるかどうかの検証を行う。具体的には制御部12は、図27の対象候補図422dに衝撃時又は緊急ボタン押下時の位置mX(GPSデータの緯度と経度)を重ね合わせて、図28に示す対象候補検証図422eを生成する。そして制御部12はステップS467にて、事故又は事件の位置mX(衝撃時又は緊急ボタン押下時の位置)が対象の動き(t2→t1)の延長線上(点線矢印)にあるか否かを判断する。この場合、乙の位置のGPSデータの算出精度が検証精度に影響を及ぼすおそれがある。そこで、多少のずれがあっても延長線上と判断できるように、例えば乙の位置のGPSデータの算出精度に応じてある程度の許容範囲を設けておくようにしてもよい。
【0145】
ステップS467にて制御部12は、事故又は事件の位置がその対象候補の動きの延長線上であると判断した場合は、ステップS468にてその対象候補を事件又は事故を引き起こした対象と特定する。以上のステップS465乃至ステップS468までは、対象候補ごとに行われる。制御部12は、ステップS465にて対象候補を任意で選んでその対象候補に対してステップS465乃至ステップS468を行う。ステップS465でその対象候補が近づいて来ない場合やステップS467にて事故又は事件の位置がその対象候補の動きの延長線上でない判断した場合は、ステップS464の処理に戻り、別の任意の対象候補を選んでステップS465乃至ステップS468を行う。
【0146】
ステップS468にて制御部12は、対象を特定した場合には、対象特定処理を終了し、図11の状況略図生成処理に移る。なお、対象特定処理は、状況略図生成部125が行うようにしてもよい。対象特定処理のステップS461と状況略図生成処理のステップS261の処理は重複するので、これら対象特定処理と状況略図生成処理を連続して行う場合、状況略図生成処理では図11のステップS261の処理を省略して、図24のステップS461で選定した例えば図25の映像をそのまま利用するようにしてもよい。そうすると、図11のステップS262の現場状況略図を生成する前に、対象特定処理が行われることになる。
【0147】
このような変形例にかかる対象特定処理によれば、全方位映像に複数の乗り物や人物が写っている場合でも、ユーザ甲を巻き込む事故又は事件を引き起こした対象として自動的に特定することができる。また、事故又は事件の発生時(衝撃時又は緊急ボタン押下時)より少し前の全方位映像(映像データ)とそれよりもさらに前の全方位映像(映像データ)とを比較することで、対象候補である人物や乗り物の位置と動きを検出できる。これにより、その対象候補の位置と動きに基づいて対象を特定することができるので、単に映像に写っている対象の大きさの違いなどから対象を特定する場合に比較してより正確に対象を特定できる。
【0148】
(5)上記第1実施形態及び第2実施形態並びに変形例において、上記状況略図生成処理や上記対象特定処理で選定される全方位映像は、ウエアラブル装置30からのカメラ映像から取得する場合を例示したが、必ずしもこれに限られず、監視カメラの映像から取得するようにしてもよい。例えば事故や事件の状況によってはウエアラブル装置30が破損する場合も考えられるので、そのような場合は、破損前後の映像を周囲の監視カメラの映像から補完するようにしてもよい。監視カメラの映像はユーザ甲の全方位映像になるように合成することで、上記実施形態や変形例の状況略図生成処理や対象特定処理をそのまま適用できる。
【0149】
(6)上記第1実施形態及び第2実施形態並びに変形例において、日本国の状況報告書を例に挙げて説明したが、これに限られるものではない。例えば外国の状況報告書のフォーム(ひな形)を取り込むことで外国の状況報告書にも適用可能である。その場合、日本語がベースの部分はその国の言語に自動翻訳してその国のフォームに合わせることもできる。また、状況略図における人物や乗り物の記号についてもその国の指定の記号があればそれを取り込むことで、容易に置き換え可能である。しかも、地図情報についても当然に世界の地図情報を取り込むことで、人物や乗り物の画像を所定の記号に置き換えて地図上の位置で示す各国のフォームに対応した現場状況略図を生成することができる。
【符号の説明】
【0150】
100…ウエアラブル情報処理システム、10…ウエアラブル情報処理装置、10L…バスライン、11…通信部、12…制御部、14…記憶部、15…プログラム記憶部、16…データ記憶部、17…事故判例データベース、18…事件判例データベース、20…携帯端末装置、20L…バスライン、21…通信部、22…制御部、23…記憶部、24…カメラ、25…マイク、26…センサ部、27…入力部、28…表示部、30…ウエアラブル装置、31…通信部、34…カメラ、34a…カメラ映像、40…映像処理装置、40L…バスライン、41…通信部、42…制御部、43…記憶部、50…地図処理装置、50L…バスライン、51…通信部、52…制御部、53…記憶部、121…映像データ取得部、122…状況データ取得部、122a…状況データ、123…地図データ取得部、125…状況略図生成部、125a…状況略図、126…状況報告生成部、126a…状況報告データ、126A…事故発生状況報告書、126B…事故発生状況報告書、127…過失割合報告生成部、127A…事故過失割合報告書、127B…事件過失割合報告書、127C…事件構成要件報告書、161…ユーザデータ、162…取得データ、163…生成データ、221…センサデータ取得部、222…衝撃検知部、223…衝撃データ収集部、223a…衝撃データ、224…状況データ収集部、224a…時刻データ、224b…地図データ、231…プログラム記憶部、232…データ記憶部、421…時刻データ取得部、422…映像データ選択部、422a…衝撃時の映像データ、422b…略図生成用映像、422c…現場状況略図、422d…対象候補図、422e…対象候補検証図、432…映像データ、521…GPSデータ取得部、522…地図データ選択部、522a…衝撃時の地図データ、522b…現場付近地図、532…地図データ、N…ネットワーク、P…プッシュ通知。
【要約】
ウエアラブル装置を装着する人が遭った事故や事件の状況報告を自動生成する。
ウエアラブル装置30からのカメラ映像を映像データとして記憶する映像処理装置40と、地図データを記憶する地図処理装置50と、事故又は事件の発生時の時刻データとGPSデータとを含む状況データを記憶する携帯端末装置20とにネットワークを介して接続され、状況データを取得する状況データ取得部122と、上記時刻データに基づいて映像データを取得する映像データ取得部121と、上記GPSデータに基づいて地図データを取得する地図データ取得部123と、少なくとも映像データと地図データに基づいて状況略図を生成する状況略図生成部125と、状況略図を含む状況報告を生成する状況報告生成部126とを備える。
【選択図】 図2
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28