特許 7494666 情報管理システムおよびこれに用いられる車載装置、携帯端末、画像管理サーバ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-27

(45)【発行日】2024-06-04

(54)【発明の名称】情報管理システムおよびこれに用いられる車載装置、携帯端末、画像管理サーバ

(51)【国際特許分類】

   G08G 1/00 20060101AFI20240528BHJP

   G08G 1/13 20060101ALI20240528BHJP

   G07C 5/00 20060101ALI20240528BHJP

【ＦＩ】

G08G1/00 D

G08G1/13

G07C5/00 Z

【請求項の数】 6

(21)【出願番号】P 2020151149

(22)【出願日】2020-09-09

(65)【公開番号】P2022045519

(43)【公開日】2022-03-22

【審査請求日】2022-08-24

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110000017

【氏名又は名称】弁理士法人アイテック国際特許事務所

(72)【発明者】

【氏名】岩崎 克彦

(72)【発明者】

【氏名】渡辺 優

【審査官】宮本 礼子

(56)【参考文献】

【文献】特開２０１９－０２９０１３（ＪＰ，Ａ）

【文献】特開２０２０－１２３１７４（ＪＰ，Ａ）

【文献】特開２０１７－０５４４２４（ＪＰ，Ａ）

【文献】特開２０１８－１９５２３７（ＪＰ，Ａ）

【文献】特開２０２０－０２１３７２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｇ０７Ｃ ５／００

(57)【特許請求の範囲】

【請求項1】

車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な携帯端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムであって、
前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態とを前記携帯端末に転送するものであり、
前記携帯端末は、ユーザにより送信が許可されたときにのみ前記選択画像と前記選択車両状態とを前記画像管理サーバに送信するものであり、
前記画像管理サーバは、
前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する判定手段と、
前記判定手段により前記選択画像が希少画像であると判定したときに前記選択画像を蓄積する画像蓄積装置と、を備え、
前記判定手段は、前記画像蓄積装置に希少画像として判定されて蓄積された前記選択画像における事物または事象に対して解を与えて機械学習して得られる学習済モデルを用いて前記選択画像における事物または事象が認識できないときに前記選択画像は希少画像であると判定し、
前記機械学習は、希少画像として判定された前記選択画像が前記画像蓄積装置に蓄積されたタイミングまたは一定期間毎のタイミングあるいは所望のタイミングで繰り返し行なわれる、
ことを特徴とする情報管理システム。

【請求項2】

請求項１記載の情報管理システムであって、
前記画像管理サーバの前記判定手段は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像ではないときには前記選択画像は希少画像ではないと判定する、
情報管理システム。

【請求項3】

請求項１または２記載の情報管理システムであって、
前記画像管理サーバは、前記携帯端末から過去に受信した前記選択画像に対する希少画像の判定結果に基づいて前記携帯端末からの前記選択画像の受信を制限する制限手段を備える、
情報管理システム。

【請求項4】

車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な携帯端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムにおいて、
前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態
とを前記携帯端末に転送するものであり、
前記携帯端末は、ユーザにより送信が許可されたときにのみ前記選択画像と前記選択車両状態とを前記画像管理サーバに送信するものである、
ことを特徴とする情報管理システムにおける前記画像管理サーバであって、
更に、
前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する判定手段と、
前記判定手段により前記選択画像が希少画像であると判定したときに前記選択画像を蓄積する画像蓄積装置と、を備え、
前記判定手段は、前記画像蓄積装置に希少画像として判定されて蓄積された前記選択画像における事物または事象に対して解を与えて機械学習して得られる学習済モデルを用いて前記選択画像における事物または事象が認識できないときに前記選択画像は希少画像であると判定し、
前記機械学習は、希少画像として判定された前記選択画像が前記画像蓄積装置に蓄積されたタイミングまたは一定期間毎のタイミングあるいは所望のタイミングで繰り返し行なわれる、
ことを特徴とする画像管理サーバ。

【請求項5】

請求項４記載の画像管理サーバであって、
前記判定手段は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像ではないときには前記選択画像は希少画像ではないと判定する、
画像管理サーバ。

【請求項6】

請求項４または５記載の画像管理サーバであって、
前記携帯端末から過去に受信した前記選択画像に対する希少画像の判定結果に基づいて前記携帯端末からの前記選択画像の受信を制限する制限手段を備える、
画像管理サーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報管理システムおよびこれに用いられる車載装置、携帯端末、画像管理サーバに関する。

【背景技術】

【0002】

従来、この種のシステムとしては、ドライブレコーダと共に車載されたエッジデバイスと、複数のエッジデバイスに通信網により接続されたドライブレコーダ情報サーバと、この通信網に接続された外部サーバと、を備えるものが提案されている（例えば、特許文献１参照）。このシステムでは、エッジデバイスは、ドライブレコーダにより撮影された画像の特徴情報を抽出し、特徴情報に基づいて交通事故などの所定の事象が発生したか否かを検知する。そして、エッジデバイスは、所定の事象が発生したことを検知すると、所定の事象が検知された際の画像の特徴情報を、その画像が撮影された位置及び時刻の情報と共にドライブレコーダ情報サーバに送信する。ドライブレコーダ情報サーバは、エッジデバイスから取得した情報に基づいて発生した交通事故の概要を示す事故概要情報を生成し、事故概要情報を外部サーバに提供する。外部サーバは、このサーバを利用する多数の運転者に交通事故に関する情報を提供する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１９７５２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述のシステムでは、ドライブレコーダにより撮影された画像から特徴情報を抽出し、特徴情報が抽出できたときには自動的に画像と位置および時刻の情報をドライブレコーダ情報サーバに送信するため、必要の有無を問わずに大量の画像が送信される場合が生じる。この場合、通信量が過大となる。

【0005】

本発明の情報管理システムおよびこれに用いられる車載装置、携帯端末、画像管理サーバは、ユーザと画像管理サーバとの間における希少画像が含まれる画像の通信量や通信頻度を抑制することを主目的とする。

【課題を解決するための手段】

【0006】

本発明の情報管理システムおよびこれに用いられる車載装置、携帯端末、画像管理サーバは、上述の主目的を達成するために以下の手段を採った。

【0007】

本発明の情報管理システムは、
車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムであって、
前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態とを前記形態端末に転送するものであり、
前記携帯端末は、ユーザにより送信が許可されたときにのみ前記選択画像と前記選択車両状態とを前記画像管理サーバに送信するものであり、
前記画像管理サーバは、
前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する判定手段と、
前記判定手段により前記選択画像が希少画像であると判定したときに前記選択画像を蓄積する画像蓄積装置と、を備える、
ことを特徴とする。

【0008】

この本発明の情報管理システムでは、車載装置は、カメラに撮影されて時刻と共に記憶された撮影画像のうちユーザにより選択された選択画像とこの選択画像を撮影したときに検出された車両状態（選択車両状態）とを携帯端末に転送する。ここで、車両状態としては、車速や加速度、ヨーレート、車輪速、勾配、車両位置、シフトポジション、アクセル開度、ブレーキペダルポジションなどの少なくとも一部が含まれる。携帯端末に転送された選択画像と選択車両状態は、ユーザにより送信が許可されたときにのみ携帯端末から画像管理サーバに送信される。画像管理サーバは、携帯端末から受信した選択画像と選択車両状態とを用いて選択画像が希少画像であるか否かを判定し、選択画像が希少画像であると判定したときには、その選択画像を蓄積する。希少画像は、画像管理サーバの画像蓄積装置に蓄積されていない事物や事象が含まれる画像などが含まれる。このように、本発明の情報管理システムでは、ユーザにより選択された選択画像と選択画像が撮影されたときの車両状態（選択車両状態）とが携帯端末に転送され、ユーザにより送信が許可されたときにのみ選択画像と選択車両状態が携帯端末から画像管理サーバに送信される。このため、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。画像管理サーバは、ユーザにより選択および許可されて携帯端末から送信された選択画像に対してこの選択画像が希少画像であるか否かを判定するから、希少画像との判定に十分な工程を課すことができる。この結果、より適正に希少画像を判定して蓄積することができる。なお、「画像」には静止画や動画が含まれており、以下においても同様である。

【0009】

こうした本発明の情報管理システムにおいて、前記画像管理サーバの前記判定手段は、前記画像蓄積装置に蓄積された過去の画像に基づいて前記選択画像を評価することによって希少画像であるか否かを判定するものとしてもよい。こうすれば、画像蓄積装置に蓄積された過去の画像を用いることができる。この場合、前記画像管理サーバの前記判定手段は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対して学習した結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定するものとしてもよい。即ち、画像蓄積装置に蓄積された過去の画像における事物または事象を画像認識することにより構築した人工知能画像認識処理により選択画像における事物または事象が認識可能であるか否かに基づいて選択画像が希少画像であるか否かを判定するものとしてもよいのである。これらの場合、前記画像管理サーバの前記判定手段は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定するものとしてもよい。こうすれば、車両が道路上で走行しているときに撮影された画像に限定することができる。

【0010】

本発明の情報管理システムにおいて、前記画像管理サーバは、前記携帯端末から過去に受信した前記選択画像に対する希少画像の判定結果に基づいて前記携帯端末からの前記選択画像の受信を制限する制限手段を備えるものとしてもよい。こうすれば、希少画像となる頻度が高いユーザからの選択画像の受信を多くし、希少画像となる頻度が低いユーザからの選択画像の受信を少なくすることができ、ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。また、画像管理サーバにおける不要な処理も少なくすることができる。

【0011】

本発明の車載装置は、上述の本発明の情報管理システムを構成する車載装置である。即ち、本発明の車載装置は、
車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムにおいて、
前記携帯端末は、ユーザにより送信が許可されたときにのみ前記選択画像と前記選択車両状態とを前記画像管理サーバに送信するものであり、
前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する判定手段と、前記判定手段により前記選択画像が希少画像であると判定したときに前記選択画像を蓄積する画像蓄積装置と、を備えるものである、
ことを特徴とする情報管理システムにおける車載装置であって、
更に、前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態とを前記形態端末に転送する、
ことを特徴とする。

【0012】

本発明の車載装置は、情報管理システムに用いられる。情報管理システムでは、車載装置は、カメラに撮影されて時刻と共に記憶された撮影画像のうちユーザにより選択された選択画像とこの選択画像を撮影したときに検出された車両状態（選択車両状態）とを携帯端末に転送する。携帯端末に転送された選択画像と選択車両状態は、ユーザにより送信が許可されたときにのみ携帯端末から画像管理サーバに送信される。画像管理サーバは、携帯端末から受信した選択画像と選択車両状態とを用いて選択画像が希少画像であるか否かを判定し、選択画像が希少画像であると判定したときには、その選択画像を蓄積する。このように、本発明の車載装置を備える情報管理システムでは、ユーザにより選択された選択画像と選択画像が撮影されたときの車両状態（選択車両状態）とが携帯端末に転送され、ユーザにより送信が許可されたときにのみ選択画像と選択車両状態が携帯端末から画像管理サーバに送信されるから、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。

【0013】

本発明の携帯端末は、上述の本発明の情報管理システムを構成する携帯端末である。即ち、本発明の携帯端末は、
車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムにおいて、
前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態とを前記形態端末に転送するものであり、
前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する判定手段と、前記判定手段により前記選択画像が希少画像であると判定したときに前記選択画像を蓄積する画像蓄積装置と、を備えるものである、
ことを特徴とする情報管理システムにおける前記携帯端末であって、
更に、ユーザにより送信が許可されたときにのみ前記選択画像と前記選択車両状態とを前記画像管理サーバに送信する、
ことを特徴とする。

【0014】

本発明の携帯端末は、情報管理システムに用いられている。情報管理システムでは、車載装置は、カメラに撮影されて時刻と共に記憶された撮影画像のうちユーザにより選択された選択画像とこの選択画像を撮影したときに検出された車両状態（選択車両状態）とを携帯端末に転送する。携帯端末に転送された選択画像と選択車両状態は、ユーザにより送信が許可されたときにのみ携帯端末から画像管理サーバに送信される。画像管理サーバは、携帯端末から受信した選択画像と選択車両状態とを用いて選択画像が希少画像であるか否かを判定し、選択画像が希少画像であると判定したときには、その選択画像を蓄積する。このように、本発明の携帯端末を備える情報管理システムでは、ユーザにより選択された選択画像と選択画像が撮影されたときの車両状態（選択車両状態）とが携帯端末に転送され、ユーザにより送信が許可されたときにのみ選択画像と選択車両状態が携帯端末から画像管理サーバに送信される。このため、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。

【0015】

本発明の画像管理サーバは、上述の本発明の情報管理システムを構成する画像管理サーバである。即ち、本発明の画像管理サーバは、
車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムにおいて、
前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態とを前記形態端末に転送するものであり、
前記携帯端末は、ユーザにより送信が許可されたときにのみ前記選択画像と前記選択車両状態とを前記画像管理サーバに送信するものである、
ことを特徴とする情報管理システムにおける前記画像管理サーバであって、
更に、
前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する判定手段と、
前記判定手段により前記選択画像が希少画像であると判定したときに前記選択画像を蓄積する画像蓄積装置と、を備える、
ことを特徴とする。

【0016】

本発明の画像管理サーバは、情報管理システムに用いられる。情報管理システムでは、車載装置は、カメラに撮影されて時刻と共に記憶された撮影画像のうちユーザにより選択された選択画像とこの選択画像を撮影したときに検出された車両状態（選択車両状態）とを携帯端末に転送する。携帯端末に転送された選択画像と選択車両状態は、ユーザにより送信が許可されたときにのみ携帯端末から画像管理サーバに送信される。画像管理サーバは、携帯端末から受信した選択画像と選択車両状態とを用いて選択画像が希少画像であるか否かを判定し、選択画像が希少画像であると判定したときには、その選択画像を蓄積する。このように、本発明の情報管理システムでは、ユーザにより選択された選択画像と選択画像が撮影されたときの車両状態（選択車両状態）とが携帯端末に転送され、ユーザにより送信が許可されたときにのみ選択画像と選択車両状態が携帯端末から画像管理サーバに送信されるから、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。画像管理サーバは、ユーザにより選択および許可されて携帯端末から送信された選択画像に対してこの選択画像が希少画像であるか否かを判定するから、希少画像との判定に十分な工程を課すことができる。この結果、より適正に希少画像を判定して蓄積することができる。

【0017】

こうした本発明の画像管理サーバにおいて、前記判定手段は、前記画像蓄積装置に蓄積された過去の画像に基づいて前記選択画像を評価することによって希少画像であるか否かを判定するものとしてもよい。こうすれば、画像蓄積装置に蓄積された過去の画像を用いることができる。この場合、前記判定手段は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対して学習した結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定するものとしてもよい。即ち、画像蓄積装置に蓄積された過去の画像における事物または事象を画像認識することにより構築した人工知能画像認識処理により選択画像における事物または事象が認識可能であるか否かに基づいて選択画像が希少画像であるか否かを判定するものとしてもよいのである。これらの場合、前記判定手段は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定するものとしてもよい。こうすれば、車両が道路上で走行しているときに撮影された画像に限定することができる。

【0018】

本発明の画像管理サーバにおいて、前記携帯端末から過去に受信した前記選択画像に対する希少画像の判定結果に基づいて前記携帯端末からの前記選択画像の受信を制限する制限手段を備えるものとしてもよい。こうすれば、希少画像となる頻度が高いユーザからの選択画像の受信を多くし、希少画像となる頻度が低いユーザからの選択画像の受信を少なくすることができ、ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。また、画像管理サーバにおける不要な処理も少なくすることができる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施例としての情報管理システム１０の構成の概略を示す構成図である。

【図2】実施例の情報管理システム１０が備える車載装置２０の構成の概略を示す構成図である。

【図3】ユーザが画像を選択する際に車載装置２０の電子制御ユニット３０により実行される画像選択処理の一例を示すフローチャートである。

【図4】携帯端末１２０により実行される画像送信処理の一例を示すフローチャートである。

【図5】画像管理サーバ２３０により実行される送受信許否処理の一例を示すフローチャートである。

【図6】画像管理サーバ２３０により実行される希少画像判定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0020】

次に、本発明を実施するための形態を実施例を用いて説明する。

【実施例】

【0021】

図１は、本発明の一実施例としての情報管理システム１０の構成の概略を示す構成図であり、図２は、実施例の情報管理システム１０が備える車載装置２０の構成の概略を示す構成図である。図示するように、実施例の情報管理システム１０は、車載された車載装置２０と、携帯端末１２０と、画像管理センター２２０と、を備える。

【0022】

車載装置２０は、図２に示すように、駆動源２２から駆動軸２４に出力された駆動力をデファレンシャルギヤ２６を介して駆動輪２８ａ，２８ｂに伝達して走行する自動車に搭載されている。駆動源２２としては、ガソリンや軽油などの炭化水素系の燃料を用いて駆動するエンジンとオートマチックトランスミッションとを備えるエンジン変速機システムや、エンジンとモータと蓄電池とを備えるハイブリッドシステム、モータと蓄電池とを備える電気自動車システム、モータと蓄電池と燃料電池を備える燃料電池システムなどを挙げることができる。

【0023】

車載装置２０は、カメラ６０と、各種センサ４０と、記憶装置６４、表示装置７０、操作装置７２、通信装置７４、電子制御ユニット３０と、を備える。

【0024】

カメラ６０は、車両前方に配置されており、例えば車速やＧＰＳ（Global Positioning System）データ、時刻などを撮影画像と共に記憶するドライブレコーダに組み込まれたものを用いることができる。なお、カメラ６０は、車両前方だけでなく車両後方や車両横方向にも取り付けられているものとしてもよい。

【0025】

各種センサ４０としては、車速センサ４９や、車輪速センサ５０、加速度センサ５１、ヨーレートセンサ５２、勾配センサ５３、ＧＰＳ（Global Positioning System）６２など車両の状態を検出するセンサを挙げることができる。

【0026】

記憶装置６４は、例えばハードディスクドライブやＳＳＤ（Solid State Drive）により構成されており、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。

【0027】

表示装置７０は、例えば液晶ディスプレイとして構成されており、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。

【0028】

操作装置７２は、記憶装置６４に記憶された画像（動画を含む）を表示装置７０に表示させたり、表示装置７０に表示されている画像（動画を含む）を編集する際に用いられるスイッチ類を備え、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。

【0029】

通信装置７４は、有線あるいは無線により携帯端末１２０に画像（動画を含む）を転送する機能（例えばブルートゥース（登録商標）の機能）を有しており、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。

【0030】

電子制御ユニット３０は、ＣＰＵ３１を中心として構成されたマイクロコンピュータであり、ＣＰＵ３１の他に、プログラムなどを記憶するＲＯＭ３２や、データを一時的に記憶するＲＡＭ３２、データなど記憶するフラッシュメモリ３４、タイマー機能などを有する時刻計３５、図示しない入出力ポートを備える。電子制御ユニット３０は、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。また、電子制御ユニット３０は、車両の走行制御を行なうユニットとカメラ６０により撮影された画像の編集や記憶、転送などの制御を行なうユニットとが別体のものとしてもよい。

【0031】

電子制御ユニット３０には、各種センサからの信号が入力ポートを介して入力されている。入力ポートを介して電子制御ユニット３０に入力される信号としては、イグニッションスイッチ４２からのイグニッション信号、シフトレバー４３のポジションを検出するシフトポジションセンサ４４からのシフトポジション、アクセルペダル４５の踏み込み量を検出するアクセルペダルポジションセンサ４６からのアクセル開度、ブレーキペダル４７の踏み込み量を検出するブレーキペダルポジションセンサ４８からのブレーキポジションなどを挙げることができる。また、車速センサ４９からの車速、車輪速センサ５０からの車輪速、加速度センサ５１からの加速度、ヨーレートセンサ５２からのヨーレート、勾配センサ５３からの路面勾配、ＧＰＳ６２からのＧＰＳデータ（位置情報）なども挙げることができる。さらに、操作装置７２のスイッチ類の操作信号、駆動源２２からの駆動源２２の状態を示す各種信号なども挙げることができる。

【0032】

電子制御ユニット３０からは各種制御信号が出力ポートを介して出力されている。出力ポートを介して電子制御ユニット３０から出力される制御信号としては、カメラ４０により撮影された画像（動画を含む）を時刻と共に記憶装置６４に記憶する制御信号、各種センサにより検出された車両の状態を示す信号を時刻と共に記憶装置６４に記憶する制御信号、画像（動画を含む）を携帯端末１２０に転送する際に通信装置７４に出力する転送制御信号などを挙げることができる。

【0033】

携帯端末１２０は、例えばマイクロコンピュータの機能と電話機能とを有するスマートフォンとして構成されている。携帯端末１２０には、車載装置２０から有線または無線により転送される画像を取得したり、インターネットや電話回線などの通信網を解して情報管理センター２２０と通信したりするアプリケーションソフトがインストールされている。

【0034】

情報管理センター２２０は、画像管理サーバ２３０と、画像蓄積装置２４０と、通信装置２５０と、を備える。画像管理サーバ２３０は、汎用のマイクロコンピュータにより構成されており、携帯端末１２０と通信するプログラムや、携帯端末１２０との通信により取得した画像を評価するプログラムなどがインストールされている。画像蓄積装置２４０は、例えばハードディスクドライブやＳＳＤ（Solid State Drive）により構成されている。

【0035】

実施例の情報管理システム１０における車載装置２０では、イグニッションスイッチ４２のオンオフにかかわらず、常にカメラ６０により撮影された画像が撮影時刻と共に記憶装置６４に記憶されている。また、車載装置２０では、各種センサ４０により検出された車両状態についても、イグニッションスイッチ４２のオンオフにかかわらず検出時刻と共に記憶装置６４に記憶されている。車両状態としては、例えば車速センサ４９からの車速、車輪速センサ５０からの車輪速、加速度センサ５１からの加速度、ヨーレートセンサ５２からのヨーレート、勾配センサ５３からの路面勾配、ＧＰＳ６２からのＧＰＳデータ（位置情報）などの少なくとも一部が含まれる。なお、カメラ６０による撮影や各種センサ４０による車両状態の検出はイグニッションスイッチ４２がオンとされているときに限定するものとしてもよい。

【0036】

次に、こうして構成された実施例の情報管理システム１０における動作について説明する。ユーザは、車載装置２０の操作装置７４のスイッチ類を操作して記憶装置６４に記憶された画像（静止画および動画が含まれる。以下、同様である。）を表示装置７２に表示して情報管理センター２２０に送信すべき画像の範囲を選択する。図３は、ユーザが情報管理センター２２０に送信すべき画像を選択する際に車載装置２０の電子制御ユニット３０により実行される画像選択処理の一例を示すフローチャートである。

【0037】

画像選択処理が実行されると、電子制御ユニット３０は、記憶装置６４に記憶した画像の表示装置７２での表示を開始する（ステップＳ１００）。次に、情報管理センター２２０に送信すべき画像のスタート位置（時刻）が入力されるのを待って（ステップＳ１１０）、入力された位置（時刻）をスタート位置（時刻）として設定する（ステップＳ１２０）。具体的には、ユーザにより操作装置７４の早送りスイッチや戻しスイッチなどが操作されて情報管理センター２２０に送信すべき画像（動画）のスタート位置が入力されると、その位置をスタート位置（スタート時刻）として設定するのである。続いて、画像の終了位置（時刻）が入力されるのを待って（ステップＳ１３０）、入力された位置を終了位置（時刻）として設定する（ステップＳ１４０）。同様に、ユーザにより操作装置７４の早送りスイッチや戻しスイッチなどが操作されて情報管理センター２２０に送信すべき画像の終了位置が入力されると、その位置を終了位置（終了時刻）として設定するのである。以下、スタート位置（スタート時刻）から終了位置（終了時刻）までの画像を選択画像（時刻付き画像）と称する。

【0038】

次に、ユーザにより、選択画像に対して「確認」が操作されるのを待つ（ステップＳ１５０）。ユーザにより「確認」が操作されると、電子制御ユニット３０は、選択画像を表示装置７２に表示し（ステップＳ１６０）、ユーザに選択画像を確認させる。こうしたステップＳ１５０、Ｓ１６０の選択画像の確認処理は選択的なものであり、確認処理なしに次の処理を行なうものとしてもよい。

【0039】

続いて、ユーザにより、携帯端末１２０と車載装置２０とを有線または無線により接続すると共に、携帯端末１２０で車載装置２０から転送される画像を取得したり情報管理センター２２０と通信したりするアプリケーションソフトが起動されている状態とし、選択画像に対して「転送」が操作されるのを待つ（ステップＳ１７０）。ユーザにより「転送」が操作されると、電子制御ユニット３０は、選択画像の画像データと選択画像を撮影したときに各種センサ４０により検出された車両状態のデータ（時刻付きの車両状態データ。以下、単に「車両状態データ」と称する。）を携帯端末１２０に転送し（ステップＳ１８０）、画像選択処理を終了する。なお、このステップＳ１７０、Ｓ１８０の転送処理も選択的なものであり、ユーザが「転送」を操作せずに画像選択処理を終了する場合もある。この場合、選択画像の転送を行なわずに処理を終了する。

【0040】

次に、選択画像の転送を受けた携帯端末１２０の動作について説明する。図４は、携帯端末１２０により実行される画像送信処理の一例を示すフローチャートである。この処理は、携帯端末１２０と車載装置２０とが有線または無線により接続されており、且つ、携帯端末１２０の車載装置２０から転送される画像を取得したり情報管理センター２２０と通信したりするアプリケーションソフトが起動されているときに実行される。

【0041】

画像送信処理が実行されると、携帯端末１２０は、まず、車載装置２０から転送される選択画像の画像データと車両状態データとを取得する（ステップＳ２００）。即ち、このステップＳ２００が実行されているときに図３の画像選択処理のステップＳ１７０、Ｓ１８０が実行されることにより、選択画像の画像データと車両状態データが車載装置２０から転送され、携帯端末１２０により取得されるのである。なお、これ以降の処理では、携帯端末１２０と車載装置２０との有線または無線による接続の有無は問わない。

【0042】

次に、ユーザにより、取得した選択画像に対して「確認」が操作されるのを待つ（ステップＳ２１０）。ユーザにより「確認」が操作されると、携帯端末１２０は、選択画像を携帯端末１２０のディスプレイに表示し（ステップＳ２２０）、ユーザに選択画像を確認させる。このステップＳ２１０、Ｓ２２０の選択画像の確認処理は選択的なものであり、確認処理なしに次の処理を行なうものとしてもよい。

【0043】

続いて、ユーザにより、選択画像に対して「送信」が操作されるのを待つ（ステップＳ２３０）。ユーザにより「送信」が操作されると、携帯端末１２０は、情報管理センター２２０にアクセスして送信の可否を取得し（ステップＳ２４０）、送信が許可されているか否かを判定する（ステップＳ２５０）。送信の許否は、情報管理センター２２０の画像管理サーバ２３０により図５の送受信許否処理を実行することにより行なわれる。この処理については後述する。ステップＳ２５０で送信が許可されていると判定したときには、選択画像の画像データと車両状態データとを情報管理センター２０に送信して（ステップＳ２６０）、画像送信処理を終了する。一方、ステップＳ２５０で送信が許可されていないと判定したときには、選択画像を送信することなく、画像送信処理を終了する。なお、このステップＳ２３０～２６０の送信処理は選択的なものであり、ユーザが「送信」を操作せずに画像送信処理を終了する場合もある。この場合、選択画像の送信を行なわずに処理を終了する。

【0044】

次に、ステップＳ２４０の送信の許否の取得の際に情報管理センター２２０の画像管理サーバ２３０により実行される送受信許否処理（図５）について説明する。送受信許否処理が実行されると、画像管理サーバ２３０は、まず、携帯端末１２０からログインされているか否かを確認する（ステップＳ３００）。端末１２０からログインされていないと判定したときには、送受信可否処理を終了する。

【0045】

ステップＳ３００で携帯端末１２０からログインされていると判定したときには、画像管理サーバ２３０は、ユーザを照合する（ステップＳ３１０）。ユーザの照合は、携帯端末１２０から入力されるユーザＩＤとパスワードとに基づいて行なわれる。続いて、画像管理サーバ２３０は、ユーザの信頼度を確認する（ステップＳ３２０）。ユーザの信頼度は、ユーザから過去に送信された選択画像に対する希少画像の判定結果に基づいて設定される。例えば、ユーザの信頼度として、ユーザから過去に選択画像が送信された回数に対する選択画像が希少画像であると判定された回数の割合を用いることができる。そして、ユーザの信頼度に基づいて所定期間当たり（例えば１年当たりや１ヶ月当たり）の送信回数上限Ｎｌｉｍを設定する（ステップＳ３３０）。例えば、所定期間当たりの送信回数上限Ｎｌｉは、ユーザの信頼度としてユーザから過去に選択画像が送信された回数に対する選択画像が希少画像であると判定された回数の割合を用いている場合、信頼度が値０～０．２では１回、信頼度が０．２～０．４では２回、信頼度が０．４～０．６では３回、信頼度が０．６～０．８では４回、信頼度が０．８～１．０では５回などと定めることができる。なお、選択画像を情報管理センター２２０に一度も送信していないユーザに対しては信頼度の初期値を０．５などとして用いることができる。

【0046】

続いて、ユーザの現在から所定期間内の送信回数Ｎを確認し（ステップＳ３４０）、ユーザの送信回数Ｎが送信回数上限Ｎｌｉｍ未満であるか否かを判定する（ステップＳ３５０）。ユーザの送信回数Ｎが送信回数上限Ｎｌｉｍ未満であると判定したときには、選択画像の送信を許可して（ステップＳ３６０）、送受信可否処理を終了する。一方、ユーザの送信回数Ｎが送信回数上限Ｎｌｉｍ以上であると判定したときには、選択画像の送信を行なうことができない旨（例えば、「画像の送信回数を超えています。」などのメッセージ）を送信し（ステップＳ３６０）、送受信可否処理を終了する。

【0047】

こうした送受信許否処理（図５）により、ユーザから無制限に選択画像が送信されるのを抑止することができ、画像管理サーバ２３０の通信や処理が過大となるのを抑止することができる。

【0048】

情報管理センター２２０では、携帯端末１２０から送信された選択画像の画像データと車両状態データとを受信すると、データを一旦記憶し、選択画像が希少画像であるか否かの判定処理（希少画像判定処理）を実行する。図６は、画像管理サーバ２３０により実行される希少画像判定処理の一例を示すフローチャートである。

【0049】

希少画像判定処理が実行されると、画像管理サーバ２３０は、まず、希少画像の判定を行なう対象としての選択画像の画像データと車両状態データとを入力する（ステップＳ４００）。続いて、選択画像の画像データあるいは車両状態データに含まれるＧＰＳデータ（位置情報）に基づいて選択画像の撮影位置が道路上であるか否かを判定する（ステップＳ４１０、Ｓ４２０）。例えば、ＧＰＳデータを地図に照らして道路上であるか否かを判定することができる。選択画像の撮影位置が道路上ではないと判定したときには、選択画像は希少画像に該当せず、不要画像と判断して選択画像の画像データと車両状態データとを削除し（ステップＳ４８０）、希少画像判定処理を終了する。

【0050】

ステップＳ４２０で選択画像の撮影位置は道路上であると判定したときには、車両状態データに基づいて選択画像の撮影は走行中に行なわれたか否かを判定する（ステップＳ４３０、Ｓ４４０）。例えば、車速が閾値（３ｋｍ／ｈや５ｋｍ／ｈなど）以上であるか否かにより走行中であるか否かを判定することができる。選択画像の撮影が走行中に行なわれていないと判定したときには、選択画像は希少画像に該当せず、不要画像と判断して選択画像の画像データと車両状態データとを削除し（ステップＳ４８０）、希少画像判定処理を終了する。

【0051】

ステップＳ４４０で選択画像の撮影が走行中に行なわれていると判定したときには、選択画像に対してＡＩ画像認識処理を施して（ステップＳ４５０）、選択画像における事物や事象が認識できたか否かを判定する（ステップＳ４６０）。ＡＩ画像認識処理は、実施例では、希少画像であると判定されて画像蓄積装置２４０に蓄積された多数の画像に対して各画像における事物や事象に対して解を与えて各画像における事物や事象を機械学習し、これにより得られた学習済みモデルを用いて選択画像における事物や事象を認識する処理を用いている。この機械学習は、画像蓄積装置２４０に希少画像としての選択画像が蓄積されたタイミングまたは一定期間毎のタイミングあるいは所望のタイミングで繰り返し行なわれ、ＡＩ画像認識処理が更新される。したがって、選択画像の事物や事象がＡＩ画像認識処理によっては認識できないと判定したときには、選択画像は希少画像であると判定し、選択画像を画像蓄積装置２４０に蓄積し（ステップＳ４７０）、希少画像判定処理を終了する。一方、選択画像の事物や事象がＡＩ画像認識処理によって認識できたと判定したときには、選択画像は希少画像ではなく不要画像であると判断し、選択画像の画像データと車両状態データとを削除し（ステップＳ４８０）、希少画像判定処理を終了する。

【0052】

こうした希少画像判定処理により、携帯端末１２０から送信された選択画像のうち、道路上で走行中に撮影された画像であって、画像の事物や事象がＡＩ画像認識処理によっては認識できないものだけを希少画像として画像蓄積装置２４０に蓄積することができる。画像蓄積装置２４０に蓄積された希少画像は、上述のＡＩ画像認識処理に用いられるだけでなく、自動運転における画像認識処理や、希少画像が事故画像である場合には事故の解析や事故情報などに用いられる。

【0053】

以上説明した実施例の情報管理システム１０では、車載装置２０は、カメラ６０に撮影されて時刻と共に記憶された撮影画像のうちユーザにより選択された選択画像の画像データとこの選択画像を撮影したときの車両状態データとを携帯端末１２０に転送する。携帯端末１２０は、ユーザにより送信が許可されたときにのみ選択画像の画像データと車両状態データを情報管理センター２２０の画像管理サーバ２３０に送信する。画像管理サーバ２３０は、携帯端末１２０から受信した選択画像の画像データと車両状態データとを用いて選択画像が希少画像であるか否かを判定し、選択画像が希少画像であると判定したときには、その選択画像の画像データと車両状態データとを画像蓄積装置２４０に蓄積する。このように、実施例の情報管理システム１０では、ユーザにより選択された選択画像の画像データと車両状態データとを携帯端末１２０に転送し、ユーザにより送信が許可されたときにのみ選択画像の画像データと車両状態データとを画像管理サーバ２３０に送信する。このため、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバ２３０との間における希少画像が含まれる画像の通信量や通信頻度を抑制することができる。画像管理サーバ２３０は、ユーザにより選択および許可されて携帯端末１２０から送信された選択画像に対して選択画像が希少画像であるか否かを判定するから、希少画像の判定に十分な工程を課すことができる。この結果、より適正に希少画像を判定して蓄積することができる。

【0054】

実施例の情報管理システム１０の画像管理サーバ２３０では、選択画像が道路上で走行中に撮影されたものではないときには、ＡＩ画像認識処理による希少画像の判定を行なわないものとした。しかし、走行中でなくとも選択画像が道路上で撮影されたものであればＡＩ画像認識処理による希少画像の判定するものとしたり、道路上でなくても選択画像が道路上で走行中に撮影されたものであればＡＩ画像認識処理による希少画像の判定するものとしたり、道路上であるか否か走行中であるか否かにかかわらずに撮影された選択画像に対してＡＩ画像認識処理による希少画像の判定するものとしてもよい。

【0055】

実施例の情報管理システム１０の画像管理サーバ２３０では、選択画像が道路上で走行中に撮影されたものではないときには、ＡＩ画像認識処理による希少画像の判定を行なわないものとした。しかし、選択画像が道路上で走行中であり、更に、所定の状態、例えば加速度が第１閾値以上または第２閾値未満の状態や、ヨーレートが第３閾値以上または第４閾値未満の状態、路面勾配が第５閾値以上または第６閾値未満の状態のいずれかのときに撮影されたものに対してＡＩ画像認識処理による希少画像の判定するものとしてもよい。

【0056】

実施例の情報管理システム１０では、携帯端末１２０から画像管理サーバ２３０に選択画像の画像データと車両状態データとを送信する際に、ユーザの所定期間内の送信回数Ｎがユーザの信頼度に応じて定まる送信回数上限Ｎｌｉｍ未満であるときにのみ選択画像の画像データと車両状態データとの送信を許可するものとした。しかし、こうしたユーザの信頼度に基づく送信回数の制限を設けないものとしても差し支えない。

【0057】

実施例では、本発明を情報管理システム１０の形態として説明したが、情報管理システム１０が備える車載装置２０の形態としてもよいし、情報管理システム１０が備える携帯端末１２０の形態としてもよいし、情報管理システム１０が備える画像管理サーバ２３０の形態としてもよい。

【0058】

実施例の主要な要素と課題を解決するための手段の欄に記載した発明の主要な要素との対応関係について説明する。実施例では、カメラ６０が「カメラ」に相当し、各種センサ４０が「センサ」に相当し、記憶装置６４が「記憶装置」に相当し、通信装置７４が「転送装置」に相当し、電子制御ユニット３０「制御装置」に相当し、車載装置２０が「車載装置」に相当する。また、携帯端末１２０が「形態端末」に相当し、画像管理サーバ２３０が「画像管理サーバ」に相当し、画像蓄積装置２４０が「画像蓄積装置」に相当する。

【0059】

なお、実施例の主要な要素と課題を解決するための手段の欄に記載した発明の主要な要素との対応関係は、実施例が課題を解決するための手段の欄に記載した発明を実施するための形態を具体的に説明するための一例であることから、課題を解決するための手段の欄に記載した発明の要素を限定するものではない。即ち、課題を解決するための手段の欄に記載した発明についての解釈はその欄の記載に基づいて行なわれるべきものであり、実施例は課題を解決するための手段の欄に記載した発明の具体的な一例に過ぎないものである。

【0060】

以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。

【産業上の利用可能性】

【0061】

本発明は、情報管理システムやこれに用いる車載装置、携帯端末、画像管理サーバの製造産業などに利用可能である。

【符号の説明】

【0062】

１０ 情報管理システム、２０ 車載装置、２２ 駆動源、２４ 駆動軸、２６ デファレンシャルギヤ、２８ａ，２８ｂ 駆動輪、３０ 電子制御ユニット、３１ ＣＰＵ、３２ ＲＯＭ、３３ ＲＡＭ、３４ フラッシュメモリ、３５ 時刻計、４０ 各種センサ、４２ イグニッションスイッチ、４３ シフトレバー、４４ シフトポジションセンサ、４５ アクセルペダル、４６ アクセルペダルポジションセンサ、４７ ブレーキペダル、４８ ブレーキペダルポジションセンサ、４９ 車速センサ４９、５０ 車輪速センサ、５１ 加速度センサ、５２ ヨーレートセンサ、５３ 勾配センサ、６０ カメラ、６２ ＧＰＳ、６４ 記憶装置、７０ 表示装置、７２ 操作装置、７４ 通信装置、１２０ 携帯端末、２２０ 情報管理センター、２３０ 画像管理サーバ、２４０ 画像蓄積装置、２５０ 通信装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】