IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トヨタ自動車株式会社の特許一覧

特許7508957情報管理システムおよびこれに用いられる携帯端末、画像管理サーバ
<>
  • 特許-情報管理システムおよびこれに用いられる携帯端末、画像管理サーバ 図1
  • 特許-情報管理システムおよびこれに用いられる携帯端末、画像管理サーバ 図2
  • 特許-情報管理システムおよびこれに用いられる携帯端末、画像管理サーバ 図3
  • 特許-情報管理システムおよびこれに用いられる携帯端末、画像管理サーバ 図4
  • 特許-情報管理システムおよびこれに用いられる携帯端末、画像管理サーバ 図5
  • 特許-情報管理システムおよびこれに用いられる携帯端末、画像管理サーバ 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-24
(45)【発行日】2024-07-02
(54)【発明の名称】情報管理システムおよびこれに用いられる携帯端末、画像管理サーバ
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20240625BHJP
   H04N 7/18 20060101ALI20240625BHJP
   G08G 1/00 20060101ALI20240625BHJP
   G08G 1/09 20060101ALI20240625BHJP
   G07C 5/00 20060101ALI20240625BHJP
【FI】
G06Q50/10
H04N7/18 J
H04N7/18 U
G08G1/00 D
G08G1/09 F
G07C5/00 Z
【請求項の数】 7
(21)【出願番号】P 2020151151
(22)【出願日】2020-09-09
(65)【公開番号】P2022045521
(43)【公開日】2022-03-22
【審査請求日】2022-08-24
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110000017
【氏名又は名称】弁理士法人アイテック国際特許事務所
(72)【発明者】
【氏名】岩崎 克彦
(72)【発明者】
【氏名】渡辺 優
【審査官】阿部 圭子
(56)【参考文献】
【文献】特開2020-047199(JP,A)
【文献】特開2020-021372(JP,A)
【文献】特開2019-029013(JP,A)
【文献】国際公開第2020/095545(WO,A1)
【文献】特開2019-054394(JP,A)
【文献】特開2019-197525(JP,A)
【文献】特開2020-004017(JP,A)
【文献】特開2019-169787(JP,A)
【文献】特表2020-524854(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 - 99/00
H04N 7/18
G08G 1/00
G08G 1/09
G07C 5/00
(57)【特許請求の範囲】
【請求項1】
車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な携帯端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムであって、
前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態とを前記携帯端末に転送するものであり、
前記携帯端末は、前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、前記端末側判定処理により希少画像であると判定した前記選択画像と前記選択車両状態とをユーザにより送信が許可されたときにのみ前記画像管理サーバに送信するものであり、
前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備え、
前記端末側判定処理は、前記画像蓄積装置に希少画像として判定されて蓄積された前記選択画像における事物または事象に対して解を与えて機械学習して得られる学習済モデルを用いて前記選択画像における事物または事象が認識できないときに前記選択画像は希少画像であると判定する処理であり、
前記学習済モデルは、前記画像管理サーバにより希少画像として判定された前記選択画像が前記画像蓄積装置に蓄積されたタイミングまたは一定期間毎のタイミングあるいは所望のタイミングで繰り返し行なった前記機械学習の結果を取得したものである、
ことを特徴とする情報管理システム。
【請求項2】
請求項1記載の情報管理システムであって、
前記端末側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理である、
情報管理システム。
【請求項3】
請求項1または2記載の情報管理システムであって、
前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定するサーバ側判定処理を実行し、前記サーバ側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像を前記画像蓄積装置に蓄積する、
情報管理システム。
【請求項4】
請求項3記載の情報管理システムであって、
前記サーバ側判定処理は、前記画像蓄積装置に希少画像として判定されて蓄積された前記選択画像における事物または事象に対して解を与えて機械学習して得られる学習済モデルを用いて前記選択画像における事物または事象が認識できないときに前記選択画像は希少画像であると判定する処理であり、
前記機械学習は、前記画像管理サーバにより希少画像として判定された前記選択画像が前記画像蓄積装置に蓄積されたタイミングまたは一定期間毎のタイミングあるいは所望のタイミングで繰り返し行なわれ、
前記端末側判定処理は、過去の特定のタイミングで前記機械学習を行なった結果を用いた処理である、
情報管理システム。
【請求項5】
請求項4記載の情報管理システムであって、
前記サーバ側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理である、
情報管理システム。
【請求項6】
車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な携帯端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムにおいて、
前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態とを前記携帯端末に転送するものであり、
前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備えるものである、
ことを特徴とする情報管理システムにおける前記携帯端末であって、
前記車載装置から転送された前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、前記端末側判定処理により希少画像であると判定した前記選択画像と前記選択車両状態とをユーザにより送信が許可されたときにのみ前記画像管理サーバに送信するものであり、
前記端末側判定処理は、前記画像蓄積装置に希少画像として判定されて蓄積された前記選択画像における事物または事象に対して解を与えて機械学習して得られる学習済モデルを用いて前記選択画像における事物または事象が認識できないときに前記選択画像は希少画像であると判定する処理であり、
前記学習済モデルは、前記画像管理サーバにより希少画像として判定された前記選択画像が前記画像蓄積装置に蓄積されたタイミングまたは一定期間毎のタイミングあるいは所望のタイミングで繰り返し行なった前記機械学習の結果を取得したものである、
ことを特徴とする携帯端末。
【請求項7】
請求項6記載の携帯端末であって、
前記端末側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理である、
携帯端末。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報管理システムおよびこれに用いられる携帯端末、画像管理サーバに関する。
【背景技術】
【0002】
従来、この種のシステムとしては、ドライブレコーダと共に車載されたエッジデバイスと、複数のエッジデバイスに通信網により接続されたドライブレコーダ情報サーバと、この通信網に接続された外部サーバと、を備えるものが提案されている(例えば、特許文献1参照)。このシステムでは、エッジデバイスは、ドライブレコーダにより撮影された画像の特徴情報を抽出し、特徴情報に基づいて交通事故などの所定の事象が発生したか否かを検知する。そして、エッジデバイスは、所定の事象が発生したことを検知すると、所定の事象が検知された際の画像の特徴情報を、その画像が撮影された位置及び時刻の情報と共にドライブレコーダ情報サーバに送信する。ドライブレコーダ情報サーバは、エッジデバイスから取得した情報に基づいて発生した交通事故の概要を示す事故概要情報を生成し、事故概要情報を外部サーバに提供する。外部サーバは、このサーバを利用する多数の運転者に交通事故に関する情報を提供する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2019-197525号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述のシステムでは、ドライブレコーダにより撮影された画像から特徴情報を抽出し、特徴情報が抽出できたときには自動的に画像と位置および時刻の情報をドライブレコーダ情報サーバに送信するため、必要の有無を問わずに大量の画像が送信される場合が生じる。この場合、通信量が過大となる。
【0005】
本発明の情報管理システムおよびこれに用いられる携帯端末、画像管理サーバは、ユーザと画像管理サーバとの間における希少画像が含まれる画像の通信量や通信頻度を抑制することを主目的とする。
【課題を解決するための手段】
【0006】
本発明の情報管理システムおよびこれに用いられる携帯端末、画像管理サーバは、上述の主目的を達成するために以下の手段を採った。
【0007】
本発明の情報管理システムは、
車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムであって、
前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態とを前記形態端末に転送するものであり、
前記携帯端末は、前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、前記端末側判定処理により希少画像であると判定した前記選択画像と前記選択車両状態とをユーザにより送信が許可されたときにのみ前記画像管理サーバに送信するものであり、
前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備える、
ことを特徴とする。
【0008】
この本発明の情報管理システムでは、車載装置は、カメラに撮影されて時刻と共に記憶された撮影画像のうちユーザにより選択された選択画像とこの選択画像を撮影したときに検出された車両状態(選択車両状態)とを携帯端末に転送する。ここで、車両状態としては、車速や加速度、ヨーレート、車輪速、勾配、車両位置、シフトポジション、アクセル開度、ブレーキペダルポジションなどの少なくとも一部が含まれる。携帯端末は、選択画像と選択車両状態とを用いて選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、端末側判定処理により希少画像であると判定した選択画像と選択車両状態とをユーザにより送信が許可されたときにのみ画像管理サーバに送信する。画像管理サーバは、携帯端末から受信した選択画像と選択車両状態とを画像蓄積装置に蓄積する。このように、本発明の情報管理システムでは、ユーザにより選択された選択画像と選択画像が撮影されたときの車両状態(選択車両状態)とが携帯端末に転送され、携帯端末で選択画像と選択車両状態とを用いて端末側判定処理により選択画像が希少画像であるか否かを判定する。そして、端末側判定処理により選択画像が希少画像であると判定されたときに、更にユーザにより送信が許可されたときにのみ選択画像と選択車両状態が携帯端末から画像管理サーバに送信される。このため、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。なお、「画像」には静止画や動画が含まれており、以下においても同様である。
【0009】
こうした本発明の情報管理システムにおいて、前記端末側判定処理は、前記画像蓄積装置に蓄積された過去の画像に基づいて前記選択画像を評価することによって希少画像であるか否かを判定する処理であるものとしてもよい。画像蓄積装置に蓄積された過去の画像を用いることができる。この場合、前記端末側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対して学習した結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理であるものとしてもよい。即ち、画像蓄積装置に蓄積された過去の画像における事物または事象を画像認識することにより構築した人工知能画像認識処理により選択画像における事物または事象が認識可能であるか否かに基づいて選択画像が希少画像であるか否かを判定するものとしてもよいのである。これらの場合、前記端末側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理であるものとしてもよい。こうすれば、車両が道路上で走行しているときに撮影された画像に限定することができる。
【0010】
本発明の情報管理システムにおいて、前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定するサーバ側判定処理を実行し、前記サーバ側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像を前記画像蓄積装置に蓄積するものとしてもよい。こうすれば、画像管理サーバは、ユーザにより選択および許可されて携帯端末から送信された選択画像に対してこの選択画像が希少画像であるか否かを判定するから、希少画像との判定に十分な工程を課すことができる。この結果、より適正に希少画像を判定して蓄積することができる。この場合、前記サーバ側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対する学習を行なった結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理であって、所定のタイミングで前記学習を行なう処理であり、前記端末側判定処理は、過去の特定のタイミングで前記学習を行なった結果を用いた処理であるものとしてもよい。こうすれば、端末側判定処理をサーバ側判定処理を用いたものとすることができ、携帯端末からより適正な選択画像と選択車両状態とを画像管理サーバに送信することができる。更にこの場合、前記サーバ側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理であるものとしてもよい。こうすれば、車両が道路上で走行しているときに撮影された画像に限定することができる。
【0011】
本発明の携帯端末は、上述の本発明の情報管理システムを構成する携帯端末である。即ち、本発明の携帯端末は、
車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムにおいて、
前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態とを前記形態端末に転送するものであり、
前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備えるものである、
ことを特徴とする情報管理システムにおける前記携帯端末であって、
前記車載装置から転送された前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、前記端末側判定処理により希少画像であると判定した前記選択画像と前記選択車両状態とをユーザにより送信が許可されたときにのみ前記画像管理サーバに送信する、
ことを特徴とする。
【0012】
本発明の携帯端末は、情報管理システムに用いられている。情報管理システムでは、車載装置は、カメラに撮影されて時刻と共に記憶された撮影画像のうちユーザにより選択された選択画像とこの選択画像を撮影したときに検出された車両状態(選択車両状態)とを携帯端末に転送する。携帯端末は、選択画像と選択車両状態とを用いて選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、端末側判定処理により希少画像であると判定した選択画像と選択車両状態とをユーザにより送信が許可されたときにのみ画像管理サーバに送信する。画像管理サーバは、携帯端末から受信した選択画像と選択車両状態とを画像蓄積装置に蓄積する。このように、本発明の携帯端末を備える情報管理システムでは、ユーザにより選択された選択画像と選択画像が撮影されたときの車両状態(選択車両状態)とが携帯端末に転送され、携帯端末で選択画像と選択車両状態とを用いて端末側判定処理により選択画像が希少画像であるか否かを判定する。そして、端末側判定処理により選択画像が希少画像であると判定されたときに、更にユーザにより送信が許可されたときにのみ選択画像と選択車両状態が携帯端末から画像管理サーバに送信される。このため、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。
【0013】
本発明の携帯端末において、前記端末側判定処理は、前記画像蓄積装置に蓄積された過去の画像に基づいて前記選択画像を評価することによって希少画像であるか否かを判定する処理であるものとしてもよい。こうすれば、画像蓄積装置に蓄積された過去の画像を用いることができる。この場合、前記端末側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対して学習した結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理であるものとしてもよい。即ち、画像蓄積装置に蓄積された過去の画像における事物または事象を画像認識することにより構築した人工知能画像認識処理により選択画像における事物または事象が認識可能であるか否かに基づいて選択画像が希少画像であるか否かを判定するものとしてもよいのである。これらの場合、前記端末側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理であるものとしてもよい。こうすれば、車両が道路上で走行しているときに撮影された画像に限定することができる。
【0014】
本発明の画像管理サーバは、上述の本発明の情報管理システムを構成する画像管理サーバである。即ち、本発明の画像管理サーバは、
車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムにおいて、
前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態とを前記形態端末に転送するものであり、
前記携帯端末は、前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、前記端末側判定処理により希少画像であると判定した前記選択画像と前記選択車両状態とをユーザにより送信が許可されたときにのみ前記画像管理サーバに送信するものであり、
前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備える、
ことを特徴とする情報管理システムにおける前記画像管理サーバであって、
前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定するサーバ側判定処理を実行し、前記サーバ側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像を前記画像蓄積装置に蓄積する、
ことを特徴とする。
【0015】
本発明の画像管理サーバは、情報管理システムに用いられる。情報管理システムでは、車載装置は、カメラに撮影されて時刻と共に記憶された撮影画像のうちユーザにより選択された選択画像とこの選択画像を撮影したときに検出された車両状態(選択車両状態)とを携帯端末に転送する。携帯端末は、選択画像と選択車両状態とを用いて選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、端末側判定処理により希少画像であると判定した選択画像と選択車両状態とをユーザにより送信が許可されたときにのみ画像管理サーバに送信する。画像管理サーバは、携帯端末から受信した選択画像と選択車両状態とを用いてサーバ側判定処理により選択画像が希少画像であるか否かを判定し、選択画像が希少画像であると判定したときには、その選択画像を蓄積する。このように、本発明の画像管理サーバを備える情報管理システムでは、ユーザにより選択された選択画像と選択画像が撮影されたときの車両状態(選択車両状態)とが携帯端末に転送され、携帯端末で選択画像と選択車両状態とを用いて端末側判定処理により選択画像が希少画像であるか否かを判定する。そして、端末側判定処理により選択画像が希少画像であると判定されたときに、更にユーザにより送信が許可されたときにのみ選択画像と選択車両状態が携帯端末から画像管理サーバに送信される。このため、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。画像管理サーバは、ユーザにより選択および許可されて携帯端末から送信された選択画像に対してサーバ側判定処理により選択画像が希少画像であるか否かを判定する。これにより、希少画像との判定に十分な工程を課すことができる。この結果、より適正に希少画像を判定して蓄積することができる。
【0016】
こうした本発明の画像管理サーバにおいて、前記サーバ側判定処理は、前記画像蓄積装置に蓄積された過去の動画に基づいて前記選択画像を評価することによって希少動画であるか否かを判定する所定判定処理を所定のタイミングで更新される処理であり、前記端末側判定処理は、過去の特定のタイミングで更新された前記サーバ側判定処理または前記サーバ側判定処理の少なくとも一部の判定精度を低下させた処理であるものとしてもよい。こうすれば、画像管理サーバは、ユーザにより選択および許可されて携帯端末から送信された選択画像に対してこの選択画像が希少画像であるか否かを判定するから、希少画像との判定に十分な工程を課すことができる。この結果、より適正に希少画像を判定して蓄積することができる。
【0017】
本発明の画像管理サーバにおいて、前記サーバ側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対する学習を行なった結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理であって、所定のタイミングで前記学習を行なう処理であり、前記端末側判定処理は、過去の特定のタイミングで前記学習を行なった結果を用いた処理であるものとしてもよい。こうすれば、端末側判定処理をサーバ側判定処理を用いたものとすることができ、携帯端末からより適正な選択画像と選択車両状態とを画像管理サーバに送信することができる。更にこの場合、前記サーバ側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理であるものとしてもよい。こうすれば、車両が道路上で走行しているときに撮影された画像に限定することができる。
【図面の簡単な説明】
【0018】
図1】本発明の一実施例としての情報管理システム10の構成の概略を示す構成図である。
図2】実施例の情報管理システム10が備える車載装置20の構成の概略を示す構成図である。
図3】ユーザが画像を選択する際に車載装置20の電子制御ユニット30により実行される画像選択処理の一例を示すフローチャートである。
図4】携帯端末120により実行される画像判定送信処理の一例を示すフローチャートである。
図5】情報管理センター220の画像管理サーバ230により実行される画像蓄積処理の一例を示すフローチャートである。
図6】変形例の画像蓄積処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0019】
次に、本発明を実施するための形態を実施例を用いて説明する。
【実施例
【0020】
図1は、本発明の一実施例としての情報管理システム10の構成の概略を示す構成図であり、図2は、実施例の情報管理システム10が備える車載装置20の構成の概略を示す構成図である。図示するように、実施例の情報管理システム10は、車載された車載装置20と、携帯端末120と、画像管理センター220と、を備える。
【0021】
車載装置20は、図2に示すように、駆動源22から駆動軸24に出力された駆動力をデファレンシャルギヤ26を介して駆動輪28a,28bに伝達して走行する自動車に搭載されている。駆動源22としては、ガソリンや軽油などの炭化水素系の燃料を用いて駆動するエンジンとオートマチックトランスミッションとを備えるエンジン変速機システムや、エンジンとモータと蓄電池とを備えるハイブリッドシステム、モータと蓄電池とを備える電気自動車システム、モータと蓄電池と燃料電池を備える燃料電池システムなどを挙げることができる。
【0022】
車載装置20は、カメラ60と、各種センサ40と、記憶装置64、表示装置70、操作装置72、通信装置74、電子制御ユニット30と、を備える。
【0023】
カメラ60は、車両前方に配置されており、例えば車速やGPS(Global Positioning System)データ、時刻などを撮影画像と共に記憶するドライブレコーダに組み込まれたものを用いることができる。なお、カメラ60は、車両前方だけでなく車両後方や車両横方向にも取り付けられているものとしてもよい。
【0024】
各種センサ40としては、車速センサ49や、車輪速センサ50、加速度センサ51、ヨーレートセンサ52、勾配センサ53、GPS(Global Positioning System)62など車両の状態を検出するセンサを挙げることができる。
【0025】
記憶装置64は、例えばハードディスクドライブやSSD(Solid State Drive)により構成されており、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。
【0026】
表示装置70は、例えば液晶ディスプレイとして構成されており、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。
【0027】
操作装置72は、記憶装置64に記憶された画像(動画を含む)を表示装置70に表示させたり、表示装置70に表示されている画像(動画を含む)を編集する際に用いられるスイッチ類を備え、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。
【0028】
通信装置74は、有線あるいは無線により携帯端末120に画像(動画を含む)を転送する機能(例えばブルートゥース(登録商標)の機能)を有しており、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。
【0029】
電子制御ユニット30は、CPU31を中心として構成されたマイクロコンピュータであり、CPU31の他に、プログラムなどを記憶するROM32や、データを一時的に記憶するRAM32、データなど記憶するフラッシュメモリ34、タイマー機能などを有する時刻計35、図示しない入出力ポートを備える。電子制御ユニット30は、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。また、電子制御ユニット30は、車両の走行制御を行なうユニットとカメラ60により撮影された画像の編集や記憶、転送などの制御を行なうユニットとが別体のものとしてもよい。
【0030】
電子制御ユニット30には、各種センサからの信号が入力ポートを介して入力されている。入力ポートを介して電子制御ユニット30に入力される信号としては、イグニッションスイッチ42からのイグニッション信号、シフトレバー43のポジションを検出するシフトポジションセンサ44からのシフトポジション、アクセルペダル45の踏み込み量を検出するアクセルペダルポジションセンサ46からのアクセル開度、ブレーキペダル47の踏み込み量を検出するブレーキペダルポジションセンサ48からのブレーキポジションなどを挙げることができる。また、車速センサ49からの車速、車輪速センサ50からの車輪速、加速度センサ51からの加速度、ヨーレートセンサ52からのヨーレート、勾配センサ53からの路面勾配、GPS62からのGPSデータ(位置情報)なども挙げることができる。さらに、操作装置72のスイッチ類の操作信号、駆動源22からの駆動源22の状態を示す各種信号なども挙げることができる。
【0031】
電子制御ユニット30からは各種制御信号が出力ポートを介して出力されている。出力ポートを介して電子制御ユニット30から出力される制御信号としては、カメラ40により撮影された画像(動画を含む)を時刻と共に記憶装置64に記憶する制御信号、各種センサにより検出された車両の状態を示す信号を時刻と共に記憶装置64に記憶する制御信号、画像(動画を含む)を携帯端末120に転送する際に通信装置74に出力する転送制御信号などを挙げることができる。
【0032】
携帯端末120は、例えばマイクロコンピュータの機能と電話機能とを有するスマートフォンとして構成されている。携帯端末120には、車載装置20から有線または無線により転送される画像を取得したり、インターネットや電話回線などの通信網を解して情報管理センター220と通信したりするアプリケーションソフトがインストールされている。
【0033】
情報管理センター220は、画像管理サーバ230と、画像蓄積装置240と、通信装置250と、を備える。画像管理サーバ230は、汎用のマイクロコンピュータにより構成されており、携帯端末120と通信するプログラムや、携帯端末120との通信により取得した画像を評価するプログラムなどがインストールされている。画像蓄積装置240は、例えばハードディスクドライブやSSD(Solid State Drive)により構成されている。
【0034】
実施例の情報管理システム10における車載装置20では、イグニッションスイッチ42のオンオフにかかわらず、常にカメラ60により撮影された画像が撮影時刻と共に記憶装置64に記憶されている。また、車載装置20では、各種センサ40により検出された車両状態についても、イグニッションスイッチ42のオンオフにかかわらず検出時刻と共に記憶装置64に記憶されている。車両状態としては、例えば車速センサ49からの車速、車輪速センサ50からの車輪速、加速度センサ51からの加速度、ヨーレートセンサ52からのヨーレート、勾配センサ53からの路面勾配、GPS62からのGPSデータ(位置情報)などの少なくとも一部が含まれる。なお、カメラ60による撮影や各種センサ40による車両状態の検出はイグニッションスイッチ42がオンとされているときに限定するものとしてもよい。
【0035】
次に、こうして構成された実施例の情報管理システム10における動作について説明する。ユーザは、車載装置20の操作装置74のスイッチ類を操作して記憶装置64に記憶された画像(静止画および動画が含まれる。以下、同様である。)を表示装置72に表示して情報管理センター220に送信すべき画像の範囲を選択する。図3は、ユーザが情報管理センター220に送信すべき画像を選択する際に車載装置20の電子制御ユニット30により実行される画像選択処理の一例を示すフローチャートである。
【0036】
画像選択処理が実行されると、電子制御ユニット30は、記憶装置64に記憶した画像の表示装置72での表示を開始する(ステップS100)。次に、情報管理センター220に転送すべき画像のスタート位置(時刻)が入力されるのを待って(ステップS110)、入力された位置(時刻)をスタート位置(時刻)として設定する(ステップS120)。具体的には、ユーザにより操作装置74の早送りスイッチや戻しスイッチなどが操作されて情報管理センター220に転送すべき画像(動画)のスタート位置が入力されると、その位置をスタート位置(スタート時刻)として設定するのである。続いて、画像の終了位置(時刻)が入力されるのを待って(ステップS130)、入力された位置を終了位置(時刻)として設定する(ステップS140)。同様に、ユーザにより操作装置74の早送りスイッチや戻しスイッチなどが操作されて画像の終了位置が入力されると、その位置を終了位置(終了時刻)として設定するのである。以下、スタート位置(スタート時刻)から終了位置(終了時刻)までの画像を選択画像と称する。
【0037】
次に、ユーザにより、選択画像に対して「確認」が操作されるのを待つ(ステップS150)。ユーザにより「確認」が操作されると、電子制御ユニット30は、選択画像を表示装置72に表示し(ステップS160)、ユーザに選択画像を確認させる。こうしたステップS150、S160の選択画像の確認処理は選択的なものであり、確認処理なしに次の処理を行なうものとしてもよい。
【0038】
続いて、ユーザにより、携帯端末120と車載装置20とが有線または無線により接続され、携帯端末120の車載装置20から転送される画像を取得したり情報管理センター220と通信したりするアプリケーションソフトが起動されている状態とし、選択画像に対して「転送」が操作されるのを待つ(ステップS170)。ユーザにより「転送」が操作されると、電子制御ユニット30は、選択画像の画像データと選択画像を撮影したときに各種センサ40により検出された車両状態のデータ(時刻付きの車両状態データ。以下、単に「車両状態データ」と称する。)を携帯端末120に転送し(ステップS180)、画像選択処理を終了する。なお、このステップS170、S180の転送処理も選択的なものであり、ユーザが「転送」を操作せずに画像選択処理を終了する場合もある。この場合、選択画像の転送を行なわずに処理を終了する。
【0039】
次に、選択画像の転送を受けた携帯端末120の動作について説明する。図4は、携帯端末120により実行される画像判定送信処理の一例を示すフローチャートである。この処理は、携帯端末120と車載装置20とが有線または無線により接続されており、且つ、携帯端末120の車載装置20から転送される画像を取得したり情報管理センター220と通信したりするアプリケーションソフトが起動されているときに実行される。
【0040】
画像判定送信処理が実行されると、携帯端末120は、まず、車載装置20から転送される選択画像の画像データと車両状態データとを取得する(ステップS200)。即ち、このステップS200が実行されているときに図3の画像選択処理のステップS170、S180が実行されることにより、選択画像の画像データと車両状態データとが車載装置20から転送され、携帯端末120により取得されるのである。なお、これ以降の処理では、携帯端末120と車載装置20との有線または無線による接続の有無は問わない。
【0041】
続いて、選択画像の画像データあるいは車両状態データに含まれるGPSデータ(位置情報)に基づいて選択画像の撮影位置が道路上であるか否かを判定する(ステップS210、S220)。例えば、GPSデータを地図に照らして道路上であるか否かを判定することができる。選択画像の撮影位置が道路上ではないと判定したときには、希少画像に該当せず、不要画像と判断して選択画像の画像データと車両状態データとを削除し(ステップS290)、画像判定送信処理を終了する。
【0042】
ステップS220で選択画像の撮影位置は道路上であると判定したときには、車両状態データに基づいて選択画像の撮影は走行中に行なわれたか否かを判定する(ステップS230、S240)。例えば、車速が閾値(3km/hや5km/hなど)以上であるか否かにより走行中であるか否かを判定することができる。選択画像の撮影が走行中に行なわれていないと判定したときには、希少画像に該当せず、不要画像と判断して選択画像の画像データと車両状態データとを削除し(ステップS290)、画像判定送信処理を終了する。
【0043】
ステップS240で選択画像の撮影が走行中に行なわれていると判定したときには、選択画像に対して端末側AI画像認識処理を施して(ステップS250)、選択画像における事物や事象が認識できたか否かを判定する(ステップS260)。端末側AI画像認識処理は、実施例では画像管理サーバ230で所定のタイミングで更新されるサーバ側AI画像認識処理を用いて調整された端末側AI画像認識処理をダウンロードしたものである。サーバ側AI画像認識処理としては、実施例では、希少画像であると判断されて画像蓄積装置240に蓄積された多数の画像に対して各画像における事物や事象に対して解を与えて各画像における事物や事象を機械学習し、これにより得られた学習済みモデルを用いて選択画像における事物や事象を認識する処理を用いている。この機械学習は、画像蓄積装置240に希少画像としての選択画像が蓄積されたタイミングまたは一定期間毎のタイミングあるいは所望のタイミングで繰り返し行なわれ、サーバ側AI画像認識処理が更新される。端末側AI画像認識処理は、実施例では、こうしたサーバ側AI画像認識処理を用いて調整され、これが携帯端末120にダウンロードされ且つインストールされたものを用いている。したがって、ステップS250、S260の処理では、選択画像の事物や事象が端末側AI画像認識処理によって認識できたと判定したときには、選択画像は希少画像ではないと判定することができる。この場合、選択画像は不要画像と判断して選択画像の画像データと車両状態データとを削除し(ステップS290)、画像判定送信処理を終了する。
【0044】
ステップS250、S260で選択画像の事物や事象が端末側AI画像認識処理によって認識できないと判定したときには、選択画像は希少画像であると判断する。そして、ユーザにより、選択画像に対して「送信」が操作されるのを待つ(ステップS270)。ユーザにより「送信」が操作されると、選択画像の画像データと車両状態データとを情報管理センター20に送信して(ステップS280)、画像判定送信処理を終了する。
【0045】
図5は、情報管理センター220の画像管理サーバ230により実行される画像蓄積処理の一例を示すフローチャートである。携帯端末120から選択画像の画像データと車両状態データとが送信されると、情報管理センター220の画像管理サーバ230は、選択画像の画像データと車両状態データとを受信し(ステップS300)、選択画像を希少画像として画像蓄積装置240に蓄積し(ステップS310)、画像蓄積処理を終了する。選択画像は、携帯端末120の画像判定送信処理における端末側AI画像認識処理により希少画像であると判定されているから、画像管理サーバでは、選択画像に対して希少判定処理を行なうことなく、選択画像を希少画像であるとして画像蓄積装置240に蓄積する。
【0046】
以上説明した実施例の情報管理システム10では、車載装置20は、カメラ60に撮影されて時刻と共に記憶された画像のうちユーザにより選択された選択画像の画像データとこの選択画像を撮影したときの車両状態データとを携帯端末120に転送する。携帯端末120は、選択画像の画像データと車両状態データとを用いて選択画像が希少画像であるか否かを判定する端末側AI画像認識処理を実行し、端末側AI画像認識処理により希少画像であると判定した選択画像の画像データと車両状態データとをユーザにより送信が許可されたときにのみ画像管理サーバ230に送信する。画像管理サーバ230は、携帯端末120から送信された選択画像の画像データと車両状態データとを受信すると、選択画像を希少画像であるとして画像蓄積装置240に蓄積する。このように 実施例の情報管理システム10では、携帯端末120で選択画像の画像データと車両状態データとを用いて端末側AI画像認識処理により選択画像が希少画像であるか否かを判定し、選択画像が希少画像であると判定したときに、更にユーザにより送信が許可されたときにのみ選択画像の画像データと車両状態データとを画像管理サーバ230に送信する。このため、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバ230との間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。
【0047】
実施例の情報管理システム10の携帯端末120では、選択画像が道路上で走行中に撮影されたものではないときには、端末側AI画像認識処理による希少画像の判定を行なわないものとした。しかし、走行中でなくとも選択画像が道路上で撮影されたものであれば端末側AI画像認識処理による希少画像の判定するものとしたり、道路上でなくても選択画像が道路上で走行中に撮影されたものであれば端末側AI画像認識処理による希少画像の判定するものとしたり、道路上であるか否か走行中であるか否かにかかわらずに撮影された選択画像に対して端末側AI画像認識処理による希少画像の判定するものとしてもよい。
【0048】
実施例の情報管理システム10の携帯端末120では、選択画像が道路上で走行中に撮影されたものではないときには、端末側AI画像認識処理による希少画像の判定を行なわないものとした。しかし、選択画像が道路上で走行中であり、更に、所定の状態、例えば加速度が第1閾値以上または第2閾値未満の状態や、ヨーレートが第3閾値以上または第4閾値未満の状態、路面勾配が第5閾値以上または第6閾値未満の状態のいずれかのときに撮影されたものに対して端末側AI画像認識処理による希少画像の判定するものとしてもよい。
【0049】
実施例の情報管理システム10の携帯端末120では、端末側AI画像認識処理として、画像管理サーバ230で所定のタイミングで更新されるサーバ側AI画像認識処理を用いて調整された端末側AI画像認識処理をダウンロードしてインストールするものとした。しかし、画像認識装置240に蓄積された希少画像に基づいて所定のタイミングで機械学習した結果(学習済みモデル)を用いて調整したものであれば、サーバ側AI画像認識処理を用いないものとしても構わない。
【0050】
実施例の情報管理システム10では、画像管理サーバ230は、携帯端末120から送信された選択画像の画像データと車両状態データとを受信すると、選択画像を希少画像であるとして画像蓄積装置240に蓄積するものとした。しかし、画像管理サーバ230でも希少判定を行なうものとしてもよい。この場合、図5の画像蓄積処理に代えて図6の画像蓄積処理を行なえばよい。
【0051】
図6の画像蓄積処理では、画像管理サーバ230は、選択画像の画像データと車両状態データとを受信すると(ステップS400)、上述した図4の画像判定送信処理におけるステップS210~S240までと同様に、選択画像の画像データあるいは車両状態データに基づいて選択画像が道路上で走行中に撮影されたものであるか否かを判定する(ステップS410~S440)。選択画像の撮影位置が道路上ではないと判定したときや、選択画像の撮影が走行中に行なわれていないと判定したときには、希少画像に該当せず、不要画像と判断して選択画像の画像データと車両状態データとを削除し(ステップS480)、画像蓄積処理を終了する。ステップS410~S440で選択画像が道路上で走行中に撮影されたものであると判定したときには、選択画像に対してサーバ側AI画像認識処理を施して(ステップS450)、選択画像における事物や事象が認識できたか否かを判定する(ステップS460)。サーバ側AI画像認識処理については上述した。選択画像の事物や事象がサーバ側AI画像認識処理によっては認識できないと判定したときには、選択画像は希少画像であると判断し、選択画像を画像蓄積装置240に蓄積し(ステップS470)、画像蓄積処理を終了する。一方、選択画像の事物や事象がサーバ側AI画像認識処理によって認識できたと判定したときには、選択画像は希少画像ではなく不要画像であると判断し、選択画像の画像データと車両状態データとを削除し(ステップS480)、画像蓄積処理を終了する。
【0052】
こうした画像蓄積処理により、携帯端末120から送信された選択画像のうち、道路上で走行中に撮影された画像であって、画像の事物や事象がサーバ側AI画像認識処理によっては認識できないものだけを希少画像として画像蓄積装置240に蓄積することができる。画像蓄積装置240に蓄積された希少画像は、上述のサーバ側AI画像認識処理や端末側AI画像認識処理に用いられるだけでなく、自動運転における画像認識処理や、希少画像が事故画像である場合には事故の解析や事故情報などに用いられる。このように画像管理サーバ230により図6の画像蓄積処理を行なうものとすれば、より適正に希少画像を判定して蓄積することができる。
【0053】
変形例の画像管理サーバ230では、選択画像が道路上で走行中に撮影されたものではないときには、サーバ側AI画像認識処理による希少画像の判定を行なわないものとした。しかし、走行中でなくとも選択画像が道路上で撮影されたものであればサーバ側AI画像認識処理による希少画像の判定するものとしたり、道路上でなくても選択画像が道路上で走行中に撮影されたものであればサーバ側AI画像認識処理による希少画像の判定するものとしたり、道路上であるか否か走行中であるか否かにかかわらずに撮影された選択画像に対してサーバ側AI画像認識処理による希少画像の判定するものとしてもよい。
【0054】
変形例の画像管理サーバ230では、選択画像が道路上で走行中に撮影されたものではないときには、サーバ側AI画像認識処理による希少画像の判定を行なわないものとした。しかし、選択画像が道路上で走行中であり、更に、所定の状態、例えば加速度が第1閾値以上または第2閾値未満の状態や、ヨーレートが第3閾値以上または第4閾値未満の状態、路面勾配が第5閾値以上または第6閾値未満の状態のいずれかのときに撮影されたものに対してサーバ側AI画像認識処理による希少画像の判定するものとしてもよい。
【0055】
実施例では、本発明を情報管理システム10の形態として説明したが、情報管理システム10が備える車載装置20の形態としてもよいし、情報管理システム10が備える携帯端末120の形態としてもよいし、情報管理システム10が備える画像管理サーバ230の形態としてもよい。
【0056】
実施例の主要な要素と課題を解決するための手段の欄に記載した発明の主要な要素との対応関係について説明する。実施例では、カメラ60が「カメラ」に相当し、各種センサ40が「センサ」に相当し、記憶装置64が「記憶装置」に相当し、通信装置74が「転送装置」に相当し、電子制御ユニット30「制御装置」に相当し、車載装置20が「車載装置」に相当する。また、携帯端末120が「形態端末」に相当し、画像管理サーバ230が「画像管理サーバ」に相当し、画像蓄積装置240が「画像蓄積装置」に相当する。
【0057】
なお、実施例の主要な要素と課題を解決するための手段の欄に記載した発明の主要な要素との対応関係は、実施例が課題を解決するための手段の欄に記載した発明を実施するための形態を具体的に説明するための一例であることから、課題を解決するための手段の欄に記載した発明の要素を限定するものではない。即ち、課題を解決するための手段の欄に記載した発明についての解釈はその欄の記載に基づいて行なわれるべきものであり、実施例は課題を解決するための手段の欄に記載した発明の具体的な一例に過ぎないものである。
【0058】
以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。
【産業上の利用可能性】
【0059】
本発明は、情報管理システムやこれに用いる携帯端末、画像管理サーバの製造産業などに利用可能である。
【符号の説明】
【0060】
10 情報管理システム、20 車載装置、22 駆動源、24 駆動軸、26 デファレンシャルギヤ、28a,28b 駆動輪、30 電子制御ユニット、31 CPU、32 ROM、33 RAM、34 フラッシュメモリ、35 時刻計、40 各種センサ、42 イグニッションスイッチ、43 シフトレバー、44 シフトポジションセンサ、45 アクセルペダル、46 アクセルペダルポジションセンサ、47 ブレーキペダル、48 ブレーキペダルポジションセンサ、49 車速センサ49、50 車輪速センサ、51 加速度センサ、52 ヨーレートセンサ、53 勾配センサ、60 カメラ、62 GPS、64 記憶装置、70 表示装置、72 操作装置、74 通信装置、120 携帯端末、220 情報管理センター、230 画像管理サーバ、240 画像蓄積装置、250 通信装置。
図1
図2
図3
図4
図5
図6