(58)【調査した分野】(Int.Cl.,DB名)
前記表示操作装置において前記アラートが表示され、当該表示操作装置において当該アラートを選択する操作がなされた場合に、前記要求が前記表示操作装置から前記制御装置に送信される
ことを特徴とする請求項1又は2に記載の制御装置。
前記映像配信手段は、前記表示操作装置からの指定に従って、前記時間幅における前記トリガの発生時刻の前の映像の時間長、及び前記時間幅における前記トリガの発生時刻の後の映像の時間長を決定する
請求項1ないし3のうちいずれか1項に記載の制御装置。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施の形態(本実施の形態)を説明する。なお、以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
【0011】
また、本明細書及び特許請求の範囲における「車両」は、自動車(所謂四輪自動車)、二輪車(オートバイ、自転車等)、鉄道車両等、船舶等、交通に使用される物全般を含む。ただし、以下で説明する実施の形態では、一例として、「車両」は自動車であることを想定している。また、以下では、車載装置100を備える特定の車両を解析対象としている。当該車両を他の車両と区別する場合、「解析対象車両」と呼ぶ。また、本明細書及び特許請求の範囲における「映像」は、音を含まない映像であってもよいし、音を含む映像であってもよい。
【0012】
(システム全体構成)
図1に本実施の形態におけるシステムの全体構成例を示す。
図1に示すように、本実施の形態に係るシステムは、車両に搭載される車載装置100、制御装置200、表示操作装置300、映像撮影カメラ400を有する。また、各種のオープンデータを提供するオープンデータソース700が示されている。これらの装置はネットワーク500(例:インターネット)に接続されており、通信を必要とする装置間での通信が可能になっている。なお、ネットワーク500は、単一のネットワークであってもよいし、複数のネットワークを組み合わせたネットワークであってもよい。当該複数のネットワークの組み合わせとしては、例えば、インターネット+VPN、インターネット+キャリア網、モバイル網+固定網等がある。
図1には、車載装置100、制御装置200、表示操作装置300、映像撮影カメラ400が1つずつ示されているが、これは図示の便宜上のためであり、それぞれ複数であってもよい。
【0013】
また、本実施の形態では、一例として、車載装置100、制御装置200、表示操作装置300が別々の装置である例を示しているが、制御装置200は車載装置100と一体化してもよい。この場合、以下で説明する制御装置200と車載装置100との間の処理は、当該一体化した装置内部の処理となる。また、制御装置200は表示操作装置300と一体化してもよい。この場合、以下で説明する制御装置200と表示操作装置300との間の処理は、当該一体化した装置内部の処理となる。
【0014】
本実施の形態における各装置の機能の概要は以下のとおりである。
【0015】
車載装置100は、音データ/映像データ/センサデータ等を制御装置200に送信するとともに、制御装置200から各種の情報を受信して出力する機能を含む。制御装置200は、音データ/映像データ/センサデータ等からアラートトリガを検知するとともに、アラート発生時点の映像データを提供する機能を含む。車載装置100は、例えば一般的なPC端末であってもよいし、タブレット、スマートフォン等の端末であってもよい。なお、本明細書において、「アラートトリガ」とは、基本的に、表示操作装置300や車載装置100等へのアラート送信のトリガである。ただし、これに限定されるわけではなく、「アラートトリガ」は、表示操作装置300や車載装置100等への送信を行わないアラートの出力のトリガであってもよい。
【0016】
表示操作装置300は、例えば管理センタ側に備えられる装置であり、制御装置200から提供される情報を表示するとともに、ユーザ(管理センタのオペレータ等)からの操作を受け付けて、操作に応じた処理を行う機能を含む。表示操作装置300は、例えば一般的なPC端末である。また、表示操作装置300は、タブレット、スマートフォン等の端末であってもよい。また、表示操作装置300は、シンクライアントシステム端末やオフィスコンピュータ等であってもよい。
【0017】
映像撮影カメラ400は、当該映像撮影カメラ400が存在する位置の周辺の映像を撮影し、得られた映像データを制御装置200に送信する機能を含む。映像撮影カメラ400は、固定的に設置される定点カメラであってもよいし、移動体(車、自転車、人、電車等)に取り付けられたカメラであってもよいし、飛行体(ヘリコプタ、飛行機、ドローン等)に取り付けられたカメラであってもよいし、これら以外のものであってもよい。また、映像撮影カメラ400は、映像のみでなく、周辺の音、湿度、その他の情報を収集して映像とともに制御装置200に通知してもよい。
【0018】
データソース700は、各種のデータのソースである。各種のデータの例として、インターネット上で取得できるオープンデータがある。オープンデータとしては、例えば、地図データ、災害系データ(地震速報、津波速報、土砂災害警報、洪水予報、竜巻注意報)、環境データ(天気、気温、風速、濃霧、日の出/日の入り)、他の車両のデータ(バス等の位置情報等)等がある。また、データソース700は、本実施の形態に係る事業者が管理するデータベース(DB)、市販(有料)のデータベースサービス等であってもよい。
【0019】
以下、車載装置100と制御装置200の構成をより詳細に説明する。
【0020】
(車載装置100)
図2に、本実施の形態における車載装置100の機能構成図を示す。
図2に示すように、車載装置100は、通信部101、表示操作部102、音データ取得部103、映像データ取得部104、処理制御部105、各種のセンサ106、データ格納部107を含む。
【0021】
通信部101は、無線通信機能を含み、ネットワーク500を介して他の装置と通信を行う機能部である。表示操作部102は、情報の出力を行うとともに、ユーザ(ドライバー)からの操作を受け付ける機能部である。情報の出力は、画面表示であってもよいし、音声出力であってもよい。その他、震動(例:携帯電話機のバイブレーション)やLED光の点滅等を利用して情報の出力を行ってもよい。また、操作は、タッチパネル上でのタッチ等であってもよいし、キー入力の操作であってもよいし、音声入力であってもよいし、その他の操作であってもよい。
【0022】
音データ取得部103は、音を取得し、音を音データに変換する機能部である。本実施の形態における音データは特定のコーデック/ファイルフォーマットに限定されず、どのようなものでもよい。また、音データ取得部103は、車両の内部(室内、エンジン、ブレーキ等)の音と、車両の外部の音とを区別して取得できる構成であってもよい。
【0023】
映像データ取得部10
4は、車両の周辺又は内部の映像を撮影し、当該映像を映像データに変換する機能部である。本実施の形態における映像データは特定のコーデック/ファイルフォーマットに限定されず、どのようなものでもよい。映像データ取得部10
4は、車載装置100の本体に内蔵されるカメラであってもよいし、車載装置100の本体の外部に備えられて、本体の接続されるカメラであってもよいし、その他の形態であってもよい。また、映像データ取得部10
4として、既存のドライブレコーダの映像取得機能を利用することも可能である。
【0024】
処理制御部105は、本実施の形態で説明する車載装置100の処理全般を実行する機能部である。データ格納部107は、音データ取得部103、映像データ取得部104、各種のセンサ106により取得したデータ等や、設定情報等を格納する。
【0025】
各種のセンサ106は、例えば、位置センサ(例:GPS装置、セルラ基地局や無線LAN基地局による測量(三角測量等)を用いて位置を算出する装置)、加速度センサ、速度センサ、空気圧センサ、においセンサ、呼気センサ、放射線センサ、生体情報センサ(血流センサ、血圧センサ、心拍センサ等)等である。
【0026】
車載装置100は、例えば、通信部101、表示操作部102、音データ取得部103、映像データ取得部104、処理制御部105、一部のセンサ106(例:GPS、加速度センサ)、データ格納部107を有するコンピュータ(例:タブレット)に、残りのセンサ106を接続した装置として実現することができる。また、車両において、センサ(例;速度センサ)が予め備えられている場合に、車載装置100は当該センサからセンサデータを受け取ることとしてもよい。
【0027】
本実施の形態における車載装置100は、例えば上記のコンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、車載装置100が有する機能は、当該コンピュータに内蔵されるCPUやメモリ、ハードディスクなどのハードウェア資源を用いて、車載装置100で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体(可搬メモリ等)に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。また、当該ネットワークは、V2V通信(車車間通信)等のネットワークであってもよい。
【0028】
(制御装置200)
図3に、本実施の形態における制御装置200の機能構成図を示す。
図3に示すように、制御装置200は、映像データ取得部201、音データ取得部202、センサデータ取得部203、処理制御部204、データ格納部205、通信部206を有する。
【0029】
映像データ取得部201は、車載装置100、映像撮影カメラ400等から送信された映像データを取得する。なお、映像撮影カメラ400が移動するものである場合には、映像撮影カメラ400の位置情報(例:映像撮影カメラ400が備えるGPS装置により取得された位置情報)も取得する。当該音データ取得部202は、車載装置100から送信された音データ(例:音声データ)を取得する。センサデータ取得部203は、車載装置100から送信されたセンサデータを取得する。
【0030】
処理制御部204は、本実施の形態で説明する制御装置200の処理全般を実行する機能部である。特に、
図3には、処理制御部204が有する機能部の例として、アラートトリガ検知のための解析部214と、映像提供のための映像配信部224が示されている。データ格納部205は、音データ、映像データ、センサデータ等や、設定情報等を格納する。通信部206は、ネットワーク500を介して他の装置と通信を行う機能部である。
【0031】
制御装置200は、1つのコンピュータからなる装置であってもよいし、複数のコンピュータからなる装置(システム)であってもよい。例えば、処理制御部204は、アラートトリガ検知のための解析サーバと、アラート発生時の映像提供のための映像配信サーバから構成されていてもよい。また、上記1つ又は複数のコンピュータは、クラウド上の仮想マシンであってもよい。また、制御装置200を構成する機能を、クラウド上のソフトウェア実行環境であるプラットフォーム上のソフトウェアとして実現してもよい。
【0032】
本実施の形態における制御装置200は、1つ又は複数のコンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、制御装置200が有する機能は、当該コンピュータに内蔵されるCPUやメモリ、ハードディスクなどのハードウェア資源を用いて、制御装置200で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体(可搬メモリ等)に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。また、当該ネットワークは、V2V通信(車車間通信)等のネットワークであってもよい。
【0033】
(画面表示例)
本実施の形態では、基本的に、車載装置100において収集されたデータ(映像データ、音データ、センサデータ等)が制御装置200に送信され、制御装置200が当該データを解析することにより、アラート送信のトリガを検知して、アラートを表示操作装置300や車載装置100に送信する。アラートを受信した表示操作装置300/車載装置100は、アラートの表示を行う。
【0034】
図4に、表示操作装置300に表示される画面の全体構成例を示す。
図4に示す例では、画面のAで示す領域(領域A)に地図、車両、アラート、天気等の情報が表示される。Bで示す領域(領域B)にはアラートの履歴が表示される。Cで示す領域(領域C)には、周辺情報として、例えば、映像撮影カメラの映像が表示される。なお、
図4に示すレイアウトは一例である。
【0035】
表示操作装置300に表示される画面に関し、当該画面表示のための全情報を制御装置200が取得・作成して表示操作装置300に提供することとしてもよいし、表示操作装置300が、データソース700から地図、天気等の情報を取得し、車両、アラート等を制御装置200から取得して、これらを合わせて表示することとしてもよい。
【0036】
上記のように、通常、領域Bには、アラートの履歴が表示される。アラートの履歴には、例えば、直近に発生したアラートから、所定時間過去までのアラートが表示される。各アラートには、例えば、車両ID、アラート発生位置(経度・緯度等)を示すテキスト表示が含まれる。
【0037】
本実施の形態では、表示操作装置300のユーザが、詳細を確認したいと考えるアラートを選択する操作(マウスクリック、タッチパネルのタッチ等)を行うと、
図5(a)に示すように、選択されたアラートに対応する映像が表示される。この映像は、例えば、該当車両における車載装置100により撮影された、アラート発生時刻の前後所定時間(例:前後30秒)の映像である。当該映像の表示のための処理については後述する。
【0038】
また、
図5(b)は、領域Aの一部の表示例を示している。
図5(b)の例では、選択された車両(
図5(b)の例では、IDがxxxxの車両)に関して、当該車両の現在位置、及び、当該車両について過去にアラートが発生した位置にアイコン(!)が表示されている。なお、アラートを示すアイコンに関し、アラートが発生した時点に、当該アラートが発生した場所に当該アイコンを表示することとしてもよい。また、ユーザがアラートのアイコンを選択すると、
図5(a)で示した映像と同様の映像を表示させることとしてもよい。
【0039】
図6は、表示操作装置300に、映像撮影カメラの映像を含む画面が表示される場合の画面例を示している。
図6は、表示操作装置300である電子計算機(例:タブレット、スマートフォン、カーナビ等の車両にビルトインされたデバイス)の正面図であり、最も外側の破線部は、電子計算機の外形を示す。また、
図13の(a)の破線部は当該電子計算機の平面図を示し、(b)の破線部は当該電子計算機の右側面図を示す。
【0040】
図6において、画面内に表示される道路等は破線で示している。また、画面の外枠(以下、表示部と呼ぶ)を一点鎖線で示している。
図7〜12でも同様である。
【0041】
図6に示すように、
図4の領域Cに映像撮影カメラ(この
図6〜
図10の例では、映像撮影カメラの一例として定点カメラを示している)の映像が表示される。各映像は、例えば、領域Aの地図上に存在する各定点カメラの映像であるが、それに限られるわけではない。各定点カメラの映像は、表示操作装置300が各定点カメラから取得してもよいし、制御装置200が各定点カメラの映像を取得して、表示操作装置300が制御装置200から各定点カメラの映像を取得してもよい。また、複数の定点カメラが存在する場合において、複数の映像を個別に制御装置200又は表示操作装置300に転送してもよいし、MCU(Multipoint Control Unit)やSFU(Selective Forwarding Unit)を用いて映像の集約・加工・選択等を行ってもよい。また、
図6に示すように、画面上に定点カメラの位置を示すカメラアイコンを表示してもよい。
図6の例では、ID:0001の映像撮影カメラのアイコンが示されている。このアイコン表示の有無は、画面右上のヘッダーアイコン(メニューアイコン、ツールバー等と称してもよい)から選択することが可能である。
【0042】
図7は、
図6に対して説明を付した図である。
図7に示すとおりに、走行輸送車(ここでは、車両の一例として輸送車を示している)、定点カメラ、ヘッダーアイコン、アラート発生の前後30秒の映像、アラート発生輸送車ID、アラート発生定点カメラID、アラート発生定点カメラの周辺天気、アラート発生定点カメラの映像、各定点カメラの映像が表示されている。
【0043】
すなわち、表示操作装置300は、輸送車のアラートを受信すると、表示部左上の輸送車状況ウィンドウに、当該輸送車IDが表示される。また、各所に設置されている定点カメラのアラートを受信すると、表示部左上のカメラ状況ウィンドウに、当該定点カメラIDが表示される。また、輸送車、カメラともに、アラートを受信した場合にアイコンの色を変える、又は点滅させる等の動作が行われる。そして、表示部左略中央部には、当該定点カメラの周囲の気温、風速等の気象情報を周囲の天気ウィンドウに表示することができ、また、その下方の定点カメラウィンドウには、周囲枠がやや太く強調された当該定点カメラの映像を表示することができる。更に、表示部右端のアラート履歴ウィンドウには、これまでに受信したアラート情報が表示されるとともに、当該ウィンドウの上方の横長矩形状部には、アラート情報を受信した定点カメラ(あるいは、車載装置100)のアラート前後30秒間の映像を表示することができる。表示部下方の4つの横長矩形状部には、各所に設置された定点カメラの映像を、アラート情報の受信に関わらず、リアルタイムで表示することができる。
【0044】
図6(
図7)の表示部左上に表示された輸送車IDを選択すると、変化後を示す正面図である
図8の画像が表示される。
図9は、
図8に対して説明を付した図である。
【0045】
図9に示したように、当該輸送車に搭載されている各種センサにおいて検知したデータを、センサ情報ウィンドウ内にグラフとして表示することができ、その下方には、当該輸送車に搭載されているドライブレコーダの映像を表示することができる。なお、この映像は、既存のドライブレコーダの映像であってもよいし、本実施の形態に係る車載装置100が撮影した映像であってもよい。また、当該輸送車においてアラート(危険運転等)を検知した場所が、略三角形状のアイコンとして地図上に表示される。
【0046】
図9の表示部右上部に表されたヘッダーアイコン内の左端アイコンを選択すると、
図10に示したように、各輸送車の状態が一覧表示される。なお、
図10に示す輸送車一覧の部分は、
図11に示す表示内容としてもよい。この例では、Aで示すオーダーボタン(order)の横に、Bで示すテキスト入力エリアが設けられている。テキスト入力エリアにテキストを入力し、オーダーボタンを押すことで、そのテキストを該当車両に送信することができる。
【0047】
図12は、ヘッダーアイコンの拡大図である。
図12に示すように、ヘッダーアイコン内の左から2番目のアイコンを選択すると、地図上の定点カメラのアイコン表示のON/OFFを行うことができる。また、ヘッダーアイコン内の右から2番目のアイコンを選択すると、地図上の周辺の天気ウィンドウの表示のON/OFFを行うことができる。また、ヘッダーアイコン内の右端のアイコンを選択すると、地図上の輸送車状況、カメラ状況ウィンドウの表示のON/OFFを行うことができる。
図13は、前述したように、電子計算機(表示操作装置300)の平面図(a)、右側面図(b)を示す。
【0048】
なお、「定点カメラ」は、映像撮影カメラの一例であり、上記の
図6〜
図12に関する説明、及び
図6〜
図12における「定点カメラ」はその他のカメラ(例:飛行体に取り付けられたカメラ)に置き換えてもよい。
【0049】
図14は、車載装置100の表示操作部102に表示される画面の全体構成例を示す図である。
図14に示す例では、A、B、C、Dで示す領域に通知情報が表示され、Eで示す領域に、地図、車両、アラート、天気等の情報が表示される。なお、
図14に示す画面は一例に過ぎない。
【0050】
通知情報は、例えば、管理センタ(表示操作装置300)からメッセージが届いたことを示す情報である。一例として、ユーザ(ドライバー)は、当該情報を確認すると、音声指示(例えば、予め登録したキーワード等による音声指示)、あるいはタッチ操作等により、当該メッセージを音声で出力させることができる。また、車載装置100が備えるカメラによるドライバーのウインクの検出、ドライバーが身に付けているウェアラブル端末により測定した心拍・心電の検出、脳波測定器による特定脳波の検出、等によって指示を行うこともできる。また、メッセージの内容(テキスト)をEの領域に表示させることもできる。
【0051】
また、A、B、C、Dのいずれかの領域に、管理センタに対して音声で依頼や問い合わせができる状態であることを示す情報を表示してもよい。この場合、ドライバーは、音声で依頼や問い合わせができる状態であることを認識し、依頼や問い合わせを行う。
【0052】
車載装置100に表示される画面に関し、当該画面表示のための全情報を制御装置200が取得・作成して車載装置100に提供することとしてもよいし、車載装置100が、データソース700から地図、天気等の情報を取得し、車両、アラート、通知情報等の情報を制御装置200から取得して、これらを合わせて表示することとしてもよい。
【0053】
図15は、車載装置100の表示操作部102に表示される画面の他の例を示す図である。
図15に示すように、右側に3つのアイコンが設けられる。右上のメールアイコンをユーザがタッチすることにより、又は、ユーザの特定の音声により、管理センタ等からのメッセージ(テキスト、画像、映像等)が表示されるとともに、当該メッセージが音声として再生される。右中央の吹き出しアイコンをユーザがタッチすることにより、又は、ユーザの特定の音声により、音声認識機能がONになり、ユーザの音声による質問(例:「天気教えて」)に対して、音声や画像、映像等により回答(例:「晴れ」)がなされる。右下のマイクアイコンをユーザがタッチすることにより、又は、ユーザの特定の音声により、ユーザは、音声によって、管理センタ等に各種の依頼や問い合わせ等を行うことができる。
【0054】
また、左下のメーターアイコンをユーザがタッチすることにより、又は、ユーザの特定の音声により、例えば、各種センサの測定結果を表示できる。また、左下の時計アイコンをユーザすることにより、又は、ユーザの特定の音声により、例えば、管理センタ等から受信したアラート情報の履歴が表示される。
【0055】
以下、本実施の形態における動作シーケンス例を説明する。動作シーケンスにおける装置動作の説明においては、適宜、
図2、
図3で説明した装置構成に基づく説明を行っている。なお、アラートを表示操作装置300に送信する場合において、一旦、別サーバ(例えば、車載装置100や表示操作装置300の動作に必要なGUIクライアントアプリケーションソフトウェアを配信するWebサーバ)等にアラートを送り、表示操作装置300が当該別サーバからアラートを取得して表示する場合も、"アラートを表示操作装置300に送信する"ことに含まれるものとする。
【0056】
(動作シーケンス例1)
トラック等の車両を運転中のドライバーは道路交通法により、携帯電話やカーナビ等の機器の画面を注視することが禁止されている。従って、例えば、緊急事態が発生して、それを特定の連絡先(例:警察)に連絡しようとしても、ドライバーはすぐに連絡をすることができない。
【0057】
そこで、本実施の形態では、緊急事態等が発生した場合に、ドライバーが車載装置100の画面を見ることなく、自動的に車載装置100を特定の連絡先に接続して、接続先と通話を行うことを可能としている。これにより、例えば、接続先の人(あるいは、接続先のコンピュータ、ロボット等)が、アラート送信のトリガとなった状況を適切に把握することが可能となる。
【0058】
上記のように自動的に特定の接続先に車載装置100を接続させる場合の動作のシーケンス例を
図16に示す。
図16に示す例では、特定の接続先の装置として接続先装置600が示されている。
【0059】
本例において、車載装置100の音データ取得部103は、ドライバーから音声が発せられる度にそれを取得し、音声データを処理制御部105に渡し、処理制御部105が当該音声データを通信部101を介して制御装置200に送信する。
【0060】
制御装置200において、音データ取得部202が音声データを取得し、処理制御部204に渡す。処理制御部204は、当該音声データに対して音声認識処理を行って、当該音声の特徴データを取得し(ステップS103)、通信部206から当該特徴データを認識結果として車載装置100に送信する(ステップS104)。
【0061】
ステップS103の音声認識処理で取得される特徴データには、例えば、音の高さ、高さの変化パターン、単語を話す速さ、音の大きさ、大きさの変化パターン、発声された単語の明瞭さ、発声された単語、声から判断されるドライバーの性別等がある。ステップS103において取得される特徴データは、これらのうちの1つでもよいし、これらのうちの複数でもよいし、これらの全部でもよいし、これら以外の特徴データでもよい。
【0062】
特徴データを受信した車載装置100において、処理制御部105は、特徴データに基づいて、接続先(ここでは接続先装置600)を決定し(ステップS105)、接続先装置200に接続する(ステップS106)。
【0063】
ステップS105における処理方法についてより詳細に説明する。本実施の形態では、接続先(問い合わせ先)毎の音声の特徴を予め学習により求め、当該特徴のデータ(ここではモデルと呼ぶ)を車載装置100のデータ格納部107に、接続先と対応付けて格納しておく。そして、処理制御部105は、認識結果である特徴データと各モデルとを比較して、特徴データに該当するモデルに対応する接続先をデータ格納部107から取得し、接続を行う。なお、特徴データに該当するモデルが存在しない場合には、特定の接続先への接続は行わない。また、上記のように、学習を行うことにより接続先(問い合わせ先)毎の音声の特徴を求めることは一例である。その他の方法として、例えば、外部サーバに用意されたライブラリデータを参照することにより、接続先(問い合わせ先)毎の音声の特徴を取得することとしてもよい。
【0064】
学習を行う場合の一例として、接続先を警察とするモデルを作成する場合を考える。この場合、例えば、「車両が物体等と衝突しそうになった場合に発せられる声」を検知した場合に、警察に接続すると定義する。そして、車両が物体等と衝突しそうになった場合に発せられる声(例:大きく甲高く慌てた声)の特徴データを男性と女性毎に様々な人について取得して、学習を行い、「接続先:警察」に対応するモデルを作成する。このモデルは、例えば、ある特徴についての関数(例:声の高さと大きさを入力して、"接続先:警察"に該当する場合に1を出力)であってもよいし、ある特徴の閾値(例:大きさと高さがそれぞれ閾値以上であれば"接続先:警察"と判定)であってもよいし、他の形式のものであってもよい。
【0065】
なお、
図16の例では、音声認識を制御装置200が行っているが、制御装置200を介することなく、音声認識処理も車載装置100が行うこととしてもよい。また、制御装置200が、音声認識処理と接続先決定処理を行って、決定した接続先を車載装置100に通知することとしてもよい。
【0066】
(動作シーケンス例2)
次に、
図17を参照して、動作シーケンス例2を説明する。前述したように、車両の運行を管理する管理センタ等において、ドライバーの危険運転等を検知した場合に、管理センタ等において、車両の周辺の映像を即座に確認できることが望ましいが、これを可能とする従来技術はなかった。動作シーケンス例2では、これを可能とするための動作例を説明する。
【0067】
図17の例において、車載装置100の映像データ取得部104は、常時、車両周辺の映像(例:通常のドライブレコーダと同様の前方の映像)を撮影して、当該映像の映像データを取得し、通信部101から当該映像データが制御装置200に送信される(ステップS201)。映像データ(ストリーム)を受信する制御装置200において、映像データ取得部201が映像データを取得して、当該映像データは処理制御部204に渡される。当該映像データはパケットのストリームとして受信されるものであり、処理制御部204は、パケット単位、あるいは所定の再生時間長(所定のバイト数、所定のファイルサイズ等でもよい)の単位で、映像データに現在時刻と車両IDを付してデータ格納部205に格納する。なお、車載装置100から送信される映像データに所定単位で時刻、車両IDが付されている場合、当該時刻、車両IDとともに映像データを格納すればよい。
【0068】
また、処理制御部204は、後述するアラートトリガが発生しない限り、当該車両の映像データについて、格納してから所定時間が経過した映像データをデータ格納部205から削除する。後述するアラートトリガが発生した場合には、例えば、発生時刻の前後所定時間分の映像データが削除されずに保存される。
【0069】
車載装置100の各種センサ106により、各種のセンサデータが順次取得されるとともに、音データ取得部103により、音のデータも順次取得される(ステップS203)。これらのデータは、処理制御部105・通信部101により、制御装置200に送信される(ステップS204)。各種センサ106によるセンサデータ取得及び送信については、定期的に行うこととしてもよいし、センサの種類に応じて、所定の契機(例:ある閾値以上になった場合)に行うこととしてもよい。また、音データ取得部103による音データ取得及び送信については、音データを取得できたら常に送信することとしてもよいし、所定閾値以上の強さの音のみについて送信を行うこととしてもよい。
【0070】
これらのデータを受信する制御装置200において、処理制御部204は、各データを車両ID、現在時刻とともにデータ格納部205に格納する。映像データの場合と同様、車載装置100から送信されるデータに車両ID、時刻が付されている場合、当該車両ID、時刻とともにデータを格納すればよい。
【0071】
制御装置200の処理制御部204は、車載装置100から受信し、データ格納部205に格納されている映像データ、音データ、センサデータのいずれか又は複数を用いて、表示操作装置300(管理センタ)にアラートを通知(送信)するトリガ(アラートトリガ)が発生しているか否かを判定する(ステップS205)。ステップS205における処理の詳細は後述する。ステップS205の処理は処理制御部204における解析部214により実行されるものである。
【0072】
処理制御部204は、アラートトリガの発生を検知すると、通信部206からアラートを表示操作装置300に送信する(ステップS206)。当該アラートには、例えば、トリガ検知の元となったデータの時刻であるアラート発生時刻と、車両IDと、車両の位置情報(センサの1つであるGPSにより取得されたデータ)が含まれる。また、アラートトリガの事象の概要(例:"危険運転発生")がアラートに含まれていてもよい。
【0073】
アラートを受信した表示操作装置300においては、当該アラートの情報が画面に表示される。一例として、
図4の領域Bに、アラートの情報(車両ID、時刻、位置等)が表示される(
図5(a))。また、一例として、
図4の領域Aの地図上のアラート発生場所において、アラートを示すアイコンが表示される(
図5(b))。
【0074】
そして、ユーザにより、表示操作装置300上で、当該アラートを選択する操作(例:音声による操作、タッチによる操作等)がなされる(ステップS207)と、表示操作装置300から、映像要求が制御装置200に送信される(ステップS208)。映像要求には、選択されたアラートに対応する車両IDとアラート発生時刻が含まれる。
【0075】
映像要求を受信した制御装置200において、処理制御部204は、映像要求に含まれる車両IDに基づいて、データ格納部205に格納される映像データの中から、当該車両IDに対応する映像データを特定し、当該映像データから、映像要求に含まれるアラート発生時刻を含む時間幅の映像データを取得する。アラート発生時刻を含む時間幅の映像データとは、例えば、アラート発生時刻の前後所定時間長の映像データである。すなわち、例えば、アラート発生時刻がTであるとし、所定時間長がLであるとすると、「T−LからT+Lまで」の時間の映像データを取得する。なお、TよりもLだけ将来の時刻の映像データが未だないときには、「T−Lから"最も新しい映像データを取得した時刻"まで」の時間幅の映像データを取得すればよい。また、TよりもLだけ過去の映像データがないときには、上記の「T−LからT+Lまで」が「"最も古い映像データを取得した時刻"からT+Lまで」になり、上記の「T−Lから"最も新しい映像データを取得した時刻"まで」が「"最も古い映像データを取得した時刻"から"最も新しい映像データを取得した時刻"まで」になる。
【0076】
映像要求に含まれるアラート発生時刻を含む時間幅の映像データは、上記のようにアラート発生時刻の前後所定時間長の映像データのみならず、アラート発生時刻の前の映像の時間長とアラート発生時刻の後の映像の時間長とが異なる映像データであってもよい(例:前15秒、後ろ30秒等)。
【0077】
また、アラート発生時刻の前の映像の時間長("前時間長"と呼ぶ)とアラート発生時刻の後の映像の時間長("後時間長"と呼ぶ)とを、任意に決定できるようにしてもよい。例えば、表示操作装置300から映像要求を制御装置200に送信する際に、前時間長と後時間長を指定し、制御装置200の処理制御部204は当該指定に従って、前時間長と後時間長を決定する。また、制御装置200の処理制御部204が、映像解析等を行って、例えば、変化の大きな映像が長時間含まれるように、前時間長と後時間長とを決定することとしてもよい。
【0078】
処理制御部204は、上記のようにして取得した映像データを通信部206から表示制御装置300に送信し(ステップS209)、表示制御装置300は当該映像データを再生して映像を表示する(ステップS210)。一例として、
図5(a)に示すようにして映像が表示される。上記のように、映像要求を受信して、映像データの送信を行う処理は、処理制御部204における映像配信部224により実行される。
【0079】
なお、上記の例では、車載装置100の映像データ取得部103で撮影された映像を表示しているが、これに代えてもしくはこれに加えて、アラート発生時刻の車両位置に近い(例:最も近い)映像撮影カメラの映像を表示することとしてもよい。これは以下のようにして実現できる。
【0080】
例えば、制御装置200は、各映像撮影カメラから映像データ(映像撮影カメラが移動するものである場合には、映像データと位置情報)を受信し、時刻とともにデータ格納部200に格納している。処理制御部204は、ステップS208で映像要求を受信すると、車両IDから車両に最も近い映像撮影カメラの映像データを特定し、アラート発生時刻の前後所定時間長の映像データを抽出して表示操作装置300に送信する。
【0081】
車両IDから車両に最も近い映像撮影カメラの映像データを特定する方法は特定の方法に限られないが、例えば、当該車両IDの車両のアラート発生時刻における位置(GPSデータ(座標))と、アラート発生時刻における各映像撮影カメラの位置(座標)とを比較して、当該車両の位置から最も近い位置にある映像撮影カメラを特定し、特定した映像撮影カメラのアラート発生時刻を含む所定時間幅の映像データを特定する。
【0082】
なお、映像撮影カメラの映像を表示する場合の動作の一例として、以下のような動作を行ってもよい。
【0083】
制御装置200は、映像撮影カメラ(例:定点カメラ)の映像データから、渋滞の発生をアラートトリガとして検知すると、当該映像撮影カメラのIDとアラート発生時刻とを含むアラートを表示操作装置300に送信する(
図17のステップS206に相当)。表示操作装置300には、例えば、
図4の領域Bにアラート("A地点で渋滞発生")が表示され、オペレータが、当該アラートを選択する(
図17のステップS207)ことで、映像撮影カメラのIDとアラート発生時刻とを含む映像要求が制御装置200に送信される(
図17のステップS208)。そして、制御装置200において、当該ID及び当該アラート発生時刻に該当する所定時間幅の映像データが特定され、当該映像データが表示操作装置300に送信され(
図17のステップS209)、表示操作装置300において、映像の表示がなされる(例:
図5(a))。
【0084】
また、
図17の例では、アラートトリガ検知処理を制御装置200が行っているが、アラートトリガ検知処理を車載装置100が行うこととしてもよい。また、
図17におけるアラートトリガ検知後に、制御装置200は、アラートを表示操作装置300に送ることに代えて、もしくはこれに加えて、アラートを車載装置100に送信することとしてもよい。この場合、車載装置100にアラートが表示される。また、車載装置100が複数ある場合、全ての車載装置100にアラートを送信してもよいし、一部の車載装置100にアラートを送信してもよい。
【0085】
(アラートトリガ検知の詳細)
次に、上記のステップS205で、制御装置200の処理制御部204(又は車載装置100の処理制御部105)で実行されるアラートトリガの検知処理の例を説明する。以下では、制御装置200の処理制御部204が処理を行うこととして説明するが、車載装置100の処理制御部105も同様の処理を行うことが可能である。
【0086】
例えば、処理制御部204は、加速度センサの値に基づき渋滞をアラートトリガとして検知する。例えば、加速度センサの値の単位時間変化量(例:単位時間当たりの最大と最小の差分)がA以上でそれがB秒継続すると渋滞発生と判定する。また、例えば、加速度センサの値の単位時間変化量A以上の回数がC秒以内にD回発生すると渋滞発生と判定することもできる。
【0087】
また、例えば、処理制御部204は、加速度センサの値に基づき危険運転をアラートトリガとして検知することもできる。例えば、加速度センサの値の単位時間変化量がK以上である場合に、急ブレーキ、急発進等の危険運転発生と判定する、また、ハンドルの変化量がH以上である場合に、急ハンドル発生と判定する。
【0088】
また、処理制御部204は、映像データ(車載装置100の映像データでもよいし、映像撮影カメラの映像データでもよい)から渋滞を検知することもできる。例えば、映像をフレーム毎に分割し、所定数のフレームにおいて、車(オブジェクト認識)密度の変化量(例:最大密度と最小密度の差分)がM以上になると渋滞発生と判定する。
【0089】
上記のように、1つの種類のデータ(センサ、映像)からアラートトリガを検知することができるが、以下の例に示すように、複数のデータを組み合わせて危険運転等のアラートトリガの検知を行うこともできる。すなわち、背景技術で説明したように、呼気センサ等の単一種類のセンサで危険運転等を検知する従来技術はあるが、単一種類のセンサでは検知できないものもあり、従来技術では、一部の限られた場面での危険運転しか検知できない。本実施の形態に係る技術では、音データをセンサデータ等と組み合わせることで、このような課題を解決し、様々な状況での危険運転等を検知することが可能になっている。
【0090】
<例1>
例えば、処理制御部204は、映像データを解析して、踏切の映像を検知した場合に、加速度センサ等のセンサデータにより、踏切の方向に車両の速度を緩めず(例:速度10km以上、加速度1m/s
2以下)に進行していることを検知した場合に危険運転を検知する。
【0091】
また、処理制御部204は、映像データを解析して、踏切の映像を検知しない場合において、音データに基づいて、踏切の音があるかどうかを判定し、踏切の音がある状態で、踏切の方向への速度あるいは加速度が所定値以上である場合に、危険運転を検知する。
【0092】
また、踏切の方向へ進行しているかどうかの判断に関して、処理制御部204は、車両の位置情報と地図情報に基づいて、判断することができる。また、車両の位置情報を用いること以外に、踏切音から判断することもできる。例えば、踏切音のドップラー効果により、時間の経過に応じて周波数が高く(音が高く)なる場合は、踏切に近づいていると判断することができる。また、時間の経過に応じて踏切音が大きくなる場合にも踏切に近づいていると判断することができる。また、これらを組み合わせてもよい。
【0093】
例えば、処理制御部204は、踏切音を検知している状態において、車両が、速度を緩めず(例:速度10km以上、加速度1m/s
2)に進行し、かつ、「踏切の音が時間の経過とともに大きくなる(例:60db以上になる)」及び/又は「踏切の音の周波数が時間の経過とともに高くなる(音が高くなる)」場合」は、踏切が閉まっていて近いのに車両が踏切に突っ込む可能性が高いことをアラートトリガとして検知する。
【0094】
<例2>
処理制御部204は、音データの解析に基づいて、(解析対象車両とは別の)他の車両のブレーキ音及び/又はクラクション音を検知した後(あるいは同時)に、加速度センサのデータ等に基づいて解析対象車両で急ブレーキを検知する、及び/又は、音データから激しい衝撃音を検知した場合に、"事故に巻き込まれたこと"をアラートトリガとして検知する。
【0095】
また、上記のブレーキ音、クラクション音の検知に代えて、あるいはこれに加えて、においセンサ等のデータに基づく煙/火の匂いの検知を用いてもよい。
【0096】
<例3>
処理制御部204は、他の車両のブレーキ音、クラクション音等を検知しない状態において、解析対象車両での急ブレーキ及び/又は激しい衝撃音を検知した場合には、"自分が事故を起こしたこと" をアラートトリガとして検知する。
【0097】
<例4>
処理制御部204は、速度センサ/加速度センサのデータに基づいて解析対象車両が停止している、あるいは、速度及び加速度が正常であると判定した場合において、音データに基づき、他の車両のブレーキ音及び/又はクラクション音を検知した場合に、解析対象車両の事故ではなく、近くの場所で事故が起こったと判断してその付近で渋滞発生の可能性有と予測し、それをアラートトリガとして検知する。
【0098】
また、上記のブレーキ音、クラクション音の検知に代えて、においセンサ等のデータに基づく煙/火の匂いの検知を用いてもよい。
【0099】
<例5>
処理制御部204は、加速度センサ/速度センサのデータと、生体情報センサ(例:心拍センサ)のデータに基づき、加速度/速度が所定の閾値よりも低く、かつ、ドライバーの心拍数が所定の閾値よりも大きい場合に、緊張状態であると判断し、危険運転のアラートトリガを検知する。
【0100】
"緊張状態である"ことの判断に関して、例えば、運転中のドライバーの平常時の心拍を環境(一般道路、高速道路、天候、時間(昼間、夕方、夜))に応じて学習し、閾値Aを決定しておく。心拍数がその閾値A(車両の現在環境に対応する閾値)と比べて大幅に異なる(例:ある閾値Bを決め、心拍数が「閾値A+閾値B」より大きい)場合に緊張状態であると判断する。なお、このように、学習により閾値を決定することは一例であり、事前に受信した外部データを使用して閾値を決定してもよい。外部データとしては、例えば、ドライバーの健康診断等の医療データがある。当該医療データから、例えば、平常時の心拍数の閾値、及び、異常時の心拍数の閾値を予め抽出することで、上記の緊張状態判定に使用することができる。
【0101】
<例6>
処理制御部204は、動作シーケンス例1で説明した"警察へ接続する"ための判定ロジックを用いて、"警察へ接続する"場合と同じ事象が発生した場合に、危険運転を検知する。
【0102】
<例7>
処理制御部204は、データソース700から取得したデータ(例:オープンデータ)と、車載装置100から受信したデータを組み合わせて、外部の状況に合わせた危険運転を検知することもできる。
【0103】
例えば、車両の現在位置の地域(あるいはその周辺)で地震波の初期微動を検知した場合における加速度及び/又は速度の閾値Eを予め決めておく。そして、処理制御部204は、通信部206により、データソース700から取得したデータ等から、車両の近くで地震波の初期微動が発生したことを検知した場合に、その時の車両の加速度及び/又は速度と閾値Eを比較して、閾値E以上であれば、危険運転であると判断してアラートトリガを検知する。また、処理制御部204は、データソース700から取得したデータ等から、車両の近くで土砂災害警報が発生したことを検知した場合に、その時の車両の加速度及び/又は速度と閾値とを比較して、閾値以上であれば、危険運転であると判断してアラートトリガを検知することもできる。また、上記アラートトリガを検知した際に、車両に対して、速度を落とすように警告したり、迂回経路を提示したり等の情報提供を行ってもよい。
【0104】
上記の各例は一例にすぎない。上記の例以外にも、例えば、ドライバーが突発の病気でうなされている声等をアラートトリガとして検知することも可能である。
【0105】
なお、上記の各例において説明したトリガ検知判定に関して、ある時点での映像データ/音データ/センサデータを用いた判定の他、映像データ/音データ/センサデータの時系列的な変化に基づいて判定を行ってもよい。例えば、車両に異常がある場合の音の変化パターン(時系列パターン)を予め取得しておき、音データが当該変化パターンに一致する(あるいは、所定の閾値の範囲内で近い)場合に、当該変化パターンに対応する異常を、アラートトリガとして検知することが可能である。
【0106】
<処理フロー例>
図18は、アラートトリガ検知の処理フローの例を示す図である。
図18の例は、例えば、映像データ、音データ、及びセンサデータを使用して、前述した踏切付近での危険運転検知を行う例に該当する。
図18に示すフローは、1回のアラート通知がされるまでのフローである。
【0107】
まず、処理制御部204は、解析対象車両について、同じ時刻に取得された映像データ、音データ、センサデータをデータ格納部205から取得する(ステップS301)。そして、映像データを解析して、例えば、踏切映像の有無を確認する(ステップS302)。また、音データを解析して、例えば、踏切音の有無を確認し、有りの場合に、周波数、大きさ等を抽出する(ステップS303)。また、センサデータを解析して、例えば、加速度の大きさ、速度の大きさ、煙のにおいの有無等を抽出する(ステップS304)。そして、前述したロジックに基づいて、アラートトリガの有無を判定し(ステップS305)、アラートトリガがなければ、次の時刻のデータ解析に移る。アラートトリガが有ればアラート通知を行う(ステップS306)。
【0108】
(実施の形態の効果)
動作シーケンス例1において説明した技術によれば、ドライバーが運転中に緊急で所定の連絡先と連絡を取りたい場面等において、機器を注視することなく音声だけで連絡先を変えることができる。
【0109】
また、動作シーケンス例2において説明した技術によれば、インターネットにアクセスできるユーザ(管理センタ等)であればどこからでも危険運転等の映像をリアルタイムに確認できるので、例えば、その映像を元にドライバーへ的確な指示を迅速に送ることができる、また、本実施の形態に係るアラートトリガ検知技術によれば、踏切の音、ドライバーが突発の病気でうなされている声等、音でしか検知できない危険運転も検知できるので、危険運転の検知対象を広げることが可能となる。
【0110】
(実施の形態のまとめ)
以上、説明したように、本実施の形態では、映像データを時刻情報とともに格納する格納手段と、車両に搭載された車載装置により取得されたデータを当該車載装置から受信し、当該データに基づいてアラート送信のトリガを検知した場合に、アラートを表示操作装置に送信するアラートトリガ検知手段と、前記表示操作装置からの要求に基づいて、前記アラートの発生時刻を含む時間幅の映像データを前記格納手段から取得し、当該映像データを前記表示操作装置に送信する映像配信手段とを備えることを特徴とする制御装置が提供される。実施の形態で説明したデータ格納部205は、格納手段の例である。また、処理制御部204は、アラートトリガ検知手段及び映像配信手段の例である。
【0111】
前記映像データは、例えば、前記車載装置により取得された映像データ、又は、映像撮影カメラにより取得された映像データである。また、前記アラートトリガ検知手段は、前記車載装置により取得された音データに基づいて、前記トリガの検知を行うことができる。また、前記アラートトリガ検知手段は、前記音データと、前記車載装置により取得されたセンサデータとに基づいて、前記トリガの検知を行うこととしてもよい。
【0112】
また、前記表示操作装置において前記アラートが表示され、当該表示操作装置において当該アラートを選択する操作がなされた場合に、前記要求が前記表示操作装置から前記制御装置に送信されることとしてもよい。
【0113】
また、本実施の形態によれば、車両に搭載される車載装置であって、前記車載装置の通信接続先と、当該通信接続先に接続を行う状況において発せられる音声の特徴とを対応付けて格納する格納手段と、ドライバーが発した音声の特徴を取得する取得手段と、前記取得手段により得られた音声の特徴に対応する通信接続先を前記格納手段から取得し、当該通信接続先への接続を行う通信手段とを備えることを特徴とする車載装置が提供される。実施の形態で説明したデータ格納部107は、格納手段の例である。また、音データ取得部103及び処理制御部105、又は、通信部101は、取得手段の例である。また、通信部101及び処理制御部105は、通信手段の例である。
【0114】
<付記>
(第1項)
映像データを時刻情報とともに格納する格納手段と、
車両に搭載された車載装置により取得されたデータを当該車載装置から受信し、当該データに基づいてアラート送信のトリガを検知した場合に、アラートを表示操作装置に送信するアラートトリガ検知手段と、
前記表示操作装置からの要求に基づいて、前記アラートの発生時刻を含む時間幅の映像データを前記格納手段から取得し、当該映像データを前記表示操作装置に送信する映像配信手段と
を備えることを特徴とする制御装置。
(第2項)
前記映像データは、前記車載装置により取得された映像データ、又は、映像撮影カメラにより取得された映像データである
ことを特徴とする第1項に記載の制御装置。
(第3項)
前記アラートトリガ検知手段は、前記車載装置により取得された音データに基づいて、前記トリガの検知を行う
ことを特徴とする第1項又は第2項に記載の制御装置。
(第4項)
前記アラートトリガ検知手段は、前記音データと、前記車載装置により取得されたセンサデータとに基づいて、前記トリガの検知を行う
ことを特徴とする第3項に記載の制御装置。
(第5項)
前記表示操作装置において前記アラートが表示され、当該表示操作装置において当該アラートを選択する操作がなされた場合に、前記要求が前記表示操作装置から前記制御装置に送信される
ことを特徴とする第1項ないし第4項のうちいずれか1項に記載の制御装置。
(第6項)
車両に搭載される車載装置であって、
前記車載装置の通信接続先と、当該通信接続先に接続を行う状況において発せられる音声の特徴とを対応付けて格納する格納手段と、
ドライバーが発した音声の特徴を取得する取得手段と、
前記取得手段により得られた音声の特徴に対応する通信接続先を前記格納手段から取得し、当該通信接続先への接続を行う通信手段と
を備えることを特徴とする車載装置。
(第7項)
映像データを時刻情報とともに格納する格納手段を備える制御装置が実行する映像配信方法であって、
車両に搭載された車載装置により取得されたデータを当該車載装置から受信し、当該データに基づいてアラート送信のトリガを検知した場合に、アラートを表示操作装置に送信するアラートトリガ検知ステップと、
前記表示操作装置からの要求に基づいて、前記アラートの発生時刻を含む時間幅の映像データを前記格納手段から取得し、当該映像データを前記表示操作装置に送信する映像配信ステップと
を備えることを特徴とする映像配信方法。
(第8項)
コンピュータを、第1項ないし第5項のうちいずれか1項に記載の制御装置における各手段として機能させるためのプログラム。
(第9項)
コンピュータを、第6項に記載の車載装置における各手段として機能させるためのプログラム。
以上、本実施の形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。