特許 7547427 リアルタイムデータ取得・記録システムビューワ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-30

(45)【発行日】2024-09-09

(54)【発明の名称】リアルタイムデータ取得・記録システムビューワ

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240902BHJP

   H04N 5/77 20060101ALI20240902BHJP

   H04N 21/437 20110101ALI20240902BHJP

   G07C 5/00 20060101ALI20240902BHJP

【ＦＩ】

H04N7/18 J

H04N5/77

H04N21/437

G07C5/00 Z

【請求項の数】 26

(21)【出願番号】P 2022151282

(22)【出願日】2022-09-22

(62)【分割の表示】P 2018561037の分割

【原出願日】2017-05-16

(65)【公開番号】P2022184993

(43)【公開日】2022-12-13

【審査請求日】2022-10-11

(31)【優先権主張番号】62/337,227

(32)【優先日】2016-05-16

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/337,225

(32)【優先日】2016-05-16

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/337,228

(32)【優先日】2016-05-16

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】15/595,650

(32)【優先日】2017-05-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】15/595,689

(32)【優先日】2017-05-15

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518407113

【氏名又は名称】ウィ－トロニックス，リミティッド ライアビリティ カンパニー

【氏名又は名称原語表記】ＷＩ－ＴＲＯＮＩＸ，ＬＬＣ

【住所又は居所原語表記】６３１ Ｅ． Ｂｏｕｇｈｔｏｎ Ｒｏａｄ，Ｓｕｉｔｅ ２４０，Ｂｏｌｉｎｇｂｒｏｏｋ，Ｉｌｌｉｎｏｉｓ ６０４４０，Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100111187

【弁理士】

【氏名又は名称】加藤 秀忠

(74)【代理人】

【識別番号】100159916

【弁理士】

【氏名又は名称】石川 貴之

(74)【代理人】

【識別番号】100175617

【弁理士】

【氏名又は名称】三崎 正輝

(72)【発明者】

【氏名】ジョーダン，ローレンス，ビー．

(72)【発明者】

【氏名】パテル，サヴァンクマール，ヴィー．

(72)【発明者】

【氏名】ウィーヴァー，ブライアン

【審査官】公文代 康祐

(56)【参考文献】

【文献】特開２００８－０２７０９７（ＪＰ，Ａ）

【文献】特開２００５－３４６３３３（ＪＰ，Ａ）

【文献】特開２００９－１２２９４６（ＪＰ，Ａ）

【文献】特開２００７－０７６４０４（ＪＰ，Ａ）

【文献】特開２０１３－１９２２０２（ＪＰ，Ａ）

【文献】特開２００２－３５４３２２（ＪＰ，Ａ）

【文献】特表２０１９－５２２４００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／７６ －５／９５６

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｎ ２３／６０

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １１／００

Ｂ６０Ｒ ２１／００

Ｇ０７Ｃ ５／００

(57)【特許請求の範囲】

【請求項1】

少なくとも１つの移動資産からのデータを処理、記憶、及び転送する方法であって、
前記移動資産に搭載されたマルチメディア管理システムを使用して、
少なくとも１つの３６０度カメラ、
少なくとも１つの固定カメラ、及び
少なくとも１つのマイクロフォン
のうちの少なくとも１つからの、少なくとも１つのデータ信号、に基づくビデオおよびオーディオデータを受信することと、
前記移動資産に搭載のデータレコーダを使用して、前記ビデオおよびオーディオデータを受信することと、
前記データレコーダのデータエンコーダを使用して、所定量のビデオおよびオーディオデータに基づいて前記ビデオおよびオーディオデータを符号化データに符号化することと、
前記データレコーダの搭載データマネジャを使用して、前記符号化データを暫定データセグメントに付加することと、
前記データレコーダの前記搭載データマネジャを使用して、前記データレコーダの少なくとも１つのローカルメモリコンポーネントに、設定可能な第１の所定頻度にて、前記暫定データセグメントを記憶することと、
遠隔データマネジャを使用して、前記符号化データを、遠隔データリポジトリに無線データリンクを介して設定可能な第２の所定頻度にて送信し、自律的に複製することと、
を備え、
設定可能な前記第２の所定頻度は、複製処理がリアルタイムモードの場合、０．１秒～１秒の範囲であり、複製処理が準リアルタイムモードの場合、０．１秒～５分の範囲であり、
遠隔ユーザによる要求および前記移動資産で発生した事象の少なくとも１つが、設定可能な前記第２の所定頻度を変える、
方法。

【請求項2】

前記少なくとも１つの３６０度カメラは、前記移動資産内、前記移動資産上、又はその近傍の少なくとも１つ、に位置し、
前記少なくとも１つの固定カメラは、前記移動資産内、前記移動資産上、又はその近傍の少なくとも１つ、に位置し、
前記少なくとも１つのマイクロフォンは、前記移動資産内、前記移動資産上、又はその近傍の少なくとも１つ、に位置する、
請求項１に記載の方法。

【請求項3】

前記符号化データが、前記少なくとも１つのローカルメモリコンポーネントの少なくとも２つの一時的記憶位置のうちの１つ、に記憶される、
請求項１に記載の方法。

【請求項4】

前記少なくとも１つのローカルメモリコンポーネントが、衝突保護メモリモジュール及び衝突保護のない着脱式記憶装置のうちの少なくとも一方、を含む、
請求項１に記載の方法。

【請求項5】

前記暫定データセグメントを前記少なくとも１つのローカルメモリコンポーネントに記憶することが、
以前のデータセグメントが前記少なくとも１つのローカルメモリコンポーネントの第２の一時的記憶位置に記憶されたという条件で、前記暫定データセグメントを前記少なくとも１つのローカルメモリコンポーネントの第１の一時的記憶位置に記憶することと、
以前のデータセグメントが前記少なくとも１つのローカルメモリコンポーネントの第１の一時的記憶位置に記憶されたという条件で、前記暫定データセグメントを前記少なくとも１つのローカルメモリコンポーネントの第２の一時的記憶位置に記憶すること、
のうちの一方を含む、
請求項１に記載の方法。

【請求項6】

前記データレコーダが、無線データリンク及び有線データリンクのうちの少なくとも一方を介して、前記ビデオおよびオーディオデータを受信する、
請求項１に記載の方法。

【請求項7】

前記データエンコーダを使用して、前記符号化データを時間同期すること、
をさらに備える、請求項１に記載の方法。

【請求項8】

前記搭載データマネジャを使用して、前記符号化データを前記暫定データセグメントに付加することと、
前記搭載データマネジャを使用して、前記暫定データセグメントを、前記設定可能な第１の所定頻度にて、前記データレコーダの少なくとも１つのローカルメモリコンポーネントに記憶することと、
データセグメントが、少なくとも１つの暫定データセグメントを含む所定量の暫定データセグメントを含むという条件で、前記搭載データマネジャを使用して、前記データセグメントを前記少なくとも１つのローカルメモリコンポーネントに記憶することと、
をさらに備える、請求項１に記載の方法。

【請求項9】

前記搭載データマネジャを使用して、少なくとも１つの前記暫定データセグメントを含む前記データセグメントを、前記設定可能な第２の所定頻度にて、無線データリンクを介して、前記遠隔データマネジャに送信すること、
をさらに備える、請求項８に記載の方法。

【請求項10】

前記遠隔データマネジャを使用して、前記データセグメントを遠隔データリポジトリに記憶すること、
をさらに備える、請求項９に記載の方法。

【請求項11】

前記データセグメントが、前記設定可能な第２の所定頻度にて、前記無線データリンクを介して、前記遠隔データリポジトリに記憶され、
前記データレコーダがリアルタイムモードであることを条件に、前記第２の所定頻度は０．１秒～１秒の範囲である、
請求項９に記載の方法。

【請求項12】

前記データセグメントが、前記第２の所定頻度にて、前記無線データリンクを介して、前記遠隔データリポジトリに記憶され、
前記データレコーダが準リアルタイムモードであることを条件に、前記第２の所定頻度は０．１秒～５分の範囲である、
請求項９に記載の方法。

【請求項13】

前記符号化データが、所定量の符号化データを含み、
前記所定量の符号化データが、最大５分間の符号化データを含む、
請求項１に記載の方法。

【請求項14】

少なくとも１つの移動資産からのデータを処理、記憶、及び転送するシステムであって、
少なくとも１つの３６０度カメラ、少なくとも１つの固定カメラ、及び少なくとも１つのマイクロフォンのうちの少なくとも１つと、
前記少なくとも１つの３６０度カメラ、前記少なくとも１つの固定カメラ及び前記少なくとも１つのマイクロフォンのうちの前記少なくとも１つからの少なくとも１つのデータ信号に基づくビデオおよびオーディオデータを受信するように設定された、前記移動資産に搭載のマルチメディア管理システムと、
少なくとも１つのローカルメモリコンポーネント、搭載データマネジャ、及びデータエンコーダを含み、前記マルチメディア管理システムから前記ビデオおよびオーディオデータを受信するように設定されている、前記移動資産に搭載のデータレコーダと、
を備え、
前記データエンコーダは、前記ビデオおよびオーディオデータに基づいて前記ビデオおよびオーディオデータを符号化データに符号化するように設定されており、
前記搭載データマネジャは、前記符号化データを暫定データセグメントに付加し、
前記搭載データマネジャは、前記少なくとも１つのローカルメモリコンポーネントに、設定可能な第１の所定頻度にて、前記暫定データセグメントを記憶するように設定され、
複製処理がリアルタイムモードの場合、０．１秒～１秒の範囲において、複製処理が準リアルタイムモードの場合、０．１秒～５分の範囲において設定可能な第２の所定頻度にて、前記符号化データを、遠隔データリポジトリに、無線データリンクを介して自律的に複製する、遠隔データマネジャ、
をさらに備え、
設定可能な前記第２の所定頻度は、遠隔ユーザによる要求および前記移動資産で発生した事象の少なくとも１つによって変えられる、
システム。

【請求項15】

前記少なくとも１つの３６０度カメラは、前記移動資産内、前記移動資産上、又は前記移動資産の近傍の少なくとも１つに位置し、
前記少なくとも１つの固定カメラは、前記移動資産内、前記移動資産上、又はその近傍の少なくとも１つに位置し、
前記少なくとも１つのマイクロフォンは、前記移動資産内、前記移動資産上、又はその近傍の少なくとも１つに位置する、
請求項１４に記載のシステム。

【請求項16】

前記マルチメディア管理システムが、前記少なくとも１つのローカルメモリコンポーネントに前記暫定データセグメントを記憶するように設定されている、
請求項１４に記載のシステム。

【請求項17】

前記少なくとも１つのローカルメモリコンポーネントが、衝突保護メモリモジュール及び衝突保護のない着脱式記憶装置のうちの少なくとも一方を含む、
請求項１４に記載のシステム。

【請求項18】

前記少なくとも１つのローカルメモリコンポーネントが、少なくとも２つの一時的記憶位置を含む、
請求項１７に記載のシステム。

【請求項19】

以前のデータセグメントが第２の一時的記憶位置に記憶されたという条件で、前記暫定データセグメントを記憶するように設定済みの、第１の一時的記憶位置と、
以前のデータセグメントが第１の一時的記憶位置に記憶されたという条件で、前記暫定データセグメントを記憶するように設定済みの、第２の一時的記憶位置と、
をさらに備える、請求項１８に記載のシステム。

【請求項20】

前記マルチメディア管理システムからの前記ビデオおよびオーディオデータを前記データレコーダに送信するように設定された、無線データリンク及び有線データリンクのうちの少なくとも一方、
をさらに備える、請求項１４に記載のシステム。

【請求項21】

前記遠隔データマネジャは、であって、０．１秒～１秒の範囲内である設定可能な前記第２の所定頻度にて、前記無線データリンクを介して前記搭載データマネジャから受信した前記データセグメントを前記遠隔データリポジトリに記憶するように設定されている、
請求項１４に記載のシステム。

【請求項22】

前記搭載データマネジャが、
前記符号化データを前記暫定データセグメントに付加し、
前記設定可能な第１の所定頻度にて、前記データレコーダの少なくとも１つのローカルメモリコンポーネントに、前記暫定データセグメントを記憶し、
データセグメントに前記暫定データセグメントを付加し、
前記データセグメントが、少なくとも１つの暫定データセグメントを含む所定量の暫定データセグメントを含むという条件で、前記データセグメントを前記少なくとも１つのローカルメモリコンポーネントに記憶する、
ように設定されている、
請求項１４に記載のシステム。

【請求項23】

前記遠隔データマネジャは、前記第２の所定頻度にて前記無線データリンクを介して前記遠隔データリポジトリに前記データセグメントを記憶するように設定されており、
前記データセグメントは、少なくとも１つの暫定データセグメントを含む、
請求項２２に記載のシステム。

【請求項24】

前記符号化データが、所定量の符号化データを含み、
前記所定量の符号化データが、最大５分間の符号化データを含む、
請求項１４に記載のシステム。

【請求項25】

前記暫定データセグメントが、前記少なくとも１つのローカルメモリコンポーネントに少なくとも１秒毎に記憶される、
請求項１４に記載のシステム。

【請求項26】

前記暫定データセグメントが、前記少なくとも１つのローカルメモリコンポーネントに１０分の１秒毎に記憶される、
請求項１４に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は、法律で認められている範囲で、２０１６年５月１６日に提出された米国仮出願第６２／３３７，２２５号に対する優先権を主張し、２０１６年５月１６日に出願された米国仮出願第６２／３３７，２２７号に対する優先権を主張し、２０１６年５月１６日に提出された米国仮出願第６２／３３７，２２８号に対する優先権を主張し、２０１７年５月１５日に提出された米国非仮出願第１５／５９５，６５０号に対する優先権を主張し、かつその継続であり、その内容は、その全体が参照により本明細書に組み込まれる。

【0002】

本開示は、高価値移動資産で使用されるリアルタイムデータ取得・記録システムからの映像、画像及びデータを検分するシステム及び方法に関する。

【背景技術】

【0003】

機関車、航空機、大量輸送システム、鉱山機械、運搬可能な医療機器、貨物、船舶、軍用船などの高価値移動資産は、通常、搭載型データ取得・記録「ブラックボックス」システム及び／又は「イベントレコーダ」システムを採用している。イベントデータレコーダやフライトデータレコーダなどのデータ取得・記録システムは、インシデント調査、乗員の業務評価、燃費分析、メンテナンス計画、及び予測診断に使用されるさまざまなシステムパラメータをログに残す。典型的なデータ収集記録システムは、デジタル及びアナログ入力ならびに圧力スイッチ及び圧力トランスデューサを備え、様々な搭載のセンサ装置からのデータを記録する。記録されたデータは、速度、移動した距離、場所、燃料レベル、１分間当たりのエンジン回転数（ＲＰＭ）、流体レベル、運転者制御、圧力、現在及び予測される天候条件及び周囲条件などのパラメータを含むことができる。基本的事象及び動作データに加えて、映像及び音声事象／データ記録機能も、これらの同じ移動資産の多くに配備されている。通常、資産が絡む事件が発生し、調査が必要とされた後、データレコーダが回収されると、そのデータレコーダからデータが抽出される。ところが、データレコーダが回復できない、又は他の理由でデータが利用できない状況が発生することがある。このような状況では、データ取得・記録システム又はそのデータへの物理的アクセスが利用可能であるかどうかにかかわらず、データ収集記録システムによって取得された事象及び動作データ、映像データ、及び音声データなどのデータが迅速に必要とされる。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示は、概して、高価値移動資産で使用されるリアルタイムデータ取得・記録システムに関する。本明細書の教示は、高価値移動資産上でリアルタイムデータ取得・記録システムによって記録された事象及び動作データ、映像データ、及び音声データなどのデータへのリアルタイム又は準リアルタイムのアクセスを提供することができる。本明細書に記載する、少なくとも１つの移動資産からのデータを処理、記憶、及び転送する方法の一実装は、移動資産に搭載のマルチメディア管理システムを使用して、少なくとも１つの３６０度カメラ、少なくとも１つの固定カメラ及び少なくとも１つのマイクロフォンのうちの少なくとも１つからの少なくとも１つのデータ信号に基づくデータを受信することと、そのデータを、移動資産に搭載のデータレコーダを用いて受信することと、そのデータレコーダのデータエンコーダを使用して、そのデータに基づくビットストリームを含むレコードを符号化することと、そのデータレコーダの搭載データマネジャを使用して、そのデータ及びそのレコードのうちの少なくとも一方をそのデータレコーダの少なくとも１つのローカルメモリコンポーネントに設定可能な第１の所定頻度にて記憶することと、を含む。

【0005】

本明細書に記載する、少なくとも１つの移動資産からのデータを表示する方法の一実装は、ウェブサーバを使用して、少なくとも１つの移動資産の指定マルチメディアデータ及び指定ビューモードを含むリクエストを受信することと、そのウェブサーバを使用して、その少なくとも１つの移動資産の指定マルチメディアデータを遠隔メモリコンポーネントから受信することと、表示装置を使用して、その少なくとも１つの移動資産の指定マルチメディアデータをその指定ビューで表示することとを含む。

【0006】

本明細書に記載する、リアルタイムデータ取得・記録システムの一実装は、少なくとも１つの３６０度カメラ、少なくとも１つの固定カメラ及び少なくとも１つのマイクロフォンのうちの少なくとも１つと、移動資産に搭載のマルチメディア管理システムであって、少なくとも１つの３６０度カメラ、少なくとも１つの固定カメラ及び少なくとも１つのマイクロフォンのうちの少なくとも１つからの少なくとも１つのデータ信号に基づくデータを受信するように構成されたシステムと、少なくとも１つのローカルメモリコンポーネント、搭載データマネジャ、及びデータエンコーダを含み、マルチメディア管理システムからのデータを受信するように構成された移動資産に搭載のデータレコーダと、そのデータに基づくビットストリームを含むレコードを符号化するように設定されたデータエンコーダと、そのデータ及びそのレコードのうちの少なくとも一方を少なくとも１つのローカルメモリコンポーネントに設定可能な第１の所定頻度で記憶するように設定された搭載データマネジャとを含む。

【0007】

本開示のこれらの態様及び他の態様における変形を、以下でさらに詳細に説明する。

【図面の簡単な説明】

【0008】

本明細書の説明を添付の図面を参照して行うが、いくつかの図面では同様の参照番号で同様の部品を示している。

【図1】本開示の実装による例示的なリアルタイムデータ取得・記録システムの現場設置を示す図。

【図2】本開示の実装による、移動資産からの映像データ、音声データ、及び／又は情報を記録する処理を示すフロー図。

【図3】本開示の実装による、移動資産からの記録された映像データ、音声データ、及び／又は情報を表示する処理を示すフロー図。

【図4】本開示の実装による、リアルタイムデータ取得・記録システムの３６０度カメラの例示的魚眼ビューを示す図。

【図5】本開示の実装による、リアルタイムデータ取得・記録システムの３６０度カメラの例示的パノラマ表示を示す図。

【図6】本開示の実装による、リアルタイムデータ取得・記録システムの３６０度カメラの例示的クワッドビューを示す図。

【図7】本開示の実装による、リアルタイムデータ取得・記録システムの３６０度カメラの例示的デワープビューを示す図。

【発明を実施するための形態】

【0009】

本明細書に記載のリアルタイムデータ取得・記録システムは、資産所有者、操作者、調査者などの遠隔に位置するユーザに、高価値資産に関連する事象及び動作データ、映像データ、及び音声データなどの広範なデータへのリアルタイム又は準リアルタイムのアクセスを提供する。このデータ取得・記録システムは、データレコーダを介してその資産に関するデータを記録し、事故の発生前、発生時及び発生後に遠隔データリポジトリ及び遠隔地にいるユーザにデータをストリーミングする。そのデータは、リアルタイム又は準リアルタイムで遠隔データリポジトリにストリーミングされ、少なくとも事故又は緊急事態の発生時までの情報を利用可能にし、これにより、指定データのダウンロード要請、ファイルの位置特定及び転送、そのデータを検分する特殊アプリケーションの使用と目的として、資産が絡む事故を調査するために「ブラックボックス」を見つけてダウンロードする必要性を実質的に排除し、資産上のデータレコーダと交信する必要性を排除することになる。本開示のシステムは、典型的な記録能力を保持しながら、事故の発生前、発生時及び発生後に遠隔データリポジトリ及び遠隔エンドユーザにデータをストリーミングする能力を追加して有する。大半の状況において、データは既に取得され、遠隔データリポジトリに保存されているため、データレコーダに記録された情報は冗長で不要となる。

【0010】

本開示のシステム以前では、事件が発生し調査が必要となった後に、「ブラックボックス」又は「イベントレコーダ」からデータが抽出された。「ブラックボックス」が記録した時間セグメントを含むデータファイルは、「ブラックボックス」からダウンロードされて取り出され、独自のソフトウェアを有するユーザによって検分されなければならなかった。そのユーザは、資産への物理的又は遠隔アクセスを得て、「ブラックボックス」からダウンロードすべき所望のデータを選択し、その所望情報を含むファイルを計算装置にダウンロードし、その計算装置で動作するカスタムアプリケーションを使用して、その所望データを有する適切なファイルを探し出さなければならない。本開示のシステムでは、ユーザがこれらのステップを実行する必要性を排除しており、そのユーザは、所望データへとナビゲートする一般的なウェブブラウザを使用するだけでよい。遠隔に位置するユーザは、一般的なウェブブラウザにアクセスすると、そのブラウザが、選択した資産に関する所望データにユーザをナビゲートして、リアルタイム又は準リアルタイムでその資産の運用効率及び安全性を検分及び分析することができる。

【0011】

資産所有者、操作者、及び／又は調査者などの遠隔地にいるユーザは、選択した資産に関連する生の及び／又は過去の所望データへとナビゲートする一般的なウェブブラウザにアクセスして、その資産の運用効率及び安全性をリアルタイム又は準リアルタイムに検分及び分析することができる。リアルタイム又は準リアルタイムで動作を検分する機能により、挙動(behavior)の迅速な評価と調整が可能になる。事故時には、例えば、リアルタイム情報及び／又はデータにより状況のトリアージが容易になり、最初の応答者に有益な情報を提供することができる。通常の運用時には、例えば、リアルタイム情報及び／又はデータを使用して、乗員の業務を監査し、ネットワーク広域の状況認識を補助することができる。

【0012】

本開示のシステムは、データ取得・記録システムの一部として、移動資産内、資産上、又はその近傍に配置された３６０度カメラを使用する。本開示のシステム以前、「ブラックボックス」及び／又は「イベントレコーダ」は、その移動資産内、資産上、又はその近傍に３６０度カメラは配置されていなかった。本開示のシステムは、データ取得・記録システムの一部として、３６０度カメラを使用し、これらのカメラにより記録する能力を追加して有するため、その移動資産が絡む事故の発生前、発生時、及び発生後にも、移動資産内、移動資産上、又はその近傍の３６０度ビューを、遠隔データリポジトリ（保存場所）、遠隔のユーザ及び調査者に提供することができる。運用及び／又は３６０度映像をリアルタイム又は準リアルタイムで検分する能力により、乗員の挙動の迅速な評価と調整が可能になる。所有者、操作者、調査者は、運用効率、人々の安全性、車両、インフラを検分及び分析することができる上、事故の調査又は検査をすることができる。その移動資産から３６０度の映像を検分できる能力により、乗員の挙動の迅速な評価と調整が可能になる。事故時には、例えば、３６０度の映像により、状況のトリアージが容易になり、最初の応答者及び調査者に有益な情報を提供することができる。通常の運用時には、例えば、３６０度の映像を使用して、乗員の業務を監査し、ネットワーク広域の状況認識を補助することができる。３６０度カメラ及び固定カメラにより、状況を説明する完全なピクチャを用意することができるため、法執行及び／又は鉄道警察、重要インフラの検査、鉄道横断の監視、トラック作業の進捗状況の監視、運転室内及び庭内の乗員監査のリアルタイム遠隔監視のための監視映像を提供することができる。

【0013】

これまでのシステムでは、専用ソフトウェアアプリケーション又は他の外部映像再生アプリケーションを使って映像ファイルを検分するために、ユーザは時間セグメントを含むビデオファイルをダウンロードする必要があった。本開示のデータ取得・記録システムは、バーチャルリアリティ装置を使用して及び／又は標準的ウェブクライアントを介してリモートユーザに表示することができる３６０度の映像及び画像情報ならびに音声情報を提供して、その映像を見るために外部アプリケーションをダウンロードして使用する必要をなくしている。さらに、遠隔地にいるユーザは、バーチャルリアリティ装置やウェブブラウザなどの標準的ウェブクライアントを通じて様々なモードで３６０度のビデオを見ることができるため、ビデオを見るために外部アプリケーションをダウンロードして使用する必要がない。従来のビデオシステムでは、ユーザが独自に購入しなければならない専用アプリケーションソフトウェア又は他の外部ビデオ再生アプリケーションを使用してしか見ることができないデータの時間セグメントを含むビデオファイルをダウンロードする必要があった。

【0014】

データには、資産内、資産上又はその近傍の様々な場所にあるカメラから映像及び画像情報、その資産内、資産上又はその近傍の様々な場所にあるマイクロフォンからの音声情報が含まれるが、これに限定されない。３６０度カメラは、３６０度の球面視野及び／又は３６０度の半球面視野を提供するカメラである。３６０度のカメラを資産内、資産上又はその近傍に使用すると、ＤＡＲＳの一部としてその３６０度カメラを使用して映像を使用かつ記録する機能が得られるため、事故の発生前、発生時、及び発生後に、資産内、資産上又はその近傍の３６０度ビューを遠隔データリポジトリ、遠隔地にいるユーザ、及び捜査官に利用可能とすることができる。

【0015】

図１は、本開示の態様を実装することができる例示的リアルタイムデータ取得・記録システム（ＤＡＲＳ）１００の第１の実施形態の現場設置をそれぞれ示している。ＤＡＲＳ１００は、移動資産１３０上のデータレコーダ１０８からのリアルタイム情報、映像情報、音声情報を遠隔にいるエンドユーザにデータセンター１３２を介して配信するシステムである。データレコーダ１０８は、車両又は移動資産１３０に設置され、無線ゲートウェイ／ルータ（図示せず）などの有線及び／又は無線データリンクの任意の組み合わせを介して任意の数の種々の情報源と通信する。データレコーダ１０８は、衝突保護メモリモジュール１１０、搭載データマネジャ１１２、及びデータエンコーダ１１４を含む。第２の実施態様において、データレコーダ１０８は、衝突保護のない着脱式記憶装置（図示せず）を含むこともできる。例示的衝突保護メモリモジュール１１０は、例えば、連邦規則及び連邦鉄道行政規則を遵守した耐衝撃性事象レコーダメモリモジュール、連邦規則及び連邦航空局の規制を遵守したクラッシュサバイバブルメモリユニット(crash survivable memory unit)、適用可能な連邦規則のコードに準拠した衝突保護メモリモジュール、又は当該技術分野において知られている他の適切な強化メモリ装置でよい。有線及び／又は無線データリンクは、離散信号入力、標準又は独自仕様のイーサネット（登録商標）、シリアル接続、及び無線接続のいずれか１つ又は組み合わせを含むことができる。

【0016】

データレコーダ１０８は、資産の構成に基づいて幅広く多様となり得る広範な様々なソースから、搭載のデータリンクを介して、映像データ、音声データ、及び他のデータ及び／又は情報を収集する。本実装において、データレコーダ１０８は、資産１３０内、資産１３０上、及びその近傍に配置された３６０度カメラ１０２及び固定カメラ１０６からの映像データ及び音声データを連続して記録する映像管理システム１０４からのデータを受信し、映像管理システム１０４は、その映像及び音声データを衝突保護メモリモジュール１１０に記憶し、かつ、第２の実施態様の衝突保護のない着脱式記憶装置にも記憶することができる。異なるビットレート又は空間解像度を使用すれば、異なるバージョンのビデオデータが生成され、これらのバージョンはサムネイル、５分の低解像度セグメント、５分の高解像度セグメントなど、可変長のセグメントに分割される。

【0017】

データエンコーダ１１４は、規制当局によって通常規定される最小組のデータを少なくとも符号化する。データエンコーダ１１４は、映像及び音声データを映像管理システム１０４から受信すると、遠隔データリポジトリ１２０への効率的なリアルタイムの送信と複製とを容易にするため、そのデータを圧縮、すなわち符号化して、それを時間同期する。データエンコーダ１１４が、遠隔に位置するユーザ１３４によるオンデマンド要求に応答して、又は資産１３０に特定の動作条件が観察されたことに応答して、その符号化データを搭載データマネジャ１１２に転送すると、搭載データマネジャはその符号化された映像及び音声データを、データセンター１３０内にある遠隔データマネジャ１１８を介して遠隔データリポジトリ１２０に転送する。搭載のデータマネジャ１１２及び遠隔のデータマネジャ１１８は、協働してこのデータ複製処理を管理する。データセンター１３２内の遠隔データマネジャ１１８で、複数の資産からのデータの複製を管理することができる。遠隔データリポジトリ１２０に記憶されている映像及び音声データは、遠隔地にいるユーザ１３４がアクセスするウェブサーバ１２２により利用可能である。

【0018】

搭載データマネジャ１１２もデータをキューリポジトリ（図示せず）に送信する。搭載データマネジャ１１２は、映像管理システム１０４を使用して、衝突保護メモリモジュール１１０及び第２の実施形態による任意の衝突保護のない着脱式記憶装置に記憶されている映像及び音声データを監視して、準リアルタイムモードにあるかリアルタイムモードにあるかを判定する。準リアルタイムモードでは、搭載データマネジャ１１２は、データエンコーダ１１４から受信する、映像データ、音声データ、及び他のデータや情報を含む符号化データ、ならびに衝突保護メモリモジュール１１０及び第２の実施形態による任意の衝突保護のない着脱式記憶装置内のあらゆるイベント情報をキューリポジトリ内に記憶する。５分間の符号化データがキューリポジトリに蓄積された後、搭載データマネジャ１１２は、その５分間の符号化データを、無線データリンク１１６を介してデータセンター１３２内の遠隔データマネジャ１１８を介して、遠隔データリポジトリ１２０に記憶する。リアルタイムモードでは、搭載データマネジャ１１２は、データエンコーダ１１４から受信した映像データ、音声データ、その他のデータや情報を含む符号化データならびにあらゆるイベント情報を、無線データリンク１１６を介してデータセンター１３２内の遠隔データマネジャ１１８を介して遠隔データリポジトリ１２０に格納する。搭載データマネジャ１１２及び遠隔データマネジャ１１８は、様々な無線通信リンクを介して通信することができる。無線データリンク１１６の例としては、例えば、無線ローカルエリアネットワーク（ＷＬＡＮ）、無線メトロポリタンエリアネットワーク（ＷＭＡＮ）、無線広域ネットワーク（ＷＷＡＮ）、私設無線システム、携帯電話ネットワーク、又は、データレコーダ１０８からこの例では遠隔データマネジャ１１８にデータを送信する、他の任意の手段が挙げられる。映像データ及び音声データを資産１３０から遠隔送信及び検索する処理には、資産１３０とデータセンター１３２との間の無線データ接続が必要である。無線データ接続が利用できない場合、無線接続が復元されまで、このデータは衝突保護メモリモジュール１１０及び第２の実施形態による任意の衝突保護のない着脱式記憶装置に記憶され入れられる。ワイヤレス接続が復旧すると、映像、音声、及びその他の追加のデータ取得処理が再開される。

【0019】

データ記録と並行して、データレコーダ１０８は、遠隔データリポジトリ１２０に連続的かつ自律的にデータを複製する。この複製処理には、リアルタイムモードと準リアルタイムモードの２つのモードがある。リアルタイムモードでは、データが毎秒遠隔データリポジトリ１２０に複製される。準リアルタイムモードでは、データが５分毎に遠隔データリポジトリ１２０に複製される。準リアルタイムモードで使用する頻度は設定可能であり、リアルタイムモードで使用するレートは、０．１０秒毎にデータを遠隔データリポジトリ１２０に複製することによって高解像度データをサポートするように調整することができる。このデータ複製処理の効率を高めるためには、大半の条件下で、準リアルタイムモードが通常操作時に用いられる。

【0020】

リアルタイムモードは、資産１３０で発生した事象に基づいて、又はデータセンター１３２から開始される要求に基づいて開始することができる。データセンター１３２により開始されるリアルタイムモードへの典型的な要求は、遠隔地に位置するユーザ１３４がウェブクライアント１２６からのリアルタイム情報を要求すると開始される。資産１３０が発信元となるリアルタイムモードの一般的理由は、操作者が開始する非常停止要求、緊急制動動作、任意軸における急加速又は急減速、又はデータレコーダ１０８への入力電力喪失などの事象又は事件の検出である。準リアルタイムモードからリアルタイムモードへと移行する際、遠隔データリポジトリ１２０にまだ複製されていないデータすべてが遠隔データリポジトリ１２０に複製及び記憶され、複製活動が開始される。準リアルタイムモードからリアルタイムモードへの移行は通常５秒未満で起こる。事象又は事故から所定の時間が経過した後、活動のない状態が所定時間続く、又はユーザ１３４が資産１３０からのリアルタイム情報をもはや望まない場合には、データレコーダ１０８は準リアルタイムモードに戻る。この移行を開始するのに必要な所定時間は設定可能であり、通常は１０分に設定される。

【0021】

データレコーダ１０８がリアルタイムモードであると、搭載データマネジャ１１２は、連続的に遠隔データマネジャ１１８へとその待ち行列を空けようとして、そのデータを衝突保護メモリモジュール１１０及び第２の実施形態による任意の衝突保護のない着脱式記憶装置に記憶し、そのデータを同時に遠隔データマネジャ１１８へと送信する。

【0022】

データレコーダ１０８から複製すべき映像データ、音声データ、及び他のデータや情報を受信すると、遠隔データマネジャ１１８はそのデータをデータセンター１３０内の遠隔データリポジトリ１２０に記憶する。遠隔データリポジトリ１２０は、例えば、クラウドベースのデータ記憶装置、又は他の適した遠隔データ記憶装置でよい。データが受信されると、遠隔データリポジトリ１２０から最近複製されたデータをデータデコーダ（図示せず）で復号し、その復号データを遠隔事象検出器（図示せず）に送信する処理が開始される。遠隔データマネジャ１１８は、車両事象情報を遠隔データリポジトリ１２０に記憶する。遠隔事象検出器は、復号データを受信すると、その復号データを処理して、その復号データに対象事象が見つかったかどうかを判定する。次に、その復号情報は、遠隔事象検出器によって使用されて、資産１３０を絡んで発生するそのデータ内の事象、事故、又は他の所定の状況を検出する。遠隔事象検出器は、遠隔データリポジトリ１２０に以前に記憶されていた復号データから対象事象を検出すると、その事象情報及び裏付けデータを遠隔データリポジトリ１２０に記憶する。

【0023】

ユーザ１３４からのオンデマンド要求に応答して、映像データ、音声データ、及びあらゆる他のデータや情報がそのユーザ１３４に利用可能となる、及び／又は資産１３０上にて特定の動作条件が観察されたことに応答して、搭載データマネジャ１１２により遠隔データリポジトリ１２０に送信される。遠隔データリポジトリ内に記憶されている映像データ、音声データ、及びあらゆる他のデータや情報は、ユーザ１３４がアクセスできるようにウェブサーバ１２２で利用可能である。遠隔地にいるユーザ１３４は、指定の資産１３０又は複数の資産に関連して遠隔データリポジトリ１２０に記憶されている映像データ、音声データ、及びあらゆる他のデータや情報に、ウェブブラウザなどの標準のウェブクライアント１２６、又は本実装では選択カメラのサムネイル画像を表示することのできるバーチャルリアリティ装置１２８を用いてアクセスすることができる。ウェブクライアント１２６は、一般的なウェブ標準プロトコル及び技術を使用して、ネットワーク１２４を介してウェブサーバ１２２に映像、音声及び／又はその他の情報に対するユーザ１３４の要求を通信する。ネットワーク１２４は、例えば、インターネットとすることができる。ネットワーク１２４は、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、仮想プライベートネットワーク（ＶＰＮ）、携帯電話ネットワーク、又はウェブサーバ１２２からのデータをこの例では、ウェブクライアント１２６に送信する他の手段とすることができる。ウェブサーバ１２２は、遠隔データリポジトリ１２０からの所望データを要求する。すると、ウェブサーバ１２２は、その要求したデータを、標準ビデオと３６０度ビデオの再生とリアルタイム表示を提供するウェブクライアント１２６に送る。ウェブクライアント１２６は映像データ、音声データ、及びあらゆる他のデータや情報をユーザ１３４に向けて再生する。ユーザ１３４は、検分及び分析を目的として３６０度の映像データと対話可能である。ユーザ１３４はまた、その映像データ、音声データ、及びあらゆる他のデータや情報をウェブクライアント１２６を使ってダウンロードして、バーチャルリアリティ装置１２８を使って検分及び分析を目的として３６０度の映像データと対話することができる。

【0024】

ウェブクライアント１２６は、様々な異なるモードで３６０度のビデオの再生を提供するソフトウェアアプリケーションで強化することができる。ユーザ１３４は、そのソフトウェアアプリケーションが、例えば、図４に示すように魚眼ビュー、図５に示すようにパノラマビュー、ダブルパノラマビュー（図示せず）、図６に示すようにクワッドビュー、図７に示すようにデワープビューなどのビデオ再生を提示するモードを選択することができる。

【0025】

図２は、本開示の一実装による、資産１３０からの映像データ、音声データ、及び／又は情報を記録する処理２００を示すフロー図である。映像管理システム１０４は、資産１３０内、資産１３０上、及びその近傍に配置された３６０度カメラ１０２及び固定カメラ１０６などの様々な入力コンポーネント２０２からデータ信号を受信する。映像管理システム１０４は、その映像データ、音声データ、及び／又は情報を、例えば、静止画像、サムネイル、静止画像シーケンス、又は圧縮ビデオフォーマットなどの業界標準フォーマットの任意の組み合わせを使用して、衝突保護メモリモジュール１１０及び第２の実施態様の衝突保護のない着脱式記憶装置２０４に記憶する。データエンコーダ１１４は、データ信号情報２０６を構成及び記録するために使用される構造化された一連のビットを含むレコードを作成する。準リアルタイムモードにおいて、映像管理システム１０４は、その映像データを衝突保護メモリモジュール１１０及び第２の実施態様の衝突保護のない着脱式記憶装置に記憶しつつ、遠隔データリポジトリ１２０、２０８にサムネイル又は非常に短い低解像度映像セグメントなどの限定映像データのみを送る。

【0026】

別の実施形態では、符号化されたレコードは、次に、一連のレコードを時系列順に、最大５分間のデータを含むレコードブロックに順次結合する搭載データマネジャ１１２に送信される。暫定レコードブロックは５分未満のデータを含み、フルレコードブロックは５分のフルデータを含む。各レコードブロックは、データ統合性チェックを含む、含まれている信号を完全に復号するのに必要なすべてのデータを含む。少なくとも、レコードブロックは開始レコードで開始し、終了レコードで終了する必要がある。

【0027】

符号化された信号データのすべてが、衝突保護メモリモジュール１１０及び第２の実施態様の衝突保護のない着脱式記憶装置に確実に保存されるようにするために、データレコーダ１０８が電力を失う場合、搭載データマネジャ１１２は、衝突保護メモリモジュール１１０及び第２の実施態様の衝突保護のない着脱式記憶装置に、暫定レコードブロックを所定の頻度で格納する。この所定頻度は設定可能及び／又は可変である。暫定レコードブロックは、少なくとも１秒に１回保存されるが、１０分の１秒毎に１回保存することもできる。暫定レコードブロックが保存される頻度は、各信号のサンプリングレート次第である。各暫定レコードブロックには、最後のフルレコードブロック以降のレコードのフルセットが含まれる。データレコーダ１０８は、各中間レコードブロックを記録するときに、衝突保護メモリモジュール１１０内の２つの一時的な記憶位置を交互に切り替えることができる。これにより、衝突保護メモリモジュール１１０へのデータ格納時にデータレコーダ１０８が電力を喪失しても、１秒を超えるデータの破損又は損失を防ぐことができる。新たな暫定レコードブロックは、一時的な衝突保護メモリ場所に保存されるたびに、その場所にある既存の以前に記憶された暫定レコードブロックを上書きする。

【0028】

この実装では、５分毎に、データレコーダ１０８が準リアルタイムモードにあれば、搭載データマネジャ１１２は、符号化された信号データの最後の５分を含むフルレコードブロックを衝突保護メモリモジュール１１０のレコードセグメント及び第２の実施態様の衝突保護のない着脱式記憶装置に格納し、５分間の映像データ、音声データ、及び／又は情報を含むフルレコードブロックのコピーを遠隔データマネジャ１１８に送信して、遠隔データリポジトリ１２０内に格納され、例えば、２年間などの所定の保存期間にわたって保存される。衝突保護メモリモジュール１１０及び第２の実施態様の衝突保護のない着脱式記憶装置は、規定された記憶期間、最新のレコードブロックのレコードセグメントを記憶する。この実装では、この期間はデータレコーダ１０８が衝突保護メモリモジュール１１０に動作又は映像データを２４時間の追加バッファを含めて保存しておかなければならない連邦政府規定期間であり、その後このセグメントは上書きされる。

【0029】

図３は、ウェブブラウザ又はバーチャルリアリティ装置を介して資産１３０からのデータ及び／又は情報を検分するための処理３００を示すフロー図である。事象が発生すると、又は遠隔に位置する認定ユーザ１３４が、ウェブクライアント１２６を介して衝突保護メモリモジュール１１０に格納されたビデオデータのセグメントを要求すると、搭載データマネジャ１１２は、その事象に応じて、無線データリンク１１６の帯域幅が与えられれば利用可能な最良の解像度で、リアルタイムにオフボードに映像データを送信し始める。遠隔に位置するユーザ１３４は、ネットワーク１２４を介してウェブサーバ１２２に要求を通信するウェブクライアント１２６を介して、指定のビューモード３０２で指定のビデオ及び／又はオーディオデータに対する要求を開始する。ウェブサーバ１２２は、遠隔データリポジトリ１２０からの指定の映像及び／又は音声データを要求し、要求された映像及び／又は音声データをネットワーク１２４を介してウェブクライアント１２６、３０４に送信する。ウェブクライアント１２６は、ユーザ１３４、３０６によって指定されたビューモードでビデオ及び／又はオーディオデータを表示する。ユーザ１３４はこれにより、その指定の映像及び／又は音声データをダウンロードして、バーチャルリアリティ装置１２８で見ることができる。別の実装では、リアルタイムモードにおいて、最初に１秒間隔でサムネイルが送信され、その後、低解像度ビデオの短いセグメント及び高解像度ビデオの短いセグメントが送信される。

【0030】

説明を簡単にするために、処理２００及び処理３００は、一連のステップとして示し、説明している。ただし、本開示によるステップは、様々な順序で及び／又は並行して実施することができる。また、本開示に従ったステップは、本明細書に提示及び記載していない他のステップと共に行うことができる。さらに、図示されたすべてのステップが、開示した主題による方法を実施するために必要とされるわけではない。

【0031】

本開示を特定の実施形態に関連して記載したが、本開示は開示された実施形態に限定されるものではなく、逆に、添付の請求範囲内に含まれる様々な修正及び均等な構成を包含することを意図するものである。その範囲は、法律で許容されるすべての修正及び均等な構成を包含するように最も広い解釈が与えられるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】