知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-16
(54)【発明の名称】データ圧縮システム及び使用方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20240808BHJP
【ＦＩ】
G06N20/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024514347
(86)(22)【出願日】2022-07-22
(85)【翻訳文提出日】2024-03-04
(86)【国際出願番号】 JP2022028441
(87)【国際公開番号】W WO2023032518
(87)【国際公開日】2023-03-09
(31)【優先権主張番号】17/467,282
(32)【優先日】2021-09-06
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【弁理士】
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】ヴィタル チャルヴィ
(72)【発明者】
【氏名】バイエ フロリアン
(72)【発明者】
【氏名】二瓶 浩一
(72)【発明者】
【氏名】逸身 勇人
(72)【発明者】
【氏名】岩井 孝法
(57)【要約】
システムは、命令を記憶するように構成される非一時的コンピュータ可読媒体と、非一時的コンピュータ可読媒体に接続されるプロセッサとを備える。プロセッサが、センサからの受信データに基づいてマスクを生成することであって、マスクが、複数の重要度値を含み、受信データの各領域が、複数の重要度値の対応する重要度値に指定される、こと、マスクに基づいて受信データを符号化すること、再構成データを定義するために符号化されたデータを復号機に送信すること、再構成データ、受信データ、及びマスクに基づいて損失を計算すること、および計算された損失に基づいて受信データを符号化するための符号化機に訓練を提供すること、のための命令を実行するように構成される。
【特許請求の範囲】
【請求項1】
命令を記憶するように構成される非一時的コンピュータ可読媒体と、前記非一時的コンピュータ可読媒体に接続されるプロセッサとを備え、前記プロセッサが、
センサからの受信データに基づいてマスクを生成することであって、前記マスクが、複数の重要度値を含み、前記受信データの各領域が、前記複数の重要度値の対応する重要度値に指定される、こと、
前記マスクに基づいて前記受信データを符号化すること、
再構成データを定義するために前記符号化されたデータを復号機に送信すること、
前記再構成データ、前記受信データ、及び前記マスクに基づいて損失を計算すること、および
前記計算された損失に基づいて前記受信データを符号化するための符号化機に訓練を提供すること、
のための前記命令を実行するように構成される、
システム。
【請求項2】
前記プロセッサが、前記再構成データを定義するために、前記受信データを復号する
ための前記命令を実行するように更に構成される、請求項１に記載のシステム。
【請求項3】
前記プロセッサが、前記センサに対する検出された物体の近接性に基づいて前記マスクを生成する
ための前記命令を実行するように更に構成される、請求項１に記載のシステム。
【請求項4】
前記プロセッサが、前記受信データに基づいて、検出された物体の検出された動きに基づいて前記マスクを生成する
ための前記命令を実行するように更に構成される、請求項１に記載のシステム。
【請求項5】
前記プロセッサが、前記受信データ内で前記検出された物体の各々の分類に基づいて前記マスクを生成する
ための前記命令を実行するように更に構成される、請求項１に記載のシステム。
【請求項6】
前記プロセッサが、前記受信データ及びグラウンドトゥルースセグメントに基づいてグラウンドトゥルースマスクを生成する
ための前記命令を実行するように更に構成される、請求項１に記載のシステム。
【請求項7】
前記プロセッサが、前記グラウンドトゥルースマスクに更に基づいて前記損失を計算する
ための前記命令を実行するように更に構成される、請求項６に記載のシステム。
【請求項8】
前記プロセッサが、前記再構成データ内の物体を検出する
ための前記命令を実行するように更に構成される、請求項１に記載のシステム。
【請求項9】
前記プロセッサが、前記再構成データ内の前記検出された物体に更に基づいて前記損失を計算する
ための前記命令を実行するように更に構成される、請求項８に記載のシステム。
【請求項10】
前記センサが、光検出及び測距（ＬｉＤＡＲ）センサを備える、請求項１に記載のシステム。
【請求項11】
前記プロセッサが、複数のプロセッサを備え、前記複数のプロセッサのうちの第１のプロセッサが、符号化機位置にあり、前記複数のプロセッサのうちの第２のプロセッサが、前記符号化機位置とは異なる復号機位置にある、請求項１に記載のシステム。
【請求項12】
センサからの受信データに基づいて、プロセッサを使用してマスクを生成することであって、前記マスクが、複数の重要度値を含み、前記受信データの各領域が、前記複数の重要度値の対応する重要度値に指定される、ことと、前記マスクに基づいて前記受信データを符号化することと、
再構成データを定義するために前記符号化されたデータを復号機に送信することと、
前記再構成データ、前記受信データ、及び前記マスクに基づいて損失を計算することと、
前記計算された損失に基づいて前記受信データを符号化するための符号化機に訓練を提供することと
を含む、方法。
【請求項13】
前記再構成データを定義するために、前記受信データを復号することを更に含む、請求項１２に記載の方法。
【請求項14】
前記マスクを生成することが、前記センサに対する検出された物体の近接性に基づいて前記マスクを生成することを含む、請求項１２に記載の方法。
【請求項15】
前記マスクを生成することが、前記受信データに基づいて、検出された物体の検出された動きに基づいて前記マスクを生成することを含む、請求項１２に記載の方法。
【請求項16】
前記マスクを生成することが、前記受信データ内で前記検出された物体の各々の分類に基づいて前記マスクを生成することを含む、請求項１２に記載の方法。
【請求項17】
前記受信データ及びグラウンドトゥルースセグメントに基づいてグラウンドトゥルースマスクを生成することを更に含む、請求項１２に記載の方法。
【請求項18】
前記損失を計算することが、前記グラウンドトゥルースマスクに基づいて前記損失を計算することを更に含む、請求項１７に記載の方法。
【請求項19】
前記再構成データ内の物体を検出することを更に含む、請求項１８に記載の方法。
【請求項20】
前記損失を計算することが、前記再構成データ内の前記検出された物体に基づいて前記損失を計算する、を更に含む、請求項１９に記載の方法。
【請求項21】
データを収集するように構成されるセンサと、命令を記憶するように構成される非一時的コンピュータ可読媒体と、
前記非一時的コンピュータ可読媒体に接続されるプロセッサであって、前記プロセッサが、前記収集されたデータに基づいてマスクを生成するための前記命令を実行するように構成され、前記マスクが、複数の重要度値を含み、前記収集されたデータの各領域が、前記複数の重要度値の対応する重要度値に指定される、プロセッサと、
前記収集されたデータ及び前記生成されたマスクを受信するように構成される符号化機であって、前記符号化機が、前記マスクに基づいて、前記収集されたデータを圧縮し、再構成データを定義するための復号機に前記圧縮されたデータを送信するように構成される、符号化機と
を備える、システム。
【請求項22】
命令を記憶するように構成される非一時的コンピュータ可読媒体であって、前記命令が、プロセッサに、センサからの収集されたデータに基づいてマスクを生成させ、前記マスクが、複数の重要度値を含み、前記収集されたデータの各領域が、前記複数の重要度値の対応する重要度値に指定され、
前記生成されたマスクに基づいて、前記収集されたデータを圧縮するように符号化機に命令させ、
再構成データを定義するための復号機に、前記圧縮されたデータを送信するように前記符号化機に命令させる、
非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、データ圧縮システム、及びデータ圧縮システムを使用する方法に関する。
【背景技術】
【0002】
自律運転は、センサからデータを収集し、そのデータを処理し、そのデータを任意の場所から別の場所に送信することを含む。センサによって収集されるデータの量は、極めて多い。結果として、送信及び処理されるデータの量の低減を支援するために、ツリーベースの表現がいくつかのシステムで使用されている。いくつかのシステムにおけるデータ圧縮技術は、センサから受信したデータのすべてを圧縮する。
【0003】
データを収集するために使用されるセンサの種類の例は、光検出及び測距（ＬｉＤＡＲ：ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）センサを含む。ＬｉＤＡＲセンサは、所定の間隔で光のビームを放射する。放射されたビームは、物体に接触し、センサに反射される。放射と検出との間の時間に基づいて、ＬｉＤＡＲセンサは、物体とセンサとの間の距離を決定し得る。
【発明の概要】
【0004】
本開示の第１の例示的な態様によれば、命令を記憶するように構成される非一時的コンピュータ可読媒体と、非一時的コンピュータ可読媒体に接続されるプロセッサと、を備えるシステムを提供する。プロセッサは、センサからの受信データに基づいてマスクを生成することであって、マスクが、複数の重要度値を含み、受信データの各領域が、複数の重要度値の対応する重要度値に指定される、こと、マスクに基づいて受信データを符号化すること、再構成データを定義するために、符号化されたデータを復号機に送信すること、再構成データ、受信データ、及びマスクに基づいて損失を計算すること、および計算された損失に基づいて受信データを符号化するための符号化機に訓練を提供することと、のための命令を実行するように構成される。
【0005】
本開示の第２の例示的な態様によれば、方法を提供し、方法は、センサからの受信データに基づいて、プロセッサを使用してマスクを生成することであって、マスクが、複数の重要度値を含み、受信データの各領域が、複数の重要度値の対応する重要度値に指定される、ことと、マスクに基づいて受信データを符号化することと、再構成データを定義するために符号化されたデータを復号機に送信することと、再構成データ、受信データ、及びマスクに基づいて損失を計算することと、計算された損失に基づいて受信データを符号化するための符号化機に訓練を提供することと、を含む。
【0006】
本開示の第３の例示的な態様によれば、システムを提供し、システムは、データを収集するように構成されるセンサと、命令を記憶するように構成される非一時的コンピュータ可読媒体と、非一時的コンピュータ可読媒体に接続されるプロセッサと、を備える。プロセッサは、収集されたデータに基づいてマスクを生成するための命令を実行するように構成され、マスクは、複数の重要度値を含み、収集されたデータの各領域は、複数の重要度値の対応する重要度値に指定される。システムは、収集されたデータ及び生成されたマスクを受信するように構成される符号化機を更に含む。符号化機は、マスクに基づいて、収集されたデータを圧縮し、再構成データを定義するための復号機に圧縮されたデータを送信するように構成される。
【0007】
本開示の第４の例示的な態様によれば、命令を記憶するように構成される非一時的コンピュータ可読媒体を提供し、命令は、プロセッサに、センサからの収集されたデータに基づいてマスクを生成させ、マスクが、複数の重要度値を含み、収集されたデータの各領域が、複数の重要度値の対応する重要度値に指定され、生成されたマスクに基づいて、収集されたデータを圧縮するように符号化機に命令させ、再構成データを定義するための復号機に圧縮されたデータを送信するように符号化機に命令させる。
【図面の簡単な説明】
【0008】
本開示の態様は、添付の図面と併せて読むことで、以下の詳細な説明から好適に理解可能である。業界の標準的な慣行に従って、様々な特徴を縮尺通りに描いていないことに留意されたい。実際、様々な特徴の寸法は、説明を明確にするために任意に増減する場合がある。
【図1】いくつかの実施形態による、データ圧縮システムの概略図である。
【図2】いくつかの実施形態による、データを圧縮する方法の流れ図である。
【図3A】いくつかの実施形態による、マスクを生成する方法の流れ図である。
【図3B】いくつかの実施形態による、センサによって受信された画像の図である。
【図3C】いくつかの実施形態による、センサによって受信された点群の図である。
【図3D】いくつかの実施形態による、センサデータに適用可能なマスクの図である。
【図4】いくつかの実施形態による、受信データに規則を適用する方法の流れ図である。
【図5】いくつかの実施形態による、グラウンドトゥルースマスクを生成する方法の流れ図である。
【図6】いくつかの実施形態による、データ圧縮システムを使用する方法の流れ図である。
【図7】いくつかの実施形態による、データ圧縮方法を実施するためのシステムのブロック図である。
【発明を実施するための形態】
【0009】
以下の開示は、提供される主題の様々な特徴を実装するための多くの様々な実施形態又は実施例を提供する。以下に、本開示を簡略化するために、構成要素、値、動作、材料、配置などの具体的な実施例を説明する。もちろん、これらは単なる実施例であり、限定することを意図しない。他の構成要素、値、動作、材料、配置などが考えられる。例えば、以下の説明における第２の特徴の上方又は上部への第１の特徴の形成は、第１の特徴及び第２の特徴が直接接触して形成される実施形態を含んでもよく、第１の特徴及び第２の特徴が直接接触しないように、第１の特徴と第２の特徴との間に追加の特徴が形成され得る実施形態も含んでもよい。更に、本開示は、様々な実施例において参照番号及び／又は文字を繰り返す場合がある。この繰り返しは、単純化及び明確化のためのものであり、それ自体は、説明した様々な実施形態及び／又は構成の間の関係を規定するものではない。
【0010】
更に、「真下（ｂｅｎｅａｔｈ）」、「下方（ｂｅｌｏｗ）」、「下部（ｌｏｗｅｒ）」、「上方（ａｂｏｖｅ）」、「上部（ｕｐｐｅｒ）」などの空間的に相対的な用語は、本明細書では、図に示すように、１つの要素又は特徴と別の要素又は特徴との関係を説明するための説明を容易にするために使用され得る。空間的に相対的な用語は、図に示す向きに加えて、使用中又は動作中のデバイスの様々な方向を包含することを意図している。装置は、他の方向に方向付け（９０度又は他の方向に回転）されてもよく、本明細書で使用する空間的に相対的な記述子は、それに応じて同様に解釈されてもよい。「及び／又は」という用語の使用は、各選択肢が個別に、又は他の選択肢のいずれか若しくはすべてと組み合わせて、使用可能であることを意味する。
【0011】
運転状態又は装置の自律運転又はリモート監視は、車両の周囲の連続的に変化する状態を識別し、説明するために、センサからデータを受信し、次いでデータを適時に処理及び送信すること、を含む。センサから受信したデータを圧縮することは、情報の送信時間の低減に役立つ。大量のデータを含んで送信すると、やはりいくらかの遅延時間が生じ、圧縮されたデータの復号時に誤ったデータのリスクが高まる。センサによって受信されたデータに基づいたマスクの生成、及びデータの送信時に、すなわち符号化機によるマスクの適用によって、処理時間及び送信時間の更なる低減は、自律運転及びリモート監視に利用されるデータの速度及び精度の向上に役立つ。
【0012】
送信されるデータへのマスクの適用は、受信データの一部の除去、又は受信データの一部の重要度の低減に役立つ。車両に最も大きな影響を与える可能性が高い受信データの部分を対象にすることによって、処理及び送信されるデータの量が低減される。その結果、処理負荷、送信負荷及び遅延時間が低減される。したがって、自律運転又はリモート監視は、最も高い重要度で最も関連性のある検出された物体に、好適に応答し得る。また、送信データ量の低減は、送信データの復号におけるエラーのリスクを低減する。
【0013】
いくつかの実施形態では、マスクは、人工知能（ＡＩ）を使用して開発され、更新される。更に、ユーザ入力情報は、マスクを更に明確にし、調整し得る。いくつかの実施形態では、マスクは、受信データのどの部分が高い重要度を有するかを決定するための規則の組合せに基づいて開発される。圧縮されたデータの復号後に最初に受信されたデータと再構成データとの間の変動を決定することによって、機械学習によって生成されたマスク及び符号化プロセスを更新して、データ圧縮システムの性能を継続的に改善し得る。
【0014】
以下では、光検出及び測距（ＬｉＤＡＲ）センサを中心に説明する。しかしながら、当業者は、データ圧縮システムが、可視光センサ、赤外光センサ、電波探知機（ＲＡＤＡＲ：ｒａｄｉｏ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）、音響測深機（ＳＯＮＡＲ：ｓｏｕｎｄ ｎａｖｉｇａｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）、又は他の適切なセンサ技術などの他の種類のセンサと共に使用可能であることを理解するであろう。
【0015】
図１は、いくつかの実施形態による、データ圧縮システム１００の概略図である。データ圧縮システム１００は、後述するプロセッサ７０２（図７）などの１つ又は複数のプロセッサを使用して実装される。データ圧縮システム１００は、少なくとも１つのセンサからデータ１０５を受信するように構成される。データ圧縮システム１００は、例えば、グラフィカルユーザインターフェース（ＧＵＩ）などの入力／出力（Ｉ／Ｏ）インターフェースを使用してユーザから追加情報１１０を受信するように更に構成される。追加情報１１０及びデータ１０５は、例えば、符号化機１３０に接続されるプロセッサを使用して、マスク１２０を生成するために使用される。符号化機１３０は、マスク１２０とデータ１０５との両方を受信する。どの情報がどの順序で情報を送信するかを決定するために、マスク１２０は、符号化機においてデータ１０５に適用される。符号化機１３０は、圧縮されたデータ１３７を生成するために、データ１０５にマスクを適用するように構成される。次いで、圧縮されたデータ１３７は、例えば送信機によって、ネットワーク１３５を使用して符号化機１３０から復号機１４０に送信される。復号機１４０は、再構成データ１５０を生成するために、例えば、復号機１４０に接続されるプロセッサを使用して、圧縮されたデータ１３７を再構成する。再構成データ１５０は、車両又は別のリモートに監視される物体の制御を調整するか否かを決定するために、自律運転車両又はリモート監視装置によって使用可能である。更に、データ１０５とマスク１２０とを組み合わせた再構成データ１５０は、例えば、元の受信データ１０５と再構成データ１５０との間の符号化機１３０又は復号機１４０に接続されるプロセッサを使用して、損失１６５を決定するために使用される損失計算機１６０によって受信される。損失１６５を決定することによって、マスク１２０、並びに符号化機１３０及び復号機１４０は、データ圧縮システム１００の性能を改善するように訓練され得る。
【0016】
更に、データ圧縮システム１００は、例えばユーザからの受信グラウンドトゥルース（ＧＴ：ｇｒｏｕｎｄ ｔｒｕｔｈ）セグメント１７５及び追加情報１７７に基づいて、例えば符号化機１３０又は復号機１４０に接続されるプロセッサを使用して、ＧＴマスク１７０を生成し得る。ＧＴマスク１７０は、マスク１２０を訓練するために使用可能である。既知のデータを使用してＧＴマスク１７０を生成するので、ＧＴマスク１７０は、物体検出結果に誤差がない。ＧＴセグメント１７５は、ＧＴマスク１７０を開発するために使用されるデータ内の既知の物体セグメントである。追加情報１７７は、ＧＴマスク１７０を生成するために、例えば、符号化機１３０又は復号機１４０に接続されるプロセッサを使用して、ＧＴセグメント１７５に適用される規則である。いくつかの実施形態では、追加情報１７７は、追加情報１１０と同じである。いくつかの実施形態では、追加情報１７７は、追加情報１１０とは異なる。ＧＴマスク１７０の結果は、損失計算機１６０によって使用可能であり、損失１６５を更に正確に決定するために、例えば、符号化機１３０又は復号機１４０に接続されるプロセッサを使用して、実装する。いくつかの実施形態では、ＧＴマスク１７０を省略する。ＧＴマスク１７０を省略することにより、データ圧縮システム１００の処理負荷が低減される。
【0017】
更に、データ圧縮システム１００の物体検出機１８０は、再構成データ１５０内の物体を検出するために、再構成データ１５０を使用し得る。物体検出機１８０の出力は、データ圧縮システム１００の精度を更に向上させるために、追加の物体検出損失を計算する損失計算機１６０によって使用可能である。いくつかの実施形態では、物体検出機１８０を省略する。物体検出機１８０を省略することにより、データ圧縮システム１００の処理負荷を低減する。しかしながら、物体検出機１８０を省略すると、マスク１２０の訓練の精度が低下するリスクが増加する。
【0018】
データ１０５は、少なくとも１つのセンサによって検出可能な領域の三次元（３Ｄ）表現又は二次元（２Ｄ）表現のいずれかを含む。いくつかの実施形態では、少なくとも１つのセンサは車両に搭載される。いくつかの実施形態では、少なくとも１つのセンサは、様々な車両に搭載される。いくつかの実施形態では、少なくとも１つのセンサは、交通信号又は道路標識などの固定物体に搭載される。いくつかの実施形態では、データ１０５は、複数のセンサから受信される。いくつかの実施形態では、すべてのセンサは、同じ種類のセンサ、例えばＬｉＤＡＲを含む。いくつかの実施形態では、センサのうちの少なくとも１つは、例えばＬｉＤＡＲ及び可視光センサなどの少なくとも１つの他のセンサとは異なる種類のセンサである。いくつかの実施形態では、データ１０５は点群を含む。
【0019】
追加情報１１０は、マスク１２０がどのように生成されるかを決定するための規則を含む。いくつかの実施形態では、追加情報１１０はユーザから受信される。いくつかの実施形態では、データ圧縮システム１００は、損失１６５が所定の閾値よりも高いことに応答してユーザに警告するように構成される。損失は、データ圧縮システム１００の訓練中に計算される。データ圧縮システムが完全に訓練されると、損失計算を省略する。いくつかの実施形態では、ユーザへの警告は、音声警告、テキスト警告、又は別の適切な警告を含む。いくつかの実施形態では、警告は、ユーザがアクセス可能な携帯端末に送信される。いくつかの実施形態では、ユーザは、データ圧縮システム１００の訓練に対する更新を要求し得る。
【0020】
いくつかの実施形態では、追加情報１１０は、センサからの物体の距離に基づく規則を含む。例えば、ＬｉＤＡＲに１つ又は複数の閾値を適用すると、データは、最初に物体検出を実施することなく、受信データ内の異なる画素の重要度レベルの決定を助け得る。以下の説明を、一例として提供する。当業者は、追加の実装及び規則が本開示の範囲内にあることを理解するであろう。センサから第１の閾値距離内にあるとセンサによって検出された第１の物体を含むデータ１０５の第１の部分は、第１の重要度値、例えば１．０値に指定される。センサからの第１の閾値距離から第２の閾値距離までにあるセンサによって検出された第２の物体を含むデータ１０５の第２の部分は、第２の重要度値、例えば０．５値に指定される。センサから第２の閾値距離よりも遠いセンサによって検出された第３の物体を含むデータ１０５の第３の部分は、第３の重要度値、例えば０値に指定される。データ１０５の各部分は、センサと、対応する領域内の任意の検出された物体との間の近接性を決定するために分析される。センサによる物体の検出は、必ずしも物体の分類、又は物体の種類の決定を含まず、センサの検出された近接性内の物体の存在の決定のみを含む。例えば、いくつかの実施形態では、ＬｉＤＡＲデータは、センサからのデータの画素ごとの距離を提供する。ＬｉＤＡＲデータに１つ又は複数の閾値を適用することにより、受信データ内の様々な画素の重要度レベルを決定し得る。
【0021】
いくつかの実施形態では、第１の距離閾値及び第２の距離閾値は、ユーザによって決定される。いくつかの実施形態では、第１の距離閾値及び第２の距離閾値は、データ圧縮システム１００によって決定又は推奨される。いくつかの実施形態では、第１の距離閾値及び／又は第２の距離閾値は、固定値である。いくつかの実施形態では、第１の距離閾値及び／又は第２の距離閾値は、データ圧縮システム１００に知られている様々なパラメータに基づいて変化する。例えば、いくつかの実施形態では、第１の距離閾値及び／又は第２の距離閾値は、車両の速度が増加するにつれて増加する。いくつかの実施形態では、第１の距離閾値及び／又は第２の距離閾値は、センサの検出可能範囲が減少するにつれて減少する。例えば、悪天候時又はセンサが汚れたとき、第１の距離閾値及び／又は第２の距離閾値は、データ内に大きな影響を与えるノイズ成分を有するデータからの更なる損失を回避するために増加される。いくつかの実施形態では、第１の距離閾値及び／又は第２の距離閾値は、道路の検出された経路に基づいて調整される。例えば、第１の距離閾値及び／又は第２の距離閾値は、直線道路よりもカーブを有する道路では小さい。いくつかの実施形態では、道路の経路は、データ圧縮システム１００に記憶された全地球測位システム（ＧＰＳ）からのマップ及びデータに基づいて決定される。いくつかの実施形態では、３つ以上の距離閾値が使用される。距離閾値の数が増加するにつれて、マスク１２０の正確さ及び精度が向上するが、しかしながら、データ圧縮システムの処理負荷は増大する。いくつかの実施形態では、第１の距離閾値は、２００メートル（ｍ）にほぼ等しい。いくつかの実施形態では、第１の距離閾値は、約１００ｍ～約５００ｍの範囲である。第１の距離閾値が極めて大きい場合、場合によっては、再構成データ１５０が不正確であるリスクが減少する。第１の距離閾値が小さすぎると、場合によっては、データ圧縮システム１００の処理負荷が過大になる。いくつかの実施形態では、第２の距離閾値は、５００ｍにほぼ等しい。いくつかの実施形態では、第２の距離閾値は、約３００ｍ～約７５０ｍの範囲である。第２の距離閾値が大きすぎる場合、場合によっては、データ圧縮システム１００の処理負荷が過大になる。第２の距離閾値が小さすぎる場合、場合によっては、再構成データ１５０が不正確であるリスクが増加する。
【0022】
いくつかの実施形態では、追加情報１１０は、センサによって検出された物体の分類に基づく規則を含む。以下の説明を、一例として提供する。当業者は、追加の実装及び規則が本開示の範囲内にあることを理解するであろう。物体の分類は、どの種類の物体が検出されるかを決定する。例えば、自動車、自転車、歩行者、建物など。決定された物体の種類に基づいて、重要度値が、検出された物体に割り当てられる。データ１０５に基づいて決定された第１の物体カテゴリは、第１の重要度値、例えば１．０値に指定される。データ１０５に基づいて決定された第２の物体分類は、第２の重要度値、例えば０．６値に指定される。データ１０５に基づいて決定された第３の物体分類は、第３の重要度値、例えば０．４値に指定される。データ１０５に基づいて決定された第４の物体分類は、第４の重要度値、例えば０値に指定される。データ１０５の各部分は、分類のいずれかの物体が、対応する領域内にあるか否かを決定するために分析される。いくつかの実施形態では、物体分類の各々における物体の種類は、ユーザによって決定される。いくつかの実施形態では、物体分類の各々における物体の種類は、道路に対する物体の位置に基づいて自動的に決定される。例えば、ＧＰＳ情報は、検出された物体と道路との間の相対位置を決定するために使用可能である。いくつかの実施形態では、物体分類の各々における物体の種類は、物体の検出されたサイズに基づいて自動的に決定される。いくつかの実施形態では、物体分類の各々における物体の種類は、検出された物体の予測された可動速度に基づいて自動的に決定される。例えば、検出された車両は、人又は自転車よりも速い可動速度を有すると予測される。いくつかの実施形態では、パラメータの様々な組合せを使用して、検出された物体を自動的に分類する。
【0023】
いくつかの実施形態では、第１の物体カテゴリは、車両、歩行者及び／又は自転車を含む。いくつかの実施形態では、第２の物体分類は、道路、歩道、及び／又は道路標識を含む。いくつかの実施形態では、第３の物体分類は、建物、樹木、フェンス、電柱、及び／又は電信柱を含む。いくつかの実施形態では、第４の物体分類は、空及び／又は飛行物体を含む。
【0024】
いくつかの実施形態では、追加情報１１０は、検出された物体の検出された速度に基づく規則を含む。以下の説明を、一例として提供する。当業者は、追加の実装及び規則が本開示の範囲内にあることを理解するであろう。様々な時間に収集されたデータ１０５を使用して、データ圧縮システム１００は、センサに対する検出された物体の位置の変化を決定し得る。決定された位置の変化に基づいて、データ圧縮システム１００は、センサに対する検出された物体の速度を決定し得る。速度は、検出された物体の速度と移動方向との両方を含む。データ１０５に基づいて高速でセンサに向かって移動していると決定された第１の物体は、第１の重要度値、例えば１．０値に指定される。データ１０５に基づいて低速でセンサに向かって移動していると決定された第２の物体は、第２の重要度値、例えば０．６値に指定される。データ１０５に基づいて低速でセンサから離れて移動していると決定された第３の物体は、第３の重要度値、例えば０．４値に指定される。データ１０５に基づいて高速でセンサから離れて移動していると決定された第４の物体は、第４の重要度値、例えば０値に指定される。データ１０５の各部分は、分類のいずれかの物体が、対応する領域内にあるか否かを決定するために分析される。速度閾値は、検出された物体が、高速で、又は低速で移動しているかを決定するために使用可能である。速度閾値以上の速度であると決定された検出された物体は、高速であると決定され、速度閾値未満の速度であると決定された検出された物体は、低速であると決定される。いくつかの実施形態では、速度閾値はユーザによって設定される。いくつかの実施形態では、速度閾値は、データ圧縮システム１００によって設定又は推奨される。いくつかの実施形態では、速度閾値は固定値である。いくつかの実施形態では、速度閾値は調整可能である。いくつかの実施形態では、速度閾値は、システム、検出された道路状況、検出された視認性状況、又は他の適切なパラメータを含む車両の速度に基づいて調整される。いくつかの実施形態では、速度閾値は、時速６０キロメートル（ｋｍ／ｈ）にほぼ等しい。いくつかの実施形態では、速度閾値は、約２０ｋｍ／ｈ～約１００ｋｍ／ｈの範囲である。速度閾値が大きすぎる場合、場合によっては、マスク１２０の不正確さのリスクが増加する。速度閾値が小さすぎる場合、場合によっては、データ圧縮システム１００の処理負荷は、性能の顕著な改善なしに増加する。
【0025】
当業者は、いくつかの実施形態では、規則について上述した特定の実施例の組合せが、様々な組合せで組合せ可能であることを認識するであろう。例えば、いくつかの実施形態では、物体距離と分類との組合せを使用して、検出された物体の重要度値を指定する。当業者はまた、いくつかの実施形態では、追加の又はいくつかのレベルの重要度値が使用可能であることを認識するであろう。重要度値レベルの数が増加するにつれて、場合によっては、データ圧縮システム１００の処理負荷が増加する。重要度値レベルの数が減少するにつれて、場合によっては、再構成データ１５０の不正確さのリスクが増加する。
【0026】
マスク１２０は、データ１０５と追加情報１１０とに基づいて生成される。マスク１２０を生成することは、センサからのデータ１０５に追加情報１１０の規則を適用することを含む。データ１０５は、１つ又は複数の画素を含む領域に分離される。データ１０５の領域の各々には、追加情報１１０に基づいて重要度値が割り当てられる。データ１０５の領域の数が増加すると、データ圧縮システム１００の処理負荷が増加する。しかしながら、データ１０５の領域の数が増加するにつれて、再構成データ１５０の精度が向上する。いくつかの実施形態では、データ１０５の領域の数が予め決定される。いくつかの実施形態では、データ１０５の領域の数は、異なるパラメータに基づいて変化する。例えば、いくつかの実施形態では、領域１０５の数は、センサが搭載された車両の速度が増加するにつれて減少する。これにより、データ圧縮システム１００の処理負荷を低減し、データ１０５の収集と再構成データ１５０の出力との間の遅延時間を低減する。
【0027】
符号化機１３０は、マスク１２０に基づいてデータ１０５から特徴を抽出する。いくつかの実施形態では、マスク１２０内の高い重要度値に対応するデータ１０５の部分は、低い重要度値を有するデータ１０５の部分の前に抽出される。いくつかの実施形態では、高い重要度値を有するデータ１０５の部分は、低い重要度値を有するデータ１０５の部分よりも高い分解能で抽出される。いくつかの実施形態では、優先度抽出と高い分解能との組合せが符号化機１３０によって利用される。いくつかの実施形態では、符号化機１３０は、残差ネットワーク、例えばＲｅｓＮｅｔ－５０、又は完全畳み込み残差ネットワークを含む。いくつかの実施形態では、符号化機１３０は、膨張畳み込み層、又はストライド畳み込み層（ｓｔｒｉｄｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ）を含む。符号化機１３０は、ネットワーク１３５によって送信される圧縮されたデータ１３７を生成する。いくつかの実施形態では、高い重要度値を有するデータ１０５に対応する圧縮されたデータ１３７の部分は、低い重要度値を有するデータ１０５に対応する圧縮されたデータ１３７の部分の送信前に送信される。
【0028】
いくつかの実施形態では、送信機又はトランシーバは、ネットワーク１３５を介して、圧縮されたデータ１３７を送信するためにデータ圧縮システム１００によって利用される。いくつかの実施形態では、ネットワーク１３５は無線ネットワークである。いくつかの実施形態では、ネットワーク１３５は有線ネットワークである。いくつかの実施形態では、圧縮されたデータ１３７は、複数の場所、例えば、車両内の復号機１４０並びにリモート監視装置に送信される。
【0029】
復号機１４０は、再構成データ１５０を形成するために、ネットワーク１３５から受信した圧縮されたデータ１３７を再構成する。いくつかの実施形態では、ネットワーク１３５から、圧縮されたデータ１３７を受信するために、受信機又はトランシーバは、データ圧縮システム１００によって利用される。いくつかの実施形態では、復号機１４０は、残差ネットワーク、例えばＲｅｓＮｅｔ－５０、又は完全畳み込み残差ネットワークを含む。いくつかの実施形態では、復号機１４０は、膨張畳み込み層、又はストライド畳み込み層を含む。
【0030】
再構成データ１５０は、データ１０５に基づいており、自律運転システム（図示せず）、又はリモート監視装置（図示せず）によって使用可能である。いくつかの実施形態では、データ１０５の部分、例えば重要度値が低い部分は、再構成データ１５０から欠落している。いくつかの実施形態では、再構成データ１５０の部分、例えば低い重要度値である部分は、再構成データ１５０の他の部分、例えば高い重要度値である部分よりも低い分解能である。いくつかの実施形態では、再構成データ１５０は、リモート監視装置によって見ることができる画像として提供される。いくつかの実施形態では、再構成データ１５０は、例えば自律運転又はリモート監視のために、プロセッサによって読み取り可能な情報を含む。
【0031】
データ圧縮システム１００は、他の手法と比較して、再構成データ１５０を生成するための処理負荷を低減する。再構成データ１５０の生成において、データ１０５の分解能を低減する、又はデータ１０５の一部を除外することによって、再構成データ１５０の関連情報を大幅に失うことなく、受信側の処理負荷が低減される。関連情報を維持しながら処理負荷を低減することは、自律運転システムがより迅速かつ正確に危険を識別し得ることを意味する。
【0032】
損失計算機１６０は、データ１０５が正確に符号化され、送信され、復号されたか否かを決定するために、マスク１２０も使用しつつ再構成データ１５０を検出されたデータと比較する。いくつかの実施形態では、損失計算機１６０は、重要度ベースの平均二乗誤差損失アルゴリズムに基づいて損失１６５を決定する。例えば、いくつかの実施形態では、損失１６５を、以下の式（１）を使用して決定し、
ここで、ｘｉは、画素又は画素グループの元のデータ１０５であり、ｙｉは、画素又は画素グループの再構成データ１５０であり、Ｍｉは、画素又は画素グループに指定された重要度である。
【数1】
【0033】
損失１６５は、符号化機１３０及び復号機１４０を訓練して再構成データ１５０の精度を向上させるために、データ圧縮システム１００にフィードバックされる。いくつかの実施形態では、損失１６５は、後述するように、マスク１２０の生成を改善するために使用される。
【0034】
ＧＴマスク１７０は、ＧＴセグメント１７５及び追加情報１７７によって提供される既知の情報に基づいて生成される。ＧＴマスク１７０は、マスク１２０の生成と同様に生成される。いくつかの実施形態では、追加情報１７７は、追加情報１１０と一致する。いくつかの実施形態では、マスク１２０の生成に使用されるデータ１０５の領域の数は、ＧＴマスク１７０の生成のためにＧＴセグメント１７５に適用される領域の数に等しい。いくつかの実施形態では、データ１０５は、ＧＴマスク１７０の生成中に物体分類などの既知の情報をデータ１０５に適用するために、ＧＴマスク１７０の生成に使用される。ＧＴマスク１７０は、損失１６５を決定するために、損失計算機１６０に供給される。
【0035】
損失計算機１６０がＧＴマスク１７０を受信するいくつかの実施形態では、損失計算機１６０は、マスク損失と、重要度ベースの平均二乗誤差損失アルゴリズムとの組合せに基づいて、損失１６５を決定する。例えば、いくつかの実施形態では、損失１６５を、以下の式（２）を使用して決定し、
ここで、ｘｉは、画素又は画素グループの元のデータ１０５であり、ｙｉは、画素又は画素グループの再構成データ１５０であり、Ｍｉは、画素又は画素グループに指定された重要度であり、ＭＧＴは、ＧＴマスク１７０であり、Ｍは、マスク１２０である。Ｍ及びＭＧＴは行列である。いくつかの実施形態では、差の単なる合計の代わりに、差の平均が使用される。行列を組み合わせるために、行列の各々のすべての要素にわたる平均が使用される。
【数2】
【0036】
物体検出機１８０は、再構成データ１５０に基づいて物体を検出するように構成される。いくつかの実施形態では、物体検出機１８０は、再構成データ１５０からの検出された物体を分類する。いくつかの実施形態では、物体検出機１８０は、検出された物体を強調表示するために、リモート監視装置によって見ることができる再構成データ１５０を変更する。例えば、いくつかの実施形態では、ボックス又は他の識別システムが、リモート監視装置の注意を引くために、検出された物体の周りに、又はそれに隣接して配置される。いくつかの実施形態では、強調表示は、検出された物体の分類に基づいて実施される。例えば、いくつかの実施形態では、車両は強調表示されるが、樹木は、強調表示されない。物体を検出することはまた、自律運転システムの正確な車両の制御に、及び他の物体との潜在的な衝突の回避に役立つ。
【0037】
損失計算機１６０が物体検出機１６０の結果を受信するいくつかの実施形態では、損失計算機１６０は、物体損失と、重要度ベースの平均二乗誤差損失アルゴリズムとの組合せに基づいて、損失１６５を決定する。物体損失は、検出された物体ごとの分類損失及び回帰損失の平均の合計である。分類損失及び回帰損失の各々は、交差エントロピー損失である。いくつかの手法では、物体検出における分類損失を、以下の式（３）を使用して決定し、
ここで、Ｎは、検出される物体の数であり、ｌｏｓｓｃｌａｓｓｉは、検出された物体の分類損失である。式（３）では、物体の重要度を考慮しない。いくつかの実施形態では、分類損失を、以下の式（４）を使用して決定し、
ここで、Ｎは、検出される物体の数であり、ｌｏｓｓｃｌａｓｓｉは、検出された物体の分類損失であり、Ｍｉは、検出された物体の重要度である。式（４）は、検出された物体の重要度を含む。その結果、重要な物体は、分類損失計算全体においてより大きな影響がある。
【数3】
【数4】
【0038】
いくつかの手法では、回帰損失を、以下の式（５）を使用して決定し、
ここで、Ｎは、検出される物体の数であり、ｌｏｓｓｒｅｇｉは、検出された物体の回帰損失である。式（５）では、物体の重要度を考慮しない。いくつかの実施形態では、回帰損失を、以下の式（６）を使用して決定し、
ここで、Ｎは、検出される物体の数であり、ｌｏｓｓｒｅｇｉは、検出された物体の回帰損失であり、Ｍｉは、検出された物体の重要度である。式（６）は、検出された物体の重要度を含む。その結果、重要な物体は、全体的な回帰損失計算においてより大きな影響がある。
【数5】
【数6】
【0039】
いくつかの実施形態では、検出される物体の重要度Ｍｉは、対応する検出された物体を含む再構成データ１５０の画素グループを決定することによって計算される。重要度決定が、画素グループを用いて、画素ごとに実施される。いくつかの実施形態では、重要度決定は、追加情報１１０に関して上述した重要度決定と同様である。次いで、重要度決定は画素のグループ全体にわたって平均化される、すなわち、画素ごとの重要度値が加算され、次いで画素グループ内の画素数で除算される。
【0040】
いくつかの実施形態では、損失１６５を、以下の式（７）を使用して決定し、
ここで、ｌｏｓｓＩＭＳＥは、平均二乗誤差損失であり、ｌｏｓｓｃｌａｓｓは、分類損失であり、ｌｏｓｓｒｅｇは、回帰損失である。
【数7】
【0041】
図２は、いくつかの実施形態による、データを圧縮する方法２００の流れ図である。いくつかの実施形態では、方法２００は、データ圧縮システム１００によって実行可能である。動作２０５において、データが収集される。いくつかの実施形態では、データは、単一のセンサから収集される。いくつかの実施形態では、データは、複数のセンサから収集される。いくつかの実施形態では、センサの各々は、同じ種類のセンサである。いくつかの実施形態では、少なくとも１つのセンサは、少なくとも１つの他のセンサとは異なる。いくつかの実施形態では、センサは、ＬｉＤＡＲ、可視光センサ、ＩＲ光センサ、ＲＡＤＡＲ、ＳＯＮＡＲ、又は別の適切な種類のセンサのうちの少なくとも１つを含む。いくつかの実施形態では、動作２０５で収集されたデータは、データ１０５（図１）に対応する。
【0042】
動作２１０において、マスクが、例えば符号化機１３０（図１）に接続されるプロセッサを使用して生成される。マスクは、動作２１２において、動作２０５で収集されたデータを前処理し、かつ動作２１４において、前処理されたデータに規則を適用することによって生成される。いくつかの実施形態では、適用される規則は、追加情報１１０（図１）に基づく。いくつかの実施形態では、前処理は、検出された物体の分類を含む。いくつかの実施形態では、前処理は、各検出された物体の速度の決定を含む。いくつかの実施形態では、前処理は、対応するセンサからの各検出された物体の距離を決定すること、を含む。いくつかの実施形態では、前処理を省略する。例えば、センサがＬｉＤＡＲを含むいくつかの実施形態では、センサと各検出された物体との間の距離は既に決定されているため、センサと検出された物体との間の距離を決定するための前処理は不要である。いくつかの実施形態では、センサがＬｉＤＡＲであるときでも、物体分類を決定するための前処理が実施されることを当業者は理解するであろう。いくつかの実施形態では、動作２１０は、マスク１２０（図１）を生成する。
【0043】
動作２１５において、データは、動作２１０において生成されたマスクに基づいて、符号化機、例えば符号化機１３０（図１）によって符号化される。いくつかの実施形態では、データを符号化することは、重要度値が低いデータの部分の分解能を低減する、ことを含む。データを符号化すると、圧縮されたデータ、例えば圧縮されたデータ１３７（図１）が生成される。
【0044】
動作２２０において、圧縮されたデータは、例えば送信機を使用して送信される。いくつかの実施形態では、圧縮されたデータは、無線ネットワークを介して送信される。いくつかの実施形態では、圧縮されたデータは、有線ネットワークを使用して送信される。いくつかの実施形態では、ネットワークは、ネットワーク１３５（図１）を含む。
【0045】
動作２２５において、送信されたデータは、復号機、例えば復号機１４０（図１）によって復号される。送信されたデータを復号すると、再構成データ、例えば再構成データ１５０（図１）が生成される。再構成データは、動作２０５で収集されたデータとは異なる。いくつかの実施形態では、再構成データの部分は、動作２０５で収集されたデータの対応する部分と比較して低い分解能である。
【0046】
動作２３０において、車両は、例えば、符号化機１３０又は復号機１４０（図１）に接続されるプロセッサを使用して、再構成データに基づいて制御されるか、あるいは再構成データがリモートに監視される。車両が自律運転システムを含むいくつかの実施形態では、再構成データを使用して、検出された物体を回避するように車両を制御する。リモート監視が実施されるいくつかの実施形態では、再構成データは、リモート監視装置に提供される。
【0047】
データ圧縮方法２００は、他の手法と比較して、動作２０５におけるデータの収集と、動作２２５における再構成データの生成との間の遅延時間を低減する。動作２２５における再構成データの生成において、動作２０５において収集されたデータの分解能を低減することによって、又はそのデータの一部を除外することによって、再構成データの関連情報を大幅に失うことなく、遅延時間が低減される。関連情報を維持しつつ遅延時間を短縮することは、自律運転システムが、検出された物体により応答し得ること、及び／又はリモート監視装置が、危険をより迅速かつ正確に識別し得ること、を意味する。
【0048】
任意選択の動作２３５において、グラウンドトゥルースマスクは、例えば、符号化機１３０（図１）に接続されるプロセッサを使用して生成される。グラウンドトゥルースマスクは、フィードバックプロセスの一部として動作２１０におけるマスクの生成の改善を助けるために、既知のデータに基づいて生成される。いくつかの実施形態では、グラウンドトゥルースマスクは、ＧＴマスク１７０（図１）に対応する。いくつかの実施形態では、マスクが機械学習の代わりに規則に基づいて生成されるとき、動作２３５を省略する。いくつかの実施形態では、処理負荷を低減するために、動作２３５を省略する。
【0049】
任意選択の動作２４０において、物体検出が再構成データに対して実施される。いくつかの実施形態では、物体検出は、物体検出機１８０（図１）を使用して実施される。物体検出は、再構成データ内の物体を識別する。いくつかの実施形態では、物体検出は、検出された物体を強調表示するために、リモート監視装置によって見ることができる再構成データを変更する。例えば、いくつかの実施形態では、ボックス又は他の識別システムが、リモート監視装置の注意を引くために、検出された物体の周りに、又はそれに隣接して配置される。いくつかの実施形態では、強調表示は、検出された物体の分類に基づいて実施される。例えば、いくつかの実施形態では、車両は強調表示されるが、樹木は、強調表示されない。物体を検出することはまた、自律運転システムのより正確な車両の制御に、及び他の物体との潜在的な衝突の回避に役立つ。いくつかの実施形態では、動作２４０を省略する。いくつかの実施形態では、処理負荷を低減するために、動作２４０を省略する。
【0050】
動作２４５において、損失は、例えば、符号化機１３０又は復号機１４０（図１）に接続されるプロセッサを使用して、回帰損失、分類損失、及び平均二乗誤差損失の組合せに基づいて計算される。いくつかの実施形態では、損失は、重要度ベースの平均二乗誤差損失を使用して計算される。いくつかの実施形態では、損失はグラウンドトゥルースマスクに基づいて計算される。いくつかの実施形態では、損失は、再構成データに対して実施された物体検出に基づいて計算される。いくつかの実施形態では、損失は、損失１６５（図１）に対応する。
【0051】
動作２５０において、マスク、符号化機、及び復号機は、例えば、符号化機１３０及び／又は復号機１４０（図１）に接続される１つ又は複数のプロセッサを使用して、動作２４５において計算された損失に基づいて更新される。いくつかの実施形態では、符号化機及び復号機のみを更新する。更新は、再構成データの精度の向上に役立ち、自律運転システム又はリモート監視システムの信頼性を向上させる。
【0052】
いくつかの実施形態では、方法２００における動作の順序を調整する。例えば、いくつかの実施形態では、動作２３５におけるグラウンドトゥルースマスクは、動作２１５におけるデータの符号化の前に、例えば、符号化機１３０（図１）に接続されるプロセッサを使用して生成される。いくつかの実施形態では、追加の動作が方法２００に含まれる。例えば、いくつかの実施形態では、警告は、リモート監視装置に送信されるように生成される。いくつかの実施形態では、警告は、音声警告、テキスト警告、又は別の適切な警告を含む。いくつかの実施形態では、警告は、リモート監視装置の携帯端末に送信される。いくつかの実施形態では、方法２００の動作を削除する。例えば、いくつかの実施形態では、動作２０５で収集されたデータの前処理が不要な場合、動作２１２を省略する。
【0053】
図３Ａは、いくつかの実施形態による、マスクを生成する方法３００の流れ図である。いくつかの実施形態では、方法３００は、方法２００（図２）の動作２１０を実施するために使用可能である。いくつかの実施形態では、方法３００は、マスク１２０（図１）を生成するために使用可能である。データ３０５は、センサから受信される。いくつかの実施形態では、データ３０５は、データ１０５（図１）と同様である。
【0054】
動作３２０において、マスクが、例えば符号化機１３０（図１）に接続されるプロセッサを使用して生成される。動作３２５において、例えば符号化機１３０（図１）に接続されるプロセッサを使用して、前処理がデータ３０５に対して実施される。追加情報は、動作３２５と動作３２７との両方によって使用可能になるように動作３２０に提供される。いくつかの実施形態では、前処理は、いくつかの実施形態では、追加情報３１０に依存せずに実施される。いくつかの実施形態では、処理負荷を低減するために、前処理は、追加情報を考慮して実施される。いくつかの実施形態では、追加情報は、追加情報１１０（図１）と同様である。いくつかの実施形態では、前処理は、検出された物体の分類、各検出された物体の速度の決定、対応するセンサからの各検出された物体の距離の決定、又は別の適切な前処理動作を含む。
【0055】
動作３２７において、マスク３２９を生成するために、追加情報３１０からの規則が前処理されたデータに適用される。いくつかの実施形態では、マスク３２９は、マスク１２０（図１）と同様である。いくつかの実施形態では、規則は、検出された物体の速度に関する規則、対応するセンサからの物体の距離に関する規則、物体の分類に関する規則、又は規則の組合せを含む。
【0056】
図３Ｂは、いくつかの実施形態による、センサによって受信された画像３３０である。いくつかの実施形態では、画像３３０は、可視光センサ又は赤外光センサによって取り込まれる。いくつかの実施形態では、画像３３０は、データ１０５（図１）、データ３０５（図３Ａ）、又は動作２０５（図２）で収集されたデータとして使用可能である。
【0057】
図３Ｃは、いくつかの実施形態による、センサによって受信された点群３４０である。いくつかの実施形態では、点群３４０は、ＬｉＤＡＲによって取り込まれる。いくつかの実施形態では、点群３４０は、データ１０５（図１）、データ３０５（図３Ａ）、又は動作２０５（図２）で収集されたデータとして使用可能である。点群３４０は、画像３３０（図３Ｂ）と同じビューで取り込まれる。画像３３０と比較して、点群３４０は、ＬｉＤＡＲセンサからの光がセンサに向かって反射し戻された位置を示すドットを含む。点群３４０の３Ｄレンダリングは、センサからの物体の距離を決定するＬｉＤＡＲの能力を示す。いくつかの実施形態では、点群３４０は、二次元（２Ｄ）表現、例えば距離画像又は俯瞰画像に変換される。
【0058】
図３Ｄは、いくつかの実施形態による、センサデータに適用可能なマスク３５０である。マスク３５０は、複数の領域３５５を含む。領域３５５の各々は、マスク３５０を生成するために使用されるデータの画素グループを示す。マスク３５０は、画像３３０（図３Ｂ）、及び点群３４０（図３Ｃ）と同じビューに基づいて生成される。マスク３５０はまた、領域３５５の各々における重要度値を含む。領域３５５の重要度値は、物体距離や物体分類などの規則の組合せに基づいて生成される。
【0059】
画像３３０（図３Ｂ）をマスクで覆うと、画像の右側に沿って列車の軌道があることが分かる。列車の軌道は、道路に沿った車両を妨げる可能性が低い。したがって、マスクの右側に沿った重要度値は低い重要度を示す。右下領域とセンサとの間が近接しているので、右下領域３５５の値は、他の右側領域３５５よりも高い。マスク３５０の上部の重要度値は、画像３３０内の空に対応する。空は、自律運転中の車両の制御、又はリモート監視装置にとって極めて重要度値が低い。センサの前方の経路には道路がある。道路は、列車が追従する重要度が高いが、センサの前の道路には車両が存在しないので、重要度値は最大値未満である。ここでも、重要度値は、センサからの距離が増加するにつれて道路に沿って減少する。マスク３５０の左側に沿って、領域３５５は、高い重要度値を有する。画像３３０に見られるように、車両が、道路の側面に沿って駐車している。これらの車両は、画像内の他の物体よりも衝突リスクが高い。したがって、これらの車両を含む領域３５５の重要度はより高くなる。ここでも、センサに近い領域３５５は、同様の物体を含むセンサから遠い領域３５５ほど重要度が高い。いくつかの実施形態では、センサの最小閾値距離内の点群データは、そのような近い距離内に位置すると予想される物体がほとんどないので、より低い重要度値が与えられる。いくつかの実施形態では、最小閾値距離は、１００ｍ未満である。いくつかの実施形態では、最小閾値距離は、５０ｍ未満である。いくつかの実施形態では、最小閾値距離は、１０ｍ未満である。
【0060】
図４は、いくつかの実施形態による、受信データに規則を適用する方法４００の流れ図である。いくつかの実施形態では、方法４００は、動作３２７（図３Ａ）を実施するために使用可能である。いくつかの実施形態では、方法４００は、動作３１４（図２）を実施するために使用可能である。動作４０５において、例えば物体検出機１８０（図１）を使用して、物体が検出される。いくつかの実施形態では、物体は、物体画像のデータベースに基づいて検出される。いくつかの実施形態では、物体は、熱シグネチャ、サイズ、動き、又は他の適切なパラメータなどの他のパラメータに基づいて検出される。
【0061】
動作４１０において、検出された物体は、例えば物体検出機１８０（図１）を使用して分類される。いくつかの実施形態では、検出された物体の分類は、ユーザ入力に基づく。いくつかの実施形態では、検出された物体の分類は、データベースに基づく。いくつかの実施形態では、物体の分類は、センサからの距離に基づく。
【0062】
動作４１５において、例えば符号化機１３０又は復号機１４０（図１）に接続されるプロセッサを使用して、分類に基づいて、検出された物体に１つ又は複数の規則が適用される。規則は、検出された物体の各々の重要度を決定するために適用される。いくつかの実施形態では、規則は、上述した追加情報１１０（図１）と同様である。いくつかの実施形態では、規則は、センサへの近接性、検出された物体の動き、検出された物体の種類、又はこれらの組合せに基づいて適用される。検出された物体への規則の適用に続いて、マスクが生成される。いくつかの実施形態では、生成されたマスクは、マスク１２０（図１）と同様である。
【0063】
図５は、いくつかの実施形態による、グラウンドトゥルースマスクを生成する方法５００の流れ図である。いくつかの実施形態では、方法５００は、ＧＴマスク１７０（図１）を生成するために使用可能である。方法５００は、データ５０５、ＧＴセグメンテーション規則５１０、及び追加情報５１５を受信すること、を含む。いくつかの実施形態では、ＧＴセグメンテーション規則５１０は、ＧＴセグメント１７５（図１）と同様である。いくつかの実施形態では、追加情報５１５は、追加情報１７７（図１）と同様である。いくつかの実施形態では、データ５０５は、データ１０５（図１）と同様である。動作５２０において、ＧＴマスクは、データ５０５、グラウンドトゥルースセグメント５１０、及び追加情報５１５に基づいて生成される。方法３００（図３）などにおけるマスクの生成と比較して、方法５００は、既知の情報に基づくグラウンドトゥルースセグメント５１０を含む。データ５０５及び追加情報と共に既知の情報を含めることによって、グラウンドトゥルースマスク５３０は、エラーのない検出結果に基づく結果を生成する。結果として、グラウンドトゥルースマスクはより高い信頼度を有し、データの符号化中にマスク１２０（図１）などのマスクを訓練するために使用可能である。動作５２０は、グラウンドトゥルースマスク５３０を出力する。
【0064】
図６は、いくつかの実施形態による、データ圧縮システムを使用する方法６００の流れ図である。いくつかの実施形態では、方法６００の少なくとも一部は、データ圧縮システム１００（図１）を使用して実施される。いくつかの実施形態では、方法６００は、本開示のリモート監視態様を実施する。リモート監視では、リモート監視装置が、データを受信し、リモート監視装置によって何らかの種類の介入が推奨されるか否かを決定する。リモート監視装置は、介入を終了又は変更するか否かを決定するために、任意の介入の影響を監視し続け得る。いくつかの実施形態では、リモート監視装置はユーザである。いくつかの実施形態では、リモート監視装置は自動化される。
【0065】
【0066】
動作６１０において、データは、例えば符号化機１３０（図１）に接続されるプロセッサを使用して、マスクに基づいて符号化される。いくつかの実施形態では、動作６１０は、動作２１０及び２１５（図２）の組合せと同様である。
【0067】
動作６１５において、符号化されたデータは、例えば送信機を使用して送信される。いくつかの実施形態では、動作６１５は、動作２２０（図２）と同様である。
【0068】
【0069】
任意選択の動作６２５において、再構成データは、例えば、携帯端末などのディスプレイを使用して表示される。再構成データは、動作６２０からの送信データの復号によって得られる。いくつかの実施形態では、再構成データの部分は、動作６０５で収集されたデータの部分よりも低い分解能である。いくつかの実施形態では、再構成データは、検出された物体の強調表示を含む。いくつかの実施形態では、再構成データは、検出された物体の強調表示を含まない。いくつかの実施形態では、再構成データは可視光画像を含む。いくつかの実施形態では、再構成データは点群画像を含む。いくつかの実施形態では、再構成データは、多数のディスプレイに表示される。いくつかの実施形態では、再構成データは、リモート監視装置による再構成データの選択に応答して表示される。すなわち、再構成データは、表示に利用可能であるが、リモート監視装置が再構成データを選択するまで表示されないままである。
【0070】
いくつかの実施形態では、再構成データは、例えば、復号機１４０（図１）に接続されるプロセッサを使用して、生成される警告に応答して表示される。例えば、いくつかの実施形態では、車両が物体に衝突したことに応答して、警告が生成され、リモート監視装置に送信される。いくつかの実施形態では、警告は音声警告である。いくつかの実施形態では、警告はテキスト警告である。いくつかの実施形態では、警告は、リモート監視装置によって見ることができる携帯端末などの端末に送信される。警告に応答して、リモートユーザは、再構成データを選択し得る。警告を含めることによって、リモート監視装置が潜在的な問題を識別できないリスクが、低減される。
【0071】
いくつかの実施形態では、動作６２５を省略する。いくつかの実施形態では、リモート監視装置が自動化されていることに応答して、動作６２５を省略する。すなわち、自動リモート監視装置は、再構成データを表示する必要がない。
【0072】
動作６３０において、例えば、リモートビューアなどのユーザによって、又は復号機１４０（図１）に接続されるプロセッサを使用して、介入が推奨されるか否かに関する決定が行われる。介入は、再構成データによって識別された問題の軽減を助けるために、リモート監視装置が実施し得る動作である。例えば、再構成データが車両による衝突を示すいくつかの実施形態では、リモート監視装置は、車両の位置に緊急支援を送り得る。再構成データが渋滞を示すいくつかの実施形態では、リモート監視装置は、有人及び／又は自律運転車両を含む車両に、推奨される再経路設定命令を与え得る。
【0073】
再構成データに対応する収集されたデータの位置で利用可能な介入選択肢のいずれかが再構成データによって示される状況を改善する否かに基づいて、介入が推奨されるか否かに関する決定が行われる。利用可能な介入選択肢に基づいて改善が可能である場合、介入が推奨される。利用可能な介入選択肢に基づいて改善が可能でない場合、介入は推奨されない。当業者は、すべての場所ですべての介入選択肢が利用可能であるとは限らないことに留意するであろう。例えば、交通信号の制御は、地方よりも都市で利用可能な選択肢である可能性が高い。
【0074】
介入が推奨されないという決定に応答して、方法は、「いいえ」によって示すように、動作６０５に戻る。介入が推奨されるという決定に応答して、方法は、「はい」によって示す、動作６３５に進む。
【0075】
動作６３５において、例えば、リモートビューアなどのユーザによって、又は復号機１４０（図１）に接続されるプロセッサを使用して、介入の種類が決定される。介入の種類は、リモート監視装置が再構成データに基づいて実施する介入である。介入の種類は、再構成データに対応する動作６０５から収集されたデータの位置で利用可能な介入選択肢に基づいて決定される。いくつかの実施形態では、介入が推奨されるという決定に応答して、介入選択肢がリモート監視装置に表示される。いくつかの実施形態では、介入の種類は、どの種類の介入が再構成データによって示される状況に対して最大の改善となるかに基づいて選択される。いくつかの実施形態では、介入の種類は、どの種類の介入が再構成データによって示される状況に最も迅速に影響を与えるかに基づいて選択される。例えば、再構成データが衝突を示すいくつかの実施形態では、衝突の周囲に車両を経路設定するような交通信号の変更は、衝突位置に緊急支援を送るよりも迅速な影響がある。いくつかの実施形態では、介入の種類が、再構成データのコンピュータ分析に基づいて推奨される。
【0076】
動作６４０において、介入信号は、例えば送信機によって送信される。いくつかの実施形態では、介入信号は、無線ネットワークを介して送信される。いくつかの実施形態では、介入信号は、有線ネットワークを介して送信される。いくつかの実施形態では、介入信号が送信されるネットワークは、符号化されたデータが送信されるものと同じネットワークである。いくつかの実施形態では、符号化されたデータが送信されるネットワークとは異なるネットワーク上で、介入信号が送信されるネットワークである。いくつかの実施形態では、送信された介入信号の宛先は、動作６３５で決定された介入の種類に基づく。例えば、発明の種類が緊急支援を送ることであるいくつかの実施形態では、介入信号は、警察又は他の緊急応答者に送信される。発明の種類が交通信号を調整することであるいくつかの実施形態では、介入信号は、再構成データに対応する収集されたデータの位置の近くの交通信号に送信される。
【0077】
いくつかの実施形態では、選択された介入の種類を示す通知信号を車両に送信する。いくつかの実施形態では、通知信号はまた、選択された介入の推定到着時間を含む。
【0078】
動作６４５において、例えばリモートビューアなどのユーザによって、又は復号機１４０（図１）に接続されるプロセッサを使用して、再構成データによって示される状況が解決されるか否かに関する決定が行われる。決定を行うために、リモート監視装置は、再構成データを経時的に監視し続ける。状況が予想される状況に戻った場合、状況が解決されたと決定される。状況が解決されていないという決定に応答して、方法６００は、動作６３５に戻り、リモート監視装置は、「いいえ」によって示す、追加の又は異なる種類の介入を実施すべきか否かを決定する。状況が解決されたという決定に応答して、方法６００は、「はい」によって示す、動作６５０に進む。
【0079】
動作６５０において、動作６４０において送信された信号によって実施される介入は、例えば、リモートビューアなどのユーザによって、又は復号機１４０（図１）に接続されるプロセッサを使用して、除去される。いくつかの実施形態では、介入の除去は、動作を通常の設定に戻すための信号を送信すること、を含む。いくつかの実施形態では、介入の除去は、更なる緊急支援が要求されないことを示す信号を送信すること、を含む。いくつかの実施形態では、介入が終了したことを示す通知信号が車両に送信される。いくつかの実施形態では、通知信号は、車両内の運転手又は乗客によって更なる介入が要求されないことを確認するための要求を含む。追加の介入の要求に応答して、方法６００は動作６３０に戻る。
【0080】
収集されたデータを符号化するためのマスクの使用を含む方法６００を使用すると、イベントの発生とリモート監視装置からの介入の実施との間の遅延時間が、イベントの発生を識別するリモート監視装置能力の精度を犠牲にすることなく低減される。マスクの使用に起因して送信されるデータ量を低減することによって、処理負荷及び遅延時間が低減され、介入のための応答時間を短くし得る。これは、データを収集するセンサを含む車両の運転者又は乗客に、並びに運転者及び乗客に渋滞又は危険を引き起こし得る事象の周りに経路設定され得る他の車両の運転者及び乗客に、効果がある。
【0081】
いくつかの実施形態では、方法６００の動作を異なる順序で実施する。例えば、いくつかの実施形態では、動作６３５は、動作６３０の前に実施され、それにより、介入が推奨されるか否かの決定は、リモート監視装置によって選択可能な介入の種類に基づく。いくつかの実施形態では、方法６００の少なくとも１つの動作を省略する。例えば、いくつかの実施形態では、リモート監視装置が自動化されているとき、動作６２５を省略する。いくつかの実施形態では、追加の動作が方法６００に含まれる。例えば、いくつかの実施形態では、通知信号が、データを収集するセンサを含む車両に送信される。
【0082】
図７は、いくつかの実施形態による、データ圧縮システム及び／又はデータ圧縮方法を実施するためのシステム７００の概略図である。いくつかの実施形態では、システム７００は、データ圧縮システム１００（図１）の少なくとも一部を実装するために使用可能である。いくつかの実施形態では、システム７００は、方法２００（図２）、方法３００（図３Ａ）、方法４００（図４）、方法５００（図５）、及び／又は方法６００（図６）の少なくとも一部を実施するために使用可能である。システム７００は、ハードウェアプロセッサ７０２と、コンピュータプログラムコード７０６、すなわち実行可能命令のセットで符号化された、すなわち記憶している非一時的コンピュータ可読記憶媒体７０４と、を含む。コンピュータ可読記憶媒体７０４はまた、外部デバイスとインターフェースするための命令７０７で符号化される。プロセッサ７０２は、バス７０８を介してコンピュータ可読記憶媒体７０４に電気的に接続される。プロセッサ７０２はまた、バス７０８によって入力／出力（Ｉ／Ｏ）インターフェース７１０に電気的に接続される。ネットワークインターフェース７１２はまた、バス７０８を介してプロセッサ７０２に電気的に接続されている。ネットワークインターフェース７１２は、ネットワーク７１４に接続され、それにより、プロセッサ７０２及びコンピュータ可読記憶媒体７０４は、ネットワーク７１４を介して外部要素に接続し得る。データ圧縮システム１００、方法２００、方法３００、方法４００、方法５００、及び／又は方法６００に記載している動作の一部又は全部を実施するために、システム７００を使用可能にするため、プロセッサ７０２は、コンピュータ可読記憶媒体７０４に符号化されたコンピュータプログラムコード７０６を実行するように構成される。
【0083】
いくつかの実施形態では、プロセッサ７０２は、中央処理装置（ＣＰＵ）、マルチプロセッサ、分散処理システム、特定用途向け集積回路（ＡＳＩＣ）、及び／又は適切な処理装置である。
【0084】
いくつかの実施形態では、コンピュータ可読記憶媒体７０４は、電子、磁気、光学、電磁、赤外線、及び／又は半導体システム（又は装置若しくはデバイス）である。例えば、コンピュータ可読記憶媒体７０４は、半導体又はソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、剛性磁気ディスク、及び／又は光ディスクを含む。光ディスクを使用するいくつかの実施形態では、コンピュータ可読記憶媒体５０４は、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、コンパクトディスク読み出し／書き込み（ＣＤ－Ｒ／Ｗ）、及び／又はデジタルビデオディスク（ＤＶＤ）を含む。
【0085】
いくつかの実施形態では、記憶媒体７０４は、データ圧縮システム１００、方法２００、方法３００、方法４００、方法５００、及び／又は方法６００に記載している動作の一部又は全部をシステム７００に実施させるように構成されるコンピュータプログラムコード７０６を記憶する。いくつかの実施形態では、記憶媒体７０４はまた、データ圧縮システム１００、方法２００、方法３００、方法４００、方法５００、及び／又は方法６００に記載している動作の一部又は全部を実施するために必要な情報を、更に、例えば規則パラメータ７１６、マスクパラメータ７１８、グラウンドトゥルースマスクパラメータ７２０、物体ライブラリパラメータ７２２、介入選択肢パラメータ７２４、並びに／あるいはデータ圧縮システム１００、方法２００、方法３００、方法４００、方法５００、及び／又は方法６００に記載している動作の一部又は全部を実施するための実行可能命令のセットなど、データ圧縮システム１００、方法２００、方法３００、方法４００、方法５００、及び／又は方法６００に記載している動作の一部又は全部を実施する間に生成された情報を、記憶する。
【0086】
いくつかの実施形態では、記憶媒体７０４は、外部デバイスとインターフェースするための命令７０７を記憶する。命令７０７により、プロセッサ７０２は、データ圧縮システム１００、方法２００、方法３００、方法４００、方法５００、及び／又は方法６００に記載している動作の一部又は全部を効果的に実施するために外部デバイスによって読み取り可能な命令を生成し得る。
【0087】
システム７００は、Ｉ／Ｏインターフェース７１０を含む。Ｉ／Ｏインターフェース７１０は、外部回路に接続される。いくつかの実施形態では、Ｉ／Ｏインターフェース７１０は、情報及びコマンドをプロセッサ７０２に通信するためのキーボード、キーパッド、マウス、トラックボール、トラックパッド、及び／又はカーソル方向キーを含む。
【0088】
システム７００はまた、プロセッサ７０２に接続されるネットワークインターフェース７１２を含む。ネットワークインターフェース７１２により、システム７００は、１つ又は複数の他のコンピュータシステムが接続されているネットワーク７１４と通信し得る。ネットワークインターフェース７１２は、ＢＬＵＥＴＯＯＴＨ（登録商標）、ワイファイ（ＷＩＦＩ）、ワイマックス（ＷＩＭＡＸ）、汎用パケット無線サービス（ＧＰＲＳ）、又は広帯域符号分割多元接続（ＷＣＤＭＡ（登録商標））などの無線ネットワークインターフェースを、あるいは、ＥＴＨＥＲＮＥＴ、ユニバーサルシリアルバス（ＵＳＢ）、又はＩＥＥＥ－１３９４（電気電子技術者協会１３９４）などの有線ネットワークインターフェースを、含む。いくつかの実施形態では、データ圧縮システム１００、方法２００、方法３００、方法４００、方法５００、及び／又は方法６００で記載した動作の一部又は全部は、２つ以上のシステム７００で実施され、ネットワーク７１４を介して様々なシステム７００間で情報が交換される。
【0089】
（付記）
【0090】
本明細書の一態様は、システムに関する。システムは、命令を記憶するように構成される非一時的コンピュータ可読媒体と、非一時的コンピュータ可読媒体に接続されるプロセッサと、を備える。プロセッサは、センサからの受信データに基づいてマスクを生成することであって、マスクが、複数の重要度値を含み、受信データの各領域が、複数の重要度値の対応する重要度値に指定される、こと、のための命令を実行するように構成される。プロセッサは、マスクに基づいて受信データを符号化するための命令を実行するように更に構成される。プロセッサは、再構成データを定義するために、符号化されたデータを復号機に送信するための命令を実行するように更に構成される。プロセッサは、再構成データ、受信データ、及びマスクに基づいて損失を計算するための命令を実行するように更に構成される。プロセッサは、計算された損失に基づいて受信データを符号化するための符号化機に訓練を提供するための命令を実行するように更に構成される。
【0091】
いくつかの実施形態では、プロセッサは、再構成データを定義するために、受信データを復号するための命令を実行するように更に構成される。
【0092】
いくつかの実施形態では、プロセッサは、センサに対する検出された物体の近接性に基づいてマスクを生成するための命令を実行するように更に構成される。
【0093】
いくつかの実施形態では、プロセッサは、受信データに基づいて、検出された物体の検出された動きに基づいてマスクを生成するための命令を実行するように更に構成される。
【0094】
いくつかの実施形態では、プロセッサは、受信データ内で、検出された物体の各々の分類に基づいてマスクを生成するための命令を実行するように更に構成される。
【0095】
いくつかの実施形態では、プロセッサは、受信データ及びグラウンドトゥルースセグメントに基づいてグラウンドトゥルースマスクを生成するための命令を実行するように更に構成される。
【0096】
いくつかの実施形態では、プロセッサは、グラウンドトゥルースマスクに更に基づいて損失を計算するための命令を実行するように更に構成される。
【0097】
いくつかの実施形態では、プロセッサは、再構成データ内の物体を検出するための命令を実行するように更に構成される。
【0098】
いくつかの実施形態では、プロセッサは、再構成データ内の検出された物体に更に基づいて損失を計算するための命令を実行するように更に構成される。
【0099】
本明細書の一態様は、方法に関する。本方法は、プロセッサを使用して、センサからの受信データに基づいてマスクを生成することであって、マスクが、複数の重要度値を含み、受信データの各領域が、複数の重要度値の対応する重要度値に指定される、ことを含む。本方法は、マスクに基づいて受信データを符号化することを更に含む。本方法は、再構成データを定義するために、符号化されたデータを復号機に送信することを更に含む。本方法は、再構成データ、受信データ、及びマスクに基づいて損失を計算することを更に含む。本方法は、計算された損失に基づいて受信データを符号化するための符号化機に訓練を提供することを更に含む。
【0100】
いくつかの実施形態では、本方法は、再構成データを定義するために、受信データを復号することを更に含む。
【0101】
いくつかの実施形態では、マスクを生成することは、検出された物体のセンサへの近接性に基づいてマスクを生成することを含む。
【0102】
いくつかの実施形態では、マスクを生成することは、受信データに基づいて、検出された物体の検出された動きに基づいてマスクを生成することを含む。
【0103】
いくつかの実施形態では、マスクを生成することは、受信データ内の検出された物体の各々の分類に基づいてマスクを生成することを含む。
【0104】
いくつかの実施形態では、本方法は、受信データ及びグラウンドトゥルースセグメントに基づいてグラウンドトゥルースマスクを生成することを更に含む。
【0105】
いくつかの実施形態では、損失を計算することは、グラウンドトゥルースマスクに基づいて損失を計算することを更に含む。
【0106】
いくつかの実施形態では、本方法は、再構成データ内の物体を検出することを更に含む。
【0107】
いくつかの実施形態では、損失を計算することは、再構成データ内の検出された物体に基づいて損失を計算することを更に含む。
【0108】
本明細書の一態様は、システムに関する。システムは、データを収集するように構成されるセンサを含む。システムは、命令及び規則を記憶するように構成される非一時的コンピュータ可読媒体を更に含む。システムは、非一時的コンピュータ可読媒体に接続されるプロセッサを更に含む。プロセッサは、記憶された規則及び収集されたデータに基づいてマスクを生成するための命令を実行するように構成される。システムは、マスクに基づいて、収集されたデータを符号化するように構成される符号化機を更に含む。システムは、再構成データを定義するために、符号化機から受信した情報を復号するように構成される復号機を更に含む。プロセッサは、再構成データ、収集されたデータ、及びマスクに基づいて損失を計算し、計算された損失に基づいて符号化機又は復号機のうちの少なくとも１つを更新するための命令を実行するように更に構成される。
【0109】
いくつかの実施形態では、センサは、光検出及び測距（ＬｉＤＡＲ）センサを含む。
【0110】
本明細書の一態様は、システムに関する。システムは、データを収集するように構成されるセンサを含む。システムは、命令及び規則を記憶するように構成される非一時的コンピュータ可読媒体を更に含む。システムは、非一時的コンピュータ可読媒体に接続されるプロセッサを更に含む。プロセッサは、記憶された規則及び収集されたデータに基づいてマスクを生成するための命令を実行するように構成される。システムは、マスクに基づいて、収集されたデータを符号化するように構成される符号化機を更に含む。システムは、再構成データを定義するために、符号化機から受信した情報を復号するように構成される復号機を更に含む。プロセッサは、再構成データ、収集されたデータ、及びマスクに基づいて損失を計算し、計算された損失に基づいて符号化機又は復号機のうちの少なくとも１つを更新するための命令を実行するように更に構成される。
【0111】
いくつかの実施形態では、センサは、光検出及び測距（ＬｉＤＡＲ）センサを含む。
【0112】
上記は、当業者が本開示の態様を好適に理解し得るように、いくつかの実施形態の特徴を概説している。当業者は、本明細書に導入された実施形態と同じ目的を実行し、及び／又は同じ利点を達成するために、他のプロセス及び構造を設計又は変更するための基礎として、本開示を容易に使用し得ることを理解するはずである。当業者はまた、そのような同等の構成が本開示の精神及び範囲から逸脱するものではなく、本開示の精神及び範囲から逸脱することなく本明細書において様々な変更、置換、及び改造を行い得ることを理解すべきである。
【0113】
いくつかの実施形態では、プロセッサは複数のプロセッサを備え、複数のプロセッサのうちの第１のプロセッサは、符号化機位置にあり、複数のプロセッサのうちの第２のプロセッサは、符号化機位置とは異なる復号機位置にある。
【0114】
本出願は、２０２１年９月６日に出願された米国特許出願第１７／４６７，２８２号の利益を主張し、その全体が参照により本明細書に組み込まれる。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2024-03-04
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
命令を記憶するように構成される非一時的コンピュータ可読媒体と、前記非一時的コンピュータ可読媒体に接続されるプロセッサとを備え、前記プロセッサが、
センサからの受信データに基づいてマスクを生成することであって、前記マスクが、複数の重要度値を含み、前記受信データの各領域が、前記複数の重要度値の対応する重要度値に指定される、こと、
前記マスクに基づいて前記受信データを符号化すること、
再構成データを定義するために前記符号化されたデータを復号機に送信すること、
前記再構成データ、前記受信データ、及び前記マスクに基づいて損失を計算すること、および
前記計算された損失に基づいて前記受信データを符号化するための符号化機に訓練を提供すること、
のための前記命令を実行するように構成される、
システム。
【請求項2】
前記プロセッサが、前記再構成データを定義するために、前記受信データを復号する
ための前記命令を実行するように更に構成される、請求項１に記載のシステム。
【請求項3】
前記プロセッサが、前記センサに対する検出された物体の近接性に基づいて前記マスクを生成する
ための前記命令を実行するように更に構成される、請求項１に記載のシステム。
【請求項4】
前記プロセッサが、前記受信データに基づいて、検出された物体の検出された動きに基づいて前記マスクを生成する
ための前記命令を実行するように更に構成される、請求項１に記載のシステム。
【請求項5】
前記プロセッサが、前記受信データ内で前記検出された物体の各々の分類に基づいて前記マスクを生成する
ための前記命令を実行するように更に構成される、請求項１に記載のシステム。
【請求項6】
前記プロセッサが、前記受信データ及びグラウンドトゥルースセグメントに基づいてグラウンドトゥルースマスクを生成する
ための前記命令を実行するように更に構成される、請求項１に記載のシステム。
【請求項7】
前記プロセッサが、前記グラウンドトゥルースマスクに更に基づいて前記損失を計算する
ための前記命令を実行するように更に構成される、請求項６に記載のシステム。
【請求項8】
センサからの受信データに基づいて、プロセッサを使用してマスクを生成することであって、前記マスクが、複数の重要度値を含み、前記受信データの各領域が、前記複数の重要度値の対応する重要度値に指定される、ことと、前記マスクに基づいて前記受信データを符号化することと、
再構成データを定義するために前記符号化されたデータを復号機に送信することと、
前記再構成データ、前記受信データ、及び前記マスクに基づいて損失を計算することと、
前記計算された損失に基づいて前記受信データを符号化するための符号化機に訓練を提供することと
を含む、方法。
【請求項9】
データを収集するように構成されるセンサと、命令を記憶するように構成される非一時的コンピュータ可読媒体と、
前記非一時的コンピュータ可読媒体に接続されるプロセッサであって、前記プロセッサが、前記収集されたデータに基づいてマスクを生成するための前記命令を実行するように構成され、前記マスクが、複数の重要度値を含み、前記収集されたデータの各領域が、前記複数の重要度値の対応する重要度値に指定される、プロセッサと、
前記収集されたデータ及び前記生成されたマスクを受信するように構成される符号化機であって、前記符号化機が、前記マスクに基づいて、前記収集されたデータを圧縮し、再構成データを定義するための復号機に前記圧縮されたデータを送信するように構成される、符号化機と
を備える、システム。
【請求項10】
プロセッサに、センサからの収集されたデータに基づいてマスクを生成させ、前記マスクが、複数の重要度値を含み、前記収集されたデータの各領域が、前記複数の重要度値の対応する重要度値に指定され、
前記生成されたマスクに基づいて、前記収集されたデータを圧縮するように符号化機に命令させ、
再構成データを定義するための復号機に、前記圧縮されたデータを送信するように前記符号化機に命令させる、
ことを実行させるためのプログラム。
【国際調査報告】