(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024083317
(43)【公開日】2024-06-20
(54)【発明の名称】車両内側の動きに関連するデータを用いてアラームを提供するための電子装置及びその方法
(51)【国際特許分類】
G08B 25/04 20060101AFI20240613BHJP
G08B 21/02 20060101ALI20240613BHJP
G08B 21/00 20060101ALI20240613BHJP
【FI】
G08B25/04 K
G08B25/04 C
G08B21/02
G08B21/00 U
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2023208132
(22)【出願日】2023-12-11
(31)【優先権主張番号】10-2022-0171376
(32)【優先日】2022-12-09
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2023-0165405
(32)【優先日】2023-11-24
(33)【優先権主張国・地域又は機関】KR
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ZIGBEE
2.BLUETOOTH
3.アンドロイド
(71)【出願人】
【識別番号】516082420
【氏名又は名称】シンクウェア コーポレーション
【氏名又は名称原語表記】THINKWARE CORPORATION
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人IPX
(72)【発明者】
【氏名】パン・ヒョンジン
(72)【発明者】
【氏名】イム・ドンヒ
(72)【発明者】
【氏名】ハン・テギュ
【テーマコード(参考)】
5C086
5C087
【Fターム(参考)】
5C086AA22
5C086BA22
5C086CA01
5C086CA06
5C086CA28
5C086CB01
5C086CB11
5C086CB36
5C086FA02
5C086FA12
5C086FA17
5C086FA18
5C087AA12
5C087AA21
5C087AA32
5C087DD03
5C087DD14
5C087EE14
5C087FF01
5C087FF02
5C087FF04
5C087GG02
5C087GG08
5C087GG09
5C087GG66
5C087GG84
(57)【要約】 (修正有)
【課題】車両内側の動きに関連するデータを用いてアラームを提供するための電子装置及びその方法を提供する。
【解決手段】車両のバッテリから受信した電力の遮断に基づいて、車両のドアの状態を検知する電子装置(electronic device)による方法は、閉じた状態に対応する状態を検知することに応答して、ポートを介して、車両の内側に(inside)配置された複数のセンサのセンサデータを受信し、センサデータを用いて、車両内の動きを検知することに応答して、通信回路を介して、外部電子装置に、動きに関連するアラームを提供するための信号を送信する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
車両に搭載可能な(mountable on)電子装置(electronic device)であって、
ポート、
通信回路、
命令を格納するメモリ、及び
プロセッサを含み、前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記車両のバッテリから受信した電力の遮断に基づいて、前記車両のドア(doors)の状態を検知し、
閉じた状態に対応する前記状態を検知することに応答して、前記ポートを介して、前記車両の内側に(inside)配置された複数のセンサのセンサデータを受信し、及び
前記センサデータを用いて、前記車両内の動きを検知することに応答して、前記通信回路を介して外部電子装置に、前記動きに関連するアラームを提供するための信号を送信するようにする、電子装置。
【請求項2】
前記車両の前方(front direction)に向かって配置されたカメラをさらに含み、
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記車両の後方(rear direction)に向かって配置されたカメラと接続可能な(connectable)前記ポートを介して、前記センサデータを受信するようにする、請求項1に記載の電子装置。
【請求項3】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記ポートに接続された多重化装置を介して受信された、前記複数のセンサの電気信号が多重化された統合(integrated)電気信号から、前記複数のセンサのそれぞれの前記センサデータを取得するようにする、請求項1に記載の電子装置。
【請求項4】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
カメラである前記複数のセンサから、前記車両内のビデオを含む前記センサデータを受信し、
前記ビデオが入力されたニューラルネットワークを用いて、前記ビデオに対するオブジェクト認識(object detection)を実行するようにする、請求項1に記載の電子装置。
【請求項5】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記オブジェクト認識を利用して、前記ビデオから前記車両とは異なる外部オブジェクトを検知することに応答して、前記通信回路を介して、前記外部電子装置に前記信号を送信するようにする、請求項4に記載の電子装置。
【請求項6】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記外部電子装置から、前記ビデオのストリーミングに関連する要求を含む他の信号を受信することに応答して、前記通信回路を用いて、前記外部電子装置と前記電子装置との間の通信リンクを確立し(establish)、
前記通信リンクを介して、前記外部電子装置に、前記複数のセンサから受信されたビデオを提供するようにする、請求項4に記載の電子装置。
【請求項7】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記通信回路を介して、前記外部電子装置に、前記アラームに関連するテキストメッセージ及び前記通信リンクを確立するためのハイパーリンクを含む前記アラームを提供するための信号を送信するようにする、請求項6に記載の電子装置。
【請求項8】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
レーダである前記複数のセンサから受信した前記センサデータを用いて、前記車両内を移動する外部オブジェクトを検知するようにする、請求項1に記載の電子装置。
【請求項9】
前記車両内の空気に含まれる二酸化炭素に関連する数値を、パラメータ化(parametrize)するように構成された二酸化炭素センサをさらに含み、
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記閉じた状態に対応する前記状態を検知することに応答して、前記二酸化炭素センサによってパラメータ化された前記数値を用いて、前記車両内で前記二酸化炭素を合成する生命体(living organism)を検知するようにする、請求項1に記載の電子装置。
【請求項10】
UWB(ultra-wideband)に関連するアンテナをさらに含み、
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記閉じた状態に対応する前記状態を検知することに応答して、前記アンテナを制御して、前記UWBに含まれ、前記車両に対応するリモートコントローラから送信された無線信号を検知し、
前記アンテナを用いて検知された前記無線信号によって計算された、前記車両に対する前記リモートコントローラの位置を用いて、前記センサデータを使用して、前記動きを検知するか否かを決定するようにする、請求項1に記載の電子装置。
【請求項11】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記閉じた状態に対応する前記状態を検知した時点から指定された期間(preset duration)の間、前記センサデータを使用して、前記動きの検知を実行するようにする、請求項1に記載の電子装置。
【請求項12】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記センサデータを使用して、前記動きを検知することに応答して、前記車両のホーンを鳴らすか(blow)、又は前記車両の発光部品(light emitting component)を活性化するようにする、請求項1に記載の電子装置。
【請求項13】
車両に搭載可能であり、ポート及び通信回路を含む電子装置の方法であって、
前記車両のバッテリから受信した電力の遮断に基づいて、前記車両のドア(doors)の状態を検知する動作、
閉じた状態に対応する前記状態を検知することに応答して、前記ポートを介して、前記車両の内側(inside)に配置された複数のセンサのセンサデータを受信する動作、及び
前記センサデータを使用して、前記車両内の動きを検知することに応答して、前記通信回路を介して外部電子装置に、前記動きに関連するアラームを提供するための信号を送信する動作を含む、方法。
【請求項14】
前記受信する動作は、
前記車両の後方に向かって配置されたカメラと接続可能な前記ポートを介して、前記センサデータを受信する動作を含む、請求項13に記載の方法。
【請求項15】
前記受信する動作は、
前記ポートに接続された多重化装置を介して受信された、前記複数のセンサの電気信号が多重化された統合電気信号から、前記複数のセンサのそれぞれの前記センサデータを取得する動作を含む、請求項13に記載の方法。
【請求項16】
前記受信する動作は、
カメラである前記複数のセンサから、前記車両内のビデオを含む前記センサデータを受信する動作を含み、
前記送信する動作は、
前記ビデオが入力されたニューラルネットワークを用いて、前記ビデオに対するオブジェクト認識を実行する動作を含む、請求項13に記載の方法。
【請求項17】
前記送信する動作は、
前記オブジェクト認識を用いて、前記ビデオから前記車両とは異なる外部オブジェクトを検知することに応答して、前記通信回路を介して、前記外部電子装置に前記信号を送信する動作を含む、請求項16に記載の方法。
【請求項18】
前記外部電子装置から、前記ビデオのストリーミングに関連する要求を含む他の信号を受信することに応答して、前記通信回路を用いて、前記外部電子装置と前記電子装置との間の通信リンクを確立する動作、
前記通信リンクを介して、前記外部電子装置に、前記複数のセンサから受信される前記ビデオを提供する動作をさらに含む、請求項16に記載の方法。
【請求項19】
前記送信する動作は、
前記通信回路を介して、前記外部電子装置に、前記アラームに関連するテキストメッセージ及び前記通信リンクを確立するためのハイパーリンクを含む前記アラームを提供するための前記信号を送信する動作を含む、請求項18に記載の方法。
【請求項20】
命令を含む非一時的コンピュータ可読記憶媒体において、前記命令は、車両に搭載可能であり、ポート及び通信回路を含む電子装置のプロセッサによって実行されると、前記電子装置が、
前記車両のバッテリから受信した電力の遮断に基づいて、前記車両のドア(doors)の状態を検知し、
閉じた状態に対応する前記状態を検知することに応答して、前記ポートを介して、前記車両の内側に(inside)配置された複数のセンサのセンサデータを受信し、及び
前記センサデータを使用して、前記車両内の動きを検知することに応答して、前記通信回路を介して外部電子装置に、前記動きに関連するアラームを提供するための信号を送信するようにする、非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示(disclosure)は、車両内側の動きに関連するデータを用いてアラームを提供するための電子装置及びその方法に関する。
【背景技術】
【0002】
車両内に閉じ込められた(fenced in)ヒト及び/又は動物に関する事故が発生している。このような事故を防止するために、赤外線センサなどのセンサを用いた監視技術が開発されている。赤外線センサから取得されたセンサデータは、車両内部の明るさ及び/又は窓を介して車両内に伝播された(propagated)光によって歪むことがある。赤外線センサを用いて、ヒト及び/又は動物を検知する精度は、ヒトと赤外線センサとの間の妨害物(obstacle)によって低下される可能性がある。
【0003】
前述の情報は、本開示の理解を助けるために、背景技術(related art)として提供することができる。前述の内容はいずれも、本開示に関連する先行技術(prior art)として主張することはできず、また先行技術に関する決定に使用することもできない。
【発明の概要】
【課題を解決するための手段】
【0004】
一実施形態では、車両に搭載可能な(mountable on)電子装置を提供することができる。この電子装置は、ポート、通信回路、命令を格納するメモリ及びプロセッサを含むことができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記車両のバッテリから受信した電力の遮断に基づいて、前記車両のドアの状態を検知するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、閉じた状態に対応する状態を検知することに応答して、前記ポートを介して、前記車両の内側に配置された複数のセンサのセンサデータを受信するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記センサデータを使用して、前記車両内の動きを検知することに応答して、前記通信回路を介して外部電子装置に、前記動きに関連するアラームを提供するための信号を送信するようにすることができる。
【0005】
一実施形態では、車両に搭載可能であり、ポート及び通信回路を含む電子装置の方法を提供することができる。この方法は、前記車両のバッテリから受信した電力の遮断に基づいて、前記車両のドアの状態を検知する動作を含むことができる。この方法は、閉じた状態に対応する前記状態を検知することに応答して、前記ポートを介して、前記車両の内側に配置された複数のセンサのセンサデータを受信する動作を含むことができる。この方法は、前記センサデータを使用して、前記車両内の動きを検知することに応答して、前記通信回路を介して外部電子装置に、前記動きに関連するアラームを提供するための信号を送信する動作を含むことができる。
【0006】
一実施形態では、命令を含む非一時的コンピュータ可読記憶媒体を提供することができる。この命令は、車両に搭載可能であり、ポート及び通信回路を含む電子装置のプロセッサによって実行されると、前記電子装置が、前記車両のバッテリから受信した電力の遮断に基づいて、前記車両のドアの状態を検知するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、閉じた状態に対応する前記状態を検知することに応答して、前記ポートを介して、前記車両の内側に配置された複数のセンサのセンサデータを受信するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記センサデータを用いて、前記車両内の動きを検知することに応答して、前記通信回路を介して外部電子装置に、前記動きに関連するアラームを提供するための信号を送信するようにすることができる。
【図面の簡単な説明】
【0007】
【
図1】車両に配置された電子装置の一実施形態を示す。
【
図2】一実施形態による、電子装置の例示的なブロック図である。
【
図3】一実施形態による、電子装置の動作の例示的なフローチャートを示す。
【
図4】一実施形態による、電子装置から送信された信号によってユーザ端末に表示される例示的なテキストメッセージを示す。
【
図5】一実施形態による、電子装置を含む車両の内側に分布する(distributed)例示的なセンサを示す。
【
図6】一実施形態による、電子装置を含む車両の内側に分布する複数のカメラの例示的な位置を示す。
【
図7a】異なる寸法(dimensions)を有する車両の内側に分布する複数のレーダの例示的な位置を示す。
【
図7b】異なる寸法(dimensions)を有する車両の内側に分布する複数のレーダの例示的な位置を示す。
【
図8】一実施形態による、電子装置と1つ以上のセンサとの間の例示的な有線接続(wired connection)を示す。
【
図9】一実施形態による、車両のディスプレイを通じて表示される情報の一例を示す。
【
図10】一実施形態による、電子装置から送信された信号に従って、ユーザ端末のディスプレイに表示される画面の一例を示す。
【
図11】一実施形態による、電子装置によって検知された、前記電子装置を含む車両内の少なくとも1人の乗客に関連する情報の一例を示す。
【発明を実施するための形態】
【0008】
本明細書に開示されている本発明の概念による実施形態の特定の構造的又は機能的説明は、本発明の概念による実施形態を説明する目的でのみ例示されており、本発明の概念による実施形態は、様々な形態で実施することができ、本明細書に記載の実施形態に限定されない。
【0009】
本発明の概念による実施形態は、様々な変更を加えることができ、様々な形態を有することができるので、実施形態を図面に示し、本明細書に詳細に説明する。しかしながら、これは、本発明の概念による実施形態を、特定の開示形態に限定することを意図するものではなく、本発明の精神及び技術の範囲に含まれる変更、均等物、又は代替物を含む。
【0010】
第1又は第2などの用語を、様々な構成要素を説明するために使用することができるが、前記構成要素は、その用語によって限定されるべきではない。前記用語は、1つの構成要素を他の構成要素から区別する目的でのみ、例えば、本発明の概念による権利範囲から逸脱することなく、第1の構成要素は、第2の構成要素と呼ぶことができる。同様に、第2の構成要素は、第1の構成要素とも呼ばれることがある。
【0011】
ある構成要素が、他の構成要素に「連結されている」又は「接続されている」と言及されている場合、他の構成要素に直接連結されているか、又は接続されていることがあるが、中間に他の構成要素が存在することもあると理解すべきである。一方、ある構成要素が、他の構成要素に「直接連結されている」又は「直接接続されている」と言及されている場合、中間に他の構成要素が存在しないことを理解すべきである。構成要素間の関係を説明する表現、例えば、「~の間に」と「すぐに~の間に」又は「~に直接隣接する」なども同様に解釈されるべきである。
【0012】
本明細書で使用される用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定することを意図していない。単数の表現は、文脈上明らかに他に意味がない限り、複数の表現を含む。本明細書において、「含む」又は「有する」などの用語は、記載された特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせが存在することを指定するものであり、1つ又はそれ以上の他の特徴又は数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせの存在又は追加の可能性を予め排除しないことを理解されたい。
【0013】
特に定義しない限り、技術的又は科学的用語を含む本明細書で使用されるすべての用語は、本発明が属する技術分野で通常の知識を有する者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書で定義されているような用語は、関連技術の文脈上の意味と一致する意味を有すると解釈されるべきであり、本明細書で明確に定義されない限り、理想的又は過度に形式的な意味として解釈されるべきではない。
【0014】
以下、実施形態を添付の図面を参照して詳細に説明する。しかしながら、特許出願の範囲は、これらの実施形態によって制限又は限定されない。各図面に示されている同じ参照番号は、同じ部材を示す。
【0015】
車両の自動化レベル(automation level)が高くなり、車両に搭載される電子装置が多様化するにつれて、各国及び/又は地域の議会、車両安全関連機構等における車両の新しい安全基準及び/又は規制(safety standards and/or safety regulations)などが追加又は制定されている。
【0016】
具体的には、車両の自律走行技術が発展するにつれて、既存の車両の安全基準を評価する基準が、車両の走行性能、衝突テストなど、車両の事故時、搭乗者を保護する程度を評価する基準から拡大し、車両の内部で車両の安全性に影響を与える可能性のある要因(factors)を監視し、監視した結果として車両で発生する可能性のある安全事故を防止することができる程度を評価する項目が追加されている。
【0017】
このような車内環境を監視するシステムを、いわゆる車内監視システム(In-Cabin Monitoring System、ICMS)と定義している。
【0018】
一般に、ICMSには、車両の運転者状態(driver status)(眠気(drowsiness)、疲労(fatigue)、注意散漫(distraction)など)を監視する運転者監視システム(Driver Monitoring System、DMS)、車両搭乗者の状態を監視する乗員監視システム(Occupant Monitoring System、OMS)、車両の運転者以外の乗客を主に監視する乗客監視システム(Passenger Monitoring System)、車両内の子供の状態を監視する子供監視システム(Children Monitoring System、CMS)など、システムが主に監視する対象ごとに様々な機能が含まれている。
【0019】
現在、欧州の場合には、2024年12月13日から適用されるEU一般製品安全規制(European General Safety Regulation)を通じて、2024年以降EUで販売されるすべての新規車種(all new cars, vans, trucks, and buses) にICMS関連技術を適用することを強制しており、欧州のNCAP(EU New Car Asset Program、EU NCAP)もDMSを、車両の安全等級評価の重要な要素として決定している。
【0020】
米国の場合には、米国議会で2021年「Hot Cars Act」という法案を制定し、これにより、車両内に一人で残された乗客を検知し、一人で残された乗客に対する安全措置を取るように、車両運転者又は管理者に要求するシステムを、車両に義務的に搭載することを強制している。
【0021】
このような米国議会の法制定に基づき、米国国立高速道路交通安全局(National Highway Traffic Safety Administration、NHTSA)は、車両の始動が停止した後に、運転者が車両の後部座席をチェックすることを知らせる機能を、新型乗用車に適用することに関する新しい規定を発表した。
【0022】
前記の欧米以外にも、日本、韓国、中国など多くの国でも、車両へのICMS関連機能の搭載義務が徐々に拡大すると予想される。
【0023】
本発明は、これらの各国の車両に対する主要な安全基準の採用及び義務付けのニーズを満たすために提案されており、この目的に合わせて、本明細書で使用される「車両内の動き検知」という用語は、前述のICMSに含まれ得る「車両内の安全に関する対象の検知」という用語と同じ意味で使用することができる。
【0024】
図1は、車両110に配置された電子装置101の一実施形態を示す。電子装置101は、車両110に搭載可能な(mountable on)フォームファクタ(form factor)(又は外観(exterior)、外見(appearance))を有することができる。電子装置101は、車両110の内側に接着、締結、又は固定することができる。例えば、電子装置101は、車両110のフロントガラス(windscreen)の内側に取り付けることができる部材(member)(例えば、接着面(adhesive plate))を含むことができる。実施形態は、これに限定されず、電子装置101は、ECU(electronic control unit)として車両110に埋め込まれて(embedded)もよい。一実施形態では、電子装置101は、車両110に関連するビデオを生成及び/又は格納するように構成されてもよい。電子装置101は、ダッシュボードカメラ(dashboard camera)、DVRS(drive video record system)、ブラックボックス(black-box)、及び/又は監視カメラ(surveillance camera)と呼ばれる(referred)ことがある。
【0025】
一実施形態では、電子装置101は、衝撃を検知することに応答して、電子装置101に含まれるカメラの録画を自動的に開始 (initiate)することができ、又は実行することができる。車両の内側の動きを検知した電子装置101は、電子装置101に含まれた、又は電子装置101に接続されたカメラ(例えば、多重化装置810を介して接続されたカメラ)の録画を自動的に開始できる。
図3~
図4を参照して後述するように、電子装置101は、サーバ(例えば、
図1~
図4のサーバ130)及び/又はユーザ端末(例えば、
図1~
図4のユーザ端末140)に、録画に関するアラームを提供することができる。
【0026】
図1を参照すると、バスの形態を有する車両110の例示的な外観が示されている。実施形態は、これに限定されず、車両110は、セダン、SUV(sport utility vehicle)、及び/又はトラックなどの様々な外観を有することができる。車両110は、車両110の内部環境(inner environment)及び/又は外部環境(outer environment)に関する情報を取得するためのセンサ120を含むことができる。
図1を参照すると、車両110の異なる位置に配置された3つのセンサ121、122、123が例示的に示されている。車両110に配置されたセンサの位置は、
図1の例示に限定されない。
【0027】
一実施形態によれば、電子装置101は、車両110に含まれるセンサ120から取得された情報(例えば、センサデータ)を用いて、車両110の内側で発生した動きを検知することができる。例えば、この動きは、車両110に閉じ込められた生命体(living organism)(例えば、子供及び/又はペット)の動きを含み得る。生命体が車両110に位置されている間に、車両110の所有者が車両110をロック(lock)すると、生命体の窒息及び/又は脱力による事故が発生する可能性がある。一実施形態によれば、電子装置101は、前記情報を用いて、車両110のドアがロックされている間に、車両110の内側の動きを検知することができる。動きを検知した電子装置101は、無線ネットワークを介して接続された外部電子装置(例えば、サーバ130及び/又はユーザ端末(user terminal又はuser equipment)140であり、前記動きに対するアラームを提供することができる。例えば、事故を防止するために、電子装置101は、前記動きを知らせるための信号を、外部電子装置に送信することができる。
【0028】
車両110に閉じ込められた生命体を検知するために、電子装置101は、車両110がロックされるか、又は車両110のエンジン(又はモータ)がオフにされた特定の(specific)状態内で動作することができる。例えば、車両110が走行している間、電子装置101は、車両110のバッテリによって充電されてもよい。車両110がオフになると、バッテリによる電子装置101の充電が中断されることがある。充電の中断に応答して、電子装置101は、充電された電力を使用して、車両110に閉じ込められた生命体を検知するための機能及び/又は動作を実行することができる。例えば、生命体を検知するための機能の実行に応答して、電子装置101は、前記機能の実行を知らせるための信号を、サーバ130に送信することができる。
【0029】
図1を参照すると、電子装置101、サーバ130、及びユーザ端末140が、ネットワークを介して接続された一実施形態が示されている。電子装置101、サーバ130、及びユーザ端末140は、電子装置101が配置された車両110で発生する事故を防止するためのシステム(例えば、事故防止システム)に含まれてもよい。図示されていないが、ネットワークのメンバーとして、電子装置101、サーバ130、及びユーザ端末140の間には、基地局、ルータ、及び/又はAP(access point)のうち少なくとも1つが配置されてもよい。ネットワークを介して、外部電子装置と通信する観点から(in terms of)、電子装置101は、無線通信端末と呼ばれることがある。電子装置101及びサーバ130を接続するネットワークは、インターネット、LAN(local area network)、WAN(wide area network)、イーサネット、LTE(long term evolution)、5G(fifth generation)NR(new radio)、6G(sixth generation)、above-6G、WiFi(wireless fidelity)、Zigbee、NFC(near field communication)、ブルトゥス(Bluetooth)及び/又はBLE(bluetooth low-energy)などの通信規格によって形成されてもよい。
【0030】
一実施形態では、電子装置101と通信するように構成されたサーバ130は、電子装置101の状態を監視することができ、又は電子装置101を制御することができる。例えば、サーバ130は、電子装置101を制御して、車両110に含まれるセンサ120のうち少なくとも1つを制御することができるか、又はセンサ120のうち少なくとも1つのセンサデータを取得することができる。
【0031】
例えば、電子装置101は、電子装置101によって検知されるか、又はセンサ120のうち少なくとも1つによって検知されたセンサデータを含む信号を、サーバ130に送信することができる。サーバ130に送信される情報は、電子装置101及び/又は車両110のバッテリに関する情報(例えば、SOC(state of charge)などの充電量及び/又はバッテリサイクル)を含むことができる。サーバ130に送信される情報は、電子装置101に関連する情報を含むことができる。電子装置101は、周期的に又は繰り返してサーバ130に信号を送信することができる。
【0032】
一実施形態では、サーバ130は、電子装置101を制御して、車両110に含まれるセンサ120のうち少なくとも1つを制御することができる。例えば、サーバ130は、車両110に含まれるセンサ120のうち少なくとも1つのセンサデータの送信を、電子装置101に要求することができる。この要求に応答して、電子装置101は、センサ120のうち、前記要求に対応する少なくとも1つのセンサのセンサデータを、サーバ130に送信することができる。例えば、サーバ130からの要求を受信した電子装置101は、センサ120のうち、車両110のドアの状態を検知するための1つ以上のセンサに、センサデータを取得するための信号(例えば、コマンド)を送信することができる。前記信号を受信した1つ以上のセンサから送信されたセンサデータは、電子装置101によってサーバ130に送信されてもよく、又は電子装置101によって処理されてもよい。
【0033】
一実施形態では、ドアの状態を検知するための1つ又はそれ以上のセンサによって取得されたセンサデータを、電子装置101から受信したサーバ130は、センサデータを使用して、車両110のドアの状態を確認(check)することができる。車両110のドアの全てが閉じた状態に対応する場合、サーバ130は、動きを検知するための機能の実行を、電子装置101に要求することができる。ドアの閉じた状態は、ドアが閉じられているか、又はドア及び車両110を締結するための装置(apparatus)によって、ドアが車両110に固定された状態を意味することができる。ドアの閉じた状態は、ドアに含まれるロック装置(lock apparatus)によって、ドアが外力(例えば、ドアハンドル(doorknob))によって開かれない状態を意味することができる。ドアの閉じた状態は、ロック状態と呼ばれれてもよく、又は含まれてもよい。閉じた状態とは異なる他の状態(例えば、開放(opened)状態)内で、ドアは、外力によって開くことができる。サーバ130は、電子装置101に、車両110の内側の動きを検知するためのセンサのセンサデータを取得及び/又は処理するように要求することができる。車両110のドアのうち少なくとも1つが閉じた状態とは異なる状態(例えば、開放(opened)状態)に対応する場合、サーバ130は、動きを検知するための機能の中断を、電子装置101に要求してもよい。
【0034】
一実施形態では、電子装置101は、サーバ130から車両110の内側の動きを検知するための要求を受信することができる。この要求を受信した電子装置101は、動きを検知するための車両110の内側のセンサ120に、前記要求に関連する信号を送信することができる。センサ120から送信されたセンサデータは、電子装置101によってサーバ130に送信されてもよく、又は電子装置101によって処理されてもよい。実施形態は、これに限定されず、電子装置101は、車両110の内側の緊急制御手段(例えば、緊急ベル及び/又は緊急ボタン)から緊急事態に関する信号を受信することができる。この信号を受信した電子装置101は、サーバ130に緊急事態に関する信号を送信することができる。
【0035】
前述したように、サーバ130の要求に基づく電子装置101の動作について説明したが、実施形態は、これに限定されない。例えば、電子装置101は、サーバ130なしで、センサ120からセンサデータを取得することができ、又はセンサデータに関連する機能及び/又は動作を実行することができる。例えば、電子装置101は、指定された条件とセンサデータとを比較して、車両110の内側の動きを検知することができ、又はドアの閉じた状態を検知することができる。例えば、電子装置101は、サーバ130と通信することなく、車両110の緊急制御手段から緊急事態に関する信号を受信することができ、この信号を使用して緊急事態を認識することができる。例えば、電子装置101は、サーバ130と独立したスタンドアロン装置として実施することができる。サーバ130とは独立して駆動される電子装置101を使用して、サーバ130のリソース及び/又は運用コスト(operating expense)を削減することができる。
【0036】
一実施形態では、車両110の内側の動きを検知した電子装置101は、その動きを検知した結果に関する通知メッセージを、ユーザ端末140に送信することができる。車両110の内側の動きを検知した電子装置101は、その動きに関連するアラームを提供するための信号を、サーバ130に送信することができる。実施形態は、これに限定されず、サーバ130は、電子装置101を介して取得されたセンサ120のセンサデータを使用して、車両110の内側の動きを直接(directly)検知することができる。車両110の内側の動きを検知するか、又は電子装置101から動きの検知を示す信号を受信したサーバ130は、ユーザ端末140に通知メッセージを送信してもよい。前記通知メッセージは、SMS(short message service)、LMS(long message service)、MMS(multimedia message service)、プッシュメッセージ(push message)(又はプッシュ通知)、電子メール、及び/又は発信電話(outgoing call)のうち少なくとも1つのタイプで提供されてもよい。実施形態は、これに限定されない。
【0037】
ユーザ端末140は、携帯電話(mobile phone)、スマートフォン、PDA(personal digital assistant)、PMP(portable multimedia player)、タブレットPC、ウォッチ、及び/又はHMD(head-mounted device)などのディスプレイ(又はタッチスクリーン)を含む装置を含むことができる。ユーザ端末140は、ハンドヘルド(handheld)ベースの無線通信装置を含むことができる。実施形態は、これに限定されず、ユーザ端末140は、デスクトップPC(personal computer)、タブレットPC、ラップトップPC、ゲームコンソール、及び/又はテレビを制御するためのセットトップボックス(set-top box、STB)を含むことができる。ユーザ端末140は、ソフトウェアアプリケーション(以下、アプリケーション)のインストール及び/又は実行のための電子部品(例えば、CPU(central processing unit)、メモリ及び/又はディスプレイ)を含むことができる。例えば、ユーザ端末140に、車両110の内側の動き及び/又は事故を防止するためのサービスを提供するアプリケーションをインストールしてもよい。前記アプリケーションを実行して、ユーザ端末140は、車両110の位置、車両110の内側の動きを検知した結果、電子装置101のバッテリの状態(例えば、SOCなどの充電量)、及び/又は緊急制御手段によって検知された緊急事態に関連するアラームを出力することができる。
【0038】
以下では、
図2を参照して、車両110の内側の動きを検知するための電子装置101及び/又はサーバ130の例示的なハードウェア構成(hardware configuration)及び/又は前記ハードウェア構成によって実行される少なくとも1つのプログラムを例示的に説明する。
【0039】
図2は、一実施形態による、電子装置101の例示的なブロック図を示す。
図2の電子装置101、サーバ130及びユーザ端末140は、
図1の電子装置101、サーバ130及びユーザ端末140を含むことができる。
【0040】
図2を参照すると、DVRSと呼ばれる電子装置101は、プロセッサ(又はAP(application processor))210、通信回路212、GPS(global positioning system)センサ214、温度センサ216、二酸化炭素センサ218、IMU(inertial measurement unit)220、レーダ222、第1のカメラ224、第2のカメラ226、又はポート228のうち少なくとも1つを含むことができる。実施形態によれば、前述した電子装置101の電子部品のうち少なくとも1つ(例えば、レーダ222)を省略してもよい。実施形態によれば、電子装置101は、前述の電子部品とは異なる他の電子部品をさらに含むことができる。一実施形態では、電子装置101は、車両(例えば、
図1の車両110)に含まれるバッテリ230から電力信号を取得することができ、又は受信することができる。電子装置101は、駐車状態を含む車両の特定の状態で、車両の内側の動きを検知することができる。
【0041】
一実施形態では、電子装置101に含まれるプロセッサ210は、メモリ(図示せず)に格納された命令を実行することができる。この命令を実行するプロセッサ210は、電子装置101が前記命令に関連する機能及び/又は動作を実行するようにすることができる。
【0042】
一実施形態では、電子装置101の通信回路212は、LTE、LTE Cat(category)M1及び/又はIMT-2020(5G)などの通信規格を使用して、電子装置101及びサーバ130間の通信接続を確立することができ、又は制御することができる。例えば、通信回路212を介して、電子装置101のプロセッサ210は、サーバ130に信号を送信することができ、又はサーバ130から信号を受信することができる。通信回路212を介して、電子装置101は、通信事業者のネットワーク、プライベートネットワーク(private network)及び/又は公衆ネットワーク(public network)にアクセスして、電子装置101とサーバ130との間の通信リンクを確立することができる。
【0043】
一実施形態では、GPSセンサ214は、GPS方式だけでなく、電子装置101の地理的位置(geographic location)を検知するための他の方式(例えば、ガリレオ、及び/又はベイダウ)をサポートすることができる。GPSセンサ214は、GNSS(global navigation satellite system)と呼ばれることがある。
【0044】
一実施形態では、電子装置101に含まれる第1のカメラ224は、電子装置101を含む車両(例えば、
図1の車両110)の前方(front direction)に向かって配置されてもよい。例えば、電子装置101は、第1のカメラ224が外部に露出した電子装置101の一面が、車両の前方を向くように、車両の内側に設けられてもよい。
【0045】
一実施形態では、電子装置101に含まれる第2のカメラ226は、電子装置101を含む車両の内側に向かって配置されてもよい。例えば、第2のカメラ226は、第1のカメラ224が配置された第1面とは反対の第2面を通って少なくとも部分的に外部に露出されてもよい。
【0046】
電子装置101が第1のカメラ224及び第2のカメラ226を含む一実施形態が説明されるが、実施形態は、これに限定されない。電子装置101は、ポート228を介して、電子装置101から離隔した位置(例えば、電子装置101が搭載された車両の内側及び/又は外側の位置)に搭載された他のカメラと電気的に接続することができる。例えば、ポート228を介して、電子装置101は、車両の後方(rear direction)に向かって配置されたカメラに接続することができる。電子装置101は、ポート228とは無関係に、通信回路212を用いて、他のカメラと無線で接続することができる。ポート228を介して、電子装置101は、カメラ及び/又はカメラとは異なるセンサと接続することができる。ポート228を介して複数のカメラに接続された一実施形態が、
図8を参照して説明される。
【0047】
一実施形態では、電子装置101のプロセッサ210は、1つ以上のカメラ(例えば、第1のカメラ224、第2のカメラ226、及び/又はポート228を介して接続された他のカメラ)から受信したイメージ及び/又はビデオを処理して(例えば、ADAS(advanced driver assistance system)アルゴリズム)、前記イメージ及び/又は前記ビデオから他の車両及び/又はヒトなどの物体を認識してもよく、又は動きを検知してもよい。
【0048】
一実施形態では、電子装置101は、レーダ222を含むことができる。プロセッサ210は、レーダ222と第2のカメラ226とを連動して制御してもよく、又は独立して制御してもよい。レーダ222は、電波(例えば、マイクロ波)を放射することができる。レーダ222から反射された伝播は、外部オブジェクトによって反射されてもよく、又は外部オブジェクトの動きによって歪み(例えば、ドップラー(doppler)効果)されてもよい。レーダ222を用いて、電子装置101は、外部オブジェクトから反射されても、歪んだ電波を受信しても、又は検知してもよい。レーダ222は、電子装置101に含まれていてもよいし、又は電子装置101から離隔された車両の内側の位置に配置されてもよい。
【0049】
レーダ222は、ヒトの歩行のような動きを検知する機能をサポートすることができる。一実施形態では、レーダ222は、ミリメートル波(mmWave)を使用することができる。具体的には、一実施形態によるレーダ222は、60GHz帯のmmWave(以下、「ミリ波」)を使用することができる。ミリ波を使用して、レーダ222及び/又はレーダ222に接続されたプロセッサ210は、硬い材料を貫通することができ、正確に車室内の子供の位置検知及び運転者のバイタルサインまでも予測が可能である。一実施形態では、レーダ222は、車両のヘッドライナ(headliner)の背面又は車両のBピラー(B pillar)の内側などの車室内に設置することができる。一実施形態では、レーダ222は、ミリ波技術を使用することによって、車室内の照明及び温度条件の影響を受けないことがある。
図2を参照すると、電子装置101は、様々な種類のセンサ(例えば、温度センサ216、二酸化炭素センサ218、及び/又はIMU220)を含むことができる。温度センサ216は、電子装置101を含む環境の温度に関連する数値(例えば、デジタル値)を出力するように、又は前記温度をパラメータ化(parametrize)するように構成されてもよい。温度センサ216は、華氏温度及び/又は摂氏温度の単位を有する値を出力することができる。二酸化炭素センサ218は、電子装置101を含む環境の空気(例えば、車両の内側の空気)に含まれる二酸化炭素に関連する数値をパラメータ化(parametrize)するか、又は出力するように構成されてもよい。二酸化炭素センサ218は、ppm(parts per million)単位を有する値を出力することができる。一実施形態では、IMU220は、電子装置101の物理的(physical)移動及び/又は回転を検知するためのセンサを含んでもよい。例えば、加速度センサ、ジャイロセンサ、地磁気センサ、又はそれらの組み合わせが、IMU220と呼ばれることがある。
【0050】
一実施形態によれば、電子装置101のプロセッサ210は、電子装置101に含まれる例示的なセンサ、レーダ、カメラ、及び/又はポート228を介して接続された外部センサ、レーダ、及び/又はカメラから取得されたデータ(例えば、センサデータ、イメージ及び/又はビデオ)を使用して、車両の内側の動きを検知することができる。例えば、プロセッサ210は、OD(object detection)のためにトレーニングされたニューラルネットワークを用いて、車両の内側に位置する生命体(例えば、ヒト及び/又はペット)を検知することができるか、又は生命体の動きを検知することができる。例えば、プロセッサ210は、二酸化炭素センサ218を用いて検知された車両の内側に対する二酸化炭素濃度を利用して、車両内で二酸化炭素を合成する生命体を検知することができる。例えば、プロセッサ210は、温度センサ216を用いて、車両内に位置する生命体による温度の上昇を検知することができる。例えば、プロセッサ210は、車室(in-cabin)内に設置されたマイクロホン(microphone)を用いて、車両内で発生する音(子供の泣き声、叫び声など)の分析情報を使用して、車両内に生命体(ヒト、ペットなど)の存在を検知することができる。例えば、プロセッサ210は、車両シートに取り付けられた重量検知センサを使用して、車両シートに存在するオブジェクトの存在を検知することができる。車両の内側の動きを検知する場合、又は車両の内側に位置する生命体を検知する場合、プロセッサ210は、通信回路212を介して、サーバ130に、動き及び/又は生命体の検知に関する信号を送信することができる。また、プロセッサ210は、OD(object detection)のためにトレーニングされたニューラルネットワークを用いて、車室内に位置する個人持ち物(personal belongings)の有無を検知し、検知された個人持ち物がある場合、これを車両運転者又は車両管理者に通知することができる。一実施形態では、プロセッサ210は、車両の始動がオフになったり、電源の供給が停止されたり、運転が終了した後に、車室内に位置する個人持ち物(personal belongings)を検知し、これを車両運転者又は車両管理者に通知することで、車両に搭乗した乗客の持ち物の紛失を防止することができる。
【0051】
一実施形態による、電子装置101のプロセッサ210が検知する車両の内側の動きの具体的な動作は、以下の表1にまとめることができる。
【表1】
図2を参照すると、サーバ130にインストールされた例示的なプログラム(例えば、ドア状態要求プログラム242、動き検知プログラム244、通知メッセージ送信プログラム246、及び/又はドア状態監視プログラム248)を示す。例示されたプログラムを実行するために、サーバ130は、プロセッサ、メモリ、及び/又は通信回路を含むことができる。実施形態は、これに限定されない。電子装置101から、電子装置101の活性化(例えば、バッテリ230による充電の中断に基づく電子装置101の活性化)を示す信号を受信したサーバ130は、ドア状態要求プログラム242を実行することができる。ドア状態要求プログラム242を実行することによって、サーバ130は、電子装置101を含む車両のドアの状態に関する信号及び/又は情報を、電子装置101に要求することができる。以下では、サーバ130及び/又は電子装置101がプログラムを実行することは、プログラムの開始(initiation及び/又はinstantiation)だけでなく、後述するプログラムの特定の機能及び/又は動作を実行することを意味することができる。電子装置101を含む車両のドアの状態が閉じた状態に対応する場合、サーバ130は、動き検知プログラム244を実行することができる。車両のドアの状態を決定することは、ドア状態監視プログラム248の実行に基づいて実行することができる。
【0052】
動き検知プログラム244を実行することによって、サーバ130は、電子装置101から送信されるセンサデータ(例えば、様々なカメラによって検知されたイメージ及び/又はビデオ及び/又は様々なセンサによって検知されるセンサデータ)を取得してもよく、又は処理してもよい。動き検知プログラム244は、ビッグデータに基づくセンサデータの処理アルゴリズムを含んでもよい。動き検知プログラム244を実行することによって、サーバ130は、電子装置101を含む車両の内側の動きを検知することができる。
【0053】
車両の内側の動きを検知したサーバ130は、通知メッセージ送信プログラム246を実行することができる。通知メッセージ送信プログラム246を実行することによって、サーバ130は、電子装置101及び/又は電子装置101を含む車両に関連するユーザのユーザ端末140に、前記動きに関する通知メッセージを送信することができる。実施形態は、これに限定されず、サーバ130は、緊急事態に関連する国の機関(例えば、消防署及び/又は警察署)の他のサーバに、前記通知メッセージを送信することができる。サーバ130は、自律走行車両のように、ネットワークを介して接続された様々な装置に、前記通知メッセージを送信することができる。
【0054】
通知メッセージ送信プログラム246を実行したサーバ130は、電子装置101及び/又は電子装置101を含む車両の状態を示す通知メッセージを、ユーザ端末140に送信することができる。例えば、電子装置101に含まれるバッテリ及び/又は車両のバッテリ230のSOCが、指定された閾値SOC未満である場合、サーバ130は、SOCに関連するテキストを含む通知メッセージを、ユーザ端末140に送信することができる。サーバ130からユーザ端末140に送信される通知メッセージは、
図4を参照して例示的に説明される。
【0055】
通知メッセージ送信プログラム246の実行に基づいて、サーバ130は、車両に関連する通知メッセージ(例えば、動きの検知を知らせるための通知メッセージ及び/又は緊急制御手段に関連する入力を知らせるための通知メッセージ)が送信されるユーザ端末140のリストを管理することができる。このリストは、ユーザ端末140で実行されるアプリケーション、ユーザ端末140に送信されるテキストメッセージ、ユーザ端末140から受信されるテキストメッセージ、及び/又はサーバ130によって提供されるウェブページ(又はウェブサイト)によって管理されてもよい。例えば、ユーザ端末140のユーザは、ユーザ端末140に割り当てられた電話番号を含むテキストメッセージを、SMSを用いて、サーバ130に送信することができる。前記テキストメッセージを受信したサーバ130は、通知メッセージ送信プログラム246の実行に基づいて、前記リストに電話番号を追加することができる。
【0056】
サーバ130が電子装置101によって収集されたセンサデータを処理する一実施形態が説明されたが、実施形態は、これに限定されない。例えば、電子装置101は、サーバ130とは無関係に、ニューラルネットワークを駆動して、第2のカメラ226及び/又はポート228を介して接続された他のカメラに関連するオブジェクト認識を実行することができる。ここで、ニューラルネットワークは、ヒトのような生命体の認知活動及び/又は推論活動を模擬(simulating)するためのハードウェア(例えば、CPU、GPU(graphic processing unit)及び/又はNPU(neural processing unit))、ソフトウェア又はこれらの組み合わせを含んでもよい。例えば、ニューラルネットワークを駆動して、電子装置101のプロセッサ210は、CNN(convolution neural network)、FFN(feed forward neural network)、RNN(recurrent neural network)及び/又はLSTM(long short term memoryなどの構造で体系化された(systematized)計算(computations)を実行することができる。
【0057】
以下では、
図3を参照して、
図1~
図2を参照して説明した電子装置101及び/又はプロセッサ210の例示的な動作を説明する。
【0058】
図3は、一実施形態による、電子装置の動作の例示的なフローチャートを示す。
図3を参照して説明される電子装置の動作は、
図1~
図2の電子装置101及び/又は
図2のプロセッサ210によって実行することができる。
【0059】
図3を参照すると、動作310内で、一実施形態による、電子装置のプロセッサは、車両(例えば、
図1の車両110)の運転の終了を検知することができる。車両の運転が終了すると、車両に含まれるバッテリ(例えば、
図2のバッテリ230)と電子装置との間の電気的接続が遮断されることがある。車両が走行している間、電子装置は、前記バッテリによって充電されてもよい。電子装置は、バッテリと電子装置との間の電気的接続の遮断にもかかわらず、電子装置に含まれる他のバッテリ(例えば、スーパーキャパシタ)によって活性化することができる。電子装置は、車両のバッテリとは区別される他のバッテリを用いるので、電子装置の駆動による車両のバッテリの放電を防止することができる。
【0060】
車両の運行の終了を検知したプロセッサは、サーバ(例えば、
図1~
図2のサーバ130)に、電子装置の駆動を知らせる信号を送信することができる。この信号に応答して、サーバは、車両のドアの状態(例えば、閉じた状態及び/又は開放状態)に関する情報を、電子装置に要求することができる。
【0061】
図3を参照すると、動作320内で、一実施形態による、電子装置のプロセッサは、車両のドアの状態を検知することができる。ドアの状態は、ドアに配置されたスイッチング回路によってそれぞれ検知されてもよい。動作310、320を参照すると、プロセッサは、車両のバッテリから受信した電力の遮断に基づいて、車両のドアの状態を検知することができる。プロセッサは、ドアの状態を含む信号を、サーバに送信することができる。サーバは、前記信号を使用して、車両のドアの状態を決定することができ、又は識別することができる。
【0062】
図3を参照すると、動作330内で、一実施形態による、電子装置のプロセッサは、車両のドアの全てが閉じた状態に対応するか否かを決定することができる。ドアのうち少なくとも1つが開放状態の場合(330-NO)、プロセッサは、動作320を実行して、ドアの状態を追跡するか又は監視することができる。実施形態は、これに限定されず、電子装置に接続されたサーバはまた、電子装置から送信された信号を使用して、ドアの全てが閉じた状態に対応するか否かを決定することができる。
【0063】
図3を参照すると、ドアの全てが閉じた状態に対応する場合(330-Yes)、プロセッサは、動作340を実行することができる。車両のドアの全てが閉じた状態に対応することを検知したサーバは、車両の内側の動きを検知することを、電子装置に要求することができる。例えば、車両の内側の動きを検知することは、車両の運転が終了し、車両のドアの全てがロックされている間に実行されてもよい。
【0064】
一実施形態では、電子装置は、UWB(ultra-wideband)に関連するアンテナを含むことができる。プロセッサは、閉じた状態に対応するドアの状態を検知することに応答して、アンテナを制御することができる。アンテナを制御することによって、プロセッサは、UWBに含まれ、車両に対応するリモートコントローラ(例えば、リモートキー)から送信された無線信号を検知することができる。アンテナを用いて検知された無線信号によって計算された、車両に対するリモートコントローラの位置を利用して、プロセッサは、センサデータを用いて、車両の内側の動き(具体的には、車室内でのオブジェクトの動き)を検知するか否かを判断することができる。
【0065】
図3を参照すると、動作340内で、一実施形態による、電子装置のプロセッサは、車両内のセンサからセンサデータを受信することができる。動作340のセンサは、電子装置に含まれるセンサ(例えば、
図2の第1のカメラ224、第2のカメラ226、温度センサ216、二酸化炭素センサ218、IMU220及び/又はレーダ222)だけでなく、電子装置と有線で及び/又は無線で接続された他のセンサ(例えば、
図2のポート228を介して接続された車両内のセンサ)を含むことができる。例えば、プロセッサは、閉じた状態に対応するドアの状態を検知することに応答して、ポートを介して、車両の内側に(inside)配置された複数のセンサのセンサデータを受信することができる。動作340の受信されたセンサデータは、電子装置に接続されたサーバに送信されてもよい。
【0066】
動作340内で、プロセッサは、車両内のセンサを活性化することができる。例えば、車両に含まれるレーダは、動作340を実行するプロセッサによって制御することができ、プロセッサによって、電波(例えば、マイクロ波)を放射することができる。前記の例では、プロセッサは、レーダによって検知された電波(例えば、レーダから放射された電波に対応する波長の反射波)に関連するセンサデータを受信することができる。
【0067】
図3を参照すると、動作350内で、一実施形態による、電子装置のプロセッサは、センサデータを使用して、車両内の動きを検知したか否かを判断することができる。車両内の動きを検知したプロセッサは、動作360を実行することができる。車両内の動きを検知できなかったプロセッサは、動作360をバイパスしてもよく、又は他の動作(例えば、動作370)を実行してもよい。例えば、カメラから取得されたビデオに対するオブジェクト認識を実行することによって、プロセッサは、車両内の動きを検知することができる。例えば、レーダから受信した反射波の変化量を用いて、プロセッサは、車両内の動きを検知することができる。例えば、二酸化炭素センサによって測定された二酸化炭素濃度の増加に基づいて、プロセッサは、車両内の生命体及び/又は生命体の動きを検知することができる。例えば、温度センサによって測定された温度の変化に基づいて、プロセッサは、動きを検知することができる。例えば、プロセッサは、センサデータと、センサデータに関連する閾値とを比較して、車両の内側の動き(例えば、車両内の物体(例えば、ヒト及び/又は動物)の動き)を検知することができる。
【0068】
プロセッサが動作350の動きを検知する一実施形態が説明されているが、実施形態は、これに限定されない。例えば、プロセッサが動作340のセンサデータを、サーバに送信及び/又は中継する場合、サーバは、センサデータを使用して、動きを検知することができる。
【0069】
図3を参照すると、動作360内で、一実施形態による、電子装置のプロセッサは、動きに関するアラームを送信することができる。動作340のセンサデータを用いて、車両内で動きを検知したプロセッサは、通信回路(例えば、
図2の通信回路212)を介して、外部電子装置(例えば、サーバ及び/又は
図1~
図2のユーザ端末140)に、前記動きに関連するアラームを提供するための信号を送信することができる。前記信号を受信するか、又はセンサデータを用いて、動きを直接検知したサーバは、電子装置及び/又は車両に関連したユーザのユーザ端末に、前記アラームに関連した信号(例えば、通知メッセージを含む信号)を送信することができる。
【0070】
動作360のアラームを送信したプロセッサは、ドアのうち少なくとも1つが開放される前まで、動作360のアラームを繰り返して(又は周期的に)送信することができる。例えば、動作360のアラームを送信した時点から指定された期間(10分)の間、プロセッサは、ドアの状態を確認することができる。ドアがすべて閉じた状態を維持する場合、指定された期間の満了に応答して、プロセッサは、動作360のアラームを再送信することができる。ドアのうち少なくとも1つが開放状態に切り替えられると、プロセッサは、動作360のアラームをさらに送信しなくてもよい。
【0071】
実施形態は、これに限定されず、電子装置に接続されたサーバは、動作360のアラームを送信した後に、指定された期間のドアの状態を監視して、アラームを再送信するか否かを判断することができる。例えば、サーバは、アラームを送信してから指定された期間が満了した時点で、ドアの状態を電子装置に要求することができる。電子装置から閉じた状態に対応するドアの状態を示す信号を受信したサーバは、動作360のアラームを再送信することができる。
【0072】
車両内の動きを検知した電子装置のプロセッサは、遠隔でアラームを送信するだけでなく、車両を制御して、車両に隣接する外部環境にアラームを出力することができる。例えば、センサデータを使用して、動きを検知した電子装置は、車両のホーンを鳴らしても(blow)、及び/又は車両の発光部品(light emitting component)を活性化(例えば、点滅)してもよい。
【0073】
図3を参照すると、動作340に基づいて、センサデータを受信した後、プロセッサは、動作370、380、390を実行して、動きの検知を中断するか否かを判断することができる。動作370内で、一実施形態による、電子装置のプロセッサは、ドアのうち少なくとも1つが開かれたか否かを判断することができる。センサデータを受信している間、ドアのうち少なくとも1つが閉じた状態から解放状態に切り替わると(370-YES)、プロセッサは、動作380を実行することができる。ドアが全て閉じた状態を維持する場合(370-NO)、プロセッサは、動作390を実行することができる。実施形態は、これに限定されず、動きに関するアラームを送信したサーバはまた、電子装置にドアの状態を示す信号を要求することができる。前記信号を使用して、サーバーは、ドアのうち少なくとも1つが開放されているか否かを判断することができる。
【0074】
図3を参照すると、動作390内で、一実施形態による、電子装置のプロセッサは、動きを検知するための指定された期間が満了したか否かを判断することができる。指定された期間は、10分から15分の範囲で決定することができる。指定された期間は、電子装置に含まれる内部バッテリ(例えば、スーパーキャパシタ)及び/又はセンサデータを使用して動きを検知するのに必要な期間のうち少なくとも1つに従って、経験的に(heuristic)決定することができる。指定された期間の間(390-NO)、プロセッサは、動作340のセンサデータを使用して動きを検知することを維持することができる。指定された期間の満了(expiration)に応答して(390-YES)、プロセッサは、動作380を実行することができる。実施形態は、これに限定されず、電子装置に接続されたサーバも、動作390の指定された期間が満了したか否かを判断することができる。
【0075】
図3を参照すると、動作380内で、一実施形態による、電子装置のプロセッサは、センサデータを使用して動きを検知することを中断することができる。電子装置に接続されたサーバはまた、動作380を実行するプロセッサと同様に、センサデータの受信を中断することができる。動作380内で、プロセッサは、サーバへのセンサデータの送信を中断することができる。動きを検知することが中断された後、車両の運転が再開されると、電子装置は、車両のバッテリによって再充電され得る。前記充電が中断された後、プロセッサは、
図3の動作を再び実行することができる。
【0076】
前述のように、一実施形態による、電子装置及び/又は電子装置に接続されたサーバは、運転が完了した車両内で動きを検知するための動作を実行することができる。動きを検知した電子装置及び/又はサーバは、ユーザにアラームを提供して、動きに関連するユーザの緊急のアクションをトリガ(trigger)することができる。以下では、
図4を参照して、動作360を実行する電子装置及び/又はサーバから提供される通知メッセージの一例を説明する。
【0077】
図4は、一実施形態による、電子装置101から送信された信号によって、ユーザ端末140に表示される例示的なテキストメッセージを示す。
図4を参照すると、
図1~
図3を参照して前述した動作を行った電子装置101及び/又はサーバ130が、ユーザ端末140に通知メッセージを送信した例示的な状態が示されている。ユーザ端末140は、ディスプレイ410を介して、電子装置101及び/又はサーバ130から受信した通知メッセージを視覚化することができる。
【0078】
図4を参照すると、電子装置101及び/又はサーバ130から受信した通知メッセージを受信したユーザ端末140によって表示される例示的な視覚的オブジェクト420、430、440、450が示されている。視覚的オブジェクト420、430、440、450は、アンドロイドオペレーティングシステムによって提供される通知センター(notification center)(又は通知パネル)と呼ばれるUI(user interface)を通して表示することができる。視覚的オブジェクト420、430、440、450は、ポップアップウィンドウ(例えば、トースト(toast))の形でディスプレイ410上に表示されてもよい。視覚的オブジェクト420、430、440、450は、メッセンジャーアプリケーションによって提供されるUI内で、メッセンジャーアプリケーションによって管理されるテキストメッセージを区別するための気泡の形で視覚化することができる。
【0079】
図4を参照すると、視覚的オブジェクト420のように、電子装置101及び/又はサーバ130は、動きが検知された車両を特定するためのテキスト(例えば、「11カ0000」などの車両識別番号(license plate number))を含む自然言語文(例えば、「11カ0000車両内の動きが検知されました。車両の内部を確認してください。」)を含む通知メッセージを、ユーザ端末140に送信することができる 。この通知メッセージを受信したユーザ端末140は、通知メッセージに含まれる自然言語文を含む視覚的オブジェクト420を、ディスプレイ410に表示することができる。
【0080】
図4を参照すると、電子装置101及び/又はサーバ130は、車両に配置された緊急制御手段(例えば、緊急ベル及び/又は緊急ボタン)を介して受信された入力(例えば、緊急ベルを押す入力)に応答して、前記入力を知らせるための通知メッセージを、ユーザ端末140に送信することができる。前記通知メッセージに応答して、ユーザ端末140は、車両を特定するためのテキストを含む自然言語文(例えば、「緊急事態です。11カ0000車両の内部を確認してください。」)を含む視覚的オブジェクト430を、ディスプレイ410内に表示することができる。一実施形態では、緊急制御手段は、車両のドアの閉じた状態とは無関係に駆動することができる。例えば、車両のドアのうち少なくとも1つが閉じた状態とは異なる状態に対応しても、電子装置101及び/又はサーバ130は、緊急制御手段に関連する入力に応答して、前記通知メッセージをサーバ130に送信することができる。
【0081】
図4を参照すると、電子装置101及び/又はサーバ130は、電子装置101の内部バッテリ及び/又は車両のバッテリ(例えば、
図2のバッテリ230)の状態(例えば、SOC及び/又は充電量)に関連する通知メッセージを、ユーザ端末140に送信することができる。例えば、前記状態を周期的に(又は繰り返して)確認する電子装置101及び/又はサーバ130は、電子装置101の内部バッテリのSOCが閾値SOC(例えば、15%)未満に減少した場合、内部バッテリのSOCに関連する通知メッセージを、サーバ130に送信することができる。前記通知メッセージを受信したサーバ130は、電子装置101の内部バッテリに関する自然言語文(例えば、「11カ0000車両内の無線通信端末の残りのバッテリ充電量が基準未達です。検知不可能な状態です。」又は「11カ0000車両内の無線通信端末の残りのバッテリーの充電量が不足しているため、検知できません。検知を終了します。」を含む視覚的オブジェクト440を表示することができる。
【0082】
図4を参照すると、電子装置101及び/又はサーバ130は、車両の内側の動きを検知することに応答して、電子装置101及び/又は車両に配置された少なくとも1つのカメラから取得されたビデオのストリーミングをサポートすることができる。例えば、動きを検知した電子装置101及び/又はサーバ130は、ユーザ端末140に、動きに関するアラームに関するテキストメッセージ及びビデオのストリーミングに関する通信リンクを確立(establish)するためのハイパーリンクを含む信号を送信することができる。このハイパーリンクは、ネットワーク内の電子装置101のアドレス(例えば、URL(Uniform Resource Location)、URI(Uniform Resource Indicator)、IPアドレス及び/又はMAC(Media Access Control)アドレス)及び/又はストリーミングに関連する電子装置101のポート番号を含むことができる。前記信号を受信したユーザ端末140は、ディスプレイ410内に、テキストメッセージとハイパーリンク455とを含む視覚的オブジェクト450を表示することができる。ハイパーリンク455をタッチ又はクリックするユーザ入力に応答して、ユーザ端末140は、サーバ130及び/又は電子装置101に、通信リンクの確立を要求することができる。
【0083】
一実施形態では、電子装置101及び/又はサーバ130は、ユーザ端末140などの外部電子装置から、ビデオのストリーミングに関する要求を含む信号を受信することができる。この信号に応答して、電子装置101及び/又はサーバ130は、ユーザ端末140と電子装置101との間の通信リンクを確立することができる。この通信リンクを介して、電子装置101は、電子装置101及び/又は車両に配置された少なくとも1つのカメラから受信したビデオを、ユーザ端末140に提供することができる。ビデオを受信したユーザ端末140は、ディスプレイ410の少なくとも一部に、前記ビデオを出力することができ、又は再生することができる。
【0084】
以下では、
図5を参照して、動きを検知するために車両の内側に配置されたセンサについて説明する。
【0085】
図5は、一実施形態による、電子装置101を含む車両110の内側に分布する(distributed)例示的なセンサを示す。
図1~
図4の電子装置101及び/又は
図2のプロセッサ210は、
図5を参照して説明した電子装置101の動作を実行することができる。
図5を参照して説明される車両110内のセンサは、
図1のセンサ120の一例であり得る。
【0086】
図5を参照すると、バスの外形を有する車両110内で、電子装置101は、車両110内の動き検知センサ(例えば、レーダ及び/又はカメラ)530、緊急制御手段520、及び/又はドアセンサ510のうち少なくとも1つと接続することができる。動き検知センサ530、緊急制御手段520及び/又はドアセンサ510は、電子装置101と有線接続(wired connection)を有するか、又は電子装置101と無線で接続することができる。
【0087】
図5を参照すると、動き検知センサ530がレーダに対応する一実施形態では、動き検知センサ530は、円で示される例示的な領域535で発生した動きを検知することができる。領域535は、レーダが電波(例えば、レーダのアンテナから放射された電波に対する反射波)を受信可能な領域であり得る。電子装置101は、レーダによって検知された反射波の振幅の変化を利用して、領域535内で発生した動きを検知することができる。
【0088】
動き検知センサ530がカメラである一実施形態では、カメラのFoV(field-of-view)に関連する車両110内のカメラの例示的な位置が、
図6を参照して説明される。動き検知センサ530がレーダである一実施形態では、車両110の形状及び/又は寸法(dimensions)(例えば、全長(overall length)、全幅(width)、及び/又は全高(height))によるレーダの例示的な位置を、
図7a及び/又は
図7bを参照して説明する。
【0089】
車両110のドアに配置されたドアセンサ510は、ドアの状態(例えば、閉じた状態及び/又は開放状態)を示す信号を、電子装置101に送信することができる。電子装置101は、サーバ(例えば、
図1~
図2のサーバ130)から受信した要求(例えば、車両110のドアの状態に対する要求)に応答して、ドアセンサ510から受信した信号を、サーバに送信することができる。
【0090】
車両110に配置された緊急制御手段520は、緊急ベル、緊急ボタン及び/又は緊急レバーの形態を有することができる。車両110内のユーザが緊急制御手段520に関連するジェスチャを実行する場合(例えば、緊急ベルを押す、緊急ボタンを押す、及び/又は緊急レバーを傾ける場合)、電子装置101は、緊急制御手段520から前記ジェスチャの検知を示す信号を受信することができる。前記信号を受信した電子装置101は、サーバ及び/又はユーザ端末(例えば、
図1のユーザ端末140)に、緊急制御手段520に関連するジェスチャの検知を示す信号を送信することができる。
【0091】
前述したように、バスなどの比較的大きなサイズを有する車両110内に搭載された電子装置101は、車両110内に分布したセンサを用いて、車両110の内側の動きを検知することができる。
【0092】
図6は、一実施形態による、電子装置101を含む車両110の内側に分布する複数のカメラ610、620、630、640の例示的な位置を示す。
図1~
図4の電子装置101及び/又は
図2のプロセッサ210は、
図6を参照して説明した電子装置101の動作を実行することができる。
図6の車両110に配置された複数のカメラ610、620、630、640は、
図1のセンサ120の一例であり得る。
【0093】
図6を参照すると、車両110の前方(forward direction又はforward direction)fに向かって配置された電子装置101が例示的に示されている。例えば、電子装置101の第1のカメラ(例えば、
図2の第1のカメラ224)が配置されたいずれかの面(例えば、電子装置101の前面(front surface))は、車両110の前方fに向かって配置されてもよい。
【0094】
図6を参照すると、電子装置101を含む車両110の例示的な構造が示されている。車両110の内側には、運転席、少なくとも1つの助手席、1人以上の乗客のための1つ以上のシートが配置されてもよい。車両110の内側に含まれる部品は、これに限定されず、例えば、車両110は、乗客の保護のための隔壁(partition)(例えば、プロテクタと呼ばれる物体)、運転者を保護するための保護板(guard plate)、非常口、階段(例えば、可動階段)、折り畳み可能な(foldable)シートをさらに含むことができる。
【0095】
図6を参照すると、車両110は、車両110の内側の死角(blind spot)を最小限に抑えるように配置されたカメラ610、620、630、640を含むことができる。車両110に含まれるカメラ610、620、630、640の数、位置及び/又は方向は、
図6の一実施形態に限定されるわけではない。
図6を参照すると、カメラ610、620、630、640のそれぞれによって録画可能な領域615、625、635、645が例示的に示されている。領域615、625、635、645のそれぞれは、対応するカメラのFoVと呼ばれることがある。領域615、625、635、645は、車両110の内側の異なる部分及び/又はシートを含むように配置されたカメラ610、620、630、640によって形成することができる。実施形態は、これに限定されず、カメラは、車両110の内側だけでなく、車両110の外部(例えば、車両110の前方f、後方、左側、右側、上方、及び/又は下方)に向かって配置されてもよい。
【0096】
車両110の内側に固定された位置を有するカメラ610、620、630、640が例示的に示されているが、実施形態は、これに限定されない。例えば、車両110に配置されたカメラのFoV、方向(例えば、カメラが配置されたマウントの角度)、位置、及び/又は撮影ターゲットを変更することができる。
【0097】
図6の例示的なカメラ610、620、630、640に接続された一実施形態では、電子装置101は、カメラ610、620、630、640からビデオを含むセンサデータを受信することができる。カメラ610、620、630、640のうち少なくとも1つから受信したビデオが入力されたニューラルネットワークを使用して、電子装置101は、ビデオに対するオブジェクト認識を実行することができる。前記ニューラルネットワークは、電子装置101によって実行可能なオンデバイス(on-device)ニューラルネットワークであり得る。オブジェクト認識を用いて、ビデオから車両110(又は車両110に配置された物体)とは異なる外部オブジェクトを検知した電子装置101は、通信回路(例えば、
図2の通信回路212)を介して、外部電子装置に、外部オブジェクトの検知を知らせる信号を送信することができる。前記信号を受信したサーバは、電子装置101に対応するユーザ端末に、前記信号に基づく通知メッセージ(例えば、
図4の視覚的オブジェクト420、430、440、450)を送信することができる。
【0098】
図7a及び/又は
図7bは、異なる寸法(dimensions)を有する車両110-1、110-2の内側に分布する複数のレーダ701、702、703、711、712の例示的な位置を示す。
図1~
図4の電子装置101及び/又は
図2のプロセッサ210は、
図7a及び/又は
図7bを参照して説明した電子装置101の動作を実行することができる。
【0099】
図7a及び/又は
図7bを参照すると、異なる寸法を有する車両110-1、110-2及び車両110-1、110-2のそれぞれに含まれるレーダ701、702、703、711、712が例示的に示されている。レーダ701、702、703、711、712の各ビームパターンは、円錐状に形成されてもよく、第1方向(例えば、垂直方向)及び第1方向に垂直な第2方向(例えば、水平方向)に100°の視野角(又は画角)(viewing angle)を有することができる。
【0100】
図7aを参照すると、3つのレーダ701、702、703を含む車両110-1の一例が示されている。レーダ701、702、703は、車両110-1の走行方向に平行な車両110-1の天井(ceiling)の中心線に沿って配置されてもよい。レーダ701は、中心線上で、車両110-1のAピラー(pillar)と天井との間の境界、又は車両110-1のフロントガラスと天井との間の境界からL1だけ離隔されてもよい。レーダ702は、中心線上でレーダ701からL2だけ離隔することができる。レーダ703は、中心線上でレーダ702からL3だけ離隔することができる。
図7aのL1、L2、L3は、車両110-1の全長について、表2のメートル単位の値で決定することができる。
【表2】
表2の検知距離hは、レーダと外部オブジェクトとの間の限界距離であり、レーダは、検知距離h未満に離隔された距離の外部オブジェクトを検知することができる。
図7aを参照すると、レーダ701、702、703のビームパターンは、車両のガラス(例えば、フロントガラス、リアガラス、及び/又はサイドガラス)における電波の透過を最小限に抑えるために、高さwを有するガラスと重ならないように形成することができる。
図7aの一実施形態では、車両110-1内の電子装置101は、レーダ701、702、703からセンサデータを受信することができる。このセンサデータは、レーダ701、702、703のそれぞれから放射された電波に対する反射波の強度(又は振幅)を表す数値を含むことができる。車両110-1内にヒトが存在する場合、ヒトの動きによって、反射波の強度が変化することがある。電子装置101は、反射波の強度の変化量及び/又は変化率を用いて、車両110-1の内側の動きを検知することができる。
【0101】
図7bを参照すると、2つのレーダ711、712を含む車両110-2の一例が示されている。レーダ711、712は、車両110-2の走行方向に平行な車両110-2の天井の中心線に沿って配置することができる。この中心線上のレーダ711は、車両110-2のAピラーと天井との間の境界又は車両110-2のフロントガラスと天井との間の境界からL4だけ離隔されてもよい。中心線上のレーダ712は、レーダ711からL5だけ離隔することができる。
図7bのL4、L5は、車両110-2の全長について、表3のメートル単位の値で決定することができる。
【表3】
表3の検知距離hは、表1の検知距離hのように、レーダ711、712のビームパターンによって検知可能な距離を意味することができる。
図7bを参照すると、レーダ711、712のビームパターンは、車両のガラスにおける電波の透過及び/又は損失を最小限に抑えるために、高さwを有するガラスと重ならないように形成することができる。
図7bの一実施形態では、車両110-2内の電子装置101は、レーダ711、712から受信したセンサデータを使用して、車両110-2内を移動する外部オブジェクト(例えば、ヒト及び/又はペットなどの生命体)を検知することができる。レーダ711、712によって検知された反射波(例えば、
図7bに示すビームパターンを形成する電波に対する反射波)の強度の変化を利用して、電子装置101は、外部オブジェクト及び/又は外部オブジェクトの動きを検知することができる。
【0102】
前述のように、車両内には、様々な数のセンサを配置することができる。様々な数のセンサと通信するために、電子装置101は、センサのセンサデータの多重化(multiplex)を用いて、単一の有線接続を介して、センサのセンサデータを取得することができ、又は受信することができる。以下では、
図8を参照すると、多重化に関連する電子装置101とセンサとの間の例示的な接続が示されている。
【0103】
図8は、一実施形態による、電子装置101と1つ以上のセンサ820-1、820-2、...、820-kとの間の例示的な有線接続(wired connection)を示す。
図1~
図4の電子装置101及び/又は
図2のプロセッサ210は、
図8を参照して説明した電子装置101の動作を実行することができる。
【0104】
図8を参照すると、電子装置101は、ポート228を介して、多重化装置810と接続することができる。多重化装置810は、ポート228に接続された第1のポートとは異なる複数の第2のポートを介して、車両に配置されたk個のセンサ820-1、820-2、...、820-kと接続することができる。多重化装置810は、k個のセンサ820-1、820-2、...、820-kから送信された電気信号を多重化して、ポート228に出力される統合(integrated)電気信号を生成してもよく、又は取得してもよい。
【0105】
図8を参照すると、多重化装置810を介して4つのカメラが接続されている場合、多重化装置810から電子装置101に送信される統合電気信号は、4つのカメラのそれぞれで取得されたビデオの組み合わせを含むことができる。
図8を参照すると、統合電気信号によって表される例示的なイメージフレーム830が示されている。イメージフレーム830内のビデオのイメージフレームは、PBP(picture-by-picture)方式又はPIP(Picture-in-Picture)方式のレイアウトに配置(arranged)されてもよい。多重化装置810によって、フレーム830内でビデオのイメージフレームをタイル化(tiled)することができる。例えば、イメージフレーム830内で、ビデオのイメージフレームのそれぞれが互いに重なり合わない位置を有してもよい。多重化装置810は、イメージフレーム830内で、ビデオに含まれるイメージフレームのそれぞれに対して、ビデオを取得したカメラの識別子(例えば、「CAM1」、「CAM2」、「CAM3」、及び「CAM4」)を埋め込むことができる。
【0106】
多重化装置810から統合電気信号を受信した電子装置101は、その統合電気信号から、k個のセンサ820-1、820-2、...、820-kのそれぞれのセンサデータを取得することができる。例えば、電子装置101は、逆多重化(demultiplexing)を実行して、統合電気信号からk個のセンサ820-1、820-2、...、820-kの各々のセンサデータを分割(segment)してもよく、又は抽出してもよい。イメージフレーム830を含む統合電気信号を受信した一実施形態では、電子装置101は、イメージフレーム830に対してクロップを実行し、イメージフレーム830からの4つのカメラのそれぞれのイメージフレームを取得することができる。統合電気信号から抽出されたセンサデータを用いて、
図1~
図4を参照して前述したように、電子装置101は、車両の内側の動きを検知することができる。
【0107】
多重化装置810を使用して、k個のセンサ820-1、820-2、...、820-kの電気信号を多重化する一実施形態では、多重化装置810は、k個未満の電気信号の多重化をサポートすることができる。多重化装置810によって多重化される電気信号の最大数が、車両に配置されたセンサの数未満である場合、多重化装置810は、センサのそれぞれの優先順位を用いて、特定のセンサの電気信号に対する多重化を優先的に(又はオプションで)実行できる。
【0108】
多重化装置810は、k個のセンサ820-1、820-2、...、820-kのそれぞれの状態を利用して、k個のセンサ820-1、820-2、...、820-kの電気信号の中で、多重化される複数の電気信号を選択してもよく、又は決定してもよい。例えば、定常状態とは異なる状態(例えば、故障状態及び/又は不活性状態)のセンサを除く残りのセンサの電気信号に対する多重化は、多重化装置810によって実行され得る。k個のセンサ820-1、820-2、...、820-kのうち、定常状態である第1のセンサの電気信号を多重化する多重化装置810は、第1のセンサの中で、特定のセンサが、故障状態に切り替えられた場合(又は特定のセンサから電気信号を受信できなかった場合)、第1のセンサとは異なる第2のセンサのうち、いずれかのセンサの電気信号を多重化してもよい。
【0109】
カメラのビデオが多重化される一実施形態が示されているが、実施形態は、これに限定されない。複数のレーダが多重化装置810に接続された一実施形態では、イメージフレーム830は、複数のレーダのそれぞれによって検知された電波の分布(又は分布を表す2次元イメージ)を含んでもよい。
【0110】
前述のように、一実施形態によれば、電子装置101は、車両に含まれる1つ以上のセンサから、及び/又は電子装置101に含まれるセンサから受信したセンサデータを使用して、車両の内側の動きを検知することができる。電子装置101が前記動きを検知することは、車両の運転が中断され、車両のドアの全てが閉じられた状態で実行されてもよい。電子装置101は、車両のバッテリの放電を防止するために、車両の運転中にのみ充電することができる。電子装置101は、センサデータをサーバに送信して、サーバが動きを検知することを可能にする。実施形態は、これに限定されず、動きを検知するために使用されるサーバのリソースを節約するために、電子装置101は、サーバとは無関係に、センサデータを処理して動きを検知することができる。
【0111】
図9は、一実施形態による、車両(例えば、
図1の車両110)のディスプレイ900を介して表示される情報の一例を示す。
図9のディスプレイ900は、車両のダッシュボードに配置することができる。ディスプレイ900は、一実施形態による電子装置101に含まれてもよく、又は電子装置101と電気的に接続されてもよい。
【0112】
図9は、一実施形態による、車両(例えば、
図1の電力回路101)に配置された電子装置のディスプレイ900を介して、乗客監視情報を表示する動作を示す。例えば、車両に搭載された電子装置は、ディスプレイ900を介して、車両内の監視情報を視覚化することができる。
【0113】
図9を参照すると、車両に取り付けられた電子装置が、ディスプレイ900を介して表示する例示的な視覚的オブジェクト905、910、920が示されている。視覚的オブジェクト905、910、920は、車両のオペレーティングシステムによって提供される通知センター(notification center)(又は通知パネル)と呼ばれるUI(user interface)を通して表示することができる。
【0114】
車両に設置された電子装置は、視覚的オブジェクト905を介して、車両内の監視システム(ICMS)の対象となる車両イメージ、車両内に設置された座席(seats)、当該座席における搭乗者(occupant)の検知の可否、及び/又はその座席に搭乗した搭乗者がシートベルトを着用したか否かに関する情報を視覚的に表示することができる。座席のうち少なくとも1つから搭乗者を検知した電子装置は、搭乗者が大人(adult)又は子供(child)のうちいずれかに対応するかを示すアイコン、イメージ、及び/又はテキストを表示することができる。
【0115】
車両に設置された電子装置は、視覚的オブジェクト910を用いて、運転者が車両の始動をオフ(off)にした後又は車両で下車する前に、車両の後部座席(rear seats)に検知されたオブジェクト(乗客及び/又は持ち物)があることを知らせる情報を視覚的に表示することができる。
【0116】
車両に設置された電子装置は、視覚的オブジェクト920を介して、ICMSデータを視覚的に表示することができる。具体的には、視覚的オブジェクト920aは、車両の乗員1(運転者)の監視情報(シートベルト着用、大人)を表すことができる。電子装置は、視覚的オブジェクト920bを用いて、特定の座席が空であることを示すことができる。電子装置は、視覚的オブジェクト920cを用いて、車両の乗員3(乗客2)の監視情報(シートベルト着用、大人)(例えば、ICMSデータ)を表示することができる。電子装置は、車両の乗員4(乗客3)の監視情報(シートベルト未着用、子供)を表す視覚的オブジェクト920dを表示することができる。電子装置は、視覚的オブジェクト920eを用いて、車両の乗員5(乗客5)の監視情報(未検知)(搭乗者なし)を表示することができる。視覚的オブジェクト920fは、車両の乗員6(乗客6)の監視情報(シートベルト未着用、大人)を表すことができる。視覚的オブジェクト920a、920b、920c、920d、920e、920fは、車両の座席(例えば、
図9の一実施形態では、6つの座席)のそれぞれで乗員を検知した結果を表すことができる。
【0117】
図10は、一実施形態による、電子装置(例えば、
図1の電子装置101)から送信された信号に従って、ユーザ端末140のディスプレイ1000に表示される画面の一例を示す。
図10を参照して説明される電子装置の動作は、
図1の電子装置101及び/又は
図2のプロセッサ210によって実行されてもよい。
図10は、一実施形態による、電子装置から送信された信号によって、ユーザ端末のディスプレイ1000に表示される例示的なメッセージを示す。
【0118】
図10を参照すると、
図1~
図3を参照して前述した動作を行った電子装置101及び/又はサーバ130が、ユーザ端末140に通知メッセージを送信した例示的な状態が示されている。ユーザ端末140は、ディスプレイ1000を介して、電子装置101及び/又はサーバ130から受信した通知メッセージを視覚化することができる。
【0119】
一実施形態では、視覚的オブジェクト1005、1010は、メッセンジャーアプリケーションによって提供されるUI内で、メッセンジャーアプリケーションによって管理されたメッセージを区別するための気泡の形で視覚化することができる。実施形態は、これに限定されず、
図10のディスプレイ1000内に表示される画面は、車両に関連する機能を実行するために、ユーザ端末140にインストールされたスマートカーアプリケーションによって表示されてもよい。
【0120】
視覚的オブジェクト1005を用いて、ユーザ端末140は、電子装置が設置されたバスイメージ、該当バス内に設置された座席(seats)、当該座席に搭乗者(occupant)が検知されたか否か、検知された搭乗者が大人(adult)、子供(child)であるかどうかに関する情報、該当座席に搭乗した搭乗者のシートベルト着用の可否に関する情報を視覚化することができる。例えば、ユーザ端末140は、車両内の電子装置及び/又はサーバから送信された情報を用いて、車両を表すイメージに重畳された少なくとも1つの図形、テキスト、イメージ、及び/又はアイコンを含む視覚的オブジェクト905を表示することができる。
【0121】
図10を参照すると、視覚的オブジェクト1010のように、電子装置101及び/又はサーバ130は、車両内で検知された情報を特定するためのテキストを含む自然言語文(例えば、「車両内の動きが検知されました。座席番号6番、大人0名、子供1名、ペット0匹、持ち物0個」を含む通知メッセージを、ユーザ端末140に送信することができる。この通知メッセージを受信したユーザ端末140は、通知メッセージに含まれる自然言語文を含む視覚的オブジェクト1010を、ディスプレイ1000に表示することができる。
【0122】
車両に関連する視覚的オブジェクト1005、1010を表示するユーザ端末140の一例が示されているが、実施形態は、これに限定されない。例えば、視覚的オブジェクト1005、1010のうち少なくとも1つと共に、ユーザ端末410は、車両を(遠隔的に)制御するためのボタンの形態を有する1つ以上の視覚的オブジェクトをさらに表示することができる。
【0123】
図11は、一実施形態による、電子装置(例えば、
図1の電子装置101)によって検知された電子装置を含む車両(例えば、
図1の車両110)内の少なくとも一人の乗客に関連する情報の一例を示す。一実施形態による、車両に配置された電子装置のディスプレイを介して、乗客監視情報を表示する情報を示す。
【0124】
一実施形態によれば、車両の走行が完全自律走行モードで動作する場合、バス、電車、地下鉄などの公共交通手段(public transportation)は、運転者の搭乗なしで、乗客のみを輸送してもよい。そのような場合、公共交通手段を運営する主体(entity)は、交通手段の安全管理を遠隔で監視し、乗客及び/又は車両に安全を脅かす状況を検知し予防する必要性が高まる。
【0125】
したがって、
図11のように、公共交通手段を運営する主体の電子装置は、公共交通手段(例えば、バス)に設けられたICMSによって識別された搭乗者の行動、搭乗者の持ち物等を介して、交通手段の安全を脅かす状況の発生可能性を予測し、遠隔から当該交通手段への運行を中止したり、セキュリティ関連機関(警察、セキュリティ会社など)に出動要求を送信することもできる。
【0126】
図11を参照すると、車両に含まれる電子装置から、外部サーバ(例えば、公共交通手段を管理するサーバ)に送信されるイメージ1110の一例が示されている。イメージ1110は、電子装置によって車両に含まれる1つ以上のカメラから取得することができる。イメージ1110と共に、電子装置は、イメージ1110を用いて、車両内の外部オブジェクト(例えば、乗客)を検知した結果を示す情報を、外部サーバに送信することができる。
図11を参照すると、前記情報に含まれる1つ以上の数値に対応し、イメージ1110内の外部オブジェクトに対応する領域を表す、バウンディングボックス1120、1130、1140が示されている。例えば、イメージ1110と共に、電子装置は、イメージ1110内で、外部オブジェクトに対応する領域の頂点の座標を含む情報(例えば、イメージ1110のメタデータ)を送信することができる。この座標と共に、電子装置は、前記領域に対応する外部オブジェクトの種類及び/又はカテゴリを示す情報を送信することができる。
【0127】
図11を参照すると、車両の内側に向かって配置されたカメラから取得されたイメージ1110内で、電子装置は、複数の乗客及び1つ以上の物体を検知することができる。バウンディングボックス1120は、電子装置によって検知された第1の乗客に対応することができる。例えば、バウンディングボックス1120は、車両に搭乗した第1の乗客の車両内位置及び/又はイメージ1110内の第1の乗客に関連する位置を表すことができる。バウンディングボックス1130は、電子装置によって検知され、車両に搭乗した第2の乗客に対応することができる。
【0128】
一実施形態では、電子装置は、ODを用いて、イメージ1110内の車両の乗客だけでなく、物体を検知することができる。例えば、ナイフ及び/又は銃のように、電子装置は、事故を引き起こす可能性がある物体を、イメージ1110から検知することができる。
図11の一実施形態では、バウンディングボックス1140に関連する情報を外部サーバに送信して、電子装置は、ナイフなどの危険物を検知した結果を示すことができる。一実施形態では、バウンディングボックス1140に対応するイメージ1110の一部を使用して、危険物を検知した電子装置は、外部サーバ及び/又は車両に関連するユーザ端末に、危険物を検知したことを示す信号を送信することができる。一実施形態では、電子装置は、ODを用いて、イメージ1110内の車両の乗客の行動を予測することができる。例えば、電子装置は、車両の乗客の喫煙行為、飲酒行為などを含めた暴力誘発行為を、イメージ1110から検知することができる。
図11の一実施形態では、イメージ1110から検知された乗客の行動情報を用いて、車両、他の乗客の安全を脅かす危険行動を検知した電子装置は、外部サーバ及び/又は車両に関連するユーザ端末に、車両内の危険行動の発生を検知したことを示す信号を送信することができる。
【0129】
一実施形態では、車両に閉じ込められた生命体(例えば、ヒト及び/又はペット)を迅速に検知するための方法が必要とされ得る。前述のように、一実施形態による、車両(例えば、
図1の車両110)に搭載可能な(mountable on)電子装置(electronic device)(例えば、
図1の電子装置101)は、 ポート(例えば、
図2のポート228)、通信回路(例えば、
図2の通信回路212)、命令を格納するメモリ、及びプロセッサ(例えば、
図2のプロセッサ210)を含むことができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記車両のバッテリから受信した電力の遮断に基づいて、車両のドアの状態を検知するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、閉じた状態に対応する状態を検知することに応答して、前記ポートを介して、前記車両の内側に(inside)配置された複数のセンサ(例えば、
図1の複数のセンサ120)のセンサデータを受信するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記センサデータを使用して、前記車両内の動きを検知することに応答して、前記通信回路を介して、外部電子装置(例えば、
図1のサーバ130及び/又はユーザ端末140)に、前記動きに関連するアラームを提供するための信号を送信するようにすることができる。一実施形態によれば、電子装置は、車両のドアの全てがロックされている間に、車両に分散されたセンサを使用して、動きを検知することができる。
【0130】
例えば、前記車両の前方(front direction)に向かって配置されたカメラをさらに含むようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記車両の後方(rear direction)方向に向かって配置されたカメラと接続可能な(connectable)ポートを介して、前記センサデータを受信するようにすることができる。
【0131】
例えば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記ポートに接続された多重化装置を介して受信された複数のセンサの電気信号が多重化された統合(integrated)電気信号から、前記複数のセンサのそれぞれのセンサデータを取得するようにすることができる。
【0132】
例えば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、カメラである複数のセンサから、前記車両内のビデオを含むセンサデータを受信するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記ビデオが入力されたニューラルネットワークを用いて、前記ビデオに対するオブジェクト認識(object detection)を実行するようにすることができる。
【0133】
例えば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記オブジェクト認識を用いて、前記ビデオから車両とは異なる外部オブジェクトを検知することに応答して、前記通信回路を介して、前記外部電子装置に前記信号を送信するようにすることができる。
【0134】
例えば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記外部電子装置から、前記ビデオのストリーミングに関連する要求を含む他の信号を受信することに応答して、前記通信回路を用いて、前記外部電子装置と前記電子装置との間の通信リンクを確立(establish)するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、通信リンクを介して、前記外部電子装置に、前記複数のセンサから受信されたビデオを提供するようにすることができる。
【0135】
例えば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記通信回路を介して、前記外部電子装置に、アラームに関連するテキストメッセージ及び通信リンクを確立するためのハイパーリンクを含むアラームを提供するための信号を送信するようにすることができる。
【0136】
例えば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、レーダである複数のセンサから受信したセンサデータを使用して、前記車両内を移動する外部オブジェクトを検知するようにすることができる。
【0137】
例えば、前記車両内の空気に含まれる二酸化炭素に関連する数値をパラメータ化(parametrize)するように構成された二酸化炭素センサを含むことができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、閉じた状態に対応する状態を検知することに応答して、前記二酸化炭素センサによってパラメータ化された数値を使用して、車両内で二酸化炭素を合成する生命体(living organism)を検知するようにすることができる。
【0138】
例えば、前記電子装置は、UWB(ultra-wideband)に関連するアンテナを含むことができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、閉じた状態に対応する状態を検知することに応答して、前記アンテナを制御して、UWBに含まれ、車両に対応するリモートコントローラから送信された無線信号を検知するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記アンテナを使用して検知された無線信号によって計算された車両に対するリモートコントローラの位置を用いて、前記センサデータを利用して、前記動きを検知するか否かを判断するようにすることができる。
【0139】
例えば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、閉じた状態に対応する状態を検知した時点から指定された期間(preset duration)の間、前記センサデータを使用して、前記動きの検知を実行するようにすることができる。
【0140】
例えば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記センサデータを使用して、前記動きを検知することに応答して、車両のホーンを鳴らすか(blow)、又は車両の発光部品(light emitting component)を活性化するようにすることができる。
【0141】
前述のように、一実施形態では、車両に搭載可能であり、ポート及び通信回路を含む電子装置の方法を提供することができる。この方法は、前記車両のバッテリから受信した電力の遮断に基づいて、前記車両のドア(doors)の状態を検知する動作を含むことができる。この方法は、閉じた状態に対応する状態を検知することに応答して、前記ポートを介して、前記車両の内側に(inside)配置された複数のセンサのセンサデータを受信する動作を含むことができる。この方法は、前記センサデータを使用して、前記車両内の動きを検知することに応答して、前記通信回路を介して、外部電子装置に、前記動きに関連するアラームを提供するための信号を送信する動作を含むことができる。
【0142】
例えば、前記受信する動作は、前記車両の後方に向かって配置されたカメラと接続可能なポートを介して、前記センサデータを受信する動作を含むことができる。
【0143】
例えば、前記受信する動作は、前記ポートに接続された多重化装置を介して受信された、前記複数のセンサの電気信号が多重化された統合電気信号から、前記複数のセンサのそれぞれのセンサデータを取得する動作を含むことができる。
【0144】
例えば、前記受信する動作は、カメラである複数のセンサから、前記車両内のビデオを含むセンサデータを受信する動作を含むようにすることができる。前記送信する動作は、前記ビデオが入力されたニューラルネットワークを用いて、前記ビデオに対するオブジェクト認識を実行する動作を含むことができる。
【0145】
例えば、前記送信する動作は、前記オブジェクト認識を利用して、前記ビデオから前記車両とは異なる外部オブジェクトを検知することに応答して、前記通信回路を介して、前記外部電子装置に信号を送信する動作を含むことができる。
【0146】
例えば、前記方法は、前記外部電子装置から、前記ビデオのストリーミングに関連する要求を含む他の信号を受信することに応答して、前記通信回路を用いて、前記外部電子装置と前記電子装置との間の通信リンクを確立する動作を含むことができる。この方法は、前記通信リンクを介して、前記外部電子装置に、前記複数のセンサから受信されたビデオを提供する動作を含むことができる。
【0147】
例えば、前記送信する動作は、前記通信回路を介して、前記外部電子装置に、前記アラームに関連するテキストメッセージ及び前記通信リンクを確立するためのハイパーリンクを含むアラームを提供するための信号を送信する動作を含むことができる。
【0148】
前述のように、一実施形態では、命令を含む非一時的コンピュータ可読記憶媒体を提供することができる。前記命令は、車両に搭載可能であり、ポート及び通信回路を含む電子装置のプロセッサによって実行されると、前記電子装置が、前記車両のバッテリから受信した電力の遮断に基づいて、前記車両のドア(doors)の状態を検知するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、閉じた状態に対応する状態を検知することに応答して、前記ポートを介して、前記車両の内側に(inside)配置された複数のセンサのセンサデータを受信するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記センサデータを使用して、前記車両内の動きを検知することに応答して、前記通信回路を介して、外部電子装置に、前記動きに関連するアラームを提供するための信号を送信するようにすることができる。
【0149】
以上で説明した装置は、ハードウェア構成要素、ソフトウェア構成要素、及び/又はハードウェア構成要素及びソフトウェア構成要素の組み合わせで実施することができる。例えば、実施形態で説明した装置及び構成要素は、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、又は命令(instruction)を実行及び応答することができる他の任意の装置など、1つ又はそれ以上の汎用コンピュータ又は特殊目的コンピュータを使用して実装することができる。処理装置は、オペレーティングシステム(OS)及びオペレーティングシステム上で実行される1つ又はそれ以上のソフトウェアアプリケーションを実行することができる。さらに、処理装置は、ソフトウェアの実行に応答して、データをアクセス、保存、操作、処理及び生成することができる。理解の便宜のために、処理装置は、1つが使用されるものとして説明されている場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数タイプの処理要素を含むことができることがわかる。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含んでもよい。さらに、パラレルプロセッサ(parallel processor)などの他の処理構成(processing configuration)も可能である。
【0150】
ソフトウェアは、コンピュータプログラム(computer program)、コード(code)、命令(instruction)、又はこれらのうちの1つ以上の組み合わせを含むことができ、所望のように動作するように処理装置を構成するか、独立して又は組み合わせて(collectively)処理装置に命令することができる。ソフトウェア及び/又はデータは、処理装置によって解釈されるか、又は処理装置に命令又はデータを提供するために、任意の種類の機械、構成要素(component)、物理装置、コンピュータ記憶媒体又は装置に具体化(embody)されてもよい。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散した方法で保存又は実行されてもよい。ソフトウェア及びデータは、1つ又はそれ以上のコンピュータ可読記録媒体に格納されてもよい。
【0151】
実施形態による方法は、様々なコンピュータ手段を介して実行され得るプログラム命令の形態で実施され、コンピュータ可読媒体に記録され得る。この場合、媒体は、コンピュータで実行可能なプログラムを保存し続けてもよく、実行又はダウンロードのために一時的に保存してもよい。さらに、媒体は、単一又は複数のハードウェアが結合された形態の様々な記録手段又は記憶手段であり得、任意のコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピーディスク、磁気テープなどの磁気媒体、CD-ROM、DVDなどの光記録媒体、フロプティカルディスク(floptical disk)などの磁気光学媒体(magneto-optical medium)、ROM、RAM、フラッシュメモリなどを含めて、プログラム命令が格納されるように構成されたものがあり得る。また、他の媒体の例として、アプリケーションを流通するアプリストアや他の様々なソフトウェアを供給又は流通するサイト、サーバなどで管理する記録媒体~記憶媒体も挙げられる。
【0152】
以上のように、実施形態が限定された実施例と図面によって説明されたが、当該技術分野で通常の知識を有する者であれば、前記の記載から様々な修正及び変形が可能である。例えば、記載された技術は、記載された方法とは異なる順序で実行され、及び/又は記載されたシステム、構造、装置、回路などの構成要素は、記載された方法とは異なる形態で結合又は組み合わされ、又は他の構成要素又は均等物によって代替又は置換されても、適切な結果が達成され得る。
【0153】
したがって、他の実施形態、他の実施例、及び特許請求の範囲と同等のものも、後述する特許請求の範囲の範囲に属する。