(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024083316
(43)【公開日】2024-06-20
(54)【発明の名称】クラウドベースの車両情報を提供するための電子装置及び方法
(51)【国際特許分類】
G08G 1/00 20060101AFI20240613BHJP
G07C 5/00 20060101ALI20240613BHJP
【FI】
G08G1/00 D
G07C5/00 Z
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2023208131
(22)【出願日】2023-12-11
(31)【優先権主張番号】10-2022-0171382
(32)【優先日】2022-12-09
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2023-0164900
(32)【優先日】2023-11-23
(33)【優先権主張国・地域又は機関】KR
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ZIGBEE
(71)【出願人】
【識別番号】516082420
【氏名又は名称】シンクウェア コーポレーション
【氏名又は名称原語表記】THINKWARE CORPORATION
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人IPX
(72)【発明者】
【氏名】ハ・ジュンジュン
(72)【発明者】
【氏名】イム・ドンヒ
(72)【発明者】
【氏名】ソン・ノヨン
(72)【発明者】
【氏名】ハン・テギュ
【テーマコード(参考)】
3E138
5H181
【Fターム(参考)】
3E138AA07
3E138MA02
3E138MB02
3E138MB03
3E138MB08
3E138MB09
3E138MC06
3E138MC12
3E138MC13
3E138MD01
3E138MD05
3E138ME04
5H181AA01
5H181BB04
5H181BB05
5H181BB12
5H181BB13
5H181BB20
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181FF10
5H181FF13
5H181FF27
5H181FF32
5H181MB08
5H181MC17
5H181MC19
(57)【要約】 (修正有)
【課題】電子装置は、ユーザに情報を利用したサービスを提供する。
【解決手段】電子装置101が、無線通信接続を確立し、第1のタイミングでセンサを介して取得され、電子装置101を搭載した車両の加速度を含む第1のセンシング情報を、第1のメモリに記録し、記録された第1のセンシング情報を、サーバ103に送信し、第1のタイミングの後に、確立された無線通信接続が切断されることを認識し、無線通信接続が切断されている間、第2のタイミングでセンサを介して取得され、車両の加速度を含む第2のセンシング情報を、第1のメモリに記録し、記録された第2のセンシング情報を、第2のメモリに格納し、及び第2のタイミングの後に、無線通信接続が再確立されることを認識することに応答して、格納された第2のセンシング情報を、サーバ103に送信するようにすることができる。
【選択図】
図6
【特許請求の範囲】
【請求項1】
電子装置(electronic device)であって、
命令を格納し、第1のメモリ(memory)及び第2のメモリを含むメモリ、
センサ、
通信回路(communication circuit)、及び
プロセッサを含み、
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記通信回路を用いて、無線通信接続を確立し、
第1のタイミングで、前記センサを介して取得され、前記電子装置が搭載された車両の加速度を含む第1のセンシング情報を、前記第1のメモリに記録し、前記記録された第1のセンシング情報を、前記車両に関連するサービスを提供するサーバに送信し、
前記第1のタイミングの後に、前記確立された無線通信接続が切断されることを認識し、
前記無線通信接続が切断されている間、第2のタイミングで、前記センサを介して取得され、前記車両の加速度を含む第2のセンシング情報を、前記第1のメモリに記録し、前記記録された第2のセンシング情報を、前記第2のメモリに格納し、
前記第2のタイミングの後に、前記無線通信接続が再確立されたことを認識することに応答して、前記格納された第2のセンシング情報を、前記サーバに送信するようにする、電子装置。
【請求項2】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記電子装置の電源が、オフ状態からオン状態に変化したことを識別し、
前記オン状態を識別することに応答して、前記電子装置の起動(booting)を実行し、及び
前記起動が完了した後、前記センサを用いて、指定された時間周期(designated time period)に従って、前記車両の加速度を示すセンシング情報の収集を開始するようにし、
前記指定された時間周期に従って収集される前記センシング情報は、前記第1のセンシング情報及び前記第2のセンシング情報を含む、請求項1に記載の電子装置。
【請求項3】
前記無線通信接続は、LTE(long term evolution)通信技術、Wi-Fi(wireless fidelity)通信技術、又は衛星通信技術のうち少なくとも1つに基づいて確立される、請求項1に記載の電子装置。
【請求項4】
前記第1のメモリは、揮発性メモリを含み、
前記第2のメモリは、不揮発性メモリを含み、
前記第1のセンシング情報は、前記サーバに送信された後に、前記第1のメモリから除去される、請求項1に記載の電子装置。
【請求項5】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記確立された無線通信接続に基づいて、前記サーバに、設定要求メッセージを送信し、及び
前記設定要求メッセージに応答して、前記サーバから、設定応答メッセージを受信するようにし、
前記設定要求メッセージは、前記電子装置の識別情報、USIM(universal subscriber identity module)の識別情報、又は前記電子装置のファームウェア(firmware)情報のうち少なくとも1つを含み、及び
前記設定応答メッセージは、前記センサに含まれる加速度センサの感度、センシング情報を送信するための送信周期の長さ、又はイベントを検知するための基準値のうち少なくとも1つを含む、請求項1に記載の電子装置。
【請求項6】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記第1のセンシング情報と共に、前記第1のタイミングで、前記通信回路を介して受信された第1の信号に基づいて計算された前記電子装置の第1の位置情報を、前記サーバに送信し、及び
前記第2のセンシング情報と共に、前記第2のタイミングで、前記通信回路を介して受信された第2の信号に基づいて計算された前記電子装置の第2の位置情報を、前記サーバに送信するようにする、請求項1に記載の電子装置。
【請求項7】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記無線通信接続が確立されている間、外部から衝撃(impact)が発生したタイミングで、前記センサを用いて取得され、前記車両の加速度を示す値を、前記第1のメモリに記録し、
前記値が第1の基準値以上であるか否かを判定し、及び
前記値が前記第1の基準値以上である場合、前記値が前記第1の基準値を超える第2の基準値未満であるか否かを判定するようにする、請求項2に記載の電子装置。
【請求項8】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記値が前記第1の基準値以上で、前記第2の基準値未満である場合、前記タイミングを含む指定時間長内で、前記指定された時間周期に従って収集されるセンシング情報のセット(set)を、前記タイミング以降の他(another)のタイミングで、前記サーバに送信するようにする、請求項7に記載の電子装置。
【請求項9】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記指定された時間長内に、前記外部から他(another)の衝撃が発生したタイミングで、前記車両の加速度を示す他(another)の値の取得を控える(refrain from)ようにする、請求項8に記載の電子装置。
【請求項10】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記値が第2の基準値以上であると判定したことに応答して、前記衝撃が発生したことを示す指示情報を、前記サーバに送信し、及び
前記タイミングを含む指定された時間長を有し、前記車両の外部に対して記録された映像(video)を、前記タイミングから基準長さ以降の他(another)のタイミングで、前記サーバに送信するようにし、
前記指示情報は、前記電子装置の識別情報、前記衝撃が発生した時間を含む、請求項7に記載の電子装置。
【請求項11】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記他のタイミングで、前記映像を送信した後、前記タイミングを含む前記指定された時間内に、前記指定された時間周期に従って収集されたセンシング情報のセット(set)を、前記サーバに送信するようにする、請求項10に記載の電子装置。
【請求項12】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記値が前記第2の基準値以上であると判定したことに応答して、前記衝撃が発生したことを示す指示情報を、前記サーバに送信し、前記指示情報は、前記電子装置の識別情報、前記衝撃が発生した時間を含み、
前記指示情報を送信した後、前記電子装置の点火(ignition)スイッチ(switch)の状態が、オン状態からオフ状態に変化したことを検知し、
前記点火スイッチの前記状態が、前記オフ状態に変化したことを検知したことに応答して、前記記録された値を前記第2のメモリに格納し、
前記点火スイッチの前記状態が、前記オフ状態から前記オン状態に変化したことを感知したことに応答して、前記電子装置の他(another)の起動(booting)を実行し、
前記他の起動が完了した後、前記タイミングを含む指定された時間長を有し、前記車両の外部に対して記録された映像(video)を、前記サーバに送信し、及び
前記映像を送信した後、前記タイミングを含む前記指定された時間長内で、前記指定された時間周期に従って収集されるセンシング情報のセット(set)を、前記サーバに送信するようにし、
前記セットは、前記記録された値を含む、請求項7に記載の電子装置。
【請求項13】
前記命令は、前記プロセッサによって実行されると、前記電子装置が、
前記値が前記第2の基準値以上であると判定したことに応答して、前記衝撃が発生したことを示す指示情報を、前記サーバに送信し、前記指示情報は、前記電子装置の識別情報、前記衝撃が発生した時間を含み、
前記指示情報を送信した後、前記タイミングを含む指定された時間長を有し、前記車両の外部に対して記録された映像(video)を、前記サーバに送信し、
前記映像を送信した後、前記電子装置の点火(ignition)スイッチ(switch)の状態が、オン状態からオフ状態に変化したことを検知し、
前記点火スイッチの前記状態が、前記オフ状態に変化したことを検知したことに応答して、前記記録された値を前記第2のメモリに格納し、
前記点火スイッチの前記状態が、前記オフ状態から前記オン状態に変化したことを検知したことに応答して、前記電子装置の他(another)の起動(booting)を実行し、
前記他の起動が完了した後、前記タイミングを含む前記指定された時間長内で、前記指定された時間周期に従って収集されるセンシング情報のセット(set)を、前記サーバに送信するようにし、
前記セットは、前記記録された値を含む、請求項7に記載の電子装置。
【請求項14】
前記値と前記第1の基準値との比較、及び前記値と前記第2の基準値との比較は、前記センサを介して収集される加速度情報及び前記電子装置が搭載された前記車両について(with respect to)学習され、前記第2のメモリに格納された人工知能モデル(artificial intelligence model)に基づいて行われる、請求項7に記載の電子装置。
【請求項15】
電子装置(electronic device)によって実行される方法であって、
無線通信接続を確立する動作、
第1のタイミングで取得され、前記電子装置が搭載された車両の加速度を含む第1のセンシング情報を、前記電子装置の第1のメモリに記録し、前記記録された第1のセンシング情報を、前記車両に関連するサービスを提供するサーバに送信する動作、
前記第1のタイミングの後に、前記確立された無線通信接続が切断されたことを認識する動作、
前記無線通信接続が切断されている間、第2のタイミングで、前記車両の加速度を含む第2のセンシング情報を、前記第1のメモリに記録し、前記記録された第2のセンシング情報を、前記電子装置の前記第1のメモリと異なる第2のメモリに格納する動作、及び
前記第2のタイミングの後に、前記無線通信接続が再確立されたことを認識することに応答して、前記格納された第2のセンシング情報を、前記サーバに送信する動作を含む、方法。
【請求項16】
前記方法は、
前記電子装置の電源がオフ状態からオン状態に変化したことを認識する動作、
前記オン状態を認識することに応答して、前記電子装置の起動(booting)を実行する動作、及び
前記起動が完了した後、センサを用いて、指定された時間周期(designated time period)に従って、前記車両の加速度を示すセンシング情報の収集を開始する動作を含み、
前記指定された時間周期に従って収集される前記センシング情報は、前記第1のセンシング情報及び前記第2のセンシング情報を含む、請求項15に記載の方法。
【請求項17】
前記無線通信接続は、LTE(long term evolution)通信技術、Wi-Fi(wireless fidelity)通信技術、又は衛星通信技術のうち少なくとも1つに基づいて確立される、請求項15に記載の方法。
【請求項18】
前記第1のメモリは、揮発性メモリを含み、
前記第2のメモリは、不揮発性メモリを含み、
前記第1のセンシング情報は、前記サーバに送信された後に、前記第1のメモリから除去される、請求項15に記載の方法。
【請求項19】
前記方法は、
前記確立された無線通信接続に基づいて、前記サーバに、設定要求メッセージを送信する動作、及び
前記設定要求メッセージに応答して、前記サーバから、設定応答メッセージを受信する動作を含み、
前記設定要求メッセージは、前記電子装置の識別情報、USIM(universal subscriber identity module)の識別情報、又は前記電子装置のファームウェア(firmware)情報のうち少なくとも1つを含み、及び
前記設定応答メッセージは、センサに含まれる加速度センサの感度、センシング情報を送信するための送信周期の長さ、又はイベントを検知するための基準値のうち少なくとも1つを含む、請求項15に記載の方法。
【請求項20】
前記方法は、
前記第1のセンシング情報と共に、前記第1のタイミングで受信された第1の信号に基づいて計算された前記電子装置の第1の位置情報を、前記サーバに送信する動作、及び
前記第2のセンシング情報と共に、前記第2のタイミングで受信された第2の信号に基づいて計算された前記電子装置の第2の位置情報を、前記サーバに送信する動作を含む、請求項15に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、クラウドベースの車両情報(vehicle information)を提供するための電子装置及び方法に関する。より具体的には、本開示は、車両内装置がクラウドサービスをユーザに提供するための信号フローに関する。
【背景技術】
【0002】
車両は、電子装置(electronic device)(又は装置)を含むことができる。例えば、車両は、電子装置を搭載することができる。例えば、電子装置は、ダッシュボードカメラ(dashboard camera)を含むことができる。例えば、ダッシュボードカメラは、ダッシュカム(dashcam)、car DVR(digital video recorder)、又は車両用ブラックボックス(blackbox)として参照されてもよい。
【0003】
ダッシュカムは、車両のいくつかの構成要素(例えば、コンパートメント(compartment))に、又は車両内に配置することができる。例えば、いくつかの構成要素は、車両の前面を含むことができる。ダッシュカムは、映像及び音声を記録することができる。例えば、ダッシュカムは、車両の内部又は外部に関する映像を記録することができる。ダッシュカムで取得された情報(例えば、映像又は音声)は、セルラーネットワークを介して、サーバ(server)に伝達されてもよい。例えば、前記情報は、クラウドサービス(又はサービス)を提供するために利用されてもよい。
【発明の概要】
【発明が解決しようとする課題】
【0004】
一実施形態による電子装置は、サーバ(server)と接続することができる。電子装置は、サーバと通信接続を確立することができる。電子装置は、サーバと電子装置との間の通信接続の状態に応じて、電子装置に提供する情報を格納するための方案が必要であることがある。
【0005】
本明細書で達成しようとする技術的課題は、前記の技術的課題に限定されず、記載されていない他の技術的課題は、以下の記載から本発明が属する技術分野における通常の知識を有する者に明確に理解されるだろう。
【課題を解決するための手段】
【0006】
電子装置(electronic device)は、命令を格納し、第1のメモリ(memory)及び第2のメモリを含むメモリを含むことができる。前記電子装置は、センサを含むことができる。前記電子装置は、通信回路(communication circuit)を含むことができる。前記電子装置は、プロセッサを含むことができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記通信回路を用いて、無線通信接続を確立するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、第1のタイミングで、前記センサを介して取得され、前記電子装置が搭載された車両の加速度を含む第1のセンシング情報を、前記第1のメモリに記録し、前記記録された第1のセンシング情報を、前記車両に関連するサービスを提供するサーバに送信するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記第1のタイミングの後に、前記確立された無線通信接続が切断されることを認識するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記無線通信接続が切断されている間に、第2のタイミングで、前記センサを介して取得され、前記車両の加速度を含む第2のセンシング情報を、前記第1のメモリに記録し、前記記録された第2のセンシング情報を、前記第2のメモリに格納させることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記第2のタイミングの後に、前記無線通信接続が再確立されることを認識することに応答して、前記格納された第2のセンシング情報を、前記サーバに送信するようにすることができる。
【0007】
電子装置(electronic device)によって実行される方法は、無線通信接続を確立する動作を含むことができる。この方法は、第1のタイミングで取得され、前記電子装置が搭載された車両の加速度を含む第1のセンシング情報を、前記電子装置の第1のメモリに記録し、前記記録された第1のセンシング情報を、前記車両と関連するサービスを提供するサーバに送信する動作を含むことができる。この方法は、前記第1のタイミングの後に、前記確立された無線通信接続が切断されることを認識する動作を含むことができる。この方法は、前記無線通信接続が切断されている間に、第2のタイミングで、前記車両の加速度を含む第2のセンシング情報を、前記第1のメモリに記録し、前記記録された第2のセンシング情報を、前記電子装置の第1のメモリとは異なる第2のメモリに格納する動作を含むことができる。この方法は、前記第2のタイミングの後に、前記無線通信接続が再確立されることを認識することに応答して、前記格納された第2のセンシング情報を、前記サーバに送信する動作を含むことができる。
【発明の効果】
【0008】
一実施形態による電子装置は、サーバと接続することができる。前記電子装置は、サーバと通信接続を確立することができる。前記電子装置は、サーバと電子装置との通信接続の状態に応じて、前記電子装置に提供する情報を格納することができる。前記格納された情報を、前記サーバに提供することによって、前記電子装置は、ユーザに前記情報を利用したサービスを提供することができる。
【0009】
本開示で得られる効果は、前記で言及した効果に限定されず、言及しない他の効果は、以下の記載から本開示が属する技術分野における通常の知識を有する者に明確に理解されるだろう。
【図面の簡単な説明】
【0010】
【
図1】一実施形態による、車両サービスを提供するシステム(system)の例示的なブロック図である。
【
図2a】一実施形態による電子装置の例示的なブロック図である。
【
図2b】一実施形態による、経時的な電子装置のセンサを介して取得される加速度の例を示すグラフである。
【
図3】一実施形態によるサーバの例示的なブロック図である。
【
図4】一実施形態によるユーザ端末装置の例示的なブロック図である。
【
図5】一実施形態による、車両に含まれる電子装置がセンシング情報をサーバに提供する方法の例を示す。
【
図6】一実施形態による、電子装置が通信接続の状態に応じて、取得されたセンシング情報を格納し、格納されたセンシング情報を送信する方法に関する信号フローの例を示す。
【
図7】一実施形態による、電子装置が衝撃検出(impact detection)に基づいて取得された情報を、サーバに送信する方法に関する信号フローの例を示す。
【
図8】一実施形態による、電子装置が衝撃検出(impact detection)に基づいて取得された情報を、サーバに送信する方法に関する信号フローの例を示す。
【
図9a】一実施形態による、電子装置が衝撃検出後の点火スイッチの状態に従って取得された情報を格納し、格納された情報をサーバに送信する方法に関する信号フローの例を示す。
【
図9b】一実施形態による、電子装置が衝撃検出後の点火スイッチの状態に従って取得された情報を格納し、格納された情報をサーバに送信する方法に関する信号フローの例を示す。
【
図10】一実施形態による、電子装置が、取得されたセンシング情報を第1のメモリに記録し、第2のメモリに格納する方法の例を示す。
【
図11】一実施形態による、電子装置が通信接続の状態に応じて、取得されたセンシング情報を格納し、格納されたセンシング情報を送信する方法に関する動作フローの例を示す。
【
図12】一実施形態による、人工知能モデルを使用して、動きイベントを検出するための電子装置の例示的なブロック図である。
【
図13】一実施形態による、人工知能モデルを使用して、動きイベントを検出するためのサーバの例示的なブロック図である。
【
図14】一実施形態による、動きイベントを検出するための人工知能モデルを学習する方法の例を示す。
【
図15】一実施形態による、人工知能モデルを使用して、動きイベントを検出し、検出された動きイベントに基づいて、緊急事態通知サービスを提供する方法のための電子装置とサーバとの間の信号の流れの例を示す。
【発明を実施するための形態】
【0011】
本明細書に開示された様々な実施形態による電子装置(又は外部電子装置)は、様々な形態の装置であり得る。電子装置は、例えば、携帯用通信装置(例えば、スマートフォン)、コンピュータ装置、携帯用マルチメディア装置、携帯用医療機器、カメラ、ウェアラブル装置、サーバ、又は家電機器を含むことができる。本明細書の実施形態による電子装置(又は外部電子装置)は、前述の機器に限定されない。
【0012】
本明細書の様々な実施形態及びそれに使用される用語は、本明細書に記載された技術的特徴を、特定の実施形態に限定することを意図するものではなく、その実施形態の様々な変更、等価物、又は代替物を含むことを理解されたい。図面の説明に関して、類似又は関連する構成要素には、類似の参照番号を使用する場合がある。項目に対応する名詞の単数形は、関連する文脈上、明らかに別段の指示がない限り、項目1つ又は複数を含むことができる。本明細書において、「A又はB」、「A及びBのうち少なくとも1つ」、「A又はBのうち少なくとも1つ」、「A、B又はC」「A、B及びCのうち少なくとも1つ」、及び「A、B又はCのうち少なくとも1つ」などの句の各々は、その句の対応する句に一緒に列挙された項目のいずれか、又はそれらの可能なすべての組み合わせを含むことができる。「第1」、「第2」、又は「一番目」又は「二番目」などの用語は、単にその構成要素を他の対応する構成要素と区別するために使用される場合があり、その構成要素を他の側面(例えば、重要性又は順序)に限定しない。ある(例えば、第1の)構成要素が、他の(例えば、第2の)構成要素に、「機能的に」又は「通信的に」という用語と組み合わせて、又はそのような用語なしで、「結合(coupled)」又は「接続(connected)」と言及されている場合、それは、ある構成要素が他の構成要素に直接(例えば、有線で)、無線で、又は第3の構成要素を介して接続され得ることを意味する。
【0013】
本明細書で使用される「モジュール」という用語は、ハードウェア、ソフトウェア、又はファームウェアで実装されるユニットを含むことができ、例えば、論理、論理ブロック、部品、又は回路などの用語と交換可能に使用することができる。モジュールは、一体に構成された部品又は1つ又はそれ以上の機能を実行する、部品の最小単位又はその一部であり得る。例えば、一実施形態によれば、モジュールは、ASIC(application-specific integrated circuit)の形態で実装され得る。
【0014】
本明細書の様々な実施形態は、機器(machine、例えば、電子装置101又はサーバ103)によって読み取り可能な記憶媒体(storage medium)に格納された1つ又はそれ以上の命令を含むソフトウェア(例えば、プログラム)として実施することができる。例えば、機器(例えば、電子装置101又はサーバ103)のプロセッサは、記憶媒体から格納された1つ又はそれ以上の命令のうち少なくとも1つの命令を呼び出し、それを実行することができる。これにより、機器が、呼び出された少なくとも1つの命令に従って、少なくとも1つの機能を実行するように動作することを可能にする。1つ又はそれ以上の命令は、コンパイラによって生成されたコード又はインタプリタによって実行され得るコードを含むことができる。機器で読み取り可能な記憶媒体は、非一時的(non-transitory)記憶媒体の形態で提供されてもよい。ここで、「非一時的」とは、記憶媒体が実在(tangible)する装置であり、信号(signal、例えば、電磁波)を含まないことを意味するだけであり、この用語は、データが記憶媒体に半永久的に保存される場合と、一時的に保存される場合とを区別しない。
【0015】
一実施形態によれば、本明細書に開示された様々な実施形態による方法は、コンピュータプログラム製品(computer program product)に含まれて提供されてもよい。コンピュータプログラム製品は、商品として販売者と購入者との間で取引され得る。コンピュータプログラム製品は、機器で読み取り可能な記憶媒体(例えば、compact disc read only memory(CD-ROM))の形態で配布されるか、又はアプリケーションストア(例えば、プレイストア(商標)、又はApp StoreTM)を介して又は2つのユーザ装置(例:スマートフォン)間で直接、オンラインで配布(例えば、ダウンロード又はアップロード)されてもよい。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部は、製造元のサーバ、アプリケーションストアのサーバ、又は中継サーバのメモリなどの機器で読み取り可能な記憶媒体に少なくとも一時的に保存されるか、一時的に生成され得る。
【0016】
様々な実施形態によれば、前記の構成要素の各構成要素(例えば、モジュール又はプログラム)は、単数又は複数の個体を含んでもよい。様々な実施形態によれば、前述の該当構成要素のうち1つ又はそれ以上の構成要素又は動作を省略しても、又は1つ又はそれ以上の他の構成要素又は動作を追加してもよい。代替的又は追加的に、複数の構成要素(例えば、モジュール又はプログラム)は、1つの構成要素に統合することができる。この場合、統合された構成要素は、複数の構成要素の各構成要素の1つ又はそれ以上の機能を、統合前に複数の構成要素のうち該当構成要素によって実行されるのと同じ又は同様に実行することができる。様々な実施形態によれば、モジュール、プログラム、又は他の構成要素によって実行される動作は、順次、並列的、繰り返し、又は経験的に実行されてもよく、又は動作のうち1つ又はそれ以上が異なる順序で実行されても、省略されても、あるいは、1つ以上の他の動作が追加されてもよい。
【0017】
以下、本明細書の様々な実施形態を添付の図面を参照して説明する。
【0018】
図1は、一実施形態による、車両サービスを提供するシステム(system)の例示的なブロック図である。
【0019】
本開示の車両(vehicle)は、移動体(moving body)の例示であり、本開示の実施形態は、これに限定されない。例えば、移動体は、車両、人、自転車、船舶、又は列車などの移動可能なオブジェクトを含み得る。以下では、説明の便宜上、移動体が車両である場合を例に説明する。
【0020】
車両サービスは、車両ブラックボックスサービス、先進運転者支援サービス、交通管制サービス、自律走行車両サービス、車両遠隔走行サービス(teleoperated driving system)、人工知能(artificial intelligence、AI)車両制御サービス、又はV2X(vehicle to everything)サービスのうち少なくとも1つのサービスを含むことができる。ただし、本開示の実施形態は、これに限定されない。例えば、前記車両サービスには、緊急事態通知サービス(emergency notification service)が含まれてもよい。
【0021】
図1を参照すると、車両サービスを提供するシステム100が示されている。例えば、車両サービスを提供するシステム(又は車両サービスシステム)100は、車両ブラックボックスサービスシステム、先進運転者支援システム(advanced driver assistance system、ADAS)、交通管制システム、自律走行車両サービスシステム、車両遠隔走行システム、AI車両制御システム、又はV2Xサービスシステムのうち少なくとも1つのシステムを含むことができる。
【0022】
例えば、システム100は、電子装置101、サーバ103、及びユーザ端末装置105を含むことができる。例えば、電子装置101、サーバ103、及びユーザ端末装置105は、有線ネットワーク(又は有線通信ネットワーク)及び/又は無線ネットワーク(又は無線通信ネットワーク)に基づいて、互いに接続されてもよい。例えば、有線ネットワークに基づく接続は、有線通信接続と呼ぶことがある。あるいは、例えば、無線ネットワークに基づく接続は、無線通信接続と呼ぶことがある。例えば、電子装置101は、サーバ103及び/又はユーザ端末装置105と通信接続(例えば、有線通信接続及び無線通信接続)を用いて、データを交換することができる。
【0023】
例えば、電子装置101は、ユーザ端末装置105に対して(with respect to)、ユーザから取得された入力に基づいて制御することができる。例えば、前記入力は、ユーザがユーザ端末装置105に対して入力することができる。例えば、ユーザがユーザ端末装置105内に設置された実行可能オブジェクトを選択した場合、電子装置101は、実行可能オブジェクトへの入力によって生成された制御に対応する少なくとも1つの動作を実行することができる。例えば、実行可能オブジェクトは、ユーザ端末装置105にインストールされ、電子装置101を制御(又は遠隔制御)することができるアプリケーション(又はソフトウェアアプリケーション)を含むことができる。
【0024】
図2aは、一実施形態による電子装置の例示的なブロック図である。
図2bは、一実施形態による、経時的な電子装置のセンサを介して取得される加速度の例を示すグラフである。
【0025】
図2aの電子装置101は、
図1の電子装置101の一例を示すことができる。例えば、電子装置101は、車両内に含まれるか、又は配置され得るダッシュカムを含むことができる。
【0026】
図2aを参照すると、電子装置101は、プロセッサ210、メモリ220、通信部230、アンテナ235、センサ部240、電源管理モジュール250、バッテリ255、ディスプレイ部260、カメラ270、入力部280、スピーカ290、及びマイク295のうち少なくとも1つを含むことができる。プロセッサ210、メモリ220、通信部230、アンテナ235、センサ部240、電源管理モジュール250、バッテリ255、ディスプレイ部260、カメラ270、入力部280、スピーカ290、及び/又はマイク295は、通信バス(a communication bus)などの電子素子(electronical component)によって互いに電気的及び/又は機能的に結合することができる(electronically and/or operably coupled with each other)。電子装置101に含まれるハードウェアコンポーネントの種類及び/又は数は、
図2aに示されるものに限定されない。例えば、電子装置101は、
図2aに示すハードウェアコンポーネントの一部のみを含んでもよい。
【0027】
プロセッサ210は、電子装置101の全体的な動作を制御し、機能、手順、及び/又は方法を実施するように構成することができる。プロセッサ210は、ASIC(application-specific integrated circuit)、他のチップセット、論理回路、及び/又はデータ処理装置を含むことができる。プロセッサは、AP(application processor)であってもよい。プロセッサ110は、DSP(digital signal processor)、CPU(central processing unit)、GPU(graphics processing unit)、モデム(modulator and demodulator, modem)のうち少なくとも1つを含むことができる。プロセッサ210の数は、1つ以上であってもよい。例えば、プロセッサ210は、デュアルコア(dual core)、クアッドコア(quad core)、又はヘキサコア(hexa core)などのマルチコアプロセッサの構造を有することができる。
【0028】
例えば、プロセッサ210は、メモリ220、通信部230、アンテナ235、センサ部240、電源管理モジュール250、バッテリ255、ディスプレイ部260、カメラ270、入力部280、スピーカ290、及びマイク295のうち少なくとも一部を制御することができる。例えば、プロセッサ210は、通信部230を介してデータを受信し、受信したデータを処理し、処理されたデータ(又はユーザインタフェース(user interface))を、ディスプレイ部260を介して表示するように制御できる。プロセッサ210の全部又は一部は、電子装置101内の他の構成要素(例えば、メモリ220、通信部230、アンテナ235、センサ部240、電源管理モジュール250、バッテリ255、ディスプレイ部260、カメラ270、入力部280、スピーカ290、及びマイク295)と電気的に(electrically)又は機能的に(operably)結合(coupled with)されても、又は接続(connected to)されてもよい。以下では、ハードウェアコンポーネントが動作的に結合されているのは、ハードウェアコンポーネントのうちの第1のハードウェアコンポーネントによって、第2のハードウェアコンポーネントが制御されるように、ハードウェアコンポーネント間の直接的な接続、又は間接的な接続が、有線で又は無線で確立されたことを意味することができる。
【0029】
例えば、プロセッサ210は、カメラ270で取得した映像データを処理する信号処理機能と、映像から現場状況に関する情報を取得するための映像分析機能を実行することができる。例えば、信号処理機能は、カメラ270から撮影された映像データの容量を減らすために、圧縮する機能を含むことができる。映像データは、各フレームが時間を軸にして、複数枚集まっている形態を有することができる。例えば、映像データは、与えられた時間にわたって、連続して撮影された写真を含むことができる。映像(又は映像データ)の容量は、圧縮されていない場合は、非常に大きく、メモリ220にそのまま記憶する場合は、非常に非効率的であることがある。したがって、映像は、デジタル変換された映像に対して圧縮されてもよい。圧縮(又は動画圧縮)は、フレーム間の相関、空間的な相関、及び低周波成分に敏感な視覚特性を利用した方法を含むことができる。元のデータは、圧縮によって失われるので、電子装置101を含む車両の交通事故状況を識別するのに十分な割合で圧縮することができる。動画の圧縮方式としては、H.264、MPEG4、H.263、H.265/HEVCなどの様々なビデオコーデックのうちの1つを用いることができる。映像データは、電子装置101においてサポートする方法に基づいて圧縮されてもよい。
【0030】
映像分析機能は、ディープラーニング(deep learning)に基づいてもよく、コンピュータビジョン(computer vision)技術によって実施されてもよい。例えば、前記映像分析機能は、映像を複数の領域又は断片に分割して、それぞれ別々に検査するイメージ分割機能、イメージ中の特定オブジェクトを識別するオブジェクト検出機能、1つのイメージに存在する複数のオブジェクト(例えば、サッカー場 、攻撃者、ディフェンダー、サッカーボールなど)を認識する高度なオブジェクト検出モデル(例えば、XY座標を使用して、境界ボックスを作成し、その中のすべてを識別するモデル)、イメージ内の人の顔を認識するだけでなく、個人の身元を識別する顔認識機能、イメージの内容をより正確に把握するために、オブジェクトや風景の外側の境界を識別するために使用される境界検出機能、イメージ内で繰り返される形状や色、その他の視覚的表示を認識するパターン検出機能、イメージの類似性を照合して分類する特徴マッチング機能などを含むことができる。
【0031】
前記映像分析機能は、電子装置101のプロセッサ210ではなく、サーバ103で実行されてもよい。
【0032】
メモリ220は、プロセッサ210に入力及び/又は出力されるデータ及び/又は命令を格納するためのハードウェアコンポーネントを含んでもよい。メモリ220は、ROM(read-only memory)、RAM(random access memory)、フラッシュメモリ、メモリカード、記憶媒体、及び/又は他の記憶装置を含むことができる。例えば、メモリ220は、揮発性メモリである第1のメモリ221と、不揮発性メモリである第2のメモリ222とを含むことができる。例えば、第1のメモリ221は、DRAM(dynamic RAM)、SRAM(static RAM)、Cache RAM、PSRAM(pseudo SRAM)のうち少なくとも1つを含むことができる。例えば、第2のメモリ222は、PROM(programmable ROM)、EPROM(erasable PROM)、EEPROM(electrically erasable PROM)、フラッシュメモリ、ハードディスク、コンパクトディスク、eMMC(embedded multi-media card)のうち少なくとも1つを含むことができる。
【0033】
一実施形態によれば、メモリ220内に、プロセッサ210がデータに対して実行する演算及び/又は動作を表す1つ又はそれ以上の命令(又はインストラクション)を格納することができる。1つ以上の命令の集合は、ファームウェア、オペレーティングシステム、プロセス、ルーチン、サブルーチン、及び/又はアプリケーションとして参照されてもよい。例えば、電子装置101及び/又はプロセッサ210は、オペレーティングシステム、ファームウェア、ドライバ、及び/又はアプリケーションの形態で配布された複数の命令の集合(set of a plurality of instructions)が実行されるときに、
図6~
図11の動作、
図14の動作、又は
図15の動作のうち少なくとも1つを実行することができる。以下では、アプリケーションが電子装置101内にインストールされたということは、アプリケーションの形態で提供された1つ又はそれ以上の命令が、メモリ220に格納されていることによって、1つ又はそれ以上のアプリケーションが、プロセッサ210によって実行可能な(executable)フォーマット(例えば、電子装置101のオペレーティングシステムによって指定された拡張子を有するファイル)として保存されていることを意味することができる。一例では、アプリケーションは、ユーザに提供されるサービスに関連するプログラム、及び/又はライブラリを含んでもよい。
【0034】
メモリ220は、電子装置101の内部に構成されてもよく、電子装置101に設けられたポートを介して、着脱式で構成されてもよく、電子装置101の外部に存在してもよい。メモリ220が電子装置101の内部に構成されている場合、ハードディスクドライブ又はフラッシュメモリの形態で存在することができる。メモリ220が電子装置101に着脱可能に構成されている場合、SDカード、Micro SDカード、USBメモリなどの形態で存在することができる。メモリ220が電子装置101の外部に構成されている場合、通信部230を介して、他の機器又はデータベースサーバにある格納空間に存在することができる。
【0035】
通信部230は、プロセッサ210と動作可能に結合され、無線信号を送信及び/又は受信することができる。通信部230は、送信機と受信機を含むことができる。通信部230は、無線周波数信号を処理するためのベースバンド回路を含むことができる。送受信部は、無線信号を送信及び/又は受信するように、アンテナ235を制御することができる。例えば、アンテナ235は、1つ以上のアンテナ要素を含むことができる。通信部230は、電子装置101が外部電子装置(例えば、サーバ103又はユーザ端末装置105)と通信するために使用することができる。例えば、通信部230は、セルラー方式の移動通信モジュール、Wireless LAN(local area network)方式などの近距離無線通信モジュール、低電力広域通信(Low-Power Wide-Area、LPWA)技術を用いた通信モジュールなど、既知の様々な通信モジュールの少なくとも1つの組み合わせで提供されてもよい。例えば、通信部230は、GSM(Global System for Mobile communication)、CDMA(Code Division Multi Access)、LTE(Long Term Evolution)、5G、WLAN(Wireless LAN)、Wi-Fi(Wireless-Fidelity)、ブルトゥス(BluetoothTM)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association; IrDA)、ZigBee、NFC(Near Field Communication)、衛星通信などの無線接続方式を用いることができる。また、通信部230は、GPS(Global Positioning System)トラッカー(Tracker)などの位置追跡機能も実行してもよい。例えば、通信部230は、複数の人工衛星から提供される信号を、受信(又は取得)することができる。例えば、電子装置101は、前記信号に基づいて、電子装置101の位置を示す位置情報を算出(又は取得、認識)することができる。
【0036】
センサ部240は、1つ以上のセンサを含むことができる。センサ部240は、車両にかかる衝撃を検知したり、加速度の変化量が一定以上の場合を検知する機能を提供することができる。例えば、センサ部240は、高い動的範囲カメラ(high dynamic range cameras)などのイメージセンサであってもよい。例えば、センサ部240は、非視覚センサ(non-visual sensors)を含むことができる。例えば、センサ部240は、イメージセンサに加えて、レーダ(RADAR)、LiDAR(Light Detection And Ranging)、及び/又は超音波センサを含むことができる。例えば、センサ部240は、衝撃や加速度を検知するために、加速度センサ、地磁気センサなどを含むことができる。
【0037】
例えば、1つ以上のセンサは、電子装置101が車両の衝突を検知する機能(以下、衝突検知機能)のための動きセンサ(movement sensor)を含むことができる。例えば、動きセンサは、加速度センサ又はジャイロスコープセンサのうち少なくとも1つを含むことができる。例えば、電子装置101は、加速度センサを用いて、電子装置101(又は車両)の3つの軸(例えば、x軸、y軸、及びz軸)のそれぞれの加速度値を取得することができる。また、電子装置101は、加速度センサを用いて、3つの軸のそれぞれの方向に傾いた程度(又は角度)を測定することができる。これにより、電子装置101は、電子装置101(又は車両)の線形加速度(linear acceleration)を測定することができる。例えば、線形加速度は、物体(又はオブジェクト)の速度の変化率を表すことができる。例えば、線形加速度は、物体の加速(acceleration)、減速(deceleration)、又は停止(stop)状態であるかどうかを認識するために使用されてもよい。電子装置101は、ジャイロスコープセンサを用いて、電子装置101(又は車両)の回転運動を測定することができる。例えば、電子装置101は、ジャイロスコープセンサを用いて、電子装置101(又は車両)の角速度(angular velocity)を測定することができる。
【0038】
一実施形態によれば、電子装置101は、動きセンサを用いて取得された情報(例えば、線形加速度及び角速度)を用いて、車両の動きを認識することができる。例えば、電子装置101は、加速度センサを介して認識される重力加速度の大きさが非常に大きい値(例えば、256G)を有する場合、車両が極端な加速(extreme acceleration)又は極端な減速(extreme deceleration)の状態であることを認識することができる。また、例えば、電子装置101は、動的(dynamic)特性を有するジャイロスコープセンサを介して認識される車両の進行方向の変化を認識することができる。これに関する具体的な例については、
図2bが参照されてもよい。
【0039】
図2bは、電子装置101がジャイロスコープセンサを用いて測定された時間に応じた角速度を示すグラフ299の例を示す。グラフ299を参照すると、電子装置101は、ジャイロスコープセンサを用いて、時間の経過に伴う角速度を測定することができる。電子装置101は、角速度の変化量(又は単位時間当たりの角速度の変化量)を測定することにより、車両の進行方向の変化を認識することができる。例えば、角速度の変化量が大きいほど、電子装置101は、車両の進行方向の変化量が大きいと認識することができる。
【0040】
例えば、電子装置101は、動きセンサ以外の1つ又はそれ以上のセンサを使用して、車両に対して発生した衝突(又は動きイベント)を検出することができる。例えば、電子装置101は、衝突に応じて、エアバッグ(airbag)が展開(deploy)されたときに、車両のキャビン(cabin)内の大気圧の変化を検知する気圧計(barometer)を含むことができる。また、例えば、電子装置101は、車両内の火災により、車両のキャビン内の温度を検知する温度計(thermometer)を含むことができる。あるいは、例えば、電子装置101は、衝突の音を検知するマイク295を含んでもよい。前述のように、衝突を検知することによって、車両の事故が発生したかどうかを検出するためのセンサは、事故発生検知センサ、事故発生検知装置、又は事故発生検知器と呼ばれることがある。
【0041】
一実施形態によれば、電子装置101は、事故発生検知センサを用いて取得されたセンシング情報(又はセンシング値)と基準値とを比較することによって、事故発生の有無を検知する方法(又は閾値比較方法)又は、前記センシング情報を学習された人工知能モデルを使用して、事故発生の有無を検出する方法(又は学習モデル比較方式)のうち少なくとも1つを用いることができる。
【0042】
例えば、閾値比較方式で用いられる基準値は、予め設定された値であってもよい。例えば、電子装置101は、閾値比較方式を用いる場合、加速度センサを用いて測定された車両の加速度の大きさと変化量を基準値と比較することによって、事故発生の有無を検出することができる。例えば、電子装置101のセンサの種類による閾値の例については、以下の表1を参照することができる。
【表1】
前記の表1を参照すると、電子装置101は、事故発生検知センサを用いて収集されたセンシング情報に基づいて、車両に対して発生したイベント(又は動きイベント)を検知することができる。電子装置101は、イベントの重大度(severity)を推定するための1つ又はそれ以上の基準値(又は基準範囲)を例示する。1つ又はそれ以上の基準値(又は基準範囲)は、例示的なものに過ぎず、本開示の実施形態は、これに限定されない。例えば、電子装置101は、センサを介して取得された値を比較するために、複数の基準値(又は複数の基準範囲)を使用してもよい。この基準値は、電子装置101が含まれる車両のタイプ、重量、車両が走行する道路の条件、又は外気候などの要因(factor)に基づいて変更することができる。
例えば、動きイベントは、衝突に基づくイベント(又は衝突イベント)、及び衝突に基づいていないイベント(又は非衝突イベント)を含み得る。例えば、非衝突イベントは、電子装置101の外部要因によって発生した衝撃(impact)のレベル(level)が第1レベルであるイベントを含むことができる。例えば、衝突イベントは、衝撃のレベルが第1レベルを超える第2レベルであるイベントを含むことができる。イベントの種類の例については、以下の表2を参照することができる。
【表2】
前記の表2を参照すると、非衝突イベントは、急加速、急減速、急出発、急停止、急な方向転換(例えば、急左回転、急右回転、急Uターン)を含むことができる。例えば、非衝突イベントは、車両の走行に応じて発生する可能性があるイベントであり得る。さらに、衝突イベントは、底面衝撃、後方追突、側面衝撃、又は転倒を含むことができる。例えば、衝突イベントは、重大な衝撃(severe crash)の発生を識別するためのイベントであってもよい。例えば、衝突イベントを認識した場合、電子装置101(又はサーバ103)は、緊急電話(emergency call)の接続を試みることができる。言い換えれば、衝突イベントは、緊急事態通知サービスを提供するためのトリガであり得る。前記の表2のイベントによる種類は、例示的なものに過ぎず、本開示の実施形態は、これに限定されない。
例えば、人工知能モデルは、実際の車両を用いた走行状況で発生する可能性がある衝突テストを実行することによって得られたデータと、それに分類された衝突イベントの種類とに基づいて、事前に学習することができる。例えば、電子装置101は、学習モデル比較方式を用いる場合、車両の衝撃及び非衝撃時の加速度センサを用いて測定された加速度の大きさ及び変化量を学習することにより、事故発生の有無を検知することができる。人工知能モデルを用いて、事故発生の有無を検知する電子装置101の具体的な例は、
図12に説明する。
【0043】
電子装置101は、電源管理モジュール250を用いて、電子装置101のプロセッサ210及び/又は通信部230に対する電力を管理することができる。例えば、電源管理モジュール250は、電子装置101のバッテリ255から電力を供給されてもよい。
図2aでは、電源管理モジュール250がプロセッサ210及び通信部230に接続されているように示されているが、本開示の実施形態は、これに限定されない。
【0044】
電子装置101は、プロセッサ210などのコントローラによって制御されるディスプレイ部260を用いて、ユーザに視覚化された情報(visualized information)を出力することができる。例えば、ディスプレイ部260は、キャプチャ(capture)又は静止画(still)を表示することができる。例えば、ディスプレイ部260は、動画又はカメラプレビュー(preview)イメージを表示することができる。例えば、ディスプレイ部260は、電子装置101のユーザと相互作用できるように、GUI(graphical user interface)を表示することができる。ディスプレイ部260は、液晶ディスプレイ(liquid crystal display、LCD)、薄膜トランジスタ液晶ディスプレイ(thin film transistor-liquid crystal display)、有機発光ダイオード(organic light-emitting diode、OLED)、フレキシブルディスプレイ(flexible display)、 三次元ディスプレイ(3D display)のうち少なくとも1つを含むことができる。ディスプレイ部260は、タッチ入力などを受信することができるセンサと結合されることで、一体型のタッチスクリーン(touch screen)で構成(configured with)されてもよい。
【0045】
電子装置101は、カメラ270を用いて、電子装置101を含む車両の周辺の映像を撮影することができる。例えば、電子装置101は、カメラ270を用いて、車両の駐車、停車、及び走行のうち少なくとも1つの状況で映像を撮影することができる。撮影映像は、駐車場に関する撮影映像である駐車場映像を含むことができる。駐車場映像は、車両の駐車場への進入時点から、車両の駐車場からの出車時点までの期間中に撮影された映像を含むことができる。すなわち、駐車場映像は、車両の駐車場への進入時点から、車両の駐車時点(例:駐車するために、車両の始動オフ(OFF)時点)前まで撮影された映像、車両の駐車期間中に撮影された映像、車両の駐車完了時点(例:出車するために、車両の始動オン(ON))から、車両の駐車場からの出車時点までの撮影映像を含むことができる。そして、撮影映像は、車両の前方、後方、側面及び内部のうち少なくとも1つの映像を含むことができる。さらに、カメラ270は、運転者の顔又は瞳孔をモニタリングすることができる赤外線(Infra-Red)カメラを含んでもよい。
【0046】
例えば、カメラ270は、レンズ部と撮像素子とを含むことができる。レンズ部(lens unit)は、光学信号を集光する機能を果たすことができ、レンズ部を透過した光学信号は、撮像素子の撮像領域に至って、光学像を結像する。ここで、撮像素子は、光学信号を電気信号に変換するCCD(Charge Coupled Device)、CIS(Complementary Metal Oxide Semiconductor Image Sensor)、高速イメージセンサなどを用いることができる。そして、カメラ270は、レンズ部駆動部、絞り、絞り駆動部、撮像素子制御部及びイメージプロセッサの全部又は一部をさらに含むことができる。
【0047】
カメラ270を駆動する電子装置101の動作モードは、常時録画モード、イベント録画モード、手動録画モード、駐車録画モードを含むことができる。常時録画モードは、車両の始動をかけて走行を開始すると、実行されるモードであり、車両の走行が継続中に常時録画モードを維持することができる。常時録画モードでは、電子装置101は、所定の時間単位(一例として、1~5分)で録画を行うことができる。本開示における常時録画モードと常時モードとは、同じ意味で使用することができる。
【0048】
駐車録画モードは、車両の始動がオフになったり、車両の走行のためのバッテリー供給が中断されて、駐車状態で動作するモードを意味することができる。駐車録画モードでは、電子装置101は、駐車中に常時録画を行う駐車常時録画モードで動作することができる。また、駐車録画モードでは、電子装置101は、駐車中の衝撃イベントが検知された場合に、録画を行う駐車イベント録画モードで動作することができる。この場合、イベント発生の所定時間前から、所定時間以降までの一定区間の録画(例えば、イベント発生10秒前から10秒後の録画)を行うことができる。本開示における駐車記録録画モードと駐車モードとは、同じ意味で使用することができる。
【0049】
イベント録画モードは、車両の走行中に様々なイベントが発生したときに動作するモードを意味することができる。手動録画モードは、ユーザが手動で録画を作動するモードを意味することができる。手動録画モードでは、電子装置101は、ユーザの手動録画要求が発生した所定時間前から所定時間以降の時間の録画(一例として、イベント発生10秒前から10秒後の録画)を行うことができる。
【0050】
電子装置101は、入力部280を介して、プロセッサ210によって使用される入力を受信することができる。入力部280は、ディスプレイ部260上に表示され得る。入力部280は、指及びペンのタッチ又はホバリング(hovering)入力を感知(sense)することができる。入力部280は、回転可能な構造体又は物理ボタンを介して生じる入力を感知することができる。入力部280は、様々な種類の入力を感知するためのセンサを含むことができる。入力部280に受信される入力は、様々な種類を有することができる。例えば、入力部280に受信される入力は、タッチ&リリース(touch and release)、ドラッグアンドドロップ(drag and drop)、ロングタッチ(long touch)、フォースタッチ(force touch)、物理的押し(depression) などを含むことができる。入力部280は、受信された入力と、受信された入力に関連するデータとをプロセッサ210に提供することができる。様々な実施形態では、入力部280は、ユーザの音声コマンドを受信することができるマイクロホン(microphone)又はトランスデューサ(transducer)を含むことができる。様々な実施形態において、入力部280は、ユーザの動きを受信することができるイメージセンサ(image sensor)又はカメラ(camera)を含むことができる。
【0051】
電子装置101は、スピーカ290を用いて、プロセッサ210によって処理された音関連の結果を出力することができる。例えば、スピーカ290は、駐車イベントが発生したことを示すオーディオデータを出力することができる。電子装置101は、マイク295を用いて、プロセッサ210によって使用される音関連の入力を受信することができる。受信された音は、外部衝撃による音又は車両内/外部の状況に関連する人の声で、カメラ270で撮影された映像と共に、当時の状況を認識するために使用され得る。マイク295を介して受信された音は、メモリ220(例えば、第2のメモリ222)に記憶されてもよい。
【0052】
図3は、一実施形態によるサーバの例示的なブロック図である。
【0053】
図3のサーバ103は、
図1のサーバ103の一例を示すことができる。例えば、サーバ103は、車両サービスを提供するサーバを含んでもよい。例えば、サーバ103は、電子装置101と接続され、電子装置101から受信した情報(又はセンシング情報)に基づいて、車両サービスを提供することができる。
【0054】
図3を参照すると、サーバ103は、プロセッサ310、メモリ320、及び通信回路330を含むことができる。プロセッサ310、メモリ320、及び/又は通信回路330は、通信バス(a communication bus)などの電子素子(electronical component)によって、互いに電気的及び/又は機能的に結合することができる(electronically and/or operably coupled with each other)。サーバ103に含まれるハードウェアコンポーネントの種類及び/又は数は、
図3に示したものに限定されない。例えば、サーバ103は、
図3に示すハードウェアコンポーネントの一部のみを含んでもよい。
【0055】
例えば、サーバ103のプロセッサ310は、電子装置101のプロセッサ210に対応し得る。例えば、プロセッサ310の説明は、
図2aの電子装置101に含まれるプロセッサ210の内容が実質的に同様に適用されてもよい。また、サーバ103の通信回路330は、電子装置101の通信部230と対応してもよい。例えば、通信回路330の説明は、
図2aの電子装置101に含まれる通信部230の内容を実質的に同様に適用することができる。例えば、サーバ103のメモリ320は、プロセッサ310に入力及び/又は出力されるデータ及び/又は命令を格納するためのハードウェアコンポーネントを含むことができる。メモリ320は、ROM(read-only memory)、RAM(random access memory)、フラッシュメモリ、メモリカード、記憶媒体、及び/又は他の記憶装置を含むことができる。
【0056】
一実施形態によれば、メモリ320内に、プロセッサ310がデータに対して実行する演算及び/又は動作を示す1つ又はそれ以上の命令(又はインストラクション)が格納されてもよい。1つ以上の命令の集合は、ファームウェア、オペレーティングシステム、プロセス、ルーチン、サブルーチン、及び/又はアプリケーションとして参照されてもよい。例えば、サーバ103、及び/又はプロセッサ310は、オペレーティングシステム、ファームウェア、ドライバ、及び/又はアプリケーションの形態で配布された複数の命令の集合(set of a plurality of instructions)が実行されると、
図15の動作のうち少なくとも1つを実行することができる。
【0057】
図4は、一実施形態によるユーザ端末装置の例示的なブロック図である。
【0058】
図4のユーザ端末装置105は、
図1のユーザ端末装置105の一例を示すことができる。例えば、ユーザ端末装置105は、車両サービスを提供するサーバを含んでもよい。例えば、ユーザ端末装置105は、電子装置101及び/又はサーバ103と接続されてもよい。
【0059】
図4を参照すると、ユーザ端末装置105は、プロセッサ410、メモリ420、通信回路430、及びディスプレイ440を含むことができる。プロセッサ410、メモリ420、通信回路430、及び/又はディスプレイ440は、通信バス(a communication bus)などの電子素子(electronical component)によって電気的及び/又は動作的に相互に接続することができる(electronically and/or operably coupled with each other)。ユーザ端末装置105に含まれるハードウェアコンポーネントの種類及び/又は数は、
図4に示すものに限定されない。例えば、ユーザ端末装置105は、
図4に示すハードウェアコンポーネントの一部のみを含んでもよい。
【0060】
例えば、ユーザ端末装置105のプロセッサ410は、電子装置101のプロセッサ210に対応することができる。例えば、プロセッサ410の説明は、
図2aの電子装置101に含まれるプロセッサ210の内容が実質的に同様に適用されてもよい。また、ユーザ端末装置105の通信回路430は、電子装置101の通信部230と対応することができる。例えば、通信回路430の説明は、
図2aの電子装置101に含まれる通信部230の内容が実質的に同様に適用されてもよい。また、ユーザ端末装置105のディスプレイ440は、電子装置101のディスプレイ部260と対応することができる。例えば、ディスプレイ440の説明は、
図2aの電子装置101に含まれるディスプレイ部260の内容が実質的に同様に適用されてもよい。
【0061】
例えば、ユーザ端末装置105のメモリ420は、プロセッサ410に入力及び/又は出力されるデータ及び/又は命令を格納するためのハードウェアコンポーネントを含むことができる。メモリ420は、ROM(read-only memory)、RAM(random access memory)、フラッシュメモリ、メモリカード、記憶媒体、及び/又は他の記憶装置を含んでもよい。
【0062】
例えば、ユーザ端末装置105は、サーバ103から車両サービスに関する制御メッセージを受信し、制御メッセージに応答して、ディスプレイ440を介して、制御メッセージに応じた視覚的オブジェクトを表示することができる。
【0063】
図5は、一実施形態による、車両に含まれる電子装置がセンシング情報をサーバに提供する方法の例を示す。
【0064】
図5の電子装置101は、
図1の電子装置101の一例を示すことができる。
図5のサーバ103は、
図1のサーバ103の一例を示すことができる。
図5の外部電子装置520は、
図1のユーザ端末装置105の一例を示すことができる。例えば、外部電子装置520は、スマートフォンなどの電子装置であってもよい。あるいは、例えば、外部電子装置520は、ウェブ(web)などのサーバであってもよい。
【0065】
図5を参照すると、電子装置101は、車両510に含まれてもよい。例えば、電子装置101は、車両510の一部に配置することができる。例えば、電子装置101は、車両510の一部に配置されたダッシュカムであってもよい。電子装置101が配置された車両510の一部は、車両510の前面を含むことができる。ただし、本開示の実施形態は、これに限定されない。
【0066】
図5を参照すると、電子装置101は、車両510とサーバ103を介して、間接的に接続することができる。例えば、電子装置101は、サーバ103と無線通信接続を確立することができる。例えば、車両510は、サーバ103と無線通信接続を確立することができる。サーバ103は、車両510の車両サービスを提供するためのサーバを示すことができる。ただし、本開示の実施形態は、これに限定されない。例えば、電子装置101は、車両510と有線通信接続又は無線通信接続を確立してもよい。例えば、電子装置101とサーバ103との間、及び車両510とサーバ103との間の無線通信接続には、閉域ネットワークが用いられてもよい。例えば、無線通信接続は、Wi-Fi、3G、LTE、又は5Gなどの通信技術に基づいて確立することができる。
【0067】
一実施形態によれば、電子装置101は、センシング情報を取得することができる。例えば、電子装置101は、センサ(例えば、
図2aのセンサ部240)を用いて、電子装置101の加速度値を取得(又は収集)することができる。例えば、加速度値は、Gセンサ値と呼ぶことがある。また、電子装置101は、位置情報を取得することができる。例えば、電子装置101は、通信回路(例えば、
図2aの通信部230)を用いて、複数の衛星から信号を取得することができる。例えば、電子装置101は、前記信号に基づいて、位置情報を算出してもよい。例えば、位置情報は、GPS情報と呼ばれることがある。加速度値は、車両510の加速度を示すことができる。位置情報は、車両510の位置を示すことができる。
【0068】
一実施形態によれば、電子装置101は、取得されたセンシング情報及び/又は位置情報を、メモリ(例えば、
図2aのメモリ220)に記録することができる。例えば、電子装置101は、センシング情報及び/又は位置情報を、第1のメモリ221に記録することができる。この記録は、揮発性メモリである第1のメモリ221に一時的に記憶することを含み得る。電子装置101は、第1のメモリ221に記録されたセンシング情報及び/又は位置情報を、サーバ103に送信することができる。例えば、電子装置101は、周期的に第1のメモリ221に記録されたセンシング情報及び/又は位置情報を、サーバ103に送信することができる。このとき、周期的に送信されるセンシング情報及び/又は位置情報は、Constant情報(又は運行情報)と呼ばれることがある。
【0069】
一実施形態によれば、電子装置101は、センシング情報及び/又は位置情報を用いて、イベントを検知することができる。例えば、イベントは、非衝突イベント及び衝突イベントを含み得る。例えば、電子装置101は、イベントの程度(例えば、第1レベル又は第2レベル)を認識し、認識された結果をサーバ103に提供することもできる。
【0070】
一実施形態によれば、電子装置101は、車両510の周辺領域を撮影した映像を取得することができる。例えば、電子装置101は、カメラ(例えば、
図2aのカメラ270)を用いて、周辺領域の映像を取得することができる。例えば、電子装置101は、映像をサーバ103に提供することができる。例えば、映像は、衝突イベントを検知した場合に、サーバ103に送信されてもよい。
【0071】
一実施形態によれば、サーバ103は、受信したセンシング情報及び/又は位置情報を用いて、車両サービスを提供することができる。例えば、サーバ103は、センシング情報及び/又は位置情報に基づいて生成されたメッセージを、車両サービスを制御する外部電子装置520に送信してもよい。例えば、前記メッセージは、外部電子装置520において車両サービスのための機能(例えば、視覚的オブジェクトの表示又は緊急電話)を実行するために使用され得る。
【0072】
前述したように、電子装置101は、サーバ103に車両情報(例えば、センシング情報、位置情報、映像、又は結果)を提供することができる。このとき、電子装置101は、サーバ103と無線通信接続が確立された状態であってもよい。しかしながら、通信接続がスムーズでない地域(例えば、山間地域)で、前記確立された無線通信接続が切断(disconnect)された場合、電子装置101は、切断中に取得された車両情報(例えば、センシング情報、 位置情報、映像、又は結果)を、サーバ103に提供することはできない。言い換えれば、電子装置101は、無線通信接続が切断されている間に取得された車両情報(例えば、センシング情報、位置情報、映像、又は結果)を、第1のメモリ221に記録した後に、記録された車両情報(例えば、センシング情報、位置情報、映像、又は結果)をサーバ103に送信することなく、第1のメモリ221内で削除(又は除去)することができる。これにより、車両510が走行している間に取得される車両情報(例えば、センシング情報、位置情報、映像、又は結果)のセットのうち少なくとも一部が消えて、サーバ103が車両サービスを提供することが制限されることがある。
【0073】
以下、本開示では、電子装置101が取得(又は収集)した車両情報(例えば、センシング情報、位置情報、映像、又は結果)を、揮発性メモリである第1のメモリ221に記録し、通信接続の確立が切断されたことを認識した場合、記録された車両情報(例えば、センシング情報、位置情報、映像、又は結果)を、第2のメモリ222に格納することができる。第2のメモリ222は、不揮発性メモリであるため、時間の経過に応じて、車両情報(例えば、センシング情報、位置情報、映像、又は結果)は、削除(又は除去)されないことがある。この後、切断された通信接続が再確立されると、電子装置101は、順次に、第2のメモリ222に格納された車両情報(例えば、センシング情報、位置情報、映像、又は、結果)を、サーバ103に送信することができる。これにより、サーバ103は、車両サービスをスムーズに(seamless)提供することができる。これに関する具体的な内容は、以下の
図6で説明する。
【0074】
前記の例では、無線通信接続の状態に応じて、第2のメモリ222に車両情報(例えば、センシング情報、位置情報、映像、又は結果)を格納し、サーバ103に送信する例について説明するが、本開示の実施形態は、これに限定されない。例えば、電子装置101の点火スイッチ(ignition switch)の状態(on/off)に応じて、本開示の実施形態は、第2のメモリ222内に車両情報(例えば、センシング情報、位置情報、映像、又は結果)を格納し、サーバ103に送信する場合を含むことができる。これに関する具体的な内容は、以下の
図9a及び
図9bに記載されている。
【0075】
さらに、本開示の実施形態によれば、電子装置101は、外部で発生した衝撃(impact)を検知し、この衝撃によるイベント(例えば、非衝突イベント又は衝突イベント)を認識することによって、車両情報(例えば、センシング情報、位置情報、映像、又は結果)をサーバ103に提供することができる。したがって、サーバ103は、取得した車両情報(例えば、センシング情報、位置情報、映像、又は結果)を用いて、前記車両サービスを提供することができる。これに関する具体的な内容は、以下の
図7及び
図8に記載されている。
【0076】
図6は、一実施形態による、電子装置が通信接続の状態に応じて取得されたセンシング情報を格納し、格納されたセンシング情報を送信する方法に関する信号フローの例を示す。
【0077】
図6の電子装置101は、
図1の電子装置101と
図2aの電子装置101とを含むことができる。
図6のサーバ103は、
図1のサーバ103及び
図3のサーバ103を含むことができる。
図6の動作のうち少なくとも1つは、電子装置101又はサーバ103によって実行されてもよい。例えば、前記動作のうち少なくとも1つは、プロセッサ210又はプロセッサ310によって制御されてもよい。
図6の各動作は、順次に実行されてもよいが、必ずしも順次に実行されるわけではない。例えば、各動作の順序を変更することができ、少なくとも2つの動作を並列に実行することができる。
【0078】
一実施形態によれば、動作600において、電子装置101は、電源をオン(on)にすることができる。例えば、電子装置101は、電源が供給され、ユーザの入力に基づいて、電源を投入することができる。例えば、電子装置101は、電源が投入された後に、起動(booting)を行うことができる。
【0079】
一実施形態によれば、動作603において、電子装置101は、起動が完了した後、サーバ103に起動が完了したことを知らせる起動完了メッセージ(booting complete message)を送信することができる。例えば、電子装置101は、起動した後、正常な動作が可能であることを識別することによって、起動完了メッセージをサーバ103に送信することができる。
【0080】
一実施形態によれば、設定要求メッセージは、電子装置101の識別情報、又は電子装置101に組み込まれたUSIMの識別情報を含むことができる。
【0081】
一実施形態によれば、サーバ103は、動作603で送信された起動完了メッセージを受信した後、起動完了メッセージに含まれる電子装置101の識別情報及び/又は加入者識別情報を通じて,サービスに加入した電子装置101を識別し、電子装置101から収集されたセンシング情報を送信するための手順を予め準備(又は待機)してもよい。例えば、電子装置101からの通信接続確立手順、電子装置101から送信されたセンシング情報を記憶するための記憶空間割り当てなどの作業に関連するリソースを予め割り当ててもよい。
【0082】
一実施形態によれば、動作605において、電子装置101は、センシング情報の収集を開始することができる。例えば、電子装置101は、事故発生検知センサ(例えば、加速度センサ、ジャイロスコープセンサ)を用いて、センシング情報を収集することができる。例えば、この収集は、周期的に実行されてもよく、又はイベント(非衝撃イベント、衝撃イベント)が発生したときに、実行されてもよい。例えば、センシング情報は、加速度値を含むことができる。
【0083】
図6には示されていないが、電子装置101は、センシング情報と共に、位置情報を収集することができる。例えば、電子装置101は、通信回路を用いて、位置情報を収集することができる。例えば、この収集は、周期的に実行されてもよく、又はイベント(非衝撃イベント、衝撃イベント)が発生したときに、実行されてもよい。例えば、位置情報は、GPSに基づく座標を含むことができる。
【0084】
一実施形態によれば、動作610において、電子装置101は、通信接続を確立することができる。例えば、電子装置101は、サーバ103と無線通信接続を確立することができる。例えば、無線通信接続は、Wi-Fi、3G、LTE、5G又はLEO(Low Earth Orbit)衛星、MEO(Medium Earth Orbit)衛星、GEO(Geostationary Earth Orbit)衛星などの衛星を介した衛星通信に基づいて行うことができる。ただし、本開示の実施形態は、これに限定されない。
【0085】
一実施形態によれば、動作615において、電子装置101は、設定要求メッセージをサーバ103に送信することができる。例えば、電子装置101は、無線通信接続が確立された後、設定要求メッセージをサーバ103に送信することができる。例えば、設定要求メッセージは、電子装置101の識別情報、電子装置101に組み込まれたUSIMの識別情報、又は電子装置101のファームウェア(firmware)情報のうち少なくとも1つを含むことができる。例えば、電子装置101の識別情報は、IMEI(International Mobile equipment identity)を含んでもよい。例えば、USIMの識別情報は、ICCID(integrated circuit card identifier)を含んでもよい。例えば、ファームウェア情報は、電子装置101内で起動されるプログラムのバージョン情報を含んでもよい。
【0086】
前述の一実施形態では、動作603と動作615の両方において、電子装置101がその識別情報及び/又は加入者の識別情報を含むと説明したが、両方の動作のうちのいずれかで送信されるメッセージのみに、電子装置101が自分の識別情報及び/又は加入者の識別情報を含むこともある。
【0087】
一実施形態によれば、動作620において、電子装置101は、サーバ103から応答を受信することができる。例えば、設定要求メッセージに対する応答は、設定要求メッセージに基づいて、電子装置101が認証(又は電子装置101が加入された装置であることを認識)したことを知らせるための信号であってもよい。一実施形態によれば、設定要求メッセージに対する応答は、サーバ103が設定要求メッセージに含まれるファームウェア情報が最新バージョンでない場合、電子装置101のファームウェアの更新を指示することもできる。
【0088】
一実施形態によれば、設定要求メッセージに対する応答は、電子装置101のための設定環境の設定値を含んでもよい。例えば、設定環境の設定値は、電子装置101のセンサが測定する加速度に対する感度、又は加速度を含むセンシング情報をサーバ103に提供する送信周期の長さを含むことができる。例えば、設定環境の設定値は、設定情報と呼ぶことがある。例えば、設定情報の初期値は、電子装置101の設計時に、電子装置101内のメモリ(例えば、SDカード)に記憶されて出荷されてもよい。
【0089】
一実施形態によれば、動作625において、電子装置101は、新しい設定情報を設定することができる。例えば、設定要求メッセージに対する応答が、新しい設定情報を含む場合、電子装置101は、新しい設定情報に基づいて設定を行うことができる。しかしながら、設定要求メッセージに対する応答が、新しい設定情報を含まない場合、動作625は、省略されてもよい。
【0090】
一実施形態によれば、動作630において、電子装置101は、センシング情報をサーバ103に送信することができる。例えば、センシング情報は、動作605で収集を開始したセンシング情報のセットのうちの最初のセンシング情報を表すことができる。
図6では、センシング情報がサーバ103に提供される例が示されているが、本開示の実施形態は、これに限定されない。例えば、電子装置101は、センシング情報と共に、位置情報と電子装置101の識別情報とを、サーバ103に送信してもよい。一実施形態によれば、動作635において、電子装置101は、サーバ103から最初のセンシング情報の受信が完了したことを示す応答を受信することができる。
【0091】
図6では、動作630において、電子装置101が1つのセンシング情報(及び位置情報、識別情報)を、サーバ103に送信するように示されているが、本開示の実施形態は、これに限定されない。例えば、電子装置101は、動作605で、収集周期に基づいて、センシング情報(及び/又は位置情報)を収集し、収集されたセンシング情報(及び/又は位置情報)のセット内で、送信周期に基づいて順番に(又は順次に)サーバ103に送信することができる。収集周期は、伝送周期に対応するように設定されてもよく、伝送周期と異なるように設定されてもよい。
【0092】
一実施形態によれば、電子装置101からサーバ103に提供されるセンシング情報(及び/又は位置情報)は、電子装置101の第1のメモリ221に記録されてもよい。例えば、センシング情報(及び/又は位置情報)は、揮発性メモリである第1のメモリ221に記録され、記録中に送信周期が到達したことに応答して、サーバ103に提供されてもよい。
【0093】
一実施形態によれば、動作640において、電子装置101は、通信接続が切断されたことを認識することができる。例えば、電子装置101は、動作610で確立された無線通信接続の切断を識別することができる。例えば、この切断は、無線通信接続のための信号の品質(又は強度)が低い状況、又は山間地域などの無線通信接続を提供することが困難な領域で発生することがある。ただし、本開示の実施形態は、これに限定されない。
【0094】
一実施形態によれば、動作645において、電子装置101は、センシング情報を格納することができる。例えば、電子装置101は、第1のメモリ221に記録されたセンシング情報(及び/又は位置情報)のセットを、第2のメモリ222に格納することができる。第2のメモリ222は、不揮発性メモリであるので、センシング情報(及び/又は位置情報)のセットは、時間の経過とともに、削除(又は除去)されないことがある。例えば、センシング情報(及び/又は位置情報)のセットは、電子装置101がサーバ103にセンシング情報(及び/又は位置情報)を送信するか、又は記録時間が満了した場合に、除去され得る。
【0095】
一実施形態によれば、動作650において、電子装置101は、通信接続を再確立することができる。例えば、電子装置101は、切断の要因が解消されるにつれて、通信接続を再確立することができる。通信接続切断の要因が解消される条件としては、電子装置101が無線通信の陰影領域を外れた状況、電子装置101及び/又はサーバ103の誤動作/障害発生の問題が解決された状況などが含まれてもよい。
【0096】
一実施形態によれば、動作655において、電子装置101は、センシング情報をサーバ103に送信することができる。このとき、センシング情報は、動作640に従って、通信接続が切断される前に送信されたセンシング情報に連続するセンシング情報を表すことができる。
図6では、センシング情報がサーバ103に提供される例が示されているが、本開示の実施形態は、これに限定されない。例えば、電子装置101は、センシング情報と共に、位置情報及び電子装置101の識別情報をサーバ103に送信してもよい。一実施形態によれば、動作660において、電子装置101は、サーバ103から最初のセンシング情報の受信が完了したことを示す応答を受信することができる。
【0097】
一実施形態によれば、動作665において、電子装置101は、電源をオフ(off)にすることができる。例えば、電子装置101は、ユーザの入力に基づいて、電源を投入することができる。ただし、本開示の実施形態は、これに限定されない。動作665は、省略されてもよい。
【0098】
図7及び
図8は、一実施形態による、電子装置が衝撃検知(impact detection)に基づいて取得された情報をサーバに送信する方法に関する信号フローの例を示す。
【0099】
図7及び
図8の電子装置101は、
図1の電子装置101及び
図2aの電子装置101を含むことができる。
図7及び
図8のサーバ103は、
図1のサーバ103及び
図3のサーバ103を含むことができる。
図7(又は
図8)の動作のうち少なくとも1つは、電子装置101又はサーバ103によって実行されてもよい。例えば、動作のうちの少なくとも1つは、プロセッサ210又はプロセッサ310によって制御されてもよい。
図7の動作(又は
図8の動作)のそれぞれは、順次に実行されてもよいが、必ずしも順次に実行されるわけではない。例えば、各動作の順序を変更することができ、少なくとも2つの動作を並列に実行することができる。
【0100】
図7及び
図8は、電子装置101がサーバ103と通信接続を確立している間、電子装置101が搭載された車両(例えば、
図5の車両510)に対する衝撃(impact)を検出し、それに応じて車両情報(例えば、センシング情報、位置情報、又は映像)を提供する方法の例が示されている。例えば、
図7は、衝撃によるイベントが非衝突イベント(又は第1レベルのイベント)である場合の例を示す。また、例えば、
図8は、衝撃によるイベントが衝突イベント(又は第2レベルのイベント)である場合の例を示している。例えば、
図7の動作及び
図8の動作は、
図6の動作610と動作640との間で実行されてもよく、動作650と動作665との間で実行されてもよい。
【0101】
図7の例では、一実施形態によれば、動作700において、電子装置101は、衝撃を検出することができる。例えば、電子装置101は、事故発生検知センサを用いて、衝撃を検出することができる。例えば、衝撃は、電子装置101が搭載された車両510に対する衝撃を表すことができる。例えば、電子装置101は、衝撃が検知されるタイミングのセンシング情報を、事故発生検知センサを用いて取得することができる。例えば、センシング情報は、車両510の加速度を示す値を含むことができる。ただし、本開示の実施形態は、これに限定されない。例えば、センシング情報は、他の種類のセンサによって取得された値をさらに含んでもよい。
【0102】
一実施形態によれば、動作705において、電子装置101は、加速度を示す値と基準値とを比較することができる。例えば、電子装置101は、加速度を示す値と、加速度を示す値に対して設定された基準値とを比較することができる。例えば、基準値は、第1の基準値と、第1の基準値を超える第2の基準値とを含むことができる。例えば、第1の基準値未満である値の場合、電子装置101は、衝撃がイベントを発生させるものではないことを認識することができる。例えば、第1の基準値以上で、第2の基準値未満である値の場合、電子装置101は、衝撃に基づく第1レベルのイベント(又は非衝突イベント)を検知することができる。あるいは、例えば、第2の基準値以上である値の場合、電子装置101は、衝撃に基づく第2レベルのイベント(又は衝突イベント)を検知することができる。ただし、本開示の実施形態は、これに限定されない。例えば、電子装置101は、前記値と1つの基準値とを比較し、基準値未満の場合は、衝撃に基づく第1レベルのイベントを検知し、基準値以上の場合は、衝撃に基づく第2レベルのイベントを検知することもできる。また、例えば、電子装置101は、他の種類のセンサによって得られた値と、他の種類のセンサのための基準値(又は基準範囲)とをさらに比較してもよい。
【0103】
前述したように、
図7の例では、前記値が、第1の基準値以上で、基準値未満である場合の例を想定する。したがって、電子装置101は、動作700で検知された衝撃が、第1レベルのイベントを引き起こすことを認識することができる。電子装置101は、第1レベルのイベントを検知することに応答して、衝撃が検知されたタイミングから、指定された時間長710の間、待機することができる。このとき、待機することは、電子装置101が指定された時間長710の間に、センシング情報を収集し、収集されたセンシング情報を第1のメモリ221に記録するが、記録されたセンシング情報をサーバ103に送信しないことを含み得る。指定された時間長710は、衝撃が検知された後に、連続的に発生する可能性がある他の衝撃を排除するためのマージン(margin)であり得る。例えば、電子装置101は、指定された時間長710内で、外部から発生した他の衝撃が発生したタイミングで、加速度を示す値の取得を控える(refrain from)ことができる。
【0104】
一実施形態によれば、動作715において、電子装置101は、センシング情報のセットをサーバ103に送信することができる。例えば、電子装置101は、タイミングの後に指定された時間長710を含む時間区間についてのセンシング情報のセットを、サーバ103に送信することができる。一実施形態によれば、動作720において、電子装置101は、サーバ103から前記センシング情報のセットに対する応答を受信することができる。
【0105】
図7の例では、動作715において、電子装置101が、センシング情報のセットをサーバ103に送信する場合が示されているが、本開示の実施形態は、これに限定されない。例えば、電子装置101は、位置情報のセット、時間区間内の車両510の速度、又は電子装置101の識別情報のうち少なくとも1つをサーバ103にさらに送信してもよい。一実施形態によれば、電子装置101は、衝撃に基づいた第1レベルのイベントを検知した場合、時間区間の映像は、サーバ103に提供することを控えることができる。例えば、電子装置101は、時間区間の映像を取得しても、映像をサーバ103に送信しないことがある。これは、第1レベルのイベントが、車両510の走行に応じて発生する可能性がある比較的弱い衝撃に基づくイベントであるためである。
【0106】
図8の例では、一実施形態によれば、動作800において、電子装置101は、衝撃を検知することができる。例えば、電子装置101は、事故発生検知センサを用いて、衝撃を検知することができる。例えば、衝撃は、電子装置101が搭載された車両510に対する衝撃を表すことができる。例えば、電子装置101は、衝撃が検知されるタイミングのセンシング情報を、事故発生検知センサを用いて取得することができる。例えば、センシング情報は、車両510の加速度を示す値を含むことができる。ただし、本開示の実施形態は、これに限定されない。例えば、センシング情報は、他の種類のセンサによって取得された値をさらに含んでもよい。
【0107】
一実施形態によれば、動作805において、電子装置101は、加速度を示す値と基準値とを比較することができる。前述したように、
図8の例では、前記値が、第2の基準値以上である場合の例を想定する。したがって、電子装置101は、動作800で検知された衝撃が、第2レベルのイベントを引き起こすことを認識することができる。電子装置101は、第2レベルのイベントを検知することに応答して、衝撃が検知されたタイミングから、指定された時間長820の間、待機することができる。このとき、待機することは、電子装置101が指定された時間長820の間に、センシング情報を収集し、収集されたセンシング情報を第1のメモリ221に記録するが、記録されたセンシング情報を、サーバ103に送信しないことを含んでもよい。指定された時間長820は、衝撃が検知された後に、連続的に発生する可能性がある他の衝撃を排除するためのマージン(margin)であり得る。
【0108】
一実施形態によれば、動作810において、電子装置101は、指示情報をサーバ103に送信することができる。例えば、電子装置101は、動作805において、第2レベルのイベントを検知することに応答して、第2レベルのイベントが発生したことを知らせる指示情報を、サーバ103に送信することができる。
【0109】
一実施形態によれば、指示情報は、電子装置101の識別情報、動作800において衝撃が検知された時間情報を含むことができる。例えば、この時間情報は、日付(date)、時刻(time)、例えば、時、分、秒を含むことができる。
【0110】
一実施形態によれば、動作815において、電子装置101は、サーバ103から指示情報に対する応答を受信することができる。例えば、指示情報に対する応答は、指示情報をサーバ103が認識したことを知らせるための信号であり得る。
【0111】
一実施形態によれば、動作825において、電子装置101は、映像をサーバ103に送信することができる。例えば、電子装置101は、動作800において衝撃が検知されるタイミングと、指定された時間長820とを含む時間区間に関する映像を取得することができる。例えば、電子装置101は、タイミングから指定された時間長820が経過した別(another)のタイミングで、時間区間について取得された映像を、サーバ103に送信することができる。
【0112】
一実施形態によれば、動作830において、電子装置101は、映像に対する応答をサーバ103から受信することができる。例えば、映像に対する応答は、映像をサーバ103が認識したことを知らせるための信号であり得る。ただし、本開示の実施形態は、これに限定されない。例えば、動作830は、省略されてもよい。
【0113】
一実施形態によれば、動作835において、電子装置101は、センシング情報のセットをサーバ103に送信することができる。例えば、電子装置101は、時間区間に対するセンシング情報のセットを、サーバ103に送信することができる。一実施形態によれば、動作840において、電子装置101は、サーバ103からセンシング情報のセットに対する応答を受信することができる。
【0114】
図8の例では、動作835において、電子装置101が、センシング情報のセットをサーバ103に送信する場合が示されているが、本開示の実施形態は、これに限定されない。例えば、電子装置101は、位置情報のセット、時間区間内の車両510の速度、又は電子装置101の識別情報のうち少なくとも1つを、サーバ103にさらに送信してもよい。
【0115】
図9a及び
図9bは、一実施形態による電子装置が衝撃を検知した後、点火スイッチの状態に従って取得された情報を格納し、格納された情報をサーバに送信する方法に関する信号フローの例を示す図である。
【0116】
図9a及び
図9bの電子装置101は、
図1の電子装置101及び
図2aの電子装置101を含むことができる。
図9a及び
図9bのサーバ103は、
図1のサーバ103及び
図3のサーバ103を含むことができる。
図9a(又は
図9b)の動作のうち少なくとも1つは、電子装置101又はサーバ103によって実行されてもよい。例えば、前記動作のうち少なくとも1つは、プロセッサ210又はプロセッサ310によって制御されてもよい。
図9aの動作(又は
図9bの動作)のそれぞれは、順次に実行されてもよいが、必ずしも順次に実行されるわけではない。例えば、各動作の順序を変更することができ、少なくとも2つの動作を並列に実行することができる。
【0117】
図9a及び
図9bは、
図6とは異なり、無線通信接続が切断(disconnect)されるのではなく、電子装置101の点火スイッチの状態が変化(オンからオフ又はオフからオン)されることを検知するにつれて、電子装置101が第1のメモリ221に記録された情報を、第2のメモリ222に格納し、格納された情報をサーバ103に送信する動作の一例を示す。
【0118】
図9aの例では、一実施形態によれば、動作901において、電子装置101は、衝撃を検知することができる。例えば、電子装置101は、事故発生検知センサを用いて、衝撃を検知することができる。例えば、衝撃は、電子装置101が搭載された車両510に対する衝撃を表すことができる。例えば、電子装置101は、衝撃が検知されるタイミングのセンシング情報を、事故発生検知センサを用いて取得することができる。例えば、センシング情報は、車両510の加速度を表す値を含むことができる。ただし、本開示の実施形態は、これに限定されない。例えば、センシング情報は、他の種類のセンサによって取得された値をさらに含んでもよい。
【0119】
一実施形態によれば、電子装置101は、加速度を示す値と基準値とを比較することができる。
図9aの例では、前記値が、第2の基準値以上の場合の例を想定する。したがって、電子装置101は、動作901で検知された衝撃が、第2レベルのイベントを引き起こすことを認識することができる。
【0120】
一実施形態によれば、動作903において、電子装置101は、指示情報をサーバ103に送信することができる。例えば、電子装置101は、動作901において、第2レベルのイベントを検知することに応答して、第2レベルのイベントが発生したことを知らせる指示情報を、サーバ103に送信することができる。一実施形態によれば、指示情報は、電子装置101の識別情報、動作901で衝撃が検知された時間情報を含んでもよい。例えば、この時間情報は、日付(date)、時刻(time)、例えば、時、分、秒を含むことができる。
【0121】
一実施形態によれば、動作905において、電子装置101は、サーバ103から、指示情報に対する応答を受信することができる。例えば、指示情報に対する応答は、指示情報をサーバ103が認識したことを知らせるための信号であり得る。
【0122】
一実施形態によれば、動作907において、電子装置101は、点火スイッチがオフ(off)を認識することができる。例えば、電子装置101は、外部要因に応じて点火スイッチがオフであることを認識することができる。
【0123】
一実施形態によれば、動作909において、電子装置101は、加速度を示す値を格納することができる。例えば、電子装置101は、事故発生検知センサを用いて取得された加速度を示す値(又はセンシング情報)を、第2のメモリ222に格納することができる。このとき、加速度を示す値(又はセンシング情報)は、収集されるにつれて、第1のメモリ221に記録された状態であり得る。前記の例では、加速度を示す値(又はセンシング情報)を格納する例が示されているが、本開示の実施形態は、これに限定されない。例えば、電子装置101は、加速度を示す値と共に、位置情報を第2のメモリ222に格納してもよい。
【0124】
図9aでは、動作909が動作907の後に実行されるように示されているが、本開示の実施形態は、これに限定されない。例えば、電子装置101は、動作907と動作909を一緒に実行してもよい。
【0125】
一実施形態によれば、動作911において、電子装置101は、点火スイッチがオン(on)になることを認識することができる。例えば、電子装置101は、外部要因の解消に応じて、点火スイッチがオンになることを認識することができる。
【0126】
一実施形態によれば、動作912において、電子装置101は、起動が完了したことを知らせる起動完了メッセージ(booting complete message)を、サーバ103に送信することができる。例えば、電子装置101は、動作911の後、起動を行ってもよい。例えば、電子装置101は、起動を実行した後、正常な動作が可能であることを識別することによって、起動完了メッセージをサーバ103に送信することができる。
【0127】
一実施形態によれば、設定要求メッセージは、電子装置101の識別情報、又は電子装置101に組み込まれたUSIMの識別情報を含むことができる。
【0128】
一実施形態によれば、サーバ103は、動作912で送信された起動完了メッセージを受信した後、起動完了メッセージに含まれる電子装置101の識別情報及び/又は加入者識別情報を通じて、サービスに加入した電子装置101を識別し、電子装置101から収集されたセンシング情報を送信するための手順を、予め準備(又は待機)してもよい。例えば、電子装置101からの通信接続確立手順、電子装置101から送信されたセンシング情報を格納するための記憶空間割り当てなどの作業に関連するリソースを予め割り当ててもよい。
【0129】
一実施形態によれば、動作913において、電子装置101は、設定要求メッセージをサーバ103に送信することができる。電子装置101は、動作912の後、通信接続が確立されると、設定要求メッセージをサーバ103に送信することができる。これに関する具体的な内容は、
図6の動作615が参照されてもよい。一実施形態によれば、動作915において、電子装置101は、設定要求メッセージに対する応答を受信することができる。これに関する具体的な内容は、
図6の動作620が参照されてもよい。
【0130】
一実施形態によれば、動作917において、電子装置101は、映像をサーバ103に送信することができる。例えば、電子装置101は、動作901において衝撃が検知されるタイミング及び指定された時間長を含む時間区間についての映像を取得することができる。例えば、電子装置101は、タイミングから指定された時間長が経過した別(another)のタイミングで、時間区間について取得された映像を、サーバ103に送信することができる。
【0131】
一実施形態によれば、動作919において、電子装置101は、映像に対する応答をサーバ103から受信することができる。例えば、映像に対する応答は、映像をサーバ103が認識したことを知らせるための信号であり得る。ただし、本開示の実施形態は、これに限定されない。例えば、動作919は、省略されてもよい。
【0132】
一実施形態によれば、動作921において、電子装置101は、センシング情報のセットをサーバ103に送信することができる。例えば、電子装置101は、前記時間区間に対するセンシング情報のセットをサーバ103に送信することができる。一実施形態によれば、動作923において、電子装置101は、サーバ103からセンシング情報のセットに対する応答を受信することができる。
【0133】
図9aの例では、動作921において、電子装置101がセンシング情報のセットをサーバ103に送信する場合が示されているが、本開示の実施形態は、これに限定されない。例えば、電子装置101は、位置情報のセット、時間区間内の車両510の速度、又は電子装置101の識別情報のうち少なくとも1つを、サーバ103にさらに送信してもよい。
【0134】
図9bの例では、一実施形態によれば、動作951において、電子装置101は、衝撃を検知することができる。例えば、電子装置101は、事故発生検知センサを用いて、衝撃を検知することができる。例えば、衝撃は、電子装置101が搭載された車両510に対する衝撃を表すことができる。例えば、電子装置101は、事故発生検知センサを用いて、衝撃が検知されるタイミングのセンシング情報を取得することができる。例えば、センシング情報は、車両510の加速度を示す値を含むことができる。ただし、本開示の実施形態は、これに限定されない。例えば、センシング情報は、他の種類のセンサによって取得された値をさらに含んでもよい。
【0135】
一実施形態によれば、電子装置101は、加速度を示す値と基準値とを比較することができる。
図9bの例では、前記値が、第2の基準値以上の場合の例を想定する。したがって、電子装置101は、動作951で検知された衝撃が、第2レベルのイベントを引き起こすことを認識することができる。
【0136】
一実施形態によれば、動作953において、電子装置101は、指示情報をサーバ103に送信することができる。例えば、電子装置101は、動作951において、第2レベルのイベントを検知することに応答して、第2レベルのイベントが発生したことを知らせる指示情報を、サーバ103に送信することができる。一実施形態によれば、指示情報は、電子装置101の識別情報、動作951で衝撃が検知された時間情報を含むことができる。例えば、時間情報は、日付(date)、時刻(time)、例えば、時、分、秒を含むことができる。
【0137】
一実施形態によれば、動作955において、電子装置101は、サーバ103から、指示情報に対する応答を受信することができる。例えば、指示情報に対する応答は、指示情報をサーバ103が認識したことを知らせるための信号であり得る。
【0138】
一実施形態によれば、動作957において、電子装置101は、映像をサーバ103に送信することができる。例えば、電子装置101は、動作951において衝撃が検知されるタイミング及び指定された時間長を含む時間区間についての映像を取得することができる。例えば、電子装置101は、タイミングから指定された時間長が経過した別(another)のタイミングで、時間区間について取得された映像をサーバ103に送信することができる。
【0139】
一実施形態によれば、動作959において、電子装置101は、映像に対する応答をサーバ103から受信することができる。例えば、映像に対する応答は、映像をサーバ103が認識したことを知らせるための信号であり得る。ただし、本開示の実施形態は、これに限定されない。例えば、動作959は、省略されてもよい。
【0140】
一実施形態によれば、動作961において、電子装置101は、点火スイッチがオフ(off)になることを認識することができる。例えば、電子装置101は、外部要因に応じて点火スイッチがオフになることを認識することができる。
【0141】
一実施形態によれば、動作963において、電子装置101は、加速度を示す値を格納することができる。例えば、電子装置101は、事故発生検知センサを用いて取得された加速度を示す値(又はセンシング情報)を、第2のメモリ222に格納することができる。このとき、加速度を示す値(又はセンシング情報)は、収集されるにつれて、第1のメモリ221に記録された状態であり得る。前記の例では、加速度を示す値(又はセンシング情報)を格納する例が示されているが、本開示の実施形態は、これに限定されない。例えば、電子装置101は、加速度を示す値と共に、位置情報を第2のメモリ222に格納してもよい。
【0142】
図9bでは、動作963が動作961の後に実行されるように示されているが、本開示の実施形態は、これに限定されない。例えば、電子装置101は、動作961と動作963とを一緒に実行してもよい。
【0143】
一実施形態によれば、動作965において、電子装置101は、点火スイッチがオン(on)になることを認識することができる。例えば、電子装置101は、外部要因の解消に応じて、点火スイッチがオンになることを認識することができる。
【0144】
一実施形態によれば、動作966において、電子装置101は、サーバ103に起動が完了したことを知らせる起動完了メッセージ(booting complete message)を送信することができる。例えば、電子装置101は、動作965の後、起動を行ってもよい。例えば、電子装置101は、起動の後、正常な動作が可能であることを識別することによって、起動完了メッセージをサーバ103に送信することができる。
【0145】
一実施形態によれば、設定要求メッセージは、電子装置101の識別情報、又は電子装置101に組み込まれたUSIMの識別情報を含むことができる。
【0146】
一実施形態によれば、サーバ103は、動作966で送信された起動完了メッセージを受信した後、起動完了メッセージに含まれる電子装置101の識別情報及び/又は加入者識別情報を通じて、サービスに加入した電子装置101を識別し、電子装置101から収集されたセンシング情報を送信するための手順を、予め準備(又は待機)してもよい。例えば、電子装置101からの通信接続確立手順、電子装置101から送信されたセンシング情報を格納するための記憶空間割り当てなどの作業に関連するリソースを予め割り当ててもよい。
【0147】
一実施形態によれば、動作967において、電子装置101は、設定要求メッセージをサーバ103に送信することができる。電子装置101は、動作966の後、通信接続が確立されると、設定要求メッセージをサーバ103に送信することができる。これに関する具体的な内容は、
図6の動作615を参照することができる。一実施形態によれば、動作969において、電子装置101は、設定要求メッセージに対する応答を受信することができる。これに関する具体的な内容は、
図6の動作620を参照することができる。
【0148】
一実施形態によれば、動作971において、電子装置101は、センシング情報のセットをサーバ103に送信することができる。例えば、電子装置101は、時間区間に対するセンシング情報のセットをサーバ103に送信することができる。一実施形態によれば、動作973において、電子装置101は、サーバ103からセンシング情報のセットに対する応答を受信することができる。
【0149】
図9bの例では、動作971において、電子装置101が、センシング情報のセットを サーバ103に送信する場合が示されているが、本開示の実施形態は、これに限定されない。例えば、電子装置101は、位置情報のセット、時間区間内の車両510の速度、又は電子装置101の識別情報のうち少なくとも1つを、サーバ103にさらに送信してもよい。
【0150】
図10は、一実施形態による、電子装置が、取得されたセンシング情報を第1のメモリに記録し、第2のメモリに格納する方法の例を示す。
【0151】
図10の電子装置101は、
図1の電子装置101の一例を示すことができる。例えば、
図10のセンサ1005は、
図2aの電子装置101のセンサ部240の一例であり得る。
図10の第1のメモリ1001は、
図2aの電子装置101の第1のメモリ221の一例であり得る。
図10の第2のメモリ1002は、
図2aの電子装置101の第2のメモリ222の一例であり得る。
図10のサーバ103は、
図1のサーバ103の一例を示すことができる。
【0152】
図10を参照すると、電子装置101は、センサ1005を用いて、センシング情報を取得することができる。例えば、電子装置101は、センサ1005を用いて、周期的に前記センシング情報を取得することができる。例えば、センシング情報は、収集周期に基づいて取得することができる。
【0153】
電子装置101は、取得されたセンシング情報1010を、第1のメモリ1001に記録することができる。例えば、電子装置101は、センシング情報1010を揮発性メモリである第1のメモリ1001に一時的に記憶することができる。この後、電子装置101は、サーバ103と確立された無線通信接続が切断されたか、又は点火スイッチの状態がオン(on)からオフ(off)に変化したことを検知したことに応答して、第1のメモリ1001に記録されたセンシング情報1020を、第2のメモリ1002に格納することができる。例えば、電子装置101は、無線通信接続の切断又は点火スイッチ状態の変化に応答して、記録されたセンシング情報1020を、不揮発性メモリである第2のメモリ1002に格納することができる。
【0154】
図10を参照すると、電子装置101は、第1のメモリ1001又は第2のメモリ1002のセンシング情報をサーバ103に送信し、これに対する応答を受信することができる。このとき、サーバ103に送信されるセンシング情報は、周期的に送信されてもよい。例えば、送信周期に基づいて、センシング情報をサーバ103に送信することができる。
【0155】
前記を参照すると、
図10は、センサ1005を介して取得されるセンシング情報の例を示すが、本開示の実施形態は、これに限定されない。例えば、本開示の実施形態は、通信回路(例えば、
図2aの通信部230)を用いて取得される位置情報又はカメラ(例えば、
図2aのカメラ270)を用いて取得される映像に対しても、実質的に同様に適用されてもよい。
【0156】
図11は、一実施形態による、電子装置が通信接続の状態に応じて、取得されたセンシング情報を格納し、格納されたセンシング情報を送信する方法の動作フローの例を示す。
【0157】
図11の電子装置101は、
図1の電子装置101と
図2aの電子装置101とを含むことができる。
図11の動作のうち少なくとも1つは、電子装置101によって実行されてもよい。例えば、前記動作のうち少なくとも1つは、プロセッサ210によって制御されてもよい。
図11の各動作は、順次に実行されてもよいが、必ずしも順次に実行されるわけではない。例えば、各動作の順序を変更することができ、少なくとも2つの動作を並列に実行することができる。
【0158】
一実施形態によれば、動作1110において、電子装置101は、無線通信接続を確立することができる。例えば、電子装置101は、サーバ103と無線通信接続を確立することができる。例えば、無線通信接続は、Wi-Fi、3G、LTE、又は5Gに基づいて実行することができる。ただし、本開示の実施形態は、これに限定されない。
【0159】
一実施形態によれば、電子装置101は、無線通信接続を確立する前に、電源を投入(on)することができる。例えば、電子装置101は、電源が供給され、ユーザの入力に基づいて、電源を投入することができる。例えば、電子装置101は、電源が投入された後に、起動(booting)を実行することができる。例えば、電子装置101は、起動(booting)が完了した後、サーバ103に起動完了を通知する起動完了メッセージを送信することができる。
【0160】
一実施形態によれば、電子装置101は、無線通信接続を確立する前に、センシング情報の収集を開始することができる。例えば、電子装置101は、事故発生検知センサ(例えば、加速度センサ、ジャイロスコープセンサ)を用いて、センシング情報を収集することができる。例えば、この収集は、定期的に実行されてもよく、イベントが発生するたびに実行されてもよい。収集は、収集周期に基づいて実行することができる。例えば、センシング情報は、加速度値を含んでもよい。
【0161】
一実施形態によれば、電子装置101は、センシング情報と共に位置情報を収集することができる。例えば、電子装置101は、通信回路を用いて、位置情報を収集することができる。例えば、この収集は、周期的に実行することができる。例えば、位置情報は、GPSに基づく座標を含むことができる。
【0162】
一実施形態によれば、電子装置101は、設定要求メッセージをサーバ103に送信することができる。例えば、電子装置101は、無線通信接続が確立された後、設定要求メッセージをサーバ103に送信することができる。例えば、設定要求メッセージは、電子装置101の識別情報、電子装置101に組み込まれたUSIMの識別情報、又は電子装置101のファームウェア情報のうち少なくとも1つを含むことができる。例えば、電子装置101の識別情報は、IMEI(International Mobile equipment identity)を含むことができる。例えば、USIMの識別情報は、ICCID(integrated circuit card identifier)を含むことができる。例えば、ファームウェア情報は、電子装置101内で起動されるプログラムのバージョン情報を含むことができる。
【0163】
一実施形態によれば、動作1120において、電子装置101は、第1のタイミングで第1のセンシング情報を第1のメモリ221に記録し、記録された第1のセンシング情報を送信することができる。例えば、電子装置101は、収集周期中に第1のタイミングで第1のセンシング情報を取得することができる。例えば、電子装置101は、取得された第1のセンシング情報を第1のメモリ221に記録することができる。例えば、この記録は、一時的な記憶を含んでもよい。例えば、電子装置101は、記録された第1のセンシング情報を、サーバ103に送信することができる。
【0164】
一実施形態によれば、動作1130において、電子装置101は、第1のタイミングの後に確立された無線通信接続が切断されることを認識することができる。
【0165】
一実施形態によれば、動作1140において、電子装置101は、無線通信接続が切断されている間に、第2のタイミングで第2のセンシング情報を第1のメモリ221に記録し、記録された第2のセンシング情報を、第2のメモリ222に格納することができる。例えば、電子装置101は、無線通信接続が切断されている間に、第1のタイミングの後の第2のタイミングで第2のセンシング情報を取得してもよい。例えば、電子装置101は、第2のタイミングを第1のメモリ221に記録し、記録された第2のセンシング情報を、第2のメモリ222に格納することができる。第2のメモリ222は、不揮発性メモリであるため、第2のセンシング情報は、時間の経過とともに、削除(又は除去)されないことがある。
【0166】
一実施形態によれば、動作1150において、電子装置101は、第2のタイミングの後に、無線通信接続が再確立されることを認識することに応答して、格納された第2のセンシング情報をサーバ103に送信することができる。例えば、電子装置101は、第1のセンシング情報に連続する第2のセンシング情報を、再確立を認識することに基づいて、サーバ103に送信することができる。
【0167】
前述したように、サーバ103は、電子装置101との無線通信接続が一時的に切断された場合でも、電子装置101から連続したセンシング情報のセットを受信することができる。これにより、サーバ103は、車両サービスを途切れることなく(seamless)提供することができる。
【0168】
図12は、一実施形態による、人工知能モデルを用いて、動きイベントを検出するための電子装置の例示的なブロック図である。
【0169】
図12の電子装置101は、
図2aの電子装置101又は
図1の電子装置101の一例であり得る。例えば、電子装置101は、車両に搭載されてもよい(又は含まれてもよい)。
【0170】
図12を参照すると、電子装置101は、プロセッサ1210、メモリ1220、通信回路1230、AIアクセラレータ1240、及び事故発生検知器1250を含むことができる。例えば、プロセッサ1210は、
図2aの電子装置101のプロセッサ210に対応し得る。例えば、メモリ1220は、
図2aの電子装置101のメモリ220に対応し得る。例えば、通信回路1230は、
図2aの電子装置101の通信部230に対応し得る。例えば、事故発生検知器1250は、
図2aの電子装置101のセンサ部240、又はマイク295を含むことができる。例えば、事故発生検知器1250は、事故発生検知センサ又は事故発生検知装置と呼ばれることがある。
【0171】
例えば、事故発生検知器1250は、加速度センサ、ジャイロスコープセンサ、気圧計、温度計、マイクロホンのうち少なくとも1つを介して検知された情報が入力されると、入力された情報をAIアクセラレータ1240に伝達することができる。例えば、電子装置101は、事故発生検知器1250によって取得(又は出力)されたセンシング情報(例えば、加速度センサ、ジャイロスコープセンサ、気圧計、温度計、マイクロホンのうち少なくとも1つを介して検知された情報)は、AIアクセラレータ1240に入力することができる。
図12には示されていないが、事故発生検知器1250から出力されたセンシング情報は、AIアクセラレータ1240に入力される前に、前処理装置(Preprocessor)(図示せず)によって前処理されてもよい。前処理装置は、センシング情報を、AIアクセラレータ1240で実行される人工知能モデルに入力する前に、データの誤りや雑音を除去し、不完全な情報を訂正し、データにタグを付け、データを整理し、データを再構成するなどの前処理を行うことができる。
【0172】
例えば、AIアクセラレータ1240は、電子装置101が搭載されている車両の動き(又は動きイベント)を識別するための人工知能モデルを生成し実行するのに必要なコンピューティング性能を向上させるハードウェア装置を表すことができる。例えば、AIアクセラレータ1240は、CPU又はGPUなどの一般的なプロセッサよりも特定のAIタスクに特化した回路を含むことができる。これにより、AIアクセラレータ1240は、より迅速かつ効率的にデータを処理することができる。例えば、AIアクセラレータ1240は、ディープラーニングネットワークを実行(run)するためのハードウェアプロセッサであってもよい。一例では、AIアクセラレータ1240は、センシング情報に対して畳み込みニューラルネットワーク(convolution neural network、CNN)を介して推論(inference)を行うための専門化プロセッサであり得る。言い換えれば、AIアクセラレータ1240は、プロセッサ1210に含まれてもよく、プロセッサ1210及びメモリ1220に含まれてもよい。
【0173】
例えば、前処理装置によって処理されたセンシング情報は、AIアクセラレータ1240で実行(run)されるディープラーニングネットワークにフィード(feed)されてもよい。AIアクセラレータ1240によって実行されるディープラーニングネットワークの出力は、プロセッサ1210にフィードされてもよい。AIアクセラレータ1240で実行されるディープラーニングネットワークの中間結果は、AIアクセラレータ1240にフィードされてもよい。
【0174】
図13は、一実施形態による、人工知能モデルを用いて、動きイベントを検出するためのサーバの例示的なブロック図である。
【0175】
図13のサーバ103は、
図3のサーバ103又は
図1のサーバ103の一例であり得る。例えば、サーバ103は、電子装置101と接続され、電子装置101から受信した情報(又はセンシング情報)に基づいて、車両サービスを提供することができる。
【0176】
図13を参照すると、サーバ103は、プロセッサ1310、メモリ1320、通信回路1330、AIアクセラレータ1340、及びAIモデル生成器1350を含むことができる。例えば、プロセッサ1310は、
図3のサーバ103のプロセッサ310に対応し得る。例えば、メモリ1320は、
図3のサーバ103のメモリ320に対応し得る。例えば、通信回路1330は、
図3のサーバ103の通信回路330に対応し得る。
【0177】
一実施形態によれば、サーバ103は、電子装置101が事故発生検知器1250を介して取得されたセンシング情報から、電子装置101が装着された(又は含まれる)車両の動き(又は動きイベント、イベント)を推論するための人工知能モデルを生成し、生成された人工知能モデルを電子装置101に送信(又は配布(deploy))することができる。
【0178】
一実施形態によれば、サーバ103は、機械学習(machine learning)アルゴリズムを用いて、人工知能モデルを学習するか、又は学習された人工知能モデルを使用することができる。例えば、サーバ103は、複数のサーバ(又はサブサーバ)で構成されて分散処理を行うことができる。あるいは、例えば、サーバ103は、通信ネットワークのコアネットワークとして実装されてもよい。あるいは、例えば、サーバ103は、電子装置101の一部の構成として含まれており、AI処理のうち少なくとも一部を一緒に実行してもよい。
【0179】
例えば、プロセッサ1310は、サーバ103が人工知能モデルを生成するために、サーバ103の構成要素を制御することができる。例えば、プロセッサ1310は、AIアクセラレータ1340が人工知能モデルの生成及び学習のためのデータセットの生成に必要なコンピューティング性能を向上させることができる。例えば、AIアクセラレータ1340は、ディープラーニング、コンピュータビジョン、自然語処理などの分野で複雑で膨大な量のデータを扱う人工知能モデルとして実現することができる。例えば、AIアクセラレータ1340は、TPU、NPU、FPGA、ASICなどで実施することができる。
【0180】
例えば、AIモデル生成器1350は、データセットを用いて、人工知能モデル(又は人工知能モデルの人工ニューラルネットワーク)を学習することができる。人工知能モデルは、サーバ103に搭載された状態で用いられてもよいし、電子装置101などの外部装置に搭載されて利用されてもよい。人工知能モデルは、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合わせで実装することができる。人工知能モデルの一部又は全部が、ソフトウェアで実装されている場合、人工知能モデルを構成する1つ又はそれ以上の命令(instruction)をメモリ1320に格納することができる。プロセッサ1310は、人工知能モデルを用いて、新しい入力データに対して結果値を推定し、推定結果値に基づいて、応答又は制御命令を生成することができる。
【0181】
前述したように、サーバ103は、正確な車両の動きイベントを検出するために、人工知能モデル(又は人工ニューラルネットワーク)を以下のステップに従って学習することができる。
【0182】
(1)様々な車両と環境で発生する正面衝突、側面衝突、後方衝突、転倒などの自動車衝突シナリオのデータセットの収集
【0183】
(2)事故の重大性と種類、そして事件が発生した場所と時間に基づくデータラベリング(data labeling)
【0184】
(3)電子装置101の事故発生検知器1250を介して取得されたセンシング情報の特徴を抽出するためのデータ前処理
【0185】
(4)抽出された特徴からの学習により、車両の動きイベントを正確かつ効率的に分類できるニューラルネットワークアーキテクチャの設計
【0186】
(5)確率的勾配降下法(stochastic gradient descent)のような適切な最適化方法(appropriate optimization method)を用いて、データからニューラルネットワーク(neural network)を学習し、過学習(overfitting)を防止し、一般化(generalization)を改善するために、ドロップアウト(dropout)などの正規化技術(regularizing technique)を使用
【0187】
(6)正確度(accuracy)、精度(precision)、再現率(Recall)、F1スコア(F1-score)などの指標(metrics)を使用して、見えないデータ(unseen data)の人工知能モデル(又は人工ニューラルネットワーク)の性能を評価し、結果を最適化するために、ネットワークパラメータ(network parameters)の微調整(fine-tuning)を実行
【0188】
(7)学習された最適な人工知能モデル(又は人工ニューラルネットワーク)を電子装置101に配布(deployment)し、電子装置101が信頼性及び安全性を確保するために、実際の世界シナリオ(real-world scenario )でテストを実行
【0189】
一実施形態によれば、電子装置101のAIアクセラレータ1240は、車両の動きイベントを識別(推論)するための人工知能モデル(又は人工ニューラルネットワーク)を実行するための様々なフレームワーク(framework)を使うことができる。このフレームワークは、電子装置101のハードウェアを利用し、メモリ1220の使用量と消費電力を最小限に抑えて、電子装置101の性能を最適化することができる。
【0190】
一実施形態によれば、サーバ103は、車両の動きイベントのより正確な識別のために、様々な車両の様々な環境における衝突シナリオから大量のデータを使用して、モデルを学習することができる。例えば、モデルの学習のためのデータセットは、車両の種類別(例えば、セダン(sedan)、SUV(sport utility vehicle)、トラック(truck)、バス(bus)など)で発生可能な他の種類の衝突方向(例えば、正面、後方、側面、転倒など)及び様々な条件で取得されたデータセットを含むことができる。データセットに基づいて学習された人工知能モデルを介して、電子装置101は、取得されたセンシング情報から衝突を示すパターンを認識し、認識されたパターンから車両の動きイベントを識別することができる。動きイベントを識別することは、衝撃によるイベントのレベルを検知すると参照されてもよい。
【0191】
一実施形態によれば、電子装置101では、人工知能モデル(又は人工ニューラルネットワーク)を学習するためのフレームワークとして、Core MLTM、TensorFlowTM、PyTorchTM、CNTKTM、MXNetTMなどを使用することができる。しかしながら、本開示の実施形態は、これに限定されない。例えば、電子装置101は、データの収集、前処理、モデルの学習、評価、予測の実行、結果の改善などの処理を容易かつ効率的に行うことができるフレームワークを利用してもよい。例えば、フレームワークは、様々な言語及びプラットフォームで利用可能な機械学習モデルを開発及び実行するためのツール及びライブラリの集合である機械学習フレームワークを含んでもよい。
【0192】
図14は、一実施形態による、動きイベントを検出するための人工知能モデルを学習する方法の例を示す。
【0193】
図14は、サーバ103が動きイベントを検出するための人工知能モデルを学習(又は生成)し、配布する方法の例1400を示す。
【0194】
例1400を参照すると、動作1410において、サーバ103は、データセットを生成することができる。例えば、サーバ103は、動きイベントを検出するために人工知能モデルを学習するために使用されるトレーニング用のデータセットを生成することができる。例えば、トレーニング用のデータセットは、様々な車両と環境で発生する正面衝突、側面衝突、後方衝突、転倒などの自動車衝突シナリオに関するデータセットを含むことができる。
【0195】
一実施形態によれば、動作1420において、サーバ103は、人工知能モデルのトレーニングを実行することができる。例えば、サーバ103は、トレーニング用のデータセットを用いて、人工知能モデルをトレーニングすることができる。
【0196】
一実施形態によれば、動作1430において、サーバ103は、トレーニングされた人工知能モデルの学習状態を検証するためのテストデータセットを生成することができる。例えば、テストデータセットは、基準データセットと呼ばれることがある。例えば、テストデータセットは、トレーニング用のデータセットにマッピングされてもよい。例えば、トレーニング用のデータセットが入力データである場合、テストデータセットは、出力データであってもよい。一実施形態によれば、動作1440において、サーバ103は、テストデータセットに基づいて、人工知能モデルの検証を実行することができる。
【0197】
一実施形態によれば、動作1450において、サーバ103は、最適なモデルを選択することができる。例えば、サーバ103は、動作1410から動作1440を繰り返して生成された複数の人工知能モデルの中から最適なモデルを選択することができる。例えば、最適なモデルは、複数の人工知能モデルの中で検証の結果が最良のモデルであり得る。例えば、検証の結果は、入力と出力との間の類似度を含んでもよい。
【0198】
一実施形態によれば、動作1460において、サーバ103は、最適なモデルを配布することができる。例えば、サーバ103は、選択された最適なモデルを、電子装置101に送信することができる。例えば、電子装置101は、受信した人工知能モデルに基づいて、電子装置101が搭載された車両の動きイベントを識別することができる。
【0199】
図15は、一実施形態による、人工知能モデルを用いて、動きイベントを検出し、検出された動きイベントに基づいて、緊急事態通知サービスを提供する方法に関する電子装置とサーバとの間の信号フローの例を示す。
【0200】
図15は、車両サービスのうち、緊急事態通知サービスを提供する方法の例を示すが、本開示の実施形態は、これに限定されない。
図15のサーバ103は、
図1のサーバ103、
図3のサーバ103、又は
図13のサーバ103の一例であり得る。
図15の電子装置101は、
図1の電子装置101、
図2aの電子装置101、又は
図12の電子装置101の一例であり得る。
【0201】
図15の例では、一実施形態によれば、動作1500において、サーバ103は、人工知能モデルを生成することができる。例えば、サーバ103は、AIアクセラレータ1340及びAIモデル生成器1350を用いて、人工知能モデルを生成することができる。これに関する具体的な内容は、前述の
図13及び
図14の内容が参照されてもよい。
【0202】
一実施形態によれば、動作1505において、サーバ103は、人工知能モデルを送信することができる。例えば、サーバ103は、生成された人工知能モデルを、サーバ103に接続された電子装置101に配布することができる。例えば、配布された人工知能モデルは、最適な人工知能モデルであってもよい。
【0203】
一実施形態によれば、動作1510において、電子装置101は、人工知能モデルを実行することができる。例えば、人工知能モデルは、電子装置101が搭載された(又は含まれた)車両の動きイベント(又はイベント)を検知するために使用されてもよい。
【0204】
一実施形態によれば、動作1515において、電子装置101は、動きイベントを検知することができる。例えば、電子装置101は、実行された人工知能モデルに基づいて、車両の動きイベントを検知することができる。例えば、電子装置101は、電子装置101のセンサ(又は事故発生検知器1250)を介して取得されたセンシング情報を、人工知能モデルに入力し、人工知能モデルの出力に基づいて、動きイベントを検知することができる。
【0205】
一実施形態によれば、電子装置101は、センシング情報を取得する際に、電子装置101の位置情報を取得してもよい。例えば、電子装置101は、通信回路(例えば、通信部230又は通信回路1230)を用いて、位置情報を取得することができる。
【0206】
一実施形態によれば、動作1520において、電子装置101は、センシング情報及び位置情報を格納することができる。例えば、電子装置101は、センシング情報及び位置情報を、第1のメモリ221に記録し、記録されたセンシング情報及び位置情報を、第2のメモリ222に格納することができる。このとき、センシング情報及び位置情報を格納することは、トレーニング用のデータセットとして使用するためであってもよい。
【0207】
一実施形態によれば、動作1525において、電子装置101は、センシング情報及び位置情報を、サーバ103に送信することができる。
図15では、動作1520及び動作1525が、動作1515の後に実行されるように示されているが、本開示の実施形態は、これに限定されない。例えば、電子装置101は、動作1515と共に、動作1520又は動作1525を実行してもよい。
【0208】
一実施形態によれば、動作1530において、電子装置101は、検知された動きイベントのレベルが、第2レベルであるか否かを判定することができる。例えば、電子装置101は、人工知能モデルに基づいて、動きイベントのレベルが、第2レベル(又は衝突イベント)であるか否かを判定することができる。動作1530において、レベルが第2レベルである場合、動作1555を実行することができる。これと異なって、動作1530において、レベルが第2レベルより低い第1レベル(又は非衝突イベント)である場合、動作1570を実行することができる。
【0209】
さらに、一実施形態によれば、動作1535において、サーバ103は、電子装置101が搭載された(又は含まれた)車両の動きイベントが、第2レベルであるか否かを判定することができる。例えば、サーバ103は、動作1525で受信されたセンシング情報及び位置情報を用いて、人工知能モデルを使用して、動きイベントが第2レベルであるか否かを判定することができる。動作1535において、レベルが第2レベルである場合、動作1550を実行することができる。これと異なって、動作1535において、レベルが第2レベルより低い第1レベル(又は非衝突イベント)である場合、動作1540を実行することができる。
【0210】
一実施形態によれば、動作1540において、サーバ103は、センシング情報及び位置情報を格納することができる。例えば、センシング情報及び位置情報は、電子装置101(又は車両)の制御に使用することができる。
【0211】
一実施形態によれば、動作1545において、サーバ103は、緊急事態の発生を知らせることができる。例えば、サーバ103は、動きイベントが第2レベルであると判断したことに応答して、緊急事態の発生を知らせるためのメッセージを、電子装置101に送信することができる。
【0212】
一実施形態によれば、動作1550において、サーバ103は、タイマーを開始することができる。例えば、タイマーは、メッセージが送信されるにつれて開始されてもよい。例えば、タイマーは、電子装置101からメッセージに対する応答が受信されたことを認識するためのタイマーであり得る。
【0213】
一実施形態によれば、動作1555において、電子装置101は、緊急事態通知を表示することができる。例えば、電子装置101は、緊急事態通知のための視覚オブジェクト又は実行可能なオブジェクトを表示することができる。例えば、視覚オブジェクト又は実行可能なオブジェクトは、電子装置101のディスプレイ部(例えば、
図2aのディスプレイ部260)を介して表示されてもよい。
【0214】
図15の例を参照すると、サーバ103又は電子装置101は、動きイベントが第2レベルであるか否かを判定することができる。動きイベントが第2レベルであるか否かを、サーバ103が判定し、緊急事態の発生を知らせるためのメッセージを送信した場合、電子装置101は、メッセージに応答して、視覚的オブジェクト又は実行可能なオブジェクトを表示することができる。あるいは、例えば、電子装置101が直接、動きイベントが第2レベルであるか否かを判定した場合、電子装置101は、判定に応答して、視覚オブジェクト又は実行可能なオブジェクトを表示することができる。あるいは、例えば、サーバ103は、動きイベントが第2レベルであるか否かを判定し、緊急事態の発生を知らせるためのメッセージを送信し、電子装置101が直接、動きイベントが第2レベルであるか否かを判断した場合、メッセージを受信するタイミングと、電子装置101が直接決定したタイミングとの中で、速いタイミングに基づいて、電子装置101は、視覚オブジェクト又は実行可能なオブジェクトを表示することができる。
【0215】
図15には示されていないが、電子装置101は、動作1545において、緊急事態の発生を知らせるためのメッセージを受信した場合、メッセージに対するACK(acknowledgement)をサーバ103に送信することができる。
【0216】
一実施形態によれば、動作1560において、電子装置101は、指定された時間内に応答が取得されるか否かを判定することができる。例えば、電子装置101は、表示される視覚オブジェクト又は実行可能なオブジェクトに対して(with respect to)、ユーザの応答が取得されたか否かを判定することができる。例えば、ユーザの応答は、音声、タッチ入力、又はジェスチャを含み得る。動作1560において、電子装置101が指定された時間内に応答を取得した場合、動作1570を実行することができる。これとは異なり、動作1560において、電子装置101が指定された時間内に応答を取得できなかった場合、動作1565を実行することができる。
【0217】
一実施形態によれば、動作1565において、電子装置101は、緊急電話接続を実行することができる。例えば、電子装置101は、直接的に又は外部電子装置(例えば、
図1のユーザ端末装置105)を介して間接的に緊急電話接続を実行することができる。言い換えれば、電子装置101は、第2レベルのイベントが発生した後に、ユーザの生体反応が発生しないことを認識することにより、電子装置101は、緊急電話接続を行うことができる。
【0218】
一実施形態によれば、動作1570において、電子装置101は,データセットを生成することができる。例えば、電子装置101は、第1レベルであることを検知した場合、又は第2レベルであっても、ユーザの応答を指定された時間内に取得した場合、緊急電話接続を行わなくてもよい。その後、第2のレベルを検知するために使用されるセンシング情報及び位置情報から、人工知能モデルのトレーニングのためのデータセット(又はトレーニング用のデータセット)を生成することができる。その後、データセットは、人工知能モデルに対してフィード(feed)されてもよい。
【0219】
一実施形態によれば、動作1575において、サーバ103は、ACKが受信されたか否かを判定することができる。例えば、サーバ103は、ACKが電子装置101から受信されたか否かを判定することができる。例えば、サーバ103は、タイマーが満了する前に、ACKが電子装置101から受信されたか否かを判定することができる。動作1575において、タイマーが満了する前に、ACKが受信されると、サーバ103は、動作1575を実行することができる。これとは異なり、動作1575において、タイマーが満了する前に、ACKが受信されなかった場合、サーバ103は、動作1585を実行することができる。例えば、サーバ103は、タイマーが満了する前に、ACKが受信されなかった場合、電子装置101とサーバ103との間の無線通信接続が切断されるか、又は電子装置101がACKを送信できない状況として判定し、動作1585を実行することができる。
【0220】
一実施形態によれば、動作1580において、サーバ103は、指定された時間内に応答が取得されたか否かを判定することができる。サーバ103は、電子装置101で指定された時間内に応答が取得されたか否かを示す信号(又はメッセージ)を、電子装置101から受信することができる。これにより、サーバ103は、指定された時間内に応答が取得されたか否かを判定することができる。例えば、ユーザの応答は、音声、タッチ入力、又はジェスチャを含み得る。
【0221】
動作1580において、サーバ103は、電子装置101が指定された時間内に応答を取得したと判定した場合、動作1590を実行することができる。これとは異なり、動作1580において、サーバ103は、電子装置101が指定された時間内に応答を取得できなかったと判断した場合、動作1585を実行することができる。
【0222】
一実施形態によれば、動作1585において、サーバ103は、緊急電話接続を実行することができる。例えば、サーバ103は、直接的に又は外部電子装置(例えば、
図1のユーザ端末装置105)を介して間接的に緊急電話接続を実行することができる。言い換えれば、サーバ103は、第2レベルのイベントが発生した後に、ユーザの生体反応が発生しないことを認識すると、サーバ103は、緊急電話接続を実行することができる。
【0223】
一実施形態によれば、動作1590において、サーバ103は、データセットを生成することができる。例えば、サーバ103は、第1レベルであることを検知するか、又は第2レベルであっても、電子装置101がユーザの応答を、指定された時間内に取得した場合に、緊急電話接続を実行しなくてもよい。その後、第2レベルを検知するために使用されるセンシング情報及び位置情報から、人工知能モデルのトレーニングのためのデータセット(又はトレーニング用のデータセット)を生成することができる。その後、データセットは、人工知能モデルに対してフィード(feed)されてもよい。
【0224】
前述したように、電子装置101内で実行され格納された人工知能モデルは、サーバ103と無線通信接続が切断されても、電子装置101内に格納されるところ、電子装置101は、 安定して動きイベントを検知する機能を提供することができる。
【0225】
前述のように、電子装置(electronic device)は、命令を格納し、第1のメモリ(memory)と第2のメモリとを含むメモリを含むことができる。前記電子装置は、センサを含んでもよい。前記電子装置は、通信回路(communication circuit)を含んでもよい。前記電子装置は、プロセッサを含んでもよい。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記通信回路を用いて、無線通信接続を確立するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、第1のタイミングで、前記センサを介して取得され、前記電子装置が搭載された車両の加速度を含む第1のセンシング情報を、前記第1のメモリに記録し、前記記録された第1のセンシング情報を、前記車両に関連するサービスを提供するサーバに送信するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記第1のタイミングの後に、前記確立された無線通信接続が切断されることを認識するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記無線通信接続が切断されている間に、第2のタイミングで、前記センサを介して取得され、前記車両の加速度を含む第2のセンシング情報を、前記第1のメモリに記録し、前記記録された第2のセンシング情報を、前記第2のメモリに格納させることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記第2のタイミングの後に、前記無線通信接続が再確立されることを認識することに応答して、前記格納された第2のセンシング情報を、前記サーバに送信するようにすることができる。
【0226】
一実施形態によれば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記電子装置の電源がオフ状態からオン状態に変更されることを認識するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記オン状態を認識することに応答して、前記電子装置の起動(booting)を実行するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記起動が完了した後に、前記センサを用いて、指定された時間周期(designated time period)に応じて、前記車両の加速度を示すセンシング情報の収集を開始するようにすることができる。前記指定された時間周期に従って収集される前記センシング情報は、前記第1のセンシング情報及び前記第2のセンシング情報を含むことができる。
【0227】
一実施形態によれば、前記無線通信接続は、LTE(long term evolution)通信技術、Wi-Fi(wireless fidelity)通信技術、又は衛星通信技術のうち少なくとも1つに基づいて確立されてもよい。
【0228】
一実施形態によれば、前記第1のメモリは、揮発性メモリを含むことができる。前記第2メモリは、不揮発性メモリを含むことができる。前記第1のセンシング情報は、前記サーバに送信された後に、前記第1のメモリから除去されてもよい。
【0229】
一実施形態によれば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記確立された無線通信接続に基づいて、前記サーバに、設定要求メッセージを送信するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記設定要求メッセージに応答して、前記サーバから、設定応答メッセージを受信するようにすることができる。前記設定要求メッセージは、前記電子装置の識別情報、USIM(universal subscriber identity module)の識別情報、又は前記電子装置のファームウェア情報のうち少なくとも1つを含むことができる。前記設定応答メッセージは、前記センサに含まれる加速度センサの感度、センシング情報を送信するための送信周期の長さ、又はイベントを検知するための基準値のうち少なくとも1つを含んでもよい。
【0230】
一実施形態によれば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記第1のセンシング情報と共に、前記第1のタイミングで、前記通信回路を介して受信された第1の信号に基づいて計算された前記電子装置の第1の位置情報を、前記サーバに送信するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記第2のセンシング情報と共に、前記第2のタイミングで、前記通信回路を介して受信された第2の信号に基づいて計算された前記電子装置の第2の位置情報を、前記サーバーに送信するようにすることができる。
【0231】
一実施形態によれば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記無線通信接続が確立されている間に、外部から衝撃(impact)が発生したタイミングで、前記センサを用いて取得され、前記車両の加速度を示す値を、前記第1のメモリに記録するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記値が第1の基準値以上であるか否かを判定するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記値が、前記第1の基準値以上である場合に、前記値が、前記第1の基準値を超える第2の基準値未満であるか否かを判定するようにすることができる。
【0232】
一実施形態によれば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記値が前記第1の基準値以上であり、前記第2の基準値未満である場合、前記タイミングを含む指定された時間内で、前記指定された時間周期に従って収集されたセンシング情報のセット(set)を、前記タイミングの後の別(another)のタイミングで、前記サーバに送信されるようにすることができる。
【0233】
一実施形態によれば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記指定された時間長内で、前記外部から別(another)の衝撃が発生したタイミングで、前記車両の加速度を示す他(another)の値の獲得を控えるように(refrain from)することができる。
【0234】
一実施形態によれば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記値が、前記第2の基準値以上であると判断したことに応答して、前記衝撃が発生したことを示す指示情報を、前記サーバに送信するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記タイミングを含む指定された時間長を有し、前記車両の外部に対して記録された映像(video)を、前記タイミングから基準長の後の他(another)のタイミングで、前記サーバに送信するようにすることができる。前記指示情報は、前記電子装置の識別情報、前記衝撃が発生した時間を含むことができる。
【0235】
一実施形態によれば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記他ののタイミングで、前記映像を送信した後、前記タイミングを含む前記指定された時間長さ内に、前記指定された時間周期に従って収集されたセンシング情報のセット(set)を、前記サーバに送信するようにすることができる。
【0236】
一実施形態によれば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記値が前記第2の基準値以上であると判断したことに応答して、前記衝撃が発生したことを示す指示情報を、前記サーバに送信するようにすることができる。前記指示情報は、前記電子装置の識別情報、前記衝撃が発生した時間を含むことができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記指示情報を送信した後に、前記電子装置の点火(ignition)スイッチ(switch)の状態が、オン状態からオフ状態に変化したことを検出するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記点火スイッチの状態が、前記オフ状態に変化したことを検知することに応答して、前記記録された値を、前記第2のメモリに格納させることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記点火スイッチの前記状態が、オフ状態からオン状態に変化したことを検知することに応答して、前記電子装置の別(another)の起動を実行するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記他の起動が完了した後に、前記タイミングを含む指定された時間長を有し、前記車両の外部に対して記録された映像(video)を、前記サーバに送信するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記映像を送信した後に、前記タイミングを含む指定された時間内に、前記指定された時間周期に従って収集されるセンシング情報のセット(set)を、前記サーバに送信するようにすることができる。前記セットは、前記記録された値を含んでもよい。
【0237】
一実施形態によれば、前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記値が前記第2の基準値以上であると判断したことに応答して、前記衝撃が発生したことを示す指示情報を、前記サーバに送信するようにすることができる。前記指示情報は、前記電子装置の識別情報、前記衝撃が発生した時間を含むことができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記指示情報を送信した後に、前記タイミングを含む指定された時間長を有し、前記車両の外部に対して記録された映像(video)を、前記サーバに送信するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記映像を送信した後に、前記電子装置の点火スイッチ(ignition switch)の状態が、オン状態からオフ状態に変化したことを検出するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記点火スイッチの状態が、オフ状態に変化したことを検知することに応答して、前記記録された値を、前記第2のメモリに格納させることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記点火スイッチの状態が、オフ状態からオン状態に変化したことを検知することに応答して、前記電子装置の別(another)の起動を実行するようにすることができる。前記命令は、前記プロセッサによって実行されると、前記電子装置が、前記他の起動が完了した後に、前記タイミングを含む指定された時間長内に、前記指定された時間周期に従って収集されるセンシング情報のセット(set)を、前記サーバに送信するようにすることができる。前記セットは、前記記録された値を含んでもよい。
【0238】
一実施形態によれば、前記値と前記第1の基準値との比較、及び前記値と前記第2の基準値との比較は、前記センサを介して収集された加速度情報と、前記電子装置が搭載された前記車両に対して(with respect to)学習され、前記第2のメモリに格納された人工知能モデル(artificial intelligence model)に基づいて実行されてもよい。
【0239】
前述のように、電子装置(electronic device)によって実行される方法は、無線通信接続を確立する動作を含むことができる。この方法は、第1のタイミングで取得され、前記電子装置が搭載された車両の加速度を含む第1のセンシング情報を、前記電子装置の第1のメモリに記録し、前記記録された第1のセンシング情報を、前記車両に関連するサービスを提供するサーバに送信する動作を含むことができる。この方法は、前記第1のタイミングの後に、前記確立された無線通信接続が切断されることを認識する動作を含むことができる。この方法は、前記無線通信接続が切断されている間に、第2のタイミングで、前記車両の加速度を含む第2のセンシング情報を、前記第1のメモリに記録し、前記記録された第2のセンシング情報を、前記電子装置の前記第1のメモリとは異なる第2のメモリに格納する動作を含むことができる。この方法は、前記第2のタイミングの後に、前記無線通信接続が再確立されることを認識することに応答して、前記格納された第2のセンシング情報を、前記サーバに送信する動作を含むことができる。
【0240】
一実施形態によれば、前記電子装置の電源がオフ状態からオン状態に変化したことを認識する動作を含むことができる。この方法は、前記オン状態を認識することに応答して、前記電子装置の起動(booting)を実行する動作を含むことができる。この方法は、前記起動が完了した後に、前記センサを用いて指定された時間周期(designated time period)に応じて、前記車両の加速度を示すセンシング情報の収集を開始する動作を含むことができる。前記指定された時間周期に従って収集される前記センシング情報は、前記第1のセンシング情報及び前記第2のセンシング情報を含むことができる。
【0241】
一実施形態によれば、前記無線通信接続は、LTE(long term evolution)通信技術、Wi-Fi(wireless fidelity)通信技術、又は衛星通信技術のうち少なくとも1つに基づいて確立されてもよい。
【0242】
一実施形態によれば、前記第1のメモリは、揮発性メモリを含むことができる。前記第2メモリは、不揮発性メモリを含むことができる。前記第1のセンシング情報は、前記サーバに送信された後に、前記第1のメモリから除去されてもよい。
【0243】
一実施形態によれば、この方法は、前記確立された無線通信接続に基づいて、前記サーバに設定要求メッセージを送信する動作を含むことができる。この方法は、前記設定要求メッセージに応答して、前記サーバから、前記設定応答メッセージを受信する動作を含むことができる。前記設定要求メッセージは、前記電子装置の識別情報、USIM(universal subscriber identity module)の識別情報、又は前記電子装置のファームウェア情報のうち少なくとも1つを含むことができる。前記設定応答メッセージは、前記センサに含まれる加速度センサの感度、センシング情報を送信するための送信周期の長さ、又はイベントを検知するための基準値のうち少なくとも1つを含んでもよい。
【0244】
一実施形態によれば、この方法は、前記第1のセンシング情報と共に、前記第1のタイミングで受信された第1の信号に基づいて計算された前記電子装置の第1の位置情報を、前記サーバに送信する動作を含むことができる。この方法は、前記第2のセンシング情報と共に、前記第2のタイミングで受信された第2の信号に基づいて計算された前記電子装置の第2の位置情報を、前記サーバに送信する動作を含むことができる。
【0245】
前述の装置は、ハードウェアコンポーネント、ソフトウェアコンポーネント、及び/又はハードウェアコンポーネント及びソフトウェアコンポーネントの組み合わせで実施することができる。例えば、実施形態で説明した装置及び構成要素は、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、又は命令(instruction)を実行して応答できる他の任意の装置など、1つ又はそれ以上の汎用コンピュータ又は特殊目的のコンピュータを使用して実現することができる。処理装置は、オペレーティングシステム(OS)及び前記オペレーティングシステム上で実行される1つ又はそれ以上のソフトウェアアプリケーションを実行することができる。さらに、処理装置は、ソフトウェアの実行に応答して、データをアクセス、保存、操作、処理及び生成することもできる。理解の便宜のために、処理装置は、1つが使用されると説明されている場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数タイプの処理要素を含んでもよいことがわかる。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含むことができる。さらに、パラレルプロセッサ(parallel processor)など、他の処理構成(processing configuration)も可能である。
【0246】
ソフトウェアは、コンピュータプログラム(computer program)、コード(code)、命令(instruction)、又はこれらのうち1つ又はそれ以上の組み合わせを含むことができ、所望のように動作するように処理装置を構成するか、独立して又は組み合わせて(collectively)処理装置に命令することができる。ソフトウェア及び/又はデータは、処理装置によって解釈されるか、又は処理装置に命令又はデータを提供するために、任意の種類の機械、構成要素(component)、物理的装置、コンピュータ記憶媒体又は装置に具体化(embody)されてもよい。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散した方法で保存されても、又は実行されてもよい。ソフトウェア及びデータは、1つ又はそれ以上のコンピュータ可読記録媒体に格納することができる。
【0247】
実施形態による方法は、様々なコンピュータ手段を介して実行され得るプログラム命令の形態で実施され、コンピュータ可読媒体に記録され得る。この場合、媒体は、コンピュータで実行可能な(executable)プログラムを保存し続けるか、実行又はダウンロードのために一時的に保存することができる。さらに、媒体は、単一又は複数のハードウェアが結合された形態の様々な記録手段又は記憶手段であり得、任意のコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散して存在することができる。媒体の例としては、ハードディスク、フロッピーディスク、磁気テープなどの磁気媒体、CD-ROM、DVDなどの光記録媒体、フロプティカルディスク(floptical disk)などの磁気光学媒体(magneto-optical medium)、及びROM、RAM、フラッシュメモリなどを含めて、プログラム命令が格納されるように構成されたものがあり得る。また、他の媒体の例として、アプリケーションを流通するアプリストアや他の様々なソフトウェアを供給又は流通するサイト、サーバなどで管理する記録媒体~記憶媒体も挙げられる。
【0248】
以上のように、実施形態が限定された実施例と図面によって説明されたが、当該技術分野における通常の知識を有する者であれば、前記の記載から様々な修正及び変形が可能である。例えば、記載された技術は、記載された方法とは異なる順序で実行されるか、及び/又は記載されたシステム、構造、装置、回路などの構成要素は、記載された方法とは異なる形態で結合又は組み合わされ、又は他の構成要素又は均等物によって代替又は置換されても、適切な結果が達成され得る。
【0249】
したがって、他の実施形態、他の実施例、及び特許請求の範囲と同等のものも、後述する特許請求の範囲の範囲内に属する。一実施形態によれば、本明細書に開示された様々な実施形態による方法は、コンピュータプログラム製品(computer program product)に含まれて提供されてもよい。コンピュータプログラム製品は、商品として販売者と購入者との間で取引することができる。コンピュータプログラム製品は、機器で読み取り可能な記憶媒体(例えば、compact disc read only memory(CD-ROM))の形態で配布されるか、又はアプリケーションストア(例えば、プレイストア(登録商標))を介して又は2つのユーザ装置( 例:スマートフォン)間で直接、オンラインで配布(例えば、ダウンロード又はアップロード)することができる。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部は、製造元のサーバ、アプリケーションストアのサーバ、又は中継サーバのメモリなどの機器で読み取り可能な記憶媒体に少なくとも一時的に保存されてもよく、又は一時的に生成されてもよい。
【0250】
様々な実施形態によれば、前述の構成要素の各構成要素(例えば、モジュール又はプログラム)は、単数又は複数の個体を含むことができ、複数の個体のいくつかは、他の構成要素に分離配置されてもよい。様々な実施形態によれば、前述の当該構成要素のうちの1つ以上の構成要素又は動作を省略することができ、又は1つ以上の他の構成要素又は動作を追加することができる。代替的又は追加的に、複数の構成要素(例えば、モジュール又はプログラム)を、1つの構成要素に統合することができる。この場合、統合された構成要素は、前記複数の構成要素の各構成要素の1つ又はそれ以上の機能を、統合前に複数の構成要素のうち当該構成要素によって実行されるのと同じ又は同様に実行することができる。様々な実施形態によれば、モジュール、プログラム、又は他の構成要素によって実行される動作は、順次、並列的、繰り返し、又は経験的に実行されるか、又は前記動作のうちの1つ又はそれ以上が異なる順序で実行されるか、省略されるが、又は1つ以上の他の動作が追加されてもよい。