▶ シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッドの特許一覧
特表2024-538860車両用の緊急コールセンターへの情報送信方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-24
(54)【発明の名称】車両用の緊急コールセンターへの情報送信方法および装置
(51)【国際特許分類】
G08B 21/00 20060101AFI20241017BHJP
G06T 7/00 20170101ALI20241017BHJP
A61B 5/00 20060101ALI20241017BHJP
【ＦＩ】
G08B21/00 U
G06T7/00 660Z
G06T7/00 660A
A61B5/00 102C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024513513
(86)(22)【出願日】2022-02-25
(85)【翻訳文提出日】2024-02-28
(86)【国際出願番号】 CN2022078010
(87)【国際公開番号】W WO2023029407
(87)【国際公開日】2023-03-09
(31)【優先権主張番号】202111016361.1
(32)【優先日】2021-08-31
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＴＥＮＳＯＲＦＬＯＷ
２．ブルートゥース
(71)【出願人】
【識別番号】519290264
【氏名又は名称】シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100180655
【弁理士】
【氏名又は名称】鈴木 俊樹
(72)【発明者】
【氏名】シャオ チャンシー
(72)【発明者】
【氏名】シュー リャン
(72)【発明者】
【氏名】リー コー
(72)【発明者】
【氏名】ワン フェイ
【テーマコード（参考）】
4C117
5C086
5L096
【Ｆターム（参考）】
4C117XB11
4C117XE13
4C117XE24
4C117XE43
4C117XE60
4C117XE62
4C117XJ13
4C117XJ42
4C117XJ45
4C117XK05
4C117XK09
4C117XL01
4C117XL10
4C117XQ07
4C117XQ18
4C117XQ20
4C117XR12
5C086AA22
5C086BA22
5C086CA28
5C086CB36
5C086DA08
5C086DA33
5C086FA17
5L096AA02
5L096AA06
5L096BA06
5L096CA02
5L096FA66
5L096FA67
5L096FA69
5L096GA38
5L096JA11
(57)【要約】
本開示は、車両用の緊急コールセンターへの情報送信方法および装置、電子機器並びに記憶媒体に関する。前記方法は、緊急コールの発生に応じて、キャビン内の搭乗者の映像情報を取得すること（１１）と、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出すること（１２）と、流血状況が検出されたことに応じて、前記流血状況を緊急コールセンターに送信すること（１３）と、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
緊急コールの発生に応じて、キャビン内の搭乗者の映像情報を取得することと、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することと、
流血状況が検出されたことに応じて、前記流血状況を緊急コールセンターに送信することと、を含む
ことを特徴とする車両用の緊急コールセンターへの情報送信方法。
【請求項2】
前記した、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することは、前記映像情報に対して顔検出および／または人体検出を行って、前記キャビン内の搭乗者を見つけ出すことと、
前記搭乗者の顔および／または体表に対して血液検出を行って、キャビン内の搭乗者の流血状況を決定することと、を含む
ことを特徴とする請求項１に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項3】
前記した、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することは、前記映像情報に基づいて、血液の色情報および血流の形状情報から、前記搭乗者の流血の有無を検出することを含む
ことを特徴とする請求項１または２に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項4】
前記した、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することは、前記映像情報に基づいて、前記キャビン内の搭乗者の体表領域を検出することと、
前記搭乗者の体表領域を複数の検出領域に分割することと、
前記検出領域毎に血液情報を検出し、各前記検出領域の領域検出結果を得ることと、
各前記検出領域の領域検出結果に基づいて、前記搭乗者の流血状況を決定することと、を含む
ことを特徴とする請求項１～３のいずれか１項に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項5】
前記した、前記映像情報に基づいて、前記キャビン内の搭乗者の体表領域を検出することは、前記映像情報に基づいて、キャビン内の搭乗者の顔表面領域を検出することを含み、前記した、前記搭乗者の体表領域を複数の検出領域に分割することは、前記搭乗者の顔表面領域を複数の検出領域に分割することを含む
ことを特徴とする請求項４に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項6】
前記した、前記検出領域毎に血液情報を検出し、各前記検出領域の領域検出結果を得ることは、検出領域毎に、当該検出領域における血流の形状および面積に基づいて、当該検出領域に流血状況がある第１信頼度を決定することと、
隣接する検出領域の間のそれぞれについて、互いに接する血流の有無を検出することと、
前記検出領域のうち第１検出領域と隣接する第２検出領域との間に互いに接する血流があると検出されたことに応じて、複数の前記第１検出領域および前記第２検出領域の信頼度を第２信頼度に上げることと、を含み、
前記した、各前記検出領域の領域検出結果に基づいて、前記搭乗者の流血状況を決定することは、
前記第１信頼度または前記第２信頼度が信頼度閾値を超えた場合、前記搭乗者からの流血があると決定することと、
各前記検出領域における血流の面積に基づいて、各前記検出領域における血流の面積の和と正の相関関係にある流血のひどさを決定することと、を含む
ことを特徴とする請求項４または５に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項7】
前記した、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することは、前記映像情報に基づいて前記キャビン内の搭乗者からの流血があると検出されたことに応じて、流血の身体部位および血流の方向を検出することと、
前記流血の身体部位および血流の方向に基づいて、血流の始端である身体部位を出血部位として決定することと、を含む
ことを特徴とする請求項１～６のいずれか１項に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項8】
前記映像情報に基づいて、前記キャビン内の搭乗者の身体姿勢を検出することと、前記身体姿勢が予め設定された異常身体姿勢であり、かつ前記異常身体姿勢の継続時間が所定の時間を超えた場合、前記キャビン内の搭乗者の身体姿勢が異常身体姿勢であると判断することと、をさらに含む
ことを特徴とする請求項１～７のいずれか１項に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項9】
前記キャビン内の搭乗者の身体姿勢が予め設定された骨折姿勢であると判断した場合、前記キャビン内の搭乗者が骨折したと判断することをさらに含むことを特徴とする請求項８に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項10】
前記映像情報に基づいて、前記搭乗者の呼吸数、血圧、心拍数のうちの少なくとも１つを含むバイタルサイン指標を検出することと、前記バイタルサイン指標を緊急コールセンターに送信することと、をさらに含む
ことを特徴とする請求項１～９のいずれか１項に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項11】
検出された前記搭乗者の流血状況、バイタルサイン指標、異常身体姿勢のうちの少なくとも１つに基づいて、キャビン内の搭乗者の負傷等級を決定することと、前記負傷等級を緊急コールセンターに送信することと、をさらに含む
ことを特徴とする請求項１～１０のいずれか１項に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項12】
緊急コールの発生に応じて、キャビン内の搭乗者の映像情報を取得する映像情報取得ユニットと、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出する流血状況検出ユニットと、
流血状況が検出されたことに応じて、前記流血状況を緊急コールセンターに送信する流血状況送信ユニットと、を含む
ことを特徴とする車両用の緊急コールセンターへの情報送信装置。
【請求項13】
プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリに記憶されている命令を呼び出して請求項１～１１のいずれか１項に記載の車両用の緊急コールセンターへの情報送信方法を実行するように構成される
ことを特徴とする電子機器。
【請求項14】
コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、請求項１～１１のいずれか１項に記載の車両用の緊急コールセンターへの情報送信方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項15】
コンピュータ読み取り可能なコード、またはコンピュータ読み取り可能なコードを記録するコンピュータ読み取り可能な不揮発性記憶媒体を含み、前記コンピュータ読み取り可能なコードが電子機器のプロセッサにおいて実行されると、前記電子機器のプロセッサが請求項１～１１のいずれか１項に記載の車両用の緊急コールセンターへの情報送信方法を実現させるための命令を実行することを特徴とするコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０２１年８月３１日に中国特許庁に出願され、出願番号が２０２１１１０１６３６１．１で、発明の名称が「車両用の緊急コールセンターへの情報送信方法および装置」である中国特許出願の優先権を主張し、その全ての内容は援用により本出願に組み込まれる。
【0002】
本開示は、コンピュータの技術分野に関し、特に、車両用の緊急コールセンターへの情報送信方法および装置、電子機器、コンピュータプログラム製品並びに記憶媒体に関する。
【背景技術】
【0003】
道路運送中に、自動車が交通事故に遭う場合がある。この場合、救助員がすぐに事故の情報を取得して救助を行うことができれば、事故当事者がすぐに救助を受けることができることから、財産の損失を減らし、死傷者を低減することができる。
【0004】
救助員がすぐに事故の情報を取得できるようにするために、自動車に車載緊急コール（ｅｍｅｒｇｅｎｃｙ ｃａｌｌ、ｅＣａｌｌ）システムを搭載することができる。ｅＣａｌｌシステムは、自動車のインターネット化のために代表的に応用されるものである。自動車センシング、移動体通信、衛星測位などの技術によって、事故の発生後に迅速に公共救援センターに連絡して、車両の位置および車両の情報を自動的に救援センターに送信し、救援センターにより事故を確認してから事故者を救助する。
【発明の概要】
【0005】
本開示は、情報送信に関する技術案を提供する。
【0006】
本開示の一側面によれば、
緊急コールの発生に応じて、キャビン内の搭乗者の映像情報を取得することと、
前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することと、
流血状況が検出されたことに応じて、前記流血状況を緊急コールセンターに送信することと、を含む車両用の緊急コールセンターへの情報送信方法を提供する。
緊急コールの発生に応じて、キャビン内の搭乗者の映像情報を取得することと、
前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することと、
流血状況が検出されたことに応じて、前記流血状況を緊急コールセンターに送信することと、を含む車両用の緊急コールセンターへの情報送信方法を提供する。
【0007】
可能な一実施形態では、前記した、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することは、
前記映像情報に対して顔検出および／または人体検出を行って、前記キャビン内の搭乗者を見つけ出すことと、
前記搭乗者の顔および／または体表に対して血液検出を行って、キャビン内の搭乗者の流血状況を決定することと、を含む。
前記映像情報に対して顔検出および／または人体検出を行って、前記キャビン内の搭乗者を見つけ出すことと、
前記搭乗者の顔および／または体表に対して血液検出を行って、キャビン内の搭乗者の流血状況を決定することと、を含む。
【0008】
可能な一実施形態では、前記した、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することは、
前記映像情報に基づいて、血液の色情報および血流の形状情報から、前記搭乗者の流血の有無を検出することを含む。
前記映像情報に基づいて、血液の色情報および血流の形状情報から、前記搭乗者の流血の有無を検出することを含む。
【0009】
可能な一実施形態では、前記した、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することは、
前記映像情報に基づいて、前記キャビン内の搭乗者の体表領域を検出することと、
前記搭乗者の体表領域を複数の検出領域に分割することと、
前記検出領域毎に血液情報を検出し、各前記検出領域の領域検出結果を得ることと、
各前記検出領域の領域検出結果に基づいて、前記搭乗者の流血状況を決定することと、を含む。
前記映像情報に基づいて、前記キャビン内の搭乗者の体表領域を検出することと、
前記搭乗者の体表領域を複数の検出領域に分割することと、
前記検出領域毎に血液情報を検出し、各前記検出領域の領域検出結果を得ることと、
各前記検出領域の領域検出結果に基づいて、前記搭乗者の流血状況を決定することと、を含む。
【0010】
可能な一実施形態では、前記した、前記映像情報に基づいて、前記キャビン内の搭乗者の体表領域を検出することは、前記映像情報に基づいて、キャビン内の搭乗者の顔表面領域を検出することを含み、
前記した、前記搭乗者の体表領域を複数の検出領域に分割することは、前記搭乗者の顔表面領域を複数の検出領域に分割することを含む。
前記した、前記搭乗者の体表領域を複数の検出領域に分割することは、前記搭乗者の顔表面領域を複数の検出領域に分割することを含む。
【0011】
可能な一実施形態では、前記した、前記検出領域毎に血液情報を検出し、各前記検出領域の領域検出結果を得ることは、
検出領域ごとに、当該検出領域における血流の形状および面積に基づいて、当該検出領域に流血状況がある第１信頼度を決定することと、
隣接する検出領域の間のそれぞれについて、互いに接する血流の有無を検出することと、
前記検出領域のうち第１検出領域と隣接する第２検出領域との間に互いに接する血流があると検出されたことに応じて、複数の前記第１検出領域および前記第２検出領域の信頼度を第２信頼度に上げることと、を含み、
前記した、各前記検出領域の領域検出結果に基づいて、前記搭乗者の流血状況を決定することは、
前記第１信頼度または前記第２信頼度が信頼度閾値を超えた場合、前記搭乗者からの流血があると決定することと、
各前記検出領域における血流の面積に基づいて、各前記検出領域における血流の面積の和と正の相関関係にある流血のひどさを決定することと、を含む。
検出領域ごとに、当該検出領域における血流の形状および面積に基づいて、当該検出領域に流血状況がある第１信頼度を決定することと、
隣接する検出領域の間のそれぞれについて、互いに接する血流の有無を検出することと、
前記検出領域のうち第１検出領域と隣接する第２検出領域との間に互いに接する血流があると検出されたことに応じて、複数の前記第１検出領域および前記第２検出領域の信頼度を第２信頼度に上げることと、を含み、
前記した、各前記検出領域の領域検出結果に基づいて、前記搭乗者の流血状況を決定することは、
前記第１信頼度または前記第２信頼度が信頼度閾値を超えた場合、前記搭乗者からの流血があると決定することと、
各前記検出領域における血流の面積に基づいて、各前記検出領域における血流の面積の和と正の相関関係にある流血のひどさを決定することと、を含む。
【0012】
可能な一実施形態では、前記した、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することは、
前記映像情報に基づいて前記キャビン内の搭乗者からの流血があると検出されたことに応じて、流血の身体部位および血流の方向を検出することと、
前記流血の身体部位および血流の方向に基づいて、血流の始端である身体部位を出血部位として決定することと、を含む。
前記映像情報に基づいて前記キャビン内の搭乗者からの流血があると検出されたことに応じて、流血の身体部位および血流の方向を検出することと、
前記流血の身体部位および血流の方向に基づいて、血流の始端である身体部位を出血部位として決定することと、を含む。
【0013】
可能な一実施形態では、前記方法は、
前記映像情報に基づいて、前記キャビン内の搭乗者の身体姿勢を検出することと、
前記身体姿勢が予め設定された異常身体姿勢であり、かつ前記異常身体姿勢の継続時間が所定の時間を超えた場合、前記キャビン内の搭乗者の身体姿勢が異常身体姿勢であると判断することと、をさらに含む。
前記映像情報に基づいて、前記キャビン内の搭乗者の身体姿勢を検出することと、
前記身体姿勢が予め設定された異常身体姿勢であり、かつ前記異常身体姿勢の継続時間が所定の時間を超えた場合、前記キャビン内の搭乗者の身体姿勢が異常身体姿勢であると判断することと、をさらに含む。
【0014】
可能な一実施形態では、前記方法は、
前記キャビン内の搭乗者の身体姿勢が予め設定された骨折姿勢であると判断した場合、前記キャビン内の搭乗者が骨折したと判断することをさらに含む。
前記キャビン内の搭乗者の身体姿勢が予め設定された骨折姿勢であると判断した場合、前記キャビン内の搭乗者が骨折したと判断することをさらに含む。
【0015】
可能な一実施形態では、前記方法は、
前記映像情報に基づいて、前記搭乗者の呼吸数、血圧、心拍数のうちの少なくとも１つを含むバイタルサイン指標を検出することと、
前記バイタルサイン指標を緊急コールセンターに送信することと、をさらに含む。
前記映像情報に基づいて、前記搭乗者の呼吸数、血圧、心拍数のうちの少なくとも１つを含むバイタルサイン指標を検出することと、
前記バイタルサイン指標を緊急コールセンターに送信することと、をさらに含む。
【0016】
可能な一実施形態では、前記方法は、
検出された前記搭乗者の流血状況、バイタルサイン指標、異常身体姿勢のうちの少なくとも１つに基づいて、キャビン内の搭乗者の負傷等級を決定することと、
前記負傷等級を緊急コールセンターに送信することと、をさらに含む。
検出された前記搭乗者の流血状況、バイタルサイン指標、異常身体姿勢のうちの少なくとも１つに基づいて、キャビン内の搭乗者の負傷等級を決定することと、
前記負傷等級を緊急コールセンターに送信することと、をさらに含む。
【0017】
本開示の一側面によれば、
緊急コールの発生に応じて、キャビン内の搭乗者の映像情報を取得する映像情報取得ユニットと、
前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出する流血状況検出ユニットと、
流血状況が検出されたことに応じて、前記流血状況を緊急コールセンターに送信する流血状況送信ユニットと、を含む車両用の緊急コールセンターへの情報送信装置を提供する。
緊急コールの発生に応じて、キャビン内の搭乗者の映像情報を取得する映像情報取得ユニットと、
前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出する流血状況検出ユニットと、
流血状況が検出されたことに応じて、前記流血状況を緊急コールセンターに送信する流血状況送信ユニットと、を含む車両用の緊急コールセンターへの情報送信装置を提供する。
【0018】
可能な一実施形態では、前記流血状況検出ユニットは、
前記映像情報に対して顔検出および／または人体検出を行って、前記キャビン内の搭乗者を見つけ出す搭乗者検出サブユニットと、
前記搭乗者の顔および／または体表に対して血液検出を行って、キャビン内の搭乗者の流血状況を決定する第１の流血状況決定サブユニットと、を含む。
前記映像情報に対して顔検出および／または人体検出を行って、前記キャビン内の搭乗者を見つけ出す搭乗者検出サブユニットと、
前記搭乗者の顔および／または体表に対して血液検出を行って、キャビン内の搭乗者の流血状況を決定する第１の流血状況決定サブユニットと、を含む。
【0019】
可能な一実施形態では、前記流血状況検出ユニットは、前記映像情報に基づいて、血液の色情報および血流の形状情報から、前記搭乗者の流血の有無を検出する。
【0020】
可能な一実施形態では、前記流血状況検出ユニットは、
前記映像情報に基づいて、前記キャビン内の搭乗者の体表領域を検出する体表領域検出サブユニットと、
前記搭乗者の体表領域を複数の検出領域に分割する検出領域分割サブユニットと、
前記検出領域毎に血液情報を検出し、各前記検出領域の領域検出結果を得る領域検出結果決定サブユニットと、
各前記検出領域の領域検出結果に基づいて、前記搭乗者の流血状況を決定する第２の流血状況決定サブユニットと、を含む。
前記映像情報に基づいて、前記キャビン内の搭乗者の体表領域を検出する体表領域検出サブユニットと、
前記搭乗者の体表領域を複数の検出領域に分割する検出領域分割サブユニットと、
前記検出領域毎に血液情報を検出し、各前記検出領域の領域検出結果を得る領域検出結果決定サブユニットと、
各前記検出領域の領域検出結果に基づいて、前記搭乗者の流血状況を決定する第２の流血状況決定サブユニットと、を含む。
【0021】
可能な一実施形態では、前記体表領域検出サブユニットは、前記映像情報に基づいて、キャビン内の搭乗者の顔表面領域を検出し、
前記検出領域分割サブユニットは、前記搭乗者の顔表面領域を複数の検出領域に分割する。
前記検出領域分割サブユニットは、前記搭乗者の顔表面領域を複数の検出領域に分割する。
【0022】
可能な一実施形態では、前記領域検出結果決定サブユニットは、検出領域ごとに、当該検出領域における血流の形状および面積に基づいて、当該検出領域に流血状況がある第１信頼度を決定し、隣接する検出領域の間のそれぞれについて、互いに接する血流の有無を検出し、前記検出領域のうち第１検出領域と隣接する第２検出領域との間に互いに接する血流があると検出されたことに応じて、複数の前記第１検出領域および前記第２検出領域の信頼度を第２信頼度に上げ、
前記第２の流血状況決定サブユニットは、前記第１信頼度または前記第２信頼度が信頼度閾値を超えた場合、前記搭乗者からの流血があると決定し、各前記検出領域における血流の面積に基づいて、各前記検出領域における血流の面積の和と正の相関関係にある流血のひどさを決定する。
前記第２の流血状況決定サブユニットは、前記第１信頼度または前記第２信頼度が信頼度閾値を超えた場合、前記搭乗者からの流血があると決定し、各前記検出領域における血流の面積に基づいて、各前記検出領域における血流の面積の和と正の相関関係にある流血のひどさを決定する。
【0023】
可能な一実施形態では、前記流血状況検出ユニットは、
前記映像情報に基づいて前記キャビン内の搭乗者からの流血があると検出されたことに応じて、流血の身体部位および血流の方向を検出する流血部位検出サブユニットと、
前記流血の身体部位および血流の方向に基づいて、血流の始端である身体部位を出血部位として決定する出血部位検出サブユニットと、を含む。
前記映像情報に基づいて前記キャビン内の搭乗者からの流血があると検出されたことに応じて、流血の身体部位および血流の方向を検出する流血部位検出サブユニットと、
前記流血の身体部位および血流の方向に基づいて、血流の始端である身体部位を出血部位として決定する出血部位検出サブユニットと、を含む。
【0024】
可能な一実施形態では、前記装置は、
前記映像情報に基づいて、前記キャビン内の搭乗者の身体姿勢を検出する身体姿勢検出ユニットと、
前記身体姿勢が予め設定された異常身体姿勢であり、かつ前記異常身体姿勢の継続時間が所定の時間を超えた場合、前記キャビン内の搭乗者の身体姿勢が異常身体姿勢であると判断する異常身体姿勢判断ユニットと、をさらに含む。
前記映像情報に基づいて、前記キャビン内の搭乗者の身体姿勢を検出する身体姿勢検出ユニットと、
前記身体姿勢が予め設定された異常身体姿勢であり、かつ前記異常身体姿勢の継続時間が所定の時間を超えた場合、前記キャビン内の搭乗者の身体姿勢が異常身体姿勢であると判断する異常身体姿勢判断ユニットと、をさらに含む。
【0025】
可能な一実施形態では、前記装置は、
前記キャビン内の搭乗者の身体姿勢が予め設定された骨折姿勢であると判断した場合、前記キャビン内の搭乗者が骨折したと判断する骨折状況検出ユニットをさらに含む。
前記キャビン内の搭乗者の身体姿勢が予め設定された骨折姿勢であると判断した場合、前記キャビン内の搭乗者が骨折したと判断する骨折状況検出ユニットをさらに含む。
【0026】
可能な一実施形態では、前記装置は、
前記映像情報に基づいて、前記搭乗者の呼吸数、血圧、心拍数のうちの少なくとも１つを含むバイタルサイン指標を検出するバイタルサイン指標検出ユニットと、
前記バイタルサイン指標を緊急コールセンターに送信するバイタルサイン指標送信ユニットと、をさらに含む。
前記映像情報に基づいて、前記搭乗者の呼吸数、血圧、心拍数のうちの少なくとも１つを含むバイタルサイン指標を検出するバイタルサイン指標検出ユニットと、
前記バイタルサイン指標を緊急コールセンターに送信するバイタルサイン指標送信ユニットと、をさらに含む。
【0027】
可能な一実施形態では、前記装置は、
検出された前記搭乗者の流血状況、バイタルサイン指標、異常身体姿勢のうちの少なくとも１つに基づいて、キャビン内の搭乗者の負傷等級を決定する負傷等級決定ユニットと、
前記負傷等級を緊急コールセンターに送信する負傷等級送信ユニットと、をさらに含む。
検出された前記搭乗者の流血状況、バイタルサイン指標、異常身体姿勢のうちの少なくとも１つに基づいて、キャビン内の搭乗者の負傷等級を決定する負傷等級決定ユニットと、
前記負傷等級を緊急コールセンターに送信する負傷等級送信ユニットと、をさらに含む。
【0028】
本開示の一側面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリに記憶されている命令を呼び出して上記方法を実行するように構成される電子機器を提供する。
【0029】
本開示の一側面によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上記方法を実現させるコンピュータ読み取り可能な記憶媒体を提供する。
【0030】
本開示の一側面によれば、コンピュータ読み取り可能なコード、またはコンピュータ読み取り可能なコードを記録するコンピュータ読み取り可能な不揮発性記憶媒体を含み、前記コンピュータ読み取り可能なコードが電子機器のプロセッサにおいて実行されると、前記電子機器のプロセッサが上記方法を実現させるための命令を実行するコンピュータプログラム製品を提供する。
【0031】
本開示の実施例では、緊急コールの発生に応じて、キャビン内の搭乗者の映像情報を取得し、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出し、流血状況が検出されたことに応じて、前記流血状況を緊急コールセンターに送信する。これにより、事故中の搭乗者の負傷状況を判断することができるため、緊急コールセンターにより事故中の搭乗者の負傷状況に応じて救援を合理的に手配し、流血状況がひどい場合、コールセンターのスタッフによる問い合わせを短縮または省略し、一刻を争うように緊急救助することができる。
【0032】
なお、以上の概略的な説明および以下の詳細的な説明は、例示的や解釈的なものに過ぎず、本開示を制限するものではないことを理解すべきである。以下、図面を参照しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴および側面は明瞭になる。
【図面の簡単な説明】
【0033】
ここで、本明細書の一部として組み込まれる図面は、本開示による実施例を示し、明細書と共に本開示の技術的手段の説明に用いられる。
【図1】本開示の実施例による情報送信方法のフローチャートを示す。
【図2】本開示の実施例による情報送信装置のブロック図を示す。
【図3】本開示の実施例による電子機器のブロック図を示す。
【図4】本開示の実施例による電子機器のブロック図を示す。
【発明を実施するための形態】
【0034】
以下、図面を参照しながら本開示の様々な例示的な実施例、特徴および側面を詳細に説明する。図面における同じ符号は、同じまたは類似する機能の要素を示す。図面において実施例の様々な側面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
【0035】
ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は他の実施例より好ましいまたは優れるものであると理解すべきではない。
【0036】
本明細書における用語「および／または」は、関連対象の関連関係を記述するものに過ぎず、３つの関係が存在可能であることを示す。例えば、Ａおよび／またはＢは、Ａのみが存在するケース、ＡとＢの両方が存在するケース、Ｂのみが存在するケースという３つのケースを示すことができる。また、本明細書における「少なくとも１つ」という用語は、複数のうちのいずれか１つ、または複数のうちの少なくとも２つの任意の組み合わせを示す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、ＢおよびＣからなる集合から選択されるいずれか１つまたは複数の要素を含むことを示すことができる。
【0037】
また、本開示をよりよく説明するために、以下の具体的な実施形態において多くの具体的な細部を示した。当業者であれば、本開示は、何らかの具体的な細部がなくても同様に実施できることを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者によく知られている方法、手段、要素および回路について、詳細な説明を省略する。
【0038】
背景技術の欄において説明したように、緊急コールサービスは、救助時間を短縮し、車両事故における被救助者の死亡率を低減することができる。しかしながら、関連技術では、事故発生後に事故による損傷の程度を判断しにくく、さらに車内の死傷者を確認できないため、救援センターへの緊急コールが多い場合、救援センターは救援を合理的に手配することができない。
【0039】
本開示の実施例では、緊急コールの発生に応じて、キャビン内の搭乗者の映像情報を取得し、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出し、流血状況が検出されたことに応じて、前記流血状況を緊急コールセンターに送信する。これにより、事故中の搭乗者の負傷状況を判断することができるため、緊急コールセンターにより事故中の搭乗者の負傷状況に応じて救援を合理的に手配し、流血状況がひどい場合、コールセンターのスタッフによる問い合わせを短縮または省略し、一刻を争うように緊急救助することができる。
【0040】
可能な一実施形態では、当該方法の実行主体は、車両に取り付けられたインテリジェント運転制御装置であってもよい。可能な一実施形態では、当該方法は、端末装置、サーバ、または他の処理装置により実行されてもよい。当該端末装置は、車載装置、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ち機器、計算装置、ウエアラブル装置などであってもよい。車載装置は、車のキャビン内の車載インフォテインメントまたはドメインコントローラであってもよいし、ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｉｎｇ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ、先進運転支援システム）、ＯＭＳ（Ｏｃｃｕｐａｎｔ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ、同乗者モニタリングシステム）またはＤＭＳ（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ、運転者モニタリングシステム）における情報送信方法を実行するための機器ホストなどであってもよい。いくつかの可能な実施形態では、前記情報送信方法は、プロセッサがメモリに記憶されているコンピュータ読み取り可能な命令を呼び出すことで実現されてもよい。当該送信方法のステップは、ハードウェアで実行されてもよいし、プロセッサがコンピュータにより実行可能なコードを実行することで実行されてもよい。
【0041】
説明の便宜上、本明細書の１つ以上の実施例では、車両用の緊急コールセンターへの情報送信方法の実行主体は、車両の車載装置であってもよい。以下、実行主体が車載装置であることを例として、当該方法に係る実施形態を説明する。当該方法の実行主体が車載装置であることは例示的なものに過ぎず、当該方法を限定するものであると理解されない。図１は、本開示の実施例による車両用の緊急コールセンターへの情報送信方法のフローチャートを示す。図１に示すように、前記車両用の緊急コールセンターへの情報送信方法は、以下のステップを含む。
【0042】
ステップＳ１１において、緊急コールの発生に応じて、キャビン内の搭乗者の映像情報を取得する。
【0043】
ここで、映像情報は、車両のキャビン内の搭乗者の映像情報であり、車両は、自家用車、共有自動車、オンラインで予約の自動車、タクシー、トラックなどの種類の車両のうちの少なくとも１種であってもよいが、本開示では、車両の種類について具体的に限定されない。
【0044】
ここでの映像情報は、キャビン内の搭乗者が位置する領域の映像情報であってもよく、当該映像情報は、車両のキャビン内またはキャビン外に設けられた車載映像収集装置により収集することができる。車載映像収集装置は、車載カメラ、またはカメラが配置された映像収集装置であってもよい。当該カメラは、車両内部の映像情報を収集するためのカメラであってもよいし、車両外部の映像情報を収集するためのカメラであってもよい。
【0045】
例えば、当該カメラは、車両内部の映像情報を収集するために使用されるＤＭＳのカメラおよび／またはＯＭＳのカメラなどを含んでもよいし、車両外部の映像情報を収集するために使用されるＡＤＡＳのカメラを含んでもよい。車載映像収集装置は、他のシステムのカメラであってもよいし、個別に配置されたカメラであってもよいことは言うまでもない。本開示の実施例では、車載映像収集装置について具体的に限定されない。
【0046】
ここでの映像情報のキャリアは、２次元画像またはビデオであってもよい。例えば、映像情報は、具体的には、可視光画像／ビデオ、または赤外光画像／ビデオであってもよいし、レーダが走査する点群からなる３次元映像などであってもよい。具体的に実際の適用に応じて定めることができるが、本開示では、これについて限定されない。
【0047】
車載映像収集装置との間に確立された通信接続により、車載映像収集装置が収集した映像情報を取得することができる。一例では、車載映像収集装置は、収集した映像情報をバスまたは無線通信チャネルを介して車載コントローラまたは遠隔サーバにリアルタイムで送信することができ、車載コントローラまたは遠隔サーバは、バスまたは無線通信チャネルを介してリアルタイムな映像情報を受信することができる。
【0048】
ステップＳ１２において、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出する。
【0049】
画像処理技術によって搭乗者の体表に血液があるか否かを検出して、搭乗者の流血の有無を検出することができる。一例では、ニューラルネットワークにより搭乗者の流血状況を検出してもよいし、または、閾値処理などの対象検出技術によって、画像における血液を検出して、キャビン内の搭乗者の流血状況を検出してもよい。搭乗者の流血状況を検出する具体的な実施形態については、本開示で提供される可能な実施形態を参照すればよく、ここでは詳細な説明を省略する。
【0050】
ステップＳ１３において、流血状況が検出されたことに応じて、前記流血状況を緊急コールセンターに送信する。
【0051】
緊急コールセンターに流血状況を送信する具体的な実施形態は様々である。例えば、キャビン内の搭乗者の流血の有無を送信してもよいし、流血がある場合、より具体的な流血状況、例えば具体的な流血の部位、流血のひどさなどを送信してもよい。
【0052】
これにより、流血状況を緊急コールセンターに送信することで、緊急コールセンターは、緊急コールの発信者の流血の有無を判断し、流血があると判断した場合、対応する止血用品、輸血用品を持ち、流血状況を処理する医師を増派するなど、的確な救援措置を提供することができる。
【0053】
本開示の実施例では、緊急コールの発生に応じて、キャビン内の搭乗者の映像情報を取得し、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出し、流血状況が検出されたことに応じて、前記流血状況を緊急コールセンターに送信する。これにより、事故中の搭乗者の負傷状況を判断することができるため、緊急コールセンターにより事故中の搭乗者の負傷状況に応じて救援を合理的に手配し、流血状況がひどい場合、コールセンターのスタッフによる問い合わせを短縮または省略し、一刻を争うように緊急救助することができる。
【0054】
可能な一実施形態では、前記した、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することは、前記映像情報に対して顔検出および／または人体検出を行って、前記キャビン内の搭乗者を見つけ出すことと、前記搭乗者の顔および／または体表に対して血液検出を行って、キャビン内の搭乗者の流血状況を決定することと、を含む。
【0055】
キャビン内の映像情報を取得した後に、映像情報に基づいて、キャビン内に対して人体検出および／または顔検出を行って、前記キャビン内の人体検出結果および／または顔検出結果を得るとともに、前記キャビン内の人体検出結果および／または顔検出結果に基づいて前記キャビン内の搭乗者の検出結果を得ることができる。例えば、前記キャビン内の人体検出結果および／または顔検出結果を前記キャビン内の搭乗者の検出結果とすることができる。また、例えば、前記キャビン内の人体検出結果および／または顔検出結果を処理して前記キャビン内の搭乗者の検出結果を得ることができる。
【0056】
本開示の実施例では、前記キャビン内に対して人体検出および／または顔検出を行って、前記キャビン内の人体および／または顔の位置情報を含む人体検出結果および／または顔検出結果を得る。例えば、搭乗者が１名検出された場合、前記搭乗者の検出結果は、当該搭乗者の位置情報を含む。搭乗者が複数名検出された場合、前記搭乗者の検出結果は、検出された各搭乗者の位置情報を含むことができる。
【0057】
前記搭乗者の位置情報は、前記搭乗者のバンディングボックスの位置情報で示すことができる。そして、このバンディングボックスで選択された画像において搭乗者の血液検出を行う。あるいは、搭乗者の位置情報は、前記搭乗者の境界を表す輪郭の位置情報で示すことができる。そして、この境界を表す輪郭に囲まれた画像において搭乗者の血液検出を行う。
【0058】
顔検出に基づいて搭乗者の顔の位置を得ることができ、顔が検出された場合、搭乗者の顔に対して血液検出を行って、キャビン内の搭乗者の流血状況を決定することができる。人体検出に基づいて搭乗者の人体の位置を得ることができ、人体が検出された場合、搭乗者の体表に対して血液検出を行って、キャビン内の搭乗者の流血状況を決定することができる。
【0059】
本開示の実施例では、前記映像情報に対して顔検出および／または人体検出を行って、前記キャビン内の搭乗者を見つけ出し、前記搭乗者の顔および／または体表に対して血液検出を行って、キャビン内の搭乗者の流血状況を決定する。これにより、映像情報に対して顔検出および／または人体検出を行ってから、前記搭乗者の顔および／または体表に対して血液検出を行うことで、後に血液検出が行われる画像の範囲を小さくし、検出効率を向上させることができるだけでなく、搭乗者の身体以外の他の領域による血液検出への干渉を低減し、流血状況の検出精度を向上させることもできる。
【0060】
血液の検出を行う具体的な実施形態としては、血液の色情報および血流の形状情報から検出してもよい。したがって、可能な一実施形態では、前記した、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することは、前記映像情報に基づいて、血液の色情報および血流の形状情報から、前記搭乗者の流血の有無を検出することを含む。
【0061】
搭乗者からの流血がある場合、血液の色は真っ赤であることが多い。コンピュータでは、色は、色空間の色パラメータを定義することによって表現され、一般的な色空間は、赤緑青（ＲＧＢ）色空間である。また、国際照明委員会（Ｃｏｍｍｉｓｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄｅ Ｌ’Ｅｃｌａｉｒａｇｅ、ＣＩＥ）が定めた表色体系によれば、関連技術には、ＨＳＬ、ＬＭＳ、ＣＭＹＫ、ＣＩＥ ＹＵＶ、ＨＳＢ（ＨＳＶ）、ＹＣｂＣｒなどの色空間がさらに存在する。色空間の表現形式は様々であり、異なる色空間は異なる特性を有することができ、異なる色空間の色パラメータ間は互いに変換することができる。
【0062】
異なる色空間による色パラメータの定義に基づいて、前記映像情報から対応する色パラメータを解析することができる。画像について、コンピュータに記憶される場合、デフォルト色空間の基準で記憶される。コンピュータでは、ほとんどの画像のデフォルト色空間はＲＧＢ色空間であり、ＲＧＢ色空間は赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色成分に分けられ、各色成分の取り得る値の範囲は０～２５５である。コンピュータは、記憶媒体から前記映像情報を読み取る際に、デジタル画像処理技術で映像情報を読み取ることにより、デフォルト色空間における映像情報中の各画素点の３次元成分、すなわちデフォルト色空間における映像情報の色パラメータを得ることができる。
【0063】
画素点毎に色パラメータを有し、異なる色パラメータは異なる色を表すから、当該色パラメータに基づいて当該画素点の色を特定することができる。一方、血液の色について、その色パラメータは、範囲であってもよい。一例では、ＲＧＢ色空間を例として、血液の色パラメータの範囲は、（１５０，０，０）～（２５０，５０，５０）であってもよい。画素点の色の範囲がこの範囲にある場合、血液の色であると判断され、さらに、血液の形状から流血状況を検証する。
【0064】
また、流血状況の検出は、ニューラルネットワーク技術で実現されてもよい。ニューラルネットワーク技術による画像処理において、画像への畳み込み操作によって画像特徴を抽出することが多い。この操作で画像の画素値を抽出するため、血液の色情報は、高次元特徴として抽出され、ニューラルネットワークは、当該高次元特徴に基づいて血液の色に属する高次元特徴を特定し、さらに流血状況を検出することができる。
【0065】
搭乗者の衣服やアクセサリーなどの付着物の色は血液の色に近い可能性があるため、さらに血流の形状から、搭乗者の流血の有無を検出することができる。血流の形状は画像における実際の血流の形状に基づいて得ることができる。
【0066】
血液検出はディープニューラルネットワークにより実現される。血液検出を行うためのニューラルネットワークは、例えば、注意機構に基づくＳｅｑ２Ｓｅｑモデル、Ｔｅｎｓｏｒｆｌｏｗモデルなどであってもよい。このニューラルネットワークは、トレーニングされたネットワークであってもよいし、搭乗者からの流血がある映像情報の特性に基づいて、画像コンテンツに搭乗者の流血状況を含む画像データセットでニューラルネットワークをトレーニングしてもよい。画像データセットのうちの流血領域をマークして、ニューラルネットワークをトレーニングすることにより、ニューラルネットワークによる血液検出時の精度を向上させ、搭乗者の顔および／または体表の血液を正確に検出することができる。
【0067】
本開示の実施例では、前記映像情報に基づいて、血液の色情報および血流の形状情報から、前記搭乗者の流血の有無を検出するため、キャビン内の搭乗者の流血状況を正確に検出することができる。
【0068】
可能な一実施形態では、前記した、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することは、前記映像情報に基づいて、前記キャビン内の搭乗者の体表領域を検出することと、前記搭乗者の体表領域を複数の検出領域に分割することと、前記検出領域毎に血液情報を検出し、各前記検出領域の領域検出結果を得ることと、各前記検出領域の領域検出結果に基づいて、前記搭乗者の流血状況を決定することと、を含む。
【0069】
映像情報に基づいて、キャビン内の搭乗者の体表領域を検出することがでる。当該体表領域は、画像における座標で示してもよく、複数の検出領域に分割される。検出領域を分割する具体的な形態は様々であり、例えば、メッシュで体表領域を分割することができる。この分割の形態において、体表の露出している部分（例えば顔、首など）を同じ面積のメッシュに分割することができる。また、例えば、体表の腕を１つの検出領域として分割し、胸部を１つの検出領域として分割し、腹部を１つの検出領域として分割するなどのように、体表の人体部位に応じて体表領域を分割することができる。人体部位に応じて体表領域を分割する際に、人体に対して人体キーポイント検出を行って、人体部位を識別するためのキーポイントを得って、当該キーポイントに基づいて体表領域を分割して複数の検出領域を得ることができる。また、体表領域を分割する形態は様々であるが、本開示では、これについて限定されない。
【0070】
複数の検出領域を得た後に、検出領域毎に血液情報を検出することができる。血液情報を検出する具体的な形態は、本開示で提供される可能な実施形態を参照すればよい。例えば、血液の色および血流の形状から血液を検出したり、トレーニングされたニューラルネットワークにより血液を検出したりすることができるが、ここでは詳細な説明を省略する。
【0071】
検出領域毎に血液情報を検出した後に、各検出領域の領域検出結果を得ることができる。当該領域検出結果は、流血状況があることを示してもよいし、流血状況がないことを示してもよい。流血状況があることを示す場合、さらに流血の面積、検出領域における血流の位置情報を検出することができる。
【0072】
そして、各検出領域の領域検出結果に基づいて、各検出領域の領域検出結果に対して加重融合を行って、搭乗者の流血状況を決定することができる。あるいは、各領域検出結果を総合して、搭乗者からの流血がある信頼度および流血のひどさを決定することができる。具体的には本開示で提供される可能な実施形態を参照すればよく、ここでは詳細な説明を省略する。
【0073】
本開示の実施例では、映像情報に基づいて、キャビン内の搭乗者の体表領域を検出し、搭乗者の体表領域を複数の検出領域に分割し、検出領域毎に血液情報を検出し、各検出領域の領域検出結果を得る。これにより、各検出領域の領域検出結果に基づいて、搭乗者の流血状況を決定するため、流血状況の検出精度を向上させることができる。
【0074】
可能な一実施形態では、前記した、前記映像情報に基づいて、前記キャビン内の搭乗者の体表領域を検出することは、前記映像情報に基づいて、キャビン内の搭乗者の顔表面領域を検出することを含み、前記した、前記搭乗者の体表領域を複数の検出領域に分割することは、前記搭乗者の顔表面領域を複数の検出領域に分割することを含む。
【0075】
前記映像情報に基づいて、キャビン内の搭乗者の顔表面領域を検出することができ、当該顔表面領域は、画像における座標で示してもよい。当該顔表面領域は、複数の検出領域に分割される。顔表面領域を分割する具体的な形態は様々であり、例えば、メッシュで顔表面領域を分割することができる。当該メッシュは同じ面積のメッシュであってもよい。これにより、同じ面積のメッシュで顔表面領域を分割することができる。また、例えば、額を１つの検出領域として分割し、鼻の両側をそれぞれ１つの検出領域として分割し、口およびその以下の部分を１つの検出領域として分割するなどのように、顔表面の部位に応じて顔表面領域を分割することができる。顔の部位に応じて顔表面領域を分割する際に、顔表面に対して顔キーポイント検出を行って、顔の部位を識別するためのキーポイントを得って、当該キーポイントに基づいて顔表面領域を分割して複数の検出領域を得ることができる。また、顔表面領域を分割する形態は様々であるが、本開示では、これについて限定されない。
【0076】
本開示の実施例では、映像情報に基づいてキャビン内の搭乗者の顔表面領域を検出して、搭乗者の顔表面領域を複数の検出領域に分割することにより、各検出領域の領域検出結果に基づいて、搭乗者の顔の流血状況を決定するため、流血状況の検出精度を向上させることができる。
【0077】
可能な一実施形態では、前記した、前記検出領域毎に血液情報を検出し、各前記検出領域の領域検出結果を得ることは、検出領域ごとに、当該検出領域における血流の形状および面積に基づいて、当該検出領域に流血状況がある第１信頼度を決定することと、隣接する検出領域の間のそれぞれについて、互いに接する血流の有無を検出することと、前記検出領域のうち第１検出領域と隣接する第２検出領域との間に互いに接する血流があると検出されたことに応じて、前記複数の第１検出領域および前記第２検出領域の信頼度を第２信頼度に上げることと、を含み、前記した、各前記検出領域の領域検出結果に基づいて、前記搭乗者の流血状況を決定することは、前記第１信頼度または前記第２信頼度が信頼度閾値を超えた場合、前記搭乗者からの流血があると決定することと、前記各検出領域における血流の面積に基づいて、各前記検出領域における血流の面積の和と正の相関関係にある流血のひどさを決定することと、を含む。
【0078】
画像処理技術によって映像情報から血流を検出する場合、画像中の画素点が血流を表す画素点であるか否かを判断する２項分類とみなすことができ、ディープラーニングの画像分割技術で実現することができる。これにより、検出領域における血流を表す画素点の位置を得ることができ、血流に分類される複数の画素点が繋がられると、血流領域となり、すなわち１つの血流形状を構成することができる。一方、血流の面積は、画像における血流に分類される複数の画素点の面積であってもよいし、搭乗者の体表における実際の面積に換算してもよい。
【0079】
各検出領域における血流の形状および面積に基づいて、検出領域ごとに流血状況がある第１信頼度を決定することができる。具体的に、ニューラルネットワークにより決定することができる。第１信頼度は、単一の検出領域に血流状況がある信頼度を表す。第１信頼度は、当該領域の血流の面積に正の相関関係があり、すなわち、面積が大きいほど、第１信頼度が高くなる。検出領域における血流の形状が実際の血流の形状に近いほど、第１信頼度は高くなる。
【0080】
検出領域ごとに第１信頼度を得た後に、検出領域間のそれぞれについて、互いに接する血流の有無をさらに検出することができる。具体的には、各検出領域において検出された血液の位置に基づいて検出することができる。各検出領域における血液の位置は、映像情報における位置であってもよい。映像情報において血液の位置が隣接すれば、検出領域の間に互いに接する血流があると検出することができる。
【0081】
検出領域の間に互いに接する血流があることは、搭乗者の流血面積が単一検出領域における血流の面積よりも大きいことを示しているため、搭乗者からの流血がある信頼度をさらに上げるべきである。したがって、検出領域のうち第１検出領域と隣接する第２検出領域との間に互いに接する血流があると検出されたことに応じて、複数の第１検出領域および前記第２検出領域の信頼度を第２信頼度に上げることにより、第１検出領域および第２検出領域に流血状況がある信頼度を上げる。
【0082】
例えば、第１検出領域と第２検出領域の第１信頼度はそれぞれ０．６と０．７であり、第１検出領域と第２検出領域との間に互いに接する血流があると検出された場合、第１検出領域と第２検出領域の信頼度をそれぞれ０．７と０．８に上げ、第２信頼度を得ることができる。なお、第１信頼度の具体的な上昇幅は、実際の必要に応じて定めることができるため、本開示では、これについて具体的に限定されない。
【0083】
信頼度は、搭乗者からの流血がある信頼度を表すことができるため、信頼度閾値が予め設定され、第１信頼度または第２信頼度が信頼度閾値を超えた場合、搭乗者からの流血があると決定してもよい。当該信頼度閾値は、実際の必要に応じて定めることができるため、本開示では、これについて具体的に限定されない。
【0084】
また、血流の面積が大きいほど、流血のひどさが高いことを示しているため、可能な一実施形態では、各検出領域における血流の面積に基づいて、各前記検出領域における血流の面積の和と正の相関関係にある流血のひどさを決定することができる。
【0085】
本開示の実施例では、検出領域ごとに、当該検出領域における血流の形状および面積に基づいて、当該検出領域に流血状況がある第１信頼度を決定し、隣接する検出領域の間のそれぞれについて、互いに接する血流の有無を検出し、前記検出領域のうち第１検出領域と隣接する第２検出領域との間に互いに接する血流があると検出されたことに応じて、複数の前記第１検出領域および前記第２検出領域の信頼度を第２信頼度に上げ、前記第１信頼度または前記第２信頼度が信頼度閾値を超えた場合、前記搭乗者からの流血があると決定する。これにより、流血状況の検出精度を向上させることができる。また、各前記検出領域における血流の面積に基づいて、流血のひどさを決定し、流血のひどさを緊急コールセンターに送信することにより、緊急コールセンターは、緊急コールの発信者の流血のひどさをタイムリーに知り、救援を合理的に手配し、的確な救援を提供することができる。
【0086】
可能な一実施形態では、前記した、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することは、前記映像情報に基づいて前記キャビン内の搭乗者からの流血があると検出されたことに応じて、流血の身体部位および血流の方向を検出することと、前記流血の身体部位および血流の方向に基づいて、血流の始端である身体部位を出血部位として決定することと、を含む。
【0087】
人体キーポイントの検出により、搭乗者の体表の身体部位を特定することができるため、血液が位置する身体部位を特定することができる。また、血液は流動性を有するため、血液はある部位で出た後に複数の身体部位にわたって流れる可能性がある。これにより、血流の方向をさらに検出して、血流の方向に基づいて、血流の始端である身体部位を出血部位として決定することができる。
【0088】
血流方向の検出は、映像情報のうちの複数の映像フレームに基づいて行われることができる。複数の映像フレームにおいて血液検出を行って、複数の映像フレームにおける血流に基づいて、血流が徐々に多くなる方向を検出し、この方向を血流の方向とすることができる。
【0089】
本開示の実施例では、前記映像情報に基づいて前記キャビン内の搭乗者からの流血があると検出されたことに応じて、流血の身体部位および血流の方向を検出し、前記流血の身体部位および血流の方向に基づいて、血流の始端である身体部位を出血部位として決定する。これにより、出血部位を正確に特定して、出血部位を流血状況として緊急コールセンターに送信することができるため、緊急コールセンターは、緊急コールの発信者の出血部位を特定して、出血部位に応じて出血のひどさを把握し、救援を合理的に手配し、的確な救援を提供することができる。
【0090】
可能な一実施形態では、前記方法は、前記映像情報に基づいて、前記キャビン内の搭乗者の身体姿勢を検出することと、前記身体姿勢が予め設定された異常身体姿勢であり、かつ前記異常身体姿勢の継続時間が所定の時間を超えた場合、前記キャビン内の搭乗者の身体姿勢が異常身体姿勢であると判断することと、をさらに含む。
【0091】
本開示の実施例では、映像情報に基づいて、キャビン内の搭乗者の身体姿勢を検出することができる。例示的には、画像認識技術によって搭乗者の身体姿勢を検出することができる。身体姿勢の検出において、人体キーポイントの検出により身体姿勢を検出することができる。この実施形態の一例として、検出すべき複数の人体キーポイントを予め設定され、例えば、人体骨格に人体の各部位をそれぞれ示す１７のキーポイントが含まれるように設定し、この１７のキーポイントを検出することにより、この１７のキーポイント間の位置関係に基づいて人体の各部位間の位置関係を得ることができる。人体の各部位間の位置関係は、身体姿勢を表す具体的な形態である。
【0092】
この実施形態の一例として、映像情報をバックボーンネットワークに入力し、バックボーンネットワークにより映像情報に対して特徴抽出を行って特徴マップを得て、特徴マップに基づいて人体のキーポイントの位置を検出して、人体姿勢を得ることができる。バックボーンネットワークにはＲｅｓＮｅｔ、ＭｏｂｉｌｅＮｅｔなどのネットワークを採用することができるが、これについて限定されない。
【0093】
キャビン内の搭乗者の身体姿勢を検出した後に、当該身体姿勢が予め設定された異常身体姿勢であるか否かを判断することができる。身体姿勢が予め設定された異常身体姿勢であると判断した場合、キャビン内の搭乗者の健康状態が異常状態であると判断する。予め設定された異常身体姿勢は、「身体が片側に傾く」、「頭部が下方に傾く」、「顔が上方を向く」の少なくとも１つを含む。搭乗者の身体姿勢がある程度で搭乗者の身体の健康状態を反映できるため、事故の発生後、搭乗者が負傷した場合、身体がまっすぐな姿勢を維持できず、身体が片側に傾いたり、頭部が下方に傾いたり、仰向けになったりするといった異常な姿勢になることが多い。これらの身体姿勢は、搭乗者の現在の健康状態が異常状態であることを正確に示すことができる。
【0094】
したがって、これらの異常身体姿勢が予め設定され、キャビン内の搭乗者の身体姿勢を検出した後に、キャビン内の搭乗者の身体状態が予め設定された異常身体姿勢であるか否かを判断し、前記身体姿勢が予め設定された異常身体姿勢であると判断した場合、前記キャビン内の搭乗者の健康状態が異常状態であると判断することができる。
【0095】
また、異常状態の検出精度を向上させるために、身体姿勢が予め設定された異常身体姿勢であり、かつ前記異常身体姿勢の継続時間が所定の時間を超えた場合、前記キャビン内の搭乗者の身体姿勢が異常身体姿勢であると判断することができる。
【0096】
本開示の実施例では、前記映像情報に基づいて、前記キャビン内の搭乗者の身体姿勢を検出し、前記身体姿勢が予め設定された異常身体姿勢であり、かつ前記異常身体姿勢の継続時間が所定の時間を超えた場合、前記キャビン内の搭乗者の身体姿勢が異常身体姿勢であると判断する。これにより、搭乗者の異常状況を正確に判断することができ、搭乗者の負傷等級を正確に判断して緊急コールセンターに送信することができるため、緊急コールセンターは、負傷がひどい搭乗者を優先的に救助することができる。
【0097】
可能な一実施形態では、前記方法は、前記キャビン内の搭乗者の身体姿勢が予め設定された骨折姿勢であると判断した場合、前記キャビン内の搭乗者が骨折したと判断することをさらに含む。
【0098】
搭乗者が骨折した場合、その身体姿勢は明らかに正常な身体姿勢とは異なる。例えば、搭乗者の関節以外の部位が屈曲した場合、搭乗者が骨折したと判断することができる。例えば、腕の関節以外の部位が屈曲した場合、搭乗者の腕が骨折したと判断することができる。また、例えば、足の関節以外の部位が屈曲した場合、搭乗者の足が骨折したと判断することができる。
【0099】
可能な一実施形態では、前記方法は、前記映像情報に基づいて、前記搭乗者の呼吸数、血圧、心拍数のうちの少なくとも１つを含むバイタルサイン指標を検出することと、前記バイタルサイン指標を緊急コールセンターに送信することと、をさらに含む。
【0100】
バイタルサイン指標は、バイタルサインセンサにより収集されたバイタルサインセンシング情報に基づいて検出される。例示的には、バイタルサインセンサがミリ波レーダであることを例として、ミリ波レーダによる呼吸数・心拍数のモニタリング原理は、レーダで電磁波を放射し、エコー信号の周波数を検出して搭乗者の呼吸数・心拍数の検出を実現することである。この例では、バイタルサインセンシング情報は、ミリ波レーダのエコー信号である。ミリ波レーダは、エコー信号の位相の変化を測定することで人体の微小な振りと移動を検出することができる。一例では、胸腔の振幅の検出により心拍数と呼吸数を検出することができる。
【0101】
バイタルサイン指標を検出した後に、前記バイタルサイン指標を緊急コールセンターに送信することができるため、緊急コールセンターは、救援を合理的に手配し、搭乗者を的確に救援することができる。
【0102】
可能な一実施形態では、前記方法は、検出された前記搭乗者の流血状況、バイタルサイン指標、異常身体姿勢のうちの少なくとも１つに基づいて、キャビン内の搭乗者の負傷等級を決定することと、前記負傷等級を緊急コールセンターに送信することと、をさらに含む。
【0103】
負傷等級は、搭乗者の負傷のひどさを表すものであり、例えば、等級０～１０に分けられ、等級が高いほど、負傷がひどいことを示す。等級０は、搭乗者が負傷していないことを示す。
【0104】
負傷等級は、１種でもよいし、複数種でもよい。例えば、１種の負傷等級で搭乗者の流血状況、異常身体姿勢、バイタルサイン指標などのひどさを総合的に表してもよいし、複数種の等級、例えば、予め設定された流血等級、骨折等級、バイタルサイン衰弱等級などで搭乗者の負傷のひどさをそれぞれ表してもよい。
【0105】
流血等級は、流血の面積および流血部位に基づいて決定することができる。流血の面積は、流血等級と正の相関関係にあり、流血の部位が頭部、腹部などの人にとって重要な部位にある場合、流血等級が高くなる。骨折等級は、人体骨格の屈曲程度と正の相関関係にあり、骨折した骨格数と正の相関関係にあり、骨折部位が頭部などの人にとって重要な部位にある場合、流血等級が高くなる。バイタルサイン衰弱等級は、バイタルサイン指標と負の相関関係にあり、呼吸数、血圧、心拍数が低いほど、バイタルサイン衰弱等級が高くなる。
【0106】
１種の負傷等級で搭乗者の流血状況、異常身体姿勢、バイタルサイン指標などのひどさを総合的に表す場合、搭乗者の流血状況、異常身体姿勢、バイタルサイン指標の等級を加重平均して、１つの総合的な負傷等級を得ることができる。あるいは、搭乗者の流血状況、異常身体姿勢、バイタルサイン指標のうち最もひどくなった１つに基づいて負傷等級を決定することができる。
【0107】
本開示の実施例では、検出された前記搭乗者の流血状況、バイタルサイン指標、異常身体姿勢のうちの少なくとも１つに基づいて、キャビン内の搭乗者の負傷等級を決定し、前記負傷等級を緊急コールセンターに送信する。これにより、緊急コールセンターは、負傷等級に応じて、負傷等級が高い搭乗者を優先的に救助し、問い合わせを低減または省略することができ、より迅速な救援を提供して、人身・財産の損失を減らすことができる。
【0108】
以下、本開示の実施例の一適用シーンについて説明する。この適用シーンでは、事故の発生後に、緊急コールが発生した場合、キャビン内の搭乗者の映像情報を取得し、キャビン内の搭乗者には明らかな流血状況がなく、かつ身体姿勢が正常であることを検出した場合、死傷状況が軽いと判断する。緊急コールを受けると、コールセンターは状況について車内の搭乗者と簡単に確認した後、別途に救助を行う必要はないと判断する。
【0109】
以下、本開示の実施例の別の適用シーンについて説明する。この適用シーンでは、事故の発生後、緊急コールが発生した場合、キャビン内の搭乗者の映像情報を取得し、キャビン内の搭乗者の体表から大量に流血しており、肢体が静止し、かつ呼吸が弱いことを検出した場合、負傷等級が高等級であると判断し、負傷等級を緊急コールセンターに送信する。緊急コールセンターが直接救急車を事故現場に派遣するとともに、緊急コールセンターのスタッフが車内の搭乗者と通話して具体的な状況をさらに把握する。
【0110】
本開示で言及された上記各方法の実施例は、原理と論理に反しない限り、相互に組み合わせて実施例を形成可能であることが理解できる。紙数に限りがあるので、本開示では詳細な説明を省略する。当業者であれば、具体的な実施形態による上記方法において、各ステップの具体的な実行順序は、その機能と可能な内在的論理により決められることが理解できる。
【0111】
また、本開示では、さらに、車両用の緊急コールセンターへの情報送信装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムを提供する。これらは、いずれも本開示で提供される情報送信方法のいずれかを実現するために用いられる。対応する技術的手段および説明は、方法の対応の記載を参照すればよく、詳細な説明を省略する。
【0112】
図２は、本開示の実施例による情報送信装置のブロック図を示す。図２に示すように、前記装置２０は、
緊急コールの発生に応じて、キャビン内の搭乗者の映像情報を取得する映像情報取得ユニット２１と、
前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出する流血状況検出ユニット２２と、
流血状況が検出されたことに応じて、前記流血状況を緊急コールセンターに送信する流血状況送信ユニット２３と、を含む。
緊急コールの発生に応じて、キャビン内の搭乗者の映像情報を取得する映像情報取得ユニット２１と、
前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出する流血状況検出ユニット２２と、
流血状況が検出されたことに応じて、前記流血状況を緊急コールセンターに送信する流血状況送信ユニット２３と、を含む。
【0113】
可能な一実施形態では、前記流血状況検出ユニットは、
前記映像情報に対して顔検出および／または人体検出を行って、前記キャビン内の搭乗者を見つけ出す搭乗者検出サブユニットと、
前記搭乗者の顔および／または体表に対して血液検出を行って、キャビン内の搭乗者の流血状況を決定する第１の流血状況決定サブユニットと、を含む。
前記映像情報に対して顔検出および／または人体検出を行って、前記キャビン内の搭乗者を見つけ出す搭乗者検出サブユニットと、
前記搭乗者の顔および／または体表に対して血液検出を行って、キャビン内の搭乗者の流血状況を決定する第１の流血状況決定サブユニットと、を含む。
【0114】
可能な一実施形態では、前記流血状況検出ユニットは、前記映像情報に基づいて、血液の色情報および血流の形状情報から前記搭乗者の流血の有無を検出する。
【0115】
可能な一実施形態では、前記流血状況検出ユニットは、
前記映像情報に基づいて、前記キャビン内の搭乗者の体表領域を検出する体表領域検出サブユニットと、
前記搭乗者の体表領域を複数の検出領域に分割する検出領域分割サブユニットと、
前記検出領域毎に血液情報を検出し、各前記検出領域の領域検出結果を得る領域検出結果決定サブユニットと、
各前記検出領域の領域検出結果に基づいて、前記搭乗者の流血状況を決定する第２の流血状況決定サブユニットと、を含む。
前記映像情報に基づいて、前記キャビン内の搭乗者の体表領域を検出する体表領域検出サブユニットと、
前記搭乗者の体表領域を複数の検出領域に分割する検出領域分割サブユニットと、
前記検出領域毎に血液情報を検出し、各前記検出領域の領域検出結果を得る領域検出結果決定サブユニットと、
各前記検出領域の領域検出結果に基づいて、前記搭乗者の流血状況を決定する第２の流血状況決定サブユニットと、を含む。
【0116】
可能な一実施形態では、前記体表領域検出サブユニットは、前記映像情報に基づいて、キャビン内の搭乗者の顔表面領域を検出し、
前記検出領域分割サブユニットは、前記搭乗者の顔表面領域を複数の検出領域に分割する。
前記検出領域分割サブユニットは、前記搭乗者の顔表面領域を複数の検出領域に分割する。
【0117】
可能な一実施形態では、前記領域検出結果決定サブユニットは、検出領域ごとに、当該検出領域における血流の形状および面積に基づいて、当該検出領域に流血状況がある第１信頼度を決定し、隣接する検出領域の間のそれぞれについて、互いに接する血流の有無を検出し、前記検出領域のうち第１検出領域と隣接する第２検出領域との間に互いに接する血流があると検出されたことに応じて、前記複数の第１検出領域および前記第２検出領域の信頼度を第２信頼度に上げ、
前記第２の流血状況決定サブユニットは、前記第１信頼度または前記第２信頼度が信頼度閾値を超えた場合、前記搭乗者からの流血があると決定し、前記各検出領域における血流の面積に基づいて、各前記検出領域における血流の面積の和と正の相関関係にある流血のひどさを決定する。
前記第２の流血状況決定サブユニットは、前記第１信頼度または前記第２信頼度が信頼度閾値を超えた場合、前記搭乗者からの流血があると決定し、前記各検出領域における血流の面積に基づいて、各前記検出領域における血流の面積の和と正の相関関係にある流血のひどさを決定する。
【0118】
可能な一実施形態では、前記流血状況検出ユニットは、
前記映像情報に基づいて前記キャビン内の搭乗者からの流血があると検出されたことに応じて、流血の身体部位および血流の方向を検出する流血部位検出サブユニットと、
前記流血の身体部位および血流の方向に基づいて、血流の始端である身体部位を出血部位として決定する出血部位検出サブユニットと、を含む。
前記映像情報に基づいて前記キャビン内の搭乗者からの流血があると検出されたことに応じて、流血の身体部位および血流の方向を検出する流血部位検出サブユニットと、
前記流血の身体部位および血流の方向に基づいて、血流の始端である身体部位を出血部位として決定する出血部位検出サブユニットと、を含む。
【0119】
可能な一実施形態では、前記装置は、
前記映像情報に基づいて、前記キャビン内の搭乗者の身体姿勢を検出する身体姿勢検出ユニットと、
前記身体姿勢が予め設定された異常身体姿勢であり、かつ前記異常身体姿勢の継続時間が所定の時間を超えた場合、前記キャビン内の搭乗者の身体姿勢が異常身体姿勢であると判断する異常身体姿勢判断ユニットと、をさらに含む。
前記映像情報に基づいて、前記キャビン内の搭乗者の身体姿勢を検出する身体姿勢検出ユニットと、
前記身体姿勢が予め設定された異常身体姿勢であり、かつ前記異常身体姿勢の継続時間が所定の時間を超えた場合、前記キャビン内の搭乗者の身体姿勢が異常身体姿勢であると判断する異常身体姿勢判断ユニットと、をさらに含む。
【0120】
可能な一実施形態では、前記装置は、
前記キャビン内の搭乗者の身体姿勢が予め設定された骨折姿勢であると判断した場合、前記キャビン内の搭乗者が骨折したと判断する骨折状況検出ユニットをさらに含む。
前記キャビン内の搭乗者の身体姿勢が予め設定された骨折姿勢であると判断した場合、前記キャビン内の搭乗者が骨折したと判断する骨折状況検出ユニットをさらに含む。
【0121】
可能な一実施形態では、前記装置は、
前記映像情報に基づいて、前記搭乗者の呼吸数、血圧、心拍数のうちの少なくとも１つを含むバイタルサイン指標を検出するバイタルサイン指標検出ユニットと、
前記バイタルサイン指標を緊急コールセンターに送信するバイタルサイン指標送信ユニットと、をさらに含む。
前記映像情報に基づいて、前記搭乗者の呼吸数、血圧、心拍数のうちの少なくとも１つを含むバイタルサイン指標を検出するバイタルサイン指標検出ユニットと、
前記バイタルサイン指標を緊急コールセンターに送信するバイタルサイン指標送信ユニットと、をさらに含む。
【0122】
可能な一実施形態では、前記装置は、
検出された前記搭乗者の流血状況、バイタルサイン指標、異常身体姿勢のうちの少なくとも１つに基づいて、キャビン内の搭乗者の負傷等級を決定する負傷等級決定ユニットと、
前記負傷等級を緊急コールセンターに送信する負傷等級送信ユニットと、をさらに含む。
検出された前記搭乗者の流血状況、バイタルサイン指標、異常身体姿勢のうちの少なくとも１つに基づいて、キャビン内の搭乗者の負傷等級を決定する負傷等級決定ユニットと、
前記負傷等級を緊急コールセンターに送信する負傷等級送信ユニットと、をさらに含む。
【0123】
いくつかの実施例では、本開示の実施例による装置が有する機能またはモジュールは、上述した方法の実施例に説明された方法を実行するために用いられることができ、その具体的な実現および技術的効果について、上述した方法の実施例の説明を参照すればよく、簡潔化のために、ここでは詳細な説明を省略する。
【0124】
本開示の実施例では、さらに、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上記方法を実現させるコンピュータ読み取り可能な記憶媒体を提供する。コンピュータ読み取り可能な記憶媒体は、コンピュータ読み取り可能な揮発性記憶媒体であってもよいし、コンピュータ読み取り可能な不揮発性記憶媒体であってもよい。
【0125】
本開示の実施例では、さらに、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリに記憶されている命令を呼び出して上記方法を実行するように構成される電子機器を提供する。
【0126】
本開示の実施例では、さらに、コンピュータ読み取り可能なコード、またはコンピュータ読み取り可能なコードを記録するコンピュータ読み取り可能な不揮発性記憶媒体を含み、前記コンピュータ読み取り可能なコードが電子機器のプロセッサにおいて実行されると、前記電子機器のプロセッサが上記方法を実行するコンピュータプログラム製品を提供する。
【0127】
電子機器は、端末、サーバまたは他の形態の機器として提供されてもよい。
【0128】
図３は、本開示の実施例による電子機器８００のブロック図を示す。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。
【0129】
図３を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。
【0130】
処理コンポーネント８０２は、通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのためにマルチメディアモジュールを含んでもよい。
【0131】
メモリ８０４は、電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性の記憶装置またはそれらの組み合わせによって実現できる。
【0132】
電源コンポーネント８０６は、電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は、電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
【0133】
マルチメディアコンポーネント８０８は、前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは、液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検出するように、一つ以上のタッチセンサを含む。前記タッチセンサは、タッチまたはスライド操作の境界だけではなく、前記タッチまたはスライド操作に関連する継続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は、前面カメラおよび／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになると、前面カメラおよび／または背面カメラは、外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび背面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
【0134】
オーディオコンポーネント８１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードまたは音声識別モードになると、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０は、オーディオ信号を出力するためのスピーカーをさらに含む。
【0135】
Ｉ／Ｏインタフェース８１２は、処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限らない。
【0136】
センサコンポーネント８１４は、電子機器８００の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４は、さらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もなしに近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント８１４は、相補型金属酸化膜半導体（ＣＭＯＳ）または電荷結合素子（ＣＣＤ）イメージセンサのような、イメージングアプリケーションにおいて使用するための光センサをさらに含んでもよい。いくつかの実施例では、該センサコンポーネント８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサをさらに含んでもよい。
【0137】
通信コンポーネント８１６、電子機器８００と他の機器との間の有線または無線通信を実現するように構成される。電子機器８００は、例えばワイヤレスネットワーク（ＷｉＦｉ）、第２世代移動通信システム（２Ｇ）、第３世代移動通信システム（３Ｇ）、またはそれらの組み合わせのような、通信規格に基づく無線ネットワークにアクセスできる。例示的一実施例では、通信コンポーネント８１６は、放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。例示的一実施例では、前記通信コンポーネント８１６は、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
【0138】
例示的な実施例では、電子機器８００は、一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタルシグナルプロセッサ（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
【0139】
例示的な実施例では、さらに、不揮発性のコンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
【0140】
図４は、本開示の実施例による電子機器１９００のブロック図を示す。例えば、電子機器１９００は、サーバとして提供されてもよい。図４を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は、命令を実行することによって上記方法を実行するように構成される。
【0141】
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００は、メモリ１９３２に記憶されているオペレーティングシステム、例えばマイクロソフトサーバオペレーションシステム（Ｗｉｎｄｏｗｓ Ｓｅｒｖｅｒ（登録商標））、アップル社により開発されたグラフィカルユーザインターフェースに基づくオペレーションシステム（Ｍａｃ ＯＳ Ｘ（登録商標））、マルチタスク・マルチユーザーのオペレーティングシステム（Ｕｎｉｘ（登録商標））、フリーかつオープンソースのＵｎｉｘ系オペレーティングシステム（Ｌｉｎｕｘ（登録商標））、オープンソースのＵｎｉｘ系オペレーティングシステム（ＦｒｅｅＢＳＤ（登録商標））または類似するものに基づいて動作できる。
【0142】
例示的な実施例では、さらに、不揮発性のコンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行させることができる。
【0143】
本開示は、システム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能なプログラム命令を有するコンピュータ読み取り可能な記憶媒体を含んでもよい。
【0144】
コンピュータ読み取り可能な記憶媒体は、命令実行機器に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適当な組み合わせであってもよいが、これらに限らない。コンピュータ読み取り可能な記憶媒体のさらなる具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を介して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を介して伝送される電気信号と解釈されるものではない。
【0145】
ここで記述したコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ読み取り可能なプログラム命令を受信し、該コンピュータ読み取り可能なプログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。
【0146】
本開示の動作を実行するためのコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能なプログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを介して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。
【0147】
ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロック、およびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能なプログラム命令によって実現できることを理解すべきである。
【0148】
これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現させるように、装置を製造してもよい。これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ読み取り可能な記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。
【0149】
コンピュータ読み取り可能なプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施可能なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【0150】
図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、連続的な二つのブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
【0151】
このコンピュータプログラム製品は、ハードウェア、ソフトウェア、またはそれらの組み合わせによって具体的に実現することができる。選択可能な実施例では、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具体化される。別の選択可能な実施例では、コンピュータプログラム製品は、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）などのソフトウェア製品として具体化される。
【0152】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本明細書に披露された各実施例を理解させるためのものである。
【図1】
【図2】
【図3】
【図4】
【手続補正書】
【提出日】2024-02-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
緊急コールの発生に応じて、キャビン内の搭乗者の映像情報を取得することと、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することと、
流血状況が検出されたことに応じて、前記流血状況を緊急コールセンターに送信することと、を含む
ことを特徴とする車両用の緊急コールセンターへの情報送信方法。
【請求項2】
前記した、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することは、前記映像情報に対して顔検出および／または人体検出を行って、前記キャビン内の搭乗者を見つけ出すことと、
前記搭乗者の顔および／または体表に対して血液検出を行って、キャビン内の搭乗者の流血状況を決定することと、を含む
ことを特徴とする請求項１に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項3】
前記した、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することは、前記映像情報に基づいて、血液の色情報および血流の形状情報から、前記搭乗者の流血の有無を検出することを含む
ことを特徴とする請求項１または２に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項4】
前記した、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することは、前記映像情報に基づいて、前記キャビン内の搭乗者の体表領域を検出することと、
前記搭乗者の体表領域を複数の検出領域に分割することと、
前記検出領域毎に血液情報を検出し、各前記検出領域の領域検出結果を得ることと、
各前記検出領域の領域検出結果に基づいて、前記搭乗者の流血状況を決定することと、を含む
ことを特徴とする請求項１～３のいずれか１項に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項5】
前記した、前記映像情報に基づいて、前記キャビン内の搭乗者の体表領域を検出することは、前記映像情報に基づいて、キャビン内の搭乗者の顔表面領域を検出することを含み、前記した、前記搭乗者の体表領域を複数の検出領域に分割することは、前記搭乗者の顔表面領域を複数の検出領域に分割することを含む
ことを特徴とする請求項４に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項6】
前記した、前記検出領域毎に血液情報を検出し、各前記検出領域の領域検出結果を得ることは、検出領域毎に、当該検出領域における血流の形状および面積に基づいて、当該検出領域に流血状況がある第１信頼度を決定することと、
隣接する検出領域の間のそれぞれについて、互いに接する血流の有無を検出することと、
前記検出領域のうち第１検出領域と隣接する第２検出領域との間に互いに接する血流があると検出されたことに応じて、複数の前記第１検出領域および前記第２検出領域の信頼度を第２信頼度に上げることと、を含み、
前記した、各前記検出領域の領域検出結果に基づいて、前記搭乗者の流血状況を決定することは、
前記第１信頼度または前記第２信頼度が信頼度閾値を超えた場合、前記搭乗者からの流血があると決定することと、
各前記検出領域における血流の面積に基づいて、各前記検出領域における血流の面積の和と正の相関関係にある流血のひどさを決定することと、を含む
ことを特徴とする請求項４または５に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項7】
前記した、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出することは、前記映像情報に基づいて前記キャビン内の搭乗者からの流血があると検出されたことに応じて、流血の身体部位および血流の方向を検出することと、
前記流血の身体部位および血流の方向に基づいて、血流の始端である身体部位を出血部位として決定することと、を含む
ことを特徴とする請求項１～６のいずれか１項に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項8】
前記映像情報に基づいて、前記キャビン内の搭乗者の身体姿勢を検出し、前記身体姿勢が予め設定された異常身体姿勢であり、かつ前記異常身体姿勢の継続時間が所定の時間を超えた場合、前記キャビン内の搭乗者の身体姿勢が異常身体姿勢であると判断することと、前記映像情報に基づいて、前記搭乗者の呼吸数、血圧、心拍数のうちの少なくとも１つを含むバイタルサイン指標を検出し、前記バイタルサイン指標を緊急コールセンターに送信することと、
検出された前記搭乗者の流血状況、バイタルサイン指標、異常身体姿勢のうちの少なくとも１つに基づいて、キャビン内の搭乗者の負傷等級を決定し、前記負傷等級を緊急コールセンターに送信することと、のうちの少なく一方をさらに含む
ことを特徴とする請求項１～７のいずれか１項に記載の車両用の緊急コールセンターへの情報送信方法。
【請求項9】
緊急コールの発生に応じて、キャビン内の搭乗者の映像情報を取得する映像情報取得ユニットと、前記映像情報に基づいて、キャビン内の搭乗者の流血状況を検出する流血状況検出ユニットと、
流血状況が検出されたことに応じて、前記流血状況を緊急コールセンターに送信する流血状況送信ユニットと、を含む
ことを特徴とする車両用の緊急コールセンターへの情報送信装置。
【請求項10】
プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリに記憶されている命令を呼び出して請求項１～８のいずれか１項に記載の車両用の緊急コールセンターへの情報送信方法を実行するように構成される
ことを特徴とする電子機器。
【請求項11】
コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、請求項１～８のいずれか１項に記載の車両用の緊急コールセンターへの情報送信方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項12】
コンピュータ読み取り可能なコード、またはコンピュータ読み取り可能なコードを記録するコンピュータ読み取り可能な不揮発性記憶媒体を含み、前記コンピュータ読み取り可能なコードが電子機器のプロセッサにおいて実行されると、前記電子機器のプロセッサが請求項１～８のいずれか１項に記載の車両用の緊急コールセンターへの情報送信方法を実現させるための命令を実行することを特徴とするコンピュータプログラム製品。
【国際調査報告】