特表 2024-540118 車両搭乗者の身体部位を窓から出したことを検出する方法、装置及び車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-31

(54)【発明の名称】車両搭乗者の身体部位を窓から出したことを検出する方法、装置及び車両

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241024BHJP

   B60R 11/02 20060101ALI20241024BHJP

【ＦＩ】

G06T7/00 650Z

B60R11/02 Z

G06T7/00 660Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024525446

(86)(22)【出願日】2022-04-22

(85)【翻訳文提出日】2024-04-26

(86)【国際出願番号】 CN2022088509

(87)【国際公開番号】W WO2023071089

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】202111273194.9

(32)【優先日】2021-10-29

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】519290264

【氏名又は名称】シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド

(74)【代理人】

【識別番号】110001416

【氏名又は名称】弁理士法人信栄事務所

(72)【発明者】

【氏名】チー， カイユエ

(72)【発明者】

【氏名】ウー， チュン

(72)【発明者】

【氏名】ファン，イーチン

(72)【発明者】

【氏名】タオ，イン

(72)【発明者】

【氏名】シュイ，リャン

【テーマコード（参考）】

3D020

5L096

【Ｆターム（参考）】

3D020BA09

3D020BA20

3D020BE03

5L096DA02

5L096DA03

5L096FA02

5L096FA69

5L096GA51

(57)【要約】

本開示は、車両搭乗者の身体部位を窓から出したことを検出する方法、装置及び車両に関するものであり、前記方法は、少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得ることと、少なくとも２系統の検出結果に基づいて、判定結果を特定することと、判定結果が搭乗者の身体部位を窓から出したことを示す場合、注意喚起情報を生成することと、を含む。本開示の実施例によれば、画像データとレーダセンシングデータを組み合わせて判定結果を特定し、注意喚起情報を生成することにより、判定結果の正確性の向上及び車室内の搭乗者の安全性の向上に有利である。
【選択図】図１

【特許請求の範囲】

【請求項1】

車載カメラで収集された画像データと窓領域における障害物を探知するためのレーダセンサで収集されたレーダセンシングデータとを含む少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得ることと、
前記少なくとも２系統の検出結果に基づいて、判定結果を特定することと、
前記判定結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、注意喚起情報を生成することと、を含む、車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項2】

ドアの開閉状態を示すドアデータと、窓の開閉状態を示す窓データとを含む車体信号データを取得することをさらに含み、
前記した、少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得ることは、
前記車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、車両の少なくとも２種類のセンシングデータのそれぞれに基づいて、前記搭乗者の身体部位を窓から出したか否かを検出し、前記少なくとも２系統の検出結果を得ることを含む、請求項１に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項3】

前記した、前記車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得ることは、
前記レーダセンサにセンシングデータを収集するトリガ信号を送信し、前記レーダセンサで収集されたレーダセンシングデータを取得することと、
前記車載カメラで収集された画像データを取得することと、
前記レーダセンシングデータ及び前記画像データのそれぞれに基づいて、前記搭乗者の身体部位を搭乗者の着座位置に対応する窓から出したか否かを検出し、前記レーダセンサに基づく検出結果及び前記画像データに基づく検出結果を得ることと、を含む、請求項２に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項4】

前記車体信号データが、ドアが開いていること、又は搭乗者の着座位置に対応する窓がいずれも閉じていることを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出していないと特定することをさらに含む、請求項２に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項5】

前記した、少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得ることは、
前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることと、
前記レーダセンシングデータに基づいて、第２検出結果を得ることと、を含み、
前記した、前記少なくとも２系統の検出結果に基づいて、判定結果を特定することは、
前記第１検出結果及び前記第２検出結果に基づいて、判定結果を特定することを含む、請求項１～４のいずれか１項に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項6】

前記した、前記第１検出結果及び前記第２検出結果に基づいて、判定結果を特定することは、
前記第１検出結果及び前記第２検出結果がいずれも身体部位を窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出したと特定することと、
前記第１検出結果が身体部位を窓から出したことを示し、前記第２検出結果が身体部位を窓から出していないことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出していないと特定することと、
前記第１検出結果が身体部位を窓から出していないことを示し、前記第２検出結果が身体部位を窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出したと特定することと、の少なくとも１つを含む、請求項５に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項7】

前記した、少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得ることは、
前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることと、
前記第１検出結果が身体部位を窓から出したことを示す場合、前記第１検出結果に基づいて、前記画像データにおける身体部位を窓から出した目標搭乗者の座席情報を取得することと、
前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータを取得することと、
前記目標窓のレーダセンシングデータに基づいて、第２検出結果を特定することと、を含む、請求項１に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項8】

前記した、前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータを取得することは、
前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータ、及び前記目標搭乗者の座席情報に対応するドアである目標ドアの開閉状態を示す第１信号データと前記目標窓の開閉状態を示す第２信号データとを含む前記目標搭乗者の座席情報に関連する車体信号データを取得することを含み、
前記した、前記目標窓のレーダセンシングデータに基づいて、前記第２検出結果を特定することは、
前記レーダセンシングデータと前記車体信号データに基づいて、前記第２検出結果を特定することを含む、請求項７に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項9】

前記した、前記少なくとも２系統の検出結果に基づいて、判定結果を特定することは、
前記第２検出結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を前記窓から出したと特定することを含む、請求項７または８に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項10】

前記した、前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることは、
前記画像データに基づいて車両搭乗者の身体部位と窓との相対的な状態を認識し、前記車両搭乗者の身体部位を窓から出したことについての信頼度を得ることを含む、請求項５～９のいずれか１項に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項11】

前記した、前記少なくとも２系統の検出結果に基づいて、判定結果を特定することは、
前記信頼度が予め設定された閾値より大きい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出したことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出したと特定することと、
前記信頼度が予め設定された閾値より小さい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出したことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出したと特定することと、
前記信頼度が予め設定された閾値より小さい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出していないことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出していないと特定することと、の少なくとも１つを含む、請求項１０に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項12】

前記車載カメラは、車室内に設けられたカメラ及び／又は車室外に設けられたカメラを含む、請求項１～１０のいずれか１項に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項13】

前記レーダセンサは、前記窓の上縁及び／又は下縁に設けられる、請求項１～１１のいずれか１項に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項14】

前記センシングデータは、赤外線センシングデータ及び／又はミリ波センシングデータをさらに含む、請求項１～１２のいずれか１項に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項15】

車載カメラで収集された画像データと窓領域における障害物を探知するためのレーダセンサで収集されたレーダセンシングデータとを含む少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得るための検出モジュールと、
前記少なくとも２系統の検出結果に基づいて、判定結果を特定するための特定モジュールと、
前記判定結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、注意喚起情報を生成するための注意喚起モジュールと、を含む、車両搭乗者の身体部位を窓から出したことを検出する装置。

【請求項16】

車載カメラで収集された画像データと窓領域における障害物を探知するためのレーダセンサで収集されたレーダセンシングデータとを含む少なくとも２種類のセンシングデータを収集するための少なくとも２種類のセンサと、
前記センサから前記少なくとも２種類のセンシングデータを取得し、前記少なくとも２種類のセンシングデータに基づいて、車両の搭乗者の身体部位を窓から出したか否かを検出し、前記搭乗者の身体部位を前記窓から出した場合、注意喚起情報を生成するためのコントローラと、を含む、車両。

【請求項17】

プロセッサと、
プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリに記憶されている命令を呼び出して、請求項１～１４のいずれか１項に記載の車両搭乗者の身体部位を窓から出したことを検出する方法を実行するように構成される電子機器。

【請求項18】

コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、請求項１～１４のいずれか１項に記載の車両搭乗者の身体部位を窓から出したことを検出する方法を実現させるコンピュータ読み取り可能な記憶媒体。

【請求項19】

コンピュータ読み取り可能なコード又はコンピュータ読み取り可能なコードが記憶されているコンピュータ読み取り可能な記憶媒体を含み、前記コンピュータ読み取り可能なコードが電子機器のプロセッサにおいて動作すると、前記電子機器のプロセッサに請求項１～１４のいずれか１項に記載の車両搭乗者の身体部位を窓から出したことを検出する方法を実行させるコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０２１年１０月２９日に中国特許庁に提出された、出願番号２０２１１１２７３１９４．９、発明の名称「車両搭乗者の身体部位を窓から出したことを検出する方法、装置及び車両」の中国特許出願の優先権を主張し、その開示の全てが参照によって本開示に組み込まれる。

【0002】

本開示は、コンピュータの技術分野に関し、特に車両搭乗者の身体部位を窓から出したことを検出する方法、装置及び車両に関する。

【背景技術】

【0003】

車両の運転中に、運転者や乗客の肢体を窓から出したことは非常に危険な行為であり、走行の安全を脅かし、交通事故を起こしやすい。そのため、どうすれば、運転者や乗客の肢体を窓から出したことを正確に検出し、適時に対応することができるかについて、車室内における運転者及び乗客の安全には重要な意味がある。

【発明の概要】

【0004】

本開示は、車両搭乗者の身体部位を窓から出したことを検出する技術的解決手段を提案する。

【0005】

本開示の一方面によれば、車載カメラで収集された画像データと窓領域における障害物を探知するためのレーダセンサで収集されたレーダセンシングデータとを含む少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得ることと、
前記少なくとも２系統の検出結果に基づいて、判定結果を特定することと、
前記判定結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、注意喚起情報を生成することと、を含む、車両搭乗者の身体部位を窓から出したことを検出する方法を提供する。

【0006】

１つの可能な実現形態では、前記方法は、
ドアの開閉状態を示すドアデータと、窓の開閉状態を示す窓データとを含む車体信号データを取得することをさらに含み、
前記した、少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得ることは、
前記車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、車両の少なくとも２種類のセンシングデータのそれぞれに基づいて、前記搭乗者の身体部位を窓から出したか否かを検出し、前記少なくとも２系統の検出結果を得ることを含む。

【0007】

１つの可能な実現形態では、前記した、前記車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得ることは、
前記レーダセンサにセンシングデータを収集するトリガ信号を送信し、前記レーダセンサで収集されたレーダセンシングデータを取得することと、
前記車載カメラで収集された画像データを取得することと、
前記レーダセンシングデータ及び前記画像データのそれぞれに基づいて、前記搭乗者の身体部位を搭乗者の着座位置に対応する窓から出したか否かを検出し、前記レーダセンサに基づく検出結果及び前記画像データに基づく検出結果を得ることと、を含む。

【0008】

１つの可能な実現形態では、前記方法は、
前記車体信号データが、ドアが開いていること、又は搭乗者の着座位置に対応する窓がいずれも閉じていることを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出していないと特定することをさらに含む。

【0009】

１つの可能な実現形態では、前記した、少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得ることは、
前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることと、
前記レーダセンシングデータに基づいて、第２検出結果を得ることと、を含み、
前記した、前記少なくとも２系統の検出結果に基づいて、判定結果を特定することは、
前記第１検出結果及び前記第２検出結果に基づいて、判定結果を特定することを含む。

【0010】

前記した、前記第１検出結果及び前記第２検出結果に基づいて、判定結果を特定することは、
前記第１検出結果及び前記第２検出結果がいずれも身体部位を窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出したと特定することと、
前記第１検出結果が身体部位を窓から出したことを示し、前記第２検出結果が身体部位を窓から出していないことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出していないと特定することと、
前記第１検出結果が身体部位を窓から出していないことを示し、前記第２検出結果が身体部位を窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出したと特定することと、の少なくとも１つを含む。

【0011】

１つの可能な実現形態では、前記した、少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得ることは、
前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることと、
前記第１検出結果が身体部位を窓から出したことを示す場合、前記第１検出結果に基づいて、前記画像データにおける身体部位を窓から出した目標搭乗者の座席情報を取得することと、
前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータを取得することと、
前記目標窓のレーダセンシングデータに基づいて、第２検出結果を特定することと、を含む。

【0012】

１つの可能な実現形態では、前記した、前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータを取得することは、
前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータ、及び前記目標搭乗者の座席情報に対応するドアである目標ドアの開閉状態を示す第１信号データと前記目標窓の開閉状態を示す第２信号データとを含む前記目標搭乗者の座席情報に関連する車体信号データを取得することを含み、
前記レーダセンシングデータに基づいて、前記第２検出結果を特定することは、
前記レーダセンシングデータと前記車体信号データに基づいて、前記第２検出結果を特定することを含む。

【0013】

１つの可能な実現形態では、前記した、前記少なくとも２系統の検出結果に基づいて、判定結果を特定することは、
前記第２検出結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を前記窓から出したと特定することを含む。

【0014】

１つの可能な実現形態では、前記した、前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることは、
前記画像データに基づいて車両搭乗者の身体部位と窓との相対的な状態を認識し、前記車両搭乗者の身体部位を窓から出したことについての信頼度を得ることを含む。

【0015】

１つの可能な実現形態では、前記した、前記少なくとも２系統の検出結果に基づいて、判定結果を特定することは、
前記信頼度が予め設定された閾値より大きい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出したことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出したと特定することと、
前記信頼度が予め設定された閾値より小さい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出したことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出したと特定することと、
前記信頼度が予め設定された閾値より小さい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出していないことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出していないと特定することと、の少なくとも１つを含む。

【0016】

１つの可能な実現形態では、前記車載カメラは、車室内に設けられたカメラ及び／又は車室外に設けられたカメラを含む。

【0017】

１つの可能な実現形態では、前記レーダセンサは、前記窓の上縁／下縁に設けられる。

【0018】

１つの可能な実現形態では、前記センシングデータは、赤外線センシングデータ及び／又はミリ波センシングデータをさらに含む。

【0019】

本開示の一方面によれば、車載カメラで収集された画像データと窓領域における障害物を探知するためのレーダセンサで収集されたレーダセンシングデータとを含む少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得るための検出モジュールと、
前記少なくとも２系統の検出結果に基づいて、判定結果を特定するための特定モジュールと、
前記判定結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、注意喚起情報を生成するための注意喚起モジュールと、を含む、車両搭乗者の身体部位を窓から出したことを検出する装置を提供する。

【0020】

１つの可能な実現形態では、前記装置は、
ドアの開閉状態を示すドアデータと、窓の開閉状態を示す窓データとを含む車体信号データを取得するための車体信号データ取得モジュールをさらに含み、
前記検出モジュールは、前記車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、車両の少なくとも２種類のセンシングデータのそれぞれに基づいて、前記搭乗者の身体部位を窓から出したか否かを検出し、前記少なくとも２系統の検出結果を得ることに用いられる。

【0021】

１つの可能な実現形態では、前記車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、前記検出モジュールは、
前記レーダセンサにセンシングデータを収集するトリガ信号を送信し、前記レーダセンサで収集されたレーダセンシングデータを取得することと、
前記車載カメラで収集された画像データを取得することと、
前記レーダセンシングデータ及び前記画像データのそれぞれに基づいて、前記搭乗者の身体部位を搭乗者の着座位置に対応する窓から出したか否かを検出し、前記レーダセンサに基づく検出結果及び前記画像データに基づく検出結果を得ることと、に用いられる。

【0022】

１つの可能な実現形態では、前記装置はさらに、前記車体信号データが、ドアが開いていること、又は搭乗者の着座位置に対応する窓がいずれも閉じていることを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出していないと特定することに用いられる。

【0023】

１つの可能な実現形態では、前記検出モジュールは、
前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることと、
前記レーダセンシングデータに基づいて、第２検出結果を得ることと、に用いられ、
前記特定モジュールは、
前記第１検出結果及び前記第２検出結果に基づいて、判定結果を特定することに用いられる。

【0024】

１つの可能な実現形態では、前記特定モジュールは、
前記第１検出結果及び前記第２検出結果がいずれも身体部位を窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出したと特定することと、
前記第１検出結果が身体部位を窓から出したことを示し、前記第２検出結果が身体部位を窓から出していないことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出していないと特定することと、
前記第１検出結果が身体部位を窓から出していないことを示し、前記第２検出結果が身体部位を窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出したと特定することと、の少なくとも１つに用いられる。

【0025】

１つの可能な実現形態では、前記検出モジュールは、
前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることと、
前記第１検出結果が身体部位を窓から出したことを示す場合、前記第１検出結果に基づいて、前記画像データにおける身体部位を窓から出した目標搭乗者の座席情報を取得することと、
前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータを取得することと、
前記目標窓のレーダセンシングデータに基づいて、第２検出結果を特定することと、に用いられる。

【0026】

１つの可能な実現形態では、前記した、前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータを取得することは、
前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータ、及び前記目標搭乗者の座席情報に対応するドアである目標ドアの開閉状態を示す第１信号データと前記目標窓の開閉状態を示す第２信号データとを含む前記目標搭乗者の座席情報に関連する車体信号データを取得することを含み、
前記した、前記目標窓のレーダセンシングデータに基づいて、前記第２検出結果を特定することは、
前記レーダセンシングデータと前記車体信号データに基づいて、前記第２検出結果を特定することを含む。

【0027】

１つの可能な実現形態では、前記特定モジュールは、前記第２検出結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を前記窓から出したと特定することに用いられる。

【0028】

１つの可能な実現形態では、前記した、前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることは、
前記画像データに基づいて車両搭乗者の身体部位と窓との相対的な状態を認識し、前記車両搭乗者の身体部位を窓から出したことについての信頼度を得ることを含む。

【0029】

１つの可能な実現形態では、前記特定モジュールは、
前記信頼度が予め設定された閾値より大きい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出したことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出したと特定することと、
前記信頼度が予め設定された閾値より小さい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出したことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出したと特定することと、
前記信頼度が予め設定された閾値より小さい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出していないことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出していないと特定することと、の少なくとも１つに用いられる。

【0030】

１つの可能な実現形態では、前記車載カメラは、車室内に設けられたカメラ及び／又は車室外に設けられたカメラを含む。

【0031】

１つの可能な実現形態では、前記レーダセンサは、前記窓の上縁／下縁に設けられる。

【0032】

１つの可能な実現形態では、前記センシングデータは、赤外線センシングデータ及び／又はミリ波センシングデータをさらに含む。

【0033】

本開示の一方面によれば、車載カメラで収集された画像データと窓領域における障害物を探知するためのレーダセンサで収集されたレーダセンシングデータとを含む少なくとも２種類のセンシングデータを収集するための少なくとも２種類のセンサと、
前記センサから前記少なくとも２種類のセンシングデータを取得し、前記少なくとも２種類のセンシングデータに基づいて、前記車両の搭乗者の身体部位を窓から出したか否かを検出し、前記搭乗者の身体部位を前記窓から出した場合、注意喚起情報を生成するためのコントローラと、を含む車両を提供する。

【0034】

本開示の一方面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリに記憶されている命令を呼び出して、上述した車両搭乗者の身体部位を窓から出したことを検出する方法を実行するように構成される電子機器を提供する。

【0035】

本開示の一方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上述した車両搭乗者の身体部位を窓から出したことを検出する方法を実現させるコンピュータ読み取り可能な記憶媒体を提供する。

【0036】

本開示の一方面によれば、コンピュータ読み取り可能なコード又はコンピュータ読み取り可能なコードが記憶されているコンピュータ読み取り可能な記憶媒体を含み、前記コンピュータ読み取り可能なコードが電子機器のプロセッサにおいて動作すると、前記電子機器のプロセッサに上述した車両搭乗者の身体部位を窓から出したことを検出する方法を実行させるコンピュータプログラム製品を提供する。

【0037】

本開示の実施例では、車載カメラで収集された画像データと窓領域における障害物を探知するためのレーダセンサで収集されたレーダセンシングデータとを含む少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得るとともに、少なくとも２系統の検出結果に基づいて、判定結果を特定し、判定結果が搭乗者の身体部位を窓から出したことを示す場合、注意喚起情報を生成する。本開示の実施例によれば、画像データとレーダセンシングデータを組み合わせて判定結果を特定し、注意喚起情報を生成することにより、判定結果の正確性の向上及び乗車安全性の向上に有利である。

【0038】

以上の一般な説明と以下の詳細な説明は、例示的や解釈的なものに過ぎず、本開示を制限するものではないと理解すべきである。以下、図面を参考しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴および方面は明確になる。

【図面の簡単な説明】

【0039】

明細書の一部として含まれる図面は、本開示の実施例を示し、明細書と共に本開示の技術的手段を説明するものである。

【図1】本開示の実施例に係る車両搭乗者の身体部位を窓から出したことを検出する方法を示すフローチャートである。

【図2】本開示の実施例に係る車両搭乗者の身体部位を窓から出したことを検出する方法を示す模式図である。

【図3】本開示の実施例に係る車両搭乗者の身体部位を窓から出したことを検出する装置を示すブロック図である。

【図4】本開示の実施例に係る電子機器１９００を示すブロック図である。

【発明を実施するための形態】

【0040】

以下、図面を参照しながら本開示の様々な例示的実施例、特徴および態様を詳細に説明する。図面において、同じ符号は、機能が同じまたは類似する要素を表す。図面において実施例の様々な態様を示したが、特に明記されていない限り、図面は、必ずしも原寸に比例しているとは限らない。

【0041】

ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は、必ずしも他の実施例より好ましい又は優れたものであると解釈されるとは限らない。

【0042】

本明細書において、用語の「及び／又は」は、関連対象の関連関係を記述するのものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢが同時に存在し、Ｂのみが存在するという３つの場合を示すことができる。また、本明細書において、用語の「少なくとも１つ」は複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ及びＣのうちの少なくとも１つを含むということは、Ａ、Ｂ及びＣで構成される集合から選択されたいずれか１つ又は複数の要素を含むことを示すことができる。

【0043】

また、本開示をより良く説明するために、以下の具体的な実施形態には多くの具体的な細部が示されている。当業者であれば、何らかの具体的な細部がなくても、本開示は同様に実施できることを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者によく知られている方法、手段、素子および回路について、詳細な説明を行わない。

【0044】

車両の走行中、運転者や他の搭乗者は手、頭部、又は他の身体部位を窓から出す危険な動作を行う可能性があり、これは重大な事故につながるおそれがある。

【0045】

本開示の実施例は車両搭乗者の身体部位を窓から出したことを検出する技術的解決手段を提供し、少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得るとともに、少なくとも２系統の検出結果に基づいて、判定結果を特定し、判定結果が搭乗者の身体部位を窓から出したことを示す場合、注意喚起情報を生成する。本開示の実施例によれば、画像データとレーダセンシングデータを組み合わせることで、搭乗者の身体部位を窓から出したか否かを正確に識別し、搭乗者の身体部位を窓から出したことを示す判定結果の場合、注意喚起情報を生成することにより、搭乗者の乗車安全性の向上に有利である。

【0046】

図１は本開示の実施例に係る車両搭乗者の身体部位を窓から出したことを検出する方法を示すフローチャートである。１つの可能な実現形態では、前記した、車両搭乗者の身体部位を窓から出したことを検出する方法は、車載装置、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ち装置、計算装置、ウエアラブルデバイス等の端末装置又はサーバなどの電子機器により実行されてもよい。ここで、車載装置は、車室内のコントローラ、ドメインコントローラ、又は車載インフォテインメントであってもよく、搭乗者モニタリングシステム（Ｏｃｃｕｐａｎｔ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ、ＯＭＳ）又は運転者モニタリングシステム（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒ Ｓｙｓｔｅｍ、ＤＭＳ）などのうち、画像などのデータ処理操作を実行するための機器ホストなどであってもよい。いくつかの可能な実現形態では、前記した、車両搭乗者の身体部位を窓から出したことを検出する方法は、プロセッサによりメモリに記憶されているコンピュータ読み取り可能な命令を呼び出すことで実現されてもよい。図１に示すように、前記した、車両搭乗者の身体部位を窓から出したことを検出する方法は、ステップＳ１１～ステップＳ１３を含む。

【0047】

ステップＳ１１において、車載カメラで収集された画像データと窓領域における障害物を探知するためのレーダセンサで収集されたレーダセンシングデータとを含む少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得る。

【0048】

ステップＳ１２において、前記少なくとも２系統の検出結果に基づいて、判定結果を特定する。

【0049】

ステップＳ１３において、前記判定結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、注意喚起情報を生成する。

【0050】

本開示の実施例は、乗用車、タクシー、オンライン配車、シェアカー、バスなどの任意の種類の車両に適用できる。車両の車種としては、例えば、コンパクトタイプ、スポーツ・ユーティリティ・ビークル（Ｓｐｏｒｔ Ｕｔｉｌｉｔｙ Ｖｅｈｉｃｌｅ、ＳＵＶ）などであってもよいが、本開示の実施例では、これを限定しない。前記車両搭乗者は、車両に乗車する任意の人を含んでもよい。例えば、車両の搭乗者は、運転者及び／又は非運転者を含んでもよい。例えば、自家用車の適用シーンでは、非運転者は、オーナーの家族や友人等であってもよい。オンライン配車の適用シーンでは、非運転者は、乗客などであってもよい。前記搭乗者の身体部位は搭乗者の身体の一部であり、手、腕、頭、足、脚のうちの少なくとも１つを含んでもよい。

【0051】

１つの可能な実現形態では、車両において車両搭乗者の身体部位を窓から出したか否かを検出するためのセンサが２種類ある場合、ステップＳ１１において、２種類のセンシングデータを取得することができる。例えば、車載カメラで収集された画像データと窓領域における障害物を探知するためのレーダセンサで収集されたレーダセンシングデータとを含む。

【0052】

車載カメラで収集された画像データについて、車載カメラは、車室内に設けられるカメラ及び／又は車室外に設けられるカメラを含んでもよい。車載カメラは、車両に設けられる任意のカメラであってもよい。車載カメラの数は１つ以上であってもよい。車載カメラのタイプは、ＤＭＳカメラ、ＯＭＳカメラ、車外カメラなどであってもよいが、本開示ではこれらを限定しない。車載カメラで収集された画像データは、ＤＭＳカメラ、ＯＭＳカメラ、車外カメラなど、車室内又は車室外に設けられたカメラで撮影された車室環境の画像データであってもよい。この画像データは少なくとも車内の人の着座領域と窓領域の映像情報、すなわち、前記カメラの視野範囲内に少なくとも一部の人の着座領域と少なくとも一部の窓領域とを含む必要がある。

【0053】

ＯＭＳシステムとＤＭＳシステムの車両への普及に伴い、車載のＯＭＳカメラとＤＭＳカメラを直接利用することができる場合に、カメラを別途追加する必要がなく搭乗者の身体部位を窓から出したか否かを検出することができるため、コスト削減に有利であるということは理解されるべきである。

【0054】

レーダセンサで収集されたレーダセンシングデータについて、前記レーダセンサは前記窓の上縁／下縁に設けられ、例えば、車両の各窓の上縁／下縁にレーダセンサを設けることができる。レーダセンサの数は１つ以上であってもよい。レーダセンサのタイプは超音波レーダ、電磁波レーダ、レーザレーダなどであってもよいが、本開示ではこれらを限定しない。レーダセンサで収集されたレーダセンシングデータは、各窓の上縁／下縁に設けられた超音波レーダ、電磁波レーダ、レーザレーダなどのレーダセンサで収集されたレーダセンシングデータであってもよく、各窓領域に障害物が存在するか否かを探知するためのものである。

【0055】

画像データとレーダセンシングデータを取得した後、この２種類のデータのそれぞれに基づいて車両搭乗者の身体部位を窓から出したか否かを検出し、画像データに基づく第１検出結果とレーダセンシングデータに基づく第２検出結果を得ることができる。

【0056】

１つの可能な実現形態では、前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得る。

【0057】

画像データに基づいて、画像データにおける車両搭乗者と窓との相対的な状態を認識することにより、車両搭乗者の身体部位を窓から出したか否かを検出し、第１検出結果を得ることができる。相対的な状態は、搭乗者の身体と窓との相対的な位置または互な重複関係を示し、搭乗者の身体部位が窓の外側又は内側にあることを含んでもよい。選択可能な形態として、画像データにおける車両搭乗者と窓との相対的な状態を認識するために、ニューラルネットワークモデルを用いて画像データを処理してもよい。例えば、車室環境に関する大量（１０００枚）の画像データを用いて、車両搭乗者の身体部位を窓から出したか否かを検出するためのニューラルネットワークモデルを予めトレーニングし、画像データをトレーニング済みニューラルネットワークモデルに入力し、第１検出結果を得るようにしてもよい。ここで、車両搭乗者の身体部位を窓から出したか否かを検出するためのニューラルネットワークモデルは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＣＮＮ）、再帰型ニューラルネットワーク（Ｒｅｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ 、ＲＮＮ）、敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ、ＧＡＮ）などのニューラルネットワークモデルであってもよいが、本開示ではこれを限定しない。選択可能な形態として、画像データにおける窓及び人の身体部位を検出し、両者の検出結果から両者の位置が重なっているか否かを判定するとともに、人の身体部位の少なくとも一部が車体の外側にあるか否かを判定することにより、車両搭乗者と窓との相対的な状態を特定するようにしてもよい。

【0058】

１つの可能な実現形態では、前記レーダセンシングデータに基づいて、第２検出結果を得る。

【0059】

レーダセンシングデータに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、第２検出結果を得るようにしてもよい。レーダセンサは、障害物を検知するためのものであり、例えば、窓の外側、窓の下縁の下方、窓の上縁、下縁の少なくとも１つの位置に配置することができる。レーダセンシングデータに基づいて、窓の上下縁の間に障害物が存在するか否かを判定するか、又はレーダセンシングデータに基づいて、検知された障害物との距離（例えば障害物とレーダセンサとの間の距離）を取得し、障害物との距離が予め設定された距離より小さいか否か（例えば窓の下縁に位置するレーダセンサで検知された障害物との距離が窓の上縁とレーダセンサとの間の距離より小さい）を判定することにより、車両搭乗者の身体部位を窓から出したか否かを検出し、第２検出結果を得るようにしてもよい。ここで、同一の窓の上縁／下縁に複数のレーダセンサを設けてもよい。該窓の複数のレーダセンサで収集された複数のレーダセンシングデータを総合的に分析し、第２検出結果を得ることができるが、本開示では、レーダセンシングデータに基づいて第２検出結果を特定する具体的な方法を限定しない。

【0060】

ステップＳ１１において、画像データに基づく第１検出結果及びレーダセンシングデータに基づく第２検出結果を得る。ステップＳ１２において、第１検出結果及び第２検出結果に基づいて、判定結果を特定することができる。ここで、様々な判定方法を用いて判定結果を特定することができるが、本開示では具体的な判定方法を限定しない。

【0061】

例えば、同一の窓に対応する第１検出結果及び第２検出結果の値を「０」及び「１」で示すことができると仮定する。ここで、「０」は車両搭乗者の身体部位を窓から出していないことを示し、「１」は車両搭乗者の身体部位を窓から出したことを示す。

【0062】

１つの可能な実現形態では、第１検出結果及び第２検出結果に対してＯＲ演算を行い、第１検出結果と第２検出結果とのＯＲ演算の結果を、判定結果として特定することができる。このようにして、第１検出結果又は第２検出結果のうち、いずれかの検出結果は車両搭乗者の身体部位を窓から出したことを示すものであれば、車両搭乗者の身体部位を窓から出したとの判定結果を得ることができるので、車両搭乗者の身体部位を窓から出したことの判定漏れ率を低減するのに有利である。

【0063】

又は、別の可能な実現形態では、第１検出結果及び第２検出結果に対してＡＮＤ演算を行い、第１検出結果と第２検出結果とのＡＮＤ演算の結果を、判定結果として特定することができる。このようにして、第１検出結果及び第２検出結果がいずれも身体部位を窓から出したことを示す場合にのみ、判定結果として、搭乗者の身体部位を窓から出したと特定するので、車両搭乗者の身体部位を窓から出したことの誤認率を低減するのに有利である。

【0064】

又は、別の可能な実現形態では、第１検出結果及び第２検出結果に対してプリセット重みを設定して、プリセット重みの大きさに基づいて、第１検出結果及び第２検出結果の判定結果への影響の大きさを特定し、最終的な判定結果を得てもよい。

【0065】

別の可能な実現形態では、レーダセンシングデータを基準にしてもよい。レーダセンシングデータに基づく第２検出結果が身体部位を窓から出したことを示せば、判定結果として、搭乗者の身体部位を窓から出したと特定する。１つの可能な実現形態では、前記第１検出結果及び前記第２検出結果に基づいて、判定結果を特定することは、前記第１検出結果及び前記第２検出結果がいずれも身体部位を窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出したと特定することと、前記第１検出結果が身体部位を窓から出したことを示し、前記第２検出結果が身体部位を窓から出していないことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出していないと特定することと、前記第１検出結果が身体部位を窓から出していないことを示し、前記第２検出結果が身体部位を窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出したと特定することと、の少なくとも１つを含む。

【0066】

ここで、本開示では、プリセット重みの大きさを制限しない。第１検出結果及び第２検出結果のプリセット重みの設定により、具体的なシーンに対して適切な判定方法を選択し、判定結果の正確性の向上に有利である。

【0067】

ステップＳ１２において、判定結果を特定した。ステップＳ１３において、前記判定結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、注意喚起情報を生成することができる。

【0068】

例えば、判定結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、車載インフォテインメント及び／又はセンターコンソール等を介して「窓から体を出さないでください」という注意喚起情報を表示することができる。ここで、注意喚起情報としては、文字注意喚起情報、音声注意喚起情報、画面注意喚起情報などの形態であってもよいが、本開示ではこれを限定しない。

【0069】

１つの可能な実現形態では、車両において車両搭乗者の身体部位を窓から出したか否かを検出するためのセンサが２種類を超える場合、すなわち、車両において、車載カメラ及びレーダセンサに加えて、例えば赤外線センサ、ミリ波センサなど、窓領域における障害物を探知する他のセンサが設けられていてもよい。

【0070】

画像データ及びレーダセンシングデータに基づいて第１検出結果及び第２検出結果を特定した上で、他の種類のセンサで収集されたセンシングデータ（例えば赤外線センシングデータ及び／又はミリ波センシングデータ）のそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、それに対応する他の系統の検出結果を特定するようにしてもよい。複数の系統の検出結果から判定結果を特定し、前記判定結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、注意喚起情報を生成するようにしてもよい。ここで、取得されたセンシングデータの種類が多いほど、各種類のセンサでより多い系統数の検出結果を得て、さらに、より多い系統数の検出結果に基づく判定結果も正確になる。具体的な過程は、２種類のセンサに関する上述内容を参照すればよく、ここで詳細な説明を省略する。

【0071】

よって、本開示の実施例では、少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得るとともに、少なくとも２系統の検出結果に基づいて、判定結果を特定し、判定結果が搭乗者の身体部位を窓から出したことを示す場合、注意喚起情報を生成する。本開示の実施例によれば、搭乗者の身体部位を窓から出したか否かを正確に識別し、搭乗者の身体部位を窓から出したことを示す判定結果の場合、注意喚起情報を生成することができるので、車室内の搭乗者の安全性の向上に有利である。

【0072】

以下、本開示の実施例に係る車両搭乗者の身体部位を窓から出したことを検出する方法について説明する。

【0073】

図２は本開示の実施例に係る車両搭乗者の身体部位を窓から出したことを検出する方法を示す模式図である。図２に示すように、車両搭乗者の身体部位を窓から出したことを検出するためのデータは、レーダセンサで収集されたレーダセンシングデータ、車載カメラで収集された画像データ、及び車体信号データを含んでもよい。プロセッサによってレーダセンシングデータ、画像データ、及び車体信号データを総合的に分析して処理することにより、搭乗者の身体部位を窓から出したか否かを特定し、搭乗者の身体部位を窓から出した場合に、注意喚起情報を生成することができる。

【0074】

図２に示した実施形態は例示的なものに過ぎず、本開示の実施例に係るセンシングデータは窓領域における障害物を探知するためのレーダセンサで収集されたレーダセンシングデータ、窓領域における障害物を探知するためのミリ波センサで収集されたミリ波センシングデータなどをさらに含んでもよいが、本開示ではこれを限定しないことは理解されるべきです。

【0075】

１つの可能な実現形態では、前記方法は、ドアの開閉状態を示すドアデータと、窓の開閉状態を示す窓データとを含む車体信号データを取得することをさらに含む。

【0076】

例えば、ローカルインターコネクタネットワーク（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ、ＬＩＮ）バス、コントローラエリアネットワーク（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＣＡＮ）バスなどの車体バスから車体信号データを取得し、該車体信号データに基づいて各ドアの開閉状態及び各窓の開閉状態を取得することができる。

【0077】

ここで、車体バスから車体信号データを取得するほか、ドア領域又は窓領域にセンサを設置することにより、ドア、窓の開閉状態を示す車体信号データを取得することができるが、本開示では車体信号データを取得する具体的な方式を限定しない。

【0078】

これに加えて、ステップＳ１１は、前記車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、車両の少なくとも２種類のセンシングデータのそれぞれに基づいて、前記搭乗者の身体部位を窓から出したか否かを検出し、前記少なくとも２系統の検出結果を得ることを含んでもよい。

【0079】

１つの可能な実現形態では、車体信号データ及び少なくとも２種類のセンシングデータ（例えば、画像データ及びレーダセンシングデータを含む）をリアルタイムに取得することができる。該車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、画像データに基づいて、画像データにおける開いている窓に対応する搭乗者の身体部位を該窓から出したか否かを検出し、第１検出結果を得るとともに、レーダセンシングデータに基づいて、該搭乗者の身体部位を窓から出したか否かを検出し、第２検出結果を得ることができる。

【0080】

例えば、車体信号データが、ドアが閉じていて、かつ、運転者の着座位置に対応する窓が開いていることを示すと仮定する。この場合、画像データに基づいて、画像データから関心領域、すなわち、運転者及び運転席の窓を含む領域を切り出し、該領域において運転者の身体部位を該窓から出した否かを検出し、第１検出結果を得ることができ、運転席の窓に対応するレーダセンシングデータに基づいて、該運転者の身体部位を窓から出したか否かを検出し、第２検出結果を得ることができる。

【0081】

このようにして、車体信号データ及び少なくとも２種類のセンシングデータをリアルタイムに取得するとともに、車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、少なくとも２種類のセンシングデータのそれぞれに対して検出を行い、少なくとも２系統の検出結果を得ることができる。この方法は簡単で実行しやすく、現場での実施の効率向上に有利である。

【0082】

１つの可能な実現形態では、前記車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、ステップＳ１１において、前記レーダセンサにセンシングデータを収集するトリガ信号を送信し、前記レーダセンサで収集されたレーダセンシングデータを取得することと、前記車載カメラで収集された画像データを取得することと、前記レーダセンシングデータ及び前記画像データのそれぞれに基づいて、前記搭乗者の身体部位を搭乗者の着座位置に対応する窓から出したか否かを検出し、前記レーダセンサに基づく検出結果及び前記画像データに基づく検出結果を得ることと、を含む。

【0083】

例えば、車体信号データを先に取得しており、前記車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、レーダセンサをトリガしてレーダセンシングデータを収集し、及び車載カメラで収集された画像データを取得する。例えば、前記車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、レーダセンサにトリガ信号（例えば一つまたは複数の高パルス信号）を送信することができ、窓領域における障害物を探知するレーダセンサを動作状態にさせ、レーダセンシングデータを収集する。車載カメラは画像データを持続的に取得できるため、動作状態にあることは理解されるべきである。前記車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、車載カメラにその動作をトリガする信号を送信しなくても車載カメラで収集された画像データを得ることができる。

【0084】

画像データに基づいて、画像データにおける開いている窓に対応する搭乗者の身体部位を該窓から出したか否かを検出し、第１検出結果を得るとともに、レーダセンシングデータに基づいて、該搭乗者の身体部位を窓から出したか否かを検出し、第２検出結果を得るようにしてもよい。

【0085】

このようにして、トリガ条件を満たす場合、レーダセンサをトリガしてレーダセンシングデータを収集するので、エネルギー消費の低減、レーダセンサの耐用年数の延長に有利である。

【0086】

１つの可能な実現形態では、前記車体信号データが、ドアが開いていること、又は搭乗者の着座位置に対応する窓がいずれも閉じていることを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出していないと特定する。

【0087】

例えば、車両のドアが開いている場合に、例えば搭乗者が乗降するなど、車両が非走行状態にあってもよい。車両の運転中、車両搭乗者の肢体を窓から出した行為の背後には、大きな隠された危険が存在する。逆に、非走行状態の車両に対して、搭乗者の身体部位を窓から出したか否かを検出する意味が大きくない。したがって、車体信号データが、ドアが開いているか（車両が非走行状態にある可能性があることを意味する）又は搭乗者の着座位置に対応する窓がいずれも閉じていることを示す場合、画像データ及びレーダセンシングデータを考慮せず、判定結果として、前記搭乗者の身体部位を窓から出していないと直接特定することができる。

【0088】

このようにして、画像データ及びレーダセンシングデータを検出する必要がなく、搭乗者の身体部位を窓から出していないとの判定結果を直接得ることができ、判定効率を高めることができる。

【0089】

別の可能なシーンでは、画像データを先に取得し、画像データに応じて、画像データにおける目標窓に対応するレーダセンシングデータ（又はレーダセンシングデータ及び車体信号データ）を取得するようにしてもよい。前記目標窓は画像データにおける身体部位を窓から出した目標搭乗者に対応する目標窓である。

【0090】

１つの可能な実現形態では、ステップＳ１１は、
前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることと、
前記第１検出結果が身体部位を窓から出したことを示す場合、前記第１検出結果に基づいて、前記画像データにおける身体部位を窓から出した目標搭乗者の座席情報を取得することと、
前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータを取得することと、
前記目標窓のレーダセンシングデータに基づいて、第２検出結果を特定することと、を含む。

【0091】

例えば、画像データには複数の搭乗者と複数の窓が存在する可能性があり、画像データにおける各搭乗者の身体部位と窓との相対的な状態を認識し、各搭乗者の身体部位を窓から出したか否かを検出し、第１検出結果を得ることができる。例えば、ある画像データには搭乗者Ａ～搭乗者Ｃが含まれて、搭乗者Ｂの身体部位を窓から出したと仮定する。この画像データについて、トレーニング済みニューラルネットワークに入力して、この画像データの第１検出結果、すなわち、搭乗者Ａ及び搭乗者Ｃの身体部位を窓から出しておらず、搭乗者Ｂの身体部位を窓から出したことを得ることができる。

【0092】

第１検出結果が搭乗者の身体部位を窓から出したことを示す場合、第１検出結果によれば、身体部位を窓から出した搭乗者Ｂを目標搭乗者とし、この搭乗者が座っている座席に関する座席情報（例えば、助手席位置である）を特定する。目標搭乗者Ｂの座席情報に最も近い窓を目標窓とし、例えば、助手席位置に対応する助手席の窓を目標窓とする。助手席の窓のレーダセンシングデータを取得し、このレーダセンシングデータに基づいて、第２検出結果を特定する。

【0093】

このようにして、画像データに応じて、目標窓のレーダセンシングデータを取得して、さらに、目標窓のレーダセンシングデータに基づいて、第２検出結果を特定するので、第２検出結果の正確性の向上に有利である。

【0094】

１つの可能な実現形態では、前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータを取得することは、前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータ、及び前記目標搭乗者の座席情報に対応するドアである目標ドアの開閉状態を示す第１信号データと前記目標窓の開閉状態を示す第２信号データとを含む前記目標搭乗者の座席情報に関連する車体信号データを取得することを含み、前記レーダセンシングデータに基づいて、前記第２検出結果を特定することは、前記レーダセンシングデータと前記車体信号データに基づいて、前記第２検出結果を特定することを含む。

【0095】

例えば、第１検出結果では、搭乗者Ａと搭乗者Ｃの身体部位を窓から出しておらず、助手席に位置する搭乗者Ｂの身体部位を窓から出した。ここで、身体部位を窓から出した搭乗者Ｂは目標搭乗者である。第１検出結果から、目標搭乗者Ｂの座席情報が助手席位置であると特定することができる。助手席の窓（助手席に隣接する窓）のレーダセンシングデータと、助手席位置に関連する車体信号データを取得する。ここで、助手席位置に関連する車体信号データに基づいて、助手席のドアと助手席の窓の開閉状態が分かることができ、助手席位置に関連する車体信号データは、助手席位置のドアの開閉状態を示す第１信号データと、助手席位置の窓の開閉状態を示す第２信号データとを含んでもよい。

【0096】

助手席の窓のレーダセンシングデータ、第１信号データ、第２信号データに基づいて、第２検出結果を特定することができる。ここで、第１信号データは助手席のドアが開状態であることを示す、又は第２信号データは助手席の窓が閉状態であることを示すと、第２検出結果として、助手席位置の搭乗者の身体部位を助手席の窓から出していないと特定することができる。

【0097】

上記過程は例示的なものに過ぎず、本開示の実施例では、画像データにおける各目標搭乗者の座席情報に対応するレーダセンシングデータ及び関連する車体信号データを取得し、各目標搭乗者の座席情報に対応するレーダセンシングデータ及び関連する車体信号データのそれぞれに基づいて、各目標搭乗者に対応する第２検出結果を特定することができることは理解されるべきである。

【0098】

このようにして、画像データに応じて、目標搭乗者の座席情報に対応するレーダセンシングデータ、及び目標搭乗者の座席情報に関連する車体信号データを取得して、さらに目標車窓のレーダセンシングデータとその関連する車体信号データとに基づいて、第２検出結果を特定することができるので、第２検出結果の正確性の更なる向上に有利である。

【0099】

前記車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、ステップＳ１１の上述した例では、第１検出結果は搭乗者の身体部位を窓から出したことが存在することを示す場合のみ、対応するレーダセンシングデータ、又はレーダセンシングデータ及び車体信号データを取得し、第２検出結果を特定する。よって、ステップＳ１２の具体例では、前記第２検出結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を前記窓から出したと特定する。

【0100】

例えば、画像データにおける身体部位を窓から出した目標搭乗者が助手席の搭乗者であると仮定し、第２検出結果が助手席の搭乗者の身体部位を窓から出したことを示す場合、判定結果として、助手席の搭乗者の身体部位を前記窓から出したと特定する。目標搭乗者の座席は任意の座席であってもよいが、本開示ではこれを限定しないことは理解されるべきである。

【0101】

このようにして、判定結果の正確性の向上に有利である。

【0102】

１つの可能な実現形態では、前記した、前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることは、前記画像データに基づいて車両搭乗者の身体部位と窓との相対的な状態を認識し、前記車両搭乗者の身体部位を窓から出したことについての信頼度を得ることを含む。

【0103】

例えば、前記画像データに基づいて車両搭乗者の身体部位と窓の相対的な状態を認識することは、画像データをトレーニング済みニューラルネットワークモデルに入力し、ニューラルネットワークモデルを用いて車両搭乗者の身体部位と窓の相対的な状態を認識し、第１検出結果を得るようにしてもよい。該第１検出結果は、搭乗者の身体部位を窓から出したことについての信頼度を含んでもよい。

【0104】

ここで、上記信頼度の値が大きいほど、身体部位を窓から出した確率が高くなることを意味し、上記信頼度の値が小さいほど、身体部位を窓から出した確率が小さくなることを意味する。

【0105】

このようにして、車両搭乗者の身体部位を窓から出したことについての信頼度を得ることができるので、車両搭乗者の身体部位を窓から出したか否かを示す判定結果の正確性の向上に有利である。

【0106】

ステップＳ１１において、第１検出結果の信頼度を特定した。ステップＳ１２において、第１検出結果の信頼度と第２検出結果とに基づいて、判定結果を特定することができる。

【0107】

１つの可能な実現形態では、ステップＳ１２において、
前記信頼度が予め設定された閾値より大きい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出したことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出したと特定することと、
前記信頼度が予め設定された閾値より大きい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出していないことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出していないと特定することと、
前記信頼度が予め設定された閾値より小さい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出したことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出したと特定することと、
前記信頼度が予め設定された閾値より小さい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出していないことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出していないと特定することと、の少なくとも１つを含む。

【0108】

例えば、前記信頼度が予め設定された閾値（例えば、０．５）よりも大きい場合、画像データに基づいて、搭乗者の身体部位を窓から出した信頼性が高いと特定する。この場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出したことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出したと特定する。

【0109】

前記信頼度が予め設定された閾値（例えば、０．５）よりも小さい場合、画像データに基づいて、搭乗者の身体部位を窓から出した信頼性が低いと特定する。この場合、第２検出結果に基づいて上記判定結果を特定することができる。具体的には、前記第２検出結果が前記車両搭乗者の身体部位を窓から出したことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出したと特定し、前記第２検出結果が前記車両搭乗者の身体部位を窓から出していないことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出していないと特定する。

【0110】

このようにして、信頼度と第２検出結果とを総合的に考慮することができるので、判定結果の正確性の向上に有利である。

【0111】

以上、車体信号データと少なくとも２種類のセンシングデータに基づいて判定結果を特定する複数の方法について説明したが、実際の状況に応じて、判定結果を特定する方法を柔軟に選択できることは理解されるべきである。

【0112】

ステップＳ１１～Ｓ１２により判定結果を特定した。ステップＳ１３において、前記判定結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、注意喚起情報を生成することができる。

【0113】

よって、本開示の実施例では、少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得るとともに、少なくとも２系統の検出結果に基づいて、判定結果を特定し、判定結果が搭乗者の身体部位を窓から出したことを示す場合、注意喚起情報を生成する。本開示の実施例によれば、画像データとレーダセンシングデータを組み合わせることで、搭乗者の身体部位を窓から出したか否かを正確に識別し、搭乗者の身体部位を窓から出したことを示す判定結果の場合、注意喚起情報を生成することができるので、車室内の搭乗者の安全性の向上に有利である。

【0114】

本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解すべきである。紙数に限りがあるので、本開示では詳細な説明を省略する。具体的な実施形態に係る上記の方法において、各ステップの実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。

【0115】

なお、本開示はさらに、車両搭乗者の身体部位を窓から出したことを検出する装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムを提供し、これらはいずれも、本開示によるいずれかの車両搭乗者の身体部位を窓から出したことを検出する方法の実現に用いることができる。かかる技術的解決手段及び説明は、方法に関する説明のかかる記載を参照すればよく、ここで詳細な説明を省略する。

【0116】

図３は本開示の実施例に係る車両搭乗者の身体部位を窓から出したことを検出する装置を示すブロック図である。図３に示すように、前記装置は、
車載カメラで収集された画像データと窓領域における障害物を探知するためのレーダセンサで収集されたレーダセンシングデータとを含む少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得るための検出モジュール７１と、
前記少なくとも２系統の検出結果に基づいて、判定結果を特定するための特定モジュール７２と、
前記判定結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、注意喚起情報を生成するための注意喚起モジュール７３と、を含む。

【0117】

１つの可能な実現形態では、前記装置は、
ドアの開閉状態を示すドアデータと、窓の開閉状態を示す窓データとを含む車体信号データを取得するための取得モジュールをさらに含み、
前記検出モジュール７１は、前記車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、車両の少なくとも２種類のセンシングデータのそれぞれに基づいて、前記搭乗者の身体部位を窓から出したか否かを検出し、前記少なくとも２系統の検出結果を得ることに用いられる。

【0118】

１つの可能な実現形態では、前記車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、前記検出モジュール７１は、
前記レーダセンサにセンシングデータを収集するトリガ信号を送信し、前記レーダセンサで収集されたレーダセンシングデータを取得することと、
前記車載カメラで収集された画像データを取得することと、
前記レーダセンシングデータ及び前記画像データのそれぞれに基づいて、前記搭乗者の身体部位を搭乗者の着座位置に対応する窓から出したか否かを検出し、前記レーダセンサに基づく検出結果及び前記画像データに基づく検出結果を得ることと、に用いられる。

【0119】

１つの可能な実現形態では、前記装置はさらに、前記車体信号データが、ドアが開いていること、又は搭乗者の着座位置に対応する窓がいずれも閉じていることを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出していないと特定することに用いられる。

【0120】

１つの可能な実現形態では、前記検出モジュール７１は、前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることと、
前記レーダセンシングデータに基づいて、第２検出結果を得ることと、に用いられ、
前記特定モジュール７２は、前記第１検出結果及び前記第２検出結果に基づいて、判定結果を特定することに用いられる。

【0121】

１つの可能な実現形態では、前記特定モジュール７２は、
前記第１検出結果及び前記第２検出結果がいずれも身体部位を窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出したと特定することと、
前記第１検出結果が身体部位を窓から出したことを示し、前記第２検出結果が身体部位を窓から出していないことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出していないと特定することと、
前記第１検出結果が身体部位を窓から出していないことを示し、前記第２検出結果が身体部位を窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出したと特定することと、の少なくとも１つに用いられる。

【0122】

１つの可能な実現形態では、前記検出モジュール７１は、
前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることと、
前記第１検出結果が身体部位を窓から出したことを示す場合、前記第１検出結果に基づいて、前記画像データにおける身体部位を窓から出した目標搭乗者の座席情報を取得することと、
前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータを取得することと、
前記目標窓のレーダセンシングデータに基づいて、第２検出結果を特定することと、に用いられる。

【0123】

１つの可能な実現形態では、前記した、前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータを取得することは、
前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータ、及び前記目標搭乗者の座席情報に対応するドアである目標ドアの開閉状態を示す第１信号データと前記目標窓の開閉状態を示す第２信号データとを含む前記目標搭乗者の座席情報に関連する車体信号データを取得することを含み、
前記した、前記目標窓のレーダセンシングデータに基づいて、前記第２検出結果を特定することは、
前記レーダセンシングデータと前記車体信号データに基づいて、前記第２検出結果を特定することを含む。

【0124】

１つの可能な実現形態では、前記特定モジュール７２は、前記第２検出結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を前記窓から出したと特定することに用いられる。

【0125】

１つの可能な実現形態では、前記した、前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることは、
前記画像データに基づいて車両搭乗者の身体部位と窓との相対的な状態を認識し、前記車両搭乗者の身体部位を窓から出したことについての信頼度を得ることを含む。

【0126】

１つの可能な実現形態では、前記特定モジュール７２は、前記信頼度が予め設定された閾値より大きい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出したことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出したと特定することと、
前記信頼度が予め設定された閾値より小さい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出したことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出したと特定することと、
前記信頼度が予め設定された閾値より小さい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出していないことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出していないと特定することと、の少なくとも１つに用いられる。

【0127】

１つの可能な実現形態では、前記車載カメラは、車室内に設けられたカメラ及び／又は車室外に設けられたカメラを含む。

【0128】

１つの可能な実現形態では、前記レーダセンサは、前記窓の上縁／下縁に設けられる。

【0129】

１つの可能な実現形態では、前記センシングデータは、赤外線センシングデータ及び／又はミリ波センシングデータをさらに含む。

【0130】

いくつかの実施例では、本開示の実施例に係る装置の機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられる。具体的な実施は上記方法実施例の記載を参照すれば明らかになり、簡潔さのため、詳細な説明を省略する。

【0131】

本開示の実施例は、さらに、車載カメラで収集された画像データと窓領域における障害物を探知するためのレーダセンサで収集されたレーダセンシングデータとを含む少なくとも２種類のセンシングデータを収集するための少なくとも２種類のセンサと、
前記センサから前記少なくとも２種類のセンシングデータを取得し、前記少なくとも２種類のセンシングデータに基づいて、前記車両の搭乗者の身体部位を窓から出したか否かを検出し、前記搭乗者の身体部位を前記窓から出した場合、注意喚起情報を生成するためのコントローラと、を含む車両を提供する。

【0132】

ここで、コントローラは、上記実施例に記載の車両搭乗者の身体部位を窓から出したことを検出する方法の実現に用いられてもよい。センシングデータは、赤外線センシングデータ及び／又はミリ波センシングデータなどの他のタイプのセンシングデータを含んでもよい。コントローラ及びセンサの例示的な実現方式は上記内容を参照すればよく、ここで詳細な説明を省略する。

【0133】

本開示の実施例は、さらに、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上述した車両搭乗者の身体部位を窓から出したことを検出する方法を実現させるコンピュータ読み取り可能な記憶媒体を提供する。コンピュータ読み取り可能な記憶媒体は、揮発性または不揮発性のコンピュータ読み取り可能な記憶媒体であってもよい。

【0134】

本開示の実施例は、さらに、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリに記憶されている命令を呼び出して、上述した車両搭乗者の身体部位を窓から出したことを検出する方法を実行するように構成される電子機器を提供する。

【0135】

本開示の実施例は、さらに、コンピュータ読み取り可能なコード又はコンピュータ読み取り可能なコードが記憶されているコンピュータ読み取り可能な記憶媒体を含み、前記コンピュータ読み取り可能なコードが電子機器のプロセッサにおいて動作すると、前記電子機器のプロセッサに上述した車両搭乗者の身体部位を窓から出したことを検出する方法を実行させるコンピュータプログラム製品を提供する。

【0136】

電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。

【0137】

図４は本開示の実施例に係る電子機器１９００を示すブロック図である。例えば、電子機器１９００はサーバーとして提供されてもよい。図４を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、及び、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源をさらに含む。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は、命令を実行することによって上記方法を実行するように構成される。

【0138】

電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインタフェース１９５０、及び入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されているオペレーティングシステム、例えばマイクロソフトウィンドウズサーバオペレーティングシステム（Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ）、アップル社製グラフィカルユーザーインターフェースオペレーティングシステムＭａｃ ＯＳ ＸＴＭ、コンピュータ用のマルチタスク・マルチユーザーのオペレーティングシステム（ＵｎｉｘＴＭ）、フリーでオープンソースのUnix系のオペレーティングシステム（ＬｉｎｕｘＴＭ）、オープンソースのUnix系のオペレーティングシステム（ＦｒｅｅＢＳＤＴＭ）または類似するものに基づいて動作できる。

【0139】

例示的な実施例では、さらに、不揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行させることができる。

【0140】

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ可読プログラム命令を有しているコンピュータ可読記憶媒体を含んでもよい。

【0141】

コンピュータ可読記憶媒体は、命令実行装置に使用される命令を保存及び記憶可能な実体のある装置であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらなる具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去・プログラマブル可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、及び上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、一時的な信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号であると解釈されるものではない。

【0142】

ここで記述したコンピュータ可読プログラム命令はコンピュータ可読記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワーク及び／または無線ネットワークを経由して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータ及び／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ読取可能プログラム命令を転送し、各計算／処理機器内のコンピュータ可読記憶媒体に記憶させる。

【0143】

本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語及び「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ可読プログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。

【0144】

ここで本開示の実施例に係る方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャート及び／またはブロック図の各ブロック、及びフローチャート及び／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。

【0145】

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャート及び／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現させるように、装置を製造してもよい。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置及び／または他の機器を決定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。

【0146】

コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施可能なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャート及び／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

【0147】

図面のうちフローチャート及びブロック図は、本開示の複数の実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能な命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なる順序で実現してもよい。例えば、連続的な二つのブロックは実質的に並行に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図及び／またはフローチャートにおける各ブロック、及びブロック図及び／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。

【0148】

該コンピュータプログラム製品は、具体的に、ハードウェア、ソフトウェアまたはそれらの組み合わせによって実現できる。可能な一実施例では、前記コンピュータプログラム製品は、具体的にコンピュータ記憶媒体であってもよい。別の可能な一実施例では、コンピュータプログラム製品は、具体的に例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）などのソフトウェア製品であってもよい。

【0149】

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲及び精神から逸脱することなく、様々な修正及び変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または従来技術への技術的改善を好適に解釈するか、または他の当業者に本明細書に披露された各実施例を理解させるためのものである。

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2024-04-26

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

車載カメラで収集された画像データと窓領域における障害物を探知するためのレーダセンサで収集されたレーダセンシングデータとを含む少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得ることと、
前記少なくとも２系統の検出結果に基づいて、判定結果を特定することと、
前記判定結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、注意喚起情報を生成することと、を含む、車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項2】

ドアの開閉状態を示すドアデータと、窓の開閉状態を示す窓データとを含む車体信号データを取得することをさらに含み、
前記した、少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得ることは、
前記車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、車両の少なくとも２種類のセンシングデータのそれぞれに基づいて、前記搭乗者の身体部位を窓から出したか否かを検出し、前記少なくとも２系統の検出結果を得ることを含む、請求項１に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項3】

前記した、前記車体信号データが、ドアが閉じていて、かつ、搭乗者の着座位置に対応する窓が開いていることを示す場合、少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得ることは、
前記レーダセンサにセンシングデータを収集するトリガ信号を送信し、前記レーダセンサで収集されたレーダセンシングデータを取得することと、
前記車載カメラで収集された画像データを取得することと、
前記レーダセンシングデータ及び前記画像データのそれぞれに基づいて、前記搭乗者の身体部位を搭乗者の着座位置に対応する窓から出したか否かを検出し、前記レーダセンサに基づく検出結果及び前記画像データに基づく検出結果を得ることと、を含む、請求項２に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項4】

前記車体信号データが、ドアが開いていること、又は搭乗者の着座位置に対応する窓がいずれも閉じていることを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出していないと特定することをさらに含む、請求項２に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項5】

前記した、少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得ることは、
前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることと、
前記レーダセンシングデータに基づいて、第２検出結果を得ることと、を含み、
前記した、前記少なくとも２系統の検出結果に基づいて、判定結果を特定することは、
前記第１検出結果及び前記第２検出結果に基づいて、判定結果を特定することを含む、請求項１に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項6】

前記した、前記第１検出結果及び前記第２検出結果に基づいて、判定結果を特定することは、
前記第１検出結果及び前記第２検出結果がいずれも身体部位を窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出したと特定することと、
前記第１検出結果が身体部位を窓から出したことを示し、前記第２検出結果が身体部位を窓から出していないことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出していないと特定することと、
前記第１検出結果が身体部位を窓から出していないことを示し、前記第２検出結果が身体部位を窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を窓から出したと特定することと、の少なくとも１つを含む、請求項５に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項7】

前記した、少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得ることは、
前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることと、
前記第１検出結果が身体部位を窓から出したことを示す場合、前記第１検出結果に基づいて、前記画像データにおける身体部位を窓から出した目標搭乗者の座席情報を取得することと、
前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータを取得することと、
前記目標窓のレーダセンシングデータに基づいて、第２検出結果を特定することと、を含む、請求項１に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項8】

前記した、前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータを取得することは、
前記目標搭乗者の座席情報に対応する目標窓の前記レーダセンシングデータ、及び前記目標搭乗者の座席情報に対応するドアである目標ドアの開閉状態を示す第１信号データと前記目標窓の開閉状態を示す第２信号データとを含む前記目標搭乗者の座席情報に関連する車体信号データを取得することを含み、
前記した、前記目標窓のレーダセンシングデータに基づいて、前記第２検出結果を特定することは、
前記レーダセンシングデータと前記車体信号データに基づいて、前記第２検出結果を特定することを含む、請求項７に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項9】

前記した、前記少なくとも２系統の検出結果に基づいて、判定結果を特定することは、
前記第２検出結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、前記判定結果として、前記搭乗者の身体部位を前記窓から出したと特定することを含む、請求項７に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項10】

前記した、前記画像データにおける搭乗者の身体部位と窓との相対的な状態を認識し、第１検出結果を得ることは、
前記画像データに基づいて車両搭乗者の身体部位と窓との相対的な状態を認識し、前記車両搭乗者の身体部位を窓から出したことについての信頼度を得ることを含む、請求項５に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項11】

前記した、前記少なくとも２系統の検出結果に基づいて、判定結果を特定することは、
前記信頼度が予め設定された閾値より大きい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出したことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出したと特定することと、
前記信頼度が予め設定された閾値より小さい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出したことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出したと特定することと、
前記信頼度が予め設定された閾値より小さい場合、前記第２検出結果が前記車両搭乗者の身体部位を窓から出していないことを示す場合、前記判定結果として、前記車両搭乗者の身体部位を窓から出していないと特定することと、の少なくとも１つを含む、請求項１０に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項12】

前記車載カメラは、車室内に設けられたカメラ及び／又は車室外に設けられたカメラを含み、及び/又は、
前記レーダセンサは、前記窓の上縁及び／又は下縁に設けられ、及び/又は、
前記センシングデータは、赤外線センシングデータ及び／又はミリ波センシングデータをさらに含む、請求項１に記載の車両搭乗者の身体部位を窓から出したことを検出する方法。

【請求項13】

車載カメラで収集された画像データと窓領域における障害物を探知するためのレーダセンサで収集されたレーダセンシングデータとを含む少なくとも２種類のセンシングデータのそれぞれに基づいて、車両搭乗者の身体部位を窓から出したか否かを検出し、少なくとも２系統の検出結果を得るための検出モジュールと、
前記少なくとも２系統の検出結果に基づいて、判定結果を特定するための特定モジュールと、
前記判定結果が前記搭乗者の身体部位を前記窓から出したことを示す場合、注意喚起情報を生成するための注意喚起モジュールと、を含む、車両搭乗者の身体部位を窓から出したことを検出する装置。

【請求項14】

車載カメラで収集された画像データと窓領域における障害物を探知するためのレーダセンサで収集されたレーダセンシングデータとを含む少なくとも２種類のセンシングデータを収集するための少なくとも２種類のセンサと、
前記センサから前記少なくとも２種類のセンシングデータを取得し、前記少なくとも２種類のセンシングデータに基づいて、車両の搭乗者の身体部位を窓から出したか否かを検出し、前記搭乗者の身体部位を前記窓から出した場合、注意喚起情報を生成するためのコントローラと、を含む、車両。

【請求項15】

プロセッサと、
プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリに記憶されている命令を呼び出して、請求項１～１２のいずれか１項に記載の車両搭乗者の身体部位を窓から出したことを検出する方法を実行するように構成される電子機器。

【請求項16】

コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、請求項１～１２のいずれか１項に記載の車両搭乗者の身体部位を窓から出したことを検出する方法を実現させるコンピュータ読み取り可能な記憶媒体。

【請求項17】

コンピュータ読み取り可能なコード又はコンピュータ読み取り可能なコードが記憶されているコンピュータ読み取り可能な記憶媒体を含み、前記コンピュータ読み取り可能なコードが電子機器のプロセッサにおいて動作すると、前記電子機器のプロセッサに請求項１～１２のいずれか１項に記載の車両搭乗者の身体部位を窓から出したことを検出する方法を実行させるコンピュータプログラム製品。

【国際調査報告】