特許 7288097 シートベルト装着検知方法、装置、電子デバイス、記憶媒体並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-29

(45)【発行日】2023-06-06

(54)【発明の名称】シートベルト装着検知方法、装置、電子デバイス、記憶媒体並びにプログラム

(51)【国際特許分類】

   G06V 20/59 20220101AFI20230530BHJP

   G06T 7/00 20170101ALI20230530BHJP

   B60R 22/48 20060101ALI20230530BHJP

【ＦＩ】

G06V20/59

G06T7/00 650Z

B60R22/48 105

【請求項の数】 14

(21)【出願番号】P 2021578003

(86)(22)【出願日】2020-12-10

(65)【公表番号】

(43)【公表日】2022-11-21

(86)【国際出願番号】 CN2020135494

(87)【国際公開番号】W WO2022027893

(87)【国際公開日】2022-02-10

【審査請求日】2021-12-28

(31)【優先権主張番号】202010791309.2

(32)【優先日】2020-08-07

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521300902

【氏名又は名称】上▲海▼商▲湯▼▲臨▼▲港▼智能科技有限公司

【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＳＥＮＳＥＴＩＭＥ ＬＩＮＧＡＮＧ ＩＮＴＥＬＬＩＧＥＮＴ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ０１， ２ｎｄ Ｆｌｏｏｒ， Ｎｏ． ２９， ３０， Ｌａｎｅ １７７５， Ｑｉｕｓｈａｎ Ｒｏａｄ， Ｍｕｃｈｅｎｇ Ｔｏｗｎ， Ｌｉｎｇａｎｇ Ｎｅｗ Ａｒｅａ， Ｃｈｉｎａ （Ｓｈａｎｇｈａｉ） Ｐｉｌｏｔ Ｆｒｅｅ Ｔｒａｄｅ Ｚｏｎｅ， Ｓｈａｎｇｈａｉ ２００２３２， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】王▲飛▼

(72)【発明者】

【氏名】▲錢▼晨

【審査官】片岡 利延

(56)【参考文献】

【文献】中国特許出願公開第１０６７０９４４３（ＣＮ，Ａ）

【文献】中国特許出願公開第１０９０８６６６２（ＣＮ，Ａ）

【文献】中国特許出願公開第１１３２６９００５（ＣＮ，Ａ）

【文献】特開２０２１－０２２０１０（ＪＰ，Ａ）

【文献】特開２０１６－１９９２０８（ＪＰ，Ａ）

【文献】特表２０１６－５２２７６７（ＪＰ，Ａ）

【文献】特開２０１０－２１１７０５（ＪＰ，Ａ）

【文献】特開２０２１－１５２９６６（ＪＰ，Ａ）

【文献】特開２０１０－１１３５０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ２０／５９

Ｇ０６Ｔ ７／００

Ｂ６０Ｒ ２２／４８

(57)【特許請求の範囲】

【請求項1】

シートベルトの装着を検知する方法であって、
車室環境画像を取得することと、
前記車室環境画像に対して検知を行って、車室における少なくとも１つの人体の人体検知情報を得ること、および、前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも１本のシートベルトのシートベルト検知情報を得ることであって、前記人体検知情報は、人体検知枠情報を含み、前記人体検知枠情報は、人体中心点特徴図および人体長さ特徴図および人体幅特徴図に基づいて決定されるものである、ことと、
前記少なくとも１つの人体の人体検知情報を前記少なくとも１本のシートベルトのシートベルト検知情報とマッチングすることにより、シートベルト装着検知結果を決定することと、
いずれかの人体がシートベルトを装着していない場合、警告情報を発することと
を含む、方法。

【請求項2】

前記少なくとも１つの人体の人体検知情報を前記少なくとも１本のシートベルトのシートベルト検知情報とマッチングすることは、
前記少なくとも１本のシートベルトに対応するシートベルト検知枠の中心点位置と人体検知枠の中心点位置との相対的なズレ情報を決定することと、
決定された前記相対的なズレ情報に基づいて、前記少なくとも１つの人体に対応する人体検知枠の中心点から、各シートベルトに対応するシートベルト検知枠の中心点に関連する人体検知枠の中心点が存在するか否かを検索することと
を含む、請求項１に記載の方法。

【請求項3】

シートベルト装着検知結果を決定することは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在していない場合、当該人体がシートベルトを装着していないと決定することを含む、請求項２に記載の方法。

【請求項4】

シートベルト装着検知結果を決定することは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在している場合、当該人体がシートベルトを装着していると決定することを含む、請求項２に記載の方法。

【請求項5】

前記車室環境画像に対して検知を行って、車室における少なくとも１つの人体の人体検知情報を得ることは、
前記車室環境画像に基づいて、車室特徴図を生成することと、
前記車室特徴図に対して人体検知を行って、車室における少なくとも１つの人体にそれぞれ対応するマルチチャンネル特徴図を得ることであって、前記マルチチャンネル特徴図は、人体中心点特徴図および人体長さ特徴図および人体幅特徴図を含む、ことと、
前記マルチチャンネル特徴図に基づいて、前記少なくとも１つの人体に対応する人体検知枠情報を決定することであって、前記人体検知枠情報は、人体検知枠の中心点位置情報および人体検知枠のサイズ情報を含む、ことと
を含む、請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記マルチチャンネル特徴図に基づいて、前記少なくとも１つの人体に対応する人体検知枠情報を決定することは、
前記マルチチャンネル特徴図に含まれる人体中心点特徴図について、プリセットプーリングサイズおよびプリセットプーリングステップ長さに応じて、前記人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることと、
順次切り取られた各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対して最大プーリング処理を行って、当該人体中心点特徴サブ図に対応する各人体中心点特徴値における最大人体中心点特徴値および前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報を決定することと、
複数の前記人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値および前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定することと、
各前記人体検知枠の中心点位置情報に基づいて、前記マルチチャンネル特徴図に含まれる人体長さ特徴図および人体幅特徴図から、当該人体検知枠にマッチングする人体長さ情報および人体幅情報をそれぞれ決定し、マッチングした前記人体長さ情報および人体幅情報を前記人体検知枠の前記サイズ情報とすることと
を含む、請求項５に記載の方法。

【請求項7】

前記プリセットプーリングサイズおよびプリセットプーリングステップ長さに応じて、前記人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることは、
活性化関数によって、人体中心点位置を特徴付ける人体中心点特徴図に対して正規化処理を行って、正規化処理済の人体中心点特徴図を得ることと、
プリセットプーリングサイズおよびプリセットプーリングステップ長さに応じて、前記正規化処理済の人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることと
を含む、請求項６に記載の方法。

【請求項8】

前記複数の前記人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値および前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定することは、
複数の前記人体中心点特徴サブ図における各前記人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対応する最大人体中心点特徴値がプリセット閾値より大きいか否かを判断することと、
前記人体中心点特徴サブ図に対応する最大人体中心点特徴値が前記プリセット閾値より大きい場合、当該最大人体中心点特徴値で示される人体中心点を目標人体中心点に決定することと、
前記人体中心点特徴図における各前記目標人体中心点に対応する座標位置情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定することと
を含む、請求項６または請求項７に記載の方法。

【請求項9】

前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも１本のシートベルトのシートベルト検知情報を得ることは、
前記車室環境画像に基づいて、車室特徴図を生成することと、
前記車室特徴図に含まれる複数のピクセルにおける各前記ピクセルの属するシートベルト類別情報を決定することであって、前記シートベルト類別情報は、シートベルトに属すること、および、シートベルトに属さないことを含む、ことと、
シートベルト類別情報がシートベルトに属することであるピクセルを目標シートベルトピクセルに決定することと、
各前記目標シートベルトピクセルとシートベルト中心ピクセルとの相対的なズレ情報を決定することと、
前記相対的なズレ情報に基づいて、各前記目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定することと、
前記シートベルト中心ピクセルに基づいて、同一のシートベルト中心ピクセルに対応する複数の目標シートベルトピクセルをクラスタリングして、車室における少なくとも１本のシートベルトに対応するシートベルト検知枠情報を得ることであって、前記シートベルト検知枠情報は、シートベルト検知枠の中心点位置情報を含む、ことと
を含む、請求項１に記載の方法。

【請求項10】

前記車室特徴図に含まれる複数のピクセルにおける各前記ピクセルの属するシートベルト類別情報を決定することは、
前記車室特徴図に対してシートベルト検知を行って、二チャンネル特徴図を得ることであって、前記二チャンネル特徴図は、背景特徴図およびシートベルト特徴図を含む、ことと、
前記車室特徴図に含まれる複数のピクセルにおける各ピクセルについて、前記背景特徴図および前記シートベルト特徴図における、当該ピクセルにそれぞれ対応する特徴値のうちの比較的大きい方の特徴値で示されるシートベルト類別情報に基づいて、当該ピクセルの属するシートベルト類別情報と決定することと
を含む、請求項９に記載の方法。

【請求項11】

シートベルトの装着を検知する装置であって、
車室環境画像を取得するように構成されている取得モジュールと、
前記車室環境画像に対して検知を行って、車室における少なくとも１つの人体の人体検知情報を得ること、および、前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも１本のシートベルトのシートベルト検知情報を得ることを行うように構成されている検知モジュールであって、前記人体検知情報は、人体検知枠情報を含み、前記人体検知枠情報は、人体中心点特徴図および人体長さ特徴図および人体幅特徴図に基づいて決定されるものである、検知モジュールと、
前記少なくとも１つの人体の人体検知情報を前記少なくとも１本のシートベルトのシートベルト検知情報とマッチングすることにより、シートベルト装着検知結果を決定するように構成されているマッチングモジュールと、
いずれかの人体がシートベルトを装着していない場合、警告情報を発するように構成されている警告モジュールと
を備える、装置。

【請求項12】

プロセッサとメモリとバスとを備える電子デバイスであって、
前記メモリには、前記プロセッサによって実行可能な命令が記憶されており、
前記電子デバイスが稼働するとき、前記プロセッサおよび前記メモリは、前記バスを介して通信され、
前記プロセッサは、前記メモリに記憶されている前記命令を実行することにより、請求項１～１０のいずれか１項に記載の方法を実行するように構成されている、電子デバイス。

【請求項13】

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムは、電子デバイスのプロセッサによって実行されると、請求項１～１０のいずれか１項に記載の方法を実行することを前記プロセッサに行わせる、コンピュータ読み取り可能な記憶媒体。

【請求項14】

コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、
前記コンピュータ読み取り可能なコードは、電子デバイスのプロセッサによって実行されると、請求項１～１０のいずれか１項に記載の方法を実行することを前記プロセッサに行わせる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本開示は、出願番号が２０２０１０７９１３０９．２であり、出願日が２０２０年８月７日である中国特許出願に基づいて提出され、当該中国特許出願に基づく優先権を主張し、ここで当該中国特許出願の全ての内容が参照として本開示に組み込まれる。

【0002】

本開示は、画像検知技術分野に関し、具体的には、シートベルト装着検知方法、装置、電子デバイス、コンピュータ可読記憶媒体並びにコンピュータプログラムに関する。

【背景技術】

【0003】

自動車の走行中に衝突又は緊急制動が発生するとき、強い慣性力が発生し、乗員はシートベルトを正しく装着することにより、身体を効果的に制御し、強い慣性力によって発生した衝突による身体傷害を低減させることができる。このように、シートベルトを正しく装着することは、運転者及び乗客の生命安全を保障するために極めて重要である。

【0004】

より安全な車室環境を乗員に提供するために、大部分の車両にはシートベルトセンサ及び警報器が取り付けられている。乗員が着座したことを決定した後、シートベルトセンサを用いてシートベルトが既に係止されているか否かを検知することができ、且つシートベルトが係止されていないと検知した場合、さらに警報器によって音声を発生させたりアイコンを点滅させたりすることで、運転者にシートベルトの装着を注意することができる。

【0005】

しかしながら、多くの運転者は、シートベルトのソケットにシートベルトバックルを挿入し、又は、シートベルトを体の後から迂回してソケットに挿入することにより、シートベルトが装着されていない旨の警報を回避する。

【発明の概要】

【課題を解決するための手段】

【0006】

本開示の実施例は、シートベルト装着検知方法、装置、電子デバイス、コンピュータ可読記憶媒体並びにコンピュータプログラムを提供する。

【0007】

本開示の実施例は、シートベルト装着検知の方法を提供し、前記方法は、
車室環境画像を取得することと、
前記車室環境画像に対して人体検知を行って、車室における少なくとも１つの人体の人体検知情報を得、及び、前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも１本のシートベルトのシートベルト検知情報を得ることと、
前記少なくとも１つの人体の人体検知情報を、前記少なくとも１本のシートベルトのシートベルト検知情報とマッチングして、シートベルト装着検知結果を決定することと、
いずれかの人体にシートベルトが装着されていない場合、警告情報を発することと、を含む。

【0008】

上記シートベルト装着検知の方法を採用することにより、まず、取得された車室環境画像に基づいて車室特徴図を生成するするとともに、車室特徴図に対して人体検知及びシートベルト検知をそれぞれ行って、人体検知情報及びシートベルト検知情報を得ることができ、人体が実際にシートベルトを装着する状態で、人体とシートベルトは一定の位置対応関係が存在することが考えられるので、上記人体検知情報をシートベルト検知情報とマッチングすることにより、人体がシートベルトを装着しているか否かを検知することができ、シートベルトの装着行為に対する効果的な検知を実現する。

【0009】

本開示の一部の実施例において、前記少なくとも１つの人体の人体検知情報を、前記少なくとも１本のシートベルトのシートベルト検知情報とマッチングすることは、
前記少なくとも１本のシートベルトに対応するシートベルト検知枠の中心点位置と、人体検知枠の中心点位置との相対的なズレ情報を決定することと、
決定された前記相対的なズレ情報に基づいて、前記少なくとも１つの人体に対応する人体検知枠の中心点から、各シートベルトに対応するシートベルト検知枠の中心点に関連する人体検知枠の中心点が存在するか否かを検索することと、を含む
本開示の一部の実施例において、シートベルト装着検知結果を決定することは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在していない場合、当該人体がシートベルトを装着していないと決定することを含む。

【0010】

本開示の一部の実施例において、シートベルト装着検知結果を決定することは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在している場合、当該人体がシートベルトを装着していると決定することを含む。

【0011】

ここで、まず、シートベルト検知枠の中心点位置と、人体検知枠の中心点位置との相対的なズレ情報を決定することができ、続いて、相対的なズレ情報に基づいて、各シートベルトに対応するシートベルト検知枠の中心点に関連する人体検知枠の中心点が存在するか否かを決定することができ、いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在すると決定した場合、人体がシートベルトを装着していると決定することができ、いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在しないと決定した場合、人体がシートベルトを装着していないと決定することができる。

【0012】

本開示の一部の実施例において、前記人体検知情報は人体検知枠情報を含み、
前記車室環境画像に対して人体検知を行って、車室における少なくとも１つの人体の人体検知情報を得ることは、
前記車室環境画像に基づいて、車室特徴図を生成することと、
前記車室特徴図に対して人体検知を行って、車室における少なくとも１つの人体にそれぞれ対応するマルチチャンネル特徴図を得ることであって、前記マルチチャンネル特徴図は、人体中心点特徴図、人体長さ特徴図、及び人体幅特徴図を含むことと、
前記マルチチャンネル特徴図に基づいて、前記少なくとも１つの人体に対応する人体検知枠情報を決定することであって、前記人体検知枠情報は、人体検知枠の中心点位置情報及び人体検知枠のサイズ情報を含むことと、を含む。

【0013】

ここで、人体検知を行うプロセスにおいて、人体検知によるマルチチャンネル特徴図に基づいて、人体中心点、人体長さ及び人体幅等の相関特徴を特徴付けることができ、これらの相関特徴は人体検知枠に対応する位置範囲を決定する。

【0014】

本開示の一部の実施例において、前記マルチチャンネル特徴図に基づいて、前記少なくとも１つの人体に対応する人体検知枠情報を決定することは、
前記マルチチャンネル特徴図に含まれる人体中心点特徴図について、プリセットプーリングサイズ及びプリセットプーリングステップ長さ（Ｓｔｅｐ＿ｌｅｎ）に応じて、前記人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることと、
順次切り取られた各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対して最大プーリング処理を行って、当該人体中心点特徴サブ図に対応する各人体中心点特徴値における最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報を決定することと、
複数の前記人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定することと、
各前記人体検知枠の中心点位置情報に基づいて、前記マルチチャンネル特徴図に含まれる人体長さ特徴図及び人体幅特徴図から、当該人体検知枠にマッチングする人体長さ情報及び人体幅情報をそれぞれ決定し、マッチングした前記人体長さ情報及び人体幅情報を、前記人体検知枠の前記サイズ情報とすることと、を含む。

【0015】

ここで、最大プーリング処理に基づいて、人体中心点特徴図から切り取った各人体中心点特徴サブ図から人体中心点に対応する可能性が最も高い特徴値を選択することができ、ひいては前記人体中心点特徴図における選択された少なくとも１つの特徴値の座標位置情報に基づいて、少なくとも１つの人体検知枠の中心点位置を得、さらに得られた人体検知枠の中心点位置に基づいて、人体長さ特徴図及び人体幅特徴図から対応する人体長さ情報及び人体幅情報を抽出し、ひいては人体検知枠のサイズ情報を決定することができる。

【0016】

本開示の一部の実施例において、前記プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることは、
活性化関数によって、人体中心点位置を特徴付ける人体中心点特徴図に対して正規化処理を行って、正規化処理済の人体中心点特徴図を得ることと、
プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記正規化処理済の人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることと、を含む。

【0017】

本開示の一部の実施例において、前記複数の前記人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定することは、
複数の前記人体中心点特徴サブ図における各前記人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対応する最大人体中心点特徴値がプリセット閾値より大きいか否かを判断することと、
前記人体中心点特徴サブ図に対応する最大人体中心点特徴値が前記プリセット閾値より大きい場合、当該最大人体中心点特徴値で示される人体中心点を目標人体中心点に決定することと、
前記人体中心点特徴図における各前記目標人体中心点に対応する座標位置情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定することと、を含む。

【0018】

本開示の一部の実施例において、前記シートベルト検知情報はシートベルト検知枠情報を含み、
前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも１本のシートベルトのシートベルト検知情報を得ることは、
前記車室環境画像に基づいて、車室特徴図を生成することと、
前記車室特徴図に含まれる複数のピクセルにおける各前記ピクセルの属するシートベルト類別情報を決定することであって、前記シートベルト類別情報は、シートベルトに属すること、及びシートベルトに属さないことを含むことと、
シートベルト類別情報がシートベルトに属することであるピクセルを目標シートベルトピクセルに決定することと、
各前記目標シートベルトピクセルとシートベルト中心ピクセルとの相対的なズレ情報を決定することと、
前記相対的なズレ情報に基づいて、各前記目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定することと、
シートベルト中心ピクセルに基づいて、同一のシートベルト中心ピクセルに対応する複数の目標シートベルトピクセルをクラスタリングして、車室における少なくとも１本のシートベルトに対応するシートベルト検知枠情報を得ることであって、前記シートベルト検知枠情報は、シートベルト検知枠の中心点位置情報を含むことと、を含む。

【0019】

ここで、シートベルト検知を行うプロセスにおいて、車室特徴図に対するピクセル分析から、車室特徴図に含まれる複数のピクセルにおける、シートベルトに属する目標シートベルトピクセルを決定することができ、続いて、目標シートベルトピクセルとシートベルト中心ピクセルとの間の相対的なズレ情報に基づいて、各シートベルト中心ピクセルを決定することができ、その後、さらに各シートベルト中心ピクセルに基づいて複数の目標シートベルトピクセルをクラスタリングすることができ、それにより、各シートベルトに対応するシートベルト検知枠情報を決定することができる。

【0020】

本開示の一部の実施例において、前記車室特徴図に含まれる複数のピクセルにおける各前記ピクセルの属するシートベルト類別情報を決定することは、
前記車室特徴図に対してシートベルト検知を行って、二チャンネル特徴図を得ることであって、前記二チャンネル特徴図は、背景特徴図及びシートベルト特徴図を含むことと、
前記車室特徴図に含まれる複数のピクセルにおける各ピクセルについて、前記背景特徴図及び前記シートベルト特徴図における、当該ピクセルにそれぞれ対応する特徴値のうちの比較的大きい方の特徴値で示されるシートベルト類別情報に基づいて、当該ピクセルの属するシートベルト類別情報に決定することと、を含む。

【0021】

本開示の実施例はさらに、シートベルト装着検知の装置を提供し、前記装置は、
車室環境画像を取得するように構成される取得モジュールと、
前記車室特徴図に対して人体検知を行って、車室における少なくとも１つの人体の人体検知情報を得、及び、前記車室特徴図に対してシートベルト検知を行って、車室における少なくとも１本のシートベルトのシートベルト検知情報を得るように構成される検知モジュールと、
前記少なくとも１つの人体の人体検知情報を、前記少なくとも１本のシートベルトのシートベルト検知情報とマッチングして、検知された人体がシートベルトを装着しているか否かを示すシートベルト装着検知結果を決定するように構成されるマッチングモジュールと、
いずれかの人体がシートベルトを装着していない場合、警告情報を発するように構成される警告モジュールと、を備える。

【0022】

本開示の一部の実施例において、前記マッチングモジュールは、
少なくとも１本のシートベルトに対応するシートベルト検知枠の中心点位置と、人体検知枠の中心点位置との相対的なズレ情報を決定することと、
決定された相対的なズレ情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点から、各シートベルトに対応するシートベルト検知枠の中心点に関連する人体検知枠の中心点が存在するか否かを検索するように構成される。

【0023】

本開示の一部の実施例において、前記マッチングモジュールは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在していない場合、当該人体がシートベルトを装着していないと決定するように構成される。

【0024】

本開示の一部の実施例において、前記マッチングモジュールは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在している場合、当該人体がシートベルトを装着していると決定するように構成される。

【0025】

本開示の一部の実施例において、前記人体検知情報は人体検知枠情報を含み、
前記検知モジュールは、
前記車室環境画像に基づいて、車室特徴図を生成し、
前記車室特徴図に対して人体検知を行って、車室における少なくとも１つの人体にそれぞれ対応するマルチチャンネル特徴図を得て、ここで、前記マルチチャンネル特徴図は、人体中心点特徴図、人体長さ特徴図、及び人体幅特徴図を含み、
前記マルチチャンネル特徴図に基づいて、前記少なくとも１つの人体に対応する人体検知枠情報を決定し、ここで、前記人体検知枠情報は、人体検知枠の中心点位置情報及び人体検知枠のサイズ情報を含むように構成される。

【0026】

本開示の一部の実施例において、前記検知モジュールは、
前記マルチチャンネル特徴図に含まれる人体中心点特徴図について、プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取り、
順次切り取られた各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対して最大プーリング処理を行って、当該人体中心点特徴サブ図に対応する各人体中心点特徴値における最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報を決定し、
複数の前記人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定し、
各前記人体検知枠の中心点位置情報に基づいて、前記マルチチャンネル特徴図に含まれる人体長さ特徴図及び人体幅特徴図から、当該人体検知枠にマッチングする人体長さ情報及び人体幅情報をそれぞれ決定し、マッチングした前記人体長さ情報及び人体幅情報を、前記人体検知枠の前記サイズ情報とするように構成される。

【0027】

本開示の一部の実施例において、前記検知モジュールは、
活性化関数によって、人体中心点位置を特徴付ける人体中心点特徴図に対して正規化処理を行って、正規化処理済の人体中心点特徴図を得て、
プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記正規化処理済の人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取るように構成される。

【0028】

本開示の一部の実施例において、前記検知モジュールは、
複数の前記人体中心点特徴サブ図における各前記人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対応する最大人体中心点特徴値がプリセット閾値より大きいか否かを判断し、
前記人体中心点特徴サブ図に対応する最大人体中心点特徴値が前記プリセット閾値より大きい場合、当該最大人体中心点特徴値で示される人体中心点を目標人体中心点に決定し、
前記人体中心点特徴図における各前記目標人体中心点に対応する座標位置情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定するように構成される。

【0029】

本開示の一部の実施例において、前記シートベルト検知情報はシートベルト検知枠情報を含み、
前記検知モジュールは、
前記車室環境画像に基づいて、車室特徴図を生成し、
前記車室特徴図に含まれる複数のピクセルにおける各前記ピクセルの属するシートベルト類別情報を決定し、ここで、前記シートベルト類別情報は、シートベルトに属すること、及びシートベルトに属さないことを含み、
シートベルト類別情報がシートベルトに属することであるピクセルを目標シートベルトピクセルに決定し、
各前記目標シートベルトピクセルとシートベルト中心ピクセルとの相対的なズレ情報を決定し、
前記相対的なズレ情報に基づいて、各前記目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定し、
前記シートベルト中心ピクセルに基づいて、同一のシートベルト中心ピクセルに対応する複数の目標シートベルトピクセルをクラスタリングして、車室における少なくとも１本のシートベルトに対応するシートベルト検知枠情報を得て、ここで、前記シートベルト検知枠情報は、シートベルト検知枠の中心点位置情報を含むように構成される。

【0030】

本開示の一部の実施例において、前記検知モジュールは、
前記車室特徴図に対してシートベルト検知を行って、二チャンネル特徴図を得て、ここで、前記二チャンネル特徴図は、背景特徴図及びシートベルト特徴図を含み、
前記車室特徴図に含まれる複数のピクセルにおける各ピクセルについて、前記背景特徴図及び前記シートベルト特徴図における、当該ピクセルにそれぞれ対応する特徴値のうちの比較的大きい方の特徴値で示されるシートベルト類別情報に基づいて、当該ピクセルの属するシートベルト類別情報と決定するように構成される。

【0031】

本開示の実施例は、プロセッサ、メモリ、及びバスを備える電子デバイスであって、前記メモリには、前記プロセッサによって実行可能な機械可読命令が記憶されており、前記電子デバイスが稼働するとき、前記プロセッサと前記メモリとは前記バスを介して通信され、前記プロセッサは、前記メモリに記憶されている機械可読命令を実行するために用いられ、前記機械可読命令が前記プロセッサによって実行されるとき、前記プロセッサが上記いずれかの実施例に記載のシートベルト装着検知の方法を実行する、電子デバイスをさらに提供する。

【0032】

本開示の実施例は、コンピュータプログラムが記憶されており、前記コンピュータプログラムが電子デバイスによって実行されるとき、前記電子デバイスが上記いずれかの実施例により提供されるシートベルト装着検知方法を実行する、コンピュータ可読記憶媒体をさらに提供する。

【0033】

本開示の実施例は、コンピュータ可読コードが含まれており、前記コンピュータ可読コードが電子デバイスで実行される場合、前記電子デバイスのプロセッサが上記いずれかの実施例に記載のシートベルト装着検知方法を実行する、コンピュータプログラムをさらに提供する。

【0034】

上記シートベルト装着検知の装置、電子デバイス、及びコンピュータ可読記憶媒体の効果の説明について、上記シートベルト装着検知方法の説明を参照すればよく、ここでは説明を省略する。
例えば、本願は以下の項目を提供する。
（項目１）
車室環境画像を取得することと、
前記車室環境画像に対して検知を行って、車室における少なくとも１つの人体の人体検知情報を得、及び、前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも１本のシートベルトのシートベルト検知情報を得ることと、
前記少なくとも１つの人体の人体検知情報を、前記少なくとも１本のシートベルトのシートベルト検知情報とマッチングして、シートベルト装着検知結果を決定することと、
いずれかの人体がシートベルトを装着していない場合、警告情報を発することと、を含む
シートベルト装着検知方法。
（項目２）
前記少なくとも１つの人体の人体検知情報を、前記少なくとも１本のシートベルトのシートベルト検知情報とマッチングすることは、
前記少なくとも１本のシートベルトに対応するシートベルト検知枠の中心点位置と、人体検知枠の中心点位置との相対的なズレ情報を決定することと、
決定された前記相対的なズレ情報に基づいて、前記少なくとも１つの人体に対応する人体検知枠の中心点から、各シートベルトに対応するシートベルト検知枠の中心点に関連する人体検知枠の中心点が存在するか否かを検索することと、を含む
項目１に記載の方法。
（項目３）
シートベルト装着検知結果を決定することは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在していない場合、当該人体がシートベルトを装着していないと決定することを含む
項目２に記載の方法。
（項目４）
シートベルト装着検知結果を決定することは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在している場合、当該人体がシートベルトを装着していると決定することを含む
項目２に記載の方法。
（項目５）
前記人体検知情報は人体検知枠情報を含み、
前記車室環境画像に対して検知を行って、車室における少なくとも１つの人体の人体検知情報を得ることは、
前記車室環境画像に基づいて、車室特徴図を生成することと、
前記車室特徴図に対して人体検知を行って、車室における少なくとも１つの人体にそれぞれ対応するマルチチャンネル特徴図を得ることであって、前記マルチチャンネル特徴図は、人体中心点特徴図、人体長さ特徴図、及び人体幅特徴図を含むことと、
前記マルチチャンネル特徴図に基づいて、前記少なくとも１つの人体に対応する人体検知枠情報を決定することであって、前記人体検知枠情報は、人体検知枠の中心点位置情報及び人体検知枠のサイズ情報を含むことと、を含む
項目１～４のいずれか１項に記載の方法。
（項目６）
前記マルチチャンネル特徴図に基づいて、前記少なくとも１つの人体に対応する人体検知枠情報を決定することは、
前記マルチチャンネル特徴図に含まれる人体中心点特徴図について、プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることと、
順次切り取られた各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対して最大プーリング処理を行って、当該人体中心点特徴サブ図に対応する各人体中心点特徴値における最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報を決定することと、
複数の前記人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定することと、
各前記人体検知枠の中心点位置情報に基づいて、前記マルチチャンネル特徴図に含まれる人体長さ特徴図及び人体幅特徴図から、当該人体検知枠にマッチングする人体長さ情報及び人体幅情報をそれぞれ決定し、マッチングした前記人体長さ情報及び人体幅情報を、前記人体検知枠の前記サイズ情報とすることと、を含む
項目５に記載の方法。
（項目７）
前記プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることは、
活性化関数によって、人体中心点位置を特徴付ける人体中心点特徴図に対して正規化処理を行って、正規化処理済の人体中心点特徴図を得ることと、
プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記正規化処理済の人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることと、を含む
項目６に記載の方法。
（項目８）
前記複数の前記人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定することは、
複数の前記人体中心点特徴サブ図における各前記人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対応する最大人体中心点特徴値がプリセット閾値より大きいか否かを判断することと、
前記人体中心点特徴サブ図に対応する最大人体中心点特徴値が前記プリセット閾値より大きい場合、当該最大人体中心点特徴値で示される人体中心点を目標人体中心点に決定することと、
前記人体中心点特徴図における各前記目標人体中心点に対応する座標位置情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定することと、を含む
項目６又は７に記載の方法。
（項目９）
前記シートベルト検知情報はシートベルト検知枠情報を含み、
前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも１本のシートベルトのシートベルト検知情報を得ることは、
前記車室環境画像に基づいて、車室特徴図を生成することと、
前記車室特徴図に含まれる複数のピクセルにおける各前記ピクセルの属するシートベルト類別情報を決定することであって、前記シートベルト類別情報は、シートベルトに属すること、及びシートベルトに属さないことを含むことと、
シートベルト類別情報がシートベルトに属することであるピクセルを目標シートベルトピクセルに決定することと、
各前記目標シートベルトピクセルとシートベルト中心ピクセルとの相対的なズレ情報を決定することと、
前記相対的なズレ情報に基づいて、各前記目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定することと、
前記シートベルト中心ピクセルに基づいて、同一のシートベルト中心ピクセルに対応する複数の目標シートベルトピクセルをクラスタリングして、車室における少なくとも１本のシートベルトに対応するシートベルト検知枠情報を得ることであって、前記シートベルト検知枠情報は、シートベルト検知枠の中心点位置情報を含むことと、を含む
項目１に記載の方法。
（項目１０）
前記車室特徴図に含まれる複数のピクセルにおける各前記ピクセルの属するシートベルト類別情報を決定することは、
前記車室特徴図に対してシートベルト検知を行って、二チャンネル特徴図を得ることであって、前記二チャンネル特徴図は、背景特徴図及びシートベルト特徴図を含むことと、
前記車室特徴図に含まれる複数のピクセルにおける各ピクセルについて、前記背景特徴図及び前記シートベルト特徴図における、当該ピクセルにそれぞれ対応する特徴値のうちの比較的大きい方の特徴値で示されるシートベルト類別情報に基づいて、当該ピクセルの属するシートベルト類別情報と決定することと、を含む
項目９に記載の方法
（項目１１）
車室環境画像を取得するように構成される取得モジュールと、
前記車室環境画像に対して検知を行って、車室における少なくとも１つの人体の人体検知情報を得、及び、前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも１本のシートベルトのシートベルト検知情報を得るように構成される検知モジュールと、
前記少なくとも１つの人体の人体検知情報を、前記少なくとも１本のシートベルトのシートベルト検知情報とマッチングして、シートベルト装着検知結果を決定するように構成されるマッチングモジュールと、
いずれかの人体がシートベルトを装着していない場合、警告情報を発することを実行するように構成される警告モジュールと、を備える
シートベルト装着検知装置
（項目１２）
前記マッチングモジュールは、
少なくとも１本のシートベルトに対応するシートベルト検知枠の中心点位置と、人体検知枠の中心点位置との相対的なズレ情報を決定し、
決定された相対的なズレ情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点から、各シートベルトに対応するシートベルト検知枠の中心点に関連する人体検知枠の中心点が存在するか否かを検索するように構成される
項目１１に記載の装置。
（項目１３）
前記マッチングモジュールは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在していない場合、当該人体にシートベルトを装着していないと決定するように構成される
項目１２に記載の装置。
（項目１４）
前記マッチングモジュールは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在している場合、当該人体にシートベルトを装着していると決定するように構成される
項目１２に記載の装置。
（項目１５）
前記人体検知情報は人体検知枠情報を含み、
前記検知モジュールは、
前記車室環境画像に基づいて、車室特徴図を生成し、
前記車室特徴図に対して人体検知を行って、車室における少なくとも１つの人体にそれぞれ対応するマルチチャンネル特徴図を得て、ここで、前記マルチチャンネル特徴図は、人体中心点特徴図、人体長さ特徴図、及び人体幅特徴図を含み、
前記マルチチャンネル特徴図に基づいて、前記少なくとも１つの人体に対応する人体検知枠情報を決定し、ここで、前記人体検知枠情報は、人体検知枠の中心点位置情報及び人体検知枠のサイズ情報を含むように構成される
項目１１～１４のいずれか１項に記載の装置。
（項目１６）
前記検知モジュールは、
前記マルチチャンネル特徴図に含まれる人体中心点特徴図について、プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取り、
順次切り取られた各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対して最大プーリング処理を行って、当該人体中心点特徴サブ図に対応する各人体中心点特徴値における最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報を決定し、
複数の前記人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定し、
各前記人体検知枠の中心点位置情報に基づいて、前記マルチチャンネル特徴図に含まれる人体長さ特徴図及び人体幅特徴図から、当該人体検知枠にマッチングする人体長さ情報及び人体幅情報をそれぞれ決定し、マッチングした前記人体長さ情報及び人体幅情報を、前記人体検知枠の前記サイズ情報とするように構成される
項目１５に記載の装置。
（項目１７）
前記検知モジュールは、
活性化関数によって、人体中心点位置を特徴付ける人体中心点特徴図に対して正規化処理を行って、正規化処理済の人体中心点特徴図を得て、
プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記正規化処理済の人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取るように構成される
項目１６に記載の装置。
（項目１８）
前記検知モジュールは、
複数の前記人体中心点特徴サブ図における各前記人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対応する最大人体中心点特徴値がプリセット閾値より大きいか否かを判断し、
前記人体中心点特徴サブ図に対応する最大人体中心点特徴値が前記プリセット閾値より大きい場合、当該最大人体中心点特徴値で示される人体中心点を目標人体中心点に決定し、
前記人体中心点特徴図における各前記目標人体中心点に対応する座標位置情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定するように構成される
項目１６又は１７に記載の装置。
（項目１９）
前記シートベルト検知情報はシートベルト検知枠情報を含み、
前記検知モジュールは、
前記車室環境画像に基づいて、車室特徴図を生成し、
前記車室特徴図に含まれる複数のピクセルにおける各前記ピクセルの属するシートベルト類別情報を決定し、ここで、前記シートベルト類別情報は、シートベルトに属すること、及びシートベルトに属さないことを含み、
シートベルト類別情報がシートベルトに属することであるピクセルを目標シートベルトピクセルに決定し、
各前記目標シートベルトピクセルとシートベルト中心ピクセルとの相対的なズレ情報を決定し、
前記相対的なズレ情報に基づいて、各前記目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定し、
前記シートベルト中心ピクセルに基づいて、同一のシートベルト中心ピクセルに対応する複数の目標シートベルトピクセルをクラスタリングして、車室における少なくとも１本のシートベルトに対応するシートベルト検知枠情報を得て、ここで、前記シートベルト検知枠情報は、シートベルト検知枠の中心点位置情報を含むように構成される
項目１１前記的装置。
（項目２０）
前記検知モジュールは、
前記車室特徴図に対してシートベルト検知を行って、二チャンネル特徴図を得て、ここで、前記二チャンネル特徴図は、背景特徴図及びシートベルト特徴図を含み、
前記車室特徴図に含まれる複数のピクセルにおける各ピクセルについて、前記背景特徴図及び前記シートベルト特徴図における、当該ピクセルにそれぞれ対応する特徴値のうちの比較的大きい方の特徴値で示されるシートベルト類別情報に基づいて、当該ピクセルの属するシートベルト類別情報と決定するように構成される
項目１９に記載の装置。
（項目２１）
プロセッサ、メモリ、及びバスを備える電子デバイスであって、
前記メモリには、前記プロセッサによって実行可能な機械可読命令が記憶されており、
前記電子デバイスが稼働するとき、前記プロセッサと前記メモリとは前記バスを介して通信され、
前記プロセッサは、前記メモリに記憶されている機械可読命令を実行するために用いられ、
項目１～１０のいずれか１項に記載のシートベルト装着検知方法を実現するように、前記機械可読命令が前記プロセッサによって実行される
電子デバイス。
（項目２２）
コンピュータプログラムが記憶されており、
前記コンピュータプログラムが電子デバイスによって実行されるとき、前記電子デバイスが項目１～１０のいずれか１項に記載のシートベルト装着検知方法を実行する
コンピュータ可読記憶媒体。
（項目２３）
コンピュータ可読コードが含まれており、
前記コンピュータ可読コードが電子デバイスで実行される場合、前記電子デバイスのプロセッサが項目１～１０のいずれか１項に記載のシートベルト装着検知方法を実現するように実行する
コンピュータプログラム。

【0035】

本開示の上記目的、特徴及び利点を容易に理解するために、以下は、実施例を組み合わせて且つ添付図面を参照しながら、詳細に説明する。

【図面の簡単な説明】

【0036】

【図1】本開示の実施例により提供されるシートベルト装着検知方法のフローチャートである。

【図2】本開示の実施例により提供されるシートベルト装着検知方法における、シートベルト装着検知結果を決定することのフローチャートである。

【図3】本開示の実施例により提供されるシートベルト装着検知方法の構造模式図である。

【図4】本開示の実施例により提供されるシートベルト装着検知装置の模式図である。

【図5】本開示の実施例により提供される電子デバイスの模式図である。

【発明を実施するための形態】

【0037】

本開示の実施例の技術的解決手段をより明確に説明するために、以下実施例において使用される必要がある図面を簡単に説明し、ここでの図面は、明細書に組み込まれ且つ本明細書の一部を構成しており、これらの図面は、本開示に適合する実施例を示し、明細書とともに本開示の技術的解決手段を説明するために用いられる。以下の図面は、本開示の一部の実施例のみを示しているため、範囲に対する限定と見なされるべきではなく、当業者にとって、創造的な労働を払わない前提で、さらにこれらの図面に基づいて他の関連図面を取得できることを理解すべきである。

【0038】

本開示の実施例の目的、技術的解決手段及び利点をより明確にするために、以下は、本開示の実施例における図面を参照しながら本開示の実施例における技術的解決手段を明確及び完全に説明する。当然ながら、説明した実施例は、本開示の一部の実施例だけであり、全ての実施例ではない。一般的に、ここで説明され及び示された本開示の実施例の構成要素は、様々な異なる構成によって配置や設計されてもよく。従って、以下の本開示の実施例に対する詳細説明は、本開示の範囲を限定するものでなく、本開示の選択された実施例を示すものだけである。当業者にとって、本開示の実施例に基づいて創造的な労働を払わない前提で取得した全ての他の実施例は、本開示の保護範囲に含まれるべきである。

【0039】

関連技術において、ある運転者及び乗客は、シートベルトを装着しない又は誤って装着することにより、シートベルトが装着されていない旨の報警を回避する。このような行為は、運転者及び乗客の安全にセキュリティリスクをもたらす。

【0040】

上記検討に基づいて、本開示は、人体検知とシートベルト検知とを組み合わせることにより、ユーザーがシートベルトを正しく装着するか否かの行為に対して効果的な検知を行うことができるシートベルト装着検知方法を少なくとも提供する。

【0041】

関連技術に存在した欠陥については、すべて発明者が実践を経って且つ鋭意に研究した結果であり、従って、上記問題の発見過程及び後述の上記問題について本開示の提出する解決手段は、いずれも発明者が本開示の過程において本開示に対してなされた貢献である。

【0042】

なお、以下の図面において、類似の符号及び英字は類似の要素を表するため、ある要素が１つの図面において定義される場合、それ以降の図面においてこの要素に対してさらなる定義や解釈を行う必要がなくなる。

【0043】

本実施例を容易に理解するために、まず、本開示の実施例に開示されたシートベルト装着検知方法について詳細に説明する。

【0044】

本開示の実施例に提供されるシートベルト装着検知方法の実行本体は、一般的に一定の計算能力を有する電子デバイスであり、当該電子デバイスは、例えば、端末装置、サーバ又は他の処理デバイスを含む。端末デバイスは、ユーザーデバイス(Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ)、モバイルデバイス、ユーザー端末、端末、携帯電話、コードレス電話、携帯情報端末(Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ)、ハンドヘルドデバイス、コンピューティングデバイス、車載デバイス、ウェアラブルデバイス等であってもよい。本開示のいくつかの実施形態において、当該シートベルト装着検知方法は、プロセッサによってメモリに記憶されているコンピュータ可読命令を呼び出す形態で実現されてもよい。

【0045】

以下、本開示の実施例により提供されるシートベルト装着検知方法について説明する。

【0046】

図１は、本開示の実施例により提供されるシートベルト装着検知方法のフローチャートである。図１を参照して、方法はステップＳ１０１～Ｓ１０４を含む。

【0047】

ステップＳ１０１では、車室環境画像を取得する。

【0048】

ステップＳ１０２では、車室環境画像に対して人体検知を行って、車室における少なくとも１つの人体の人体検知情報を得、及び、車室環境画像に対してシートベルト検知を行って、車室における少なくとも１本のシートベルトのシートベルト検知情報を得る。

【0049】

ステップＳ１０３では、少なくとも１つの人体の人体検知情報を、少なくとも１本のシートベルトのシートベルト検知情報とマッチングし、シートベルト装着検知結果を決定する。

【0050】

ステップＳ１０４では、いずれかの人体がシートベルトを装着していない場合、警告情報を発する。

【0051】

本開示の実施例により提供されるシートベルト装着検知の方法を容易に理解するために、次に当該シートベルト装着検知の方法について説明する。本開示の実施例により提供されるシートベルト装着検知方法は、車室内シートベルト装着の検知シーンに適用することができる。

【0052】

関連技術において、大部分の車両にはシートベルトセンサ及び警報器が取り付けられている。乗員が着座したことを決定した後、シートベルトセンサを用いてシートベルトが既に係止されているか否かを検知することができ、且つシートベルトが係止されていないと検知した場合、通過警報器によって音声を発生させたりアイコンを点滅させたりして、運転者にシートベルトの装着を注意することができる。しかしながら、ある運転者は、シートベルトのソケットにシートベルトバックルを挿入することにより、又は、シートベルトを身の後から迂回してソケットに挿入することにより、シートベルトが装着されていない旨の報警を回避する。このような行為は、大きなセキュリティリスクを容易に発生させる。

【0053】

また、シートベルトの装着行為について、関連する交通管理規則が定められていますが、現在は、主に手動チェック方式に基づいて乗員がシートベルトを装着しているか否かを決定する。しかしながら、このような手動チェック方式は、大量の人力物力を消費し、且つシートベルトの装着行為に対して良好な管理作用を果たすことができない。

【0054】

上記問題を解決するために、本開示の実施例は、人体検知とシートベルト検知とを組み合わせて、ユーザーのシートベルトを装着する行為に対して効果的な検知を行うことが実現できるシートベルト装着検知方法を提供する。

【0055】

ここで、上記車室環境画像は、車室に設けられた撮像装置によって撮像されたものであってもよい。人体及びシートベルトに相関する画像情報を撮像するために、ここでの撮像装置は、乗員が着座した後の行為を撮像できることを前提として、車室内の座席に対向して設けられてもよい。

【0056】

本開示の実施例において、抽出された車室環境画像に対して、人体検知を行うことができる一方、シートベルト検知を行うことができる。人体検知は、車室内の人体に相関する人体検知情報、例えば人体の所在する人体検知枠情報を決定することができる。シートベルト検知は、車室内のシートベルトに相関するシートベルト検知情報、例えばシートベルトの所在するシートベルト検知枠情報を決定することができる。なお、上記人体検知及びシートベルト検知は同時に行われてもよい。

【0057】

本開示の実施例において、人体検知枠情報及びシートベルト検知枠情報を決定した後、人体とシートベルトとの関連関係に基づいて、シートベルト装着の検知を実現することができる。

【0058】

図２は、本開示の実施例により提供される安全装着検知方法における、シートベルト装着検知結果を決定することのフローチャートである。

【0059】

図２に示すように、シートベルト装着検知結果を決定するプロセスは、ステップＳ２０１～ステップＳ２０４によって実現されることができる
ステップＳ２０１では、少なくとも１本のシートベルトに対応するシートベルト検知枠の中心点位置と、人体検知枠の中心点位置との相対的なズレ情報を決定する。

【0060】

ステップＳ２０２では、決定された相対的なズレ情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点から、各シートベルトに対応するシートベルト検知枠の中心点に関連する人体検知枠の中心点が存在するか否かを検索する。

【0061】

ステップＳ２０３では、いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在していない場合、当該人体がシートベルトを装着していないと決定する。

【0062】

ステップＳ２０４では、いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在している場合、当該人体がシートベルトを装着していると決定する。

【0063】

ここで、予めトレーニングされた人体中心点ズレネットワークを用いて、シートベルト検知枠の中心点位置と、人体検知枠の中心点位置との相対的なズレ情報を決定することができる。

【0064】

本開示の実施例において、ネットワークトレーニングを行う前に、予めシートベルトの中心位置をピクセルでマークするとともに、当該シートベルトに対応する人体の中心位置をピクセルでマークすることができ、上記マーク情報に基づいて、上記人体中心点ズレネットワークのネットワークパラメータがトレーニングされて得ることができる。

【0065】

ここで、トレーニングされて得られたネットワークパラメータに基づいて、各人体に対応する相対的なズレ情報を決定することができ、相対的なズレ情報とシートベルト検知枠の中心点位置とを組み合わせて、少なくとも１つの人体検知枠の中心点から、各シートベルトに対応するシートベルト検知枠の中心点に関連する人体検知枠の中心点が存在するか否かを検索することができ、即ち、相対的なズレ情報及びシートベルト検知枠の中心点位置が決定された後、シートベルト検知枠に関連する人体検知枠は決定されることができる。

【0066】

本開示の実施例において、いずれかの人体について、それの人体検知枠に関連するシートベルト検知枠が検索されていない場合、当該人体がシートベルトを装着していないことを意味する。それの人体検知枠に関連するシートベルト検知枠が検索された場合、当該人体がシートベルトを装着していることを意味する。

【0067】

具体的な適用には、シートベルトを装着していないいずれかの人体が存在すると決定した場合、本開示の実施例により提供されるシートベルト装着検知方法はさらに、車載端末又は運転者側によってシートベルトを装着していないユーザーが存在することを示す警告情報を発し、乗員にシートベルトを正しく装着することを注意して、車両の走行安全を確保することができる。

【0068】

人体がシートベルトを正しく装着している場合、人体検知情報とシートベルト検知情報との間には強い空間的な関係があると考えられるため、ここでは、２種類の検知情報(即ち、人体検知情報とシートベルト検知情報)をマッチングすることにより、検知された人体がシートベルトを装着しているか否かを決定することできる。

【0069】

なお、本開示の実施例において、人体検知及びシートベルト検知を行う前に、まず、取得された車室環境画像に対して特徴抽出を行って車室特徴図を得ることができる。ここで、画像処理の方法に基づいて車室環境画像に対して画像処理を行い、車室相関特徴(例えば、シーン特徴、物体プロファイル特徴等)を抽出することができ、また予めトレーニングされた特徴抽出ネットワークに基づいて、車室環境画像から特徴を抽出し、車室特徴図を得ることができる。

【0070】

特徴抽出ネットワークによってより豊かで、より深い隠蔽特徴をマイニングすることができると考慮するため、本開示の実施例は、特徴抽出ネットワークを採用して特徴抽出を実現することができる。

【0071】

本開示の一部の実施例において、特徴抽出ネットワークはバックボーン（Ｂａｃｋｂｏｎｅ）ネットワークに基づいてトレーニングされたものであってもよく、畳み込みニューラルネットワーク(ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ)の１種として、Ｂａｃｋｂｏｎｅネットワークは、畳み込みニューラルネットワークの畳み込み特性によって入力画像と出力特徴との間の関連関係をトレーニングすることができる。

【0072】

このように、取得された車室環境画像をトレーニングされた特徴抽出ネットワークに入力すると、入力された車室環境画像に対して少なくとも１回の畳み込み演算を行い、それにより、対応する車室特徴図を抽出することができる。

【0073】

本開示の一部の実施例において、入力が６４０*４８０サイズの車室環境画像については、特徴抽出ネットワークを経った後、次元削減した８０*６０*Ｃの車室特徴図を得ることができ、ここで、Ｃはチャンネルの数であり、各チャンネルは１つの次元における車室特徴に対応することができる。

【0074】

本開示の実施例により提供されるシートベルト装着検知の方法に対する人体検知及びシートベルト検知の重要な役割を考慮し、次に、人体検知枠情報の決定、及びシートベルト検知枠情報の決定によりそれぞれ説明する。

【0075】

本開示の一部の実施例において、人体検知枠情報を人体検知情報とした場合、本開示の実施例は、先に人体に係るマルチチャンネル特徴図を抽出し、続いてこのマルチチャンネル特徴図に基づいて人体検知枠情報を決定し、具体的なにステップＡ１～ステップＡ２を含むことができる。

【0076】

ステップＡ１では、車室特徴図に対して人体検知を行って、車室における少なくとも１つの人体にそれぞれ対応するマルチチャンネル特徴図を得て、ここで、マルチチャンネル特徴図は、人体中心点特徴図、人体長さ特徴図、及び人体幅特徴図を含む。

【0077】

ステップＡ２では、マルチチャンネル特徴図に基づいて、少なくとも１つの人体に対応する人体検知枠情報を決定し、ここで、人体検知枠情報は、人体検知枠の中心点位置情報及び人体検知枠のサイズ情報を含む。

【0078】

ここで、トレーニングされた人体検知ネットワークに基づいて人体に係るマルチチャンネル特徴図を抽出することができる。ここでの人体検知ネットワークがＣＮＮネットワークに基づいてトレーニングして得るものであってもよい点で上記特徴抽出ネットワークと類似する。ここでの人体検知ネットワークについて車室特徴と人体特徴との関連関係がトレーニングされる点で上記特徴抽出ネットワークと異なる。このように、車室特徴図をトレーニングされた人体検知ネットワークに入力すると、入力された車室特徴図に対して少なくとも１回の畳み込み演算を行い、それにより、各人体に対応するマルチチャンネル特徴図を抽出することができる。

【0079】

ここで、マルチチャンネル特徴図に含まれる人体中心点特徴図が含んでいる各人体中心点特徴値は、対応する各ピクセルが人体中心点に属する確率の大きさを特徴付けてもよい。人体中心点特徴値が大きいほど、人体中心点に対応する確率が大きくなる。逆に、人体中心点特徴値が小さいほど、人体中心点に対応する確率も小さくなる。また、マルチチャンネル特徴図に含まれる人体長さ特徴図及び人体幅特徴図は、人体の長さ情報及び幅情報を特徴付けることができる。

【0080】

なお、後続の人体中心位置に係る位置決めを容易に実現するために、ここでのマルチチャンネル特徴図のサイズは車室特徴図のサイズと同様であってもよい。ここで、マルチチャンネル特徴図が三チャンネル特徴図である例をとし、人体検知ネットワークを経った後、８０*６０*３の三チャンネル特徴図を得ることができる。

【0081】

本開示の一部の実施例において、上記マルチチャンネル特徴図に基づいて、人体検知枠の中心点位置情報及び人体検知枠のサイズ情報を含む人体検知枠情報を決定するプロセスは、具体的なにステップＢ１～ステップＢ４を含むことができる。

【0082】

ステップＢ１では、マルチチャンネル特徴図に含まれる人体中心点特徴図について、プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取る。

【0083】

ステップＢ２では、順次切り取られた各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対して最大プーリング処理を行って、当該人体中心点特徴サブ図に対応する各人体中心点特徴値における最大人体中心点特徴値、及び人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報を特定する。

【0084】

ステップＢ３では、複数の人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定する。

【0085】

ステップＢ４では、各人体検知枠の中心点位置情報に基づいて、マルチチャンネル特徴図に含まれる人体長さ特徴図及び人体幅特徴図から、当該人体検知枠にマッチングする人体長さ情報及び人体幅情報をそれぞれ決定し、マッチングした人体長さ情報及び人体幅情報を人体検知枠のサイズ情報とする。

【0086】

ここで、人体中心点特徴図に対応する各人体中心点特徴値の大きさは、対応するピクセルが人体中心点とする可能性に直接影響し、即ち、特徴値が大きいほど、人体中心点であると決定する可能性が大きくなり、逆も同様である。従って、本開示の実施例は、先に最大プーリング処理を行い、処理結果に応じて人体中心点である可能性が最も高いピクセルを検索し、続いて人体に対応する人体検知枠の中心点位置情報を決定する解決手段を提供する。

【0087】

本開示の一些実施例において、プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、人体中心特徴図から人体中心点特徴サブ図を順次切り取ることができ、例えば、以８０*６０サイズの人体中心特徴図を例にし、プリセットプーリングサイズの３*３、プリセットプーリングステップ長さの１に応じてサブ図を切り取った後、８０*６０個の人体中心点特徴サブ図を得ることができる。

【0088】

順次切り取られた各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対応する、各人体中心点特徴値における最大人体中心点特徴値を決定することができ、即ち、最大プーリング処理を経った後、各人体中心点特徴サブ図について１つの最大人体中心点特徴値を決定することができる。このように、当該人体中心点特徴サブ図における最大人体中心点特徴値の座標位置、及び人体中心点特徴図における当該人体中心点特徴サブ図の座標範囲に基づいて、人体中心点特徴図における最大人体中心点特徴値の座標位置情報を決定することができる。当該座標位置情報は、主に人体中心点の位置を特徴付けるものであるため、この座標位置情報に基づいて人体に対応する人体検知枠の中心点位置情報を決定することができる。

【0089】

本開示の一些実施例において、人体中心点検知の正確性をさらに向上させるために、閾値設定の方式により、得られた各最大人体中心点特徴値から人体中心点に対してより合致する最大人体中心点特徴値を選択することができる。例示的に、まず１つの人体中心点特徴サブ図に対応する最大人体中心点特徴値がプリセット閾値より大きいか否かを判断することができ、最大人体中心点特徴値がプリセット閾値より大きい場合、当該最大人体中心点特徴値で示される人体中心点を目標人体中心点に決定することができ、当該目標人体中心点に対応する座標位置情報を人体検知枠の中心点位置情報に決定することができる。逆に、最大人体中心点特徴値がプリセット閾値以下である場合、目標人体中心点の座標位置情報に対して割り当て操作を実行しない。

【0090】

ここで、上記選択されたプリセット閾値は大きすぎるものも小さすぎるものも好ましくなく、閾値が大きすぎると人体の検知を見逃す可能性があり、閾値が小さすぎると余計な検知につながる可能性がある。従って、プリセット閾値が大きすぎる又は小さすぎる場合、いずれも、人体検知の正確性を確保することができない。本開示の実施例は、具体的な適用シーンに応じて異なるプリセット閾値を選択することができ、ここで限定しない。

【0091】

なお、異なる人体中心点特徴サブ図については、人体中心点特徴図におけるそれの最大人体中心点特徴値の座標位置情報が同一である可能性がある。本開示の一部の実施例において、後続の計算量を低減するために、情報をマージできる。

【0092】

本開示の一些実施例において、プーリング処理を容易に行うために、人体中心点位置を特徴付ける人体中心点特徴図については、先にシグモイド（ｓｉｇｍｏｉｄ）活性化関数で当該人体中心点特徴図に対して正規化処理を行って、続いて、正規化処理済の人体中心点特徴図から人体中心点特徴サブ図を順次切り取る。ここで、ｓｉｇｍｏｉｄ活性化関数は、人体中心点特徴図に対応する各人体中心点特徴値を０から１の範囲内の数値に変換することができる。

【0093】

本開示の一些実施例において、人体検知枠の中心点位置情報が決定された場合、同一の中心点位置情報に基づいて、人体長さ特徴図及び人体幅特徴図からこの人体検知枠の中心点位置情報にマッチングする人体長さ情報及び人体幅情報を検索し、ひいては人体検知枠のサイズ情報を決定することができる。

【0094】

本開示の一些実施例において、シートベルト検知枠情報をートベルト検知情報とした場合、シートベルト類別認識、シートベルト中心オフセットの決定、及びピクセルのクラスタリングを組み合わせてシートベルト検知枠情報の決定を実現することができ、ステップＣ１～ステップＣ３を含むことができる。

【0095】

ステップＣ１では、車室特徴図に含まれる複数のピクセルにおける各ピクセルの属するシートベルト類別情報を決定し、ここでシートベルト類別情報は、シートベルトに属すること、及びシートベルトに属さないことを含み、シートベルト類別情報がシートベルトに属することであるピクセルを目標シートベルトピクセルに決定する。

【0096】

ステップＣ２では、各目標シートベルトピクセルとシートベルト中心ピクセルとの相対的なズレ情報を決定し、相対的なズレ情報に基づいて、各目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定する。

【0097】

ステップＣ３では、決定されたシートベルト中心ピクセルに基づいて、同一のシートベルト中心ピクセルに対応する複数の目標シートベルトピクセルをクラスタリングし、車室における少なくとも１本のシートベルトに対応するシートベルト検知枠情報を得、シートベルト検知枠情報は、シートベルト検知枠の中心点位置情報を含む。

【0098】

ここで、本開示の実施例により提供されるシートベルト装着検知方法は、まず、シートベルトに係るシートベルト類別情報を抽出し、続いて、シートベルト中心点オフセットネットワークによってシートベルトに属するという類別における各目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定し、最後に、シートベルト中心ピクセルに基づいて目標シートベルトピクセルをクラスタリングし、これにより、シートベルト検知枠の中心点位置情報を決定することができる。

【0099】

本開示の一部の実施例において、上記シートベルトに係る安全類別情報を抽出する操作は、セマンティックセグメンテーションネットワークによって実現されてもよい。ここで、上記セマンティックセグメンテーションネットワークは、シートベルト類別がマークされたトレーニングサンプルセットに基づいてトレーニングされたものであってもよく、ここでのマークは、ピクセルごとにマークする方法を採用してもよく、即ち、いずれかのトレーニングサンプルについて、当該トレーニングサンプルに含まれる各ピクセルのシートベルト類別をマークしてもよく、このように、ネットワークパラメータの学習により、車室特徴図に含まれる複数のピクセルにおける各ピクセルの属するシートベルト類別情報を決定することができる。

【0100】

本開示の一些実施例において、上記セマンティックセグメンテーションネットワークは、１つの二分類模型として、背景特徴図及びシートベルト特徴図が含まれる二チャンネル特徴図を決定することができ、このように、車室特徴図における各ピクセルについて、背景特徴図及びシートベルト特徴図における、当該ピクセルにそれぞれ対応する特徴値のうちの比較的大きい方の特徴値で示されるシートベルト類別情報に基づいて、各ピクセルのシートベルト類別を決定することができ、即ち、特徴値が大きいほど、それの対応する類別可能性が高くなり、これにより、２種類のプリセット類別から可能性が高い類別を選択することができる。

【0101】

本開示の一些実施例において、８０*６０*Ｃの車室特徴図を例にし、セマンティックセグメンテーションネットワークを経った後、８０*６０*２の二チャンネル特徴図を得ることができ、８０*６０サイズの特徴図の各ピクセルにわたって、チャンネルにおける点数が最も大きい次元に対応するシートベルト類別を取り出すことにより、当該ピクセルに対応する類別を決定することができる。

【0102】

本開示の一部の実施例において、８０*６０サイズの特徴図の各ピクセルにわたって、チャンネルにおける点数が最も大きい次元に対応するシートベルト類別を取り出すことは、特徴図の各次元の特徴ベクトルに対してｓｏｆｔｍａｘ計算を行って実現されてもよい。

【0103】

本開示の一些実施例において、車室特徴図に含まれる各ピクセルのシートベルト類別情報が決定された後、シートベルト中心点ズレネットワークによって、シートベルトに属するという類別における目標シートベルトピクセルに対応する相対的なズレ情報を決定し、ひいては各目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定することができる。

【0104】

本開示の一些実施例において、上記シートベルト中心点ズレネットワークは、シートベルトピクセルと安全点中心ピクセルとの相対的なズレ情報をトレーニングし、ネットワークトレーニングを行う前に、予め１本のシートベルトの所在する画像領域をピクセルでマークするとともに、１本のシートベルトの中心位置をピクセルでマークすることができ、上記マーク情報に基づいて上記シートベルト中心点オフセットネットワークのネットワークパラメータがトレーニングされて得ることができる。

【0105】

本開示の一些実施例において、トレーニングされて得られたネットワークパラメータに基づいて、各目標シートベルトピクセルに対応する相対的なズレ情報を決定することができ、相対的なズレ情報と目標シートベルトピクセルの位置とを組み合わせて、目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定することができる。

【0106】

例示的に、８０*６０*２の二チャンネル特徴図を例にし、８０*６０サイズの特徴図の各ピクセルにわたって、シートベルト中心点ズレネットワークの操作を経った後、８０*６０*２の二チャンネルズレ特徴図を得ることができ、２つのチャンネルは、それぞれ２つの方向における相対的なズレ情報を特徴付けることにより、最終の相対的なズレ情報を決定する。

【0107】

図３は、本開示の実施例により提供されるシートベルト装着検知方法の構造模式図である。

【0108】

本開示の一部の実施例において、車室環境画像３０１には、車室における乗員の着座状態が含まれてもよい。ここで、乗員の数が複数である場合、車室環境画像３０１には、各乗員の着座状態が含まれてもよい。

【0109】

本開示の一部の実施例において、ニューラルネットワーク３０２は、上記実施例に記載の特徴抽出ネットワーク、例えば上記実施例に記載のトレーニングされた人体検知ネットワーク、セマンティックセグメンテーションネットワークであってもよい。本開示の実施例において、ニューラルネットワーク３０２は、上記実施例に記載のＢａｃｋｂｏｎｅであってもよい。

【0110】

本開示の一部の実施例において、車室環境画像３０１をニューラルネットワーク３０２に入力し、車室環境画像３０１に対するニューラルネットワーク３０２の特徴抽出操作により、上記実施例に記載の８０*６０*３の三チャンネル特徴図３０３１、及び８０*６０*２の二チャンネル特徴図３０３２を得ることができる。

【0111】

例示的に、上記実施例に提供される方式に応じて、三チャンネル特徴図３０３１に対してプーリング処理を行って、少なくとも１本のシートベルトに対応するシートベルト検知枠中心点位置を得ることができる。例示的に、上記実施例に提供される方式に応じて、二チャンネル特徴図３０３２に基づいて、人体検知枠の中心点位置との相対的なズレ情報を決定することができ、上記実施例に提供される方式に基づいて、中心点位置情報及び相対的なズレ情報により、シートベルト装着検知結果を決定することができる。

【0112】

本開示の一些実施例において、異なる目標シートベルトピクセルに対応するシートベルト中心ピクセルは、同一であってもよいし、異なってもよい。同一のシートベルト中心ピクセルに対応する複数の目標シートベルトピクセルをクラスタリングすることにより、各シートベルトに対応するシートベルト検知枠情報を得ることができる。

【0113】

ここでのシートベルト検知枠情報は、シートベルト検知枠の中心点位置情報(シートベルト中心ピクセルに対応)を含んでもよく、そのほか、シートベルト検知枠情報はさらに、シートベルト検知枠のサイズ情報を含んでもよく、当該サイズ情報は、シートベルト中心ピクセルについてクラスタリングして得られた複数の目標シートベルトピクセルの所在する画像領域によって決定されてもよい。

【0114】

当業者にとって、具体的な実施形態の上記方法において、各ステップの作成順序は、厳密な実行順序を意味して実施プロセスに対して何らかの限定を行っておらず、各ステップの具体的な実行順序は、その機能及び可能な内在論理に応じて決定されるべきであることを理解される。

【0115】

同一の発明発想に基づいて、本開示の実施例は、シートベルト装着検知の方法に対応するシートベルト装着検知の装置をさらに提供し、本開示の実施例における装置の問題を解決する原理が本開示の実施例における上記シートベルト装着検知方法と類似するため、装置の実施は方法の実施を参照すればよく、繰り返しする部分の説明が省略される。

【0116】

本開示の実施例は、シートベルト装着検知装置４をさらに提供する。

【0117】

図４は、本開示の実施例により提供されるシートベルト装着検知装置の模式図である。図４に示すように、当該シートベルト装着検知装置４は、取得モジュール４０１と、検知モジュール４０２と、マッチングモジュール４０３と、警告モジュール４０４とを備えることができる。

【0118】

取得モジュール４０１は、車室環境画像を取得するように構成される。

【0119】

検知モジュール４０２は、車室環境画像に対して検知を行って、車室における少なくとも１つの人体の人体検知情報を得、及び、車室環境画像に対してシートベルト検知を行って、車室における少なくとも１本のシートベルトのシートベルト検知情報を得るように構成される。

【0120】

マッチングモジュール４０３は、少なくとも１つの人体の人体検知情報を少なくとも１本のシートベルトのシートベルト検知情報とマッチングし、シートベルト装着検知結果を決定するように構成される。

【0121】

警告モジュール４０４は、いずれかの人体がシートベルトを装着していない場合、警告情報を発するように構成される。

【0122】

上記シートベルト装着検知の装置を採用して、まず、取得された車室環境画像に基づいて車室特徴図を生成するとともに、車室特徴図に対して人体検知及びシートベルト検知をそれぞれ行って、人体検知情報及びシートベルト検知情報を得ることができ、人体が実際にシートベルトを装着する状態で、人体とシートベルトは一定の位置対応関係が存在することを考慮し、上記人体検知情報をシートベルト検知情報とマッチングすることにより、人体がシートベルトを装着しているか否かを検知することができ、シートベルトの装着行為に対する効果的な検知を実現する。

【0123】

本開示の一部の実施例において、マッチングモジュール４０３は、以下のステップに応じて、少なくとも１つの人体の人体検知情報を少なくとも１本のシートベルトのシートベルト検知情報とマッチングするように構成され、
即ち、
少なくとも１本のシートベルトに対応するシートベルト検知枠の中心点位置と、人体検知枠の中心点位置との間の相対的なズレ情報を決定し、
決定された相対的なズレ情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点から、各シートベルトに対応するシートベルト検知枠の中心点に関連する人体検知枠の中心点が存在するか否かを検索するように構成される。

【0124】

本開示の一部の実施例において、マッチングモジュール４０３は、以下のステップに応じて、シートベルト装着検知結果を決定するように構成され、
即ち、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在していない場合、当該人体がシートベルトを装着していないと決定するように構成される。

【0125】

本開示の一部の実施例において、マッチングモジュール４０３は、以下のステップに応じて、シートベルト装着検知結果を決定するように構成され、
即ち、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在している場合、当該人体がシートベルトを装着していると決定するように構成される。

【0126】

本開示の一部の実施例において、人体検知情報は人体検知枠情報を含み、検知モジュール４０２は、以下のステップに応じて、車室環境画像に対して人体検知を行って、車室における少なくとも１つの人体の人体検知情報を得るように構成され、
即ち、
車室環境画像に基づいて、車室特徴図を生成し、
車室特徴図に対して人体検知を行って、車室における少なくとも１つの人体にそれぞれ対応するマルチチャンネル特徴図を得て、ここで、マルチチャンネル特徴図は、人体中心点特徴図、人体長さ特徴図、及び人体幅特徴図を含み、
マルチチャンネル特徴図に基づいて、少なくとも１つの人体に対応する人体検知枠情報を決定し、ここで、人体検知枠情報は、人体検知枠の中心点位置情報及び人体検知枠のサイズ情報を含むように構成される。

【0127】

本開示の一部の実施例において、検知モジュール４０２は、以下のステップに応じて、マルチチャンネル特徴図に基づいて、少なくとも１つの人体に対応する人体検知枠情報を決定するように構成され、
即ち、
マルチチャンネル特徴図に含まれる人体中心点特徴図について、プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取り、
順次切り取られた各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対して最大プーリング処理を行って、当該人体中心点特徴サブ図に対応する各人体中心点特徴値における最大人体中心点特徴値、及び人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報を決定し、
複数の人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定し、
各人体検知枠の中心点位置情報に基づいて、マルチチャンネル特徴図に含まれる人体長さ特徴図及び人体幅特徴図から、当該人体検知枠にマッチングする人体長さ情報及び人体幅情報をそれぞれ決定し、マッチングした人体長さ情報及び人体幅情報を人体検知枠のサイズ情報とするように構成される。

【0128】

本開示の一部の実施例において、検知モジュール４０２は、以下のステップに応じて、プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取るように構成され、
即ち、
活性化関数によって、人体中心点位置を特徴付ける人体中心点特徴図に対して正規化処理を行って、正規化処理済の人体中心点特徴図を得て、
プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、正規化処理済の人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取るように構成される。

【0129】

本開示の一部の実施例において、検知モジュール４０２は、以下のステップに応じて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定するように構成され、
即ち、
複数の人体中心点特徴サブ図における各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対応する最大人体中心点特徴値がプリセット閾値より大きいか否かを判断し、
人体中心点特徴サブ図に対応する最大人体中心点特徴値がプリセット閾値より大きい場合、当該最大人体中心点特徴値で示される人体中心点を目標人体中心点に決定し、
人体中心点特徴図における各目標人体中心点に対応する座標位置情報に基づいて、少なくとも１つの人体に対応する人体検知枠の中心点位置情報を決定するように構成される。

【0130】

本開示の一部の実施例において、シートベルト検知情報はシートベルト検知枠情報を含み、検知モジュール４０２は、以下のステップに応じて、車室環境画像に対してシートベルト検知を行って、車室における少なくとも１本のシートベルトのシートベルト検知情報を得るように構成され、
即ち、
車室環境画像に基づいて、車室特徴図を生成し、
車室特徴図に含まれる複数のピクセルにおける各ピクセルの属するシートベルト類別情報を決定し、ここで、シートベルト類別情報は、シートベルトに属すること、及びシートベルトに属さないことを含み、且つシートベルト類別情報がシートベルトに属することであるピクセルを目標シートベルトピクセルに決定し、
各目標シートベルトピクセルとシートベルト中心ピクセルとの相対的なズレ情報を決定し、相対的なズレ情報に基づいて、各目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定し、
シートベルト中心ピクセルに基づいて、同一のシートベルト中心ピクセルに対応する複数の目標シートベルトピクセルをクラスタリングし、車室における少なくとも１本のシートベルトに対応するシートベルト検知枠情報を得て、ここで、シートベルト検知枠情報は、シートベルト検知枠の中心点位置情報を含むように構成される。

【0131】

本開示の一部の実施例において、検知モジュール４０２は、以下のステップに応じて、車室特徴図に含まれる複数のピクセルにおける各ピクセルの属するシートベルト類別情報を決定するように構成され、
即ち、
車室特徴図に対してシートベルト検知を行って、二チャンネル特徴図を得て、ここで、二チャンネル特徴図は、背景特徴図及びシートベルト特徴図を含み、
車室特徴図に含まれる複数のピクセルにおける各ピクセルについて、背景特徴図及びシートベルト特徴図における、当該ピクセルにそれぞれ対応する特徴値のうちの比較的大きい方の特徴値で示されるシートベルト類別情報に基づいて、当該ピクセルの属するシートベルト類別情報に決定するように構成される。

【0132】

装置における各モジュールの処理フロー、及び各モジュール同士の交互フローの説明について、上記方法実施例における関連説明を参照すればよく、ここで詳細な説明を省略する。

【0133】

本開示の実施例は、電子デバイス５をさらに提供する。図５は、本開示の実施例により提供される電子デバイス構造模式図である。図５に示すように、当該電子デバイスは、プロセッサ５０１、メモリ５０２、及びバス５０３を備える。メモリ５０２には、プロセッサ５０１によって実行可能な機械可読命令(例えば、図４における装着検知機能付きの装置における取得モジュール４０１、検知モジュール４０２、マッチングモジュール４０３及び警告モジュール４０４に対応する実行命令等)が記憶されており、電子デバイスが稼働する場合、プロセッサ５０１とメモリ５０２とは通過バス５０３を介して通信され、機械可読命令がプロセッサ５０１によって実行される場合、以下の処理ステップを実行する。

【0134】

即ち、
車室環境画像を取得することと、車室環境画像に対して人体検知を行って、車室における少なくとも１つの人体の人体検知情報を得、及び、車室環境画像に対してシートベルト検知を行って、車室における少なくとも１本のシートベルトのシートベルト検知情報を得ることと、少なくとも１つの人体の人体検知情報を少なくとも１本のシートベルトのシートベルト検知情報とマッチングし、シートベルト装着検知結果を決定することと、いずれかの人体がシートベルトを装着していない場合、警告情報を発することと、を実行する。

【0135】

上記命令の具体的な実行プロセスは、本開示の実施例におけるシートベルト装着検知方法を参照すればよく、ここで説明を省略する。

【0136】

本開示の実施例は、コンピュータ可読記憶媒体をさらに提供し、当該コンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、当該コンピュータプログラムは、プロセッサによって実行されるとき、上記方法実施例に記載のシートベルト装着検知方法を実行する。ここで、当該記憶媒体は、揮発性又は不揮発性のコンピュータ読み取り可能な記憶媒体であってもよい。

【0137】

本開示の実施例に提供されるシートベルト装着検知の方法のコンピュータプログラム製品は、プログラムコードが記憶されているコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令は、上記方法実施例に記載のシートベルト装着検知方法を実行するために用いられることができる。上記方法実施例を参照すればよく、ここでは説明を省略する。

【0138】

本開示の実施例は、コンピュータプログラムをさらに提供し、当該コンピュータプログラムは、コンピュータ可読コードを含み、当該コンピュータ可読コードが電子デバイスで実行される場合、電子デバイスのプロセッサは、上記いずれかの実施例に記載のシートベルト装着検知方法を実現するように実行する。当該コンピュータプログラム製品は、具体的に、ハードウエア、ソフトウェア、又はそれらの組み合わせの形で実現してもよく。本開示の一部の実施例において、前記コンピュータプログラム製品は、具体的にコンピュータ記憶媒体に具現化され、本開示の一部の実施例において、コンピュータプログラム製品は、具体的にソフトウェア製品、例えばソフトウェア開発パッケージ(Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ)等に具現化される。

【0139】

当業者であれば明らかなように、説明の便宜及び簡潔のために、上記記載のシステム及び装置の具体的な動作プロセスは、上記方法実施例における対応するプロセスを参照すればよく、ここでは説明を省略する。本開示により提供されるいくつかの実施例において、開示したシステム、装置及び方法は、他の形態で実現されることができることを理解すべきである。以上に記載の装置の実施例は、例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、例えば、複数のユニット又は部品は組み合わせてもよいし、又は別のシステムに統合してもよいし、又は一部の特徴を省略もしくは実行しなくてもよい。また、図示又は説明した各構成要素の結合、又は直接結合、又は通信接続は、いくつかのインタフェース、デバイス又はユニットを介した間接結合又は通信接続であり得、電気的、機械的又は他の形態であり得る。

【0140】

前記機分離部材として説明した上記ユニットは物理的に分離されたものであってもなくてもよく、ユニットとして示した部材は物理的ユニットであってもなくてもよく、つまり、一箇所に位置してもよく、又は複数のネットワークユニットに分布してもよく、実際の必要に応じてその一部又は全てのユニットを選択して本実施例の解決手段の目的を実現できる。また、在本開示の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、それぞれ独立して物理的に存在してもよく、２つ又は２つ以上のユニットで１つのユニットに統合されてもよい。

【0141】

前記機能は、ソフトウェア機能ユニットの形で実現され、且つ独立した製品として販売又は使用される場合、プロセッサによって実行可能な不揮発性のコンピュータ読み取り可能な記憶媒体に記憶されてもよく。このような見解をもとに、本実施例の技術的解決手段は、実質的に又は従来技術に寄与する部分又はこの技術的手段の全部又は一部がソフトウェア製品の形で具現化されることができ、当該コンピュータソフトウェア製品記憶は、記憶媒体に記憶され、電子デバイス(パーソナルコンピュータ、サーバ、又はネットワークデバイス等であってもよい)に本開示の各実施例に記載の方法おける全部又は一部のステップを実行させるための複数の命令を含む。上記の記憶媒体は、ＵＳＢメモリ、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、磁気ディスク又は光ディスク等のプログラムコードを記憶可能である様々な媒体を含む。

【0142】

最後に、以上に記載の実施例は、本開示の具体的な実施形態に過ぎず、本開示を限定するものでなく、それの技術的解決手段を説明するためのものであり、且つ本開示の保護範囲がこれに限定されていないことを説明すべきである。上記実施例を参照しながら本開示につて詳細に説明したが、当業者であれば、本開示に開示された技術範囲内において、依然として上記実施例に記載の技術的解決手段を修正し又は容易に変更し、又はその一部の技術的特徴に対して均等置換を行うことを理解すべきである。これらの修正、変更又は置換は、対応する技術的解決手段の本質を本開示の実施例の技術的解決手段の精神及び範囲から逸脱させず、いずれも本開示の保護範囲の内に含まれるべきである。従って、本開示の保護範囲は、請求項の保護範囲に準ずるものとする。

【産業上の利用可能性】

【0143】

本願の実施例は、シートベルト装着検知方法、装置、電子デバイス、記憶媒体並びにプログラムを開示しており、前記方法は、車室環境画像を取得することと、前記車室環境画像に対して検知を行って、車室における少なくとも１つの人体の人体検知情報を得、及び、前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも１本のシートベルトのシートベルト検知情報を得ることと、前記少なくとも１つの人体の人体検知情報を、前記少なくとも１本のシートベルトのシートベルト検知情報とマッチングして、シートベルト装着検知結果を決定することと、を含み、本願実施例により提供されるシートベルト装着検知方法は、車室環境における乗員の装着シートベルトの状態を正確に検知することが実現できる。

【図1】

【図2】

【図3】

【図4】

【図5】