IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 上▲海▼商▲湯▼智能科技有限公司の特許一覧

特表2025-501260車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム
<>
  • 特表-車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム 図1
  • 特表-車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム 図2
  • 特表-車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム 図3
  • 特表-車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム 図4
  • 特表-車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム 図5a
  • 特表-車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム 図5b
  • 特表-車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム 図6
  • 特表-車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム 図7a
  • 特表-車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム 図7b
  • 特表-車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム 図8
  • 特表-車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム 図9
  • 特表-車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム 図10
  • 特表-車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム 図11
  • 特表-車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム 図12
  • 特表-車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム 図13
  • 特表-車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-17
(54)【発明の名称】車両内の乗員の座席を決定する方法及び車両制御方法、装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20250109BHJP
   B60W 50/10 20120101ALI20250109BHJP
   B60W 60/00 20200101ALI20250109BHJP
   G06V 20/59 20220101ALI20250109BHJP
   B60N 2/005 20060101ALI20250109BHJP
【FI】
G06T7/00 300D
B60W50/10
B60W60/00
G06V20/59
B60N2/005
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024539629
(86)(22)【出願日】2022-10-12
(85)【翻訳文提出日】2024-06-28
(86)【国際出願番号】 CN2022124919
(87)【国際公開番号】W WO2023124384
(87)【国際公開日】2023-07-06
(31)【優先権主張番号】202111682157.3
(32)【優先日】2021-12-31
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520180323
【氏名又は名称】上▲海▼商▲湯▼智能科技有限公司
【氏名又は名称原語表記】SHANGHAI SENSETIME INTELLIGENT TECHNOLOGY CO., LTD.
【住所又は居所原語表記】Room 1605A, Building 3, 391 Guiping Road, Xuhui District, Shanghai 200233 China
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】李▲陽▼▲陽▼
(72)【発明者】
【氏名】▲許▼▲亮▼
(72)【発明者】
【氏名】毛▲寧▼元
【テーマコード(参考)】
3B087
3D241
5L096
【Fターム(参考)】
3B087AA00
3D241BA00
3D241CE06
3D241DD02B
3D241DD10B
5L096BA04
5L096CA02
5L096DA02
5L096GA06
5L096GA17
5L096JA03
(57)【要約】
本開示は、車両内の乗員の座席を決定する方法、車両制御方法及び装置を提供し、前記車両内の乗員の座席を決定する方法は、車両内の車両画像を取得することと、車両画像内の複数の第1座席領域を決定することと、車両画像に基づいて車両内の乗員を検出し、車両画像内の各前記乗員の検出枠を決定することと、各乗員の検出枠に対して、検出枠と各前記第1座席領域との第1マッチング度に基づいて、検出枠に対応する座席を決定することと、車両画像内の複数の第2座席領域を決定することと、第1マッチング度に基づいて対応する目標第1座席領域の目標乗員の検出枠が決定されないことに対して、目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、目標乗員の検出枠に対応する目標第2座席領域を決定することと、を含む。
【特許請求の範囲】
【請求項1】
電子機器によって実行される車両内の乗員の座席を決定する方法であって、
車両内の車両画像を取得することと、
前記車両画像内の複数の第1座席領域を決定することであって、各前記第1座席領域は1つの座席に対応する、ことと、
前記車両画像に基づいて前記車両内の乗員を検出し、前記車両画像内の各前記乗員の検出枠を決定することと、
各前記乗員の検出枠に対して、前記検出枠と各前記第1座席領域との第1マッチング度に基づいて、前記検出枠に対応する座席を決定することと、
前記車両画像内の複数の第2座席領域を決定することであって、各前記第2座席領域は1行の座席又は1列の座席に対応する、ことと、
前記第1マッチング度に基づいて対応する目標第1座席領域の目標乗員の検出枠が決定されないことに対して、前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定することと、
前記目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲と、前記目標乗員の検出枠とに基づいて、前記目標乗員の検出枠に対応する座席を決定することと、を含む、車両内の乗員の座席を決定する方法。
【請求項2】
前記車両画像内の複数の第1座席領域を決定することは、
前記車両の座席分布設定情報に基づいて、前記車両画像内の各座席に対応する第1座席領域を決定することを含む、
請求項1に記載の車両内の乗員の座席を決定する方法。
【請求項3】
前記検出枠と各前記第1座席領域との第1マッチング度に基づいて、前記検出枠に対応する座席を決定することは、
予め設定された順序に従って各前記第1座席領域をトラバースすることと、トラバースされた各第1座席領域に対して、
前記検出枠と前記第1座席領域とのオーバーラップ度を、前記検出枠と前記第1座席領域との第1マッチング度とすることと、
前記第1マッチング度が第1閾値に達し、前記第1座席領域に対応する座席が他の検出枠にバインドされない場合、前記第1座席領域に対応する座席を前記検出枠にバインドし、前記検出枠に対応する座席が前記第1座席領域に対応する座席であると決定することと、を含む、
請求項1又は2に記載の車両内の乗員の座席を決定する方法。
【請求項4】
前記車両画像内の各前記乗員の検出枠は、顔検出枠、人体検出枠のうちの少なくとも1つである、
請求項1~3のいずれか1項に記載の車両内の乗員の座席を決定する方法。
【請求項5】
前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定することは、
予め設定された順序に従って前記第2座席領域をトラバースすることと、トラバースされた各前記第2座席領域に対して、
前記目標乗員の検出枠と前記第2座席領域とのオーバーラップ度を、前記目標乗員の検出枠と前記第2座席領域との第2マッチング度とすることと、
前記第2マッチング度が第2閾値に達する場合、前記第2座席領域が前記目標乗員の検出枠に対応する目標第2座席領域であると決定することと、を含む、
請求項1~4のいずれか1項に記載の車両内の乗員の座席を決定する方法。
【請求項6】
前記目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲と、前記目標乗員の検出枠とに基づいて、前記目標乗員の検出枠に対応する座席を決定することは、
前記目標乗員の検出枠と前記目標第2座席領域内の各座席の位置範囲とに基づいて、前記目標乗員の検出枠の中心点が位置する前記位置範囲に対応する座席が前記目標乗員の検出枠に対応する候補座席であると決定することと、
前記候補座席が他の検出枠にバインドされない場合、前記候補座席が前記目標乗員の検出枠に対応する座席であると決定し、前記候補座席に対応する座席を前記目標乗員の検出枠にバインドすることと、を含む、
請求項1~5のいずれか1項に記載の車両内の乗員の座席を決定する方法。
【請求項7】
前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定することは、
トラバースされた各前記第2座席領域に対して、前記オーバーラップ度が前記第2閾値に達しない場合、前記目標乗員の検出枠とのオーバーラップ面積が最大である第2座席領域が目標第2座席領域であると決定することをさらに含む、
請求項5に記載の車両内の乗員の座席を決定する方法。
【請求項8】
前記目標乗員の検出枠に対応する目標第2座席領域が決定されない場合、対応する第1座席領域が前記目標乗員の検出枠に最も近く、且つ他の検出枠にバインドされない座席を、前記目標乗員の検出枠に対応する座席として決定することをさらに含む、
請求項1~7のいずれか1項に記載の車両内の乗員の座席を決定する方法。
【請求項9】
電子機器によって実行される車両制御方法であって、
請求項1~8のいずれか1項に記載の車両内の乗員の座席を決定する方法に基づいて、各前記座席領域に対応する検出枠を決定することと、
目標検出枠内の目標乗員が行った目標動作を検出し、前記目標動作と前記目標検出枠に対応する座席領域とに基づいて車両制御を行うことと、を含む、車両制御方法。
【請求項10】
車両内の乗員の座席を決定する装置であって、
車両内の車両画像を取得するように構成される取得部と、
前記車両画像内の複数の第1座席領域を決定するように構成される第1決定部であって、各第1座席領域は1つの座席に対応する、第1決定部と、
前記車両画像に基づいて前記車両内の乗員を検出し、前記車両画像内の各前記乗員の検出枠を決定するように構成される第2決定部と、
各前記乗員の検出枠に対して、前記検出枠と各前記第1座席領域との第1マッチング度に基づいて、前記検出枠に対応する座席を決定するように構成される第3決定部と、
前記車両画像内の複数の第2座席領域を決定するように構成される第4決定部であって、各前記第2座席領域は1行の座席又は1列の座席に対応する、第4決定部と、
前記第1マッチング度に基づいて対応する目標第1座席領域の目標乗員の検出枠が決定されないことに対して、前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定するように構成される第5決定部と、
前記目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲と、前記目標乗員の検出枠とに基づいて、前記目標乗員の検出枠に対応する座席を決定するように構成される第6決定部と、を備える、車両内の乗員の座席を決定する装置。
【請求項11】
前記第1決定部はさらに、前記車両の座席分布設定情報に基づいて、前記車両画像内の各座席に対応する第1座席領域を決定するように構成される、
請求項10に記載の車両内の乗員の座席を決定する装置。
【請求項12】
前記第3決定部はさらに、予め設定された順序に従って各前記第1座席領域をトラバースし、トラバースされた各第1座席領域に対して、前記検出枠と前記第1座席領域とのオーバーラップ度を、前記検出枠と前記第1座席領域との第1マッチング度として計算し、前記第1マッチング度が第1閾値に達し、前記第1座席領域に対応する座席が他の検出枠にバインドされない場合、前記第1座席領域に対応する座席を前記検出枠にバインドし、前記検出枠に対応する座席が前記第1座席領域に対応する座席であると決定するように構成される、
請求項10又は11に記載の車両内の乗員の座席を決定する装置。
【請求項13】
前記車両画像内の各前記乗員の検出枠は、顔検出枠、人体検出枠のうちの少なくとも1つである、
請求項10~12のいずれか1項に記載の車両内の乗員の座席を決定する装置。
【請求項14】
前記第5決定部はさらに、各目標乗員の検出枠に対して、予め設定された順序に従って前記第2座席領域をトラバースし、トラバースされた各第2座席領域に対して、前記目標乗員の検出枠と前記第2座席領域とのオーバーラップ度を、前記第2マッチング度として計算し、前記第2マッチング度が第2閾値に達する場合、前記第2座席領域が目標乗員の検出枠に対応する目標第2座席領域であると決定するように構成される、
請求項10~13のいずれか1項に記載の車両内の乗員の座席を決定する装置。
【請求項15】
前記第6決定部はさらに、前記目標乗員の検出枠と前記目標第2座席領域内の各座席の位置範囲とに基づいて、前記目標乗員の検出枠の中心点が位置する前記位置範囲に対応する座席が前記目標乗員の検出枠に対応する候補座席であると決定し、前記候補座席が他の検出枠にバインドされない場合、前記候補座席が前記目標乗員の検出枠に対応する座席であると決定し、前記候補座席に対応する座席を前記目標乗員の検出枠にバインドするように構成される、
請求項10~14のいずれか1項に記載の車両内の乗員の座席を決定する装置。
【請求項16】
前記第5決定部はさらに、トラバースされた各第2座席領域に対して、前記オーバーラップ度が第2閾値に達しない場合、前記目標乗員の検出枠とのオーバーラップ面積が最大である第2座席領域が目標第2座席領域であると決定するように構成される、
請求項14に記載の車両内の乗員の座席を決定する装置。
【請求項17】
前記第7決定部はさらに、前記目標乗員の検出枠に対応する目標第2座席領域が決定されない場合、対応する第1座席領域が前記目標乗員の検出枠に最も近く、且つ他の検出枠にバインドされない座席を、前記目標乗員の検出枠に対応する座席として決定するように構成される、
請求項10~16のいずれか1項に記載の車両内の乗員の座席を決定する装置。
【請求項18】
車両制御装置であって、
請求項1~8のいずれか1項に記載の車両内の乗員の座席を決定する方法に基づいて、各前記座席領域に対応する検出枠を決定するように構成される第8決定部と、
目標検出枠内の目標乗員が行った目標動作を検出し、前記目標動作と前記目標検出枠に対応する座席領域とに基づいて車両制御を行うように構成される検出部と、を備える、車両制御装置。
【請求項19】
コンピュータ機器であって、プロセッサ、メモリ及びバスを備え、前記メモリは、前記プロセッサで実行可能な機械可読命令を記憶し、コンピュータ機器が動作するとき、前記プロセッサと前記メモリはバスを介して通信し、前記プロセッサは前記機械可読命令を実行して、請求項1~8のいずれか1項に記載の車両内の乗員の座席を決定する方法のステップを実行するか、又は請求項9に記載の車両制御方法のステップを実行する、コンピュータ機器。
【請求項20】
プロセッサによって実行されるとき、前記プロセッサに請求項1~8のいずれか1項に記載の車両内の乗員の座席を決定する方法のステップを実行させるか、又は請求項9に記載の車両制御方法のステップを実行させる、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体。
【請求項21】
コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが電子機器において実行されるとき、前記電子機器内のプロセッサに、請求項1~8のいずれか1項に記載の車両内の乗員の座席を決定する方法のステップを実行させるか、又は請求項9に記載の車両制御方法のステップを実行させる、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願への相互参照)
本開示の実施例は、出願番号が202111682157.3であり、出願日が2021年12月31日であり、出願名称が「車両内の乗員の座席を決定する方法及び車両制御方法、装置」である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、該中国特許出願の全ての内容が参照により本開示に組み込まれる。
【0002】
本開示は、知能運転技術の分野に関し、車両内の乗員の座席を決定する方法及び車両制御方法、装置、電子機器、媒体並びにプログラム製品に関する。
【背景技術】
【0003】
自動車産業の急速な発展に伴い、自動車に必要なエンジンなどの重要部品の反復的な更新のほか、自動車産業に関連する多くの新興技術も自動車産業の急速な発展に伴って誕生し、その中には車両知能運転技術が含まれる。車両知能運転技術において、車両に人の動作に基づいて対応するフィードバックをさせる効果を実現できるために、人を車両座席と予めバインドし、さらに人の異なる動作に基づいて車両内の知能システムによって対応する判断をする必要がある。
【0004】
関連技術では、人が車両座席にバインドされる場合、着座姿勢又は身長などの客観的な要因により人と車両座席とのバインディングが誤ってしまう状況がよくあるため、どのように人を車両座席と正しくバインドするかは早急に解決すべき問題となっている。
【発明の概要】
【課題を解決するための手段】
【0005】
本開示の実施例は、少なくとも車両内の乗員の座席を決定する方法及び車両制御方法、装置、電子機器、媒体並びにプログラム製品を提供する。
【0006】
一態様では、本開示の実施例は車両内の乗員の座席を決定する方法を提供し、該方法は、
車両内の車両画像を取得することと、
前記車両画像内の複数の第1座席領域を決定することであって、各前記第1座席領域は1つの座席に対応する、ことと、
前記車両画像に基づいて前記車両内の乗員を検出し、前記車両画像内の各前記乗員の検出枠を決定することと、
各前記乗員の検出枠に対して、前記検出枠と各前記第1座席領域との第1マッチング度に基づいて、前記検出枠に対応する座席を決定することと、
前記車両画像内の複数の第2座席領域を決定することであって、各前記第2座席領域は1行の座席又は1列の座席に対応する、ことと、
前記第1マッチング度に基づいて対応する目標第1座席領域の目標乗員の検出枠が決定されないことに対して、前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定することと、
前記目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲と、前記目標乗員の検出枠とに基づいて、前記目標乗員の検出枠に対応する座席を決定することと、を含む。
【0007】
本開示の実施例によって提供される解決策では、第1座席領域により座席の目標乗員の検出枠を決定できない場合に、第1座席領域の領域範囲を拡張し、拡張された領域範囲の第2座席領域に基づいて、目標乗員の検出枠に対応する座席をさらに決定し、これにより乗員と座席とのマッチング又はバインディングに失敗する確率を低減させ、乗員の座席マッチングの成功率を向上させることができる。
【0008】
1つの可能な実施形態では、前記車両画像内の複数の第1座席領域を決定することは、
前記車両の座席分布設定情報に基づいて、前記車両画像内の各座席に対応する第1座席領域を決定することを含む。
【0009】
異なる車種の座席分布設定情報が異なる可能性があるため、車両の座席分布設定情報により、第1座席領域をより正確に決定することができる。
【0010】
1つの可能な実施形態では、各前記乗員の検出枠に対して、前記検出枠と各前記第1座席領域との第1マッチング度に基づいて、前記検出枠に対応する座席を決定することは、
予め設定された順序に従って各前記第1座席領域をトラバースすることと、トラバースされた各前記第1座席領域に対して、
前記検出枠と前記第1座席領域とのオーバーラップ度を、前記検出枠と前記第1座席領域との第1マッチング度として計算することと、
前記第1マッチング度が第1閾値に達し、前記第1座席領域に対応する座席が他の検出枠にバインドされない場合、前記第1座席領域に対応する座席を前記検出枠にバインドし、前記検出枠に対応する座席が前記第1座席領域に対応する座席であると決定することと、を含む。
【0011】
前記第1マッチング度が第1閾値に達する場合、他の検出枠が前記第1座席領域にバインドされるかどうかを検出することにより、複数の検出枠が1つの座席領域にバインドされることを回避でき、さらにバインディング結果に基づいて車両制御を行うときに、車両の走行に影響を及ぼすことを回避する。
【0012】
1つの可能な実施形態では、前記車両画像内の各前記乗員の検出枠は、顔検出枠、人体検出枠のうちの少なくとも1つである。
【0013】
1つの可能な実施形態では、前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定することは、
各目標乗員の検出枠に対して、予め設定された順序に従って前記第2座席領域をトラバースすることと、トラバースされた各第2座席領域に対して、
前記目標乗員の検出枠と前記第2座席領域とのオーバーラップ度を、前記第2マッチング度として計算することと、
前記第2マッチング度が第2閾値に達する場合、前記第2座席領域が目標乗員の検出枠に対応する目標第2座席領域であると決定することと、を含む。
【0014】
このような方法により、まず目標乗員がどの行の乗員又はどの列の乗員であるかを検出し、次にさらなる座席バインディングを行うことができ、これによりバインディング結果の精度を向上させることができる。
【0015】
1つの可能な実施形態では、前記目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲と、前記目標乗員の検出枠とに基づいて、前記目標乗員の検出枠に対応する座席を決定することは、
前記目標乗員の検出枠と前記目標第2座席領域内の各座席の位置範囲とに基づいて、前記目標乗員の検出枠の中心点が位置する前記位置範囲に対応する座席が前記目標乗員の検出枠に対応する候補座席であると決定することと、
前記候補座席が他の検出枠にバインドされない場合、前記候補座席が前記目標乗員の検出枠に対応する座席であると決定し、前記候補座席に対応する座席を前記目標乗員の検出枠にバインドすることと、を含む。
【0016】
1つの可能な実施形態では、前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定することは、
トラバースされた各第2座席領域に対して、前記オーバーラップ度が第2閾値に達しない場合、前記目標乗員の検出枠とのオーバーラップ面積が最大である第2座席領域が目標第2座席領域であると決定することをさらに含む。
【0017】
1つの可能な実施形態では、前記方法は、
前記目標乗員の検出枠に対応する目標第2座席領域が決定されない場合、対応する第1座席領域が前記目標乗員の検出枠に最も近く、且つ他の検出枠にバインドされない座席を、前記目標乗員の検出枠に対応する座席として決定することをさらに含む。
【0018】
別の態様では、本開示の実施例は車両制御方法をさらに提供し、該車両制御方法は、
第1態様又は第1態様のいずれかの可能な実施形態に記載の車両内の乗員の座席を決定する方法に基づいて、各前記座席領域に対応するユーザ検出枠を決定することと、
目標検出枠内の目標ユーザがする目標動作を検出し、前記目標動作と前記目標検出枠に対応する座席領域とに基づいて車両制御を行うことと、を含む。
【0019】
上述の実施例に記載の車両内の乗員の座席を決定する方法に基づいて、車両制御に使用される場合、ユーザによって発された動作命令に応答して、ユーザの動作とその座席に基づいて的確なフィードバックを行うことができ、車両を使用するときのユーザのインタラクション感受が向上する。
【0020】
他の態様では、本開示の実施例は、車両内の乗員の座席を決定する装置をさらに提供し、該装置は、
車両内の車両画像を取得するように構成される取得部と、
前記車両画像内の複数の第1座席領域を決定するように構成される第1決定部であって、各第1座席領域は1つの座席に対応する、第1決定部と、
前記車両画像に基づいて前記車両内の乗員を検出し、前記車両画像内の各前記乗員の検出枠を決定するように構成される第2決定部と、
各前記乗員の検出枠に対して、前記検出枠と各前記第1座席領域との第1マッチング度に基づいて、前記検出枠に対応する座席を決定するように構成される第3決定部と、
前記車両画像内の複数の第2座席領域を決定するように構成される第4決定部であって、各第2座席領域は1行の座席又は1列の座席に対応する、第4決定部と、
前記第1マッチング度に基づいて対応する目標第1座席領域の目標乗員の検出枠が決定されないことに対して、前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定するように構成される第5決定部と、
前記目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲と、前記目標乗員の検出枠とに基づいて、前記目標乗員の検出枠に対応する座席を決定するように構成される第6決定部と、を備える。
【0021】
1つの可能な実施形態では、前記第1決定部はさらに、前記車両の座席分布設定情報に基づいて、前記車両画像内の各座席に対応する第1座席領域を決定するように構成される。
【0022】
1つの可能な実施形態では、前記第3決定部はさらに、予め設定された順序に従って各前記第1座席領域をトラバースし、トラバースされた各第1座席領域に対して、前記検出枠と前記第1座席領域とのオーバーラップ度を、前記検出枠と前記第1座席領域との第1マッチング度として計算し、前記第1マッチング度が第1閾値に達し、前記第1座席領域に対応する座席が他の検出枠にバインドされない場合、前記第1座席領域に対応する座席を前記検出枠にバインドし、前記検出枠に対応する座席が前記第1座席領域に対応する座席であると決定するように構成される。
【0023】
1つの可能な実施形態では、前記車両画像内の各前記乗員の検出枠は、顔検出枠、人体検出枠のうちの少なくとも1つである。
【0024】
1つの可能な実施形態では、前記第5決定部はさらに、各目標乗員の検出枠に対して、予め設定された順序に従って前記第2座席領域をトラバースし、トラバースされた各第2座席領域に対して、前記目標乗員の検出枠と前記第2座席領域とのオーバーラップ度を、前記第2マッチング度として計算し、前記第2マッチング度が第2閾値に達する場合、前記第2座席領域が目標乗員の検出枠に対応する目標第2座席領域であると決定するように構成される。
【0025】
1つの可能な実施形態では、前記第6決定部はさらに、前記目標乗員の検出枠と前記目標第2座席領域内の各座席の位置範囲とに基づいて、前記目標乗員の検出枠の中心点が位置する前記位置範囲に対応する座席が前記目標乗員の検出枠に対応する候補座席であると決定し、前記候補座席が他の検出枠にバインドされない場合、前記候補座席が前記目標乗員の検出枠に対応する座席であると決定し、前記候補座席に対応する座席を前記目標乗員の検出枠にバインドするように構成される。
【0026】
1つの可能な実施形態では、前記第5決定部はさらに、トラバースされた各第2座席領域に対して、前記オーバーラップ度が第2閾値に達しない場合、前記目標乗員の検出枠とのオーバーラップ面積が最大である第2座席領域が目標第2座席領域であると決定するように構成される。
【0027】
1つの可能な実施形態では、前記第7決定部はさらに、前記目標乗員の検出枠に対応する目標第2座席領域が決定されない場合、対応する第1座席領域が前記目標乗員の検出枠に最も近く、且つ他の検出枠にバインドされない座席を、前記目標乗員の検出枠に対応する座席として決定するように構成される。
【0028】
他の態様では、本開示の実施例は車両制御装置をさらに提供し、該装置は、
第1態様又は第1態様のいずれかの可能な実施形態に記載の車両内の乗員の座席を決定する方法に基づいて、各前記座席領域に対応するユーザ検出枠を決定するように構成される第8決定部と、
目標検出枠内の目標ユーザがする目標動作を検出し、前記目標動作と前記目標検出枠に対応する座席領域とに基づいて車両制御を行うように構成される検出部と、を備える。
【0029】
他の態様では、本開示の実施例はコンピュータ機器をさらに提供する。前記コンピュータ機器は、プロセッサ、メモリ及びバスを備え、前記メモリは、前記プロセッサで実行可能な機械可読命令を記憶し、コンピュータ機器が動作するとき、前記プロセッサと前記メモリはバスを介して通信し、前記機械可読命令が前記プロセッサによって実行されるとき、上記のいずれかの可能な実施形態におけるステップを実行する。
【0030】
他の態様では、本開示の実施例はコンピュータ可読記憶媒体をさらに提供する。前記コンピュータ可読記憶媒体は、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されるとき、上記のいずれかの可能な実施形態におけるステップを実行する。
【0031】
他の態様では、本開示の実施例はコンピュータプログラム製品をさらに提供する。前記コンピュータプログラム製品は、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器において実行されるとき、前記電子機器内のプロセッサは、上記のいずれかの可能な実施形態におけるステップを実行する。
【0032】
以上の一般的な説明及び以下の詳細な説明が例示的及び解釈的なものだけであり、本開示を制限するものではないことを理解すべきである。以下の図面に基づく例示的な実施例への詳細な説明によれば、本開示の他の特徴及び態様は明らかになる。
【図面の簡単な説明】
【0033】
図1】本開示の実施例による車両内の乗員の座席を決定する方法のフローチャートを示す。
【0034】
図2】本開示の実施例による4人乗り車両の第1座席領域の分割方式概略図を示す。
【0035】
図3】本開示の実施例による前記検出枠に対応する座席を決定するフローチャートを示す。
【0036】
図4】本開示の実施例による検出枠と第1座席領域との間のオーバーラップ度の計算方式の概略図を示す。
【0037】
図5a】本開示の実施例による行によって分割された4人乗り車両の第2座席領域の概略図を示す。
【0038】
図5b】本開示の実施例による列によって分割された4人乗り車両の第2座席領域の概略図を示す。
【0039】
図6】本開示の実施例による前記目標乗員の検出枠に対応する目標第2座席領域を決定するフローチャートを示す。
【0040】
図7a】本開示の実施例による前記目標乗員の検出枠に対応する目標第2座席領域を決定する概略図を示す。
【0041】
図7b】本開示の実施例による前記目標乗員の検出枠に対応する目標第2座席領域を決定する別の概略図を示す。
【0042】
図8】本開示の実施例による目標第2座席領域に基づいて前記目標乗員の検出枠に対応する座席を決定するフローチャートを示す。
【0043】
図9】本開示の実施例による目標第2座席領域に基づいて前記目標乗員の検出枠に対応する座席を決定する概略図を示す。
【0044】
図10】本開示の実施例による、前記目標乗員の検出枠に対応する目標第2座席領域が決定されない場合、対応する第1座席領域が前記目標乗員の検出枠に最も近く、且つ他の検出枠にバインドされない座席が、前記目標乗員の検出枠に対応する座席として決定される概略図を示す。
【0045】
図11】本開示の実施例による車両制御方法のフローチャートを示す。
【0046】
図12】本開示の実施例による車両内の乗員の座席を決定する装置のアーキテクチャ概略図を示す
【0047】
図13】本開示の実施例による車両制御装置のアーキテクチャ概略図を示す。
【0048】
図14】本開示の実施例によるコンピュータ機器1400の構造的概略図を示す。
【発明を実施するための形態】
【0049】
本開示の実施例の技術的解決策をより明瞭に説明するために、以上において、実施例に必要とされる図面について簡単に紹介し、ここでの図面は明細書に組み込まれて本明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的解決策を説明するために用いられる。以下の図面は本開示のいくつかの実施例のみを示すため、範囲を限定するものと見なすべきではなく、当業者にとっては、創造的な労力を要することなく、これらの図面に基づいて他の関連する図面を取得することもできることを理解すべきである。
【0050】
当業者が本開示的解決策をよりよく理解できるようにするために、以下に本開示の実施例における図面を参照しながら本開示の実施例における技術的解決策を明確且つ完全に説明し、明らかに、説明される実施例は本出願の実施例の一部に過ぎず、全ての実施例ではない。本開示の実施例に基づき、当業者が創造的な労力を要することなく得られた他の全ての実施例は、いずれも本開示の保護範囲に属する。
【0051】
本開示の明細書及び特許請求の範囲及び上記の図面における「第1」、「第2」などという用語は、特定の順序を記述しなく、異なる対象を区別するために使用される。さらに、「含む」及び「備える」という用語並びにそれらの変形は、非排他的な包含をカバーすることを意図する。
【0052】
例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、既に列挙されたステップ又はユニットに限定されず、列挙されていないステップ又はユニットをさらに含む可能性があるか又はこのようなプロセス、方法、製品又は機器に固有の他のステップ又はユニットをさらに含む可能性がある。
【0053】
理解すべきこととして、本出願では、「少なくとも1つ(項)」は1つ又は複数を指し、「複数」は2つ又は2つ以上を指し、「少なくとも2つ(項)」は2つ又は3つ及び3つ以上を指し、「及び/又は」は、関連するオブジェクトの関連関係を説明するために使用され、3種類の関係が存在できることを示し、例えば、「A及び/又はB」は、Aのみが存在すること、Bのみが存在すること、A及びBが同時に存在することの3つの状況を示すことができ、ここで、A、Bは単数又は複数であってよい。文字「/」は、前後の関連オブジェクトが「又は」の関係であることを示すことができ、1項(個)又は複数の項(個)の任意の組み合わせを含む、これらの項のうちの任意の組み合わせを指す。例えば、a、b又はcのうちの少なくとも1項(個)は、a、b、c、「aとb」、「aとc」、「bとc」、又は「aとbとc」を示すことができ、ここで、a、b、cは単一であってもよく、複数であってもよい。文字「/」はさらに、数学演算における除算記号を表すことができ、例えば、a/b=aをbで割ったもの、6/3=2である。「次の少なくとも1項(個)」又はそれに類似した表現。
【0054】
研究によると、人と車両座席とのバインディングに関する既存の開示技術では、人と車両座席をバインドするプロセスでは、人の着座姿勢又は身長などの客観的な要因により機械が認識できない状況がよくあり、例えば子供は体が小さく、身長が足りず動きやすいため、機械が監視できない。
【0055】
そして、人と車両座席とのバインディングに関する既存の開示技術では、人と車両座席をバインドするプロセスでは、一般的に1つのバインディング方式のみが採用され、しかもバインディングは一回だけ実行され、関連するベーシックな戦略がないため、実行機器が誤審する状況をもたらしやすく、それによって人と車両座席とのバインディングが誤ってしまう状況を招く。
【0056】
上記研究に基づいて、本開示の実施例は、車両内の乗員の座席を決定する方法を提供し、第1座席領域により座席の目標乗員の検出枠を決定できない場合に、第1座席領域の領域範囲を拡張し、拡張された領域範囲の第2座席領域に基づいて、目標乗員の検出枠に対応する座席をさらに決定し、これにより乗員と座席とのマッチング又はバインディングに失敗する確率を低減させ、乗員の座席マッチングの成功率を向上させることができる。
【0057】
類似する符号及びアルファベットは以下の図面において類似項を表し、従って、ある1項が1つの図面において定義されれば、以降の図面においてそれをさらに定義して解釈する必要がないことに注意すべきである。
【0058】
本開示の実施例を容易に理解するために、まず本開示の実施例により開示される車両内の乗員の座席を決定する方法、車両制御方法を詳しく説明する。本開示の実施例により提供される車両内の乗員の座席を決定する方法、車両制御方法の実行本体は、車両制御機器(例えば軌道交通コックピット知能分析ボックス、バスコックピット知能分析ボックス)、又はサーバである。
【0059】
図1を参照すると、本開示の実施例による車両内の乗員の座席を決定する方法のフローチャートであり、前記方法は、ステップS101~S107を含む。
【0060】
S101において、車両内の車両画像を取得する。
【0061】
S102において、前記車両画像内の複数の第1座席領域を決定し、各前記第1座席領域は1つの座席に対応する。
【0062】
S103において、前記車両画像に基づいて前記車両内の乗員を検出し、前記車両画像内の各前記乗員の検出枠を決定する。
【0063】
S104において、各前記乗員の検出枠に対して、前記検出枠と各前記第1座席領域との第1マッチング度に基づいて、前記検出枠に対応する座席を決定する。
【0064】
S105において、前記車両画像内の複数の第2座席領域を決定し、各前記第2座席領域は1行の座席又は1列の座席に対応する。
【0065】
S106において、前記第1マッチング度に基づいて対応する目標第1座席領域の目標乗員の検出枠が決定されないことに対して、前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定する。
【0066】
S107において、前記目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲と、前記目標乗員の検出枠とに基づいて、前記目標乗員の検出枠に対応する座席を決定する。
【0067】
以下においてステップ101~107を詳細に説明する。
【0068】
S101について、
1つの可能な実施形態では、ステップS101は、画像収集トリガー条件を満たすことに応答して、車両内の車両画像を取得することを含むことができる。
【0069】
ここで、前記画像収集トリガー条件を満たし、車両の車両画像を取得することは、以下に説明される複数のシナリオのいずれか1つで実現され得る。
【0070】
シナリオAにおいて、運転者は車両を開けて始動する。ここで、車両は点火又は通電の方式によって始動することができ、車両が始動した後、車両回路システムがオンになり、、車両がネットワークにアクセスし、車両内の車両画像の取得を開始する。
【0071】
シナリオBにおいて、運転者が車のドアを開けるか又は車のスタートスイッチをトリガーする。ここで、車のスタートスイッチをトリガーすることは、車のリモートコントロールスイッチをオンにする方式、車のスタートキーを挿入する方式、又はウェアラブルデバイスを使用して車体に接触する方式などのうちの少なくとも1つによって実行されてもよい。ここで、運転者が車のドアを開けるか又は車のスタートスイッチをトリガーすることが検出された後、車両内の車両画像を取得する。
【0072】
シナリオCにおいて、車両の走行中、予め設定された周期に従って定期的に車両内の画像を収集し、即ち、一定時間ごとに車両内の車両画像を取得することができる。
【0073】
1つの可能な実施形態では、前記車両画像は、車内の環境を含む画像であり、例示的に、車両画像の内容は、車室内のすべての座席、車両内の人々、及び他のペットなどを含むことができる。
【0074】
1つの可能な実施形態では、前記車両画像は運転者監視システム(DMS:driver monitoring system)を使用して収集して取得されてもよく、収集プロセスではDMSカメラを使用して撮影することができる。DMSを使用して車両画像を収集するプロセスでは、車両内の状況がリアルタイムで動的に変化するため、車両の走行中にリアルタイムで車両画像を収集する必要がある。
【0075】
実際の応用では、車両の運転中に、車両内の乗員の座る位置は変化する可能性があるため、収集された各フレームの車両画像について、すべてステップS102~S107に基づいて検出枠及び座席領域を決定することができる。
【0076】
1つの可能な実施形態では、時間帯の間隔で乗客の座席を収集し決定する方式を使用することができ、1回の収集を行った後、予め設定された時間間隔を経て、現在の車両状況に対して車両画像の収集を再度行う。この方式により、DMSシステムの収集圧力を低減させ、リソース占用を減少させることができる。実際の使用では、予め設定された時間帯を可能な限り小さく設定することができ、これによりDMSシステムは車両内の車両状況に対してよりタイムリーに車両画像を更新し、リソース占用を減少させると同時に、収集された車両画像と車両内のリアルタイムの車両状況との誤差を可能な限り低減させることもできる。
【0077】
1つの可能な実施形態では、画像収集トリガー条件を満たすことに応答して、サーバは車両内の車両画像を取得する操作を実行する。ここで、車両がプリセットシステムにアクセスすることが検出された後、前記プリセットシステムに対応するサーバは、前記車両が画像収集トリガー条件を満たすかどうかを検出することができる。車両が画像収集トリガー条件を満たすことが検出される場合、サーバによって車載カメラ又は車載カメラに接続された車載ホストに車両画像取得要求を送信し、それによって車両内の車両画像を取得することができる。
【0078】
ここで、前記車両がプリセットシステムにアクセスすることは、例示的に、車載システム(例えば車両搭載のナビゲーションシステム)を介してプリセットシステムにアクセスすることを指すことができ、又は運転者持参のウェアラブルデバイス(例えばスマートウォッチなど)を介してプリセットシステムにアクセスする。
【0079】
車両がプリセットシステムにのみアクセスするが、画像収集トリガー条件を満たしていない場合、リソース占用を減少させるために、サーバは車両内の車両画像を取得しなくてもよい。
【0080】
別の可能な実施形態では、車両がプリセットシステムにアクセスする必要がなく、車両が画像収集トリガー条件を満たした後、車載ホスト側によって車両内の車両画像を直接取得する。このような方式により、車両側のDMSシステムによってリアルタイムで車両を直接監視し、車両内の車両画像を収集し、車両使用の安全性を向上させることができる。
【0081】
上記の2つの実施形態は、特定のシナリオで組み合わせて使用することができ、ここで、車両が極端な状況によりサーバにアクセスできない場合に、例えば、自動車が水に濡れて止まる場合、車両が信号のない道路区間まで走行した場合などに、車両の内蔵するDMSシステムによって車両内の車両状況を検出し、現在の車両画像を更新することができる。車両が正常な状況に戻った後に、引き続きサーバによって車両内の車両画像を取得することができる。
【0082】
S102について、
車両内の車両画像を取得した後、前記車両画像内の複数の第1座席領域を決定することができる。
【0083】
ここで、各前記第1座席領域は、車両内部の1つの独立して乗り得る座席領域である。第1座席領域を分割する場合、車両内部の各独立して乗り得る座席を1つの第1座席領域として分割することができ、1つの車両内には複数の第1座席領域がある。例示的に、図2に示すように、4人乗り車両の第1座席領域の分割方式を図2に示す。
【0084】
ここで、この4人乗り車両はそれぞれ4つの座席を含み、左上が運転席201であり、右上が助手席202であり、左下と右下がそれぞれ2つの乗員席(203、204を含む)に対応し、各座席にいずれも少なくとも1人の乗員が単独で乗り得る。第1座席領域を分割する場合、各座席を1つの第1座席領域に対応させて分割することができるため、この4人乗り車両は、それぞれ運転席領域201、助手席領域202、乗員A座席領域203、乗員B座席領域204である、4つの第1座席領域を含む。
【0085】
1つの可能な実施形態では、前記車両画像内の複数の第1座席領域を決定するプロセスでは、前記車両の座席分布設定情報に基づいて、前記車両画像内の各座席に対応する第1座席領域を決定することができる。
【0086】
前記車両の座席分布設定情報は、例示的に、車両内部の各座席の第1座席範囲情報、車両の座席位置レイアウト、及び座席数などを含むことができる。
【0087】
1つの可能な実施形態では、前記車両の座席分布設定情報を決定する方式は、前記車両の車種情報に基づいて、前記車種情報に対応する座席分布設定情報を決定することを含むことができる。ここで、車種情報と座席分布設定情報との対応関係を予め記憶することができ、前記車両の座席分布設定情報を決定する場合、前記対応関係に基づいて、前記車種情報に対応する座席分布設定情報を探すことができる。
【0088】
ここで、前記車両の車種情報を決定するプロセスでは、車両が、車種情報を自動的に報告する予め設定された戦略を実行できる場合、車両がプリセットシステムにアクセスするときに、車両によって車種情報を自動的に報告することができる。乗員が使用する車種が古すぎるため、予め設定された自動レポート戦略を実行できない場合、乗員によって関連する車種情報を自分で報告することができる。
【0089】
ここで、前記第1座席範囲情報は、該車種の車室内の第1座席領域の対応する画像座標範囲情報を含んでもよく、該画像座標範囲情報は、上記の車両画像を収集するためのカメラが車内に固定して取り付けられた後、収集した車内画像の座席を分割し、対応する各前記座席領域の境界座標を計算することで取得されてもよい。前記第1座席領域の対応する座標範囲情報に基づいて、前記車両画像から各前記第1座席領域を分割することができる。
【0090】
S103について、
前記車両画像における各前記乗員の検出枠は、顔検出枠、人体検出枠のうちの少なくとも1つである。1つの可能な実施形態では、前記車両画像における各前記乗員の検出枠を決定するプロセスでは、前記車両画像を予めトレーニングされた検出モデルに入力し、前記車両画像における各前記乗員のそれぞれに対応する検出枠を決定することができる。
【0091】
1つの可能な実施形態では、顔検出枠を検出するための検出モデルは第1モデルであってもよく、人体検出枠を検出するための検出モデルは第2モデルであってもよく、前記第1モデルと前記第2モデルの監督データは異なってもよく、前記第1モデルの監督データは、予めラベル付けされた顔枠であってもよく、前記第2モデルの監督データは、予めラベル付けされた人体枠であってもよい。
【0092】
又は、別の可能な実施形態では、顔検出枠を検出するための検出モデルと人体検出枠を検出するための検出モデルとは同じ検出モデルであってもよく、該検出モデルの監督データは、2種類、即ち予めラベル付けされた顔枠と予めラベル付けされた人体枠を含む。
【0093】
実際の応用では、図1の順序に基づいてステップS102とS103を同時に実行することができ、又はステップS102とS103を前後に実行することができ、以上の2つのステップの前後の区分については、本解決策は過度な制限をしない。
【0094】
ステップS104について、
上記の検出枠と各前記第1座席領域との第1マッチング度は、空間的位置の相関性を表し、検出枠と各前記第1座席領域との間のオーバーラップ面積、オーバーラップ度などに基づいて得られてもよい。
【0095】
1つの可能な実現形態では、各乗員の検出枠を各前記第1座席領域とマッチングさせることができ、例示的に、検出枠と第1座席領域とのオーバーラップ面積を計算し、車室内の複数の座席領域のうち、検出枠とのオーバーラップ面積が最も大きい座席領域が該検出枠に対応する座席であると決定し、それによって該検出枠内の乗員の乗る座席を決定することができる。
【0096】
1つの可能な実施形態では、前記検出枠と各前記第1座席領域との第1マッチング度に基づいて、前記検出枠に対応する座席を決定する上記のステップは、ステップS301~S303により実現され得る。
【0097】
ステップS301において、予め設定された順序に従って各前記第1座席領域をトラバースする。
【0098】
1つの可能な実施形態では、予め設定された順序に従って各前記第1座席領域をトラバースするプロセスでは、運転席から始まり、まず左から右へ、次に上から下へトラバースすることができる。例示的に、図2に示すように、図2には4つの第1座席領域が含まれ、各前記第1座席領域をトラバースするプロセスでは、運転席201、助手席202、乗員A座席203、及び乗員B座席204の順序に従って順次トラバースすることができる。
【0099】
別の可能な実施形態では、運転席から始まり、まず上から下へ、次に左から右へトラバースすることができる。例示的に、図2に示すように、図2には4つの第1座席領域が含まれ、各前記第1座席領域をトラバースするプロセスでは、運転席201、乗員A座席203、助手席202、及び乗員B座席204の順序に従って順次トラバースすることができる。
【0100】
トラバースされた各第1座席領域に対して、ステップS302とステップS303を実行する。
【0101】
ステップS302において、前記検出枠と前記第1座席領域とのオーバーラップ度を、前記検出枠と前記第1座席領域との第1マッチング度とする。
【0102】
前記オーバーラップ度は、例えばクロスオーバー率(IoU:Intersection-Over-Union)、即ち、検出枠と第1座席領域との間の共通集合と和集合の比であってもよい。例示的に、図4に示すように、図4の前記第1座席領域は運転席領域401であり、ここで、中間の灰色で強調表示される部分は、運転席領域401と検出枠402によって共通に含まれる領域403、即ち和集合領域であり、運転席領域と検出枠のすべての領域の総合は共通集合領域であり、共通集合領域と和集合領域との比を計算し、即ち運転席領域と検出枠とのオーバーラップ度を得、このオーバーラップ度を、前記検出枠と前記運転席領域との第1マッチング度とする。
【0103】
ステップS303において、前記第1マッチング度が第1閾値に達し、前記第1座席領域に対応する座席が他の検出枠にバインドされない場合、前記第1座席領域に対応する座席を前記検出枠にバインドし、前記検出枠に対応する座席が前記第1座席領域に対応する座席であると決定する。
【0104】
予め設定された順序に従って第1座席領域をトラバースするプロセスでは、第1座席領域が他の検出枠にバインドされるかどうかを検出することができる。1つの第1座席領域がある検出枠にバインドされると、該第1座席領域が該検出枠に対応する乗員の乗る位置であることを表し、通常、該第1座席領域に複数人が乗ることができないため、前記第1マッチング度が第1閾値に達する場合、前記第1座席領域が他の検出枠にバインドされるかどうかを検出し、これにより複数の検出枠が1つの座席領域にバインドされ、複数人が同じ座席に乗るという不合理な検出結果が出るのを回避することができる。
【0105】
1つの可能な実施形態では、前記第1座席領域において、顔検出枠の第1閾値と人体検出枠に対応する第1閾値とは異なってもよい。複数の異なる座席領域と車両画像を収集するカメラとの間の距離及び相対角度には差がある可能性があるため、各座席領域の顔検出枠はそれぞれ1つの第1閾値に対応することができ、各座席領域の人体検出枠はそれぞれ1つの第1閾値に対応することができる。
【0106】
1つの可能な実施形態では、現在トラバースされる第1座席領域について、1つの検出枠と該第1座席領域との第1マッチング度が対応する第1閾値に達し、該第1座席領域に対応する座席が他の検出枠にバインドされない場合、前記第1座席領域に対応する座席を前記検出枠に対応する座席とし、該第1座席領域を、それとの第1マッチング度が対応する第1閾値に達する検出枠にバインドする。
【0107】
1つの可能な実施形態では、ある乗員の顔検出枠と前記第1座席領域とによって計算された第1マッチング度が、対応する第1閾値に達するが、該乗員の人体検出枠と前記第1座席領域との第1マッチング度が対応する第1閾値に達しない場合、第1座席領域を該乗員の顔検出枠とバインドし、前記顔検出枠に対応する座席が前記第1座席領域に対応する座席であると決定し、さらに該乗員の顔を第1座席領域に対応する座席とバインドする。
【0108】
逆に、ある乗員の人体検出枠と前記第1座席領域とによって計算された第1マッチング度が、対応する第1閾値に達するが、該乗員の顔検出枠と前記第1座席領域とによって計算された第1マッチング度が対応する第1閾値に達しない場合、第1座席領域を該乗員の人体検出枠とバインドし、前記人体検出枠に対応する座席が前記第1座席領域に対応する座席であると決定し、さらに該乗員の人体を第1座席領域に対応する座席とバインドする。
【0109】
実際の応用では、ダブルマッチングの方式を採用し、人体検出枠と顔検出枠に対してそれぞれ座席領域のマッチングを順次行うことができ、1つの乗員の人体検出枠と顔検出枠のうちのいずれかの検出枠と第1座席領域との第1マッチング度が第1閾値に達する場合、該乗員の顔検出枠と人体検出枠をすべて前記第1座席領域とバインドし、さらに該乗員を第1座席領域とバインドし、これによりバインディング効率を向上させる。
【0110】
別の可能な実施形態では、人体検出枠のみ又は顔検出枠のみを使用する方式を採用し、座席領域のマッチングを行うことができ、ここで、顔検出枠のみを使用して検出を行う解決策では、顔検出枠と第1座席領域とのマッチング度が対応する第1閾値に達し、且つ前記第1座席領域に対応する座席が他の検出枠にバインドされない場合、該顔検出枠を第1座席領域とバインドし、前記顔検出枠に対応する座席が前記第1座席領域に対応する座席であると決定し、さらに該乗員の顔を第1座席領域とバインドする。第1マッチング度が対応するマッチング閾値を超えない場合、該乗員の顔を第1座席領域とバインドしない。人体検出枠を使用して検出を行う方法は、顔検出枠を使用して検出を行う方法と同様である。
【0111】
ステップS105について、
前記第2座席領域の領域範囲は、前記第1座席領域よりも大きく、1つの可能な実施形態では、前記第2座席領域は車両の空隙間隔の一部を含む座席領域であり、各前記第2座席領域は1行の座席又は1列の座席に対応する。
【0112】
1つの可能な実施形態では、決定された第1座席領域に基づいて、第2座席領域を決定することができる。ここで、決定された第1座席領域と車両画像に基づいて、第1座席領域の一部の間隔空隙を補充し、各行又は各列を1つの第2座席領域として決定することができ、次に、車両の車種情報に対して第2座席領域内の複数の領域を分割し、ここで、各第2座席領域は1行の座席に対応し、例示的に、各第2座席領域を次の方式に従ってさらに分割することができる。車両の各行に2つの座席がある場合、1/2のところで分割し、左列領域と右列領域に分割することができる。車両の各行に3つの座席がある場合、1/3のところで分割することができ、このように類推する。
【0113】
別の可能な実施形態では、車両画像に基づいて第2座席領域を直接決定することができる。ここで、行に従って分割する解決策では、車両画像内の各行の空隙間隔を直接取り除くことができ、車両内の各行を1つの第2座席領域として決定し、次に第2座席領域内の左列領域と左列領域を分割する。同様に、列に従って分割する解決策では、車両画像内の各列の空隙間隔を直接取り除くことができ、車両内の各列を1つの第2座席領域として決定し、次に第2座席領域内の上列領域と下列領域を分割する。
【0114】
例示的に、図5(a)に示すように、図5(a)は、行によって分割された4人乗り車両の第2座席領域の概略図を示し、ここで、図5(a)には、それぞれ第2座席領域A501と第2座席領域B502である、2つの第2座席領域が含まれ、各行は左列領域と右列領域を含み、各左列領域と各右列領域はそれぞれ1つの座席に対応する。
【0115】
又は、例示的に、図5(b)に示すように、図5(b)は、列によって分割された4人乗り車両の第2座席領域の概略図を示し、ここで、図5(b)には、それぞれ第2座席領域C503及び第2座席領域D504である、2つの第2座席領域が含まれ、各列は前行領域及び後行領域を含み、各前行領域と各後行領域はそれぞれ1つの座席に対応する。
【0116】
ステップS106について、
1つの可能な実施形態では、前記第1マッチング度に基づいて対応する目標第1座席領域の目標乗員の検出枠が決定されないことに対して、前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定する上記のステップは、図6に示すように、ステップS601~ステップS603により実現され得る。
【0117】
ステップS601において、予め設定された順序に従って前記第2座席領域をトラバースし、トラバースされた各前記第2座席領域に対して、
1つの可能な実施形態では、予め設定された順序に従って前記第2座席領域をトラバースするプロセスでは、複数の行又は複数の列の座席がある場合、実際の状況に応じて運転席が位置する第2座席領域から始まり、行ごと又は列ごとにトラバースすることができる。
【0118】
トラバースされた各第2座席領域に対して、次のステップS602及びS603を実行する。
【0119】
ステップS602において、前記目標乗員の検出枠と前記第2座席領域とのオーバーラップ度を、前記目標乗員の検出枠と前記第2座席領域との第2マッチング度とする。
【0120】
ステップS603において、前記第2マッチング度が第2閾値に達する場合、前記第2座席領域が前記目標乗員の検出枠に対応する目標第2座席領域であると決定する。
【0121】
例示的に、図7(a)に示すように、目標乗員の検出枠701と第2座席領域E702とのオーバーラップ度、及び、目標乗員の検出枠701と第2座席領域F703とのオーバーラップ度を対応する第2マッチング度としてそれそれ計算し、目標乗員の検出枠と第2座席領域Eとに対応する第2マッチング度が第2閾値に達する場合、前記第2座席領域Eが目標乗員の検出枠に対応する目標第2座席領域であると決定する。
【0122】
1つの可能な実施形態では、トラバースされた各第2座席領域に対して、前記オーバーラップ度が第2閾値に達しない場合、前記目標乗員の検出枠とのオーバーラップ面積が最大である第2座席領域が目標第2座席領域であると決定することができる。
【0123】
例示的に、図7(b)に示すように、前記目標乗員の検出枠701と第2座席領域G704とのオーバーラップ面積は、前記目標乗員の検出枠701と第2座席領域H705とのオーバーラップ面積よりも大きいため、前記第2座席領域G704を、前記目標乗員の検出枠に対応する目標第2座席領域として決定する。
【0124】
ステップS107について、
1つの可能な実施形態では、前記目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲と、前記目標乗員の検出枠とに基づいて、前記目標乗員の検出枠に対応する座席を決定する上記のステップは、図8に示すように、ステップS801~S802を含むことができる。
【0125】
ステップS801において、前記目標乗員の検出枠と前記目標第2座席領域内の各座席の位置範囲とに基づいて、前記目標乗員の検出枠の中心点が位置する前記位置範囲に対応する座席が前記目標乗員の検出枠に対応する候補座席であると決定する。
【0126】
前記目標乗員の検出枠の中心点が位置する前記位置範囲を決定する場合、1つの可能な実施形態では、目標乗員の検出枠と前記各座席の位置範囲の中心点とのユークリッド距離を計算することで判断することができる。例示的に、図9に示すように、目標乗員の検出枠901と左列領域の中心点902との間のユークリッド距離と、目標乗員の検出枠901と右列領域の中心点903との間のユークリッド距離を計算し、即ち目標乗員の検出枠と2つの中心点との間の直線距離を計算する。
【0127】
次に、直線距離が最も短い前記位置範囲に対応する座席が、前記目標乗員の検出枠に対応する候補座席として決定される。図9では、バインド対象の目標乗員の検出枠901の中心点の左列領域からの距離が、右列領域からの距離よりも短いため、左列領域に対応する座席が前記目標乗員の検出枠に対応する候補座席として決定される。
【0128】
別の可能な実施形態では、前記目標乗員の検出枠と前記目標第2座席領域内の各座席との間の共通集合をそれぞれ計算することができ、共通集合が大きい方が、前記目標乗員の検出枠に対応する候補座席として決定される。
【0129】
例示的に、図9に示すように、前記バインド対象の目標乗員の検出枠と左列領域との共通集合が右列領域との共通集合よりも大きいため、左列領域に対応する座席が前記目標乗員の検出枠に対応する候補座席であると決定する。
【0130】
ステップS802において、前記候補座席が他の検出枠にバインドされない場合、前記候補座席が前記目標乗員の検出枠に対応する座席であると決定し、前記候補座席に対応する座席を前記目標乗員の検出枠にバインドする。
【0131】
1つの可能な実施形態では、前記目標乗員の検出枠に対応する目標第2座席領域が決定されない場合、対応する第1座席領域が前記目標乗員の検出枠に最も近く、且つ他の検出枠にバインドされない座席を、前記目標乗員の検出枠に対応する座席として決定する。
【0132】
1つの可能な実施形態では、まず目標乗員の検出枠と各前記第1座席領域の中心点をそれぞれ決定し、次に中心点に基づいて、2つの中心点間の直線距離が最も短く、他の検出枠にバインドされない座席を、前記目標乗員の検出枠に対応する座席として決定する。
【0133】
例示的に、図10に示すように、図10は、それぞれ第1座席領域A1001、第1座席領域B1002、第1座席領域C1003、及び第1座席領域D1004である複数の第2座席領域を含み、前記目標乗員の検出枠1005は、上述の4つの第1座席領域と交差領域がない。前記目標乗員の検出枠の中心点と第1座席領域Aの中心点との直線距離が最も短く、他の検出枠にバインドされないため、第1座席領域A1001を前記目標乗員の検出枠1005に対応する座席として決定する。
【0134】
本解決策で提案される車両内の乗員の座席を決定する方法に基づいて、本開示の実施例は、電子機器によって実行される車両制御方法をさらに提供する。図11に示すように、本開示の実施例による車両制御方法の概略図であり、以下のステップS1101とステップS1102を含む。
【0135】
ステップS1101において、上記の実施例に記載の車両内の乗員の座席を決定する方法に基づいて、各前記座席領域に対応する検出枠を決定する。
【0136】
ステップS1102において、目標検出枠内の目標乗員が行った目標動作を検出し、前記目標動作と前記目標検出枠に対応する座席領域とに基づいて車両制御を行う。
【0137】
実際の応用では、上記の実施例で提案される車両内の乗員の座席を決定する方法に基づいて、車両の制御を実現することができる。ここで、乗員の目標動作に対応する目標指令に応答して、車両は、前記目標指令に対して対応する目標操作を実行する。
【0138】
例示的に、前記車両制御方法は、知能運転分野に適用することができ、目標乗員に対応する目標検出枠が目標座席領域にバインドされることが検出された後、乗員が「窓を開けて」を指示するジェスチャをした後、車両は、乗員のジェスチャ指令及び乗員の乗る位置に基づいて、対応するドアの上の窓を開ける。例えば、該ジェスチャ指令を発した乗員が助手席の乗員である場合、助手席側のドアの上の窓を開けることができ、これにより乗員座席検出に基づく的確な制御を実現する。
【0139】
当業者は、具体的な実施形態の上記の方法において、各ステップの書き込み順序が厳密な実行順序を意味して実施プロセスに対するいかなる制限を構成せず、各ステップの実行順序がその機能及び可能な内部論理で決定されるべきであることを理解できる。
【0140】
同じ発明概念に基づいて、本開示の実施例は、車両内の乗員の座席を決定する方法に対応する車両内の乗員の座席を決定する装置をさらに提供する。本開示の実施例における装置の問題を解決する原理は、本開示の実施例の車両内の乗員の座席を決定する上記の方法と同様であるため、装置の実施は方法の実施を参照することができる。
【0141】
図12を参照すると、本開示の実施例による車両内の乗員の座席を決定する装置のアーキテクチャ概略図であり、前記装置は、取得部1201、第1決定部1202、第2決定部1203、第3決定部1204、第4決定部1205、第5決定部1206、及び第6決定部1207を備える。
【0142】
取得部1201は、車両内の車両画像を取得するように構成される。
【0143】
第1決定部1202は、前記車両画像内の複数の第1座席領域を決定するように構成され、各第1座席領域は1つの座席に対応する。
【0144】
第2決定部1203は、前記車両画像に基づいて前記車両内の乗員を検出し、前記車両画像内の各前記乗員の検出枠を決定するように構成される。
【0145】
第3決定部1204は、各前記乗員の検出枠に対して、前記検出枠と各前記第1座席領域との第1マッチング度に基づいて、前記検出枠に対応する座席を決定するように構成される。
【0146】
第4決定部1205は、前記車両画像内の複数の第2座席領域を決定するように構成され、各第2座席領域は1行の座席又は1列の座席に対応する。
【0147】
第5決定部1206は、前記第1マッチング度に基づいて対応する目標第1座席領域の目標乗員の検出枠が決定されないことに対して、前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定するように構成される。
【0148】
第6決定部1207は、前記目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲と、前記目標乗員の検出枠とに基づいて、前記目標乗員の検出枠に対応する座席を決定するように構成される。
【0149】
1つの可能な実施形態では、前記第1決定部1202はさらに、前記車両の座席分布設定情報に基づいて、前記車両画像内の各座席に対応する第1座席領域を決定するように構成される。
【0150】
1つの可能な実施形態では、前記第3決定部1204はさらに、予め設定された順序に従って各前記第1座席領域をトラバースし、トラバースされた各第1座席領域に対して、前記検出枠と前記第1座席領域とのオーバーラップ度を、前記検出枠と前記第1座席領域との第1マッチング度として計算し、前記第1マッチング度が第1閾値に達し、前記第1座席領域に対応する座席が他の検出枠にバインドされない場合、前記第1座席領域に対応する座席を前記検出枠にバインドし、前記検出枠に対応する座席が前記第1座席領域に対応する座席であると決定するように構成される。
【0151】
1つの可能な実施形態では、前記車両画像内の各前記乗員の検出枠は、顔検出枠、人体検出枠のうちの少なくとも1つである。
【0152】
1つの可能な実施形態では、前記第5決定部1206はさらに、各目標乗員の検出枠に対して、予め設定された順序に従って前記第2座席領域をトラバースし、トラバースされた各第2座席領域に対して、前記目標乗員の検出枠と前記第2座席領域とのオーバーラップ度を、前記第2マッチング度として計算し、前記第2マッチング度が第2閾値に達する場合、前記第2座席領域が目標乗員の検出枠に対応する目標第2座席領域であると決定するように構成される。
【0153】
1つの可能な実施形態では、前記第6決定部1207はさらに、前記目標乗員の検出枠と前記目標第2座席領域内の各座席の位置範囲とに基づいて、前記目標乗員の検出枠の中心点が位置する前記位置範囲に対応する座席が前記目標乗員の検出枠に対応する候補座席であると決定し、前記候補座席が他の検出枠にバインドされない場合、前記候補座席が前記目標乗員の検出枠に対応する座席であると決定し、前記候補座席に対応する座席を前記目標乗員の検出枠にバインドするように構成される。
【0154】
1つの可能な実施形態では、前記第5決定部1206はさらに、トラバースされた各第2座席領域に対して、前記オーバーラップ度が第2閾値に達しない場合、前記目標乗員の検出枠とのオーバーラップ面積が最大である第2座席領域が目標第2座席領域であると決定するように構成される。
【0155】
1つの可能な実施形態では、前記第7決定部1208はさらに、前記目標乗員の検出枠に対応する目標第2座席領域が決定されない場合、対応する第1座席領域が前記目標乗員の検出枠に最も近く、且つ他の検出枠にバインドされない座席を、前記目標乗員の検出枠に対応する座席として決定するように構成される。
【0156】
装置内の各部分の処理プロセス及び各部分間のインタラクションプロセスの説明については、上述した方法の実施例における関連する説明を参照することができる。
【0157】
同じ発明概念に基づいて、本開示の実施例は、車両制御方法に対応する車両制御装置をさらに提供する。本開示の実施例における装置の問題を解決する原理は、本開示の実施例の車両内の乗員の座席を決定する上記の方法と同様であるため、装置の実施は方法の実施を参照することができる。
【0158】
図13を参照すると、本開示の実施例による車両制御装置のアーキテクチャ概略図であり、前記装置は、第8決定部1301と検出部1302とを備える。
【0159】
第8決定部1301は、上記の実施例に記載の車両内の乗員の座席を決定する方法に基づいて、各前記座席領域に対応する検出枠を決定するように構成される。
【0160】
検出部1302は、目標検出枠内の目標乗員が行った目標動作を検出し、前記目標動作と前記目標検出枠に対応する座席領域とに基づいて車両制御を行うように構成される。
【0161】
装置内の各部分の処理プロセス及び各前記部分間のインタラクションプロセスの説明については、上述した方法の実施例における関連する説明を参照することができる。
【0162】
本開示の実施例及び他の実施例では、「部分」は、部分の回路、部分のプロセッサ、部分のプログラム又はソフトウェアなどであってもよく、当然、ユニットであってもよく、モジュールであってもよく、非モジュール化であってもよい。
【0163】
同じ技術概念に基づいて、本開示の実施例は、コンピュータ機器をさらに提供する。図14を参照すると、本開示の実施例によるコンピュータ機器1400の構造的概略図であり、プロセッサ1401、メモリ1402、及びバス1403を含む。ここで、メモリ1402は、実行命令を記憶するために使用され、内部メモリ14021及び外部メモリ14022を含み、ここでの内部メモリ14021は、内部記憶装置とも呼ばれ、プロセッサ1401内の演算データ、及びハードディスクなどの外部メモリ14022と交換するデータを一時的に記憶するために使用される。プロセッサ1401は、内部メモリ14021を介して外部メモリ14022とデータ交換を行う。コンピュータ機器1400が動作するとき、プロセッサ1401とメモリ1402はバス1403を介して通信し、プロセッサ1401に、
車両内の車両画像を取得すること、
前記車両画像内の複数の第1座席領域を決定し、各第1座席領域は1つの座席に対応すること、
前記車両画像に基づいて前記車両内の乗員を検出し、前記車両画像内の各前記乗員の検出枠を決定すること、
各前記乗員の検出枠に対して、前記検出枠と各前記第1座席領域との第1マッチング度に基づいて、前記検出枠に対応する座席を決定すること、
前記車両画像内の複数の第2座席領域を決定し、各第2座席領域は1行の座席又は1列の座席に対応すること、
前記第1マッチング度に基づいて対応する目標第1座席領域の目標乗員の検出枠が決定されないことに対して、前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定すること、及び
前記目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲と、前記目標乗員の検出枠とに基づいて、前記目標乗員の検出枠に対応する座席を決定すること、を実行させる。
【0164】
又は、プロセッサ1401は、
上記の実施例に記載の車両内の乗員の座席を決定する方法に基づいて、各前記座席領域に対応する検出枠を決定すること、及び
目標検出枠内の目標乗員が行った目標動作を検出し、前記目標動作と前記目標検出枠に対応する座席領域とに基づいて車両制御を行うこと、を実行することもできる。
【0165】
本開示の実施例は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体をさらに提供し、前記コンピュータプログラムがプロセッサによって実行されるときに上記方法の実施例に記載の車両内の乗員の座席を決定する方法、車両制御方法のステップを実行する。ここで、前記記憶媒体は、揮発性又は不揮発性のコンピュータ可読記憶媒体であってもよい。
【0166】
ここで、指摘すべきこととして、上記の記憶媒体及び機器の実施例の説明は、上記の方法の実施例の説明と同様であり、方法の実施例と同様の有益な効果を有する。本開示の記憶媒体及び機器の実施例で開示されない技術的詳細については、本開示の方法の実施例の説明を参照して理解される。
【0167】
上述のプロセッサは、特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)、デジタル信号プロセッサ(DSP:Digital Signal Processor)、デジタル信号処理デバイス(DSPD:Digital Signal Processing Device)、プログラマブルロジックデバイス(PLD:Programmable Logic Device)、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)、中央プロセッサ(CPU:Central Processing Unit)、コントローラー、マイクロコントローラー、及びマイクロプロセッサのうちの少なくとも1つであってもよい。理解可能なこととして、上記のプロセッサ機能を実現する電子機器は他のものであってもよいが、本開示の実施例では具体的に限定されない。
【0168】
上記のコンピュータ記憶媒体/メモリは、読み取り専用メモリ(ROM:Read Only Memory)、プログラマブル読み取り専用メモリ(PROM:Programmable Read-Only Memory)、消去可能なプログラマブル読み取り専用メモリ(EPROM:Erasable Programmable Read-Only Memory)、電気的消去可能なプログラマブル読み取り専用メモリ(EEPROM:Electrically Erasable Programmable Read-Only Memory)、磁性ランダムアクセスメモリ(FRAM(登録商標):Ferromagnetic Random Access Memory)、フラッシュメモリ(Flash(登録商標) Memory)、磁気表面メモリ、光ディスク、又はコンパクトディスク読み取り専用メモリ(CD-ROM:Compact Disc Read-Only Memory)などのメモリであってもよく、上記のメモリの1つ又は任意の組み合わせを含む各種類の端末、例えば携帯電話、コンピュータ、タブレットデバイス、パーソナルデジタルアシスタントなどであってもよい。
【0169】
本開示の実施例は、コンピュータプログラム製品をさらに提供し、前記コンピュータプログラム製品はプログラムコードを搬送し、前記プログラムコードに含まれる命令は、上記の方法の実施例に記載の車両内の乗員の座席を決定する方法、車両制御方法のステップを実行するために使用されてもよく、上記の方法の実施例を参照することができる。
【0170】
ここで、上記コンピュータプログラム製品は、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。1つの選択可能な実施例では、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具体化され、別の選択可能な実施例では、コンピュータプログラム製品は、ソフトウェア開発キット(SDK:Software Development Kit)などのソフトウェア製品として具体化される。
【0171】
当業者は、便利及び簡潔に説明するために、上記説明されたシステムと装置の動作プロセスについては、前記方法の実施例における対応するプロセスを参照できることを明確に理解することができる。本開示で提供される幾つかの実施例では、開示されるシステム、装置及び方法は、他の方式により実現されてもよいことを理解すべきである。上記説明された装置の実施例は例示的なものだけであり、例えば、前記ユニットの区分は、論理機能的区分だけであり、実際に実現する時に他の区分方式があり得、また、例えば、複数のユニット又はコンポーネントは組み合わせられてもよく又は別のシステムに統合されてもよく、又は一部の特徴は無視されてもよく、又は実行されなくてもよい。また、示される又は議論される相互結合又は直接結合又は通信接続は、一部の通信インタフェース、装置又はユニットを介する間接的結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。
【0172】
分離部材として説明された前記ユニットは物理的に分離するものであってもよく又は物理的に分離するものでなくてもよく、ユニットとして表示される部材は物理ユニットであってもよく又は物理ユニットでなくてもよく、即ち1つの箇所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際のニーズに応じてそのうちの一部又は全てのユニットを選択して本実施例の解決策の目的を達成することができる。
【0173】
また、本開示の各実施例における各機能ユニットは1つの処理ユニットに統合されてもよく、個々のユニットは単独で物理に存在してもよく、2つ又は2つ以上のユニットは1つのユニットに統合されてもよい。
【0174】
前記機能は、ソフトウェア機能ユニットの形態で実現され且つ独立した製品として販売又は用いられる場合、プロセッサによって実行可能な不揮発性コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本開示の技術的解決策は、本質的に又は従来技術に寄与する部分又は前記技術案の部分がソフトウェア製品の形で具体化されてもよく、前記コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータ機器(パーソナルコンピュータ、サーバ、又はネットワーク機器等であってもよい)に本開示の各実施例に記載される方法の全て又は一部のステップを実行させるための幾つかの命令を含む。前述の記憶媒体は、USBフラッシュディスク、モバイルハードディスク、読み出し専用メモリ(ROM:Read-Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)、磁気ディスク又は光ディスク等のプログラムコードを記憶できる各種の媒体を含む。
【0175】
最後、上記実施例が本開示の具体的な実施形態だけであり、本開示の技術的解決策を説明するためのものであり、それを限定しないことを説明すべきであり、本開示の保護範囲は、これに限定されなく、上記実施例を参照して本開示を詳細に説明するが、当業者は、いかなる当業者が本開示で開示される技術範囲内で、依然として上記実施例に記載される技術的解決策を修正し、又は変化を容易に想到し、又は技術的特徴の一部に対して同等の入れ替えを行うことができ、これらの修正、変化又は入れ替えが対応する技術的解決策の本質を本開示の実施例の技術的解決策の精神及び範囲から逸脱させなく、全て本開示の保護範囲に含まれるべきであることを理解すべきである。したがって、本開示の保護範囲は、特許請求の範囲の保護範囲に従うべきである。
【産業上の利用可能性】
【0176】
本開示の実施例は、車両内の乗員の座席を決定する方法、車両制御方法及び装置を提供する。前記車両内の乗員の座席を決定する方法は、車両内の車両画像を取得することと、車両画像内の複数の第1座席領域を決定することと、車両画像に基づいて車両内の乗員を検出し、車両画像内の各前記乗員の検出枠を決定することと、各乗員の検出枠に対して、検出枠と各前記第1座席領域との第1マッチング度に基づいて、検出枠に対応する座席を決定することと、車両画像内の複数の第2座席領域を決定することと、第1マッチング度に基づいて対応する目標第1座席領域の目標乗員の検出枠が決定されないことに対して、目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、目標乗員の検出枠に対応する目標第2座席領域を決定することと、目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲、及び目標乗員の検出枠に基づいて、目標乗員の検出枠に対応する座席を決定することと、を含む。第1座席領域により座席の目標乗員の検出枠を決定できない場合に、第1座席領域の領域範囲を拡張し、拡張された領域範囲の第2座席領域に基づいて、目標乗員の検出枠に対応する座席をさらに決定し、これにより乗員と座席とのマッチング又はバインディングに失敗する確率を低減させ、乗員の座席マッチングの成功率を向上させることができる。
図1
図2
図3
図4
図5a
図5b
図6
図7a
図7b
図8
図9
図10
図11
図12
図13
図14
【手続補正書】
【提出日】2024-06-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
電子機器によって実行される車両内の乗員の座席を決定する方法であって、
車両内の車両画像を取得することと、
前記車両画像内の複数の第1座席領域を決定することであって、各前記第1座席領域は1つの座席に対応する、ことと、
前記車両画像に基づいて前記車両内の乗員を検出し、前記車両画像内の各前記乗員の検出枠を決定することと、
各前記乗員の検出枠に対して、前記検出枠と各前記第1座席領域との第1マッチング度に基づいて、前記検出枠に対応する座席を決定することと、
前記車両画像内の複数の第2座席領域を決定することであって、各前記第2座席領域は1行の座席又は1列の座席に対応する、ことと、
前記第1マッチング度に基づいて対応する目標第1座席領域の目標乗員の検出枠が決定されないことに対して、前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定することと、
前記目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲と、前記目標乗員の検出枠とに基づいて、前記目標乗員の検出枠に対応する座席を決定することと、を含む、車両内の乗員の座席を決定する方法。
【請求項2】
前記車両画像内の複数の第1座席領域を決定することは、
前記車両の座席分布設定情報に基づいて、前記車両画像内の各座席に対応する第1座席領域を決定することを含む、
請求項1に記載の車両内の乗員の座席を決定する方法。
【請求項3】
前記検出枠と各前記第1座席領域との第1マッチング度に基づいて、前記検出枠に対応する座席を決定することは、
予め設定された順序に従って各前記第1座席領域をトラバースすることと、トラバースされた各第1座席領域に対して、
前記検出枠と前記第1座席領域とのオーバーラップ度を、前記検出枠と前記第1座席領域との第1マッチング度とすることと、
前記第1マッチング度が第1閾値に達し、前記第1座席領域に対応する座席が他の検出枠にバインドされない場合、前記第1座席領域に対応する座席を前記検出枠にバインドし、前記検出枠に対応する座席が前記第1座席領域に対応する座席であると決定することと、を含む、
請求項に記載の車両内の乗員の座席を決定する方法。
【請求項4】
前記車両画像内の各前記乗員の検出枠は、顔検出枠、人体検出枠のうちの少なくとも1つである、
請求項に記載の車両内の乗員の座席を決定する方法。
【請求項5】
前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定することは、
予め設定された順序に従って前記第2座席領域をトラバースすることと、トラバースされた各前記第2座席領域に対して、
前記目標乗員の検出枠と前記第2座席領域とのオーバーラップ度を、前記目標乗員の検出枠と前記第2座席領域との第2マッチング度とすることと、
前記第2マッチング度が第2閾値に達する場合、前記第2座席領域が前記目標乗員の検出枠に対応する目標第2座席領域であると決定することと、を含む、
請求項に記載の車両内の乗員の座席を決定する方法。
【請求項6】
前記目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲と、前記目標乗員の検出枠とに基づいて、前記目標乗員の検出枠に対応する座席を決定することは、
前記目標乗員の検出枠と前記目標第2座席領域内の各座席の位置範囲とに基づいて、前記目標乗員の検出枠の中心点が位置する前記位置範囲に対応する座席が前記目標乗員の検出枠に対応する候補座席であると決定することと、
前記候補座席が他の検出枠にバインドされない場合、前記候補座席が前記目標乗員の検出枠に対応する座席であると決定し、前記候補座席に対応する座席を前記目標乗員の検出枠にバインドすることと、を含む、
請求項に記載の車両内の乗員の座席を決定する方法。
【請求項7】
前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定することは、
トラバースされた各前記第2座席領域に対して、前記オーバーラップ度が前記第2閾値に達しない場合、前記目標乗員の検出枠とのオーバーラップ面積が最大である第2座席領域が目標第2座席領域であると決定することをさらに含む、
請求項5に記載の車両内の乗員の座席を決定する方法。
【請求項8】
前記目標乗員の検出枠に対応する目標第2座席領域が決定されない場合、対応する第1座席領域が前記目標乗員の検出枠に最も近く、且つ他の検出枠にバインドされない座席を、前記目標乗員の検出枠に対応する座席として決定することをさらに含む、
請求項に記載の車両内の乗員の座席を決定する方法。
【請求項9】
電子機器によって実行される車両制御方法であって、
請求項1~8のいずれか1項に記載の車両内の乗員の座席を決定する方法に基づいて、各前記座席領域に対応する検出枠を決定することと、
目標検出枠内の目標乗員が行った目標動作を検出し、前記目標動作と前記目標検出枠に対応する座席領域とに基づいて車両制御を行うことと、を含む、車両制御方法。
【請求項10】
車両内の乗員の座席を決定する装置であって、
車両内の車両画像を取得するように構成される取得部と、
前記車両画像内の複数の第1座席領域を決定するように構成される第1決定部であって、各第1座席領域は1つの座席に対応する、第1決定部と、
前記車両画像に基づいて前記車両内の乗員を検出し、前記車両画像内の各前記乗員の検出枠を決定するように構成される第2決定部と、
各前記乗員の検出枠に対して、前記検出枠と各前記第1座席領域との第1マッチング度に基づいて、前記検出枠に対応する座席を決定するように構成される第3決定部と、
前記車両画像内の複数の第2座席領域を決定するように構成される第4決定部であって、各前記第2座席領域は1行の座席又は1列の座席に対応する、第4決定部と、
前記第1マッチング度に基づいて対応する目標第1座席領域の目標乗員の検出枠が決定されないことに対して、前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定するように構成される第5決定部と、
前記目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲と、前記目標乗員の検出枠とに基づいて、前記目標乗員の検出枠に対応する座席を決定するように構成される第6決定部と、を備える、車両内の乗員の座席を決定する装置。
【請求項11】
車両制御装置であって、
請求項1~8のいずれか1項に記載の車両内の乗員の座席を決定する方法に基づいて、各前記座席領域に対応する検出枠を決定するように構成される第8決定部と、
目標検出枠内の目標乗員が行った目標動作を検出し、前記目標動作と前記目標検出枠に対応する座席領域とに基づいて車両制御を行うように構成される検出部と、を備える、車両制御装置。
【請求項12】
コンピュータ機器であって、プロセッサ、メモリ及びバスを備え、前記メモリは、前記プロセッサで実行可能な機械可読命令を記憶し、コンピュータ機器が動作するとき、前記プロセッサと前記メモリはバスを介して通信し、前記プロセッサは前記機械可読命令を実行して、請求項1~8のいずれか1項に記載の車両内の乗員の座席を決定する方法を実行する、コンピュータ機器。
【請求項13】
プロセッサによって実行されるとき、前記プロセッサに請求項1~8のいずれか1項に記載の車両内の乗員の座席を決定する方法を実行させる、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体。
【請求項14】
コンピュータに、請求項1~8のいずれか1項に記載の車両内の乗員の座席を決定する方法を実行させる、コンピュータプログラム。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0032
【補正方法】変更
【補正の内容】
【0032】
以上の一般的な説明及び以下の詳細な説明が例示的及び解釈的なものだけであり、本開示を制限するものではないことを理解すべきである。以下の図面に基づく例示的な実施例への詳細な説明によれば、本開示の他の特徴及び態様は明らかになる。
本発明は、例えば、以下の項目を提供する。
(項目1)
電子機器によって実行される車両内の乗員の座席を決定する方法であって、
車両内の車両画像を取得することと、
前記車両画像内の複数の第1座席領域を決定することであって、各前記第1座席領域は1つの座席に対応する、ことと、
前記車両画像に基づいて前記車両内の乗員を検出し、前記車両画像内の各前記乗員の検出枠を決定することと、
各前記乗員の検出枠に対して、前記検出枠と各前記第1座席領域との第1マッチング度に基づいて、前記検出枠に対応する座席を決定することと、
前記車両画像内の複数の第2座席領域を決定することであって、各前記第2座席領域は1行の座席又は1列の座席に対応する、ことと、
前記第1マッチング度に基づいて対応する目標第1座席領域の目標乗員の検出枠が決定されないことに対して、前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定することと、
前記目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲と、前記目標乗員の検出枠とに基づいて、前記目標乗員の検出枠に対応する座席を決定することと、を含む、車両内の乗員の座席を決定する方法。
(項目2)
前記車両画像内の複数の第1座席領域を決定することは、
前記車両の座席分布設定情報に基づいて、前記車両画像内の各座席に対応する第1座席領域を決定することを含む、
項目1に記載の車両内の乗員の座席を決定する方法。
(項目3)
前記検出枠と各前記第1座席領域との第1マッチング度に基づいて、前記検出枠に対応する座席を決定することは、
予め設定された順序に従って各前記第1座席領域をトラバースすることと、トラバースされた各第1座席領域に対して、
前記検出枠と前記第1座席領域とのオーバーラップ度を、前記検出枠と前記第1座席領域との第1マッチング度とすることと、
前記第1マッチング度が第1閾値に達し、前記第1座席領域に対応する座席が他の検出枠にバインドされない場合、前記第1座席領域に対応する座席を前記検出枠にバインドし、前記検出枠に対応する座席が前記第1座席領域に対応する座席であると決定することと、を含む、
項目1又は2に記載の車両内の乗員の座席を決定する方法。
(項目4)
前記車両画像内の各前記乗員の検出枠は、顔検出枠、人体検出枠のうちの少なくとも1つである、
項目1~3のいずれか1項に記載の車両内の乗員の座席を決定する方法。
(項目5)
前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定することは、
予め設定された順序に従って前記第2座席領域をトラバースすることと、トラバースされた各前記第2座席領域に対して、
前記目標乗員の検出枠と前記第2座席領域とのオーバーラップ度を、前記目標乗員の検出枠と前記第2座席領域との第2マッチング度とすることと、
前記第2マッチング度が第2閾値に達する場合、前記第2座席領域が前記目標乗員の検出枠に対応する目標第2座席領域であると決定することと、を含む、
項目1~4のいずれか1項に記載の車両内の乗員の座席を決定する方法。
(項目6)
前記目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲と、前記目標乗員の検出枠とに基づいて、前記目標乗員の検出枠に対応する座席を決定することは、
前記目標乗員の検出枠と前記目標第2座席領域内の各座席の位置範囲とに基づいて、前記目標乗員の検出枠の中心点が位置する前記位置範囲に対応する座席が前記目標乗員の検出枠に対応する候補座席であると決定することと、
前記候補座席が他の検出枠にバインドされない場合、前記候補座席が前記目標乗員の検出枠に対応する座席であると決定し、前記候補座席に対応する座席を前記目標乗員の検出枠にバインドすることと、を含む、
項目1~5のいずれか1項に記載の車両内の乗員の座席を決定する方法。
(項目7)
前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定することは、
トラバースされた各前記第2座席領域に対して、前記オーバーラップ度が前記第2閾値に達しない場合、前記目標乗員の検出枠とのオーバーラップ面積が最大である第2座席領域が目標第2座席領域であると決定することをさらに含む、
項目5に記載の車両内の乗員の座席を決定する方法。
(項目8)
前記目標乗員の検出枠に対応する目標第2座席領域が決定されない場合、対応する第1座席領域が前記目標乗員の検出枠に最も近く、且つ他の検出枠にバインドされない座席を、前記目標乗員の検出枠に対応する座席として決定することをさらに含む、
項目1~7のいずれか1項に記載の車両内の乗員の座席を決定する方法。
(項目9)
電子機器によって実行される車両制御方法であって、
項目1~8のいずれか1項に記載の車両内の乗員の座席を決定する方法に基づいて、各前記座席領域に対応する検出枠を決定することと、
目標検出枠内の目標乗員が行った目標動作を検出し、前記目標動作と前記目標検出枠に対応する座席領域とに基づいて車両制御を行うことと、を含む、車両制御方法。
(項目10)
車両内の乗員の座席を決定する装置であって、
車両内の車両画像を取得するように構成される取得部と、
前記車両画像内の複数の第1座席領域を決定するように構成される第1決定部であって、各第1座席領域は1つの座席に対応する、第1決定部と、
前記車両画像に基づいて前記車両内の乗員を検出し、前記車両画像内の各前記乗員の検出枠を決定するように構成される第2決定部と、
各前記乗員の検出枠に対して、前記検出枠と各前記第1座席領域との第1マッチング度に基づいて、前記検出枠に対応する座席を決定するように構成される第3決定部と、
前記車両画像内の複数の第2座席領域を決定するように構成される第4決定部であって、各前記第2座席領域は1行の座席又は1列の座席に対応する、第4決定部と、
前記第1マッチング度に基づいて対応する目標第1座席領域の目標乗員の検出枠が決定されないことに対して、前記目標乗員の検出枠と各前記第2座席領域との第2マッチング度に基づいて、前記目標乗員の検出枠に対応する目標第2座席領域を決定するように構成される第5決定部と、
前記目標第2座席領域に対応する1行の座席又は1列の座席における各座席の位置範囲と、前記目標乗員の検出枠とに基づいて、前記目標乗員の検出枠に対応する座席を決定するように構成される第6決定部と、を備える、車両内の乗員の座席を決定する装置。
(項目11)
前記第1決定部はさらに、前記車両の座席分布設定情報に基づいて、前記車両画像内の各座席に対応する第1座席領域を決定するように構成される、
項目10に記載の車両内の乗員の座席を決定する装置。
(項目12)
前記第3決定部はさらに、予め設定された順序に従って各前記第1座席領域をトラバースし、トラバースされた各第1座席領域に対して、前記検出枠と前記第1座席領域とのオーバーラップ度を、前記検出枠と前記第1座席領域との第1マッチング度として計算し、前記第1マッチング度が第1閾値に達し、前記第1座席領域に対応する座席が他の検出枠にバインドされない場合、前記第1座席領域に対応する座席を前記検出枠にバインドし、前記検出枠に対応する座席が前記第1座席領域に対応する座席であると決定するように構成される、
項目10又は11に記載の車両内の乗員の座席を決定する装置。
(項目13)
前記車両画像内の各前記乗員の検出枠は、顔検出枠、人体検出枠のうちの少なくとも1つである、
項目10~12のいずれか1項に記載の車両内の乗員の座席を決定する装置。
(項目14)
前記第5決定部はさらに、各目標乗員の検出枠に対して、予め設定された順序に従って前記第2座席領域をトラバースし、トラバースされた各第2座席領域に対して、前記目標乗員の検出枠と前記第2座席領域とのオーバーラップ度を、前記第2マッチング度として計算し、前記第2マッチング度が第2閾値に達する場合、前記第2座席領域が目標乗員の検出枠に対応する目標第2座席領域であると決定するように構成される、
項目10~13のいずれか1項に記載の車両内の乗員の座席を決定する装置。
(項目15)
前記第6決定部はさらに、前記目標乗員の検出枠と前記目標第2座席領域内の各座席の位置範囲とに基づいて、前記目標乗員の検出枠の中心点が位置する前記位置範囲に対応する座席が前記目標乗員の検出枠に対応する候補座席であると決定し、前記候補座席が他の検出枠にバインドされない場合、前記候補座席が前記目標乗員の検出枠に対応する座席であると決定し、前記候補座席に対応する座席を前記目標乗員の検出枠にバインドするように構成される、
項目10~14のいずれか1項に記載の車両内の乗員の座席を決定する装置。
(項目16)
前記第5決定部はさらに、トラバースされた各第2座席領域に対して、前記オーバーラップ度が第2閾値に達しない場合、前記目標乗員の検出枠とのオーバーラップ面積が最大である第2座席領域が目標第2座席領域であると決定するように構成される、
項目14に記載の車両内の乗員の座席を決定する装置。
(項目17)
前記第7決定部はさらに、前記目標乗員の検出枠に対応する目標第2座席領域が決定されない場合、対応する第1座席領域が前記目標乗員の検出枠に最も近く、且つ他の検出枠にバインドされない座席を、前記目標乗員の検出枠に対応する座席として決定するように構成される、
項目10~16のいずれか1項に記載の車両内の乗員の座席を決定する装置。
(項目18)
車両制御装置であって、
項目1~8のいずれか1項に記載の車両内の乗員の座席を決定する方法に基づいて、各前記座席領域に対応する検出枠を決定するように構成される第8決定部と、
目標検出枠内の目標乗員が行った目標動作を検出し、前記目標動作と前記目標検出枠に対応する座席領域とに基づいて車両制御を行うように構成される検出部と、を備える、車両制御装置。
(項目19)
コンピュータ機器であって、プロセッサ、メモリ及びバスを備え、前記メモリは、前記プロセッサで実行可能な機械可読命令を記憶し、コンピュータ機器が動作するとき、前記プロセッサと前記メモリはバスを介して通信し、前記プロセッサは前記機械可読命令を実行して、項目1~8のいずれか1項に記載の車両内の乗員の座席を決定する方法のステップを実行するか、又は項目9に記載の車両制御方法のステップを実行する、コンピュータ機器。
(項目20)
プロセッサによって実行されるとき、前記プロセッサに項目1~8のいずれか1項に記載の車両内の乗員の座席を決定する方法のステップを実行させるか、又は項目9に記載の車両制御方法のステップを実行させる、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体。
(項目21)
コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが電子機器において実行されるとき、前記電子機器内のプロセッサに、項目1~8のいずれか1項に記載の車両内の乗員の座席を決定する方法のステップを実行させるか、又は項目9に記載の車両制御方法のステップを実行させる、コンピュータプログラム製品。
【国際調査報告】