特表2022-535375 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ 上▲海▼商▲湯▼智能科技有限公司の特許一覧

特表2022-535375車室内画像処理

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-08-08

(54)【発明の名称】車室内画像処理

(51)【国際特許分類】

G06T 7/00 20170101AFI20220801BHJP

G06V 20/59 20220101ALI20220801BHJP

G06V 40/16 20220101ALI20220801BHJP

B60R 11/04 20060101ALI20220801BHJP

【ＦＩ】

G06T7/00 660A

G06T7/00 660Z

G06V20/59

G06V40/16 B

B60R11/04

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021571023

(86)(22)【出願日】2020-07-02

(85)【翻訳文提出日】2021-12-01

(86)【国際出願番号】 CN2020099998

(87)【国際公開番号】W WO2021077796

(87)【国際公開日】2021-04-29

(31)【優先権主張番号】201911008608.8

(32)【優先日】2019-10-22

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520180323

【氏名又は名称】上▲海▼商▲湯▼智能科技有限公司

【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩＳＥＮＳＥＴＩＭＥＩＮＴＥＬＬＩＧＥＮＴＴＥＣＨＮＯＬＯＧＹＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ１６０５Ａ，Ｂｕｉｌｄｉｎｇ３，３９１ＧｕｉｐｉｎｇＲｏａｄ，ＸｕｈｕｉＤｉｓｔｒｉｃｔ，Ｓｈａｎｇｈａｉ２００２３３Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人ユニアス国際特許事務所

(72)【発明者】

【氏名】▲呉▼ ▲陽▼平

(72)【発明者】

【氏名】▲婁▼ 松▲亞▼

(72)【発明者】

【氏名】王 ▲飛▼

【テーマコード（参考）】

3D020

5L096

【Ｆターム（参考）】

3D020BA20

3D020BB01

3D020BC02

3D020BD05

3D020BE03

5L096BA04

5L096CA02

5L096DA02

5L096FA06

5L096FA59

5L096FA69

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

本発明は、車室内画像処理方法を提供する。当該車室内画像処理方法は、車室内に設けられた撮像機器で取り込まれた車室内画像を取得するステップと、前記車室内画像に対して顔検出を行い、前記車室内画像中の１つ又は複数の顔に対応する顔検出枠を取得するステップと、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定するステップとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

車室内に設けられた撮像機器で取り込まれた車室内画像を取得するステップと、
前記車室内画像に対して顔検出を行い、前記車室内画像中の少なくとも１つの顔に対応する顔検出枠を取得するステップと、
各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定するステップと、を含むことを特徴とする車室内画像処理方法。

【請求項2】

前記各顔検出枠に対応する車室内人物の身分属性を特定するステップは、
各顔検出枠に対応する車室内人物の身分属性が運転手と乗客と前部座席エリア人物と後部座席エリア人物と中部座席エリア人物と運転席エリア人物と助手席エリア人物と非運転席エリア人物とのうちの少なくとも一方であると特定することを含むことを特徴とする請求項１に記載の車室内画像処理方法。

【請求項3】

前記各顔検出枠に対応する車室内人物の前記車室内における位置を特定するステップは、
各顔検出枠に対応する車室内人物の位置が前記車室内の前部座席エリアと後部座席エリアと中部座席エリアと運転席エリアと助手席エリアと非運転席エリアとのうちの少なくとも一方にあると特定することを含むことを特徴とする請求項１又は２に記載の車室内画像処理方法。

【請求項4】

前記各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定するステップは、
前記顔検出枠の面積情報を特定し、前記面積情報が前記顔検出枠の面積と前記顔検出枠の前記車室内画像に対する面積比とのうちの少なくとも１つを含むことと、
何れかの顔検出フレームについて、前記顔検出枠の面積情報に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定することと、を含むことを特徴とする請求項１から３の何れか一項に記載の車室内画像処理方法。

【請求項5】

前記車室内画像は、前記車室内の車頭寄りの位置にある前記撮像機器がレンズを車室内の車尾へ向けて撮影した画像であり、
何れかの顔検出フレームについて、前記顔検出枠の面積情報に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定することは、
所定面積閾値又は所定面積比閾値を含む所定面積閾値情報を前記顔検出枠の面積情報と比較することと、
比較結果に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定することと、を含むことを特徴とする請求項４に記載の車室内画像処理方法。

【請求項6】

前記比較結果に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定することは、
前記所定面積閾値と前記顔検出枠の面積との比が第１所定閾値よりも小さく、且つ前記車室が前後２列座席車室である場合に、前記顔検出枠に対応する車室内人物の身分属性が前部座席エリア人物であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室内の前部座席エリアにいると特定することと、
前記所定面積閾値と前記顔検出枠の面積との比が前記第１所定閾値以上であり、且つ前記車室が前後２列座席車室である場合に、前記顔検出枠に対応する車室内人物の身分属性が後部座席エリア人物であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室内の後部座席エリアにいると特定することと、
前記所定面積閾値と前記顔検出枠の面積との比が第２所定閾値よりも小さく、且つ前記車室が前中後３列座席車室である場合に、前記顔検出枠に対応する車室内人物の身分属性が前部座席エリア人物であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室内の前部座席エリアにいると特定することと、
前記所定面積閾値と前記顔検出枠の面積との比が前記第２所定閾値以上であり第３所定閾値よりも小さく、且つ前記車室が前中後３列座席車室である場合に、前記顔検出枠に対応する車室内人物の身分属性が中部座席エリア人物であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室内の中部座席エリアにいると特定することと、
前記所定面積閾値と前記顔検出枠の面積との比が前記第３所定閾値以上であり、且つ前記車室が前中後３列座席車室である場合に、前記顔検出枠に対応する車室内人物の身分属性が後部座席エリア人物であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室内の後部座席エリアにいると特定することと、のうちの少なくとも１つを含むことを特徴とする請求項５に記載の車室内画像処理方法。

【請求項7】

前記比較結果に基づいて、顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定することは、
前記所定面積比閾値と前記顔検出枠の前記車室内画像に対する面積比との比が第４所定閾値よりも小さく、且つ前記車室が前後２列座席車室である場合に、前記顔検出枠に対応する車室内人物の身分属性が前部座席エリア人物であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室内の前部座席エリアにいると特定することと、
前記所定面積比閾値と前記顔検出枠の前記車室内画像に対する面積比との比が前記第４所定閾値以上であり、且つ前記車室が前後２列座席車室である場合に、前記顔検出枠に対応する車室内人物の身分属性が後部座席エリア人物であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室内の後部座席エリアにいると特定することと、
前記所定面積比閾値と前記顔検出枠の前記車室内画像に対する面積比との比が第５所定閾値よりも小さく、且つ前記車室が前中後３列座席車室である場合に、前記顔検出枠に対応する車室内人物の身分属性が前部座席エリア人物であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室内の前部座席エリアにいると特定することと、
前記所定面積比閾値と前記顔検出枠の前記車室内画像に対する面積比との比が前記第５所定閾値以上であり第６所定閾値よりも小さく、且つ前記車室が前中後３列座席車室である場合に、前記顔検出枠に対応する車室内人物の身分属性が中部座席エリア人物であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室内の中部座席エリアにいると特定することと、
前記所定面積比閾値と前記顔検出枠の前記車室内画像に対する面積比との比が前記第６所定閾値以上であり、且つ前記車室が前中後３列座席車室である場合に、前記顔検出枠に対応する車室内人物の身分属性が後部座席エリア人物であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室内の後部座席エリアにいると特定することと、のうちの少なくとも１つを含むことを特徴とする請求項５に記載の車室内画像処理方法。

【請求項8】

前記各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定するステップは、
前記顔検出枠の前記車室内画像における相対位置情報を特定することと、
何れかの顔検出フレームについて、前記顔検出枠の相対位置情報に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定することと、を含むことを特徴とする請求項１から３の何れか一項に記載の車室内画像処理方法。

【請求項9】

前記車室内画像は、前記車室内の車頭寄りの位置にある前記撮像機器がレンズを車室内の車尾へ向けて撮影した画像であり、
前記顔検出枠の相対位置情報に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定することは、
前記顔検出枠の相対位置が第１所定領域内にある場合に、前記顔検出枠に対応する車室内人物の身分属性が運転席エリア人物であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室の運転席エリアにいると特定することと、
前記顔検出枠の相対位置が第２所定領域内にある場合に、前記顔検出枠に対応する車室内人物の身分属性が助手席エリア人物であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室の助手席エリアにいると特定することと、
前記顔検出枠の相対位置が前記第１所定領域の外と前記第２所定領域の外とにある場合に、前記顔検出枠に対応する車室内人物の身分属性が非運転席エリア人物であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室の非運転席エリアにいると特定することと、のうちの少なくとも１つを含むことを特徴とする請求項８に記載の車室内画像処理方法。

【請求項10】

前記各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定することは、
前記顔検出枠の面積情報と前記顔検出枠の前記車室内画像における相対位置情報とを特定することと、
前記顔検出枠の面積情報と相対位置情報とに基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定することとを含み、
前記面積情報は、前記顔検出枠の前記車室内画像における面積と、前記顔検出枠の前記車室内画像に対する面積比とのうちの少なくとも１つを含むことを特徴とする請求項１から３の何れか一項に記載の車室内画像処理方法。

【請求項11】

前記車室内画像は、前記車室内の車頭寄りの位置にある前記撮像機器がレンズを車室内の車尾へ向けて撮影した画像であり、
前記顔検出枠の面積情報と相対位置情報とに基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定することは、
所定面積閾値又は所定面積比閾値を含む所定面積閾値情報を前記顔検出枠の面積情報と比較することと、
比較結果及び前記相対位置情報に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定することと、を含むことを特徴とする請求項１０に記載の車室内画像処理方法。

【請求項12】

何れかの顔検出フレームについて、比較結果及び前記相対位置情報に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定することは、
前記所定面積閾値と前記顔検出枠の面積との比が第１所定閾値よりも小さく、且つ前記顔検出枠の相対位置が第１所定領域内にある場合に、前記顔検出枠に対応する車室内人物の身分属性が運転手であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室の運転席エリアにいると特定することと、
前記所定面積閾値と前記顔検出枠の面積との比が前記第１所定閾値よりも小さく、且つ前記顔検出枠の相対位置が前記第１所定領域の外にある場合に、前記顔検出枠に対応する車室内人物の身分属性が乗客であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室の助手席エリアにいると特定することと、
前記所定面積閾値と前記顔検出枠の面積との比が前記第１所定閾値以上であり、且つ前記顔検出枠の相対位置が前記第１所定領域の外にある場合に、前記顔検出枠に対応する車室内人物の身分属性が乗客であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室の非運転席エリアにいると特定することと、のうちの少なくとも１つを含むことを特徴とする請求項１１に記載の車室内画像処理方法。

【請求項13】

何れかの顔検出フレームについて、比較結果及び前記相対位置情報に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定することは、
前記所定面積比閾値と前記顔検出枠の前記車室内画像に対する面積比との比が第４所定閾値よりも小さく、且つ前記顔検出枠の相対位置が第１所定領域内にある場合に、前記顔検出枠に対応する車室内人物の身分属性が運転手であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室の運転席エリアにいると特定することと、
前記所定面積比閾値と前記顔検出枠の前記車室内画像に対する面積比との比が前記第４所定閾値よりも小さく、且つ前記顔検出枠の相対位置が第１所定領域の外にある場合に、前記顔検出枠に対応する車室内人物の身分属性が乗客であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室の助手席エリアにいると特定することと、
前記所定面積比閾値と前記顔検出枠の前記車室内画像に対する面積比との比が前記第４所定閾値以上であり、且つ前記顔検出枠の相対位置が第１所定領域の外にある場合に、前記顔検出枠に対応する車室内人物の身分属性が乗客であると特定し、及び／又は、前記顔検出枠に対応する車室内人物が前記車室の非運転席エリアにいると特定することと、のうちの少なくとも１つを含むことを特徴とする請求項１１に記載の車室内画像処理方法。

【請求項14】

前記撮像機器は、赤外カメラヘッドであり、前記車室内のバックミラーに設けられ、且つそのレンズが車尾の方向へ向かうことを特徴とする請求項１から１３の何れか一項に記載の車室内画像処理方法。

【請求項15】

所定運転手顔枠と所定助手顔枠との位置情報を特定し、前記車室内画像に前記所定運転手顔枠と前記所定助手顔枠とを表示するステップと、
前記所定運転手顔枠の位置と前記所定助手顔枠の位置とに基づいて前記第１所定領域と前記第２所定領域との表示制御を行い、前記第１所定領域と前記第２所定領域との位置情報をプロファイルに保存するステップと、を更に含むことを特徴とする請求項１から１４の何れか一項に記載の車室内画像処理方法。

【請求項16】

前記車室内画像中の少なくとも１つの顔に対応する顔検出枠が取得された後、前記車室内画像処理方法は、
前記車室内画像中の各前記顔検出枠に対応する画像領域のそれぞれに対して特徴抽出を行うステップと、
抽出された特徴に基づいて各顔検出枠に対応する車室内人物の顔属性を特定するステップと、を更に含み、
前記顔属性は、性別、年齢、感情状態、マスクを着用しているか否か、メガネを掛けているか否か、タバコを吸っているか否か、子供であるか否かのうちの少なくとも１つを含むことを特徴とする請求項１から１５の何れか一項に記載の車室内画像処理方法。

【請求項17】

前記車室に設けられたディスプレイスクリーンを介して前記車室内画像を表示し、前記車室内画像に対して顔検出を行った場合に前記車室内画像に前記顔検出枠及び／又は検出結果を表示するステップを更に含むことを特徴とする請求項１から１６の何れか一項に記載の車室内画像処理方法。

【請求項18】

前記顔検出枠及び／又は検出結果の表示設定情報を取得するステップと、
前記表示設定情報に基づいて、前記車室内画像において前記顔検出枠及び／又は検出結果の表示制御を行うステップと、を更に含むことを特徴とする請求項１から１７の何れか一項に記載の車室内画像処理方法。

【請求項19】

各顔検出枠に対応する車室内人物の顔属性に基づいて、広告情報を特定するステップと、
前記車室に設けられたディスプレイスクリーンを介して前記広告情報を表示するステップと、を更に含むことを特徴とする請求項１から１８の何れか一項に記載の車室内画像処理方法。

【請求項20】

各顔検出枠に対応する車室内人物の感情状態に基づいて、プロンプト予定情報を特定するステップと、
前記車室に設けられたディスプレイスクリーンを介して前記プロンプト予定情報を表示及び／又は再送するステップと、を更に含むことを特徴とする請求項１から１９の何れか一項に記載の車室内画像処理方法。

【請求項21】

前記車室内画像に対して顔検出を行った検出結果をサーバへ送信するステップを更に含むことを特徴とする請求項１から２０の何れか一項に記載の車室内画像処理方法。

【請求項22】

前記車室内に設けられた撮像機器で取り込まれた車室内画像を取得するための取得モジュールと、
前記車室内画像に対して顔検出を行い、前記車室内画像中の少なくとも１つの顔に対応する顔検出枠を取得するための検出モジュールと、
各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定するための特定モジュールと、を備えることを特徴とする車室内画像処理装置。

【請求項23】

前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがハードウェアによって実行されることにより、請求項１から２１の何れか一項に記載の車室内画像処理方法は、実施されることを特徴とするコンピュータ可読記憶媒体。

【請求項24】

前記コンピュータプログラム製品がコンピュータによって読み取って実行されたときに、請求項１から２１の何れか一項に記載の車室内画像処理方法は、実施されることを特徴とするコンピュータプログラム製品。

【請求項25】

コンピュータ可読コードを含み、
前記コンピュータ可読コードが電子機器で運転されたときに、前記電子機器におけるプロセッサは、請求項１から２１の何れか一項に記載の車室内画像処理方法を実施することを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

＜関連出願の相互引用＞
本願は、２０１９年１０月２２日に提出された、出願番号が２０１９１１００８６０８８である中国特許出願の優先権を要求し、当該出願の全文が引用によって本願に組み込まれる。

【0002】

本発明は、コンピュータ技術分野に関し、特に車室内画像処理方法及び装置に関する。

【背景技術】

【0003】

科学技術の発展につれ、車両は、伝統的な機械的ツールから情報化機能や娯楽化機能を有する交通手段へ徐々に進化してきている。近年、車両情報は、既にネットワークを介して繋がっている。ビデオモニタリングによって車両モニタリング録画を取り出すことができるが、車室内の人物情報がネットワークを介して繋がっていないため、ビデオモニタリング録画によって車両情報を見つけたとしても、車両の車室内人物情報を把握することができない。

【発明の概要】

【0004】

本発明は、車室内画像処理方法及び装置を提供する。

【0005】

第１態様において、本発明は、車室内画像処理方法を提供する。当該車室内画像処理方法は、
車室内に設けられた撮像機器で取り込まれた車室内画像を取得するステップと、
前記車室内画像に対して顔検出を行い、前記車室内画像中の少なくとも１つの顔に対応する顔検出枠を取得するステップと、
各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定するステップと、を含む。

【0006】

上記車室内画像処理方法では、車室内画像に対して顔検出を行い、少なくとも１つの顔の顔検出枠を取得してから、顔検出枠に基づいて各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定し、あえて顔特徴を抽出することを必要としないため、演算複雑度の低減に有利であり、車室内画像によって車室内人物の身分属性情報及び位置情報を獲得する効率を効果的に向上させる。

【0007】

第２態様において、本発明は、車室内画像処理装置を提供する。当該車室内画像処理装置は、
車室内に設けられた撮像機器で取り込まれた車室内画像を取得するための取得モジュールと、
前記車室内画像に対して顔検出を行い、前記車室内画像中の少なくとも１つの顔に対応する顔検出枠を取得するための検出モジュールと、
各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定するための特定モジュールと、を備える。

【0008】

第３態様において、本発明は、コンピュータ可読記憶媒体を提供する。当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがハードウェアによって実行されることにより、第１態様に記載の方法は、実施される。

【0009】

第４態様において、本発明は、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品がコンピュータによって読み取って実行されたときに、第１態様に記載の方法は、実施される。

【0010】

第５態様において、本発明は、コンピュータプログラムを提供する。当該コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で運転されたときに、前記電子機器におけるプロセッサは、第１態様を実施するための前記方法を実行する。

【図面の簡単な説明】

【0011】

本発明の実施例の技術案がより明瞭に説明されるように、以下では、実施例の記述に使用必要な図面を簡単に紹介する。明らかに、以下の記述における図面が本発明の幾つかの実施例を示し、当業者であれば、進歩性に値する労力を掛けずにこれらの図面から他の図面を取得可能である。

【0012】

【図1】本発明に係る車室内画像処理方法の模式的なフローチャートである。

【図2】本発明に係る顔検出枠及び画像座標系の模式図である。

【図3】本発明に係る可能な車室内人物の身分属性及び位置の模式図である。

【図4】本発明に係る第１所定領域及び第２所定領域の模式図である。

【図5】本発明に係る顔検出枠及び／又は検出結果の表示の模式図である。

【図6】本発明に係る顔検出枠及び／又は検出結果の表示制御の模式図である。

【図7】本発明に係る車室内画像処理装置の構造模式図である。

【図8】本発明に係るもう１つの車室内画像処理装置の構造模式図である。

【図9】本発明に係るもう１つの車室内画像処理装置の構造模式図である。

【発明を実施するための形態】

【0013】

以下では、本発明の実施例における図面を参照しながら本発明の実施例における技術案を明瞭で完全に記述する。明らかに、記述される実施例は、単に本発明の一部の実施例であり、全部の実施例ではない。本発明における実施例に基づいて当業者が進歩性に値する労働を掛けずに得た全ての他の実施例は、何れも本発明の保護範囲に含まれる。

【0014】

理解すべきことは、明細書及び添付する特許請求の範囲に使用される際に、用語「含む」及び「備える」は、記述された特徴、全体、ステップ、操作、要素及び／又はユニットの存在を示すが、１つ又は複数の他の特徴、全体、ステップ、操作、要素、ユニット及び／又はその集合の存在又は追加を排除しない。

【0015】

更に理解すべきことは、ここで本発明の明細書で使用される用語が単に特定の実施例を記述する目的であり、本発明を制限するためのものではない。本発明の明細書及び添付する特許請求の範囲で使用されたように、文脈から他の状況を明瞭で示す場合でなければ、単数形式の「１」、「１個」及び「当該」は、複数形式をカバーすることを意図する。

【0016】

更に理解すべきことは、本発明の明細書及び添付する特許請求の範囲で使用される用語「及び／又は」が、関連する列挙項目のうちの１つ又は複数の如何なる組み合わせ及び全ての可能な組み合わせを指し、且つこれらの組み合わせを含む。

【0017】

まず、図１は、本発明に係る車室内画像処理方法の模式的なフローチャートであり、以下のステップＳ１０１～Ｓ１０３を含んでもよい。

【0018】

Ｓ１０１では、車室内に設けられた撮像機器で取り込まれた車室画像を取得する。

【0019】

１つの可能な例示において、車両の車室内に設けられた上記撮像機器は、車室内の情報をリアルタイムに収集し、撮影して車室内画像を取得する。取り込まれた車室内画像は、ピクチャ情報（例えば、収集時点が連続する複数枚のピクチャ）であってもよく、又はビデオ情報（例えば、１０秒長さのビデオのような一定の時間のビデオ）等であってもよく、ここで具体的に限定されない。車室内画像処理装置が上記撮像機器で取り込まれた車室内画像を取得することは、リアルタイムに取得する方式であってもよく、所定時間ごとに取得することであってもよく、ここで具体的に限定されない。

【0020】

実際の応用において、上記撮像機器は、アナログビデオカメラ又はスマートカメラヘッド等、例えば赤外カメラヘッドであってもよく、夜視距離が遠く、隠蔽性が強く、性能が安定する等のメリットを有し、昼にも夜にも車室内の画像情報を正常に収集して車室内画像を取得することを保証することができる。上記車室は、５座席車室又は７座席車室であってもよく、車室は、左側運転車室又は右側運転車室であってもよく、ここで具体的に限定されない。

【0021】

Ｓ１０２では、車室内画像に対して顔検出を行い、車室内画像中の少なくとも１つの顔に対応する顔検出枠を取得する。

【0022】

顔検出を行う車室内画像には、１つ又は複数の顔が含まれてもよい。１つ又は複数の顔に対応する車室内人物は、車室前部座席エリアに座る人物であってもよく、車室後部座席エリアに座る人物であってもよい。車室内人物の顔部には、飾りが付けられてもよく、車室内人物は、男性又は女性等であってもよく、ここで具体的に限定されない。車室内人物の顔部情報が複数種の可能性を有するため、撮像機器で取り込まれた車室画像中の顔の情報も様々であってもよい。例えば、正面顔であってもよく、一定の角度で傾く横顔であってもよい。大人の顔であってもよく、子供の顔であってもよい。ここで具体的に限定されない。

【0023】

１つの可能な例示において、車室内画像に対して顔検出を行う前に、車種及び／又は実際の需要を考慮して撮像機器の位置を設定することにより、車室内に設けられた撮像機器で取り込まれた車室内画像ができるだけ車室内人物（当該車室内人物が車室の前部座席エリアに座るか、中部座席エリアに座るか、それとも後部座席エリアに座るかによらず）の顔画像を含むようにしてもよい。そのため、撮像機器の車室内における位置を予め特定する必要がある。本発明において、撮像機器は、前記車室内の車頭寄りの位置にあり、且つそのレンズを車室内の車尾へ向けてもよい。例えば、撮像機器は、車室内のバックミラーに設けられてもよく、車室内のナビに設けられてもよく、車室前端のディスプレイスクリーン付近に設けられてもよい。ここで具体的に限定されない。

【0024】

上記技術案から分かるように、撮像機器を前記車室内の車頭寄りの位置に設置してそのレンズを車室内の車尾へ向けることにより、車室内の車室内人物情報を全面的に収集することを容易にさせ、後続の顔検出に備える。

【0025】

撮像機器で取り込まれた車室内画像に対して顔検出を行う前に、画像に対して前処理を行うことで照射ムラ及び角度の相違等の問題による不良な影響を解消してもよい。例えば、まず、入力された車室内画像に対して、Ｈａａｒ特徴カスケード分類器を用いて顔を検出して目の位置を特定し、両目間距離及び両目傾斜角度を取得し、次に、当該角度で二次元アフィン変換を行い、顔を回転して角度の相違の影響を解消し、その後、ヒストグラムの等化を利用して輝度の正規化を行い、平滑化処理を利用してノイズを除去し、顔での照射均一の効果を達する。上記前処理を経ると、顔特性が相対的に統一な車室内画像は、取得され、後続の顔検出の作業に備える。

【0026】

１つの可能な例示において、顔検出アルゴリズムによって車室内画像に対して顔検出を行い、車室内画像の顔領域を含む顔検出枠を取得してもよい。顔検出枠は、顔の所在する位置を示すために用いられ、顔検出枠は、矩形枠であってもよく、顔検出枠の位置情報は、顔検出枠の長さ及び幅と、顔検出枠における何れか１つの頂角の画像座標系における座標とを含む。例えば、車室内画像が４人を含む場合に、この４人の顔領域をそれぞれ囲む４つの矩形枠を取得してもよい。顔検出アルゴリズムは、オープンソースの顔アルゴリズム(ＯｐｅｎＦａｃｅ)、ターゲット検出アルゴリズム(ｄｅｆｏｒｍａｂｌｅｐａｒｔｍｏｄｅｌ、ＤＭＰ)、カスケード畳み込みニューラルネットワークアルゴリズム(ｃａｓｃａｄｅｃｎｎ)、稠密ブロックアルゴリズム(ｄｅｎｓｅｂｏｘ)等であってもよく、本発明では、顔検出アルゴリズムについて具体的に限定しない。

【0027】

図２は、本発明に係る顔検出枠及び画像座標系の模式図である。例を挙げると、図２において、車室内画像は、１つの顔を含む。当該車室内画像に対して顔検出を行うと、顔検出枠ａ、ｂ、ｃ、ｄの画像座標系ｘｏｙにおける座標を取得する。

【0028】

Ｓ１０３では、少なくとも１つの顔の顔検出枠に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の車室内における位置を特定する。

【0029】

各顔検出枠に対応する車室内人物の身分属性が運転手と、乗客と、前部座席エリア人物と、後部座席エリア人物と、中部座席エリア人物と、運転席エリア人物と、助手席エリア人物と、非運転席エリア人物とのうちの少なくとも一方であると特定する。当該身分属性は、を含む。また、各顔検出枠に対応する車室内人物の前記車室内における位置が前部座席エリアと、後部座席エリアと、中部座席エリアと、運転席エリアと、助手席エリアと、非運転席エリアとのうちの少なくとも一方にあると特定する。

【0030】

図３は、本発明の実施例に係る可能な車室内人物の身分属性及び位置の模式図である。図３において、車室内画像に表示された、顔領域を含む５つの矩形枠は、車室内画像に対して検出を行って得た顔検出枠１、顔検出枠２、顔検出枠３、顔検出枠４、顔検出枠５である。図３から分かるように、顔検出枠１、顔検出枠２の面積は、顔検出枠３、顔検出枠４、顔検出枠５の面積よりも大きい。つまり、顔検出枠１及び顔検出枠２のそれぞれの車室内画像に対する面積比も、顔検出枠３、顔検出枠４及び顔検出枠５のそれぞれの車室内画像に対する面積比よりも大きい。また、図３から更に分かるように、顔検出枠１及び顔検出枠２は、車室内画像における左右両側寄りの位置にあり、顔検出枠３、顔検出枠４及び顔検出枠５は、車室内画像における中間領域寄りの位置にある。

【0031】

したがって、本発明では、顔検出枠の相違に基づいて、顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、顔検出枠に対応する車室内人物の車室内における位置を特定してもよい。図３に示すように、顔検出枠１、顔検出枠２、顔検出枠３、顔検出枠４、顔検出枠５の相違に基づいて、顔検出枠１に対応する車室内人物の身分属性が運転手（Ｄｒｉｖｅｒ）であると特定し、顔検出枠１に対応する車室内人物の車室内における位置が前部座席エリアの運転席エリアにあると特定してもよい。また、顔検出枠２に対応する車室内人物の身分属性が乗客（Ｐａｓｓｅｎｇｅｒ）であると特定し、顔検出枠２に対応する車室内人物の車室内における位置が前部座席エリアの助手席エリアにあると特定してもよい。更に、顔検出枠３、顔検出枠４及び顔検出枠５に対応する車室内人物の身分属性が乗客（Ｐａｓｓｅｎｇｅｒ）であると特定し、顔検出枠３、顔検出枠４及び顔検出枠５に対応する車室内人物の車室内における位置が後部座席エリア、即ち、非運転席エリアにあると特定してもよい。

【0032】

次に、ステップＳ１０３における、前記の少なくとも１つの顔の顔検出枠に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の車室内における位置を特定する手順について、詳細に説明する。

【0033】

１つの可能な例示において、少なくとも１つの顔の顔検出枠に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の車室内における位置を特定することは、以下のステップＡ１及びＡ２を含んでもよい。

【0034】

Ａ１では、顔検出枠の面積情報を特定する。

【0035】

１つの可能な例示において、上記ステップＳ１０２により、車室内画像に含まれる少なくとも１つの顔の顔検出枠、即ち、顔検出枠の位置情報、例えば上記顔検出枠の４つの頂点ａ、ｂ、ｃ、ｄの座標を取得可能である。顔枠の位置情報が取得された後、顔検出枠の面積情報を得ることができる。顔検出枠の面積情報は、顔検出枠の面積と、顔検出枠の車室内画像に対する面積比とのうちの少なくとも１つを含む。

【0036】

Ａ２では、何れかの顔検出フレームについて、顔検出枠の面積情報に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の車室内における位置を特定する。

【0037】

１つの可能な例示において、顔検出枠の面積情報に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の車室内における位置を特定することは、所定面積閾値情報を顔検出枠の面積情報と比較してから、比較結果に基づいて、顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の車室内における位置を特定することであってもよい。所定面積閾値情報は、所定面積閾値又は所定面積比閾値を含む。

【0038】

１つの可能な例示において、車室内画像は、車室内の車頭寄りの位置にある撮像機器がレンズを車室内の車尾へ向けて撮影した画像である前提のもとで、所定面積閾値情報と顔検出枠の面積情報との比較結果に基づいて、顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の車室内における位置を特定することは、以下の１種又は複数種の場合を含む。

【0039】

所定面積閾値と顔検出枠の面積との比が第１所定閾値よりも小さく且つ車室が前後２列座席車室である場合に、顔検出枠に対応する車室内人物の身分属性が前部座席エリア人物であると特定することと、顔検出枠に対応する車室内人物が車室内の前部座席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0040】

ここで第１所定閾値が１．５であり、所定面積閾値が３平方センチメートルであることを例とし、顔検出枠の面積が２．４平方センチメートルであると仮定すれば、所定面積閾値と顔検出枠の面積との比が１．２５となり、第１所定閾値１．５よりも小さいため、顔検出枠に対応する車室内人物の身分属性が前部座席エリア人物であると特定し、及び／又は、顔検出枠に対応する車室内人物が車室内の前部座席エリアにいると特定してもよい。

【0041】

所定面積閾値と顔検出枠の面積との比が第１所定閾値以上であり且つ車室が前後２列座席車室である場合に、顔検出枠に対応する車室内人物の身分属性が後部座席エリア人物であると特定することと、顔検出枠に対応する車室内人物が車室内の後部座席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0042】

ここで、引き続き第１所定閾値が１．５であり、所定面積閾値が３平方センチメートルであることを例とし、顔検出枠の面積が１．６平方センチメートルであると仮定すれば、所定面積閾値と顔検出枠の面積との比が１．８７５となり、第１所定閾値１．５よりも大きいため、顔検出枠に対応する車室内人物の身分属性が後部座席エリア人物であると特定し、及び／又は、顔検出枠に対応する車室内人物が車室内の後部座席エリアにいると特定してもよい。

【0043】

所定面積閾値と顔検出枠の面積との比が第２所定閾値よりも小さく且つ車室が前中後３列座席車室である場合に、顔検出枠に対応する車室内人物の身分属性が前部座席エリア人物であると特定することと、顔検出枠に対応する車室内人物が車室内の前部座席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0044】

所定面積閾値と顔検出枠の面積との比が第２所定閾値以上であり第３所定閾値よりも小さく且つ車室が前中後３列座席車室である場合に、顔検出枠に対応する車室内人物の身分属性が中部座席エリア人物であると特定することと、顔検出枠に対応する車室内人物が車室内の中部座席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0045】

所定面積閾値と顔検出枠の面積との比が第３所定閾値以上であり且つ車室が前中後３列座席車室である場合に、顔検出枠に対応する車室内人物の身分属性が後部座席エリア人物であると特定することと、顔検出枠に対応する車室内人物が車室内の後部座席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0046】

車室が前中後３列座席車室である場合に、顔検出枠に対応する車室内人物の身分属性を特定し及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定することは、車室が前後２列座席車室である場合に、顔検出枠に対応する車室内人物の身分属性を特定し及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置を特定する手順と類似するため、ここで再び例を挙げない。

【0047】

上記例における所定閾値１．５、所定顔面積３平方センチメートル、及び検出された顔検出枠の面積２．４平方センチメートルと１．６平方センチメートル等は、本発明の実施例の１種の例示に過ぎず、当業者の本発明に対する理解を容易にするためのものであり、本発明の実施例に対する制限として見なされるべきではない。もう１種の可能な実施形態において、車室内画像は、車室内の車頭寄りの位置にある撮像機器がレンズを車室内の車尾へ向けて撮影した画像である前提のもとで、更に、所定面積閾値情報における所定面積比閾値と顔検出枠の車室内画像に対する面積比との比較結果に基づいて各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の車室内における位置を特定することは、以下の１種又は複数種の場合を含む。

【0048】

所定面積比閾値と顔検出枠の車室内画像に対する面積比との比が第４所定閾値よりも小さく且つ車室が前後２列座席車室である場合に、顔検出枠に対応する車室内人物の身分属性が前部座席エリア人物であると特定することと、顔検出枠に対応する車室内人物が車室内の前部座席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0049】

所定面積比閾値と顔検出枠の車室内画像に対する面積比との比が第４所定閾値以上であり且つ車室が前後２列座席車室である場合に、顔検出枠に対応する車室内人物の身分属性が後部座席エリア人物であると特定することと、顔検出枠に対応する車室内人物が車室内の後部座席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0050】

所定面積比閾値と顔検出枠の車室内画像に対する面積比との比が第５所定閾値よりも小さく且つ車室が前中後３列座席車室である場合に、顔検出枠に対応する車室内人物の身分属性が前部座席エリア人物であると特定することと、顔検出枠に対応する車室内人物が車室内の前部座席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0051】

所定面積比閾値と顔検出枠の車室内画像に対する面積比との比が第５所定閾値以上であり第６所定閾値よりも小さく且つ車室が前中後３列座席車室である場合に、顔検出枠に対応する車室内人物の身分属性が車室内中部座席エリア人物であると特定することと、顔検出枠に対応する車室内人物が車室内の中部座席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0052】

所定面積比閾値と顔検出枠の車室内画像に対する面積比との比が第６所定閾値以上であり且つ車室が前中後３列座席車室である場合に、顔検出枠に対応する車室内人物の身分属性が車室内後部座席エリア人物であると特定することと、顔検出枠に対応する車室内人物が車室内の後部座席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0053】

ここで、所定面積閾値情報と顔検出枠の面積情報との比較結果に基づいて車室内人物の身分属性及び／又は位置を特定する前に、所定面積閾値情報と、第１所定閾値、第２所定閾値等の所定閾値の大きさとを予め特定する必要がある。所定面積閾値情報と、第１所定閾値、第２所定閾値等の所定閾値との特定が何れも撮像機器の設置位置に関係するため、顔検出が行われる車室内画像は、車室内の車頭寄りの位置にある撮像機器がレンズを車室内の車尾へ向けて撮影した画像である。更に、撮像機器の撮影画面の横方向中央位置は、車室内の前部２座席の中間位置付近にあってもよく、撮影画面の垂直方向は、できるだけ車室内人物の顔を画像中央に近接させる。撮像機器の位置が設置された後、所定面積閾値情報と、第１所定閾値、第２所定閾値等の所定閾値と特定してもよい。

【0054】

所定面積閾値は、所定運転手の顔面積として理解され得る。当該所定面積閾値は、予め格納された顔面積、例えば予め合成された顔の面積又は予め設定された顔の面積等であってもよい。

【0055】

ここで、所定面積閾値が予め設定された顔の面積であることを例とし、運転手が車両の運転席エリアに座ると予め選定し、車室内画像中の所定運転手の顔枠を選択してもよい。当該所定運転手顔枠は、車室内画像に対して顔検出を行って得た顔検出枠であってもよく、マウス又はキーボード等を介して指令を入力して選択された車室内画像に含まれる当該所定運転手顔領域の顔枠であってもよい。当該顔枠は、座標情報を有する。顔枠の座標情報に基づいて顔枠の長さ及び幅を算出可能であり、画像中の所定運転手の顔面積、即ち所定面積閾値を算出することができる。その後、所定面積閾値に基づいて所定面積閾値比率、即ち所定面積閾値と車室内画像面積との比を算出してもよい。

【0056】

所定面積閾値及び所定面積閾値比率が取得された後、当該所定面積閾値及び所定面積閾値比率をプロファイルに保存してから、プロファイルに第１所定閾値、第２所定閾値等の所定閾値を配置してもよい。

【0057】

具体的に、車室が前後２列座席車室である場合に、第１所定閾値だけ配置する必要がある。第１所定閾値は、所定の前後部の顔面積の比を表す。車室が前中後３列座席車室である場合に、第２所定閾値及び第３所定閾値を配置する必要がある。第２所定閾値は、所定の前部と後部との顔面積の比を表し、第３所定閾値は、所定の前後部の顔面積の比を表す。異なるタイプの車両において、撮像機器から車室前部座席までの距離と撮像機器から後部座席までの距離とが同じである可能性があるため、第１所定閾値と第３所定閾値が同じである可能性も存在する。ここで具体的に限定されない。第４所定閾値、第５所定閾値及び第６所定閾値の設定状況は、第１所定閾値、第２所定閾値及び第３所定閾値の配置手順と類似するため、ここで繰り返し説明しない。

【0058】

実際の応用において、予め選定された運転手は、１人でも複数人でもよい。ここで具体的に限定されない。予め選定された運転手が１人いる場合に、算出された画像中の所定運転手顔面積は、所定面積閾値となる。予め選定された運転手が複数人いる場合に、算出された複数の所定運転手顔面積の平均は、所定面積閾値となる。他の計算方法によって所定面積閾値を取得してもよく、ここで具体的に限定されない。

【0059】

上記技術案から分かるように、本発明では、顔検出技術によって顔検出枠の面積情報を検出可能であり、その後、所定面積閾値情報と顔検出枠の面積情報との比較結果に基づいて、各顔検出枠に対応する車室内人物の身分属性が車室内前部座席人物、中部座席人物若しくは後部座席人物であると特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置が車室内前部座席エリア、車室内の中部座席エリア若しくは車室内後部座席エリアにあると特定し、あえてモニタリングビデオを人工的に分析して情報を取得するという従来の方式ではなく、顔特徴を抽出することも必要としないため、演算複雑度の低減に有利であり、手間、物資及び時間等が有効的に節約され、稼働効率が向上する。

【0060】

１つの可能な例示において、車室内画像は、車室内の車頭寄りの位置にある撮像機器がレンズを車室内の車尾へ向けて撮影した画像である前提のもとで、何れかの顔検出フレームについて、更に、顔検出枠の相対位置情報に基づいて、顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の車室内における位置を特定してもよい。当該特定方式は、以下の１種又は複数種の場合を含む。

【0061】

顔検出枠の相対位置が第１所定領域内にある場合に、顔検出枠に対応する車室内人物の身分属性が運転席エリア人物であると特定することと、顔検出枠に対応する車室内人物が車室の運転席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0062】

顔検出枠の相対位置が第２所定領域内にある場合に、顔検出枠に対応する車室内人物の身分属性が助手席エリア人物であることと、顔検出枠に対応する車室内人物が車室の助手席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0063】

顔検出枠の相対位置が第１所定領域の外と第２所定領域の外とにある場合に、顔検出枠に対応する車室内人物の身分属性が非運転席エリア人物であると特定することと、顔検出枠に対応する車室内人物が車室の非運転席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0064】

第１所定領域及び第２所定領域の特定も撮像機器の設置位置に関係するため、撮像機器の位置を事前に特定する必要がある。実際の応用において、異なるタイプの車両に関し、車室の運転席エリアは、車室前部座席の左側座席であってもよく、右側座席であってもよい。そこで、異なるタイプの車両について撮像機器の位置を調整する必要がある。通常、撮像機器は、車室内の車頭寄りの位置にあり、且つレンズを車室内の車尾へ向ける。例えば、撮像機器の撮影画面の横方向中央位置は、車室内の前部２座席の中間位置付近にあってもよく、撮影画面の垂直方向は、できるだけ車室内人物の顔を画像中央に近接させる。撮像機器の車室における位置が設置された後、更に第１所定領域及び第２所定領域を特定してもよい。

【0065】

上記技術案から分かるように、本発明では、顔検出技術によって顔検出枠の相対位置情報を検出可能であり、その後、顔検出枠の相対位置情報に基づいて、各顔検出枠に対応する車室内人物の身分属性が運転席エリア人物、助手席エリア人物若しくは非運転席エリア人物であると特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置が運転席エリア、助手席エリア若しくは非運転席エリアにあると特定し、あえてモニタリングビデオを人工的に分析して情報を取得するという従来の方式ではなく、顔特徴を抽出することも必要としないため、演算複雑度の低減に有利であり、手間、物資及び時間等が有効的に節約され、稼働効率が向上する。

【0066】

１つの可能な例示において、第１所定領域及び第２所定領域を特定する手順は、下記のＢ１及びＢ２であってもよい。

【0067】

Ｂ１では、所定運転手顔枠と所定助手顔枠との位置情報を特定し、車室内画像に所定運転手顔枠と所定助手顔枠とを表示する。

【0068】

所定運転手顔枠及び所定助手顔枠の位置情報の特定については、例えば、予め運転手を選定して車両の運転席エリアに座らせ、予め助手を選定して車両の助手席エリアに座らせてから、車室内画像に所定運転手顔及び所定助手顔を表示可能であり、その後、車室内画像から所定運転手顔枠及び所定助手顔枠を選択してもよい。所定運転手顔枠及び所定助手顔枠は、車室内画像に対して顔検出を行って得た顔検出枠であってもよく、マウス又はキーボードを介して車室内のディスプレイスクリーン上に指令を入力して選択された車室内画像中の所定運転手と所定助手との顔枠であってもよく、所定運転手顔枠及び所定助手顔枠は、何れも座標を有する顔枠である。

【0069】

Ｂ２では、所定運転手顔枠の位置と所定助手顔枠の位置とに基づいて、第１所定領域及び第２所定領域の表示制御を行い、第１所定領域及び第２所定領域の位置情報をプロファイルに保存する。

【0070】

車室に設けられたディスプレイスクリーンに表示された上記運転手顔枠の位置と所定助手顔枠の位置とに基づいて、ディスプレイスクリーンに指令を入力して第１所定領域及び第２所定領域を特定し、第１所定領域及び第２所定領域の位置情報をプロファイルに保存してもよい。

【0071】

図４は、本発明に係る第１所定領域及び第２所定領域の模式図である。図４には、第１所定領域及び第２所定領域の位置が表示される。図４から分かるように、第１所定領域の面積は、運転手顔枠の面積よりも大きく、第２所定領域の面積は、助手顔枠の面積よりも大きい。理解できるように、上記図４は、単に例示であり、実際の応用において、第１所定領域及び第２所定領域の面積は、より大きく又はより小さくてもよく、第１所定領域及び第２所定領域の位置は、他の位置であってもよく、ここで具体的に限定されない。

【0072】

１つの可能な例示において、車室内画像は、車室内の車頭寄りの位置にある撮像機器がレンズを車室内の車尾へ向けて撮影した画像である前提のもとで、何れかの顔検出フレームについて、顔検出枠の面積情報と顔検出枠の車室画像における相対位置情報とに基づいて、顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の車室内における位置を特定することは、以下の１種又は複数種の場合を含む。

【0073】

所定面積閾値と顔検出枠の面積との比が第１所定閾値よりも小さく、且つ顔検出枠の相対位置が第１所定領域内にある場合に、顔検出枠に対応する車室内人物の身分属性が運転手であると特定することと、顔検出枠に対応する車室内人物が車室の運転席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0074】

所定面積閾値と顔検出枠の面積との比が第１所定閾値よりも小さく、且つ顔検出枠の相対位置が第１所定領域の外にある場合に、顔検出枠に対応する車室内人物の身分属性が乗客であると特定することと、顔検出枠に対応する車室内人物が車室の助手席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0075】

所定面積閾値と顔検出枠の面積との比が第１所定閾値以上であり、且つ顔検出枠の相対位置が第１所定領域の外にある場合に、顔検出枠に対応する車室内人物の身分属性が乗客であると特定することと、顔検出枠に対応する車室内人物が車室の非運転席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0076】

１つの可能な例示において、車室内画像は、車室内の車頭寄りの位置にある撮像機器がレンズを車室内の車尾へ向けて撮影した画像である前提のもとで、何れかの顔検出フレームについて、顔検出枠の面積情報とそれの車室画像における相対位置情報とに基づいて、顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の車室内における位置を特定することは、以下の１種又は複数種の場合を含む。

【0077】

所定面積比閾値と顔検出枠の車室内画像に対する面積比との比が第４所定閾値よりも小さく、且つ顔検出枠の相対位置が第１所定領域内にある場合に、顔検出枠に対応する車室内人物の身分属性が運転手であると特定することと、顔検出枠に対応する車室内人物が車室の運転席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0078】

所定面積比閾値と顔検出枠の車室内画像に対する面積比との比が第４所定閾値よりも小さく、且つ顔検出枠の相対位置が第１所定領域の外にある場合に、顔検出枠に対応する車室内人物の身分属性が乗客であると特定することと、顔検出枠に対応する車室内人物が車室の助手席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0079】

所定面積比閾値と顔検出枠の車室内画像に対する面積比との比が第４所定閾値以上であり、且つ顔検出枠の相対位置が第１所定領域の外にある場合に、顔検出枠に対応する車室内人物の身分属性が乗客であると特定することと、顔検出枠に対応する車室内人物が車室の非運転席エリアにいると特定することと、のうちの何れか１種又は２種の操作を実行する。

【0080】

上記技術案から分かるように、本発明では、顔検出技術によって顔検出枠の面積情報及びその相対位置情報を検出可能であり、その後、顔検出枠の面積情報及びその相対位置情報に基づいて、各顔検出枠に対応する車室内人物の身分属性が運転手であると特定し、及び／又は、各顔検出枠に対応する車室内人物の前記車室内における位置が運転席エリア、助手席エリア若しくは非運転席エリアにあると特定し、あえてモニタリングビデオを人工的に分析して情報を取得するという従来の方式ではなく、顔特徴を抽出することも必要としないため、演算複雑度の低減に有利であり、手間、物資及び時間等が有効的に節約され、稼働効率が向上する。

【0081】

１つの可能な例示において、車室内画像に含まれる少なくとも１つの顔の顔検出枠が取得された後、車室内画像中の各顔検出枠に対応する画像領域のそれぞれに対して特徴抽出を行い、抽出された特徴に基づいて各顔検出枠に対応する車室内人物の顔属性を特定する。顔属性は、性別、年齢、感情状態、マスクを着用しているか否か、メガネを掛けているか否か、タバコを吸っているか否か、子供であるか否か等を含んでもよい。実際の応用において、抽出された顔属性特徴を記憶することにより、次回同じ車室内人物の顔に対して顔検出を行う際に検索速度を速めることを容易にしてもよい。

【0082】

例えば、畳み込みニューラルネットワークを介して車室内画像中の各顔検出枠に対応する画像領域に対して特徴抽出を行ってもよい。畳み込みニューラルネットワークは、簡易構造のネットワーク、例えば２つの畳み込み層のみを有する小ネットワークであってもよい。これにより、車室画像中の人物の顔面積及び顔領域を効果的且つ正確に検出することができる。畳み込みニューラルネットワークは、１０個の畳み込み層を有する複雑ネットワークであってもよく、車室画像中の人物の年齢及び表情等の細かい顔属性を検出し、ここで具体的に限定されない。また、畳み込みニューラルネットワークは、残差ニューラルネットワーク（ＲｅｓｉｄｕａｌＮｅｔｗｏｒｋ、ＲｅｓＮｅｔ）、ＶＧＧネットワーク（ＶＧＧＮｅｔｗｏｒｋ、ＶＧＧＮｅｔ）等であってもよく、ここで具体的に限定されない。

【0083】

このように、本発明では、更に、車室内画像中の各顔検出枠に対応する画像領域のそれぞれに対して特徴抽出を行い、抽出された特徴に基づいて各顔検出枠に対応する車室内人物の顔属性を特定可能であるため、ビデオモニタリングの価値が深く発掘され、車室内画像によって車室内人物の顔属性情報を獲得する効率が効果的に向上する。

【0084】

１つの可能な例示では、車室に設けられたディスプレイスクリーンを介して車室内画像を表示し、前記車室内画像に対して顔検出を行った場合に車室内画像において顔検出枠及び／又は検出結果を表示してもよく、検出結果は、顔検出枠に対応する車室内人物の身分属性、位置、顔属性等を含んでもよい。図５は、可能な顔検出枠及び／又は検出結果の表示模式図である。図５には、顔検出枠、並びに検出結果における身分属性、位置、感情状態、性別及び年齢が表示される。理解できるように、上記図５は、単に１種の例示であり、実際の応用において、表示された検出結果が他の又はより多くのものであってもよく、ここで具体的に限定されない。

【0085】

更に、車室に設けられたディスプレイスクリーンを介して顔検出枠及び／又は検出結果の表示設定情報を取得し、表示設定情報に基づいて車室内画像において顔検出枠及び／又は検出結果の表示制御を行ってもよい。図６は、可能な顔検出枠及び／又は検出結果の表示制御模式図である。図６は、顔検出枠、性別及び位置の表示制御を示す。性別及び顔検出枠は、表示状態であり、位置は、非表示状態である。理解できるように、上記図６は、単に１種の例示であり、実際の応用において、表示制御は、顔検出枠及び／又は他の検出結果の表示制御であってもよく、ここで具体的に限定されない。

【0086】

このように、本発明では、車室に設けられたディスプレイスクリーン上表示された車室内画像に顔検出枠及び／又は検出結果を表示可能であり、モニタリングビデオに対する主観的な分析を必要とせず、車室内画像中の車室内人物の位置を迅速に位置特定して車室内人物の情報を獲得することができる。それとともに、表示設定情報に基づいて車室内画像において顔検出枠及び／又は検出結果の表示制御を行い、ユーザのインタラクション体験を最適化することができる。

【0087】

１つの可能な例示において、各顔検出枠に対応する車室内人物の顔属性に基づいて、広告情報を特定してから、車室に設けられたディスプレイスクリーンを介して広告情報を表示してもよい。

【0088】

例えば、広告情報を異なる人の年齢、性別等の属性特徴に応じて予め分類し、異なる人の年齢、性別等の属性特徴に対応する広告プッシュリストを生成してから、各顔検出枠に対応する車室内人物の性別又は年齢属性等の顔属性に応じて、マッチングする広告情報を選定し、合致度に基づいて、選定された広告情報を並べ替えて順次再生してもよい。合致度は、性別関連度又は年齢関連度等に応じて並べ替えるように設定されてもよい。例えば、男性について、自動車、不動産、ゲーム等のタイプの広告をプッシュしてもよく、女性について、グルメ、美容、服飾等のタイプの広告等をプッシュしてもよい。また、広告プッシュリストにおける広告情報に対して更新操作を定期的に行ってもよい。

【0089】

１つの可能な例示において、各顔検出枠に対応する少なくとも１つの車室内人物の感情状態に基づいてプロンプト予定情報を特定してから、車室に設けられたディスプレイスクリーンを介して前記プロンプト予定情報を表示及び／又は再生してもよい。

【0090】

例えば、車室内画像処理装置は、各顔検出枠に対応する少なくとも１つの車室内人物の感情状態が悲しみ、怒り、苦しみ、泣き等の感情であると検出したときに、対応する感情状態にマッチングするプロンプト予定メッセージを選択して、車室に設けられたディスプレイスクリーンに表示及び再生してもよい。例えば、子供の泣きの感情について、児童番組又は児童歌等を再生してもよく、女性の怒りの感情について、緩やかな音楽等を再生してもよい。また、プロンプト予定メッセージに対して更新操作を定期的に行ってもよい。

【0091】

１つの可能な例示において、関連部門やスタッフが録画を人工的に見ることを必要とせずに車室内人物の詳細な情報を迅速に把握するように、車室内画像に対して顔検出を行った検出結果をサーバへ送信してもよい。例えば、検出結果を車載ネットワーク通信によって公安車両監視システム端末へリアルタイムで送信してもよい。このように、車両の盗難を防ぐことができる。

【0092】

これによって分かるように、本発明の実施例の技術案では、撮像機器で取り込まれた車室内画像中の顔に対して顔検出技術によって検出を行って顔検出枠を取得することにより、顔検出枠の面積情報及び相対位置情報を特定し、顔検出枠の面積情報及び／又は相対位置情報に基づいて、顔検出枠に対応する車室内人物の身分属性、例えば、運転手、乗客、前部座席エリア人物、後部座席エリア人物等の身分を特定し、更に、顔検出枠に対応する車室内人物の車室内における位置、例えば、運転席エリア、非運転席エリア、前部座席エリア、中部座席エリア等の位置を特定可能である。このように、本発明では、顔特徴を抽出することを必要としない前提のもとで、車室内のビデオモニタリングシステムの有効情報を十分に発掘したため、車室内画像によって車室内人物身分属性情報及び位置情報を獲得する効率を大きく向上させる。それとともに、本発明では、検出された顔検出枠及び／又は顔属性等の検出結果に対して表示制御を行い、且つ検出結果を用いて高品質のサービスをより多くユーザへ提供可能であり、車室内のビデオモニタリングシステムの利用価値を十分に発揮することができる。

【0093】

上記のように本発明の実施例の車室内画像処理方法を詳細に説明した。同じ発明思想に基づいて、以下では、本発明の実施例の車室内画像処理装置を引き続き提供する。

【0094】

図７は、本発明に係る車室内画像処理装置７００の構造模式図である。車室内画像処理装置７００は、取得モジュール７１０、検出モジュール７２０及び特定モジュール７３０を少なくとも含む。取得モジュール７１０は、車室内に設けられた撮像機器で取り込まれた車室内画像を取得するために用いられる。

【0095】

検出モジュール７２０は、車室内画像に対して顔検出を行い、車室内画像に含まれる少なくとも１つの顔の顔検出枠を取得するために用いられる。

【0096】

特定モジュール７３０は、少なくとも１つの顔の顔検出枠に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の車室内における位置を特定するために用いられる。

【0097】

１つの可能な例示では、車室内画像は車室内の車頭寄りの位置にある撮像機器がレンズを車室内の車尾へ向けて撮影した画像である前提において、特定モジュール７３０は、具体的に、所定面積閾値又は所定面積比閾値を含む所定面積閾値情報を顔検出枠の面積情報と比較し、比較結果及び相対位置情報に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の車室内における位置を特定するために用いられる。

【0098】

１つの可能な例示において、撮像機器は、赤外カメラヘッドであり、車室内のバックミラーに設けられ、そのレンズが車尾の方向へ向かう。

【0099】

１つの可能な例示において、本発明の実施例に係る車室内画像処理装置７００は、特徴抽出モジュール７４０、表示モジュール７５０及び表示制御モジュール７６０を更に備えてもよい。

【0100】

特徴抽出モジュール７４０は、車室内画像中の、各顔検出枠に対応する画像領域のそれぞれに対して、特徴抽出を行うために用いられる。

【0101】

特徴抽出モジュール７４０による抽出で特徴が取得された後、特定モジュール７３０を介して、抽出された特徴に基づいて各顔検出枠に対応する車室内人物の顔属性を特定する。

【0102】

表示モジュール７５０は、所定運転手顔枠と所定助手顔枠との位置情報を特定し、車室内画像に所定運転手顔枠と所定助手顔枠とを表示するために用いられる。

【0103】

表示制御モジュール７６０は、所定運転手顔枠の位置と所定助手顔枠の位置とに基づいて第１所定領域及び第２所定領域の表示制御を行い、第１所定領域及び第２所定領域の位置情報をプロファイルに保存するために用いられる。

【0104】

１つの可能な例示において、本発明の実施例に係る車室内画像処理装置７００は、車室内画像に対して顔検出を行った検出結果をサーバへ送信するための送信モジュール７７０を更に備える。

【0105】

上記車室内画像処理装置の各機能モジュールは、上記方法実施例に記述された方法を実施してもよい。詳細な内容は、図１－図６及び対応する方法実施例の関連内容における記述を参照すればよく、明細書の簡潔のために、ここで繰り返し説明しない。

【0106】

上記技術案では、車室内画像に対して検出を行って顔検出枠を取得し、顔検出枠の面積情報及び／又は相対位置情報に基づいて、各顔検出枠に対応する車室内人物の身分属性を特定し、及び／又は、各顔検出枠に対応する車室内人物の車室内における位置を特定することができるため、車室内画像によって車室内人物情報を獲得する効率を有効的に向上させ、車室内モニタリングシステムの利用価値を向上させる。

【0107】

本発明の車室内画像処理装置７００は、単一の計算ノードにおいて実現されてもよく、クラウド計算インフラストラクチャにおいて実現されてもよく、ここで具体的に限定されない。以下では、如何にして単一の計算ノードとクラウド計算インフラストラクチャとにおいて車室内画像処理装置７００を実現するかをそれぞれ紹介する。

【0108】

図８を参照すると、本発明は、別の実施形態の車室内画像処理装置の構造模式図を提供する。本実施形態の車室内画像処理装置は、図８に示すコンピュータノード８００において実現され、少なくともプロセッサ８１０、通信インターフェース８２０及びメモリ８３０を含み、プロセッサ８１０、通信インターフェース８２０及びメモリ８３０は、バス８４０を介して結合される。

【0109】

プロセッサ８１０は、メモリ８３０におけるプログラムコードを呼び出すことにより、図７における取得モジュール７１０、検出モジュール７２０、特定モジュール７３０、特徴抽出モジュール７４０、表示モジュール７５０、表示制御モジュール７６０及び送信モジュール７７０を運転するために用いられる。実際の応用において、プロセッサ８１０は、１つ又は複数の汎用プロセッサを含んでもよい。汎用プロセッサは、電子指令を処理可能な如何なるタイプの機器であってもよく、中央処理装置（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、メインプロセッサ、コントローラ及びＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ、特定用途向け集積回路）等を含む。プロセッサ８１０は、メモリ８３０に記憶されたプログラムコードを読み取り、通信インターフェース８２０と協同して本発明の上記実施例における車室内人物位置検出装置４００で実行される方法の一部又は全部のステップを実行する。

【0110】

通信インターフェース８２０は、他の計算ノード又は装置との通信を行うための有線インターフェース（例えば、イーサネットインターフェース）であってもよい。通信インターフェース８２０は、有線インターフェースであるときに、ＴＣＰ／ＩＰ上のプロトコルファミリ、例えば、ＲＡＡＳプロトコル、リモート関数コール（ＲｅｍｏｔｅＦｕｎｃｔｉｏｎＣａｌｌ、ＲＦＣ）プロトコル、簡易オブジェクトアクセスプロトコル（ＳｉｍｐｌｅＯｂｊｅｃｔＡｃｃｅｓｓＰｒｏｔｏｃｏｌ、ＳＯＡＰ）プロトコル、簡易ネットワーク管理プロトコル（ＳｉｍｐｌｅＮｅｔｗｏｒｋＭａｎａｇｅｍｅｎｔＰｒｏｔｏｃｏｌ、ＳＮＭＰ）プロトコル、コモンオブジェクトリクエストブローカーアーキテクチャー（ＣｏｍｍｏｎＯｂｊｅｃｔＲｅｑｕｅｓｔＢｒｏｋｅｒＡｒｃｈｉｔｅｃｔｕｒｅ、ＣＯＲＢＡ）プロトコル及び分散型プロトコル等を採用してもよい。

【0111】

メモリ８３０は、プログラムコード及びプログラムデータを記憶してもよい。プログラムコードは、画像取得モジュール７１０のコード、検出モジュール７２０のコード、特定モジュール７３０のコード、特徴抽出モジュール７４０のコード、表示モジュール７５０のコード、表示制御モジュール７６０のコード、送信モジュール７７０のコードを含む。プログラムデータは、検出された顔検出枠、顔検出枠の面積情報、顔検出枠の相対位置情報及び顔検出枠に対応する顔属性等を含む。実際の応用において、メモリ８３０は、揮発性メモリ（ＶｏｌａｔｉｌｅＭｅｍｏｒｙ）、例えばランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ＲＡＭ）を含んでもよい。また、メモリは、不揮発性メモリ（Ｎｏｎ－ＶｏｌａｔｉｌｅＭｅｍｏｒｙ）、例えば読み出し専用メモリ（Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ、ＲＯＭ）、フラッシュメモリ（ＦｌａｓｈＭｅｍｏｒｙ）、ハードディスク（ＨａｒｄＤｉｓｋＤｒｉｖｅ、ＨＤＤ）又はソリッドステートディスク（Ｓｏｌｉｄ－ＳｔａｔｅＤｒｉｖｅ、ＳＳＤ）を含んでもよい。更に、メモリは、上記種類のメモリの組み合わせを含んでもよい。

【0112】

図９を参照すると、本発明は、もう１つの実施形態の車室内画像処理装置の構造模式図を提供する。本実施形態の車室内画像処理装置は、計算機器クラスタ９００、例えばクラウドサーバクラスタにおいて実現されてもよく、少なくとも１つの計算ノード９１０と、少なくとも１つの記憶ノード９２０とを少なくとも含む。

【0113】

計算ノード９１０は、１つ又は複数のプロセッサ９１１、通信インターフェース９１２及びメモリ９１３を備え、プロセッサ９１１と通信インターフェース９１２とメモリ９１３とは、バス９１４を介して互いに接続されてもよい。

【0114】

プロセッサ９１１は、１つ又は複数の汎用プロセッサを含み、メモリ９１３におけるプログラムコードを呼び出すことにより、図７における取得モジュール７１０、検出モジュール７２０、特定モジュール７３０、特徴抽出モジュール７４０、表示モジュール７５０、表示制御モジュール７６０及び送信モジュール７７０を運転する。汎用プロセッサは、電子指令を処理可能な如何なるタイプの機器であってもよく、中央処理装置（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、メインプロセッサ、コントローラ及びＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ、特定用途向け集積回路）等を含む。これは、計算ノード９１０のみに用いられる専用プロセッサであってもよく、又は他の計算ノード９１０と共有されてもよい。プロセッサ９１１は、メモリ９１３に記憶されたプログラムコードを読み取り、通信インターフェース９１２と協同して本発明の上記実施例における車室内人物位置検出装置４００で実行される方法の一部又は全部のステップを実行する。

【0115】

通信インターフェース９１２は、他の計算ノード又はユーザとの通信を行うための有線インターフェース（例えば、イーサネットインターフェース）であってもよい。通信インターフェース９１２は、有線インターフェースであるときに、ＴＣＰ／ＩＰ上のプロトコルファミリ、例えば、ＲＡＡＳプロトコル、リモート関数コール（ＲｅｍｏｔｅＦｕｎｃｔｉｏｎＣａｌｌ、ＲＦＣ）プロトコル、簡易オブジェクトアクセスプロトコル（ＳｉｍｐｌｅＯｂｊｅｃｔＡｃｃｅｓｓＰｒｏｔｏｃｏｌ、ＳＯＡＰ）プロトコル、簡易ネットワーク管理プロトコル（ＳｉｍｐｌｅＮｅｔｗｏｒｋＭａｎａｇｅｍｅｎｔＰｒｏｔｏｃｏｌ、ＳＮＭＰ）プロトコル、コモンオブジェクトリクエストブローカーアーキテクチャー（ＣｏｍｍｏｎＯｂｊｅｃｔＲｅｑｕｅｓｔＢｒｏｋｅｒＡｒｃｈｉｔｅｃｔｕｒｅ、ＣＯＲＢＡ）プロトコル及び分散型プロトコル等を採用してもよい。

【0116】

メモリ９１３は、揮発性メモリ（ＶｏｌａｔｉｌｅＭｅｍｏｒｙ）、例えばランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ＲＡＭ）を含んでもよい。また、メモリは、不揮発性メモリ（Ｎｏｎ－ＶｏｌａｔｉｌｅＭｅｍｏｒｙ）、例えば読み出し専用メモリ（Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ、ＲＯＭ）、フラッシュメモリ（ＦｌａｓｈＭｅｍｏｒｙ）、ハードディスク（ＨａｒｄＤｉｓｋＤｒｉｖｅ、ＨＤＤ）又はソリッドステートディスク（Ｓｏｌｉｄ－ＳｔａｔｅＤｒｉｖｅ、ＳＳＤ）を含んでもよい。更に、メモリは、上記種類のメモリの組み合わせを含んでもよい。

【0117】

記憶ノード９２０は、１つ又は複数の記憶コントローラ９２１、記憶アレイ９２２を備える。記憶コントローラ９２１と記憶アレイ９２２とは、バス９２３を介して互いに接続されてもよい。

【0118】

記憶コントローラ９２１は、１つ又は複数の汎用プロセッサを含み、汎用プロセッサは、電子指令を処理可能な如何なるタイプの機器であってもよく、ＣＰＵ、マイクロプロセッサ、マイクロコントローラ、メインプロセッサ、コントローラ及びＡＳＩＣ等を含む。これは、単一の記憶ノード９２０のみに用いられる専用プロセッサであってもよく、又は計算ノード９００若しくは他の記憶ノード９２０と共有されてもよい。理解できるように、本実施例において、各記憶ノードは、記憶コントローラを１つずつ備え、他の実施例において、複数の記憶ノードは、１つの記憶コントローラを共有してもよく、ここで具体的に限定されない。

【0119】

メモリアレイ９２２は、複数のメモリを含んでもよい。メモリは、不揮発性メモリ、例えばＲＯＭ、フラッシュメモリ、ＨＤＤ又はＳＳＤメモリであってもよい。メモリアレイ９２２は、更に、上記種類のメモリの組み合わせを含んでもよい。例えば、記憶アレイは、複数のＨＤＤ又は複数のＳＤＤによって構成されてもよく、又は、記憶アレイは、ＨＤＤ及びＳＤＤによって構成されてもよい。複数のメモリは、記憶コントローラ９２１の協力で異なる方式で組み合わせられてメモリグループを形成する。これにより、単一のメモリよりも高い記憶性能及びデータバックアップ技術を提供する。好ましくは、メモリアレイ９２２は、１つ又は複数のデータセンターを含んでもよい。複数のデータセンターは、同一の地点に設置されてもよく、又は、異なる地点に分散されてもよく、ここで具体的に限定されない。メモリアレイ９２２には、プログラムコード及びプログラムデータが記憶されてもよい。プログラムコードは、画像取得モジュール７１０のコード、検出モジュール７２０のコード、特定モジュール７３０のコード、特徴抽出モジュール７４０のコード、表示モジュール７５０のコード、表示制御モジュール７６０のコード、送信モジュール７７０のコードを含む。プログラムデータは、検出された顔検出枠、顔検出枠の面積情報、顔検出枠の相対位置情報、及び顔検出枠に対応する顔属性等を含む。

【0120】

本発明の実施例は、コンピュータ可読記憶媒体を更に提供する。当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがハードウェア（例えばプロセッサ等）によって実行されることにより、本発明の実施例における車室内画像処理装置で実行される何れか１種の方法の一部又は全部のステップは、実施される。

【0121】

本発明の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品がコンピュータによって読み取って実行されたときに、本発明の実施例における車室内画像処理方法の一部又は全部のステップを車室内画像処理装置に実行させる。

【0122】

当業者であれば意識できるように、本文に開示の実施例に記述された各例示と組み合わせられた手段及びアルゴリズムステップは、全部又は部分的にソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組み合わせで実施されてもよい。ソフトウェアで実施されるときに、全部又は部分的にコンピュータプログラム製品の形式で実施されてもよい。前記コンピュータプログラム製品は、１つ又は複数のコンピュータ指令を含む。コンピュータに前記コンピュータプログラム指令をロードして実行するときに、全部又は部分的に本発明の実施例に記載のフロー又は機能を生成する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブル装置であってもよい。前記コンピュータ指令は、コンピュータ可読記憶媒体に記憶されてもよく、又は、１つのコンピュータ可読記憶媒体からもう１つのコンピュータ可読記憶媒体へ伝送されてもよい。例えば、前記コンピュータ指令は、１つのウェブサイト、コンピュータ、サーバ又はデータセンターから、有線（例えば、同軸ケーブル、光ファイバー、デジタル加入者線）又は無線（例えば赤外、無線、マイクロ波等）方式によって別のウェブサイト、コンピュータ、サーバ又はデータセンターへ伝送されてもよい。前記コンピュータ可読記憶媒体は、コンピュータがアクセスできる如何なる利用可能媒体、又は、１つ又は複数の利用可能媒体を含んで統合されたサーバ、データセンター等のデータ記憶機器であってもよい。前記利用可能媒体は、磁気媒体、(例えば、フロッピーディスク、ハードディスク、磁気テープ)、光媒体(例えば、ＤＶＤ）)、又は半導体媒体（例えば、ソリッドステートディスク（ｓｏｌｉｄｓｔａｔｅｄｉｓｋ、ＳＳＤ））等であってもよい。上記実施例において、各実施例に対する記述にそれぞれ重点があり、ある実施例で詳細に記述されていない部分は、他の実施例の関連記述を参照すればよい。

【0123】

本発明に係る幾つかの実施例において、開示された装置が他の方式にて実現され得ることは、理解されるべきである。例えば、上述した装置実施例が単に模式的なものであり、例えば、前記手段の区分が、単に１種の論理機能区分であり、実際に実施するときに別の区分方式もあり得る。例えば、複数の手段或いはユニットは、組み合わせられてもよく、又は、別のシステムに統合されてもよく、又は、幾つかの特徴が略され、若しくは実行しないようにしてもよい。また、示され或いは議論された構成部品同士の結合、直接結合又は通信接続は、幾つかのインターフェース、装置若しくは手段を介する間接結合若しくは通信接続であってもよく、電気的なもの、機械的なもの或いは他の形態であってもよい。

【0124】

上記分離部品として説明された手段が物理的に分離されるものであってもよくでなくてもよい。また、手段として表示された部品は、物理手段であってもでなくてもよい。更に、それらの手段は、１箇所に位置してもよく、複数のネットワークセルに分散してもよい。実際の需要に応じてその中の一部又は全部の手段を選択して本実施例の目的を果たすことが可能である。

【0125】

また、本発明の各実施例における各機能手段は、全部で１つの処理手段に集積されてもよく、各手段がそれぞれ単独で１つの手段とされてもよく、２つ或いは２つ以上の手段が１つの手段に集積されてもよい。上記集積手段は、ハードウェアの形態にて実現されてよく、ソフトウェア機能手段の形態にて実現されてもよい。

【0126】

上記集積の手段は、ソフトウェア機能手段の形態で実施され且つ独立の製品として販売や使用されるときに、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解を基に、本発明の技術案は、本質上若しくは従来技術に対して貢献に値する部分、又は、当該技術案の全部若しくは一部が、ソフトウェア製品の形態で体現されてもよい。当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、１台のコンピュータ機器（パソコン、サーバ又はネットワーク機器等であってもよい）が本発明の各実施例に記載の方法の全部又は一部のステップを実行するために用いられる幾つかの指令を含む。上記記憶媒体は、Ｕディスク、モバイルハードディスク、読み出し専用メモリ(Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ、ＲＯＭ)、ランダムアクセスメモリ(ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ＲＡＭ)、磁気ディスク又は光ディスク等のプログラムコードを記憶可能な各種の媒体を含む。

【0127】

上述したのは、単に本発明の具体的な実施形態に過ぎない。しかし、本発明の保護範囲は、これに限定されない。本技術分野に精通する如何なる技術者も本発明に開示された技術範囲内で各種の均等な変更や置換を容易に想到し得る。これらの変更や置換は、本発明の保護範囲内に含まれるべきである。したがって、本発明の保護範囲は、請求項の保護範囲に準じるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2021-12-01

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

【請求項2】

【請求項3】

【請求項4】

【請求項5】

【請求項6】

【請求項7】

【請求項8】

【請求項9】

【請求項10】

【請求項11】

【請求項12】

【請求項13】

【請求項14】

【請求項15】

【請求項16】

【請求項17】

前記車室に設けられたディスプレイスクリーンを介して前記車室内画像を表示し、前記車室内画像に対して顔検出を行った場合に前記車室内画像に前記顔検出枠及び／又は検出結果を表示するステップを更に含み、および/または
前記顔検出枠及び／又は検出結果の表示設定情報を取得するステップと、
前記表示設定情報に基づいて、前記車室内画像において前記顔検出枠及び／又は検出結果の表示制御を行うステップと、を更に含み、および/または
各顔検出枠に対応する車室内人物の顔属性に基づいて、広告情報を特定するステップと、
前記車室に設けられたディスプレイスクリーンを介して前記広告情報を表示するステップと、を更に含み、および/または
各顔検出枠に対応する車室内人物の感情状態に基づいて、プロンプト予定情報を特定するステップと、
前記車室に設けられたディスプレイスクリーンを介して前記プロンプト予定情報を表示及び／又は再送するステップと、を更に含み、および/または
前記車室内画像に対して顔検出を行った検出結果をサーバへ送信するステップを更に含むことを特徴とする請求項１から１６の何れか一項に記載の車室内画像処理方法。

【請求項18】

【請求項19】

前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがハードウェアによって実行されることにより、請求項１から１７の何れか一項に記載の車室内画像処理方法は、実施されることを特徴とするコンピュータ可読記憶媒体。

【請求項20】

前記コンピュータプログラム製品がコンピュータによって読み取って実行されたときに、請求項１から１７の何れか一項に記載の車室内画像処理方法は、実施されることを特徴とするコンピュータプログラム製品。

【手続補正2】

【補正対象書類名】図面

【補正対象項目名】図３

【補正方法】変更

【補正の内容】

【図3】