特表 2023-549838 児童の顔認識に基づく児童の座位姿勢検出の方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-29

(54)【発明の名称】児童の顔認識に基づく児童の座位姿勢検出の方法及びシステム

(51)【国際特許分類】

   A61B 5/1171 20160101AFI20231121BHJP

【ＦＩ】

A61B5/1171 200

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023528581

(86)(22)【出願日】2022-08-19

(85)【翻訳文提出日】2023-05-11

(86)【国際出願番号】 CN2022113474

(87)【国際公開番号】W WO2023040578

(87)【国際公開日】2023-03-23

(31)【優先権主張番号】202111091928.1

(32)【優先日】2021-09-17

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｌｉｎｕｘ

２．ＷＩＮＤＯＷＳ

３．ＡＮＤＲＯＩＤ

(71)【出願人】

【識別番号】523174789

【氏名又は名称】浙江霊創网絡科技有限公司

(71)【出願人】

【識別番号】523174790

【氏名又は名称】東勝神州旅游管理有限公司

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100148633

【弁理士】

【氏名又は名称】桜田 圭

(74)【代理人】

【識別番号】100147924

【弁理士】

【氏名又は名称】美恵 英樹

(72)【発明者】

【氏名】黄 水財

【テーマコード（参考）】

4C038

【Ｆターム（参考）】

4C038VA05

4C038VA07

4C038VB03

4C038VC05

(57)【要約】

【課題】児童の顔認識に基づく児童の座位姿勢検出方法及びシステムを提供することを課題とする。
【解決手段】本発明は、児童の顔認識に基づく児童の座位姿勢検出の方法及びシステムを提供し、児童の座位姿勢矯正の技術分野に関し、児童の年齢を自動的に識別し、児童の年齢の違いに応じて児童の座位姿勢をリアルタイムで検出すると共にスマートに監視する。本発明の実施形態は、眼、肩、鼻、腿、膝、足等の人体のいくつかの重要部位の骨の位置情報に対して単純で包括的な数学的演算を実行する必要があるだけで、人体骨の関係情報を得ることができ、更に人体骨の関係情報を所定閾値と比較すると、人体の座位姿勢状態を判断できる。高位の固有ベクトル、積分計算等の使用を必要とする従来の方法と比較して、座位姿勢の個別のモデルトレーニングを必要とせず、重要なデータを計算するだけでよいため、座位姿勢検出の時間が大幅に削減され、精度を向上させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

児童の顔認識に基づく児童の座位姿勢検出方法であって、ターゲット領域の画像を収集してターゲット画像を得るステップと、前記ターゲット画像から顔検出するステップと、顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出して、顔テンプレートを得るステップと、前記顔テンプレートと事前構築済み又はトレーニング済みの顔データセットに対して顔照合を実行し、前記顔テンプレートが前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るステップと、前記人体骨の位置情報に基づき人体骨の関係情報を得るステップと、前記人体骨の関係情報に基づき前記ターゲット画像における人体の位置状態を判断するステップと、前記ターゲット画像における人体が座位姿勢にある場合、さらに前記人体骨の関係情報に基づき人体の座位姿勢状態を判断するステップとを含むことを特徴とする、児童の顔認識に基づく児童の座位姿勢検出方法。

【請求項2】

前記人体骨の関係情報に基づき人体の座位姿勢状態を判断する前記ステップは、具体的に人体の左右の肩における骨の位置座標に基づき左右の肩の関係情報を得るステップと、前記左右の肩の関係情報に基づき左右の肩傾斜角度を得るステップと、前記左右の肩傾斜角度に基づき前記人体の座位姿勢状態を判断するステップとを含むことを特徴とする、請求項１に記載の児童の顔認識に基づく児童の座位姿勢検出方法。

【請求項3】

前記左右の肩傾斜角度は、所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定され、注意喚起のため、注意喚起メッセージが生成されることを特徴とする、請求項２に記載の児童の顔認識に基づく児童の座位姿勢検出方法。

【請求項4】

前記第１の顔データセットのデータと一致する前記顔テンプレートの年齢範囲を取得するステップと、前記顔テンプレートは第１の年齢範囲にあり、左右の肩傾斜角度が第１の所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定するステップと、前記顔テンプレートは第２の年齢範囲にあり、前記左右の肩傾斜角度が第２の所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定するステップと、前記顔テンプレートは第３の年齢範囲にあり、前記左右の肩傾斜角度が第３の所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定するステップとをさらに含むことを特徴とする、請求項３に記載の児童の顔認識に基づく児童の座位姿勢検出方法。

【請求項5】

前記人体骨の関係情報に基づき人体の座位姿勢状態を判断する前記ステップは、具体的に人体の両目における骨の位置座標に基づき両目関係情報を得るステップと、前記両目関係情報に基づき左右の目の傾斜角度を得るステップと、前記左右の目の傾斜角度に基づき前記人体の座位姿勢状態を判断するステップとを含むことを特徴とする、請求項１に記載の児童の顔認識に基づく児童の座位姿勢検出方法。

【請求項6】

前記人体骨の関係情報に基づきターゲット画像における人体の位置状態を判断する前記ステップは、人体の寛骨、膝蓋骨、足の骨における骨の位置座標に基づき寛骨と膝蓋骨の関係情報、膝蓋骨と足の骨の関係情報を得るステップと、前記寛骨と膝蓋骨の関係情報、前記膝蓋骨と足の骨の関係情報に基づき人体が座位姿勢又は立位姿勢にあるかを判断するステップとを含むことを特徴とする、請求項１に記載の児童の顔認識に基づく児童の座位姿勢検出方法。

【請求項7】

前記人体骨の関係情報に基づきターゲット画像における人体の位置状態を判断する前記ステップは、人体の左右の肩における骨の位置座標に基づき左右の肩の関係情報を得るステップと、前記左右の肩の関係情報に基づき人体が座位姿勢又は臥位姿勢にあるかを判断するステップとを含むことを特徴とする、請求項１に記載の児童の顔認識に基づく児童の座位姿勢検出方法。

【請求項8】

複数の顔を検出した場合、まず複数の顔に対して顔セグメンテーションを実行して単一顔画像を形成し、次に前記単一顔画像を分割し複数の顔のサブ領域を形成し、顔のシワ、眼角、目の下等年齢の見分け部位に重みのプルーニングを行うことを特徴とする、請求項１に記載の児童の顔認識に基づく児童の座位姿勢検出方法。

【請求項9】

前記第１の顔データセットは、４～１６歳の顔データセット、前記第２の顔データセットは１６歳超の顔データセットであることを特徴とする、請求項１に記載の児童の顔認識に基づく児童の座位姿勢検出方法。

【請求項10】

児童の顔認識に基づく児童の座位姿勢検出システムであって、
ターゲット領域の画像を収集してターゲット画像を得るように構成される画像収集モジュールと、
前記ターゲット画像から顔検出するよう構成される顔検出モジュールと、
顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出して、顔テンプレートを得るよう構成される特徴抽出モジュールと、
前記顔テンプレートと事前構築済み又はトレーニング済みの顔データセットに対して顔照合を実行するように構成される顔照合モジュールと、
前記顔テンプレートが前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るよう構成される人体骨の位置情報取得モジュールと、
前記人体骨の位置情報に基づき人体骨の関係情報を得るよう構成される人体骨の関係情報取得モジュールと、
前記人体骨の関係情報に基づき前記ターゲット画像における人体の位置状態を判断するよう構成される人体の位置状態判断モジュールと、
前記ターゲット画像における人体が座位姿勢にある場合、さらに前記人体骨の関係情報に基づき人体の座位姿勢状態を判断するよう構成される人体の座位姿勢状態判断モジュールと
を備えることを特徴とする、児童の顔認識に基づく児童の座位姿勢検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、児童の座位姿勢矯正の技術分野に関し、特に、児童の顔認識に基づく児童の座位姿勢検出の方法及びシステムに関する。

【背景技術】

【0002】

近年、不適切な座位姿勢による近視や猫背になる児童が徐々に増加し、座位姿勢が悪いことは児童の視力低下の主な原因の１つとなり、児童の身体の健全な発育に非常に有害である。多くの児童は、正しい座位姿勢を意識しておらず、常に大人が注意する必要がある。このため、座位姿勢が正しいか否かを検出するための方法又は機器の開発が急務となっていた。

【0003】

現在、市販されている児童の座位姿勢矯正製品の多くは、ウェアラブル類の製品であり、往々にして使用者は機器の要求に応答し、検出のため、機器に合わせる必要があり、児童にとって、児童の骨格が小さく、動きやすいという特徴があるため、機器に完全に合わせて検出することは難しく、かつ従来のウェアラブル式姿勢矯正機器を着用する必要があり、児童が受け入れるのは簡単ではない。また、宿題をする時に児童の下半身がほとんど隠れている等のいくつかの特定状況において従来の座位姿勢の計算方法は、良い効果を発揮できなかった。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、背景技術で言及されている上記問題点を解決するため、児童の顔認識に基づく児童の座位姿勢検出の方法及びシステムを提案することである。

【課題を解決するための手段】

【0005】

上記目的を達成するため、本発明は、ターゲット領域の画像を収集してターゲット画像を得るステップと、前記ターゲット画像から顔検出するステップと、顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出して、顔テンプレートを得るステップと、前記顔テンプレートと事前構築済み又はトレーニング済みの顔データセットに対して顔照合を実行し、前記顔テンプレートが前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るステップと、人体骨の位置情報に基づき人体骨の関係情報を得るステップと、人体骨の関係情報に基づきターゲット画像における人体の位置状態を判断するステップと、ターゲット画像における人体が座位姿勢にある場合、さらに人体骨の関係情報に基づき人体の座位姿勢状態を判断するステップとを含む児童の顔認識に基づく児童の座位姿勢検出方法をまず提供する。

【0006】

代替的に、人体骨の関係情報に基づき人体の座位姿勢状態を判断するステップは、具体的に人体の左右の肩における骨の位置座標に基づき左右の肩の関係情報を得るステップと、左右の肩の関係情報に基づき左右の肩傾斜角度を得るステップと、左右の肩傾斜角度に基づき人体の座位姿勢状態を判断するステップとを含む。

【0007】

代替的に、左右の肩傾斜角度は、所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定され、注意を促がすため、注意喚起メッセージが生成される。

【0008】

代替的に、第１の顔データセットのデータと一致する顔テンプレートの年齢範囲を取得するステップと、前記顔テンプレートは第１の年齢範囲にあり、左右の肩傾斜角度が第１の所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定するステップと、前記顔テンプレートは第２の年齢範囲にあり、左右の肩傾斜角度が第２の所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定するステップと、前記顔テンプレートは第３の年齢範囲にあり、左右の肩傾斜角度が第３の所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定するステップとをさらに含む。

【0009】

代替的に、人体骨の関係情報に基づき人体の座位姿勢状態を判断するステップは、具体的に人体の両目における骨の位置座標に基づき両目関係情報を得るステップと、両目関係情報に基づき左右の目の傾斜角度を得るステップと、左右の目の傾斜角度に基づき人体の座位姿勢状態を判断するステップとを含む。

【0010】

代替的に、人体骨の関係情報に基づきターゲット画像における人体の位置状態を判断するステップは、人体の寛骨、膝蓋骨、足の骨における骨の位置座標に基づき寛骨と膝蓋骨の関係情報、膝蓋骨と足の骨の関係情報を得るステップと、前記寛骨と膝蓋骨の関係情報、前記膝蓋骨と足の骨の関係情報に基づき人体が座位姿勢又は立位姿勢にあるかを判断するステップとを含む。

【0011】

代替的に、人体骨の関係情報に基づきターゲット画像における人体の位置状態を判断するステップは、人体の左右の肩における骨の位置座標に基づき左右の肩の関係情報を得るステップと、左右の肩の関係情報に基づき人体が座位姿勢又は臥位姿勢にあるかを判断するステップとを含む。

【0012】

代替的に、複数の顔を検出した場合、まず複数の顔に対して顔のセグメンテーションを実行して単一顔画像を形成し、次に単一顔画像を分割し複数の顔のサブ領域を形成し、顔のシワ、眼角、目の下等年齢の見分け部位に重みのプルーニングを行う。

【0013】

代替的に、前記第１の顔データセットは、４～１６歳の顔データセット、前記第２の顔データセットは１６歳超の顔データセットである。

【0014】

本発明の実施形態は、ターゲット領域の画像を収集してターゲット画像を得るように構成される画像収集モジュールと、前記ターゲット画像から顔検出するよう構成される顔検出モジュールと、顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出して、顔テンプレートを得るよう構成される特徴抽出モジュールと、前記顔テンプレートと事前構築済み又はトレーニング済みの顔データセットに対して顔照合を実行するように構成される顔照合モジュールと、前記顔テンプレートが前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るよう構成される人体骨の位置情報取得モジュールと、人体骨の位置情報に基づき人体骨の関係情報を得るよう構成される人体骨の関係情報取得モジュールと、人体骨の関係情報に基づきターゲット画像における人体の位置状態を判断するよう構成される人体の位置状態判断モジュールと、ターゲット画像における人体が座位姿勢にある場合、さらに人体骨の関係情報に基づき人体の座位姿勢状態を判断するよう構成される人体の座位姿勢状態判断モジュールとを備える児童の顔認識に基づく児童の座位姿勢検出システムも提供する。

【発明の効果】

【0015】

本発明の実施形態で提供される児童の顔認識に基づく児童の座位姿勢検出の方法及びシステムは、児童の年齢を自動的に識別し、児童の年齢の違いに応じて児童の座位姿勢をリアルタイムで検出すると共にスマートに監視する。本発明の実施形態は、眼、肩、鼻、腿、膝、足等の人体のいくつかの重要部位の骨の位置情報に対して単純で包括的な数学的演算を実行する必要があるだけで、人体骨の関係情報を得ることができ、更に人体骨の関係情報を所定閾値と比較すると、人体の座位姿勢状態を判断できる。高位の固有ベクトル、積分計算等の使用を必要とする従来の方法と比較して、座位姿勢の個別のモデルトレーニングを必要とせず、重要なデータを計算するだけでよいため、座位姿勢検出の時間が大幅に削減され、精度を向上させる。

【0016】

本発明の特徴及び利点は、実施形態及び添付の図面を参照しつつ詳細に説明する。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態で提供される児童の顔認識に基づく児童の座位姿勢検出方法のフローチャート（一）である。

【図2】本発明の実施形態で提供される児童の顔認識に基づく児童の座位姿勢検出方法のフローチャート（二）である。

【図3】本発明の実施形態で提供される児童の顔認識に基づく児童の座位姿勢検出方法のフローチャート（三）である。

【図4】本発明の実施形態で提供される児童の顔認識に基づく児童の座位姿勢検出方法のフローチャート（四）である。

【図5】本発明の実施形態で提供される児童の顔認識に基づく児童の座位姿勢検出方法のフローチャート（五）である。

【図6】本発明の実施形態で提供される児童の顔認識に基づく児童の座位姿勢検出方法のフローチャート（六）である。

【図7】本発明の実施形態で提供される児童の顔認識に基づく児童の座位姿勢検出方法のフローチャート（七）である。

【図8】本発明の実施形態で提供される児童の顔認識に基づく児童の座位姿勢検出システムのブロック図である。

【発明を実施するための形態】

【0018】

当業者の理解を容易にするため、以下、具体的実施形態を参照しつつ本発明をさらに詳細に説明する。

【0019】

図１を参照すると、本発明の実施形態は、以下のステップを含む児童の顔認識に基づく児童の座位姿勢検出方法を提供する。

【0020】

ステップＳ１０：ターゲット領域の画像を収集してターゲット画像を得る。

【0021】

本発明の実施形態において、画像収集は、１つ又は複数のカメラでモニタ端末から一定の範囲内の画像を記録することでターゲット画像情報を生成する。前記カメラは、モニタ端末に組み込まれる方法を用い得、スクリーンの外付け方法を用いてもよい。カメラは、処理ユニットに接続され、収集したターゲット画像を前記処理ユニットに送信して後続の一連の処理を実行し、具体的にカメラは有線又は無線の方法で前記処理ユニットと接続してデータを転送することができる。前記処理ユニットは、モニタ端末に組み込まれたプロセッサであり得、ＩｏＴの中央制御装置内のプロセッサであってもよい。

【0022】

ステップＳ２０：前記ターゲット画像から顔検出する。

【0023】

顔検出の目的は、得られたターゲット画像内の任意のフレームについて、顔検出アルゴリズムでターゲット画像を検索し、ターゲット画像に人間の顔があるかどうかを確認し、ターゲット画像には室内の家具及び人体の他の部位（腿、肩及び腕など）などの人間の顔ではない物体が含まれている可能性があるためである。

【0024】

処理ユニットに組み込まれている顔検出アルゴリズムを介してターゲット画像内の任意のフレームから顔検出でき、該フレーム内に人間の顔がある場合、後続の顔特徴抽出等のステップに進む。顔検出アルゴリズムは、ＯｐｅｎＣＶに付属の分類器で実現でき、ＯｐｅｎＣＶは、Ｌｉｎｕｘ、Ｗｉｎｄｏｗｓ、Ａｎｄｒｏｉｄ等のOS上で実行できるオープンソースのコンピュータビジョン向けのクロスプラットフォームライブラリであり、画像処理及びコンピュータビジョンアプリケーションの開発に使用されることができる。

【0025】

本発明の実施形態において、ｙｏｌｏに基づく顔検出アルゴリズムで顔検出し、ターゲット画像を４９個の画像ブロックに分割してから各画像ブロックを個別に計算して顔の位置を確認する。また、前記ｙｏｌｏに基づく顔検出アルゴリズムは、ターゲット画像を４９個の画像ブロックに分割し、後続の特徴抽出段階で、まぶた等の重要な部分を細かく検出できることで、顔特徴抽出及び顔照合の精度を向上させる。

【0026】

他の実施形態において、勾配方向ヒストグラムで顔の位置を検出し、まずターゲット画像をグレースケール化し、次に画像内の画素の勾配を計算し、画像を勾配方向ヒストグラムに変換することで、顔の位置を検出することができる。

【0027】

ステップＳ３０：顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出する。

【0028】

本実施形態において、ｙｏｌｏに基づくｄａｒｋｎｅｔ深層学習フレームワークにより顔のシワ、眼角、目の下等年齢の見分け部位に重みのプルーニングを行うことで、顔の固有値の抽出を実現する。

【0029】

他の実施形態において、事前トレーニング済みの顔特徴モデルにより顔画像の固有値を抽出して顔テンプレートを得、事前トレーニング済みの顔特徴モデルはＯｐｅｎＣＶ内のＦａｃｅｒｅｃｏｇｎｉｚｅｒクラスに付属する顔認識アルゴリズム（Ｅｉｇｅｎｆａｃｅｓアルゴリズム又はＦｉｓｈｅｒｆａｃｅｓアルゴリズム等）を呼び出すことによって得られ、顔認識アルゴリズムのために汎用インターフェースを提供する。

【0030】

ステップＳ４０：抽出した固有値を事前トレーニング済みの顔データセットとマッチングし、前記固有値が前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得る。

【0031】

特徴回帰法で顔データセット内の全ての顔の固有値をトレーニングすることができ、トレーニング結果は、顔データセットを顔の属性に従い第１の顔データセット及び第２の顔データセットに分けられ、次に顔の属性識別方法でマッチングする。本実施形態において、第１の顔データセットは４～１６歳の顔データセット、前記第２の顔データセットは１６歳超の顔データセットである。

【0032】

他の実施形態において、第１の顔データセットは、４～１２歳の顔データセット、第２の顔データセットが１２歳以上の顔データセットである。

【0033】

本実施形態において、４～１６歳の顔データセットを用いることにより、一部児童の顔が比較的成熟して、実際の年齢が外見年齢より若いということで児童の顔認識システムによって除外されることを防ぐことができる。

【0034】

より詳細で差別化された制御のため、児童をより小さな年齢範囲に区分する必要があるアプリケーションシナリオにおいて、まず顔データセット内の全ての顔の固有値をトレーニングし、いくつかの異なる範囲の顔データセットに分けられ、次に各異なる年齢層の児童を区分して計算する。具体的には、顔認識手法を用い、ターゲット顔と顔データベース内の各人物の重みベクトルとの間のユークリッド距離を計算することにより、異なる年齢層の児童をより正確に識別できる。

【0035】

ターゲット画像内の顔の固有値を第１の顔データセットとマッチングすることにより、得られたターゲット画像内の顔被写体が第１の顔データセットに表される年齢範囲に属することを判定できる。

【0036】

本実施形態において、４～１６歳の児童が、本発明の実施形態における座位姿勢検出の対象に属する。

【0037】

一致しない場合、ターゲット画像内の顔被写体は、１６歳以上の成人又は４歳未満の子供である可能性があり、該被写体は本発明の実施形態における座位姿勢検出の対象外とする。

【0038】

ターゲット画像内の顔被写体は、第１の顔データセットで表される年齢範囲に属する場合、ターゲット画像内の人体骨の位置情報を取得し、前記人体骨の位置情報、人体の各重要な部位の世界座標を取得する。

【0039】

ステップＳ５０：人体骨の位置情報に基づき人体骨の関係情報を得る。

【0040】

図２を参照すると、人体骨の位置情報に基づき人体骨の関係情報を得るステップは、具体的に次のステップを含み、
ステップＳ５１０：人体の重要な部位（肩、目、鼻先等の部位）の世界座標情報を取得し、
ステップＳ５２０：世界座標を計算して人体骨の関係情報を得る。例えばＯｐｅｎｐｏｓｅ又はＣｏｎｖｏｌｕｔｉｏｎａｌ Ｐｏｓｅ Ｍａｃｈｉｎｅｓ等の骨推定アルゴリズムを利用できる。本実施形態において、左右の肩膀の横座標の差を計算することによって、左右の肩の関係を第１の人体骨の関係情報として算出する。

【0041】

他の実施形態において、任意の複数の骨の位置の世界座標を選定して人体骨の関係情報を得ることができ、例えば人体の両目における骨の位置座標に基づき両目関係情報を得、人体の寛骨、膝蓋骨、足の骨における骨の位置座標に基づき寛骨と膝蓋骨の関係情報、膝蓋骨と足の骨の関係情報を得る。

【0042】

ステップＳ６０：人体骨の関係情報に基づきターゲット画像における人体の位置状態を判断する。

【0043】

図３を参照すると、寛骨と膝蓋骨の関係情報、膝蓋骨と足の骨の関係情報を介して立位姿勢を立位姿勢、座位姿勢、臥位姿勢の３つの人体の位置状態から除外し、次のステップを含み、
ステップＳ６１０：人体の寛骨、膝蓋骨、足の骨における骨の位置座標に基づき寛骨と膝蓋骨の関係情報、膝蓋骨と足の骨の関係情報を得、
ステップＳ６２０：前記寛骨と膝蓋骨の関係情報、前記膝蓋骨と足の骨の関係情報に基づき人体が座位姿勢又は立位姿勢にあるかを判断する。具体的には、寛骨から膝蓋骨までの距離が、膝蓋骨から足の骨までの距離よりも大きい、又はわずかに小さい場合、人体が立位姿勢にあると判定でき、寛骨から膝蓋骨までの距離が、膝蓋骨から足の骨までの距離よりもはるかに小さいと検出した場合、人体が座位姿勢にあると判定できる。

【0044】

図４を参照すると、左右の肩の関係情報を通じて臥位姿勢を座位姿勢、臥位姿勢の２つの人体の位置状態内から除外され、次のステップを含み、
ステップＳ６３０：人体の左右の肩における骨の位置座標に基づき左右の肩の関係情報を得、
ステップＳ６４０：左右の肩の関係情報に基づき人体が座位姿勢又は臥位姿勢にあるかを判断する。人体が横になっているとき、両肩の高さはほぼ同じであるため、左右の肩の縦座標の差が肩幅サイズより小さい場合、人体は臥位姿勢にあると考えられる。左右の肩の縦座標が肩幅より大きい場合、人体は座位姿勢にあると判定できる。また、下半身がない場合、児童は座位姿勢にあると考えられる。

【0045】

ステップＳ７０：ターゲット画像における人体が座位姿勢にある場合、さらに人体骨の関係情報に基づき人体の座位姿勢状態を判断する。

【0046】

図５を参照すると、人体骨の関係情報における左右の肩の関係情報に基づき人体の座位姿勢状態を判断するステップは、具体的に次のステップを含み、
ステップＳ７１０：人体の左右の肩における骨の位置座標に基づき左右の肩の関係情報を得、
ステップＳ７２０：左右の肩の関係情報に基づき左右の肩傾斜角度を得る。ここで、具体的な計算式は次のように表される。

【0047】

ステップＳ７３０：左右の肩傾斜角度に基づき人体の座位姿勢状態を判断する。また左右の肩傾斜角度は、所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定され、注意を促がすため、注意喚起メッセージが生成される。

【0048】

図６を参照すると、人体骨の関係情報における両目関係情報に基づき人体の座位姿勢状態を判断するステップは、具体的に次のステップを含み、
ステップＳ７４０：人体の両目における骨の位置座標に基づき両目関係情報を得、
ステップＳ７５０：両目関係情報に基づき左右の目の傾斜角度を得る。ここで、左右の目の傾斜角度の計算式は次のように表される。

【0049】

ステップＳ７６０：左右の目の傾斜角度に基づき人体の座位姿勢状態を判断する。

【0050】

他の実施形態において、遮蔽等の環境要因（手の遮蔽、顔が下げる等）により人体を妨げ、ストリーム取得のカメラがこの場合において顔情報を取得できない可能性があり、この時、顔情報を捕捉してターゲットとして確認すると、該人物をターゲットとして自動識別し、短時間自動追従し、該人物の座位姿勢をリアルタイムで分析するターゲット追跡手法を使用することができる。人体の骨特徴が不完全な場合の座位姿勢の検出を解決する。

【0051】

本発明の実施形態に係る児童の顔認識に基づく児童の座位姿勢検出方法は、異なる年齢の児童に応じて区分して監視する技術的手段も備えるため、家庭内に異なる年齢の複数の児童がいる状況に適し、異なる年齢児童の座位姿勢に対して異なる程度の監視を実施でき、具体的なステップは図７を参照されたい。
ステップＳ８１０：第１の顔データセットのデータと一致する顔テンプレートの年齢範囲を取得し、
ステップＳ８２０：前記顔テンプレートは第１の年齢範囲にあり、左右の肩傾斜角度が第１の所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定し、
ステップＳ８３０：前記顔テンプレートは第２の年齢範囲にあり、左右の肩傾斜角度が第２の所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定し、
ステップＳ８４０：前記顔テンプレートは第３の年齢範囲にあり、左右の肩傾斜角度が第３の所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定する。

【0052】

具体的には、児童の年齢が６歳～８歳の範囲にあり、左右の肩の傾斜角度が３０°を超えた場合、座位姿勢が異常で、２０分間端座した後１５分間歩き回ることを設定できる。児童の年齢が１０歳～１２歳の範囲にあり、左右の肩の傾斜角度が２０°を超えた場合、座位姿勢が異常で、４５分間端座した後１０分間歩き回ることを設定することもできる。

【0053】

本発明の実施形態で提供される児童の顔認識に基づく児童の座位姿勢検出方法は、児童の年齢を自動的に識別し、児童の年齢の違いに応じて児童の座位姿勢をリアルタイムで検出すると共にスマートに監視する。本発明の実施形態は、眼、肩、鼻、腿、膝、足等の人体のいくつかの重要部位の骨の位置情報に対して単純で包括的な数学的演算を実行する必要があるだけで、人体骨の関係情報を得ることができ、更に人体骨の関係情報を所定閾値と比較すると、人体の座位姿勢状態を判断できる。高位の固有ベクトル、積分計算等の使用を必要とする従来の方法と比較して、座位姿勢の個別のモデルトレーニングを必要とせず、重要なデータを計算するだけでよいため、座位姿勢検出の時間が大幅に削減され、精度を向上させる。

【0054】

また、上記児童の顔認識に基づく児童の座位姿勢検出方法によれば、図８に示すように本発明の実施形態は、児童の顔認識に基づく児童の座位姿勢検出システムも提供し、前記システムは、
ターゲット領域の画像を収集してターゲット画像を得るように構成される画像収集モジュール１００と、
前記ターゲット画像から顔検出するよう構成される顔検出モジュール２００と、
顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出して、顔テンプレートを得るよう構成される特徴抽出モジュール３００と、
前記顔テンプレートと事前構築済み又はトレーニング済みの顔データセットに対して顔照合を実行するように構成される顔照合モジュール４００と、
前記顔テンプレートが前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るよう構成される人体骨の位置情報取得モジュール５００と、
人体骨の位置情報に基づき人体骨の関係情報を得るよう構成される人体骨の関係情報取得モジュール６００と、
人体骨の関係情報に基づきターゲット画像における人体の位置状態を判断するよう構成される人体の位置状態判断モジュール７００と、
ターゲット画像における人体が座位姿勢にある場合、さらに人体骨の関係情報に基づき人体の座位姿勢状態を判断するよう構成される人体の座位姿勢状態判断モジュール８００とを備える。

【0055】

要するに、本発明の実施形態は、プログラムとして実現され、コンピュータ機器上で実行され得る、児童の顔認識に基づく児童の座位姿勢検出システムを提案する。コンピュータ機器のメモリーには、前記児童の顔認識に基づく児童の座位姿勢検出システムを構成する各プログラムモジュール、例えば図８に示す画像収集モジュール１００、顔検出モジュール２００、特徴抽出モジュール３００、顔照合モジュール４００、人体骨の位置情報取得モジュール５００、人体骨の関係情報取得モジュール６００、人体の位置状態判断モジュール７００、人体の座位姿勢状態判断モジュール８００を格納することができる。各プログラムモジュールからなるプログラムは、プロセッサが本明細書内に記載の本出願の各実施形態の児童の顔認識に基づく児童の座位姿勢検出方法におけるステップを実行することを可能にする。

【0056】

上記実施形態は、本発明の例示であって本発明を限定するものではなく、本発明の単純な変形後の技術的手段は、本発明の保護範囲に属する。以上、本発明の好適な実施例につき説明したが、本発明の保護範囲は前述した実施例に限定されることなく、本発明の技術構想に基づく技術的手段は本発明の保護範囲に属する。当業者であれば、本発明の原理から逸脱することなく、様々な改良及び潤色が可能であり、かかる改良及び潤色は本発明の保護範囲に含めることを指摘しておかなければならない。

【0057】

（付記）
（付記１）
児童の顔認識に基づく児童の座位姿勢検出方法であって、ターゲット領域の画像を収集してターゲット画像を得るステップと、前記ターゲット画像から顔検出するステップと、顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出して、顔テンプレートを得るステップと、前記顔テンプレートと事前構築済み又はトレーニング済みの顔データセットに対して顔照合を実行し、前記顔テンプレートが前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るステップと、前記人体骨の位置情報に基づき人体骨の関係情報を得るステップと、前記人体骨の関係情報に基づき前記ターゲット画像における人体の位置状態を判断するステップと、前記ターゲット画像における人体が座位姿勢にある場合、さらに前記人体骨の関係情報に基づき人体の座位姿勢状態を判断するステップとを含むことを特徴とする、児童の顔認識に基づく児童の座位姿勢検出方法。

【0058】

（付記２）
前記人体骨の関係情報に基づき人体の座位姿勢状態を判断する前記ステップは、具体的に人体の左右の肩における骨の位置座標に基づき左右の肩の関係情報を得るステップと、前記左右の肩の関係情報に基づき左右の肩傾斜角度を得るステップと、前記左右の肩傾斜角度に基づき前記人体の座位姿勢状態を判断するステップとを含むことを特徴とする、付記１に記載の児童の顔認識に基づく児童の座位姿勢検出方法。

【0059】

（付記３）
前記左右の肩傾斜角度は、所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定され、注意喚起のため、注意喚起メッセージが生成されることを特徴とする、付記２に記載の児童の顔認識に基づく児童の座位姿勢検出方法。

【0060】

（付記４）
前記第１の顔データセットのデータと一致する前記顔テンプレートの年齢範囲を取得するステップと、前記顔テンプレートは第１の年齢範囲にあり、左右の肩傾斜角度が第１の所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定するステップと、前記顔テンプレートは第２の年齢範囲にあり、前記左右の肩傾斜角度が第２の所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定するステップと、前記顔テンプレートは第３の年齢範囲にあり、前記左右の肩傾斜角度が第３の所定閾値を超えた場合、現在の座位姿勢状態が異常であると判定するステップとをさらに含むことを特徴とする、付記３に記載の児童の顔認識に基づく児童の座位姿勢検出方法。

【0061】

（付記５）
前記人体骨の関係情報に基づき人体の座位姿勢状態を判断する前記ステップは、具体的に人体の両目における骨の位置座標に基づき両目関係情報を得るステップと、前記両目関係情報に基づき左右の目の傾斜角度を得るステップと、前記左右の目の傾斜角度に基づき前記人体の座位姿勢状態を判断するステップとを含むことを特徴とする、付記１に記載の児童の顔認識に基づく児童の座位姿勢検出方法。

【0062】

（付記６）
前記人体骨の関係情報に基づきターゲット画像における人体の位置状態を判断する前記ステップは、人体の寛骨、膝蓋骨、足の骨における骨の位置座標に基づき寛骨と膝蓋骨の関係情報、膝蓋骨と足の骨の関係情報を得るステップと、前記寛骨と膝蓋骨の関係情報、前記膝蓋骨と足の骨の関係情報に基づき人体が座位姿勢又は立位姿勢にあるかを判断するステップとを含むことを特徴とする、付記１に記載の児童の顔認識に基づく児童の座位姿勢検出方法。

【0063】

（付記７）
前記人体骨の関係情報に基づきターゲット画像における人体の位置状態を判断する前記ステップは、人体の左右の肩における骨の位置座標に基づき左右の肩の関係情報を得るステップと、前記左右の肩の関係情報に基づき人体が座位姿勢又は臥位姿勢にあるかを判断するステップとを含むことを特徴とする、付記１に記載の児童の顔認識に基づく児童の座位姿勢検出方法。

【0064】

（付記８）
複数の顔を検出した場合、まず複数の顔に対して顔セグメンテーションを実行して単一顔画像を形成し、次に前記単一顔画像を分割し複数の顔のサブ領域を形成し、顔のシワ、眼角、目の下等年齢の見分け部位に重みのプルーニングを行うことを特徴とする、付記１に記載の児童の顔認識に基づく児童の座位姿勢検出方法。

【0065】

（付記９）
前記第１の顔データセットは、４～１６歳の顔データセット、前記第２の顔データセットは１６歳超の顔データセットであることを特徴とする、付記１に記載の児童の顔認識に基づく児童の座位姿勢検出方法。

【0066】

（付記１０）
児童の顔認識に基づく児童の座位姿勢検出システムであって、
ターゲット領域の画像を収集してターゲット画像を得るように構成される画像収集モジュールと、
前記ターゲット画像から顔検出するよう構成される顔検出モジュールと、
顔を検出した時、事前構築済み顔特徴モデルで前記顔の固有値を抽出して、顔テンプレートを得るよう構成される特徴抽出モジュールと、
前記顔テンプレートと事前構築済み又はトレーニング済みの顔データセットに対して顔照合を実行するように構成される顔照合モジュールと、
前記顔テンプレートが前記顔データセット内の第１の顔データセットのデータと一致する場合、前記ターゲット画像における人体骨の位置情報を得るよう構成される人体骨の位置情報取得モジュールと、
前記人体骨の位置情報に基づき人体骨の関係情報を得るよう構成される人体骨の関係情報取得モジュールと、
前記人体骨の関係情報に基づき前記ターゲット画像における人体の位置状態を判断するよう構成される人体の位置状態判断モジュールと、
前記ターゲット画像における人体が座位姿勢にある場合、さらに前記人体骨の関係情報に基づき人体の座位姿勢状態を判断するよう構成される人体の座位姿勢状態判断モジュールと
を備えることを特徴とする、児童の顔認識に基づく児童の座位姿勢検出システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】