特開 2023-176999 姿勢改善システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023176999

(43)【公開日】2023-12-13

(54)【発明の名称】姿勢改善システム

(51)【国際特許分類】

   G06V 40/20 20220101AFI20231206BHJP

   A61B 5/107 20060101ALI20231206BHJP

   G06F 3/01 20060101ALI20231206BHJP

   G06T 7/00 20170101ALI20231206BHJP

【ＦＩ】

G06V40/20

A61B5/107 300

G06F3/01 510

G06T7/00 660Z

【審査請求】有

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2022089648

(22)【出願日】2022-06-01

(11)【特許番号】

(45)【特許公報発行日】2023-03-07

(71)【出願人】

【識別番号】501294870

【氏名又は名称】株式会社ジースポート

(74)【代理人】

【識別番号】100081961

【弁理士】

【氏名又は名称】木内 光春

(74)【代理人】

【識別番号】100112564

【弁理士】

【氏名又は名称】大熊 考一

(74)【代理人】

【識別番号】100163500

【弁理士】

【氏名又は名称】片桐 貞典

(74)【代理人】

【識別番号】230115598

【弁護士】

【氏名又は名称】木内 加奈子

(72)【発明者】

【氏名】黒田 篤

【テーマコード（参考）】

4C038

5E555

5L096

【Ｆターム（参考）】

4C038VA04

4C038VA06

4C038VA18

4C038VB03

4C038VB40

4C038VC05

5E555AA25

5E555AA64

5E555AA76

5E555BA02

5E555BA05

5E555BA06

5E555BB02

5E555BB05

5E555BB06

5E555BC04

5E555CA42

5E555CB22

5E555DA01

5E555DA22

5E555DA23

5E555DB18

5E555DB41

5E555DB56

5E555DB58

5E555DC13

5E555DD08

5E555EA03

5E555EA05

5E555EA11

5E555EA14

5E555EA22

5E555FA00

5L096CA04

5L096DA02

5L096DA04

5L096FA09

5L096FA66

5L096FA67

(57)【要約】      （修正有）

【課題】パソコン、タブレット、スマホなどの機器に設けられたカメラを用いて、ディスプレイから顔までの距離と姿勢を判定して、使用者に姿勢の改善を提案をする姿勢改善システムを提供する。
【解決手段】姿勢改善システムにおいて、画像撮影部１０は、ディスプレイの近傍に配置されたカメラによって使用者の画像を撮影する。特徴点間距離測定部１１は、画像撮影部１０が取得した使用者の画像中から、使用者の顔又は上半身の複数の特徴点を検出し、各特徴点間の距離を測定する。姿勢判定部１２は、各特徴点間の距離の変化に基づいて各特徴点の傾きを判定し、各特徴点の傾きに基づいて姿勢の良否を判定する。視距離測定部１３は、特徴点間距離測定部が測定した各特徴点間の距離の増減に基づいてディスプレイに対する視距離を判定する。姿勢改善提示部１４は、姿勢判定部及び視距離測定部による判定結果に基づいて、使用者に姿勢改善提案を提示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ディスプレイの近傍に使用者に対向して配置されたカメラによって使用者の画像を撮影する画像撮影部と、
前記画像撮影部によって取得された使用者の画像中から、使用者の顔又は上半身の複数の特徴点を検出し、前記各特徴点間の距離を測定する特徴点間距離測定部と、
前記特徴点間距離測定部によって測定された前記各特徴点間の距離の変化に基づいて前記各特徴点の傾きを判定し、前記各特徴点の傾きに基づいて姿勢の良否を判定する姿勢判定部と、
前記姿勢判定部による判定結果に基づいて、使用者に姿勢改善提案を提示する姿勢改善提示部と、
を備える姿勢改善システム。

【請求項2】

前記特徴点間距離測定部によって測定された前記各特徴点間の距離の増減に基づいてディスプレイに対する視距離を判定する視距離測定部を備え、
前記姿勢改善提示部は、前記姿勢判定部と前記視距離測定部による判定結果に基づいて、使用者に姿勢改善提案を提示する請求項１に記載の姿勢改善システム。

【請求項3】

前記画像撮影部及び／又は特徴点間距離測定部によって得られた情報が時系列で保存される記憶部を備える請求項１又は請求項２に記載の姿勢改善システム。

【請求項4】

前記記憶部には、前記姿勢改善提示部が提示する複数の姿勢改善提案が記憶され、
前記記憶部に記憶された姿勢判定部及び／又は視距離測定部によって得られた前記情報の時系列変化と、前記姿勢改善提示部により提示された前記複数の姿勢改善提案により変化した前記情報に基づいて、前記複数の姿勢改善提案の中から所定の姿勢改善提案を選択する提案選択部を備える請求項３に記載の姿勢改善システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、パソコン・ラップトップ・タブレット・スマホ等の機器に設けられたカメラから取得した画像情報に基づいて、これらの機器の使用者の姿勢を改善するために使用される姿勢改善システムに関する。

【背景技術】

【0002】

従来から、下記の特許文献に示す通り、パソコンなどの機器を使用する際において、使用者が適正な姿勢で機器を使用しているか否かを判定することで、姿勢の改善に資するシステムが知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許５８２０３６６号公報

【特許文献2】特開２０１２－１２０６４７号公報

【特許文献3】特開２０１６－１２３５８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、これらの従来技術は、パソコンやスマホ等の機器とは別体に設けられたカメラを使用したものであるとか、或いは体全体の姿勢を判定するなど、パソコンやスマホ等による機器によってデスクワークをする場合に適したものではなかった。特に、生徒の授業や家庭学習、社会人の会社やテレワークなどにおいては、デスク上に置かれた機器によって使用者の上半身や顔のみから姿勢を判別する必要があり、このような限定された情報から姿勢の良否を判別することは、従来技術では困難であった。

【0005】

また、従来技術では、姿勢の変化を容易に判別できるように、パソコンなどとは異なる位置、例えば、使用者の側方に設けられたカメラにより使用者の姿勢を判別するすることが一般的であった。しかし、従来技術のような別置きのカメラを用意することは面倒であり、誰もがどのような場所でも簡単に使用できるものとは言えず、実用性に乏しいという欠点があった。特に、最近では、パソコンやスマホなどに一体に組み込まれたインカメラや、外付け型のＷＥＢカメラが広く使用されていることから、このようなディスプレイ近傍に設けられたカメラをそのまま使用して、使用者の姿勢を判定することが期待されている。

【0006】

本発明は、上記のような従来技術の問題点を解決するために提案されたものである。本発明の目的は、パソコン・タブレット・スマホなどの機器に設けられたカメラを用いて、ディスプレイから顔までの距離と姿勢を判定して、使用者に姿勢の改善を提案をすることのできる姿勢改善システムを提供することにある。

【課題を解決するための手段】

【0007】

本発明の姿勢改善システムは、次のような構成を有する。
（１）ディスプレイの近傍に使用者に対向して配置されたカメラによって使用者の画像を撮影する画像撮影部。
（２）前記画像撮影部によって取得された使用者の画像中から、使用者の顔又は上半身の複数の特徴点を検出し、前記各特徴点間の距離を測定する特徴点間距離測定部。
（３）前記特徴点間距離測定部によって測定された前記各特徴点間の距離の変化に基づいて前記各特徴点の傾きを判定し、前記各特徴点の傾きに基づいて姿勢の良否を判定する姿勢判定部。
（４）前記特徴点間距離測定部によって測定された前記各特徴点間の距離の増減に基づいディスプレイに対する視距離を判定する視距離測定部。
（５）姿勢判定部及び視距離測定部による判定結果に基づいて、使用者に姿勢改善提案を提示する姿勢改善提示部。

【0008】

本発明の実施形態において、次のような構成を有することができる。
（１）前記画像撮影部及び／又は特徴点間距離測定部によって得られた情報が時系列で保存される記憶部。
（２）前記記憶部には、前記姿勢改善提示部が提示する複数の姿勢改善提案が記憶され、
前記記憶部に記憶された姿勢判定部及び／又は視距離測定部によって得られた前記情報の時系列変化と、前記姿勢改善提示部により提示された前記複数の姿勢改善提案により変化した前記情報に基づいて、前記複数の姿勢改善提案の中から所定の姿勢改善提案を選択する提案選択部。

【図面の簡単な説明】

【0009】

【図1】第１実施形態の姿勢改善システムのブロック図。

【図2】第１実施形態において傾きを検出する手法を示す図。

【図3】第１実施形態において視距離を検出する手法を示す図。

【発明を実施するための形態】

【0010】

［１．第１実施形態］
［１－１．構成］
本実施形態の姿勢改善システムは、パソコン、スマホ、タブレットなどのコンピュータを利用した機器（以下、機器という）上にコンピュータプログラムとして組み込まれる。機器は、ディスプレイなどの表示部１、機器本体に組み込まれたカメラ２、キーボードやディスプレイを兼用したタッチパネルなどの操作入力部３、音声出力部４、及び本実施形態のプログラムや各種データを保存する記憶部５を有する。また、機器の表示部１や音声出力部４に加えて、インターネット経由で他の機器、例えば、管理用のサーバ、上司や家族などの持つパソコンやスマホ等にデータを送信する通信部６を有する。

【0011】

機器に組み込まれる姿勢改善システムは、画像撮影部１０、特徴点間距離測定部１１、姿勢判定部１２、視距離測定部１３及び姿勢改善提示部１４を有する。特に、本実施形態は、前記各部に加えて、記憶部５内に画像撮影部１０及び／又は特徴点間距離測定部１１によって得られた情報と複数の姿勢改善提案が記憶されていると共に、複数の姿勢改善提案の中から適切な提案を選択する提案選択部１５を有する。

【0012】

画像撮影部１０は、ディスプレイの近傍に使用者に対向して配置されたカメラによって使用者の画像を撮影し、記憶部５に保存する。撮影する画像は、使用者の顔や顔を含む上半身とすることができる。カメラが機器のディスプレイ部分に設けられていることから、使用者が機器を使用している状態において、機器のカメラが撮影した画像全体を用いてもよいし、画像中から顔の部分のみを画像解析によって抽出してもよい。

【0013】

画像撮影部１０は、使用者が機器を正しい姿勢で使用している状態の画像を予め基準画像として撮影して保存することができる。また、機器の使用時において、使用開始時を始めとして一定時間ごとに自動的に撮影して、各時間ごとの撮影画像を経時的に保存してもよい。一般的に、使用者は機器の使用開始時点では疲れが少ないことから、正しい姿勢をとることが多いので、使用開始時から所定時間内に撮影された複数の画像に関する特徴点のデータに基づいて、基準画像を生成して記憶部５に保存してもよい。

【0014】

特徴点間距離測定部１１は、画像撮影部１０によって取得された使用者の画像中から、使用者の顔又は上半身の複数の特徴点を検出し、これら複数の特徴点間の距離を測定する。特徴点の検出方法としては、従来から知られている各種のものを適宜使用することができる。特徴点としては、顔の各パーツ、例えば、目、眉、鼻、耳、顎などや、各パーツの左右或いは上下両端部などが使用できる。また、顎、首、肩などの輪郭も特徴点として使用してもよい。図２及び図３は、顔の特徴点の一例を示す図である。距離の測定対象となる複数の特徴点としては、画像中に左右に位置する複数の特徴点と、画像中で上下に位置する複数の特徴点を選択することが望ましい。例えば、両目の間隔と、目と口の間隔というように、左右方向と上下方向の距離を測定することが望ましい。また、両目と口、両目と顎の先端というように、三角形に配置された複数の特徴点について、それぞれの距離を測定しても良い。

【0015】

姿勢判定部１２は、特徴点間距離測定部１１によって測定された各特徴点間の距離の変化に基づいて各特徴点の傾きを判定し、各特徴点の傾きに基づいて姿勢の良否を判定する。すなわち、特徴点間距離測定部１１は、画像中で上下に位置する複数の特徴点を選択し、その距離を測定したり、或いは三角形に配置された複数の特徴点についてそれぞれの距離を測定する。一般に姿勢が悪くなると、機器のディスプレイと顔或いは上半身の角度が変化するが、機器に設けられているカメラの撮影角度には変化がないことから、カメラが撮影した画像中では、図２（ｂ）に示すように、各特徴点の上下方向の距離が短くなる。そこで、撮影画像中における各特徴点の上下方向の距離が、図２（ａ）の基準画像中の同じ特徴点の上下方向の距離に対してどの程度変化するかを検出することで、姿勢の良否を判定する。

【0016】

判定の基準としては、機器のカメラを使用して、予め使用者の正しい姿勢と悪い姿勢の状態の画像を撮影しておき、それらの姿勢についてそれぞれ特徴点間距離測定部１１により各特徴点間の距離を測定して記憶部５に保存しておく。例えば、骨盤中間位で直立させたupright、骨盤後傾位で脱力させたslump，骨盤前傾位で反り腰になるwarp，頭部の左側屈(left)，右側屈(right)の5種類について、予め撮影画像を取得して、その画像中における各特徴点間の距離を測定しておく。姿勢判定部１２では、判定時点に撮影した画像中における各特徴点の距離が前記５種類の基準画像のいずれに近いかを比較して、判定時点における使用者の姿勢の良否を判定する。

【0017】

視距離測定部１３は、特徴点間距離測定部１１によって測定された各特徴点間の距離の増減に基づいディスプレイに対する視距離を判定する。例えば、使用者の顔がディスプレイに近づくと撮影画像中における各特徴点間の距離が、図３（ａ）の基準画像に比較して、図３（ｂ）のように増加するので、ディスプレイと使用者の視距離が近づいたものと判定する。この場合、姿勢判定部１２による特徴点間の距離は、左右方向の特徴点間の距離の変化量と上下方向の距離の変化量に差があることから傾きを判定したが、視距離測定部１３は上下並びに左右両方向の距離がほぼ同様な割合で変化することで、視距離を測定する。また、測定対象が視距離であることから、目や眉など目に近い部分の特徴点の距離の増減のみを基準として視距離を測定しても良い。さらに、予め視距離を測定しておくことにより、測定時の絶対量としての視距離を測定することもできるし、正しい姿勢における視距離と測定時の視距離との相対的な視距離を測定して、姿勢の改善提案に繋げることもできる。

【0018】

姿勢改善提示部１４は、姿勢判定部１２及び視距離測定部１３による判定結果に基づいて、使用者に姿勢改善提案を提示する。姿勢改善提示部１４は、例えば、一定の時間ごとに使用者の画像を撮影して、姿勢判定部１２により得られた姿勢の良否及び視距離測定部１３により得られた視距離の変化が、所定の基準を上回った場合に、姿勢が悪いとか、視距離が近いという改善提案を使用者に提示する。提示する基準は適宜選択可能であり、姿勢や視距離が悪い状態が一定時間継続した場合や、悪い状態の程度があらかじめ設定した基準より大きい場合に改善提案を提示することができる。改善提案の態様としては、ディスプレイに警告用のアイコンを示したり、姿勢を正したり休憩を促すメッセージを表示させたり、音声出力部４からメッセージや警告音を出力することができる。また、通信部６を利用して、他の機器に警告内容および改善提案を送信することができる。これにより姿勢改善を目的としていない他の機器が姿勢改善を副次的に組み込むことが可能となり、利用者は他の機器を利用中に副次的に姿勢改善が可能となる。

【0019】

記憶部５には、画像撮影部１０及び／又は特徴点間距離測定部１１によって得られた情報が時系列で保存される。この情報としては、使用者や機器に関する情報、設定時や判定時における撮影画像、予め設定した正常な姿勢や悪い姿勢における各特徴点間の距離の情報、視距離に関する情報、判定時や撮影時のタイムデータ、改善提案の内容、改善提案の提示方法などがある。

【0020】

本実施形態においては、記憶部５には、姿勢改善提示部１４が提示する複数の姿勢改善提案が記憶されている。改善提案としては、姿勢の悪さの程度や視距離の不適切度合いに応じて、様々なものを用意することができる。例えば、単なる警告に止まらず、使用者の年齢や性別、悪い姿勢や視距離の程度や継続時間に合わせて、機器の設置状態の変更や休憩を提案したり、経時的な姿勢や視距離のデータをグラフや採点表などで提示することができる。

【0021】

提案選択部１５は、記憶部５に保存されている複数の姿勢改善提案の中から所定の姿勢改善提案を選択する。すなわち、本実施形態では、判定時において姿勢判定部１２及び／又は視距離測定部１３によって得られた各特徴点間の距離や判定された姿勢の状態及び視距離に関する情報の時系列変化が記憶部５に保存されている。同時に、記憶部５には、各判定時において姿勢改善提示部１４がどのような姿勢改善提案をしたかを示す情報も記憶されている。提案選択部１５は、それぞれの判定時における改善提案と、その改善提案の前後における姿勢及び／又は視距離の変化を比較して、その改善提案が姿勢及び／又は視距離の改善にどの程度寄与したかを判定する。

【0022】

このように、提案選択部１５は、姿勢及び／又は視距離の判定に関するデータが経時的に蓄積された状態において、どのような姿勢及び／又は視距離の状態、言い換えれば正常な姿勢や視距離に対する特徴点の変化パターンを解析して、その変化パターンにはどのような改善提案が有効かを判定する。その後、新たな判定及び提案を行う場合には、経時的に蓄積した姿勢及び／又は視距離に関する情報と、新たに得られた姿勢及び／又は視距離の情報とを比較して、記憶部５に保存されている複数の改善提案の中から最適なものを選択して、実行する。

【0023】

［１－３．実施形態の効果］
第１実施形態の効果は以下の通りである。
（１）システムを仕事や勉学に使用する機器に組み込むと共に、機器に設けられているカメラをそのまま使用して姿勢や視距離の判定を行い改善提案を行うので、使用する機器以外に別途カメラなどの機材が不要であり、使用者の負担にならず時間や場所を選ばず、機器の使用箇所で簡単に実施できる。

【0024】

（２）姿勢と視距離という２つの情報に基づいて改善提案を行うため、顔や上半身という比較的狭い範囲の情報であっても、姿勢や視距離の状態を比較的高い精度で判定することができ、判定状態に合わせた適切な改善提案を行うことかできる。

【0025】

（３）複数の特徴点間の距離の変化に基づいて、姿勢の傾きや視距離を判定するアルゴリズムを用いることにより、傾きや視距離の判定に要する演算処理が容易であり、使用者が仕事や勉学のために機器を使用している間に並行して姿勢や視距離の判定を実施でき、機器の使用中に適切な改善提案を行うことができる。

【0026】

（４）記憶部５には、姿勢改善提示部１４が提示する複数の姿勢改善提案が記憶されていることから、改善提案の提案方法も、表示部１、音声出力部４或いは通信部６のように、様々な手法を採用することができ、また、警告やアイコンなどの表示以外に、休憩や体操、気分転換の促進など各種のメッセージを発することも可能であるため、使用者自身の特性や使用する機器やソフトウェアに応じて、適切な提案を実施することができる。

【0027】

（５）提案選択部１５は、記憶部５に経時的に蓄積された情報に基づいて、新たに判定された姿勢及び／又は視距離の状態に有効な改善提案を自動的に選択するので、使用者や機器或いは実施するソフトウェアが異なっても、最適な改善提案を提示できる。

【0028】

（６）予め使用者の正しい姿勢と悪い姿勢の状態を複数種類に分類して撮影しておくことにより、姿勢判定部１２では、判定時点に撮影した画像中における各特徴点の距離がこれら複数種類の基準画像のいずれに近いかを比較して、判定時点における使用者の姿勢の良否を判定するので、姿勢や視距離の正常値から離れた度合いがランク別に容易に判定できる。

【0029】

［２．他の実施形態］
本発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。具体的には、次のような他の実施形態も包含する。

【0030】

（１）正常な姿勢や視距離の判定は、本システムの開始時において、使用者ごとに予め設定することも可能であるし、ＡＩなどを利用して、各種の機器について多数の使用者の正しい姿勢や視距離を測定して、一定範囲の傾きや視距離の状態を正常値として予め記憶部５に保存しておいてもよい。また、個々の使用者の使用開始時から一定の時間、すなわち使用者の疲労が蓄積していない状態の姿勢や視距離のデータを平均化するなどして、正常値を設定したり、システムが改善提案を提示した直後の傾きや視距離に基づいて、正常値を設定することもできる。

【0031】

（２）姿勢や視距離の判定や改善提案は、使用者が実施している他の作業と並行して実施されることから、他の作業の実施状況を監視して、使用者の作業の邪魔にならないタイミング、例えば機器への入力作業が中断した状態やソフトウェアとの切換状態、ファイルのダウンロードや印刷待ちの状態などで、改善提案を提示することも可能である。

【0032】

（３）特徴点間距離測定部１１は、第１実施形態に記載した姿勢及び視距離の改善提案に加えて、口の開口度情報からあくびの回数を判定したり、瞳孔の開口度、瞬きの回数から使用者の疲労度を判定して、姿勢及び／又は視距離に関する改善提案とともに、疲労度に対する改善提案を提示してもよい。

【0033】

（４）特徴点間距離測定部１１に加えて、特徴点間の角度を測定して、その情報を加味することで、姿勢の傾きや視距離の変化をより精度よく判定することもできる。視距離の判定は、特徴点間の距離の増減による以外に、カメラに設けられた自動焦点機構からの情報を組み合わせても良い。

【0034】

（５）請求項に記載された「ディスプレイの近傍に使用者に対向して配置されたカメラ」とは、機器に組み込まれたカメラや外付けのカメラ、或いは機器周囲の本棚や机などに固定されたカメラであってもよい。また、対向とは、必ずしも使用者の顔や上半身の正面に向き合う状態のみを示すものではなく、使用者の特徴点間の距離の変化や増減を検出できる位置であれば、正面から上下左右にずれていてもよく、その設置位置は適宜選択できる。

【符号の説明】

【0035】

１…表示部
２…カメラ
３…操作入力部
４…音声出力部
５…記憶部
６…通信部
１０…画像撮影部
１１…特徴点間距離測定部
１２…姿勢判定部
１３…視距離測定部
１４…姿勢改善提示部
１５…提案選択部

【図1】

【図2】

【図3】

【手続補正書】

【提出日】2022-10-21

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ディスプレイの近傍に使用者に対向して配置されたカメラによって使用者の画像を撮影する画像撮影部と、
前記画像撮影部によって取得された使用者の画像中から、使用者の顔又は上半身の複数の特徴点を検出し、前記各特徴点間の距離を測定する特徴点間距離測定部と、
前記特徴点間距離測定部によって測定された前記各特徴点間の距離の変化に基づいて前記各特徴点が乗っている面のディスプレイに対する傾きを判定し、前記各特徴点の傾きに基づいて姿勢の良否を判定する姿勢判定部と、
前記姿勢判定部による判定結果に基づいて、使用者に姿勢改善提案を提示する姿勢改善提示部と、
前記画像撮影部及び／又は特徴点間距離測定部によって得られた情報が時系列で保存される記憶部を備え、
前記記憶部には、前記姿勢改善提示部が提示する複数の姿勢改善提案が記憶され、
前記記憶部に記憶された姿勢判定部によって得られた前記情報の時系列変化と、前記姿勢改善提示部により提示された前記複数の姿勢改善提案により変化した前記情報に基づいて、前記複数の姿勢改善提案の中から所定の姿勢改善提案を選択する提案選択部を備える姿勢改善システム。

【請求項2】

前記特徴点間距離測定部によって測定された前記各特徴点間の距離の増減に基づいてデ
ィスプレイに対する視距離を判定する視距離測定部を備え、
前記姿勢改善提示部は、前記姿勢判定部と前記視距離測定部による判定結果に基づいて、使用者に姿勢改善提案を提示する請求項１に記載の姿勢改善システム。