特開 2025-101475 表示装置及び姿勢評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025101475

(43)【公開日】2025-07-07

(54)【発明の名称】表示装置及び姿勢評価方法

(51)【国際特許分類】

   A61B 5/107 20060101AFI20250630BHJP

   G06T 7/00 20170101ALI20250630BHJP

【ＦＩ】

A61B5/107 300

G06T7/00 660Z

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023218345

(22)【出願日】2023-12-25

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】三宅 史朗

【テーマコード（参考）】

4C038

5L096

【Ｆターム（参考）】

4C038VA04

4C038VB01

4C038VB08

4C038VC05

4C038VC20

5L096CA02

5L096FA66

5L096FA69

5L096FA76

(57)【要約】

【課題】ユーザの姿勢を適切に評価する。
【解決手段】表示装置は、本体部に設けられ、画像を表示する表示部と、本体部に設けられ、表示部が画像を表示する表示方向を撮像する撮像部と、撮像部により撮像した画像に基づいてユーザを検出し、検出したユーザの顎と肩との位置関係を含む姿勢情報に基づいてユーザの姿勢を評価する姿勢評価部とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

本体部に設けられ、画像を表示する表示部と、
前記本体部に設けられ、前記表示部が前記画像を表示する表示方向を撮像する撮像部と、
前記撮像部により撮像した画像に基づいてユーザを検出し、検出した前記ユーザの顎と肩との位置関係を含む姿勢情報に基づいて前記ユーザの姿勢を評価する姿勢評価部と
を備える表示装置。

【請求項2】

前記表示部の傾きを検出する検出部を更に備え、
前記姿勢評価部は、前記検出部の検出結果と、前記姿勢情報とに基づいて前記ユーザの姿勢を評価する
請求項１に記載の表示装置。

【請求項3】

前記姿勢評価部は、前記撮像部により撮像した画像に基づいて前記ユーザの顔と前記表示部との距離を算出し、算出した前記距離と前記姿勢情報とに基づいて前記ユーザの姿勢を評価する
請求項１に記載の表示装置。

【請求項4】

前記姿勢評価部は、前記ユーザがうつ伏せ状態か否かを推定し、推定結果に基づいて前記ユーザの姿勢を評価する
請求項１に記載の表示装置。

【請求項5】

表示装置に設けられる表示部に画像を表示する表示ステップと、
前記表示装置に設けられる撮像部により、前記表示部が前記画像を表示する表示方向を撮像する撮像ステップと、
前記撮像部により撮像した画像に基づいてユーザを検出し、検出した前記ユーザの顎と肩との位置関係を含む姿勢情報に基づいて前記ユーザの姿勢を評価する姿勢評価ステップと
を含む姿勢評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示装置及び姿勢評価方法に関する。

【背景技術】

【0002】

スマートフォン等の携帯型の表示装置を利用するユーザの姿勢を評価する際、例えば、表示装置の傾きや、表示装置に設けられたカメラでユーザを撮影した画像等に基づいて、ユーザの姿勢を評価する手法が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６０５００６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記手法では、例えばユーザが立った姿勢と、うつ伏せの姿勢との区別がつかず、ユーザの姿勢を適切に評価することが困難である。

【0005】

本発明は、上記に鑑みてなされたものであり、ユーザの姿勢を適切に評価することが可能な表示装置及び姿勢評価方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る表示装置は、本体部に設けられ、画像を表示する表示部と、前記本体部に設けられ、前記表示部が前記画像を表示する表示方向を撮像する撮像部と、前記撮像部により撮像した画像に基づいてユーザを検出し、検出した前記ユーザの顎と肩との位置関係を含む姿勢情報に基づいて前記ユーザの姿勢を評価する姿勢評価部とを備える。

【0007】

本発明に係る姿勢評価方法は、表示装置に設けられる表示部に画像を表示する表示ステップと、前記表示装置に設けられる撮像部により、前記表示部が前記画像を表示する表示方向を撮像する撮像ステップと、前記撮像部により撮像した画像に基づいてユーザを検出し、検出した前記ユーザの顎と肩との位置関係を含む姿勢情報に基づいて前記ユーザの姿勢を評価する姿勢評価ステップ部とを含む。

【発明の効果】

【0008】

本発明によれば、ユーザの姿勢を適切に評価することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本実施形態に係る表示装置の一例を模式的に示す斜視図である。

【図2】図２は、本実施形態に係る表示装置の一例を示す機能ブロック図である。

【図3】図３は、本実施形態に係る姿勢評価方法の一例を示すフローチャートである。

【図4】図４は、ユーザ及び表示装置の姿勢の例を示す図である。

【図5】図５は、ユーザ及び表示装置の姿勢の例を示す図である。

【図6】図６は、ユーザ及び表示装置の姿勢の例を示す図である。

【図7】図７は、撮像ステップにおいて撮像部により撮像した画像と、ユーザの姿勢とを対応付けて示す模式図である。

【図8】図８は、撮像ステップにおいて撮像部により撮像した画像と、ユーザの姿勢とを対応付けて示す模式図である。

【発明を実施するための形態】

【0010】

以下、本発明に係る表示装置及び姿勢評価方法の実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

【0011】

図１は、本実施形態に係る表示装置１００の一例を模式的に示す斜視図である。図２は、本実施形態に係る表示装置１００の一例を示す機能ブロック図である。図１及び図２に示すように、表示装置１００は、本体部１０と、表示部２０と、撮像部３０と、検出部４０と、制御部５０とを備える。

【0012】

本体部１０は、ユーザＵが把持可能な筐体である。本体部１０は、表示部２０、撮像部３０、検出部４０及び制御部５０を保持する。

【0013】

表示部２０は、本体部１０に設けられる。表示部２０は、画像を表示する。表示部２０は、例えば液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が挙げられる。表示部２０は、画像を表示する表示面２１を有する。表示面２１は、例えば平面状である。

【0014】

撮像部３０は、本体部１０に設けられる。撮像部３０は、例えば表示面２１と同一平面上に配置される。撮像部３０は、表示部２０が画像を表示する表示方向Ｄを撮像する。当該表示方向Ｄは、表示部２０の表示面２１に交差する方向である。本実施形態において、撮像部３０は、例えば可視光カメラ、遠赤外線カメラ、近赤外線カメラ等の撮像装置で構成される。撮像部３０は、撮像装置の光学系の光軸が表示面２１に交差する方向に設定される。撮像部３０は、当該光軸を中心とした所定の範囲を画角として撮像可能である。図１では撮像部３０が本体部１０に表示部２０と一体で設けられる例を示したが、撮像部３０が表示部２０と一体である必要はない。

【0015】

検出部４０は、表示部２０の傾きを検出する。検出部４０は、例えば表示部２０の表示面２１と水平面との傾斜角を表示部２０の傾きとして検出する。検出部４０としては、例えばジャイロセンサ等が用いられる。

【0016】

制御部５０は、表示装置１００の動作を統括的に制御する。制御部５０は、通信部５１、処理部５２及び記憶部５３を有する。

【0017】

通信部５１は、外部機器との間で有線又は無線による通信を行う。通信部５１は、ネットワークインタフェースカード等のインタフェースを含む。

【0018】

処理部５２は、各種の情報処理を行う。処理部５２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリとを含む。

【0019】

処理部５２は、表示制御部５４と、撮像制御部５５と、姿勢評価部５６とを有する。表示制御部５４は、表示部２０における表示動作を制御する。撮像制御部５５は、撮像部３０の撮像動作を制御する。

【0020】

姿勢評価部５６は、撮像部３０により撮像した画像に基づいてユーザＵを検出する。姿勢評価部５６は、例えば画像処理等により、ユーザＵを検出する。姿勢評価部５６は、ユーザＵを検出した場合、検出したユーザＵの顎と肩との位置関係を含む姿勢情報を抽出する。姿勢評価部５６は、抽出した姿勢情報に基づいて、ユーザＵの姿勢を評価する。

【0021】

姿勢評価部５６は、検出部４０の検出結果と、姿勢情報とに基づいて、ユーザＵの姿勢を評価することができる。

【0022】

姿勢評価部５６は、撮像部３０により撮像した画像に基づいてユーザＵの顔と表示部２０との距離を算出する。姿勢評価部５６は、算出した距離と、姿勢情報とに基づいてユーザＵの姿勢を評価することができる。

【0023】

姿勢評価部５６は、ユーザＵの姿勢として、例えばユーザＵがうつ伏せ状態か否かを判定し、判定結果に基づいてユーザＵの姿勢を評価することができる。

【0024】

記憶部５３は、各種プログラム、データ等の情報を記憶する。記憶部５３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージを含む。

【0025】

記憶部５３は、例えば、表示装置１００に設けられる表示部２０に画像を表示する表示処理と、表示装置１００に設けられる撮像部３０により、表示部２０が画像を表示する表示方向Ｄを撮像する撮像処理と、撮像部３０により撮像した画像に基づいてユーザＵを検出し、検出したユーザＵの顎と肩との位置関係を含む姿勢情報に基づいてユーザＵの姿勢を評価する姿勢評価処理とをコンピュータに実行させる姿勢評価プログラムを記憶する。

【0026】

制御部５０では、処理部５２においてプロセッサが各種プログラムを読み出してメモリに展開することで、上記各部の機能に対応した情報処理を実行する。各種プログラムとしては、例えば通信部５１が受信したプログラム、記憶部５３に記憶されたプログラム、外部の記録媒体に記録されたプログラム等が挙げられる。制御部５０は、各種の情報処理を実行する情報処理装置（コンピュータ）として機能する。なお、制御部５０とは異なる他の情報処理装置が各種プログラムを実行してもよいし、制御部５０と他の情報処理装置とが協働して各種プログラムを実行してもよい。

【0027】

次に、上記のように構成された表示装置１００による姿勢評価方法の一例を説明する。図３は、本実施形態に係る姿勢評価方法の一例を示すフローチャートである。図３に示すように、本実施形態に係る姿勢評価方法は、表示ステップＳ１０と、撮像ステップＳ２０と、姿勢評価ステップＳ３０とを含む。

【0028】

表示ステップＳ１０において、表示制御部５４は、表示部２０に画像を表示させる。撮像ステップＳ２０において、撮像制御部５５は、撮像部３０により、表示部２０が画像を表示する表示方向Ｄについて、画角内の範囲で撮像させる。

【0029】

姿勢評価ステップＳ３０において、姿勢評価部５６は、ユーザＵの姿勢を評価する。図４から図６は、ユーザＵ及び表示装置１００の姿勢の例を示す図である。

【0030】

図４に示すように、ユーザＵの背筋が鉛直方向に沿って伸びている状態では、表示装置１００の傾き、すなわち水平面に対する表示装置１００の表示面２１の傾斜角θ１は、例えば３０°以上６０°以下である。傾斜角θ１は、ユーザＵの頭部の傾きに依存する。

【0031】

図５に示すように、例えば前かがみの状態のようにユーザＵの背筋が鉛直方向に対して曲がっている状態では、水平面に対する表示面２１の傾斜角θ２は、例えば０°以上１５°以下である。

【0032】

図６に示すように、ユーザＵがうつ伏せになっている状態では、水平面に対する表示面２１の傾斜角θ３は、例えば３０°以上６０°以下である。傾斜角θ３は、ユーザＵの頭部の傾きに依存する。

【0033】

ユーザＵが背筋を伸ばした姿勢で表示面２１を見ている場合、姿勢評価部５６は、ユーザＵの姿勢が適切であると評価することができる。一方、ユーザＵが前かがみの姿勢又はうつ伏せの姿勢で表示面２１を見ている場合、姿勢評価部５６は、ユーザＵの姿勢が適切でないと評価することができる。

【0034】

上記の傾斜角θ１、θ２、θ３は、例えば検出部４０により検出することができる。ここで、傾斜角θ１と傾斜角θ２とを比較すると、傾斜角θ１に対して傾斜角θ２は、小さい値となっている。つまり、図５に示すように前かがみになった場合には、図４に示すように背筋が伸びている状態に比べて、ユーザＵの頭部がより水平面に沿った状態となる。このため、それぞれの状態で表示面２１を見ようとする場合、傾斜角θ１に比べて傾斜角θ２が小さい値になる。このように、表示面２１の傾斜角がθ２のように小さい値となる場合、前かがみの状態となっていると推定できる。そのため、姿勢評価部５６は、例えば表示面２１の傾斜角が予め設定される閾値よりも小さい場合、ユーザＵの姿勢が前かがみの状態であり、適切でないと評価することができる。

【0035】

一方、傾斜角θ１と傾斜角θ３とを比較すると、傾斜角θ１と傾斜角θ３とはほぼ同様の値となっている。つまり、図６のように水平な床面等にうつ伏せになった状態で表示面２１を見ようとするためには、床面から頭部を起こす必要があるため、水平面に対して頭部が立った状態となる。つまり、立った状態でもうつ伏せになった状態でも、ユーザＵの頭部は水平面に対して立った状態となる。このため、表示面２１の傾斜角θ１と傾斜角θ３とは、ほぼ同様の値となる。したがって、姿勢評価部５６は、傾斜角を判定するだけでは、ユーザＵの姿勢が背筋を伸ばした状態かうつぶせの状態かを区別することが困難である。

【0036】

そこで、姿勢評価部５６は、撮像ステップＳ２０において撮像部３０より撮像した画像に基づいてユーザＵを検出し、検出したユーザＵの顎と肩との位置関係を含む姿勢情報に基づいてユーザＵの姿勢を評価する。

【0037】

図７及び図８は、撮像ステップＳ２０において撮像した画像と、ユーザＵの姿勢とを対応付けて示す模式図である。図７はユーザＵの背筋が伸びた状態（図４に対応）を示し、図８はユーザＵがうつ伏せになった状態（図６に対応）を示す。

【0038】

図７に示すように、ユーザＵの背筋が伸びた状態の場合、撮像ステップＳ２０において撮像部３０により撮像される画像ＩＭ１では、ユーザＵの顎位置ＰＣ１が、ユーザＵの左肩位置ＰＲ１と右肩位置ＰＬ１とを結ぶ仮想直線Ｌ１に対して上方に存在する。

【0039】

図８に示すように、ユーザＵがうつ伏せの状態の場合、撮像ステップＳ２０において撮像部３０により撮像される画像ＩＭ３では、ユーザＵの顎位置ＰＣ３が、ユーザＵの左肩位置ＰＲ３と右肩位置ＰＬ３とを結ぶ仮想直線Ｌ３に対して下方に存在する。

【0040】

したがって、姿勢評価部５６は、撮像ステップＳ２０で撮像される画像に基づいて、ユーザＵの顎位置ＰＣと両肩の位置（肩位置）ＰＳとを検出し、検出した顎位置ＰＣと、両方の肩位置ＰＳ同士を結ぶ仮想直線Ｌとの位置関係を含む姿勢情報に基づいて、ユーザＵの姿勢について、背筋が伸びた姿勢か、うつぶせの姿勢かを判定することができる。

【0041】

例えば、姿勢評価部５６は、顎位置ＰＣが仮想直線Ｌの上方に存在する場合、ユーザＵの姿勢として、背筋が伸びた姿勢であると判定することができる。また、姿勢評価部５６は、顎位置ＰＣが仮想直線Ｌの下方に存在する場合、ユーザＵの姿勢として、うつ伏せの姿勢であると判定することができる。なお、顎位置ＰＣと肩位置ＰＳとの位置関係に基づいてユーザＵの姿勢を判定する判定基準として、上記とは異なる判定基準を用いてもよい。

【0042】

また、うつ伏せの場合には、背筋を伸ばした姿勢に比べてユーザＵの顔（例えば、鼻）と表示面２１とが近くなる傾向になる。そのため、うつ伏せの姿勢における表示面２１とユーザＵの鼻との距離Ｄ３（図６参照）は、背筋を伸ばした姿勢における表示面２１とユーザＵの鼻との距離Ｄ１（図４参照）よりも短くなる傾向にある。したがって、姿勢評価部５６は、撮像ステップＳ２０で撮像される画像に基づいて表示面２１とユーザＵの鼻との距離Ｄ１、Ｄ３を算出してもよい。この場合、姿勢情報として、上記した顎位置ＰＣと肩位置ＰＳとの位置関係に加えて、ユーザＵの鼻と表示面２１との距離Ｄ１、Ｄ３に基づいてユーザＵの姿勢を推定することにより、ユーザＵの体形や腕を曲げる際の筋肉の盛り上がり等の影響を低減することができるため、ユーザＵの姿勢をより適切に推定することができる。

【0043】

また、うつ伏せの場合には、背筋を伸ばした姿勢に比べて、ユーザＵの顔が肩よりも前方に存在する傾向にある。そのため、姿勢評価部５６は、撮像ステップＳ２０で撮像される画像に基づいてユーザＵの顔の位置と肩の位置とを算出してもよい。この場合、姿勢情報として、ユーザＵの顔の位置と肩の位置との算出結果に基づいてユーザＵの姿勢を推定することにより、ユーザＵの姿勢をより適切に推定することができる。

【0044】

また、ユーザＵの頭の傾きを検出する頭部傾き検出部をユーザＵに装着させておいてもよい。この場合、姿勢評価部５６は、姿勢情報として、当該頭部傾き検出部の検出結果を併せて用いることにより、ユーザＵの姿勢を判定してもよい。

【0045】

姿勢評価部５６は、ユーザＵの姿勢が背筋を伸ばした姿勢であると判定した場合、ユーザＵの姿勢が適切であると評価することができる。姿勢評価部５６は、ユーザＵの姿勢がうつ伏せの姿勢であると判定した場合、ユーザＵの姿勢が適切ではないと評価することができる。

【0046】

姿勢評価部５６によりユーザＵの姿勢が適切でないと評価された場合、表示制御部５４は、姿勢を適切な状態にするように促すための情報を表示部２０に表示させることができる。例えば、現在の姿勢に対して上方向に頭部を持ち上げるように促す場合、表示部２０に上向きの矢印等を表示させてもよい。この場合、矢印の長さ、矢印の色等に応じて、どの程度頭部を持ち上げるかを示してもよい。また、例えば表示部２０の上部に矢印が表示される場合には上方に頭部を持ち上げる指示、表示部２０の下部に矢印が表示される場合には下方に頭部を傾ける指示、というように、表示部２０の表示箇所に応じて頭部の上げ下げを区別してもよい。

【0047】

以上のように、本実施形態に係る表示装置１００は、本体部１０に設けられ、画像を表示する表示部２０と、本体部１０に表示部２０と一体で設けられ、表示部２０が画像を表示する表示方向Ｄを撮像する撮像部３０と、撮像部３０により撮像した画像に基づいてユーザを検出し、検出したユーザの顎と肩との位置関係を含む姿勢情報に基づいてユーザの姿勢を評価する姿勢評価部５６とを備える。

【0048】

また、本実施形態に係る姿勢評価方法は、表示装置１００に設けられる表示部２０に画像を表示する表示ステップと、表示装置１００に設けられる撮像部３０により、表示部２０が画像を表示する表示方向Ｄを撮像する撮像ステップと、撮像部３０により撮像した画像に基づいてユーザを検出し、検出したユーザの顎と肩との位置関係を含む姿勢情報に基づいてユーザの姿勢を評価する姿勢評価ステップとを含む。

【0049】

この構成によれば、ユーザの顎と肩との位置関係を含む姿勢情報に基づいてユーザＵの姿勢を評価するため、表示装置１００の姿勢を用いてユーザＵの姿勢を評価する場合に比べて、適切にユーザＵの姿勢を評価することができる。

【0050】

本実施形態に係る表示装置１００は、表示部２０の傾きを検出する検出部４０を更に備え、姿勢評価部５６は、検出部４０の検出結果と、姿勢情報とに基づいてユーザの姿勢を評価する。

【0051】

この構成によれば、表示部２０の傾きとユーザの顎と肩との位置関係とに基づいてユーザＵの姿勢を評価するため、ユーザＵの姿勢をより適切に評価することができる。

【0052】

本実施形態に係る表示装置１００において、姿勢評価部５６は、撮像部３０により撮像した画像に基づいてユーザの顔と表示部２０との距離を算出し、算出した距離と姿勢情報とに基づいてユーザの姿勢を評価する。

【0053】

この構成によれば、ユーザの顔と表示部２０との距離とユーザの顎と肩との位置関係とに基づいてユーザＵの姿勢を評価するため、ユーザＵの姿勢をより適切に評価することができる。

【0054】

本実施形態に係る表示装置１００において、姿勢評価部５６は、ユーザがうつ伏せ状態か否かを推定し、推定結果に基づいてユーザの姿勢を評価する。

【0055】

この構成によれば、ユーザがうつ伏せであるか否かの推定結果に基づいてユーザの姿勢を評価するため、ユーザＵの姿勢をより適切に評価することができる。

【0056】

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。

【符号の説明】

【0057】

Ｄ…表示方向、Ｌ，Ｌ１，Ｌ３…仮想直線、Ｕ…ユーザ、ＰＣ，ＰＣ１，ＰＣ３…顎位置、ＩＭ１，ＩＭ３…画像、ＰＬ１，ＰＬ３…右肩位置、ＰＲ１，ＰＲ３…左肩位置、ＰＳ…肩位置、１０…本体部、２０…表示部、２１…表示面、３０…撮像部、４０…検出部、５０…制御部、５１…通信部、５２…処理部、５３…記憶部、５４…表示制御部、５５…撮像制御部、５６…姿勢評価部、１００…表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】