(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025101475
(43)【公開日】2025-07-07
(54)【発明の名称】表示装置及び姿勢評価方法
(51)【国際特許分類】
A61B 5/107 20060101AFI20250630BHJP
G06T 7/00 20170101ALI20250630BHJP
【FI】
A61B5/107 300
G06T7/00 660Z
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023218345
(22)【出願日】2023-12-25
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】三宅 史朗
【テーマコード(参考)】
4C038
5L096
【Fターム(参考)】
4C038VA04
4C038VB01
4C038VB08
4C038VC05
4C038VC20
5L096CA02
5L096FA66
5L096FA69
5L096FA76
(57)【要約】
【課題】ユーザの姿勢を適切に評価する。
【解決手段】表示装置は、本体部に設けられ、画像を表示する表示部と、本体部に設けられ、表示部が画像を表示する表示方向を撮像する撮像部と、撮像部により撮像した画像に基づいてユーザを検出し、検出したユーザの顎と肩との位置関係を含む姿勢情報に基づいてユーザの姿勢を評価する姿勢評価部とを備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
本体部に設けられ、画像を表示する表示部と、
前記本体部に設けられ、前記表示部が前記画像を表示する表示方向を撮像する撮像部と、
前記撮像部により撮像した画像に基づいてユーザを検出し、検出した前記ユーザの顎と肩との位置関係を含む姿勢情報に基づいて前記ユーザの姿勢を評価する姿勢評価部と
を備える表示装置。
【請求項2】
前記表示部の傾きを検出する検出部を更に備え、
前記姿勢評価部は、前記検出部の検出結果と、前記姿勢情報とに基づいて前記ユーザの姿勢を評価する
請求項1に記載の表示装置。
【請求項3】
前記姿勢評価部は、前記撮像部により撮像した画像に基づいて前記ユーザの顔と前記表示部との距離を算出し、算出した前記距離と前記姿勢情報とに基づいて前記ユーザの姿勢を評価する
請求項1に記載の表示装置。
【請求項4】
前記姿勢評価部は、前記ユーザがうつ伏せ状態か否かを推定し、推定結果に基づいて前記ユーザの姿勢を評価する
請求項1に記載の表示装置。
【請求項5】
表示装置に設けられる表示部に画像を表示する表示ステップと、
前記表示装置に設けられる撮像部により、前記表示部が前記画像を表示する表示方向を撮像する撮像ステップと、
前記撮像部により撮像した画像に基づいてユーザを検出し、検出した前記ユーザの顎と肩との位置関係を含む姿勢情報に基づいて前記ユーザの姿勢を評価する姿勢評価ステップと
を含む姿勢評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置及び姿勢評価方法に関する。
【背景技術】
【0002】
スマートフォン等の携帯型の表示装置を利用するユーザの姿勢を評価する際、例えば、表示装置の傾きや、表示装置に設けられたカメラでユーザを撮影した画像等に基づいて、ユーザの姿勢を評価する手法が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記手法では、例えばユーザが立った姿勢と、うつ伏せの姿勢との区別がつかず、ユーザの姿勢を適切に評価することが困難である。
【0005】
本発明は、上記に鑑みてなされたものであり、ユーザの姿勢を適切に評価することが可能な表示装置及び姿勢評価方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る表示装置は、本体部に設けられ、画像を表示する表示部と、前記本体部に設けられ、前記表示部が前記画像を表示する表示方向を撮像する撮像部と、前記撮像部により撮像した画像に基づいてユーザを検出し、検出した前記ユーザの顎と肩との位置関係を含む姿勢情報に基づいて前記ユーザの姿勢を評価する姿勢評価部とを備える。
【0007】
本発明に係る姿勢評価方法は、表示装置に設けられる表示部に画像を表示する表示ステップと、前記表示装置に設けられる撮像部により、前記表示部が前記画像を表示する表示方向を撮像する撮像ステップと、前記撮像部により撮像した画像に基づいてユーザを検出し、検出した前記ユーザの顎と肩との位置関係を含む姿勢情報に基づいて前記ユーザの姿勢を評価する姿勢評価ステップ部とを含む。
【発明の効果】
【0008】
本発明によれば、ユーザの姿勢を適切に評価することができる。
【図面の簡単な説明】
【0009】
【
図1】
図1は、本実施形態に係る表示装置の一例を模式的に示す斜視図である。
【
図2】
図2は、本実施形態に係る表示装置の一例を示す機能ブロック図である。
【
図3】
図3は、本実施形態に係る姿勢評価方法の一例を示すフローチャートである。
【
図4】
図4は、ユーザ及び表示装置の姿勢の例を示す図である。
【
図5】
図5は、ユーザ及び表示装置の姿勢の例を示す図である。
【
図6】
図6は、ユーザ及び表示装置の姿勢の例を示す図である。
【
図7】
図7は、撮像ステップにおいて撮像部により撮像した画像と、ユーザの姿勢とを対応付けて示す模式図である。
【
図8】
図8は、撮像ステップにおいて撮像部により撮像した画像と、ユーザの姿勢とを対応付けて示す模式図である。
【発明を実施するための形態】
【0010】
以下、本発明に係る表示装置及び姿勢評価方法の実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
【0011】
図1は、本実施形態に係る表示装置100の一例を模式的に示す斜視図である。
図2は、本実施形態に係る表示装置100の一例を示す機能ブロック図である。
図1及び
図2に示すように、表示装置100は、本体部10と、表示部20と、撮像部30と、検出部40と、制御部50とを備える。
【0012】
本体部10は、ユーザUが把持可能な筐体である。本体部10は、表示部20、撮像部30、検出部40及び制御部50を保持する。
【0013】
表示部20は、本体部10に設けられる。表示部20は、画像を表示する。表示部20は、例えば液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ等が挙げられる。表示部20は、画像を表示する表示面21を有する。表示面21は、例えば平面状である。
【0014】
撮像部30は、本体部10に設けられる。撮像部30は、例えば表示面21と同一平面上に配置される。撮像部30は、表示部20が画像を表示する表示方向Dを撮像する。当該表示方向Dは、表示部20の表示面21に交差する方向である。本実施形態において、撮像部30は、例えば可視光カメラ、遠赤外線カメラ、近赤外線カメラ等の撮像装置で構成される。撮像部30は、撮像装置の光学系の光軸が表示面21に交差する方向に設定される。撮像部30は、当該光軸を中心とした所定の範囲を画角として撮像可能である。
図1では撮像部30が本体部10に表示部20と一体で設けられる例を示したが、撮像部30が表示部20と一体である必要はない。
【0015】
検出部40は、表示部20の傾きを検出する。検出部40は、例えば表示部20の表示面21と水平面との傾斜角を表示部20の傾きとして検出する。検出部40としては、例えばジャイロセンサ等が用いられる。
【0016】
制御部50は、表示装置100の動作を統括的に制御する。制御部50は、通信部51、処理部52及び記憶部53を有する。
【0017】
通信部51は、外部機器との間で有線又は無線による通信を行う。通信部51は、ネットワークインタフェースカード等のインタフェースを含む。
【0018】
処理部52は、各種の情報処理を行う。処理部52は、CPU(Central Processing Unit)等のプロセッサと、ROM(Read Only Memory)、RAM(Random Access Memory)等のメモリとを含む。
【0019】
処理部52は、表示制御部54と、撮像制御部55と、姿勢評価部56とを有する。表示制御部54は、表示部20における表示動作を制御する。撮像制御部55は、撮像部30の撮像動作を制御する。
【0020】
姿勢評価部56は、撮像部30により撮像した画像に基づいてユーザUを検出する。姿勢評価部56は、例えば画像処理等により、ユーザUを検出する。姿勢評価部56は、ユーザUを検出した場合、検出したユーザUの顎と肩との位置関係を含む姿勢情報を抽出する。姿勢評価部56は、抽出した姿勢情報に基づいて、ユーザUの姿勢を評価する。
【0021】
姿勢評価部56は、検出部40の検出結果と、姿勢情報とに基づいて、ユーザUの姿勢を評価することができる。
【0022】
姿勢評価部56は、撮像部30により撮像した画像に基づいてユーザUの顔と表示部20との距離を算出する。姿勢評価部56は、算出した距離と、姿勢情報とに基づいてユーザUの姿勢を評価することができる。
【0023】
姿勢評価部56は、ユーザUの姿勢として、例えばユーザUがうつ伏せ状態か否かを判定し、判定結果に基づいてユーザUの姿勢を評価することができる。
【0024】
記憶部53は、各種プログラム、データ等の情報を記憶する。記憶部53は、HDD(Hard Disk Drive)、SSD(Solid State Drive)等のストレージを含む。
【0025】
記憶部53は、例えば、表示装置100に設けられる表示部20に画像を表示する表示処理と、表示装置100に設けられる撮像部30により、表示部20が画像を表示する表示方向Dを撮像する撮像処理と、撮像部30により撮像した画像に基づいてユーザUを検出し、検出したユーザUの顎と肩との位置関係を含む姿勢情報に基づいてユーザUの姿勢を評価する姿勢評価処理とをコンピュータに実行させる姿勢評価プログラムを記憶する。
【0026】
制御部50では、処理部52においてプロセッサが各種プログラムを読み出してメモリに展開することで、上記各部の機能に対応した情報処理を実行する。各種プログラムとしては、例えば通信部51が受信したプログラム、記憶部53に記憶されたプログラム、外部の記録媒体に記録されたプログラム等が挙げられる。制御部50は、各種の情報処理を実行する情報処理装置(コンピュータ)として機能する。なお、制御部50とは異なる他の情報処理装置が各種プログラムを実行してもよいし、制御部50と他の情報処理装置とが協働して各種プログラムを実行してもよい。
【0027】
次に、上記のように構成された表示装置100による姿勢評価方法の一例を説明する。
図3は、本実施形態に係る姿勢評価方法の一例を示すフローチャートである。
図3に示すように、本実施形態に係る姿勢評価方法は、表示ステップS10と、撮像ステップS20と、姿勢評価ステップS30とを含む。
【0028】
表示ステップS10において、表示制御部54は、表示部20に画像を表示させる。撮像ステップS20において、撮像制御部55は、撮像部30により、表示部20が画像を表示する表示方向Dについて、画角内の範囲で撮像させる。
【0029】
姿勢評価ステップS30において、姿勢評価部56は、ユーザUの姿勢を評価する。
図4から
図6は、ユーザU及び表示装置100の姿勢の例を示す図である。
【0030】
図4に示すように、ユーザUの背筋が鉛直方向に沿って伸びている状態では、表示装置100の傾き、すなわち水平面に対する表示装置100の表示面21の傾斜角θ1は、例えば30°以上60°以下である。傾斜角θ1は、ユーザUの頭部の傾きに依存する。
【0031】
図5に示すように、例えば前かがみの状態のようにユーザUの背筋が鉛直方向に対して曲がっている状態では、水平面に対する表示面21の傾斜角θ2は、例えば0°以上15°以下である。
【0032】
図6に示すように、ユーザUがうつ伏せになっている状態では、水平面に対する表示面21の傾斜角θ3は、例えば30°以上60°以下である。傾斜角θ3は、ユーザUの頭部の傾きに依存する。
【0033】
ユーザUが背筋を伸ばした姿勢で表示面21を見ている場合、姿勢評価部56は、ユーザUの姿勢が適切であると評価することができる。一方、ユーザUが前かがみの姿勢又はうつ伏せの姿勢で表示面21を見ている場合、姿勢評価部56は、ユーザUの姿勢が適切でないと評価することができる。
【0034】
上記の傾斜角θ1、θ2、θ3は、例えば検出部40により検出することができる。ここで、傾斜角θ1と傾斜角θ2とを比較すると、傾斜角θ1に対して傾斜角θ2は、小さい値となっている。つまり、
図5に示すように前かがみになった場合には、
図4に示すように背筋が伸びている状態に比べて、ユーザUの頭部がより水平面に沿った状態となる。このため、それぞれの状態で表示面21を見ようとする場合、傾斜角θ1に比べて傾斜角θ2が小さい値になる。このように、表示面21の傾斜角がθ2のように小さい値となる場合、前かがみの状態となっていると推定できる。そのため、姿勢評価部56は、例えば表示面21の傾斜角が予め設定される閾値よりも小さい場合、ユーザUの姿勢が前かがみの状態であり、適切でないと評価することができる。
【0035】
一方、傾斜角θ1と傾斜角θ3とを比較すると、傾斜角θ1と傾斜角θ3とはほぼ同様の値となっている。つまり、
図6のように水平な床面等にうつ伏せになった状態で表示面21を見ようとするためには、床面から頭部を起こす必要があるため、水平面に対して頭部が立った状態となる。つまり、立った状態でもうつ伏せになった状態でも、ユーザUの頭部は水平面に対して立った状態となる。このため、表示面21の傾斜角θ1と傾斜角θ3とは、ほぼ同様の値となる。したがって、姿勢評価部56は、傾斜角を判定するだけでは、ユーザUの姿勢が背筋を伸ばした状態かうつぶせの状態かを区別することが困難である。
【0036】
そこで、姿勢評価部56は、撮像ステップS20において撮像部30より撮像した画像に基づいてユーザUを検出し、検出したユーザUの顎と肩との位置関係を含む姿勢情報に基づいてユーザUの姿勢を評価する。
【0037】
図7及び
図8は、撮像ステップS20において撮像した画像と、ユーザUの姿勢とを対応付けて示す模式図である。
図7はユーザUの背筋が伸びた状態(
図4に対応)を示し、
図8はユーザUがうつ伏せになった状態(
図6に対応)を示す。
【0038】
図7に示すように、ユーザUの背筋が伸びた状態の場合、撮像ステップS20において撮像部30により撮像される画像IM1では、ユーザUの顎位置PC1が、ユーザUの左肩位置PR1と右肩位置PL1とを結ぶ仮想直線L1に対して上方に存在する。
【0039】
図8に示すように、ユーザUがうつ伏せの状態の場合、撮像ステップS20において撮像部30により撮像される画像IM3では、ユーザUの顎位置PC3が、ユーザUの左肩位置PR3と右肩位置PL3とを結ぶ仮想直線L3に対して下方に存在する。
【0040】
したがって、姿勢評価部56は、撮像ステップS20で撮像される画像に基づいて、ユーザUの顎位置PCと両肩の位置(肩位置)PSとを検出し、検出した顎位置PCと、両方の肩位置PS同士を結ぶ仮想直線Lとの位置関係を含む姿勢情報に基づいて、ユーザUの姿勢について、背筋が伸びた姿勢か、うつぶせの姿勢かを判定することができる。
【0041】
例えば、姿勢評価部56は、顎位置PCが仮想直線Lの上方に存在する場合、ユーザUの姿勢として、背筋が伸びた姿勢であると判定することができる。また、姿勢評価部56は、顎位置PCが仮想直線Lの下方に存在する場合、ユーザUの姿勢として、うつ伏せの姿勢であると判定することができる。なお、顎位置PCと肩位置PSとの位置関係に基づいてユーザUの姿勢を判定する判定基準として、上記とは異なる判定基準を用いてもよい。
【0042】
また、うつ伏せの場合には、背筋を伸ばした姿勢に比べてユーザUの顔(例えば、鼻)と表示面21とが近くなる傾向になる。そのため、うつ伏せの姿勢における表示面21とユーザUの鼻との距離D3(
図6参照)は、背筋を伸ばした姿勢における表示面21とユーザUの鼻との距離D1(
図4参照)よりも短くなる傾向にある。したがって、姿勢評価部56は、撮像ステップS20で撮像される画像に基づいて表示面21とユーザUの鼻との距離D1、D3を算出してもよい。この場合、姿勢情報として、上記した顎位置PCと肩位置PSとの位置関係に加えて、ユーザUの鼻と表示面21との距離D1、D3に基づいてユーザUの姿勢を推定することにより、ユーザUの体形や腕を曲げる際の筋肉の盛り上がり等の影響を低減することができるため、ユーザUの姿勢をより適切に推定することができる。
【0043】
また、うつ伏せの場合には、背筋を伸ばした姿勢に比べて、ユーザUの顔が肩よりも前方に存在する傾向にある。そのため、姿勢評価部56は、撮像ステップS20で撮像される画像に基づいてユーザUの顔の位置と肩の位置とを算出してもよい。この場合、姿勢情報として、ユーザUの顔の位置と肩の位置との算出結果に基づいてユーザUの姿勢を推定することにより、ユーザUの姿勢をより適切に推定することができる。
【0044】
また、ユーザUの頭の傾きを検出する頭部傾き検出部をユーザUに装着させておいてもよい。この場合、姿勢評価部56は、姿勢情報として、当該頭部傾き検出部の検出結果を併せて用いることにより、ユーザUの姿勢を判定してもよい。
【0045】
姿勢評価部56は、ユーザUの姿勢が背筋を伸ばした姿勢であると判定した場合、ユーザUの姿勢が適切であると評価することができる。姿勢評価部56は、ユーザUの姿勢がうつ伏せの姿勢であると判定した場合、ユーザUの姿勢が適切ではないと評価することができる。
【0046】
姿勢評価部56によりユーザUの姿勢が適切でないと評価された場合、表示制御部54は、姿勢を適切な状態にするように促すための情報を表示部20に表示させることができる。例えば、現在の姿勢に対して上方向に頭部を持ち上げるように促す場合、表示部20に上向きの矢印等を表示させてもよい。この場合、矢印の長さ、矢印の色等に応じて、どの程度頭部を持ち上げるかを示してもよい。また、例えば表示部20の上部に矢印が表示される場合には上方に頭部を持ち上げる指示、表示部20の下部に矢印が表示される場合には下方に頭部を傾ける指示、というように、表示部20の表示箇所に応じて頭部の上げ下げを区別してもよい。
【0047】
以上のように、本実施形態に係る表示装置100は、本体部10に設けられ、画像を表示する表示部20と、本体部10に表示部20と一体で設けられ、表示部20が画像を表示する表示方向Dを撮像する撮像部30と、撮像部30により撮像した画像に基づいてユーザを検出し、検出したユーザの顎と肩との位置関係を含む姿勢情報に基づいてユーザの姿勢を評価する姿勢評価部56とを備える。
【0048】
また、本実施形態に係る姿勢評価方法は、表示装置100に設けられる表示部20に画像を表示する表示ステップと、表示装置100に設けられる撮像部30により、表示部20が画像を表示する表示方向Dを撮像する撮像ステップと、撮像部30により撮像した画像に基づいてユーザを検出し、検出したユーザの顎と肩との位置関係を含む姿勢情報に基づいてユーザの姿勢を評価する姿勢評価ステップとを含む。
【0049】
この構成によれば、ユーザの顎と肩との位置関係を含む姿勢情報に基づいてユーザUの姿勢を評価するため、表示装置100の姿勢を用いてユーザUの姿勢を評価する場合に比べて、適切にユーザUの姿勢を評価することができる。
【0050】
本実施形態に係る表示装置100は、表示部20の傾きを検出する検出部40を更に備え、姿勢評価部56は、検出部40の検出結果と、姿勢情報とに基づいてユーザの姿勢を評価する。
【0051】
この構成によれば、表示部20の傾きとユーザの顎と肩との位置関係とに基づいてユーザUの姿勢を評価するため、ユーザUの姿勢をより適切に評価することができる。
【0052】
本実施形態に係る表示装置100において、姿勢評価部56は、撮像部30により撮像した画像に基づいてユーザの顔と表示部20との距離を算出し、算出した距離と姿勢情報とに基づいてユーザの姿勢を評価する。
【0053】
この構成によれば、ユーザの顔と表示部20との距離とユーザの顎と肩との位置関係とに基づいてユーザUの姿勢を評価するため、ユーザUの姿勢をより適切に評価することができる。
【0054】
本実施形態に係る表示装置100において、姿勢評価部56は、ユーザがうつ伏せ状態か否かを推定し、推定結果に基づいてユーザの姿勢を評価する。
【0055】
この構成によれば、ユーザがうつ伏せであるか否かの推定結果に基づいてユーザの姿勢を評価するため、ユーザUの姿勢をより適切に評価することができる。
【0056】
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
【符号の説明】
【0057】
D…表示方向、L,L1,L3…仮想直線、U…ユーザ、PC,PC1,PC3…顎位置、IM1,IM3…画像、PL1,PL3…右肩位置、PR1,PR3…左肩位置、PS…肩位置、10…本体部、20…表示部、21…表示面、30…撮像部、40…検出部、50…制御部、51…通信部、52…処理部、53…記憶部、54…表示制御部、55…撮像制御部、56…姿勢評価部、100…表示装置