(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023113275
(43)【公開日】2023-08-16
(54)【発明の名称】所定対象の視認性を調整する動作支援装置、システム、プログラム及び方法
(51)【国際特許分類】
A63B 69/00 20060101AFI20230808BHJP
A63B 69/36 20060101ALI20230808BHJP
【FI】
A63B69/00 A
A63B69/36 Z
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022015502
(22)【出願日】2022-02-03
(71)【出願人】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(74)【代理人】
【識別番号】100141313
【弁理士】
【氏名又は名称】辰巳 富彦
(72)【発明者】
【氏名】目黒 巧巳
(72)【発明者】
【氏名】吉田 耕司
(57)【要約】
【課題】ある動作中に所定の対象を視認可能な動作者に対し、この対象の視認性を調整することによって、この動作を支援可能な動作支援装置を提供する。
【解決手段】本動作支援装置は、所定の対象の視認性又は所定の対象を含む視認部分の視認性を、動作に係る所定時間の間、消滅若しくは低下させるための指示を含む視認性調整情報を生成する視認性制御手段と、動作者に対し動作を行う環境に係る視界を提供し、この視認性調整情報に基づいて、視界における視認性調整情報に係る少なくとも一部の視認性を、この所定時間の間、消滅又は低下させる視界提供部とを有している。また、動作者や所定の対象等に係る音声情報や画像情報等に基づき、この所定時間を決定する調整時間決定手段を更に有することも好ましい。さらに視界提供部は、透過型若しくは非透過型のディスプレイ、又は透過度の調整可能なウィンドウ部を備えたものとすることができる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ある動作中に所定の対象を視認可能な動作者に対し当該動作を支援する装置であって、
当該所定の対象の視認性又は当該所定の対象を含む視認部分の視認性を、当該動作に係る所定時間の間、消滅若しくは低下させるための指示を含む視認性調整情報を生成する視認性制御手段と、
当該動作者に対し当該動作を行う環境に係る視界を提供し、当該視認性調整情報に基づいて、当該視界における当該視認性調整情報に係る少なくとも一部の視認性を、当該所定時間の間、消滅又は低下させる視界提供部と
を有することを特徴とする動作支援装置。
【請求項2】
取得された当該動作者、当該所定の対象又は当該環境に係る音声情報と、当該動作者、当該所定の対象又は当該環境に係る画像情報と、当該動作者又は当該所定の対象に対し物理的な計測を行って得られた物理的計測情報と、当該動作者に対し生体的な計測を行って得られた生体的計測情報とのうちの少なくとも1つに基づいて、当該所定時間を決定する調整時間決定手段を更に有することを特徴とする請求項1に記載の動作支援装置。
【請求項3】
前記調整時間決定手段は、取得された当該動作の向上の程度に係る情報に基づいて、当該動作の向上の程度が高いほどより短い時間の当該所定時間を決定する、及び/又は、当該動作の回数に係る情報に基づいて、当該動作の回数が多いほどより短い時間の当該所定時間を決定することを特徴とする請求項2に記載の動作支援装置。
【請求項4】
当該動作者の視界に係る画像情報から当該所定の対象を識別し、当該所定の対象の当該視界内での識別情報を決定する対象識別手段を更に有し、
前記視認性制御手段は、決定された当該識別情報に基づいて、当該識別情報に係る当該所定の対象の視認性又は当該所定の対象を含む視認部分の視認性を、当該所定時間の間、消滅若しくは低下させる指示内容の視認性調整情報を生成する
ことを特徴とする請求項1から3のいずれか1項に記載の動作支援装置。
【請求項5】
前記視界提供部は、当該環境を透過光によって視認可能な又は当該環境のカメラ画像を表示可能なディスプレイを備えており、当該視認性調整情報に基づいて、当該ディスプレイに表れた当該視認性調整情報に係る表示部分若しくは表示画像部分における視覚的な特徴が、当該所定時間の間、消滅若しくは低減した又は周囲の視覚的な特徴に合わせられた若しくは近づけられた表示を実施することを特徴とする請求項1から4のいずれか1項に記載の動作支援装置。
【請求項6】
前記視界提供部は、当該環境を透過光によって視認可能であって透過度の調整可能なウィンドウ部を備えており、当該視認性調整情報に基づいて、当該ウィンドウ部における当該視認性調整情報に係る部分の透過度、当該ウィンドウ部における予め設定された部分の透過度、又は当該ウィンドウ部全体の透過度を、当該所定時間の間、ゼロにする若しくは低減させることを特徴とする請求項1から4のいずれか1項に記載の動作支援装置。
【請求項7】
前記視認性制御手段は、当該所定の対象の視認性又は当該所定の対象を含む視認部分の視認性を、当該所定時間内において連続的若しくは段階的に低下させる指示内容の当該視認性調整情報を生成し、
前記視界提供部は、当該視界における当該視認性調整情報に係る少なくとも一部の視認性を、当該所定時間内において連続的又は段階的に低下させる
ことを特徴とする請求項1から6のいずれか1項に記載の動作支援装置。
【請求項8】
前記視認性制御手段は、当該所定の対象の視認性又は当該所定の対象を含む視認部分の視認性を消滅若しくは低下させる間又は消滅若しくは低下させる前に、当該所定の対象の所定の部分の視認性を維持させる、当該所定の対象若しくは当該範囲に対し所定の図形、記号若しくは文字を重畳させる、及び/又は、当該所定の対象の色、形状若しくは大きさを変化させる指示内容の当該視認性調整情報を生成し、
前記視界提供部は、当該所定の対象の視認性又は当該範囲の視認性を消滅若しくは低下させる間又は消滅若しくは低下させる前に、当該所定の対象又は当該範囲について当該視認性調整情報の指示内容の表示を実施する
ことを特徴とする請求項1から7のいずれか1項に記載の動作支援装置。
【請求項9】
当該所定の対象はゴルフボールであって、当該動作はクラブを振るスイング動作であり、前記視界提供部は、当該視認性調整情報に基づいて、当該動作者によるスイング動作に係る当該所定時間の間、当該ゴルフボールが視認できなくなる表示又は視認し難くなる表示を実施することを特徴とする請求項1から8のいずれか1項に記載の動作支援装置。
【請求項10】
ある動作中に所定の対象を視認可能な動作者に対し当該動作を支援するシステムであって、
当該所定の対象の視認性又は当該所定の対象を含む視認部分の視認性を、当該動作に係る所定時間の間、消滅若しくは低下させるための指示を含む視認性調整情報を生成する視認性制御手段と、
当該動作者に対し当該動作を行う環境に係る視界を提供し、当該視認性調整情報に基づいて、当該視界における当該視認性調整情報に係る少なくとも一部の視認性を、当該所定時間の間、消滅又は低下させる視界提供部と
を有することを特徴とする動作支援システム。
【請求項11】
ある動作中に所定の対象を視認可能な動作者に対し当該動作を支援する装置又はシステムに搭載されたコンピュータを機能させるプログラムであって、
前記プログラムは、当該所定の対象の視認性又は当該所定の対象を含む視認部分の視認性を、当該動作に係る所定時間の間、消滅若しくは低下させるための指示を含む視認性調整情報を生成する視認性制御手段としてコンピュータを機能させ、
前記装置又はシステムは、当該動作者に対し当該動作を行う環境に係る視界を提供し、当該視認性調整情報に基づいて、当該視界における当該視認性調整情報に係る少なくとも一部の視認性を、当該所定時間の間、消滅又は低下させる視界提供部を有する
ことを特徴とする動作支援プログラム。
【請求項12】
動作者による動作を支援する装置又はシステムに搭載されたコンピュータによって実施される動作支援方法であって、
前記装置又はシステムは、当該動作者に対し当該動作を行う環境に係る視界を提供し、受け取った視認性調整情報に基づいて、当該視界における少なくとも一部の視認性を消滅又は低下させることの可能な視界提供部を有し、
前記動作支援方法は、
当該所定の対象の視認性又は当該所定の対象を含む視認部分の視認性を、当該動作に係る所定時間の間、消滅若しくは低下させるための指示を含む当該視認性調整情報を生成するステップと、
生成した当該視認性調整情報を前記視界提供部へ出力又は送信し、該視界提供部に対し、当該視界における当該視認性調整情報に係る少なくとも一部の視認性が、当該所定時間の間、消滅又は低下した表示を実施させるステップと
を有することを特徴とする動作支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動作を行う動作者に対し当該動作の支援を行う技術に関する。
【背景技術】
【0002】
様々なスポーツ競技が普及するに伴い、競技における動作を評価したりこの動作の向上を支援したりする装置・システムが数多く提案されている。
【0003】
例えば特許文献1には、複数のプレイモードを提供する仮想ゴルフ装置及びこれを利用する仮想ゴルフシステムが開示されている。この装置・システムは、打撃された実際のゴルフボールの軌跡を算出する制御部と、仮想のゴルフコースにおいて算出された軌跡に沿って動く仮想のゴルフボールを表示する表示部とを有している。また、ユーザは互いに異なる第1モード及び第2モードのいずれかでプレイすることが可能となっている。
【0004】
また特許文献2には、プレイヤが物理的な制約を受けずにプレイヤのスイングを簡易に評価できるゴルフレッスンシステムが開示されている。具体的には、プレイヤがゴルフクラブをスイングするときの第1画像に基づいて、プレイヤにおける身体およびゴルフクラブのうち少なくともいずれかの所定の部位の位置につき解析した結果を示すスイングデータを生成する第1解析装置と、プレイヤによりゴルフクラブで打ち出されるゴルフボールの弾道に関する弾道データを生成する第2解析装置と、スイングデータと弾道データとに基づいて、所定のプレイヤのスイングを評価した結果を示す評価データを生成する評価装置とを備えている。
【0005】
さらに特許文献3は、競技者に最良の競技動作を行える自身の状態を客観的に把握させることの可能な競技練習支援装置を開示している。この装置は具体的に、ユーザの身体に装着されてユーザの生体情報を検出し出力するセンサと、ユーザが競技動作を行ったことを検知する検知手段と、この検知を契機としてセンサの出力データから競技動作の準備段階に入ってからその競技動作が行われるまでの期間のデータを抽出して記憶装置へ書き込むデータ記録手段とを有し、さらに、センサの出力データと記憶装置の格納内容とを比較し、競技動作を良好に行える状態であるか否かを判定する判定手段と、判定手段により下された判定結果に応じた報知を行う報知手段とを有している。
【0006】
また特許文献4には、ゴルフプレイヤのゴルフボールへの視線上にボールが隠れるように配置される球形の照準体と、照準体を吊り下げるフレキシブルなワイヤと、ワイヤが挿通されてそのワイヤを長さ方向にスライド可能に支持する筒形の吊り下げ高さ調整アームと、吊り下げ高さ調整アームを地面とほぼ平行にかつ照準体よりも上方に支持する支持体とを備えたゴルフ練習具が開示されている。さらに特許文献5は、ゴルフボールに集中して顔をあまり動かなくしてゴルフボールの芯を打つことを目的として、メガネガラス又はプラスチックのサングラスにおいて見えない所と見える所を作ってゴルフボール付近だけ見えるようにしたゴルフ用サングラスを提案している。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2021-137545号公報
【特許文献2】特開2021-178103号公報
【特許文献3】特開2014-147563号公報
【特許文献4】特開2013-123514号公報
【特許文献5】登録実用新案第3071144号公報
【非特許文献】
【0008】
【非特許文献1】松本直樹 他,「ゴルフスイング動作における素振りとショットでのCOP奇跡の違い」,公益社団法人 日本理学療法士協会 理学療法学Supplement 2016(0),pp.1273,2017年
【発明の概要】
【発明が解決しようとする課題】
【0009】
スポーツ競技等においては、競技に係るある対象に意識が強く向いてしまうあまり、当該競技における正しい動作を行うことができなくなる場合のあることが指摘されている。例えば、競技者の心理状態が結果に強く影響するゴルフでは、「ゴルフボールを見すぎてしまうと、緊張等のマイナスの心理状態になりやすく、かえって正しいスイング(ストローク)を行うことができなくなる」と言われている。この点、経験者では実際のショットが素振りと比較して大振りになる傾向にあるとの調査結果も存在する(非特許文献1を参照)。また、このことから有効な練習方法として、ゴルフボールを見ないでスイングを行うことが提案されたりしてきたのである。
【0010】
しかしながら、上述したような従来の競技動作支援用の装置・システムは、このような「対象がある」との視覚情報からくるマイナスの心理的影響を排除するようには設計されておらず、具体的には、例えばゴルフボールを競技者の視界から消滅させるようなことは想定すらされていない。
【0011】
さらに言えば、具体的に特許文献1の仮想ゴルフシステムは、たしかにゴルフ競技環境の仮想現実を提示してはいるが、例えば現実のゴルフ場に対する仮想現実の出現を、プレイヤの動作に応じて制御することは何ら行っていない。また、特許文献2のゴルフレッスンシステムも、例えばゴルフクラブの位置情報を取得してはいるが、これを仮想現実の出現タイミングの判断材料とするものにはなっていない。さらに、特許文献3の競技練習支援装置ではたしかに、ユーザの生体情報を取得しているが、この情報は競技動作を良好に行える状態であるか否かの判定に用いられているのみであり、マイナスの心理的影響を排除するためには何ら使用されていないのである。
【0012】
また、特許文献4のゴルフ練習具では、スイング中の頭のぶれを防止すべくプレイヤのゴルフボールへの視線上に照準体を配置することによって、たしかにボールが視界から隠されはするが、代わりに照準体は視認されるため、マイナスの心理的影響を排除するものとは明らかになっていない。さらに、特許文献5のゴルフ用サングラスは、たしかに視界を限定しているが、逆にボールを隠すことができていない。その結果、むしろボールへの意識の集中を高めてしまい、プレイヤによってはスイングをするに当たり、マイナスの心理的影響を強く受けてしまう。
【0013】
そこで、本発明は、ある動作中に所定の対象を視認可能な動作者に対し、この対象の視認性を調整することによって、この動作を支援可能な動作支援装置、システム、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【0014】
本発明によれば、ある動作中に所定の対象を視認可能な動作者に対し当該動作を支援する装置であって、
当該所定の対象の視認性又は当該所定の対象を含む視認部分の視認性を、当該動作に係る所定時間の間、消滅若しくは低下させるための指示を含む視認性調整情報を生成する視認性制御手段と、
当該動作者に対し当該動作を行う環境に係る視界を提供し、当該視認性調整情報に基づいて、当該視界における当該視認性調整情報に係る少なくとも一部の視認性を、当該所定時間の間、消滅又は低下させる視界提供部と
を有する動作支援装置が提供される。
【0015】
この本発明による動作支援装置の一実施形態として、本動作支援装置は、取得された当該動作者、当該所定の対象又は当該環境に係る音声情報と、当該動作者、当該所定の対象又は当該環境に係る画像情報と、当該動作者又は当該所定の対象に対し物理的な計測を行って得られた物理的計測情報と、当該動作者に対し生体的な計測を行って得られた生体的計測情報とのうちの少なくとも1つに基づいて、当該所定時間を決定する調整時間決定手段を更に有することも好ましい。
【0016】
また、上記の調整時間決定手段は、取得された当該動作の向上の程度に係る情報に基づいて、当該動作の向上の程度が高いほどより短い時間の当該所定時間を決定する、及び/又は、当該動作の回数に係る情報に基づいて、当該動作の回数が多いほどより短い時間の当該所定時間を決定することも好ましい。
【0017】
さらに、本発明による動作支援装置の他の実施形態として、本動作支援装置は、当該動作者の視界に係る画像情報から当該所定の対象を識別し、当該所定の対象の当該視界内での識別情報を決定する対象識別手段を更に有し、
視認性制御手段は、決定された当該識別情報に基づいて、当該識別情報に係る当該所定の対象の視認性又は当該所定の対象を含む視認部分の視認性を、当該所定時間の間、消滅若しくは低下させるための指示を含む視認性調整情報を生成することも好ましい。
【0018】
また、本発明に係る視界提供部は、当該環境を透過光によって視認可能な若しくは当該環境のカメラ画像を表示可能なディスプレイを備えており、当該視認性調整情報に基づいて、当該ディスプレイに表れた当該視認性調整情報に係る表示部分若しくは表示画像部分における視覚的な特徴が、当該所定時間の間、消滅若しくは低減した又は周囲の視覚的な特徴に合わせられた若しくは近づけられた表示を実施することも好ましい。
【0019】
さらに、本発明に係る視界提供部は、当該環境を透過光によって視認可能であって透過度の調整可能なウィンドウ部を備えており、当該視認性調整情報に基づいて、当該ウィンドウ部における当該視認性調整情報に係る部分の透過度、当該ウィンドウ部における予め設定された部分の透過度、又は当該ウィンドウ部全体の透過度を、当該所定時間の間、ゼロにする若しくは低減させることも好ましい。
【0020】
また、本発明に係る視認性制御手段は、当該所定の対象の視認性又は当該所定の対象を含む視認部分の視認性を、当該所定時間内において連続的若しくは段階的に低下させる指示内容の当該視認性調整情報を生成し、
視界提供部は、当該視界における当該視認性調整情報に係る少なくとも一部の視認性を、当該所定時間内において連続的又は段階的に低下させることも好ましい。
【0021】
さらに、本発明に係る視認性制御手段は、当該所定の対象の視認性又は当該所定の対象を含む視認部分の視認性を消滅若しくは低下させる間又は消滅若しくは低下させる前に、当該所定の対象の所定の部分の視認性を維持させる、当該所定の対象若しくは当該範囲に対し所定の図形、記号若しくは文字を重畳させる、及び/又は、当該所定の対象の色、形状若しくは大きさを変化させる指示内容の当該視認性調整情報を生成し、
視界提供部は、当該所定の対象の視認性又は当該範囲の視認性を消滅若しくは低下させる間又は消滅若しくは低下させる前に、当該所定の対象又は当該範囲について当該視認性調整情報の指示内容の表示を実施することも好ましい。
【0022】
また本発明の具体的な適用例として、当該所定の対象はゴルフボールであって、当該動作はクラブを振るスイング動作であり、視界提供部は、当該視認性調整情報に基づいて、当該動作者によるスイング動作に係る当該所定時間の間、当該ゴルフボールが視認できなくなる表示又は視認し難くなる表示を実施することも好ましい。
【0023】
本発明によれば、また、ある動作中に所定の対象を視認可能な動作者に対し当該動作を支援するシステムであって、
当該所定の対象の視認性又は当該所定の対象を含む視認部分の視認性を、当該動作に係る所定時間の間、消滅若しくは低下させるための指示を含む視認性調整情報を生成する視認性制御手段と、
当該動作者に対し当該動作を行う環境に係る視界を提供し、当該視認性調整情報に基づいて、当該視界における当該視認性調整情報に係る少なくとも一部の視認性を、当該所定時間の間、消滅又は低下させる視界提供部と
を有する動作支援システムが提供される。
【0024】
本発明によれば、さらに、ある動作中に所定の対象を視認可能な動作者に対し当該動作を支援する装置又はシステムに搭載されたコンピュータを機能させるプログラムであって、
本プログラムは、当該所定の対象の視認性又は当該所定の対象を含む視認部分の視認性を、当該動作に係る所定時間の間、消滅若しくは低下させるための指示を含む視認性調整情報を生成する視認性制御手段としてコンピュータを機能させ、
上記の装置又はシステムは、当該動作者に対し当該動作を行う環境に係る視界を提供し、当該視認性調整情報に基づいて、当該視界における当該視認性調整情報に係る少なくとも一部の視認性を、当該所定時間の間、消滅又は低下させる視界提供部を有する
ことを特徴とする動作支援プログラムが提供される。
【0025】
動作者による動作を支援する装置又はシステムに搭載されたコンピュータによって実施される動作支援方法であって、
上記の装置又はシステムは、当該動作者に対し当該動作を行う環境に係る視界を提供し、受け取った視認性調整情報に基づいて、当該視界における少なくとも一部の視認性を消滅又は低下させることの可能な視界提供部を有し、
本動作支援方法は、
当該所定の対象の視認性又は当該所定の対象を含む視認部分の視認性を、当該動作に係る所定時間の間、消滅又は低下させるための指示を含む当該視認性調整情報を生成するステップと、
生成した当該視認性調整情報を前記視界提供部へ出力又は送信し、該視界提供部に対し、当該視界における当該視認性調整情報に係る少なくとも一部の視認性が、当該所定時間の間、消滅又は低下した表示を実施させるステップと
を有することを特徴とする動作支援方法が提供される。
【発明の効果】
【0026】
本発明の動作支援装置、システム、プログラム及び方法によれば、ある動作中に所定の対象を視認可能な動作者に対し、当該対象の視認性を調整することによって、当該動作を支援することができる。
【図面の簡単な説明】
【0027】
【
図1】本発明による動作支援装置の一実施形態における機能構成を示す機能ブロック図である。
【
図2】本発明による動作支援方法の一実施形態を説明するための模式図である。
【
図3】本発明による動作支援装置の他の実施形態における機能構成を示す機能ブロック図である。
【発明を実施するための形態】
【0028】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【0029】
[動作支援装置・システム]
図1は、本発明による動作支援装置の一実施形態における機能構成を示す機能ブロック図である。
【0030】
図1に示した、本発明による動作支援装置の一実施形態としてのAR(Augmented Reality,拡張現実)グラス1は、ある「動作」中に「所定の対象」を視認可能な動作者に対し、「所定の対象」又は「所定の対象」を含む視認部分の視認性を調整し、この「動作」を支援する装置である。本実施形態では、例えばゴルファがショットを行う際に視認可能なゴルフボールの視認性を調整し、スイング(ストローク)動作を支援する装置となっている。
【0031】
この本実施形態のARグラス1を装着した動作者は、透過型のディスプレイ122越しに、現実の「動作」を行う環境を視認することができ、さらにこの環境の視界内に、ディスプレイ122に映し出された仮想的な表示画像部分を見て享受することも可能となっている。または変更態様として、ディスプレイ122は非透過型であって、カメラ101で生成された「動作」を行う環境のカメラ画像を表示し、さらに、それに合わせて仮想的な画像を表示可能なものであってもよい。
【0032】
いずれにしてもARグラス1は、上述したような動作支援機能を果たすため、具体的に、
(A)「所定の対象」の視認性又は「所定の対象」を含む視認部分の視認性を、「動作」に係る所定時間の間、消滅若しくは低下させるための指示を含む視認性調整情報を生成する視認性制御部113と、
(B)動作者に対し「動作」を行う環境に係る視界を提供し、生成された視認性調整情報に基づいて、この視界における視認性調整情報に係る少なくとも一部の視認性を、上記の所定時間の間、消滅又は低下させる視界提供部12と
を有することを特徴としている。
【0033】
ここでスポーツ競技等においては、競技に係る「所定の対象」に意識が強く向いてしまうあまり、当該競技における正しい「動作」を行うことができなくなる場合のあることが指摘されている。例えば、競技者(ゴルファ)の心理状態が結果に強く影響するゴルフでは、「ゴルフボールを見すぎてしまうと、緊張等のマイナスの心理状態になりやすく、かえって正しいスイングを行うことができなくなる」と言われている。この点、経験者では実際のショットが素振りと比較して大振りになる傾向にあるとの調査結果も存在する(非特許文献1を参照)。また、このことから有効な練習方法として、ゴルフボールを見ないでスイングを行うことが提案されたりしてきたのである。
【0034】
このような事情に対し、ARグラス1は上記の構成(A)及び(B)を備えているので、例えば本実施形態のようにゴルファがショットを行う際、ゴルフボールの視認性を、スイングに係る期間(スイング前後の所定時間も含む1ショットの期間)のうちの所定時間の間、具体的には例えばクラブを振り下ろし始めてからインパクトまでの間、消滅若しくは低下させる。その結果、ゴルファがゴルフボールに意識を強く向けるあまり緊張等のマイナスの心理状態に陥る事態を回避し、ゴルファに対しより好ましいスイング動作を促すことが可能となる。すなわち、ある「動作」中に「所定の対象」を視認可能な動作者に対し、「所定の対象」の視認性を調整することによって、この「動作」を支援することができるのである。
【0035】
なお後述するように、ARグラス1は本実施形態において、カメラ101やマイク102を内蔵しているが、両者のうちの少なくとも一方が外部に設置されていてもよい。この場合、ARグラス1は、例えば無線通信ネットワークを介して、カメラ画像情報及び/又は音声情報を取得するものとすることができる。さらに言えば、同じく後述する生体情報計測デバイス3と、カメラ101及び/又はマイク102と、ARグラス1とが、例えば無線通信ネットワークで繋がって、本発明による動作支援システムを構成することも可能となるのである。一方で、ARグラス1は動作支援装置として、カメラ101やマイク102と同じく、生体情報計測デバイス3(の機能)を内蔵するものであってもよい。
【0036】
さらに、ARグラス1の機能構成部である上記の視認性制御部113、後述する調整時間決定部112、及び同じく後述する対象識別部111のうちの少なくとも1つが、外部の別装置の機能構成部となっており、当該別装置から、視界提供部12を有するARグラスへ、例えば無線通信ネットワークを介して制御情報が送信されるような実施形態をとることも可能である。この場合、当該別装置と、当該視界提供部12を有するARグラスとが、本発明による動作支援システムを構成することになる。
【0037】
また当然ながら、本発明による動作支援装置・システムは、本実施形態のようなグラス・眼鏡型装置(を含むシステム)に限定されるものではない。この後述べるように本発明は種々様々な分野に適用可能であるが、その適用分野によっては、例えば「動作」を行う環境内に設置された(透過型の又は非透過型の)ディスプレイ装置・システムとすることもできる。または、ディスプレイを備えた他のウェアラブル端末や、ディスプレイを備えたシミュレータ装置・システムとすることも可能である。すなわち、「動作」中の又はその前後の状態にある動作者に対し、「所定の対象」を含む視界を提供可能な装置・システムであれば、種々様々なものが、本発明による動作支援装置・システムとして採用可能となっている。
【0038】
またゴルフのスイング動作を支援する場合においても、視認性の調整対象である「所定の対象」は当然ながら、ゴルフボールに限定されるものではない。例えば、バンカーショットを行う際、「バンカーの顎(段差)」を見えなくしたり、周囲と同じ芝のように見せたりして、「バンカーの顎」の視認性を消滅若しくは低減させてもよい。また、「池」等のハザードを見えなくしたり、周囲と同じ芝のように見せたりすることもできるのである。この点、従来ゴルファによっては「大切なショットの際、練習場にいると想定して、頭の中の環境に関する記憶を排除する」といったような訓練を行ってきたが、本発明による動作支援装置・システムによれば、このような訓練を支援する若しくは不要にすることも可能となるのである。
【0039】
さらに上述したように、本発明による動作支援装置・システムは勿論、ゴルフのスイング動作を支援するものに限定されない。例えば、以下に示した具体例(a)~(e)を実現することも可能となっている。
(a)野球において、ピッチャーの視界から、例えば投球動作を開始してからボールをリリースするまでの間、バッターの表示部分(透過光として見えている部分)又は表示画像部分を消去し、投球動作に対する(バッターが見えることによる)マイナスの心理的影響を排除若しくは低減する。
(b)サッカーのフリーキックやペナルティキックの場面において、キッカーの視界から、例えばボールをセットしてからボールを蹴った瞬間までの間、ゴールキーパーの表示部分又は表示画像部分を消去し、ゴールキーパーの存在や動きによるプレッシャ(マイナスの心理的影響)を受けないようにする。
【0040】
(c)サッカーのフリーキックの場面において、キッカーの視界から、例えばボールをセットしてからボールを蹴った瞬間までの間、相手選手の形成する壁の視認性を消滅若しくは低下させ(例えば相手選手の壁の表示部分又は表示画像部分を、普段使用している練習用の壁の画像部分に置き換え)、相手選手からのマイナスの心理的影響を排除若しくは低減する。
(d)陸上、水泳や、スピードスケート等の競技において、スタートからゴールまでの間、競技者の視界から、隣のレーンの又は周囲の選手の表示部分又は表示画像部分を消去し、競争相手の存在や動きによるプレッシャ(マイナスの心理的影響)を受けないようにする。
【0041】
(e)演劇、コンサートや、路上パフォーマンス、さらにはスポーツ競技全般、といったような観客・聴衆の前で「動作」を行う分野において、観客・聴衆の表示部分又は表示画像部分を消去し、動作者(演技者等)が緊張等のマイナスの心理状態に陥り難くする。
【0042】
[装置構成,動作支援プログラム・方法]
同じく
図1の機能ブロック図に示したように、本発明による動作支援装置の一実施形態としてのARグラス1は、カメラ101と、マイク102と、加速度・角速度センサ103と、通信インタフェース(IF)104と、データをバッファし保存することも可能なデータ保存部M1、M2及びM3と、表示制御部121及びディスプレイ122を備えた視界提供部12と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、本発明による動作支援プログラムを保存しており、また、コンピュータ機能を有していて、この動作支援プログラムを実行することによって、動作支援処理を実施する。
【0043】
またこのことから本発明による動作支援装置は、上述したようにARグラス1に限定されるものではなく、本発明による動作支援プログラムの一実施形態を搭載した(ディスプレイを備えた)他のウェアラブル端末、各種ディスプレイ装置や、シミュレータ装置とすることも可能である。
【0044】
また、プロセッサ・メモリは、機能構成部として、学習済みの対象識別モデルを備えた対象識別部111と、調整時間決定部112と、視認性制御部113とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された、本発明による動作支援プログラムの一実施形態によって具現される機能と捉えることができ、また、
図1の機能ブロック図におけるARグラス1(動作支援装置)の機能構成部間を矢印で接続して示した処理の流れは、本発明による動作支援方法の一実施形態としても理解される。
【0045】
同じく
図1において、対象識別部111は、ゴルファ(動作者)の視界に係る(映像情報を含む意味での)画像情報からゴルフボール(所定の対象)を識別し、ゴルフボール(所定の対象)のこの視界内での識別情報を決定する。ここで、上記の画像情報は本実施形態において、カメラ101で生成されデータ保存部M1でバッファされたリアルタイムのカメラ画像データとすることができる。
【0046】
具体的に対象識別部111は、
(a)リアルタイムのカメラ画像データに対し、公知の学習済みの対象識別モデル(物体検出器やCNN画像特徴抽出器等)を用いて、例えばSSD(Single Shot multibox Detector)といったような物体検出器を利用して、所定の対象としてのゴルフボールを識別し、
(b)刻々の視界画像(視界を表す画像データ)内におけるゴルフボール(のバウンディングボックス)の位置又は位置範囲の情報を、識別情報とすることができる。またさらに、
(b’)刻々の画像データ(視界)内におけるゴルフボールの画像特徴量も、識別情報に含めてもよい。
【0047】
また本実施形態において、対象識別部111は、この後説明する調整時間決定部112における調整時間決定処理に使用される調整時間決定情報も生成する。具体的には、上述したゴルフボールの識別情報と同様にして決定された、刻々のクラブの識別情報から、視界画像内におけるクラブの有無に係る情報、クラブの加速度に係る情報、及びゴルフボールとクラブとの距離に係る情報のうちの少なくとも1つを生成し、これを調整時間決定情報としてもよい。さらに同様に、刻々のゴルフボールの識別情報から、視界画像内におけるゴルフボールの有無に係る情報、ゴルフボールの加速度に係る情報、及びゴルフボールとクラブとが接触しているか否かに係る情報のうちの少なくとも1つを生成し、これを調整時間決定情報とすることも可能である。
【0048】
同じく
図1において、調整時間決定部112は、取得された
(a)ゴルファ(動作者)、ゴルフボール(所定の対象)、若しくはスイング動作を行う周囲の環境に係る音声情報、
(b)ゴルファ(動作者)、ゴルフボール(所定の対象)、若しくはスイング動作を行う周囲の環境に係る画像情報、
(c)ゴルファ(動作者)及びゴルフボール(所定の対象)に対し物理的な計測を行って得られた物理的計測情報、及び
(d)ゴルファ(動作者)に対し生体的な計測を行って得られた生体的計測情報
のうちの少なくとも1つに基づいて、ゴルフボール(所定の対象)の視認性又はゴルフボール(所定の対象)を含む視認部分の視認性を調整する(消滅若しくは低下させる)「所定時間」を決定する。
【0049】
ここで上記(a)の音声情報は本実施形態において、マイク102で生成されデータ保存部M2でバッファされたリアルタイムの音声データとすることができる。また上記(c)の物理的計測情報は本実施形態において、公知の6軸センサである加速度・角速度センサ103で生成されデータ保存部M3でバッファされたリアルタイムの「ゴルファ頭部の向き」や「ゴルファ頭部の動き(加速度,速度)」に係る情報であってもよい。また、公知の球速測定器によって計測されたゴルフボールの球速測定情報とすることも可能である。
【0050】
さらに、上記(d)の生体的計測情報は本実施形態において、ゴルファの身体(例えば手首や胸部)に取り付けられた公知の生体情報計測デバイス3から送信され、通信インタフェース104によって受信され、データ保存部M3でバッファされたリアルタイムの「ゴルファの心拍数、血圧及び呼吸状態のうちの少なくとも1つに係る情報」とすることができる。また、公知の筋電信号測定器によって計測されたゴルファの筋電信号情報とすることも可能である。
【0051】
上述したような情報を受け取った調整時間決定部112は本実施形態において、
(ア)現時点が、「所定時間」の視認性調整における「開始時点」であること、及び
(イ)現時点が、「所定時間」の視認性調整における「終了時点」であること
を決定し、それらの旨をリアルタイムで視認性制御部113に通知するのである。最初に上記(ア)の「開始時点」の決定は、例えば以下の方法(a)~(e)のように実施することができる。ここで方法(a)~(e)における条件のうちの設定された1つ又は複数が満たされた時点を「開始時点」とすることが可能である。
【0052】
(a)公知の音声認識技術を用いて、取得した音声情報から、ゴルファや周囲の人間による「スタート!」等の動作開始を表す音声が検出された時点を「開始時点」とする。ここで、適用可能な音声認識技術としては、例えばLSTM(Long Short-Term Memory)アルゴリズム等の深層学習アルゴリズムで構築された音響モデル及び言語モデルと発音辞書とを用いて、音声情報から、所定の単語、語句や文を認識する技術が挙げられる。
【0053】
(b)ARグラス1の動作支援機能を発動させた後に、対象識別部111から受け取った、視界画像内におけるクラブの有無に係る情報(調整時間決定情報)に基づき、クラブ(の表示部分(透過光として見えている部分)又は表示画像部分)が視界画像外へ出たと判断される時点、すなわち視界画像内から消滅した時点を「開始時点」とする。
(c)ARグラス1の動作支援機能を発動させた後に、対象識別部111から受け取った、視界画像内におけるクラブの加速度に係る情報(調整時間決定情報)に基づき、クラブ(の表示部分又は表示画像部分)の加速度が所定閾値を超えたと判断される時点を「開始時点」とする。
(d)ARグラス1の動作支援機能を発動させた後に、対象識別部111から受け取った、視界画像内におけるゴルフボールとクラブとの距離に係る情報(調整時間決定情報)に基づき、この距離が所定閾値を超えたと判断される時点を「開始時点」とする。
【0054】
(e)ARグラス1の動作支援機能を発動させた後に、ゴルファの「(例えば上腕筋の)筋電信号、(例えば息を止めた時間や吸息の開始時点を含む)呼吸状態、心拍数、及び血圧のデータ値又はその変化量」がいずれも、予めの実験により(ゴルファのスイング開始時のデータとして)設定されたデータ値範囲又は変化量範囲に入っていると判断される時点を「開始時点」とする。
【0055】
次に上記(イ)の「終了時点」の決定は、例えば以下の方法(f)~(j)のように実施することができる。ここで方法(f)~(j)における条件のうちの設定された1つ又は複数が満たされた時点を「終了時点」とすることが可能である。
(f)公知の音声認識技術を用いて、取得した音声情報から、ゴルフボールの打球音が検出された時点を「終了時点」とする。
(g)対象識別部111から受け取った、視界画像内におけるゴルフボールの有無に係る情報(調整時間決定情報)から、ゴルフボール(の表示部分(透過光として見えている部分)又は表示画像部分)が視界画像外へ出たと判断される時点、すなわち視界画像内から消滅した時点を「終了時点」とする。
【0056】
(h)対象識別部111から受け取った、視界画像内におけるゴルフボールの加速度に係る情報(調整時間決定情報)から、ゴルフボール(の表示部分又は表示画像部分)の加速度が所定閾値を超えたと判断される時点を「終了時点」とする。
(i)対象識別部111から受け取った、視界画像内におけるゴルフボールとクラブとが接触しているか否かに係る情報(調整時間決定情報)から、両者が接触した、すなわちインパクトが生じたと判断される時点を「終了時点」とする。
【0057】
(j)ARグラス1の動作支援機能を発動させた後に、ゴルファの「(例えば上腕筋の)筋電信号、(例えば呼息の開始時点や開始からの経過時間を含む)呼吸状態、心拍数、及び血圧のデータ値又はその変化量」がいずれも、予めの実験により(ゴルファのスイング終了時のデータとして)設定されたデータ値範囲又は変化量範囲に入っていると判断される時点を「終了時点」とする。
【0058】
同じく
図1において、調整時間決定部112は好適な実施形態として、取得された「動作(例えばスイング)の向上の程度に係る情報」に基づいて、動作(スイング)の向上の程度が高いほどより短い時間の「所定時間」を決定することも好ましい。例えば、上記のように決定した「開始時点」を、動作(スイング)向上の程度が高いほどより遅らせたり、上記のように「終了時点」を決定する前に、「開始時点」から(動作(スイング)向上の程度が高いほどより短い)調整時間だけ経過した時点を「終了時点」としたりしてもよい。これにより、例えゴルフボールが見えていても理想的な動作(スイング)を行える状態にまでゴルファを誘導することも可能となる。
【0059】
また、調整時間決定部112は、「動作(スイング)の回数に係る情報」に基づいて、動作(スイング)の回数が多いほどより短い時間の「所定時間」を決定すること好ましい。ここでより短い時間の「所定時間」の決定方法は、上記と同様に行うことができる。さらに、調整時間決定部112は、「動作(スイング)の向上の程度に係る情報」及び「動作(スイング)の回数に係る情報」の両方に基づき、上述したようにしてより短い時間の「所定時間」を決定することも可能である。
【0060】
なお、「動作(スイング)の向上の程度に係る情報」や「動作(スイング)の回数に係る情報」は、ゴルファ自身又は(コーチ等の)他人によってARグラス1へ入力若しくは送信される情報とすることができる。または、ARグラス1は、加速度・角速度センサ103を用いて動作(スイング)の回数をカウントして「動作(スイング)の回数に係る情報」を生成する機能を有していてもよい。
【0061】
同じく
図1において、視認性制御部113は、ゴルフボール(所定の対象)の視認性又はゴルフボール(所定の対象)を含む視認部分の視認性を、スイング(動作)に係る「所定時間」の間、消滅若しくは低下させるための指示を含む視認性調整情報を生成する。
【0062】
より具体的に本実施形態において、視認性制御部113は、対象識別部111から、ゴルフボール(所定の対象)の視界内での識別情報を受け取り、この識別情報に基づいて、後述する視界提供部12のディスプレイ122の画面(表示画像)におけるゴルフボール(のバウンディングボックス)の位置範囲又はその位置を含む所定範囲の視認性を、「所定時間」の間、消滅若しくは低下させるための指示を含む視認性調整情報を生成する。ここで視認性制御部113は本実施形態において、カメラ画像内の位置座標とディスプレイの画面(表示画像)内の位置座標との対応関係の情報を有している(分かっている)。
【0063】
例えば視認性制御部113は、取り込んだカメラ画像から、ゴルフボール(のバウンディングボックス)の周囲の色に係る情報、及び/又はテクスチャに係る情報を検出して、
(a)ディスプレイ122が透過型である場合、ゴルフボールの表示部分(透過光として見えている部分)に対し、検出された周囲の色及び/又はテクスチャを備えた(仮想)画像部分を重畳させる指示内容の視認性調整情報を生成することができる。また、
(b)ディスプレイ122が非透過型である場合、ゴルフボール(のバウンディングボックス)の表示画像部分の色及び/又はテクスチャを、検出された周囲の色及び/又はテクスチャと同じもの(若しくは類似するもの)に変更する指示内容の視認性調整情報を生成してもよい。
【0064】
さらに変更態様として、視認性制御部113は、取り込んだカメラ画像から、ゴルフボール(のバウンディングボックス)の周囲の画素値を取得し、
(a’)ディスプレイ122が透過型である場合、ゴルフボールの表示部分(透過光として見えている部分)に、カメラ画像から検出された周囲の画素値から補間処理を行うことによって決められる画素値を有する(仮想)画像部分を重畳させる指示内容の視認性調整情報を生成してもよい。また、
(b’)ディスプレイ122が非透過型である場合、ゴルフボール(のバウンディングボックス)の表示画像部分の画素値を、カメラ画像から検出された周囲の画素値から補間処理を行うことによって決められる画素値に変更する指示内容の視認性調整情報を生成することもできる。
【0065】
ここで本実施形態において、視認性制御部113は、調整時間決定部112から「開始時点」の通知を受けたタイミングで、以上に述べたような視認性調整情報を、視界提供部12(の表示制御部121)へ出力する。一方、調整時間決定部112から「終了時点」の通知を受けたタイミングで、以上に述べたような視認性調整処理を終了する(本来の画面表示又は表示画像に戻す)指示内容の視認性調整情報を、視界提供部12(の表示制御部121)へ出力するのである。ちなみに、このように出力するタイミングも含めた一連の視界提供部12への出力情報が、「所定時間」の間ゴルフボール(所定の対象)の視認性を調整させるための指示を含む「視認性調整情報」である、と捉えることができる。
【0066】
また変更態様として、視認性制御部113は、ゴルフボール(所定の対象)の視認性又はゴルフボール(所定の対象)を含む視認部分の視認性を、「所定時間」内において連続的若しくは段階的に低下させる指示内容の視認性調整情報を生成することも好ましい。すなわち、視認性制御部113は、このような視認性調整情報を適宜、視界提供部12(の表示制御部121)へ出力し、視界提供部12に対し、視界における少なくとも一部(ゴルフボールに係る部分)の視認性を、「所定時間」内において連続的又は段階的に低下させることも好ましいのである。例えば、ゴルフボールの色を、「開始時点」から連続的又は段階的に周囲の色に近づけ、ある設定時間経過後に当該周囲の色と同じになるように調整してもよい。また、ゴルフボールの透過度が連続的又は段階的に増大していくように表示されることも好ましい。
【0067】
さらに好適な変更態様として、視認性制御部113は、ゴルフボール(所定の対象)の視認性又はゴルフボール(所定の対象)を含む視認部分の視認性を消滅若しくは低下させる間、又は消滅若しくは低下させる前に、
(a)ゴルフボール(所定の対象)の所定の部分の視認性を維持させる処理
(b)ゴルフボール(所定の対象)又はそれを含む視認部分に、所定の図形、記号若しくは文字を重畳させる処理、及び
(c)ゴルフボール(所定の対象)の色、形状若しくは大きさを変化させる処理
のうちの少なくとも1つを実施する指示内容の視認性調整情報を生成して、視界提供部12(の表示制御部121)へ出力することも好ましい。この場合、視界提供部12は、ゴルフボールの視認性又はこれを含む視認部分の視認性を消滅若しくは低下させる間、又は消滅若しくは低下させる前に、ゴルフボール又はこれを含む視認部分について受け取った視認性調整情報の指示内容の表示を実施するのである。
【0068】
具体的には例えば、ゴルフボールを連続的に又は段階的に小さくし、最終的に消滅するように表示させてもよい。また、ゴルフボールの色を一先ず所定の異なる色に変更した後、ゴルフボールの視認性を消滅又は低下させてもよい。さらに、ゴルフボールの赤道の輪郭ラインを(視認される状態のまま)残しつつ、このゴルフボールの他の部分を見えなくしてもよい。また、ゴルフボールのインパクトポイント(となる位置)を決定して、このインパクトポイント(となる位置)に所定の目印画像を重畳させたまま、ゴルフボールを見えなくしてもよい。
【0069】
ここで、インパクトポイント(となる位置)は、例えばゴルファがARグラス1へ指定入力したゴルフボールにかける回転の度合いや、ゴルフボールの置かれたグラウンドの傾き具合いに応じて、視認性制御部113によって決定されることも好ましい。また、上記のインパクトポイントを示す目印画像といったような所定の図形、記号又は文字の表示タイミングや表示時間は、例えばゴルファによってARグラス1に対し指定入力することが可能となっていてもよい。
【0070】
同じく
図1において、視界提供部12の表示制御部121は、視認性制御部113から受け取った視認性調整情報に基づいて、(スイング動作を行う環境に係る視界をゴルファに提供する)ディスプレイ122に対し、当該視界における視認性調整情報に係る少なくとも一部の視認性が、「所定時間」の間、消滅又は低下するような表示を実施させる。
【0071】
具体的に本実施形態において、表示制御部121は、
(a)ディスプレイ122が透過光によって環境を視認可能な透過型である場合、このディスプレイ122に対し、受け取った視認性調整情報に係る表示部分(透過光として見えている部分)における視覚的な特徴が、「所定時間」の間、消滅若しくは低減した又は周囲の視覚的な特徴に合わせられた若しくは近づけられた表示を実施させる。例えば、視認性調整情報に従い、ゴルフボールが透過光として見えている表示部分に対し、「所定時間」の間、周囲の色及びテクスチャと同じ色及びテクスチャの仮想画像部分、又は周囲の画素値を補間する画素値を有する仮想画像部分を重畳する表示を実施させることも好ましい。
【0072】
一方、表示制御部121は、
(b)ディスプレイ122が環境のカメラ画像を表示可能な非透過型である場合、このディスプレイ122に対し、受け取った視認性調整情報に係る表示画像部分における視覚的な特徴が、「所定時間」の間、消滅若しくは低減した又は周囲の視覚的な特徴に合わせられた若しくは近づけられた表示を実施させるのである。例えば、視認性調整情報に従い、ゴルフボールの表示画像部分を、「所定時間」の間、周囲の色及びテクスチャと同じ色及びテクスチャの画像部分、又は周囲の画素値を補間する画素値を有する画像部分に変更する表示を実施させてもよい。
【0073】
さらに表示制御部121は、上述したような
・「ゴルフボールの視認性又はゴルフボールを含む視認部分の視認性を、「所定時間」内において連続的又は段階的に低下させる指示内容の視認性調整情報」
を受け取った際、ディスプレイ122に対し、ゴルファに提供している視界における視認性調整情報に係る少なくとも一部(ゴルフボールの表示部分又は表示画像部分)の視認性を、「所定時間」内において連続的又は段階的に低下させるような表示を実施させることも好ましい。
【0074】
またさらに、表示制御部121は、
・上述したような「ゴルフボールの視認性又はゴルフボールを含む視認部分の視認性を消滅若しくは低下させる間又は消滅若しくは低下させる前に、(a)ゴルフボールの所定の部分の視認性を維持させる、(b)ゴルフボール又はそれを含む視認部分に所定の図形、記号若しくは文字を重畳させる、及び/又は、(c)当該所定の対象の色、形状若しくは大きさを変化させる指示内容の視認性調整情報」
を受け取った際、ディスプレイ122に対し、ゴルフボールの視認性又はそれを含む視認部分の視認性を消滅若しくは低下させる間又は消滅若しくは低下させる前に、ゴルフボール又はそれを含む視認部分について受け取った視認性調整情報における上記指示内容((a)~(c)の少なくとも1つ)の表示を実施させることも好ましい。
【0075】
[動作支援方法]
図2は、本発明による動作支援方法の一実施形態を説明するための模式図である。ここで本実施形態は、ゴルファが、透過型のディスプレイ122を備えたARグラス1を装着した上で、ティーグラウンドを含む環境をグラス越しに見ながらクラブをスイングし、ゴルフボール(所定の対象)をヒットして飛ばす中で、ARグラス1から、自らのスイング動作が良好なものとなるような支援(視認性調整)を受けるものとなっている。
【0076】
最初に
図2(A)に示すように、対象識別部111は、ティーインググラウンドに(ティーアップして)置かれたゴルフボールを識別し、その位置又は位置範囲に係る識別情報を視認性制御部113へ出力する。また、調整時間決定部112は、ゴルファがクラブを振り上げたことによってこのクラブが視界画像外へ出たと判断される時点(視界画像内から消滅した時点)を「開始時点」として、直ちに「現時点が開始時点である」旨を視認性制御部113へ通知する。
【0077】
次いで
図2(B)に示すように、視認性制御部113は、受け取った識別情報及び「開始時点」に係る通知に基づき、「現時点から、ゴルフボールに係る表示部分に、指定した(補間された画素値を有する)仮想画像部分を重畳させる」指示内容の視認性調整情報を生成して視界提供部12へ出力する。ここで、このような視認性調整情報を受け取った視界提供部12は直ちに、ディスプレイ122において、指定された仮想画像部分をゴルフボールに係る表示部分に重畳させ、その結果、ゴルフボールが見えなくなるような表示を実施するのである。
【0078】
この後、対象識別部111は、継続してゴルフボールを識別し(追跡し)、その位置又は位置範囲に係る識別情報を視認性制御部113へ出力し続ける。また、視界提供部12は、視認性制御部113から逐次受け取った視認性調整情報に基づき、ゴルフボールが継続して見えない(ゴルフボールの表示部分に仮想画像部分が重畳し続ける)表示を実施する。次いで、調整時間決定部112は、
図2(C)に示すように、振り下ろされたクラブでヒットされたゴルフボールが視界画像外へ出たと判断される時点(視界画像内から消滅した時点)を「終了時点」として、直ちに「現時点が終了時点である」旨を視認性制御部113へ通知する。
【0079】
次いで
図2(D)に示すように、視認性制御部113は、受け取った識別情報及び「終了時点」に係る通知に基づき、「現時点から、ゴルフボールに係る表示部分に対する仮想画像部分の重畳を終了する(元の透過光による環境の表示に戻す)」指示内容の視認性調整情報を生成して視界提供部12へ出力する。ここで、このような視認性調整情報を受け取った視界提供部12は直ちに、ディスプレイ122において、ゴルフボールに係る表示部分に重畳していた仮想画像部分の表示を終了し、その結果、(飛んで行く)ゴルフボールが見えるような表示を実施するのである。
【0080】
以上、
図2(A)~(D)を用いて説明した本実施形態の動作支援方法によれば、ARグラス1を装着したゴルファは、1つのスイング動作における「所定時間」の間、すなわちクラブを振り上げ始めてから振り下ろしたクラブでゴルフボールをヒットし飛ばすまでの間、ゴルフボールを見ることがない。その結果、(ゴルフボールを見ることで)緊張等のマイナスの心理状態に陥って正しいスイングを行うことができなくなる、といった事態を回避することができ、ひいては良好なスイング動作を行ったり習得したりすることも可能となる。さらに、スイング支援のために視認性調整が必要となる「所定時間」以外では、ゴルフボールは視認可能であるので、ゴルファは、例えばヒットした後のゴルフボールの行方を追うこともできるのである。
【0081】
[動作支援装置の他の実施形態]
図3は、本発明による動作支援装置の他の実施形態における機能構成を示す機能ブロック図である。
【0082】
図3によれば、本実施形態の動作支援装置である透過度可変グラス2は、ARグラス1(
図1)と同様、ある動作中に所定の対象を視認可能な動作者に対し、所定の対象又は所定の対象を含む視認部分の視認性を調整し、この動作を支援する装置である。本実施形態では、ゴルファがショットを行う際に視認可能なゴルフボールの視認性を調整し、スイング動作の向上を支援する装置となっている。
【0083】
具体的に透過度可変グラス2は、カメラ201、マイク202、加速度・角速度センサ203、通信インタフェース(IF)204、データ保存部M1~M3、対象識別部211、調整時間決定部212、及び視認性制御部213を有しており、これらの(機能)構成部は、ARグラス1(
図1)における同名の(機能)構成部と同様の構造及び機能を備えたものとなっている。また、対象識別部211、調整時間決定部212、及び視認性制御部213は、プロセッサ・メモリに保存された、本発明による動作支援プログラムの一実施形態によって具現される機能と捉えることができる。
【0084】
ただし透過度可変グラス2の視界提供部22は、視界提供部12(
図1)とは異なり、(a)動作を行う環境を透過光によって視認可能であって透過度の調整可能なウィンドウ部222と、
(b)視認性制御部213から受け取った視認性調整情報に基づいて、ウィンドウ部222における視認性調整情報に係るウィンドウ部分の透過度を、「所定時間」の間、ゼロにする又は低減させる指示をウィンドウ部222へ出力する表示制御部221と
を有するものとなっている。
【0085】
また、視認性制御部213は、対象識別部211からの識別情報と、調整時間決定部212からの開始・終了時点に係る通知とを受けて、上記(b)のような視認性調整を実施すべき「ウィンドウ部分の位置範囲」を指定した視認性調整情報を生成し、表示制御部221へ出力するのである。
【0086】
ここで上記(a)のウィンドウ部222は例えば、「液晶調光フィルムLC MAGIC」,[online],[令和4年1月16日検索],インターネット<URL: https://www.toppan.co.jp/electronics/device/lc_magic/>に開示されたような液晶調光フィルムを用いて構成されたものであってよい。またこの場合、ウィンドウ部222は、ウィンドウ部222内における1つ以上の「ウィンドウ部分の位置範囲」の各々に液晶調光フィルム片が(例えば透明の基板上に貼付する形で)設けられていて、各位置範囲の透過性(透明性)が個別に調整可能となっているものとすることもできる。
【0087】
表示制御部221は、このようなウィンドウ部222に対し、受け取った視認性調整情報で指定された「ウィンドウ部分の位置範囲」の透過性(透明度)を、視認性調整情報の指示内容に合わせてゼロにしたり低下させたり、又は連続的に若しくは段階的に低下させたり、さらには元に戻したりする制御を行うのである。
【0088】
以上説明したような透過度可変グラス2によれば、ゴルファがショットを行う際、スイング動作における「所定時間」の間、ゴルフボールが見えているウィンドウ部分の透過性(透明性)をゼロにし又は低下させて、ゴルフボールが見えることによるマイナスの心理的影響を排除し、これによりスイング動作の向上を支援することが可能となる。
【0089】
なお変更態様として、ウィンドウ部222は、
(a)(通常、ゴルフボールが見える位置範囲として)予め設定されたウィンドウ部分に液晶調光フィルム片が貼付されていて、当該ウィンドウ部分の透過度が可変となっているものであってもよく、又は
(b)1枚の液晶調光フィルムがウィンドウ部222全体に貼付されていて、当該全体の透過度が可変となっているものであってもよい。
【0090】
この場合、表示制御部221は、視認性制御部213から視認性調整情報を受けて、ウィンドウ部222に対し、「所定時間」の間、(a)設定されたウィンドウ部分の透過性(透明性)、又は(b)ウィンドウ部222全体の透過性(透明性)をゼロにする若しくは低下させる制御を行う。このような制御によっても、ゴルフボール(所定の対象)の視認性を、「所定時間」の間、消滅又は低下させることが可能となる。なおこの場合、対象識別部211は省略することができる。その結果、画像認識処理等の負担の大きい処理を行わずに済み、リアルタイムな表示制御をより容易に実施することが可能となるのである。
【0091】
以上詳細に説明したように、本発明によれば、ある動作中に所定の対象を視認可能な動作者に対し、この所定の対象の視認性を調整することによって、この動作を支援することが可能となる。ここで、このように本発明によって動作支援を行うことの可能な分野はゴルフ等のスポーツ競技の分野に限らず、種々様々な動作を伴う生活に係る分野がそれに該当するのである。したがって、本発明は、生活場面における所定動作の向上を支援し、より快適な又はより楽しいライフスタイルを提案し提供することにも貢献可能となっている。
【0092】
また、学校や民間のスポーツ教室におけるスポーツの所定動作に係る授業や、プロスポーツにおける所定動作の実践又は訓練の場面において、さらには所定動作を伴う仕事の実践又は訓練の場面において、本発明による動作支援を適用することによって、より多くの子供達や大人達に対しスポーツや仕事における所定動作の向上を促すこともできる。すなわち本発明によれば、国連が主導する持続可能な開発目標(SDGs)の目標4「すべての人々に包摂的かつ公平で質の高い教育を提供し、生涯学習の機会を促進する」や、目標8「すべての人々のための包摂的かつ持続可能な経済成長、雇用およびディーセント・ワークを推進する」の達成に貢献することも可能となるのである。
【0093】
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0094】
1 ARグラス(動作支援装置)
101、201 カメラ
102、202 マイク
103、203 加速度・角速度センサ
104、204 通信インタフェース(IF)
111、211 対象識別部
112、212 調整時間決定部
113、213 視認性制御部
12、22 視界提供部
121、221 表示制御部
122 ディスプレイ
2 透過度可変グラス(動作支援装置)
222 ウィンドウ部
3 生体情報計測デバイス