特開 2022-172021 情報変換装置、情報変換システム、情報変換方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022172021

(43)【公開日】2022-11-14

(54)【発明の名称】情報変換装置、情報変換システム、情報変換方法

(51)【国際特許分類】

   A63F 13/54 20140101AFI20221107BHJP

   A63B 69/00 20060101ALI20221107BHJP

   A63F 13/812 20140101ALI20221107BHJP

   A63F 13/212 20140101ALI20221107BHJP

   A63F 13/211 20140101ALI20221107BHJP

   A63F 13/428 20140101ALI20221107BHJP

   A63F 13/44 20140101ALI20221107BHJP

   H04S 7/00 20060101ALI20221107BHJP

【ＦＩ】

A63F13/54

A63B69/00 B

A63F13/812 D

A63F13/212

A63F13/211

A63F13/428

A63F13/44

H04S7/00 300

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021078194

(22)【出願日】2021-05-01

(71)【出願人】

【識別番号】721004053

【氏名又は名称】福谷 佳之

(72)【発明者】

【氏名】福谷 佳之

(72)【発明者】

【氏名】新谷 浩一

(72)【発明者】

【氏名】谷 憲

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162AA05

5D162DA04

5D162EG02

(57)【要約】

【課題】音声と行動を結び付けたシステムであって、時間的に変化する音声を有効利用してユーザに認知させた結果で反応を促し、その反応行動と音声の関係でやり取りするシステムで、予め決められたスイッチの操作という制約をなくし、開放感、臨場感も合わせて、より直感的な反応行動を促せるものにする。
【解決手段】情報変換装置はウエアラブルの加速度センサの出力を入力する入力部と、上記音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定部を具備する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１の音響の発生タイミングとその第１の音響のパターンを時間的に変化させる態様を切り替える第１の音響制御部と、
ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力部と、
上記第１の音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って上記第１の音響発生部が発生する次の第１の音響発生の制御を切り替える判定部を具備することを特徴とする情報変換装置。

【請求項2】

さらに通信部を有し、上記判定部は、上記制御切り替え時に、上記第１の音響とは異なる第２の音響を発生させるように、上記第１の音響発生部とは異なる第２の音響発生部に信号を上記通信部に送信することを特徴とする、請求項１に記載の情報変換装置。

【請求項3】

上記判定部は、上記通信部に上記制御切り替えのこれまでの状況変化に対応する信号を上記通信部に送信することを特徴とする、請求項２に記載の情報変換装置。

【請求項4】

さらに上記判定部の判定結果の時間的な変化に従った情報を出力する時間変化情報出力部をさらに具備することを特徴とする、請求項３に記載の情報変換装置。

【請求項5】

音響の発生タイミングとその音響パターンを時間的に変化させる態様を切り替える音響制御ユニットと、
ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力ユニットと、
上記音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定ユニットを具備することを特徴とする情報変換システム。

【請求項6】

音響の発生タイミングとその音響パターンを時間的に変化させる態様を切り替える音響制御ステップと、
ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力ステップと、
上記音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定ステップを具備することを特徴とする情報変換方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声のみならず、ジェスチャなど身体の動きでコミュニケーションを可能とした情報変換装置、情報変換システム、情報変換方法に関する。

【背景技術】

【0002】

音のみでゲーム場面及びゲームの進行を表現するシューテングゲーム装置の提案が、特許文献１にあったが、これは、左右の音量のバランスで左右方向の位置を表し、音量でプレーヤーからの距離を表し、ヘッドフォンでプレーヤーに供給するものであった。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平７－１１６３４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

プレーヤーはスイッチ操作でそれに対応するので、音声と行動を結び付けたシステムと考えることが出来るが、スイッチの操作が必要で直感的なものではなかった。

【課題を解決するための手段】

【0005】

本発明の情報変換装置は、音響の発生タイミングとその音響パターンを時間的に変化させる態様を切り替える音響制御部と、ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力部と、上記音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定部を具備することを特徴とする。

【発明の効果】

【0006】

本発明は、こうしたバーチャルな音響効果に対して、様々な身体動作によって、より束縛のない、自由で開放的な情報変換が可能な情報変換装置を提供するものである。

【図面の簡単な説明】

【0007】

【図1】図１は第１の実施例の情報変換システムのブロック図である。

【図2】図２は音響パターンの変化と時間の関係を図示したものである。

【図3】図３は第１の実施例の情報変換システムのフローチャートである。

【図4】図４は第２の実施例の情報変換システムのブロック図である。

【図5】図５は第１の実施例の情報変換システムのフローチャートである。

【図6】図６は第３の実施例の情報変換システムのブロック図である。

【図7】図７は第３の実施例の情報変換システムのフローチャートである。

【図8】図８は加速度センサの姿勢と打ち返し動作の関係を図示したものである。

【図9】図９は本発明のタイミングチャートの一例である。

【発明を実施するための形態】

【0008】

本発明の情報変換装置は、ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力部と、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定部を具備することを特徴とする。声と行動を結び付けたシステムや装置、または方法であって、時間的に変化する音声を有効利用してユーザに認知させた結果で反応を促し、その反応行動と音声の関係でやり取りする場合に、予め決められたスイッチの操作という制約をなくし、より直感的、開放的なユーザの反応行動を促す。

【実施例0009】

図１は、本発明の１実施例となるシステムを構成する機能ユニットの繋がりを示すブロック図である。

【0010】

制御部１はマイクロコンピュータ等で構成され、所定のプログラム等で制御される。この制御部１は、通信部２で得られた情報やセンサ４から信号や情報によって、音響発生部３で発生させる音声を切り替えるための判定部５を有する。通信部は無線、有線で、他の機器等と通信を行う電子回路やアンテナ、コネクタなどの部品で、所定の方式の通信が可能なようにプロトコル制御や信号の変換などを行う。

【0011】

ただし、こうした機能は制御部１が有してもよく、連携して行ってもよい。音響発生部３はスピーカーやイヤホンなどで、音を発生させる回路を含んでもよい。また、センサ４は加速度や生体信号等で、ユーザの反応行動や姿勢、ポーズなどを検出する機能を有する電子部品や回路からなる。ウエアラブルを想定しており、左右の手に装着すれば、それぞれの腕の動きの様子などを判定することができる。ここから出て来た信号を判定部５が、センサ４装着者の行動などを判定するようにしてもよい。

【0012】

このような構成によって、音響の発生タイミングとその音響パターンを時間的に変化させる態様を切り替える音響制御部と、ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力部と、上記音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定部を具備することを特徴とする情報変換装置が提供できるが、ここでは、制御部１の中の機能ブロックとして、音響の発生タイミングとその音響パターンを時間的に変化させる態様を切り替える音響制御部６、ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力部７、上記音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定部５を具備するように記載した。

【0013】

救急車やパトカーが近づいて来る時に、前方の空気の波が押されるため大きく高い音に聞こえるが、通り過ぎると、空気の波が揺れる回数が減り低い音に聞こえる。距離による音の大きさの変化も変わるので、救急車が近づいて来て遠ざかる様子を音で表現すると、図２のような模式的なグラフのようになる。

【0014】

同様にボールなどの物が飛んで来る様子も、こうした音の変化で、疑似的に表せる。
したがって、どのようなタイミングで、この音を発生するかを図１の制御部１が決め、音声を音響発生部３が音響を発生させたりすれば、これを聞いていたユーザは、その音が表す状況に合わせた反応が出来る。こうして音で表されたものを打ったり、よけたりする身体的な動作を、今度は、図１のセンサ４で検出することで、図１の判定部５は、その音の変化の時間に合わせて、その音を聞いていたユーザがどのような応答したかを判定することが出来る。

【0015】

図３にこのようなシステムのもっとも単純な制御をフローチャートで示す。これは図１の制御部１が制御するが、システムの構成には自由度があり、連携する通信部２や音響発生部３やセンサ４と機能を分担してもよい。

【0016】

Ｓ１０１では、音響発生部３を介して、音響を発生させる。これは前述のように時間的にパターン（音量や周波数や音色やリズムやステレオの場合は左右のバランス等）が変化する音響を発生させるものなので、Ｓ１０２でその制御を行う。センサ４を装着したユーザに聞かせる。そのパターンの変化が表したものに対して、ユーザが身体を動かせば、その身体の動きの特徴がセンサ４からの信号で検出できるので、Ｓ１０３にて、制御部の有する回路やプログラムなどで構成された判定部がこれを判定することができる。ここで、ユーザがスポーツのようなプレイをする場合を想定すると、このプレイがどのようなものかを、事前に決めたり、決められたりした結果を音声でガイドして、何が始まるかをわかりやすくユーザや、その他、このユーザのプレイを確認する人に伝えられるようにしてもよい。

【0017】

ここでは単純な例として、想定通りの反応をしたかどうかをセンサ出力の特徴と、それが検出されたタイミングで判定をしている。想定された反応であればＳ１０４に分岐し、判定１となる。想定以外であれば、Ｓ１０５に分岐し、判定２となる。想定された反応とは、音が途切れて１秒以内に特定の方向（例えば、腕を振って検知できる方向、Z軸方向とする）に加速度が特定以上検出された場合などで、ここでは１秒という条件やZ軸方向への特定量加速度とかが条件となる。このような特定反応が出来たかどうかを結果として出力し、その結果に応じて、応援をしたり、落胆をしたりするフィードバック反応を音響として発生さえてもよい。これによって臨場感や一人でやっているわけではないという開放感も生まれ、ますます、プレイに専念できるようになる。

【0018】

このような制御によって、利用するユーザは、適当な音のタイミングで、特定の反応を正しく出来たかの訓練ができ、スポーツやゲームなどの他、とっさの行動を身につけるような教育用の用途にこのシステムを利用できる。

【0019】

ボールを打つ練習が出来るバッティングやテニス、卓球、バスケットボールや羽根を打つバドミントンの練習が可能となる。様々な音声を用意してタイミングとロボットの動作を指定するような機械学習のアノテーションに使うことも出来る。もちろん、ペットの躾にも使える。

【0020】

例えば、卓球ゲームに応用した時、相手の打球の飛んでくる音をユーザに聞かせるが、これを第１の音響とすると、その発生タイミングとその第１の音響のパターンを時間的に変化させる態様を切り替えるのが第１の音響制御部（図１の６）となる。卓球の場合、ユーザの四肢の動作を検出するウエアラブルの加速度センサは、手に把持してもよく、その出力を入力する入力部７があり、上記飛来する球の音を示す第１の音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力が、ちゃんとそれを打ち返すに相応しい加速度センサの向きに加速度が検出できるかで、疑似的なゲームが出来る。つまり、これによって、打ち返した音をユーザ（プレーヤー）には聞かせるようにした。したがって、この情報変換装置は、上記第１の音響発生部が発生する次の第１の音響発生の制御を切り替える判定部を具備することを特徴とする。

【0021】

モーションの反応の速さやモーション自身の速さなどを加速度で判定して、打ち返す球の速度等を切り替え、速ければ音響発生時間を短くする等の工夫で、バーチャルに、速い球が返ったことを表すことが出来る。さらに通信部２を有して、上記判定部が、上記制御切り替え時に、上記第１の音響とは異なる第２の音響を発生させるようにしてもよい。これによって、打球の様子とは異なる音声が発生可能となり、外部のスピーカー等で観客の応援や落胆を表す第２の音声を発生させてもよい。あるいは、プレーヤーがうまくやったかどうかを第三者（観戦者）に音で伝えることが出来る。もちろん、これをプレーヤー自身が聴けるようにしてもよい。

【0022】

これは、打球の音の制御とは異なり、音の変化とモーションの関係が特定の条件を満たして初めて、どのような音声が相応しいかが決まるものである。上記第１の音響（打球用）発生部とは異なる第２の音響発生部に信号を上記通信部に送信することを特徴とする、請求項１に記載の情報変換装置と書くことが出来る。また、応援などは、それまでの結果の積み重なりによって内容が変わるし、観客や観戦者も、それまでのゲーム進行をトータルで把握したいので、上記判定部は、上記通信部に上記制御切り替えのこれまでの状況変化に対応する信号を上記通信部に送信することを特徴とするようにしてもよい。これによって、一人で楽しめるだけでなく、見ている人も楽しめる開放感や臨場感のある音とモーションのコラボレーションを楽しむシステムが提供可能となる。

【実施例0023】

図４にさらに、複数の人がセンサを装着可能にした第２の実施例をブロック図化したものを示す。制御部１ａ、１ｂ、２ａ、２ｂ、３ａ、３ｂ、４ａ、４ｂ、５ａ、５ｂはすでに図１で説明したものと同様のものを想定している。つまり、図１の構成のシステムが２つ連携している様子を示す。（３つ以上でも良い。）

【0024】

また、図１同様、制御部の中に、音響の発生タイミングとその音響パターンを時間的に変化させる態様を切り替える音響制御部と、ユーザの四肢の動作を検出するウエアラブルの加速度センサの出力を入力する入力部と、上記音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力に従って次の音響発生の制御を切り替える判定部を具備することとしてもよいし、以下に説明するサーバーの中に、それを具備してもよい。これらが連携してもよい。

【0025】

これらを通信部２ａ、２ｂが直接つないで、連携してそれぞれのシステム（一方のシステムａは点線で図示、もう一方も同様の部分を示すものとする）の制御部が、予め決められたルールで音響発生し、センサ出力を検出して、２人のユーザ双方のジェスチャなど動作を音で伝え、かつ、それにジェスチャで答えるといった遠隔のコミュニケーションや、複数で対戦するゲーム、スポーツなどが提供可能になる。

【0026】

ただし、直接接続すると、ルールや難易度を変更するたびに、両方のシステムが何らかの準備を要したり、システムが複雑化して、メンテナンスを困難にするので、ここでは、サーバー１０がこれを仲介して、それぞれの通信の内容を変換部１１で変換したり、個々のシステムの制御方法を修正したりして、即座に、新しいルールでのやり取りを可能とした。

【0027】

図５にこのようなシステムにおける個々のシステムの制御部１ａや１ｂが制御する内容をフローチャートで示した。

【0028】

複数の機器は、それぞれ、このような制御で連携できるが、それは、Ｓ２０１やＳ２０５で、一方のユーザの動作が特定のパターンの時、相手に聞こえる音響を発生させ、相手にその音響変化に応じた反応を促すことができるからである。例えば、テニスや卓球やバレーボールのようなサーブから、それを打ち返すラリーが続くスポーツのような応用では、サーブのような動作をしたかをＳ２０１の特定センサ情報（ここではSと記載）判定を行い、それに応じた音響が相手に聞こえるようにする。

【0029】

Ｓ２０２ではそれを音響変化にして、Ｓ２０３で特定センサ（このタイミングでの説明ではサーブを受ける方）が、その音の想定された変化のタイミングでどのような動作をしたかを検出する。それが、正しく打ち返した状況では、Ｓ２０４に分岐して、打ち返した判定をし、その動作に応じて打ち返した音を相手に聞こえるようにする。その制御のステップがＳ２０５である。打ち返せなかった場合は、Ｓ２０６で打ち返せなかった判定を行う。以上、相手の反応を誘発させるための音の発生について主に説明したが、もちろん、打ち返した感触を耳で確認可能なようにユーザ動作の結果に応じた音声をそのユーザに聞こえるようにしてもよい。

【0030】

例えば、卓球ゲームに応用した時、相手の打球の飛んでくる音をユーザに聞かせるが、これを第１の音響とすると、その発生タイミングとその第１の音響のパターンを時間的に変化させる態様を切り替えるのが第１の音響制御部（図１の６、図４では図示せず）となる。卓球の場合、ユーザの四肢の動作を検出するウエアラブルの加速度センサは、手に把持してもよく、その出力を入力する入力部（図４では図示せず図１の７同様のものがあるが省略）があり、上記飛来する球の音を示す第１の音響パターンの時間的変化の特定タイミングにおける、上記加速度センサの出力が、ちゃんとそれを打ち返すに相応しい加速度センサの向きに加速度が検出できるかで、疑似的なゲームが出来る。つまり、これによって、打ち返した音をユーザ（プレーヤー）には聞かせるようにした。

【0031】

したがって、この情報変換装置は、上記第１の音響発生部が発生する次の第１の音響発生の制御を切り替える判定部を具備することを特徴とする。また、これを打球の音としてのみならず、相手にとっては飛来する球の音として認識させる必要があり、通信部２ａ等で、これを可能にした。サーバー１０の変換部１１がこうした制御を行ってもよく、相手システムの制御部１ｂが行ってもよい。さらにサーバー１０の制御部（図示せず）や各システムの制御部１ａや１ｂが、上記制御切り替え時に、上記第１の音響とは異なる第２の音響を発生させるようにしてもよい。これによって、打球の様子とは異なる音声が発生可能となり、外部のスピーカー等で観客の応援や落胆を表す第２の音声を発生させてもよい。あるいは、それぞれのプレーヤーがうまくやったかどうかを第三者（観戦者）に音で伝えることが出来る。もちろん、これをプレーヤー自身が聴けるようにしてもよい。上記第１の音響（打球用）発生部とは異なる第２の音響発生部に信号を上記通信部に送信することを特徴とする情報変換装置と書くことが出来る。

【0032】

また、応援などは、それまでの結果の積み重なりによって内容が変わるし、観客や観戦者も、それまでのゲーム進行をトータルで把握したいので、上記判定部は、上記通信部に上記制御切り替えのこれまでの状況変化に対応する信号を上記通信部に送信することを特徴とするようにしてもよい。こうした試合進行は、サーバー１０（の制御部）が管理して、適宜、外部に伝えるようにしてもよい。

【0033】

以上のようなステップのそれぞれは図４の制御部１ａや１ｂが制御してもよく、連携してもよく、サーバー１０が絡んで実行してもよく、サーバーが実行してもよい。どのような動作でどのような音響になるかの例は図８で、後で説明する。