特許 6386331 動作検出システム、動作検出装置、移動通信端末及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6386331

(24)【登録日】2018年8月17日

(45)【発行日】2018年9月5日

(54)【発明の名称】動作検出システム、動作検出装置、移動通信端末及びプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20180827BHJP

   G06F 3/16 20060101ALI20180827BHJP

   A63F 13/212 20140101ALI20180827BHJP

   A63F 13/211 20140101ALI20180827BHJP

   A63F 13/428 20140101ALI20180827BHJP

   A63F 13/54 20140101ALI20180827BHJP

   A63F 13/814 20140101ALI20180827BHJP

   A63H 5/00 20060101ALI20180827BHJP

   H04M 1/00 20060101ALI20180827BHJP

【ＦＩ】

   G06F3/01 570

   G06F3/16 530

   A63F13/212

   A63F13/211

   A63F13/428

   A63F13/54

   A63F13/814

   A63H5/00 A

   H04M1/00 R

【請求項の数】8

【全頁数】34

(21)【出願番号】特願2014-206748(P2014-206748)

(22)【出願日】2014年10月7日

(65)【公開番号】特開2015-111404(P2015-111404A)

(43)【公開日】2015年6月18日

【審査請求日】2017年10月6日

(31)【優先権主張番号】特願2013-229032(P2013-229032)

(32)【優先日】2013年11月5日

(33)【優先権主張国】JP

【新規性喪失の例外の表示】特許法第３０条第２項適用 本願の優先権主張の基礎となる出願（特願２０１３−２２９０３２号）にて提出された発明の新規性の喪失の例外の規定の適用を受けるための証明書に基づき特許法第３０条第２項の規定の適用を認める

(73)【特許権者】

【識別番号】513278127

【氏名又は名称】株式会社Ｍｏｆｆ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】▲高▼萩 昭範

(72)【発明者】

【氏名】米坂 元宏

【審査官】 岩橋 龍太郎

(56)【参考文献】

【文献】 特開２００２−２５１１８６（ＪＰ，Ａ）

【文献】 特開２００９−０８６５３４（ＪＰ，Ａ）

【文献】 特開２０１１−１２８４２７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｇ０６Ｆ ３／１６

Ａ６３Ｆ ９／２４

Ａ６３Ｆ １３／００−１３／９８

Ａ６３Ｈ １／００−３７／００

Ｈ０４Ｍ １／００

Ｈ０４Ｍ １／２４−１／８２

Ｈ０４Ｍ ９９／００

(57)【特許請求の範囲】

【請求項1】

ユーザの動作を検出する動作検出装置と、前記動作検出装置と通信可能な移動通信端末とを有する動作検出システムであって、
ユーザの動作を定める第一の動作データに対して、複数の音声又は映像データを関連付けて記憶する記憶部と、
前記ユーザの動作を示す第二の動作データを取得する取得部と、
前記第二の動作データを前記移動通信端末に送信する送信部と、
前記第一の動作データが定める動作と、前記送信部により送信された前記第二の動作データが示す動作とが、同じ動作を示すか判定する判定部と、
前記判定部の結果に応じて、前記第一の動作データと関連付けられた、前記音声又は映像データを選択する選択部と、
前記選択部の選択した前記音声又は映像データを出力する出力部と、を有し、
前記選択部は、前記第一の動作データに関連付けられた複数の音声又は映像データのうち、前記出力部により既に出力された音声又は映像データについての出力履歴に応じて、前記音声又は映像データを選択する動作検出システム。

【請求項2】

前記ユーザの新たな動作を定める第三の動作データに対応する、新たな音声又は映像データの指定を受け付ける受付部をさらに有し、
前記取得部は、前記第三の動作データを取得し、
前記送信部は、前記第三の動作データを前記移動通信端末に送信し、
前記記憶部は、前記第三の動作データと、前記新たな音声又は映像データとを関連付けて記憶する、
請求項１に記載の動作検出システム。

【請求項3】

前記動作検出装置は、前記取得部及び前記送信部を有する筐体と、前記筐体の相対する二側面に接続されたベルトを有する、
請求項１又は２に記載の動作検出システム。

【請求項4】

前記動作検出装置は、前記ベルトにより、前記ユーザの操作する玩具又は前記ユーザの手首に装着される、
請求項３に記載の動作検出システム。

【請求項5】

ユーザの動作を検出する動作検出装置と通信可能な移動通信端末であって、
ユーザの動作を定める第一の動作データに対して、複数の音声又は映像データを関連付けて記憶する記憶部と、
前記ユーザの動作を示す第二の動作データを前記動作検出装置から受信する受信部と、
前記第一の動作データの定める動作と、前記受信部にて受信した前記第二の動作データの示す動作とが、同じ動作を示すか判定する判定部と、
前記判定部の結果に応じて、前記第一の動作データと関連付けられた、前記音声又は映像データを選択する選択部と、
前記選択部の選択した前記音声又は映像データを出力する出力部と、を有し、
前記選択部は、前記第一の動作データに関連付けられた複数の音声又は映像データのうち、前記出力部により既に出力された音声又は映像データについての出力履歴に応じて、前記音声又は映像データを選択する移動通信端末。

【請求項6】

ユーザの動作を検出する動作検出装置と通信可能なコンピュータで実行されるプログラムであって、前記コンピュータに、
前記ユーザの動作を示す第一の動作データを前記動作検出装置から受信する受信段階と、
前記受信段階において受信した前記第一の動作データの示す動作と、記憶部に記憶され、複数の音声又は映像データと関連付けられた第二の動作データの定める動作とが、同じ動作を示すか判定する判定段階と、
前記判定段階における判定の結果に応じて、前記音声又は映像データを選択する選択段階と、
前記選択段階において選択された前記音声又は映像データを出力する出力段階と、を実行させ、
前記選択段階は、前記第二の動作データに関連付けられた複数の音声又は映像データのうち、前記出力段階において既に出力された音声又は映像データについての出力履歴に応じて、前記音声又は映像データを選択するプログラム。

【請求項7】

ユーザの動作を検出する動作検出装置と、前記動作検出装置と通信可能な移動通信端末と、を有する動作検出システムであって、
ユーザにより行われる複数の打楽器それぞれを叩く動作と、該動作が行われる動作方向の範囲とを、該複数の打楽器それぞれを叩いた場合に発生する音声データと関連付けて記憶する記憶部と、
前記複数の打楽器のうち、特定の打楽器を叩く動作を前記ユーザが行った際の動作方向を、基準方向として設定する設定部と、
前記動作検出装置において検出された検出データに基づいて、前記動作検出装置の前記基準方向からの相対角度を算出する算出部と、
前記相対角度により特定される方向が前記動作方向の範囲に含まれ、かつ、前記検出データにより特定される動作が、前記打楽器を叩く動作であった場合に、前記記憶部において前記打楽器を叩く動作及び前記動作方向の範囲と関連付けて記憶された前記音声データを出力する出力部と
を有する、動作検出システム。

【請求項8】

ユーザの動作を検出する動作検出装置と通信可能であり、ユーザにより行われる複数の打楽器それぞれを叩く動作と、該動作が行われる動作方向の範囲とを、該複数の打楽器それぞれを叩いた場合に発生する音声データと関連付けて記憶する移動通信端末のコンピュータで実行されるプログラムであって、前記コンピュータに、
前記複数の打楽器のうち、特定の打楽器を叩く動作を前記ユーザが行った際の動作方向を、基準方向として設定する設定段階と、
前記動作検出装置において検出された検出データに基づいて、前記動作検出装置の前記基準方向からの相対角度を算出する算出段階と、
前記相対角度により特定される方向が前記動作方向の範囲に含まれ、かつ、前記検出データにより特定される動作が、前記打楽器を叩く動作であった場合に、前記打楽器を叩く動作及び前記動作方向の範囲と関連付けて記憶された前記音声データを出力する出力段階と
を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動作検出システム、動作検出装置、移動通信端末及びプログラムに関する。

【背景技術】

【0002】

加速度センサや角速度センサ、光センサ等のセンサを内蔵し、ユーザの動作を検出する動作検出装置を用いたシステムが普及している。例えば、加速度センサを内蔵したコントローラを通じてユーザの動作を検出し、検出結果をビデオゲーム内でのキャラクターの動作と関連付けることにより、直感的な遊びを提供するシステムが知られている（特許文献１、特許文献２）。

【0003】

また、コンテンツを再生するロボットに対するユーザの動作（叩く、なでる等）を検出し、検出結果に応じたコンテンツを再生させる技術（特許文献３）や、ユーザの動作及び音声の検出結果を組み合わせて機器を制御する技術（特許文献４）等が提案されている。

【0004】

更には、検出されたユーザの動作が、予め登録された動作と一致するか否かを判定することでユーザの動作を識別するアルゴリズムとして、例えば、Dynamic Time-Warpingというアルゴリズムが知られている（非特許文献１、２）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許出願公開第２００８−００１５０１７号明細書

【特許文献2】特開２００７−３００９８０号公報

【特許文献3】特開２０１２−１５５６１６号公報

【特許文献4】特開２０１２−１０３８４０号公報

【非特許文献】

【0006】

【非特許文献1】C. S. MYERS and L. R. RABINER、" A Comparative Study of Several Dynamic Time-Warping Algorithms for Connected-World Recognition"、THE BELL SYSTEM TECHNICAL JOURNAL, Vol.60, No.7, September 1981

【非特許文献2】"Dynamic time warping", Wikipedia, http://en.wikipedia.org/wiki/Dynamic_time_warping

【発明の概要】

【発明が解決しようとする課題】

【0007】

一方で、ユーザの動作を検出するセンサが内蔵された動作検出装置を、手軽な遊びに応用したいという要求がある。例えば、乗り物や武器の模型、ぬいぐるみ等のような、いわゆる既存の玩具（音声や映像が出力されることのない玩具）に適用させ、それぞれの玩具に応じた音声や映像を出力できるようにすることで、既存の玩具を用いた遊びにおいてもリアリティを向上させることが期待できる。

【0008】

本発明は、このような問題に鑑みてなされたものであり、遊びにおけるリアリティを向上させることを目的とする。

【課題を解決するための手段】

【0009】

上述した課題を解決し目的を達成するため、本発明の一実施形態に係る動作検出システムは、以下のような構成を備える。即ち、
ユーザの動作を検出する動作検出装置と、前記動作検出装置と通信可能な移動通信端末とを有する動作検出システムであって、
ユーザの動作を定める第一の動作データに対して、複数の音声又は映像データを関連付けて記憶する記憶部と、
前記ユーザの動作を示す第二の動作データを取得する取得部と、
前記第二の動作データを前記移動通信端末に送信する送信部と、
前記第一の動作データが定める動作と、前記送信部により送信された前記第二の動作データが示す動作とが、同じ動作を示すか判定する判定部と、
前記判定部の結果に応じて、前記第一の動作データと関連付けられた、前記音声又は映像データを選択する選択部と、
前記選択部の選択した前記音声又は映像データを出力する出力部と、を有し、
前記選択部は、前記第一の動作データに関連付けられた複数の音声又は映像データのうち、前記出力部により既に出力された音声又は映像データについての出力履歴に応じて、前記音声又は映像データを選択する。

【0011】

また、本発明の一実施形態に係る移動通信端末は、以下のような構成を備える。即ち、
ユーザの動作を検出する動作検出装置と通信可能な移動通信端末であって、
ユーザの動作を定める第一の動作データに対して、複数の音声又は映像データを関連付けて記憶する記憶部と、
前記ユーザの動作を示す第二の動作データを前記動作検出装置から受信する受信部と、
前記第一の動作データの定める動作と、前記受信部にて受信した前記第二の動作データの示す動作とが、同じ動作を示すか判定する判定部と、
前記判定部の結果に応じて、前記第一の動作データと関連付けられた、前記音声又は映像データを選択する選択部と、
前記選択部の選択した前記音声又は映像データを出力する出力部と、を有し、
前記選択部は、前記第一の動作データに関連付けられた複数の音声又は映像データのうち、前記出力部により既に出力された音声又は映像データについての出力履歴に応じて、前記音声又は映像データを選択する。

【0012】

また、本発明の一実施形態におけるプログラムは、
ユーザの動作を検出する動作検出装置と通信可能なコンピュータで実行されるプログラムであって、前記コンピュータに、
前記ユーザの動作を示す第一の動作データを前記動作検出装置から受信する受信段階と、
前記受信段階において受信した前記第一の動作データの示す動作と、記憶部に記憶され、複数の音声又は映像データと関連付けられた第二の動作データの定める動作とが、同じ動作を示すか判定する判定段階と、
前記判定段階における判定の結果に応じて、前記音声又は映像データを選択する選択段階と、
前記選択段階において選択された前記音声又は映像データを出力する出力段階と、を実行させ、
前記選択段階は、前記第二の動作データに関連付けられた複数の音声又は映像データのうち、前記出力段階において既に出力された音声又は映像データについての出力履歴に応じて、前記音声又は映像データを選択する。

【発明の効果】

【0013】

本発明によれば、遊びにおけるリアリティを向上させることが可能となる。

【図面の簡単な説明】

【0014】

【図1】第１の実施形態に係る動作検出システムの利用例を説明する図である。

【図2】動作検出装置の外観を示す図である。

【図3】動作検出装置のハードウェア構成を示す図である。

【図4】移動通信端末のハードウェア構成を示す図である。

【図5】動作検出システムの機能ブロック図である。

【図6】動作検出システムの詳細な機能ブロック図である。

【図7】ユーザ動作時の検出データの波形の一例を示す図である。

【図8】関連付けデータを保持するテーブルの一例を示す図である。

【図9】関連付けデータを保持するテーブルの一例を示す図である。

【図10】関連付けデータを保持するテーブルの一例を示す図である。

【図11】登録処理のフローチャートである。

【図12】出力処理のフローチャートである。

【図13】登録処理の具体例を表すシーケンス図である。

【図14】出力処理の具体例を表すシーケンス図である。

【図15】ユーザ動作時の検出データの波形の一例を示す図である。

【図16】登録波形データと検出データとを比較した結果を表す図である。

【図17】出力処理のフローチャートである。

【図18】出力処理の具体例を表すシーケンス図である。

【図19】出力処理の具体例を表すシーケンス図である。

【図20】第２の実施形態に係る動作検出システムの利用例を示す図である。

【図21】動作検出装置の外観を示す図である。

【図22】動作検出システムの機能ブロック図である。

【図23】動作検出システムの詳細な機能ブロック図である。

【図24】関連付けデータを保持するテーブルの一例を示す図である。

【図25】疑似ドラムセットの７つの打楽器の配置を示す図である。

【図26】前処理のフローチャートである。

【図27】移動通信端末の表示画面の一例を示す図である。

【図28】基準方向を決定する処理を説明するための図である。

【図29】基準方向の違いに伴う各打楽器の位置の違いを示した図である。

【図30】演奏処理のフローチャートである。

【図31】演奏処理中のユーザと、移動通信端末からの出力との関係を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の各実施形態を図面に基づいて説明する。

【0016】

［第１の実施形態］
１． 概要
２． ハードウェア構成
動作検出装置
移動通信端末
３． 機能
動作検出装置
移動通信端末
基本機能
登録機能
出力機能
４． 動作例
登録処理
出力処理
登録処理の具体例
出力処理の具体例
閾値データ／アプリデータを利用する例
所定の動作に応じて有効となるフラグを用いる例
出力データの履歴を用いる例
５． 応用例

【0017】

≪ １． 概要 ≫
まず、図１を用いて、本発明の第１の実施形態の概要を説明する。図１は、本発明の第１の実施形態に係る動作検出システム１の利用例を示す図である。動作検出システム１は、ユーザが所持する玩具４０に、又は、ユーザ自身に装着される動作検出装置１０と、動作検出装置１０と通信可能な移動通信端末２０とを有する。動作検出装置１０と移動通信端末２０とは、Bluetooth（登録商標）やZigBee（登録商標）のような無線通信方式により、互いに通信を行うことができる。

【0018】

ユーザは、飛行機や乗用車の模型のような玩具４０に、動作検出装置１０を装着した状態で、玩具４０を操作する。動作検出装置１０は、加速度センサを内蔵しており、ユーザが玩具４０を操作する際の動作を加速度データとして検出し、随時、移動通信端末２０に送信する。移動通信端末２０は、受信した加速度データの変化（波形）が、予め登録された波形と一致した場合に、予め登録した波形に対応した音声を出力する。移動通信端末２０には、様々な波形が登録されており、それぞれの波形に対応した音声が保持されている。これにより、ユーザは、様々な玩具を操作しながら、それぞれの玩具に応じた音声を聞くことが可能となる。この結果、手軽かつ直感的な遊びにおいて、より想像力を発揮できるようになるとともに、リアリティをもって楽しむことができる。なお、動作検出装置１０は、加速度センサに限られず、ジャイロセンサ、光センサ、圧力センサ等の任意のセンサを有していてもよい。

【0019】

図１（ａ）は、ユーザが、玩具４０（飛行機の模型）に動作検出装置１０を装着してこれを操作し、移動通信端末２０（スマートフォン）から音声を出力させる例を表している。この例では、例えば、ユーザが、飛行機の模型を加速させる操作をすると、高回転時のエンジン音が出力され、減速させる操作をすると、低回転時のエンジン音が出力される。

【0020】

図１（ｂ）は、ユーザが、玩具４０（乗用車の模型）に動作検出装置１０を装着してこれを操作し、移動通信端末２０（タブレット）から音声を出力させる例を表している。この例では、乗用車の模型を前進させる操作をすると、エンジンのイグニッション音が出力され、左右に転回させる操作をすると、タイヤのスリップ音が出力される。

【0021】

図１（ｃ）は、ユーザが、自らの腕に動作検出装置１０を装着した上で、玩具４０（剣の模型）を所持し、これを操作して、移動通信端末２０（スピーカ）から音声を出力させる例を表している。この例では、剣の模型の振り方に応じて、異なる音が出力される。このように、ユーザは、動作検出装置１０を、玩具４０だけでなく、自らの腕に装着することもできる。

【0022】

なお、移動通信端末２０には玩具４０の種類の違いや、操作の違いに応じて複数の動作検出アプリケーションが用意されているものとする。このため、ユーザは、例えば、音声や映像が出力されることのない既存の玩具であっても、玩具の種類に応じた動作検出アプリケーションを選択させることで様々な音声を出力させることが可能となる。なお、上記説明では、移動通信端末２０として、スマートフォン、タブレット、スピーカを例示したが、本発明はこれらの例に限られず、ノートＰＣやディスプレイ等であってもよい。

【0023】

図２は、第１の実施形態に係る動作検出装置１０の外観を示す図である。図２（ａ）に例示されるように、動作検出装置１０は、センサや無線通信装置等を内蔵する筐体１０−１と、玩具４０又はユーザの腕若しくは手首に装着するためのベルト１０−２を有する。ベルト１０−２は、筐体１０−１の相対する二側面に接続される。図２（ｂ）は、筐体１０−１とベルト１０−２の接続部１０−３を拡大して示した図である。図２（ｂ）に例示するように、動作検出装置１０は、光を取り込むための穴１０−５を有していてもよい。図２（ｃ）は、筐体１０−１とベルト１０−２の接続部１０−３の断面図を示している。

【0024】

なお、動作検出装置１０は、玩具４０又はユーザの腕若しくは手首に装着可能な構成であれば、いかなる構成であってもよく、例えば、ベルト１０−２の代わりに、ケーブル、テープ、マグネット、クリップ等を用いるようにしてもよい。

【0025】

≪ ２． ハードウェア構成 ≫
図３、図４を用いて、本発明の第１の実施形態に係る動作検出装置１０及び移動通信端末２０のハードウェア構成を説明する。

【0026】

≪ 動作検出装置 ≫
図３は、本発明の第１の実施形態に係る動作検出装置１０のハードウェア構成を示す図である。動作検出装置１０は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、センサ１４と、無線通信装置１５と、電池１６とを有する。

【0027】

ＣＰＵ１１は、動作検出装置１０を制御するプログラムを実行する。ＲＯＭ１２は、ＣＰＵ１１が実行するプログラムや、プログラムの実行に必要なデータを記憶する。ＲＡＭ１３は、ＣＰＵ１１のワークエリアとして機能する。センサ１４は、ユーザの動作を検出するセンサであり、例えば、加速度センサである。加速度センサは、例えば、Ｘ、Ｙ、Ｚ軸の三軸方向の加速度データを検出する。また、センサ１４は、角速度センサや、光センサ、圧力センサであってもよい。あるいは、センサ１４は、これらの任意のセンサの組み合わせであってもよい。ただし、以下では、センサ１４が加速度センサである場合を例に説明する。無線通信装置１５は、Bluetooth、ZigBeeその他の無線通信方式に従って通信を行う装置である。電池１６は、動作検出装置１０を駆動するための電力を供給する。バス１７は、電池１６を除く各装置を相互に接続する。

【0028】

≪ 移動通信端末 ≫
図４は、本発明の第１の実施形態に係る移動通信端末２０のハードウェア構成を示す図である。図４は、移動通信端末２０が、スマートフォンである場合のハードウェア構成の一例を示している。移動通信端末２０は、ＣＰＵ（コンピュータ）２１と、ＲＯＭ２２と、ＲＡＭ２３と、ディスプレイ２４と、スピーカ２５と、フラッシュメモリ２６と、無線通信装置２７と、入力装置２８と、マイク２９とを有する。

【0029】

ＣＰＵ２１は、移動通信端末２０を制御するプログラム（例えば、玩具４０の種類の違いや操作の違いに応じた複数の動作検出アプリケーション）を実行する。ＲＯＭ２２は、ＣＰＵ２１が実行するプログラムや、プログラムの実行に必要なデータを記憶する。ＲＡＭ２３は、ＣＰＵ２１のワークエリアとして機能する。ディスプレイ２４は、例えば液晶パネルを駆動して映像データを出力する装置である。スピーカ２５は、電気信号を物理振動に変えて、音声データを出力する装置である。フラッシュメモリ２６は、ＲＯＭ２２と同様に、ＣＰＵ２１が実行するプログラムや、その実行に必要なデータを記憶する。また、フラッシュメモリ２６は、音声データや映像データのように、大容量のデータを記憶するためにも使用される。無線通信装置２７は、Bluetooth、ZigBeeその他の無線通信方式に従って通信を行う装置である。入力装置２８は、キーボード、操作ボタン又はタッチパネルのようなデバイスであり、ユーザからの操作を受け付ける。マイク２９は、音声による物理振動を電気信号に変換する装置である。バス３０は、上記の各装置を相互に接続する。

【0030】

≪ ３．機能 ≫
図５、図６を用いて、本発明の第１の実施形態に係る動作検出システム１の機能ブロックについて説明する。

【0031】

≪ 動作検出装置 ≫
はじめに、図５を用いて、本発明の第１の実施形態に係る動作検出装置１０の機能を説明する。動作検出装置１０は、検出部１０１と通信部１０２とを有する。

【0032】

検出部１０１は、図３のセンサ１４を含み、ユーザの動作を検出し、その動作を示す動作データ（以後、検出データと呼ぶ）を、通信部１０２を通じて、随時、移動通信端末２０に送信する。例えば、センサ１４が加速度センサである場合には、検出部１０１は、ユーザの動作に応じた三軸方向の加速度データを検出する。

【0033】

通信部１０２は、図３の無線通信装置１５を含み、検出部１０１により検出された三軸方向の加速度データを検出データとして、無線通信により移動通信端末２０に送信する（つまり、通信部１０２は検出データの送信部として機能する）。

【0034】

≪ 移動通信端末 ≫
次に、図５を用いて、本発明の第１の実施形態に係る移動通信端末２０の機能を説明する。なお、以下では、移動通信端末２０の機能を、「基本機能」と、「登録機能」と、「出力機能」とに分けて説明する。

【0035】

≪ 基本機能 ≫
図５に示されるように、移動通信端末２０は、記憶部２０１と、通信部２０２と、入力受付部２０３と、切替部２０４とを有する。

【0036】

記憶部２０１は、図４のＲＯＭ２２又はフラッシュメモリ２６を含み、関連付けデータ２３１と、登録波形データ２３２と、閾値データ２３３と、出力データ２３４と、アプリデータ２３５とを記憶する。

【0037】

関連付けデータ２３１は、ユーザの動作（ジェスチャ）と、出力すべき音声又は映像データ（出力データ）とを関連付けるデータである。関連付けデータ２３１は、例えば、図８、図９、図１０に例示されるテーブルによって保持される。図８、図９、図１０は、それぞれ、異なる態様の関連付けデータ２３１−１、２３１−２、２３１−３を保持するテーブルの一例を示す図である。

【0038】

図８に示される関連付けデータ２３１−１を保持するテーブルは、情報の項目として、"登録波形番号"と、"出力データ"とを有する。"登録波形番号"には、ユーザの各動作に応じて検出される三軸方向の加速度データを含み、加速度の変化を表す波形データ（登録波形データ）にそれぞれ付された番号が記載される。登録波形番号が異なる登録波形データは、ユーザの異なる動作を表している。予め登録された登録波形データの一例を図７（ａ）に示す。なお、登録波形データそのものは、別途、記憶部２０１に記憶されている。"出力データ"には、動作検出装置１０から登録波形データと同じ検出データ（三軸方向の加速度データ）が入力された場合に出力される、音声又は映像データを特定する情報が記載される。図８の例では、音声又は映像データのファイル名が記載されている。

【0039】

図９、図１０に示される関連付けデータ２３１−２、２３１−３を保持するテーブルは、情報の項目として"条件（閾値）"と、"条件（アプリデータ）"と、"出力データ"とを有する。"条件（閾値）"には、動作検出装置１０から送信される検出データ（三軸方向の加速度データ）に基づいてユーザの動作を識別するための閾値が記載される。"条件（アプリデータ）"には、別途、記憶部２０１に記憶されるアプリデータ２３５に基づいて出力データを切り替えるための条件が記載される。なお、アプリデータ２３５は、例えば、玩具４０の状態を示し、所定の動作に応じて有効となるフラグ（玩具４０が乗用車の場合にあっては、エンジンがかかった状態にあるのか、かかっていない状態にあるのかを示すフラグ等）である。あるいは、出力データとして出力された音声又は映像データの出力履歴を示すデータである。いずれにしても、アプリデータ２３５は、出力データを切り替えるために用いられる。"出力データ"には、動作検出装置１０から、"条件（閾値）"を満たす検出データが入力され、かつ、"条件（アプリデータ）"が満たされた場合に、出力される音声又は映像データのファイル名が記載される。

【0040】

図５の説明に戻る。登録波形データ２３２は、関連付けデータ２３１−１においてユーザの動作を識別するために用いられるデータである。登録波形データ２３２は、所定期間内の、Ｘ軸、Ｙ軸、Ｚ軸方向の加速度データを含み、加速度の変化を示す波形データである。図７（ａ）は、登録波形データ２３２の一例である。

【0041】

閾値データ２３３は、関連付けデータ２３１−２、２３１−３においてユーザの動作を識別するために用いられるデータである。閾値データ２３３は、動作検出装置１０から送信される検出データ（三軸方向の加速度データ）の最大値と比較するための閾値である。閾値データ２３３には、図９、図１０に示される関連付けデータ２３１−２、２３１−３に示される、閾値Ａ、Ｂ、Ｃが含まれる。

【0042】

出力データ２３４は、音声又は映像データであり、図８、図９、図１０に例示されるように、任意の形式のファイルにより提供される。また、図示しないが、出力データ２３４は、ａｖｉ、３ｇｐ、ｍｏｖ形式等の動画ファイルであってもよい。また、図示しないが、出力データ２３４は、移動通信端末２０に所定のパターンの振動（バイブレーション）を発生させるための振動データであってもよい。

【0043】

アプリデータ２３５は、移動通信端末２０上で動作する動作検出アプリケーションごとに用意され、出力データの選択に用いられるデータである。アプリデータ２３５には、玩具４０の状態を示し所定の動作に応じて有効となるフラグや、出力データの出力履歴を示すデータが含まれる。

【0044】

通信部２０２は、図４の無線通信装置２７を含み、動作検出装置１０との無線接続を確立し、動作検出装置１０から送信される検出データを受信する（つまり、検出データの受信部として機能する）。

【0045】

入力受付部２０３は、図４の入力装置２８を含み、ユーザからの操作入力を受け付ける。

【0046】

切替部２０４は、図４のＣＰＵ２１の処理によって実現され、入力受付部２０３が受け付けたユーザの操作入力に応じて、移動通信端末２０により実現される機能（後述する登録機能と出力機能と）を切り替える。

【0047】

≪ 登録機能 ≫
移動通信端末２０の動作検出アプリケーションは、ユーザの動作に応じて検出される検出データと、予め用意された出力データ又は録音によって得られる新たな出力データとを関連付ける、登録機能を有する。登録機能を実現するため、移動通信端末２０は、登録部２０５と、録音部２０６とを有する。

【0048】

登録部２０５は、図４のＣＰＵ２１の処理によって実現され、ユーザの動作に応じて検出される検出データを、登録波形データとして記憶部２０１に記憶する。また、登録波形データを表す登録波形番号を、予め用意された出力データ又は録音によって得られる新たな出力データとを関連付けて、関連付けデータ２３１−１としてテーブル（図８）に追加する。

【0049】

具体的には、登録部２０５は、まず、入力受付部２０３を通じて、ユーザから、登録しようとする動作に応じて検出される検出データに付すべき番号の入力を受け付ける。入力された番号は、関連付けデータ２３１−１の登録波形番号として用いられる。次に、登録部２０５は、入力受付部２０３を通じて、ユーザの動作に応じて検出される検出データと関連付ける出力データを、予め用意されたものから選択するか、新たに録音するかの選択を受け付ける。ユーザが後者を選択した場合には、後述する録音部２０６を通じて、出力データの録音を行う。次に、登録部２０５は、登録しようとする動作を行うようユーザに指示し、ユーザの動作に応じて動作検出装置１０によって検出された検出データを受信する。そして、登録部２０５は、入力された番号と関連付けて、検出データを新たな登録波形データ２３２として記憶部２０１に記憶する。最後に、登録部２０５は、入力された番号と、選択又は録音された出力データのファイル名とを有する新たなエントリを、関連付けデータ２３１−１としてテーブル（図８）に追加する。

【0050】

録音部２０６は、図４のマイク２９を含み、登録部２０５からの指示に応じて、出力データの録音を行う。

【0051】

≪ 出力機能 ≫
移動通信端末２０の動作検出アプリケーションは、動作検出装置１０で検出された検出データを受信し、その検出データが所定の条件を満たすとき、所定の出力データを出力する、出力機能を有する。出力機能を実現するため、移動通信端末２０は、比較部２０７と、選択部２０８と、出力部２０９と、アプリデータ更新部２１０とを有する。

【0052】

比較部２０７は、図４のＣＰＵ２１の処理によって実現され、動作検出装置１０から受信した検出データを、登録波形データ又は閾値と比較し、比較結果を選択部２０８に渡す。図６は、比較部２０７をさらに詳細に表す機能ブロックである。比較部２０７は、検出データ取得部２５１と、登録波形データ読込部２５２と、波形比較部２５３と、閾値データ読込部２５４と、閾値比較部２５５と、結果出力部２５６とを有する。

【0053】

検出データ取得部２５１は、動作検出装置１０から受信した検出データを取得する。登録波形データ読込部２５２は、記憶部２０１に記憶された登録波形データ２３２を読み込む。

【0054】

波形比較部２５３は、検出データ取得部２５１が取得した検出データ（例えば、図７（ｂ））と、登録波形データ読込部２５２が読み込んだ登録波形データ（例えば、図７（ａ））とを比較し、検出データと類似する登録波形データを特定する。具体的には、波形比較部２５３は、例えば、非特許文献１、２等に開示される既存技術によりパターンマッチングを行い、検出データと類似する登録波形データの登録波形番号を特定する。非特許文献１、２に記載の方法によれば、検出データと登録波形データとの類似度は、各データ間の「距離」によって求められる（類似度が高いほど距離が小さくなる）。なお、距離の具体的な算出方法の説明は、ここでは省略する。

【0055】

波形比較部２５３は、特定した登録波形番号を結果出力部２５６に渡す。なお、波形比較部２５３は、類似する登録波形データがない場合（すなわち、算出された距離がいずれも大きい場合）、対応する登録波形番号がない旨の結果を、結果出力部２５６に渡してもよい。あるいは、波形比較部２５３は、検出データと登録波形データとの間の距離によらず、常に、算出された距離が最も小さい登録波形データを特定し、その登録波形番号を、結果出力部２５６に渡してもよい。

【0056】

閾値データ読込部２５４は、記憶部２０１に記憶された閾値データ２３３を読み込む。閾値比較部２５５は、検出データ取得部２５１が取得した検出データに含まれる各軸方向の加速度データ（例えば、図７（ｂ））の最大値と、閾値データ読込部２５４が読み込んだ閾値データ２３３の示す、各軸の閾値Ａ、Ｂ、Ｃとをそれぞれ比較する。また、比較の結果を、結果出力部２５６に渡す。結果出力部２５６は、波形比較部２５３又は閾値比較部２５５から受け取った結果を、選択部２０８に出力する。

【0057】

このように、比較部２０７は、検出データそのものに基づいて、あるいは検出データの最大値に基づいてユーザの動作が予め登録された動作のいずれと同じであるかを判定する判定部として機能する。

【0058】

図５の説明に戻る。選択部２０８は、図４のＣＰＵ２１の処理によって実現される。選択部２０８は、比較部２０７（結果出力部２５６）から結果（すなわち、登録波形番号又は閾値との比較結果）を受け取ると、関連付けデータ２３１（図８〜図１０のいずれか）を参照する。また、選択部２０８は、必要に応じて、記憶部２０１に記憶されたアプリデータ２３５を参照する。そして、選択部２０８は、登録波形番号に対応する出力データ（図８）、又は、閾値若しくはアプリデータの条件を満たす出力データ（図９又は図１０）を選択する。そして、選択部２０８は、選択した出力データを、出力部２０９に渡す。さらに、選択部２０８は、比較部２０７（結果出力部２５６）から受け取った結果と、選択した出力データとを、アプリデータ更新部２１０に渡してもよい。

【0059】

出力部２０９は、図４のディスプレイ２４又はスピーカ２５を含み、選択部２０８から受け取った出力データを出力する。

【0060】

アプリデータ更新部２１０は、図４のＣＰＵ２１の処理によって実現され、選択部２０８から受け取った結果と選択した出力データとを用いて、アプリデータ２３５を更新する。例えば、アプリデータ更新部２１０は、検出データに含まれる各軸方向の加速度データの最大値が所定の条件（閾値）を満たしたとき、フラグをＯＮまたはＯＦＦに設定する。あるいは、出力部２０９が出力した出力データのファイル名を出力履歴に追加する。

【0061】

≪ ４． 動作例 ≫
図１１〜図１６を用いて、本発明の第１の実施形態に係る動作検出システム１の動作を説明する。図１１〜図１６に示される例では、ユーザの動作に応じて検出される検出データと、録音によって入力した出力データとの関連付けを行う登録処理と、ユーザの動作を識別し、識別した動作と関連付けられた出力データを出力する出力処理とを説明する。図１１〜図１６に示される例では、閾値データ２３３及びアプリデータ２３５は使用しない。従って、図１１〜図１６に示される例では、比較部２０７の閾値データ読込部２５４及び閾値比較部２５５、並びに、アプリデータ更新部２１０は利用しない。

【0062】

≪ 登録処理 ≫
図１１を用いて、動作検出システム１が実行する登録処理を説明する。図１１に示される登録処理は、動作検出装置１０と移動通信端末２０とが無線通信により接続され、ユーザが登録処理を実行するよう移動通信端末２０に指示した後に実行される。すなわち、上述した移動通信端末２０の切替部２０４によって、移動通信端末２０により実現される機能が、登録機能に切り替えられた後に実行される。

【0063】

まず、入力受付部２０３は、ユーザから、登録しようとする動作に応じて検出される検出データに付すべき番号の入力を受け付ける（ステップＳ１０１）。次に、入力受付部２０３は、ユーザから、出力データの指定方法（予め用意されたものから選択するか、新たに録音するか）の選択を受け付ける（ステップＳ１０２）。ここで、出力データを新たに録音する場合には（ステップＳ１０３のＹＥＳ）、録音部２０６は、新たな音声の録音を行う（ステップＳ１０５）。一方、予め用意された出力データを使う場合には（ステップＳ１０３のＮＯ）、入力受付部２０３は、ディスプレイ２４上に表示された出力データのリストから、ユーザが選択した出力データを受け付ける（ステップＳ１０４）。

【0064】

その後、登録部２０５は、ディスプレイ２４又はスピーカ２５等を通じて、ユーザに、登録しようとする動作を行うよう指示する。登録部２０５は、ユーザの動作に応じて動作検出装置１０の検出部１０１によって検出された検出データを受信する（ステップＳ１０６）。次に、登録部２０５は、受信した検出データを、ステップＳ１０１で受け付けた番号と関連付けて登録波形データとして記憶部２０１に記憶する（ステップＳ１０７）。そして、登録部２０５は、ステップＳ１０１で受け付けた番号と、録音された出力データ（図８）のファイル名とを有する新たなエントリを、関連付けデータ２３１−１としてテーブルに追加する（ステップＳ１０８）。

【0065】

≪ 出力処理 ≫
図１２を用いて、動作検出システム１が実行する出力処理を説明する。図１２に示される出力処理は、動作検出装置１０と移動通信端末２０とが無線通信により接続され、ユーザが出力処理を実行するよう移動通信端末２０に指示した後に実行される。すなわち、上述した移動通信端末２０の切替部２０４によって、移動通信端末２０により実現される機能が、出力機能に切り替えられた後に実行される。なお、出力処理が実行される時点で、ユーザは、動作検出装置１０を装着して、玩具４０が操作できる状態にあるものとする。

【0066】

まず、比較部２０７（検出データ取得部２５１）は、通信部２０２を通じて、動作検出装置１０から送信される検出データを受信する（ステップＳ２０１）。次に、比較部２０７（登録波形データ読込部２５２）は、記憶部２０１に記憶された登録波形データ２３２を読み込む（ステップＳ２０２）。次に、比較部２０７（波形比較部２５３）は、検出データと登録波形データ２３２とを、パターンマッチングを行うことにより比較する（ステップＳ２０３）。そして、比較部２０７が類似する登録波形データを特定できた場合には（ステップＳ２０４のＹＥＳ）、選択部２０８は、関連付けデータ２３１を参照し、特定した登録波形データの登録波形番号に関連付けられた出力データを選択する（ステップＳ２０５）。さらに、出力部２０９は、ステップＳ２０５で選択された出力データを出力する（ステップＳ２０６）。一方、比較部２０７が類似する登録波形データを特定できなかった場合には（ステップＳ２０４のＮＯ）、出力データを出力することなく処理を終了する。なお、上記処理は、ユーザが玩具４０を操作している間、繰り返し実行される。

【0067】

≪ 登録処理の具体例 ≫
図１３を用いて、動作検出システム１が実行する登録処理を、具体的に説明する。なお、以下では、図８に例示されるテーブルに、関連付けデータが何も登録されていないものとして説明を行う。

【0068】

まず、入力受付部２０３は、ユーザから、登録しようとする動作に応じて検出される検出データに付すべき番号「１」の入力を受け付ける（ステップＳ３０１）。入力受付部２０３は、受け付けた番号「１」を、登録部２０５に渡す（ステップＳ３０２）。次に、入力受付部２０３は、ユーザから、出力データを新たに録音する旨の選択入力を受け付ける（ステップＳ３０３）。入力受付部２０３は、出力データを新たに録音する選択がなされた旨を、登録部２０５に通知する（ステップＳ３０４）。登録部２０５は、録音部２０６に、出力データの録音を開始するよう指示する（ステップＳ３０５）。録音部２０６は、音又は映像による通知により、ユーザに音声の入力を促した後、録音を行う（ステップＳ３０６）。録音部２０６は、録音したデータを、出力データ２３４として、記憶部２０１に記憶し、そのファイル名「userdata_001.aac」を登録部２０５に通知する（ステップＳ３０７）。

【0069】

登録部２０５は、出力データの録音が終了すると、ユーザの動作に応じて検出される検出データの受信が可能である旨の通知を送信するよう、通信部２０２に指示する（ステップＳ３０８）。通信部２０２は、上記通知を、動作検出装置１０の通信部１０２に送信する（ステップＳ３０９）。通信部１０２は、受け取った通知を、検出部１０１に渡す（ステップＳ３１０）。このとき、登録部２０５は、並行して、ディスプレイ２４又はスピーカ２５等を通じて、ユーザに、登録しようとする動作を行うよう指示してもよい。

【0070】

ユーザが、玩具４０を操作する動作を行う（ステップＳ３１１）。検出部１０１は、ユーザの動作に応じて検出部１０１に加わる三軸方向の加速度データを検出する（ステップＳ３１２）。検出部１０１は、検出した三軸方向の加速度データを、検出データとして通信部１０２に渡す（ステップ３１３）。通信部１０２は、検出データを移動通信端末２０の通信部２０２に送信する（ステップＳ３１４）。通信部２０２は、受信した検出データを、登録部２０５に渡す（ステップＳ３１５）。

【0071】

さらに、ユーザが動作を継続した場合には、ステップＳ３１１〜Ｓ３１５と同様に、登録部２０５が、検出データを受け取る（ステップＳ３１６〜Ｓ３２０）。ステップＳ３１６〜Ｓ３２０と同様のステップは、この後、所定回数繰り返される。図７（ａ）に示される波形データは、このようにして、一定時間の間に受け取られた検出データを表している。登録部２０５は、一定時間の間に受け取った検出データを、ステップＳ３０１で入力された番号「１」と関連付けられた登録波形データ２３２として記憶する（ステップＳ３２１）。そして、登録部２０５は、ステップＳ３０１で入力された番号「１」を登録波形番号とし、ステップＳ３０６で録音されたファイルを出力データ「userdata_001.aac」とする関連付けデータ２３１−１を、テーブル（図８）に追加する（ステップＳ３２２）。

【0072】

≪ 出力処理の具体例 ≫
図１４を用いて、動作検出システム１が実行する出力処理を具体的に説明する。図１４の出力処理に際して、ユーザは、移動通信端末２０上でいずれかの動作検出アプリケーションを起動させているものとする。また、動作検出装置１０と移動通信端末２０とは通信可能となっており、ユーザは玩具４０が操作できる状態になっているものとする。なお、以下の説明では、図８に例示される関連付けデータ２３１−１を用いるものとする。図１５（ａ）〜（ｃ）は、図８の関連付けデータ２３１−１に含まれる、登録波形番号「１」〜「３」に対応する登録波形データ２３２の一例である。

【0073】

まず、動作検出装置１０が装着された状態で、ユーザが玩具４０を操作する動作を行う（ステップＳ４０１）。検出部１０１は、ユーザの動作に応じて検出部１０１に加わる三軸方向の加速度データを検出する（ステップＳ４０２）。検出部１０１は、検出した三軸方向の加速度データを、検出データとして通信部１０２に渡す（ステップＳ４０３）。通信部１０２は、検出データを、移動通信端末２０の通信部２０２に送信する（ステップＳ４０４）。通信部２０２は、受信した検出データを、比較部２０７の検出データ取得部２５１に渡す（ステップＳ４０５）。

【0074】

ここで、検出データは、一定期間の間、動作検出装置１０から複数回に渡って受信する。ここでの説明に用いる検出データは、一定期間の間に受信された、ひとまとまりの検出データを表すものとする。

【0075】

波形比較部２５３は、検出データ取得部２５１から、図１５（ｄ）に示される検出データを受け取る（ステップＳ４０６）。また、波形比較部２５３は、登録波形データ読込部２５２が読み込んだ、登録波形データ（ここでは、図１５（ａ）〜（ｃ）の波形データ）を受け取る（ステップＳ４０７）。そして、波形比較部２５３は、受け取った検出データと登録波形データとを比較する（ステップＳ４０８）。波形比較部２５３は、例えば、非特許文献１、２に記載の方法により、両データ間の距離を求め、図１６の「動作１」で示されるような結果を得る。ここでは、検出データ（図１５（ｄ））と、登録波形番号「１」（すなわち図１５（ａ））との距離が「７２０」である。同様に、検出データと、登録波形番号「２」（図１５（ｂ））との距離が「１０１９」であり、登録波形番号「３」（図１５（ｃ）））との距離が「１１７０」である。よって、波形比較部２５３は、検出データとの距離が最も小さい登録波形番号「１」を、比較の結果として、結果出力部２５６に渡す（ステップＳ４０９）。

【0076】

選択部２０８は、比較部２０７の結果出力部２５６から、比較の結果である登録波形番号「１」を受け取る（ステップＳ４１０）。次に、選択部２０８は、関連付けデータ２３１を参照し、登録波形番号「１」に対応する出力データ「userdata_001.aac」を、出力すべきデータとして選択する（ステップＳ４１１）。次に、選択部２０８は、選択した出力データを出力するよう、出力部２０９に指示する（ステップＳ４１２）。出力部２０９は、「userdata_001.aac」を出力する（ステップＳ４１３）。

【0077】

その後、さらなるユーザの動作により、上述したステップＳ４０１〜Ｓ４０６と同様に、波形比較部２５３では、図１５（ｅ）に例示される検出データを受け取る（ステップＳ４１４〜Ｓ４１９）。波形比較部２５３は、上述したステップＳ４０７、Ｓ４０８と同様に、検出データと登録波形データとを比較し、図１６の「動作２」で示される距離を算出し、最も類似する登録波形データの登録波形番号「２」を特定する（ステップＳ４２０、Ｓ４２１）。そして、上述したステップＳ４０９〜Ｓ４１３と同様の処理により、出力部２０９は、登録波形番号「２」に対応する出力データ「preset_001.wav」を出力する（ステップＳ４２２〜Ｓ４２６）。

【0078】

以後、同様に、ユーザが動作検出アプリケーションの終了を指示するまで、上記の処理は繰り返され、ユーザの動作に対応する出力データが、移動通信端末２０より出力される。例えば、図１５（ｆ）に示される検出データが検出された場合に、図１５（ａ）〜（ｃ）の登録波形データとの各距離は、図１６の「動作３」で示される通りとなる。その結果、登録波形番号「３」と関連付けられた出力データ「preset_002.wav」が出力される。

【0079】

以上のように、本実施形態によれば、ユーザは、既存の玩具４０に動作検出装置１０を装着し、所定の動作を行うことにより、その動作に対応した音声を、移動通信端末２０に出力させることができる。また、ユーザは、登録機能を用いることにより、所望の動作と所望の音声とを登録することができる。その結果、ユーザは、既存の玩具４０を用いてリアリティのある遊びを経験することができる。

【0080】

≪ 閾値データ／アプリデータを利用する例 ≫
図１１〜図１６の例では、閾値データ２３３及びアプリデータ２３５を使用しない場合について説明した。すなわち、比較部２０７の閾値データ読込部２５４及び閾値比較部２５５、並びに、アプリデータ更新部２１０を利用しない場合について説明した。一方、以下では、図１７〜図１９を用いて、閾値データ２３３及びアプリデータ２３５を利用し、比較部２０７の閾値データ読込部２５４及び閾値比較部２５５、並びに、アプリデータ更新部２１０を利用する例について説明する。

【0081】

図１７を用いて、閾値データ２３３及びアプリデータ２３５を利用する場合の、動作検出システム１が実行する出力処理について説明する。図１７に示される出力処理は、図１２を用いて説明した出力処理と同様に、動作検出装置１０と移動通信端末２０とが無線通信により接続され、ユーザが出力処理を実行するよう移動通信端末２０に指示した後に実行される。すなわち、上述した移動通信端末２０の切替部２０４によって、移動通信端末２０により実現される機能が、出力機能に切り替えられた後に実行される。なお、出力処理が実行される時点で、ユーザは、動作検出装置１０を装着して玩具４０が操作できる状態にあるものとする。

【0082】

まず、比較部２０７（検出データ取得部２５１）は、通信部２０２を通じて、動作検出装置１０から送信される検出データを受信する（ステップＳ５０１）。次に、閾値データ読込部２５４は、閾値データ２３３（例えば、各軸の閾値Ａ、Ｂ、Ｃ）を読み込む（ステップＳ５０２）。次に、閾値比較部２５５は、検出データ取得部２５１が取得した検出データに含まれる各軸方向の加速度データ（例えば、図７（ｂ））の最大値と、閾値データ読込部２５４が読み込んだ閾値データの各軸の閾値Ａ、Ｂ、Ｃとを比較する（ステップＳ５０３）。

【0083】

次に、選択部２０８は、記憶部２０１に記憶された、アプリデータ２３５を読み込む（ステップＳ５０４）。次に、選択部２０８は、関連付けデータ２３１−２又は２３１−３を読み込む（ステップＳ５０５）。そして、条件（閾値の条件及びアプリデータの条件）が満たされた場合には（ステップＳ５０６のＹＥＳ）、満たされた条件に対応する出力データを選択する（ステップＳ５０７）。そして、出力部２０９は、ステップＳ５０７で選択された出力データを出力する（ステップＳ５０８）。

【0084】

ステップＳ５０８の後、あるいは、ステップＳ５０６で条件が満たされなかった場合には、アプリデータ更新部２１０は、必要に応じてアプリデータ２３５を更新する（ステップＳ５０９）。

【0085】

なお、上記処理は、図１２を用いて説明した処理と同様に、ユーザが玩具４０を操作している間、繰り返し実行され得る。
≪ 所定の動作に応じて有効となるフラグを用いる例 ≫
図１８を用いて、閾値データ２３３及びアプリデータ２３５を用いる出力処理の具体例を説明する。ここでは、アプリデータ２３５として、所定の動作に応じて有効となるフラグを用いるものとする。当初、フラグはＯＦＦに設定されているものとする。図１４を用いて説明した例と同様に、ユーザは、移動通信端末２０上でいずれかの動作検出アプリケーションを起動させているものとする。また、動作検出装置１０と移動通信端末２０とは通信可能となっており、ユーザは玩具４０が操作できる状態になっているものとする。

【0086】

まず、ユーザの動作に応じて、動作検出装置１０によって検出された検出データが、移動通信端末２０の検出データ取得部２５１により取得されるステップＳ６０１〜Ｓ６０５は、図１４のステップＳ４０１〜Ｓ４０５と同様である。閾値比較部２５５は、検出データ取得部２５１から、検出データを受け取る（ステップＳ６０６）。また、閾値比較部２５５は、閾値データ読込部２５４の読み込んだ、閾値データ（ここでは、検出データに含まれる各軸方向の加速度データに対する閾値Ａ、Ｂ、Ｃ）を受け取る（ステップＳ６０７）。そして、閾値比較部２５５は、受け取った検出データに含まれる、各軸方向の加速度データの最大値と、閾値Ａ、Ｂ、Ｃとを、それぞれ比較する（ステップＳ６０８）。ここでは、Ｘ軸方向の加速度データの最大値が、閾値Ａを上回り、Ｙ、Ｚ軸方向の加速度データの最大値は、閾値Ｂ、Ｃを下回ったものとする。閾値比較部２５５は、比較の結果（Ｘ＞Ａ）を、結果出力部２５６に渡す（ステップＳ６０９）。

【0087】

選択部２０８は、比較部２０７の結果出力部２５６から、比較の結果である「Ｘ＞Ａ」を受け取る（ステップＳ６１０）。次に、選択部２０８は、記憶部２０１に記憶されたアプリデータ２３５（フラグ）を読み込む（ステップＳ６１１）。ここでは、フラグは「ＯＦＦ」であるものとする。そして、選択部２０８は、関連付けデータ２３１−２（図９）を参照し、条件（閾値）「Ｘ＞Ａ」と条件（アプリデータ）「フラグＯＦＦ」に対応する、出力データ「ignition.mp3」を、出力すべきデータとして選択する（ステップＳ６１２）。次に、選択部２０８は、選択した出力データを出力するよう、出力部２０９に指示する（ステップＳ６１３）。出力部２０９は、「ignition.mp3」を出力する（ステップＳ６１４）。

【0088】

さらに、アプリデータ更新部２１０は、選択部２０８から、比較の結果である「Ｘ＞Ａ」と、アプリデータ「フラグＯＦＦ」を受け取る（ステップＳ６１５）。そして、アプリデータ更新部２１０は、記憶部２０１に記憶されたアプリデータ２３５を「フラグＯＮ」に更新する（ステップＳ６１６）。なお、アプリデータ更新部２１０は、比較の結果が「Ｘ＞Ａ」であり、かつ、アプリデータ２３５として「フラグＯＦＦ」を受け取った場合にのみ、アプリデータ２３５を「フラグＯＮ」とする更新処理を行うものとする。

【0089】

その後、さらなるユーザの動作により、上述したステップＳ６０１〜Ｓ６０６と同様に、閾値比較部２５５が、検出データを受け取る（ステップＳ６１７〜Ｓ６２２）。閾値比較部２５５は、上述したステップＳ６０７、Ｓ６０８と同様に、検出データに含まれる、各軸方向の加速度データの最大値と、閾値Ａ、Ｂ、Ｃとを、それぞれ比較する（ステップＳ６２３、Ｓ６２４）。そして、上述したステップＳ６０９、Ｓ６１０と同様に、比較の結果が選択部２０８に渡される（ステップＳ６２５、Ｓ６２６）。なお、ここでは、比較の結果は、「Ｘ＞ＡかつＹ＞Ｂ」であるものとする。

【0090】

次に、選択部２０８は、記憶部２０１に記憶されたアプリデータ２３５として「フラグＯＮ」を読み込む（ステップＳ６２７）。選択部２０８は、関連付けデータ２３１−２（
図９）を参照し、条件（閾値）「Ｘ＞ＡかつＹ＞Ｂ」と条件（アプリデータ）「フラグＯＮ」に対応する、出力データ「drift.mp3」を、出力すべきデータとして選択する（ステップＳ６２８）。次に、選択部２０８は、選択した出力データを出力するよう、出力部２０９に指示する（ステップＳ６２９）。出力部２０９は、「drift.mp3」を出力する（ステップＳ６３０）。

【0091】

さらに、アプリデータ更新部２１０は、選択部２０８から、比較の結果である「Ｘ＞ＡかつＹ＞Ｂ」と、アプリデータ２３５として「フラグＯＮ」を受け取る（ステップＳ６３１）。ここでは、アプリデータ更新部２１０は、アプリデータ２３５の更新を行わない。

【0092】

以上の動作により、ユーザは、例えば、乗用車の玩具に、本実施形態に係る動作検出装置１０を取り付け、その玩具を操作し、本実施形態に係る移動通信端末２０を通じて、本物の乗用車の動作に対応した音を楽しむことができる。

【0093】

なお、上記の動作の例では、Ｘ軸の正の方向が、乗用車の進行方向に対応し、Ｙ軸の正の方向が、乗用車の右手方向に対応し、Ｚ軸の正の方向が、乗用車の真上の方向に対応している。すなわち、「フラグＯＦＦ」（エンジンがかかっていない状態）である場合に、乗用車が前方に操作されると、図９の関連付けデータ２３１−２に示されるように、エンジンがかかった音である「ignition.mp3」が出力されることになる。そして、「フラグＯＮ」（エンジンがかかっている状態）である場合に、さらに乗用車が前方に操作されると、エンジンの駆動音である「drive.mp3」が出力される。さらに、エンジンがかかった状態で、左右方向への操作が検出されると、ドリフトした音である「drift.mp3」が出力され、上下方向の操作が検出されると、クラッシュした音である「crash.mp3」が出力される。また、クラッシュした後は、アプリデータ更新部２１０により、フラグの設定がＯＦＦにされる。

【0094】

≪ 出力データの出力履歴を用いる例 ≫
図１９を用いて、閾値データ２３３及びアプリデータ２３５を用いる出力処理の異なる具体例を説明する。ここでは、アプリデータ２３５として、移動通信端末２０が出力した出力データの出力履歴を用いるものとする。図１４、図１８を用いて説明した例と同様に、ユーザは、移動通信端末２０上でいずれかの動作検出アプリケーションを起動させているものとする。また、動作検出装置１０と移動通信端末２０とは通信可能となっており、ユーザは玩具４０が操作できる状態になっているものとする。

【0095】

まず、動作検出装置１０により検出された検出データを、移動通信端末２０が受信し、閾値と比較して、比較の結果を選択部２０８に渡すステップＳ７０１〜Ｓ７１０は、図１８のステップＳ６０１〜Ｓ６１０と同様である。なお、閾値比較部２５５による比較の結果も、図１８を用いて説明した例と同様に、「Ｘ＞Ａ」であるものとする。次に、選択部２０８は、記憶部２０１に記憶されたアプリデータ２３５（出力履歴）を読み込む（ステップＳ７１１）。ここでは、出力履歴は空（出力履歴なし）であるものとする。選択部２０８は、関連付けデータ２３１−３（図１０）を参照し、条件（閾値）「Ｘ＞Ａ」と条件（出力履歴）「履歴なし」に対応する、出力データ「preset_101.wav」を、出力すべきデータとして選択する（ステップＳ７１２）。次に、選択部２０８は、選択した出力データを出力するよう、出力部２０９に指示する（ステップＳ７１３）。出力部２０９は、「ignition.mp3」を出力する（ステップＳ７１４）。

【0096】

次に、アプリデータ更新部２１０は、選択部２０８から、選択された出力データのファイル名「preset_101.wav」を受け取る（ステップＳ７１５）。そして、アプリデータ更新部２１０は、記憶部２０１に記憶されたアプリデータ２３５に出力履歴として、「preset_101.wav」を記録する（ステップＳ７１６）。

【0097】

その後、さらなるユーザの動作により、上述したステップＳ７０１〜Ｓ７１６と同様の処理が繰り返され、アプリデータ２３５に出力履歴として、「preset_101.wav→preset_102.wav→preset_103.wav」が記録されたとする。

【0098】

上述したステップＳ７０１〜Ｓ７０８と同様に、閾値比較部２５５が、検出データを受け取ると、閾値比較部２５５は、検出データに含まれる、各軸方向の加速度データの最大値と、閾値Ａ、Ｂ、Ｃとをそれぞれ比較する（ステップＳ７１７〜Ｓ７２４）。そして、上述したステップＳ７０９、Ｓ７１０と同様に、比較の結果が選択部２０８に渡される（ステップＳ７２５、Ｓ７２６）。なお、ここでは、比較の結果は、「Ｘ＞ＡかつＹ＞ＢかつＺ＞Ｃ」であるものとする。

【0099】

次に、選択部２０８は、記憶部２０１に記憶されたアプリデータ２３５として、出力履歴「preset_101.wav→preset_102.wav→preset_103.wav」を読み込む（ステップＳ７２７）。選択部２０８は、関連付けデータ２３１−３（図１０）を参照する。そして、条件（閾値）「Ｘ＞ＡかつＹ＞ＢかつＺ＞Ｃ」と条件（出力履歴）「preset_101.wav→preset_102.wav→preset_103.wav」に対応する、出力データ「preset_103.wav」と「preset_special.wav」とを、出力すべきデータとして選択する（ステップＳ７２８）。次に、選択部２０８は、選択した出力データを出力するよう、出力部２０９に指示する（ステップＳ７２９）。出力部２０９は、「preset_103.wav」を出力し、その後に、「preset_special.wav」を出力する（ステップＳ７３０）。

【0100】

次に、アプリデータ更新部２１０は、選択部２０８から、選択された出力データのファイル名「preset_103.wav」と「preset_special.wav」を受け取る（ステップＳ７３１）。そして、アプリデータ更新部２１０は、記憶部２０１に記憶されたアプリデータ２３５の出力履歴として「履歴なし」を記録する（ステップＳ７３２）。

【0101】

以上のように、ユーザは、例えば、任意の玩具４０又は自分の腕に、本実施形態に係る動作検出装置１０を装着した状態で、自由に玩具４０を操作することで、本実施形態における移動通信端末２０を通じて出力される音を楽しむことができる。上記出力履歴を用いる例では、玩具４０に対して所定の順序で操作を行った場合にのみ、特別に用意された音が出力される。

【0102】

≪ ５． 応用例 ≫
以上、検出データと予め登録された登録波形データとが一致するとみなせる場合に所定の音を出力する例（図１４）と、検出データの最大値やアプリデータが所定の条件を満たす場合に所定の音を出力する例（図１８、図１９）とについて説明を行った。しかしながら、本発明は、これらの例に限られず、例えば、検出データと予め登録された登録波形データとが一致し、かつ、他の条件（例えば、閾値やアプリデータ）が満たされる場合に、所定の音を出力するようにしてもよい。一方で、本発明は、閾値条件のみを用いて検出データを判定し、所定の音を出力するようにしてもよい。

【0103】

また、上述した例では、動作検出装置１０が加速度センサを有する例を用いて説明を行った。しかしながら、本発明は、動作検出装置１０が光センサや圧力センサを有する場合であっても、同様に、光量又は圧力の変化を表すデータを用いて、上述した処理を実行し、同様の効果を得ることができる。

【0104】

［第２の実施形態］
上記第１の実施形態では、動作検出装置１０に内蔵された加速度センサにより検出された検出データを用いることで、ユーザの動作の種類を識別し、出力する音声又は映像データを切り替える構成について説明した。しかしながら、本発明はこれに限定されず、例えば、ユーザの動作が行われている方向（動作方向）を更に加味して、出力する音声又は映像データを切り替える構成としてもよい。以下、第２の実施形態について詳細に説明する。なお、上記第１の実施形態と同様の構成要素については、同じ参照番号を付すこととし、説明を省略する。

【0105】

≪ １． 概要 ≫
はじめに、図２０を用いて、第２の実施形態の概要を説明する。図２０は、第２の実施形態に係る動作検出システム１の利用例を示す図である。ユーザの動作の種類とユーザの動作が行われている方向とに基づいて、出力する音声又は映像データを切り替える機能として、本実施形態では、疑似ドラムセットの演奏機能を例に説明する。

【0106】

一般に、ドラムセットは、種類の異なる複数の打楽器を有し、それぞれの打楽器が、ユーザから見て横方向、奥行き方向、または高さ方向に分かれて配置されている。つまり、ユーザは、横方向、奥行き方向、または高さ方向が異なるそれぞれの方向に腕をのばし、それぞれの打楽器に対して、"叩く"という動作を行う。

【0107】

第２の実施形態に係る動作検出システム１では、実際のドラムが存在していなくても、ユーザの動作の種類（叩くという動作）と、ユーザの動作が行われている方向とに応じて、対応する打楽器の音を移動通信端末２０より出力する。

【0108】

つまり、第２の実施形態に係る動作検出システム１では、まず、ユーザの腕の方向が、複数の打楽器のうちのいずれの打楽器が配置されている方向にのびているのかを判別する。そして、当該方向においてユーザによる叩くという動作を検出した場合に、当該打楽器の音に対応する音を出力する。

【0109】

図２０の例では、ユーザは、動作検出装置１０を、右手首の部分と左手首の部分とにそれぞれ装着した様子を示している。図２０（ａ）に示すように、ユーザはいすに座った状態で、動作検出装置１０が装着された腕を、あたかもドラムセットを叩くかのごとく動かすだけで、移動通信端末２０からは、ドラムセットを叩いた場合に発生する音が出力される。

【0110】

この結果、図２０（ｂ）に示すように、ユーザは、実際には存在していないドラムセットを叩いて演奏するという、疑似体験を味わうことができる。

【0111】

図２１は、第２の実施形態に係る動作検出装置１０の外観を示す図である。図２１（ａ）に示すように、第２の実施形態に係る動作検出装置１０は、上記第１の実施形態において図２を用いて説明した動作検出装置１０と同様に、センサや無線通信装置等を内蔵する筐体１０−１と、ユーザに装着するためのベルト１０−２とを有する。

【0112】

ただし、第２の実施形態に係る動作検出装置１０の場合、筐体１０−１は、ユーザの手首に装着することを想定した腕時計型の形状を有しており、筐体１０−１の上面には、移動通信端末２０との通信を指示するためのボタン１０−６が設けられている。また、ベルト１０−２として、シリコン製のリストバンドが用いられており、ユーザは、ワンタッチで動作検出装置１０を手首に装着することができる（図２１（ｂ））。

【0113】

≪ ２．機能 ≫
次に図２２、図２３を用いて、第２の実施形態に係る動作検出システム１の機能ブロックについて説明する。なお、ここでは、図５、図６に示す機能ブロックとの相違点を中心に説明を行う。

【0114】

動作検出装置１０の機能ブロックのうち、上記第１の実施形態との相違点は、姿勢演算部２２０１を有する点である。姿勢演算部２２０１は、クォータニオンと呼ばれる三次元空間内の回転を表す値を演算して、これを動作検出装置１０の姿勢を示すデータ（姿勢データ）として利用する。姿勢演算部２２０１では、検出部１０１において検知された加速度データと角速度データを入力として、カルマンフィルタを用いて、逐次、動作検出装置１０の姿勢データを演算していく。

【0115】

姿勢演算部２２０１において演算された姿勢データは通信部１０２により移動通信端末２０に送信される。なお、通信部１０２では、検出部１０１において検出された検出データもあわせて移動通信端末２０に送信する。

【0116】

移動通信端末２０の機能ブロックのうち、上記第１の実施形態との相違点は、関連付けデータ２２２１の構成、閾値データ２２２２の構成、及び、比較部２２１１の構成である。

【0117】

第２の実施形態において、関連付けデータ２２２１は、ユーザの動作と、ユーザの動作が行われた方向（動作方向）と、出力すべき音声又は映像データ（出力データ）とを関連付けるデータである。関連付けデータ２２２１は、例えば、図２４に例示されるテーブルによって保持される。

【0118】

図２４に示すように、関連付けデータ２２２１の情報の項目には、"相対姿勢データの条件"と、"検出データの条件"と、"出力データ"とが含まれる。"相対姿勢データの条件"には、動作検出装置１０より送信される姿勢データに基づいて算出される相対姿勢データ（詳細は後述）に対して、移動通信端末２０が出力データを出力するための条件（動作方向を特定するための条件）が格納される。"検出データの条件"には、動作検出装置１０より送信される検出データに対して、移動通信端末２０が出力データを出力するための条件（動作の種類を識別するための条件）が格納される。

【0119】

"出力データ"には、相対姿勢データ及び検出データが、それぞれ"相対姿勢データの条件"に格納された条件及び"検出データの条件"に格納された条件を満たした場合に出力される出力データが格納される。なお、図２４では、ユーザの動作の種類を識別するにあたり、閾値データ２２２２を用いる場合について示したが、ユーザの動作の種類を識別するにあたっては、登録波形データ２３２を用いるようにしてもよい。また、出力データを選択するにあたっては、更に、アプリデータ２３５を用いるようにしてもよい。ただし、以下では説明の簡略化のため、閾値データ２２２２を用いる場合について説明する。

【0120】

ここで、第２の実施形態では、疑似ドラムセットの演奏を実現するにあたり、７つの打楽器を想定している。このため、"相対姿勢データの条件"は７つにわけて規定されている。図２５は、疑似ドラムセットを構成する７つの打楽器の配置を示す図である。

【0121】

図２５において、平面配置２５０１は、疑似ドラムセットを構成する７つの打楽器の配置を、上方から見た様子を示している。また、側面配置２５０２は、疑似ドラムセットを構成する７つの打楽器のうち、ユーザから見て左側に位置する４つの打楽器の配置を、左側面から見た様子を示している。更に、側面配置２５０３は、疑似ドラムセットを構成する７つの打楽器のうち、ユーザから見て右側に位置する３つの打楽器の配置を、右側面から見た様子を示している。

【0122】

平面配置２５０１に示すように、７つの打楽器は、クラッシュシンバル２５１１、ライドシンバル２５１２、フロアタム２５１３、フロアタム２５１４、スネアドラム２５１５、クラッシュシンバル２５１６、ハイアットシンバル２５１８を含む。

【0123】

７つの打楽器の中心位置の座標は、それぞれ、
クラッシュシンバル２５１１＝（Ｘ_１、Ｙ_１、Ｚ_１）、
ライドシンバル２５１２＝（Ｘ_２、Ｙ_２、Ｚ_２）、
フロアタム２５１３＝（Ｘ_３、Ｙ_３、Ｚ_３）、
フロアタム２５１４＝（Ｘ_４、Ｙ_４、Ｚ_４）、
スネアドラム２５１５＝（Ｘ_５、Ｙ_５、Ｚ_５）、
クラッシュシンバル２５１６＝（Ｘ_６、Ｙ_６、Ｚ_６）、
ハイアットシンバル２５１８＝（Ｘ_７、Ｙ_７、Ｚ_７）、
である。関連付けデータ２２２１において規定される"相対姿勢データの条件"は、これら７つの打楽器の中心位置の座標を包含するように、動作方向の範囲（つまり、閾値Ｑ０〜Ｑ７）が定義されている。

【0124】

図２２の説明に戻る。閾値データ２２２２は、ユーザの動作の種類を識別するための閾値として、閾値Ａ、Ｂ、Ｃを保持するとともに、ユーザの動作が行われた動作方向を識別するための閾値として、閾値Ｑ０〜Ｑ７を保持する。

【0125】

比較部２２１１は、相対姿勢データと閾値Ｑ０〜Ｑ７とを用いて、ユーザの動作方向が所定の動作方向であるか否かを判定する。所定の動作方向であると判定した場合、比較部２２１１では、例えば、動作検出装置１０から受信した検出データを閾値と比較し、比較結果を選択部２０８に渡す。

【0126】

図２３は、比較部２２１１を更に詳細に表す機能ブロックである。なお、図６に示す比較部２０７との相違点は、姿勢データ取得部２３０１、相対姿勢データ算出部２３０２、閾値比較部２３０３、閾値データ読込部２３０４を有している点である。

【0127】

姿勢データ取得部２３０１は、動作検出装置１０から受信した姿勢データを取得する。相対姿勢データ算出部２３０２は、取得した姿勢データと基準方向との差分を算出することで、相対姿勢データ（相対角度）Ｑを出力する。相対姿勢データ（相対角度）Ｑは、ユーザの動作が行われた動作方向を表している。

【0128】

閾値データ読込部２３０４は、記憶部２０１に記憶された閾値データ２２２２を読み込む。閾値比較部２３０３は、相対姿勢データ算出部２３０２が算出した相対姿勢データ（相対角度）Ｑと、閾値データ読込部２３０４が読み込んだ閾値データ２２２２（Ｑ０〜Ｑ７）とを比較する。比較の結果、相対姿勢データ算出部２３０２が算出した相対姿勢データＱが、閾値データ２２２２により規定される"相対姿勢データの条件"を満たすと判定した場合には、いずれの条件を満たしたかを閾値比較部２５５に通知する。

【0129】

閾値比較部２５５及び結果出力部２５６等は、閾値比較部２３０３からの通知があった場合に処理を実行する。なお、閾値比較部２５５及び結果出力部２５６等の処理内容は既に説明済みであるため、ここでは説明を省略する。

【0130】

≪ ３． 動作例 ≫
次に、図２６〜図３１を用いて、第２の実施形態に係る動作検出システム１において実行される処理を説明する。具体的には、ユーザが疑似ドラムセットの演奏を体験するための準備を行う前処理と、ユーザが疑似ドラムセットの演奏を体験する演奏処理とについて説明する。

【0131】

≪ 前処理 ≫
図２６は、ユーザが疑似ドラムセットの演奏を体験する準備を行うための前処理のフローチャートである。また、図２７は、前処理実行時の移動通信端末２０の表示画面２７００の一例を示す図である。

【0132】

移動通信端末２０の電源を投入すると、ステップＳ２６０１において、移動通信端末２０では、図２７（ａ）に示すように、ユーザに疑似ドラムセットの演奏を体験させるための動作検出アプリケーションのアイコン２７０１を表示する。また、アイコン２７０１の表示を受けてユーザがアイコン２７０１をタップした場合、移動通信端末２０では、これを受け付ける。なお、疑似ドラムセットの演奏を体験させるための動作検出アプリケーションを、以下では、疑似ドラムアプリケーションと称することとする。

【0133】

アイコン２７０１のタップを受け付けた移動通信端末２０では、図２７（ｂ）に示すように、動作検出装置１０と接続するか否かの問い合わせを行う。ユーザが"接続する"ボタン２７０２をタップした場合には、ステップＳ２６０２において、移動通信端末２０は、動作検出装置１０を検索する。また、動作検出装置１０を検出できた場合には、動作検出装置１０と無線接続するための処理を実行する。なお、図２７（ｂ）に示す表示画面において、ユーザが"接続しない"ボタン２７０３をタップした場合、移動通信端末２０では、図２７（ａ）に示す表示画面に戻る。

【0134】

ステップＳ２６０２において無線接続するための処理が完了すると、ステップＳ２６０３に進み、移動通信端末２０では、無線接続が完了したことに基づく報知を行う。具体的には、図２７（ｃ）の表示画面に示すように、動作検出装置１０の手首への装着を促すメッセージを表示する。

【0135】

ステップＳ２６０４において、移動通信端末２０では、ユーザより装着完了通知の入力を受け付けたか否かを判定する。具体的には、図２７（ｃ）に示す表示画面において、"Ｏｋ"ボタン２７０４がタップされるまで待機し、"Ｏｋ"ボタン２７０４がタップされた場合には、装着完了通知の入力を受け付けたと判定し、ステップＳ２６０５に進む。なお、図２７（ｃ）に示す表示画面において、ユーザにより"Ｃａｎｃｅｌ"ボタン２７０５がタップされた場合、移動通信端末２０では、図２７（ａ）に示す表示画面に戻る。

【0136】

ステップＳ２６０５において、移動通信端末２０では、動作検出装置１０から検出データ及び姿勢データが適切に送信されうるか否かを確認するために、動作検出装置１０を装着したユーザに対して、動作を促すメッセージを報知する。図２７（ｄ）に示す表示画面は、動作検出装置１０を装着したユーザに対して、動作を促すメッセージを表示した表示画面である。

【0137】

図２７（ｄ）の表示画面を表示したことに応じて、ユーザが、例えば腕を動かす動作をしたことで、動作検出装置１０から検出データ及び姿勢データが送信された場合、移動通信端末２０では、これを受信する。

【0138】

検出データ及び姿勢データを受信した場合、ステップＳ２６０６において、移動通信端末２０では、検出データ及び姿勢データを検出したと判定し、ステップＳ２６０７に進む。ステップＳ２６０７において、移動通信端末２０では、検出データ及び姿勢データを検出できたことを報知し、ステップＳ２６０８において、ユーザに対して基準方向を決定するための動作を促すメッセージを報知する。具体的には、図２７（ｅ）に示す表示画面を表示する。

【0139】

ここで、基準方向とは、Ｚ軸周りにおける基準となる回転角度をいう。上述したとおり、相対姿勢データ算出部２３０２では、姿勢データ取得部２３０１において取得した姿勢データを、基準方向からの相対姿勢データ（相対角度）Ｑに変換する。移動通信端末２０では、相対姿勢データＱの算出に必要な基準方向を、前処理実行時に取得する。

【0140】

なお、疑似ドラムアプリケーションは、疑似ドラムセットの演奏を体験するための動作検出アプリケーションであるため、基準方向を取得するにあたっては、ユーザに対して、フロアタム２５１３を叩くイメージで腕を動かすように動作を促す。図２８は、基準方向を決定する処理を説明するための図である。

【0141】

図２８（ａ）、（ｂ）に示すように、椅子に座った状態で、フロアタム２５１３を叩くイメージで、ユーザが、動作検出装置１０が装着された方の腕を矢印２８０１方向に振り下ろす。移動通信端末２０では、所定の振幅を有する検出データを取得することで、ユーザが、基準方向を決定するための動作を行ったと判定する。

【0142】

このとき、振り下ろした軌跡２８０２（図２８（ｃ））により形成される面とｘｙ平面とが交差する線の方向を基準方向とする。以降、相対姿勢データ算出部２３０２では、姿勢データ取得部２３０１において取得した姿勢データと基準方向を示す姿勢データ（Ｑ_ｓｔｄ）との差分（相対角度）を、相対姿勢データＱとして算出する。

【0143】

このように、フロアタム２５１３を叩くイメージで腕を動かした際の姿勢データ（Ｑ_ｓｔｄ）に基づいて基準方向を決定するため、ユーザは、ドラムを構成する各打楽器の位置を、好みの位置に設定することができる。図２９は、基準方向の違いに伴う各打楽器の位置の違いを示した図である。図２９（ａ）は、ユーザの正面方向にフロアタム２５１３が位置するように、ユーザが基準方向を設定した様子を示している。一方、図２９（ｂ）は、ユーザの正面よりやや右側の方向にフロアタム２５１３が位置するように、ユーザが基準方向を設定した様子を示している。また、図２９（ｃ）は、ユーザの正面よりやや左側の方向にフロアタム２５１３が位置するように、ユーザが基準方向を設定した様子を示している。

【0144】

図２６の説明に戻る。ステップＳ２６０９において、移動通信端末２０では、基準方向を決定するための動作が行われたか否かを判定し、行われていないと判定した場合には、行われたと判定されるまで待機する。

【0145】

一方、ステップＳ２６０９において、基準方向を決定するための動作が行われたと判定された場合には、ステップＳ２６１０に進む。ステップＳ２６１０において、移動通信端末２０では、基準方向を決定するための動作が行われた際の姿勢データ（Ｑ_ｓｔｄ）に基づいて基準方向を設定する。

【0146】

なお、移動通信端末２０では、基準方向の設定が完了すると、図２７（ｆ）に示すように、疑似ドラムセットの演奏の体験を促すメッセージを表示する。図２７（ｆ）に示す表示画面において、"Ｏｋ"ボタン２７０６がタップされると前処理が終了し、後述する演奏処理が開始される。一方、ユーザにより"Ｃａｎｃｅｌ"ボタン２７０７がタップされると前処理が終了し、移動通信端末２０では、図２７（ａ）に示す表示画面に戻る。
≪ ５． 応用例 ≫
≪ 演奏処理 ≫
次に、演奏処理について説明する。図３０は、ユーザが疑似ドラムセットの演奏を体験する演奏処理のフローチャートである。

【0147】

演奏処理が開始されると、ステップＳ３００１において、検出データ取得部２５１は動作検出装置１０から検出データの取得を開始する。また、姿勢データ取得部２３０１は、動作検出装置１０から姿勢データの取得を開始する。

【0148】

ステップＳ３００２において、相対姿勢データ算出部２３０２では、姿勢データ取得部２３０１が取得した姿勢データと、基準方向との差分を算出することで、相対姿勢データ（相対角度）Ｑを算出する。更に、閾値データ読込部２３０４では、関連付けデータ２２２１において"相対姿勢データの条件"として規定されている閾値Ｑ０〜Ｑ７を読み込む。

【0149】

ステップＳ３００３において、閾値比較部２３０３では、相対姿勢データ算出部２３０２において算出された相対姿勢データＱと、ステップＳ３００２において読み込まれた閾値Ｑ０〜Ｑ７とを比較する。これにより、算出された相対姿勢データＱが"相対姿勢データの条件"において規定されたいずれかの条件を満たすか否かを判定する。

【0150】

ステップＳ３００４において、登録波形データ読込部２５２は、ステップＳ３００３において満たすと判定された条件（相対姿勢データの条件）に対応付けて関連付けデータ２２２１に登録された閾値Ａ、Ｂ、Ｃを読み込む。以降、ステップＳ５０３、Ｓ５０６からＳ５０８までの処理は、図１７のステップＳ５０３、Ｓ５０６からＳ５０８までの処理と同じであるため、ここでは説明を省略する。

【0151】

このように、移動通信端末２０は、演奏処理中、検出データと姿勢データとを所定周期で読み込み、ユーザの動作及び動作が行われた動作方向を判定する。これにより、移動通信端末２０では、ドラムを構成する複数の打楽器のうちのいずれの打楽器を叩くイメージで、ユーザが腕を動かしているのかを判別することが可能となり、それぞれの打楽器を叩いた場合に発生する音を出力させることができる。

【0152】

図３１は、演奏処理中のユーザと、移動通信端末２０からの出力との関係を示す図である。図３１（ａ）は、ユーザがクラッシュシンバル２５１１を叩くイメージで、クラッシュシンバル２５１１があるであろう方向において、クラッシュシンバル２５１１を叩く動作を行った様子を示している。この場合、移動通信端末２０からは、ユーザがクラッシュシンバル２５１１を叩く動作を行ったタイミングで、叩く強さに応じた音量のクラッシュシンバル２５１１の音が出力される。

【0153】

同様に、図３１（ｂ）は、ユーザがライドシンバル２５１２を叩くイメージで、ライドシンバル２５１２があるであろう方向において、ライドシンバル２５１２を叩く動作を行った様子を示している。この場合、移動通信端末２０からは、ユーザがライドシンバル２５１２を叩く動作を行ったタイミングで、叩く強さに応じた音量のライドシンバル２５１２の音が出力される。

【0154】

更に、図３１（ｃ）は、ユーザがフロアタム２５１３を叩くイメージで、フロアタム２５１３があるであろう方向において、フロアタム２５１３を叩く動作を行った様子を示している。この場合、移動通信端末２０からは、ユーザがフロアタム２５１３を叩く動作を行ったタイミングで、叩く強さに応じた音量のフロアタム２５１３の音が出力される。

【0155】

このように、第２の実施形態によれば、ユーザの動作の種類に加え、ユーザの動作が行われている方向（動作方向）を識別して、出力すべき音声又は映像データを切り替える構成としたことで、疑似ドラムセットの演奏機能を実現することが可能になる。

【0156】

［第３の実施形態］
上記第１及び第２の実施形態では、加速度データ等を用いてユーザの動作の種類またはユーザの動作が行われた方向を識別する構成としたが、本発明はこれに限定されない。例えば、気圧センサ等を用いて、ユーザの動作が行われた高さを識別する構成としてもよい。

【0157】

また、上記第１及び第２の実施形態では、動作検出装置１０を、ユーザの一方の手首に装着する場合について説明したが、動作検出装置１０はユーザの両方の手首に装着するようにしてもよい。この場合、それぞれの手首に装着された動作検出装置１０及びそれぞれの手首に装着された動作検出装置１０と通信する１台の移動通信端末２０は、上記第１及び第２の実施形態において説明した処理をそれぞれ独立して実行するものとする。

【0158】

なお、動作検出装置１０をユーザの両方の手首に装着する場合、上記第１及び第２の実施形態において説明した処理の一部を共有して実行するように構成してもよい。例えば、基準方向を決定するための処理は、一方の手首に装着した動作検出装置１０についてのみ実行するようにしてもよい。そして、他方の手首に装着した動作検出装置１０から出力される姿勢データに基づいて相対姿勢データを算出する際に、既に設定済みの基準方向を利用するように構成してもよい。

【0159】

また、上記第２の実施形態では、動作検出システム１を疑似ドラムセットに適用した場合について説明したが、動作検出システム１の適用対象は、疑似ドラムセットに限定されず、他の打楽器群であっても、打楽器以外の楽器であってもよい。

【符号の説明】

【0160】

１ 動作検出システム
１０ 動作検出装置
２０ 移動通信端末
４０ 玩具
１０１ 検出部
１０２ 通信部
２０１ 記憶部
２０２ 通信部
２０３ 入力受付部
２０４ 切替部
２０５ 登録部
２０６ 録音部
２０７ 比較部
２０８ 選択部
２０９ 出力部
２１０ アプリデータ更新部
２２０１ 姿勢演算部
２２１１ 比較部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】