特許 6237802 端末制御システム、サーバ、そのサーバの制御方法及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6237802

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】端末制御システム、サーバ、そのサーバの制御方法及び電子機器

(51)【国際特許分類】

   H04M 1/00 20060101AFI20171120BHJP

   H04M 11/00 20060101ALI20171120BHJP

【ＦＩ】

   H04M1/00 U

   H04M11/00 301

【請求項の数】11

【全頁数】20

(21)【出願番号】特願2016-37081(P2016-37081)

(22)【出願日】2016年2月29日

(62)【分割の表示】特願2013-59743(P2013-59743)の分割

【原出願日】2013年3月22日

(65)【公開番号】特開2016-129402(P2016-129402A)

(43)【公開日】2016年7月14日

【審査請求日】2016年3月25日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(72)【発明者】

【氏名】今村 圭一

【審査官】 山田 倍司

(56)【参考文献】

【文献】 特表２０１３−５１０３８１（ＪＰ，Ａ）

【文献】 特開２００９−１１８４７４（ＪＰ，Ａ）

【文献】 特表２００６−５１０９６５（ＪＰ，Ａ）

【文献】 特開２０００−０４８２８３（ＪＰ，Ａ）

【文献】 特開２０１０−２４５６６８（ＪＰ，Ａ）

【文献】 特開２０１２−２４９３３４（ＪＰ，Ａ）

【文献】 特開２０１２−１９５８４３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００４／００５４５３９（ＵＳ，Ａ１）

【文献】 塚田 浩二ら，Ｕｂｉ−Ｆｉｎｇｅｒ：モバイル指向ジェスチャ入力デバイスの提案，情報処理学会研究報告，日本，社団法人情報処理学会，２００１年 ７月１９日，Vol.2001, No.72，pp.9-14

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｂ ７／２４− ７／２６

Ｈ０４Ｍ １／００

１／２４− ３／００

３／１６− ３／２０

３／３８− ３／５８

７／００− ７／１６

１１／００−１１／１０

９９／００

Ｈ０４Ｗ ４／００−９９／００

(57)【特許請求の範囲】

【請求項1】

第１の端末と、この第１の端末に近距離無線通信により接続可能な第２の端末と、この第２の端末と通信回線を介して接続されるネットワーク上のサーバとからなる端末制御システムにおいて、
上記サーバは、
上記第１の端末で検知されるユーザの動作に基づいて判断される行動の種類情報と、上記第２の端末に実行させる処理コマンドとを関連付けて複数種記憶する記憶手段と、
上記第２の端末から所定の行動の種類情報を受信したときに、上記所定の行動の種類情報に基づいて上記記憶手段に記憶された複数種の処理コマンドのいずれか１つを上記第２の端末に送って実行させる端末制御手段と
を具備したことを特徴とする端末制御システム。

【請求項2】

上記記憶手段は、上記第１の端末で検知される行動の種類情報と、第１の端末の識別情報と、上記第２の端末に実行させる処理コマンドとを関連付けて複数種記憶し、
上記端末制御手段は、上記第２の端末から上記所定の行動の種類情報を受信したときに、上記所定の行動の種類情報と上記第１の端末の識別情報とに基づいて、上記記憶手段に記憶された複数種の処理コマンドのいずれか１つを上記第２の端末に送って実行させる
ことを特徴とする請求項１に記載の端末制御システム。

【請求項3】

上記第１の端末は、上記所定の行動の種類情報としてユーザの行動を検知するためのセンサ部を有し、
上記サーバは、
上記第１の端末の上記センサ部によって検知された上記所定の行動の種類情報を上記第２の端末を介して受信したときに、上記記憶手段を参照して上記第２の端末に上記処理コマンドを送って実行させることを特徴とする請求項１記載の端末制御システム。

【請求項4】

上記第１の端末は、現在の位置を検出する位置検知機能を有し、
上記サーバは、
上記第２の端末に上記処理コマンドを実行させる条件に、上記第１の端末の上記位置検知機能で検知された位置情報を含ませることを特徴とする請求項２または３記載の端末制御システム。

【請求項5】

上記第１の端末は、ユーザの身体に装着可能な形状を有することを特徴とする請求項１乃至４のいずれかに記載の端末制御システム。

【請求項6】

上記記憶手段は、上記所定の行動の種類情報と、ユーザの識別情報と、上記第２の端末に実行させる処理コマンドとを関連付けて複数種記憶し、
上記端末制御手段は、第１の端末から上記第２の端末を介して上記所定の行動の種類情報と、上記ユーザの識別情報とを受信したときに、上記記憶手段を参照して上記第２の端末に上記処理コマンドを送って実行させる制御を行うことを特徴とする請求項１から５のいずれかに記載の端末制御システム。

【請求項7】

上記第１の端末で検知されるユーザの動作に基づいて判断される行動の種類情報は、ユーザの移動行動であることを特徴とする、請求項１乃至６のいずれかに記載の端末制御システム。

【請求項8】

上記端末制御手段は、上記第１の端末から上記第２の端末を介して所定の行動の種類情報を受信したときに、上記所定の行動の種類情報に基づいて上記記憶手段に記憶された複数種の処理コマンドのいずれか１つを上記第２の端末に送って実行させる
ことを特徴とする、請求項１乃至７のいずれかに記載の端末制御システム。

【請求項9】

第１の端末と、この第１の端末に近距離無線通信により接続可能な第２の端末と、この第２の端末と通信回線を介して接続されるシステムにおけるサーバであって、
上記サーバは、
上記第１の端末で検知されるユーザの動作に基づいて判断される行動の種類情報と、上記第２の端末に実行させる処理コマンドとを関連付けて複数種記憶する記憶手段と、
上記第２の端末から所定の行動の種類情報を受信したときに、上記所定の行動の種類情報に基づいて上記記憶手段に記憶された複数種の処理コマンドのいずれか１つを上記第２の端末に送って実行させる端末制御手段と
を具備したことを特徴とするサーバ。

【請求項10】

第１の端末と、この第１の端末に近距離無線通信により接続可能な第２の端末と、この第２の端末と通信回線を介して接続されるシステムにおけるサーバの制御方法であって、
上記サーバは、
上記第１の端末で検知されるユーザの動作に基づいて判断される行動の種類情報、及び上記第２の端末に実行させる処理コマンドとを関連付けてメモリに複数種記憶しておき、
上記第１の端末から上記第２の端末を介して上記所定の行動の種類情報を受信したときに、上記所定の行動の種類情報に基づいて上記メモリに記憶された複数種の処理コマンドのいずれか１つを上記第２の端末に上記処理コマンドを送って実行させることを特徴とするサーバの制御方法。

【請求項11】

ネットワーク上のサーバに接続される通信端末装置と通信する電子機器において、
ユーザの動作を取得する取得手段と、
上記サーバから上記通信端末装置に処理コマンドを送って実行させるために上記処理コマンドと関連付けられ、前記ユーザの動作に基づく行動の種類情報を入力する入力手段と、
上記所定の行動の種類情報を、上記通信端末装置を介して上記サーバに送信させるために、上記入力手段により入力された上記所定の行動の種類情報を近距離無線通信により上記通信端末装置に出力する通信手段と
を具備したことを特徴とする電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多機能型の携帯端末をリモート制御する端末制御システム、サーバ、そのサーバの制御方法及びこのシステムに使用される電子機器に関する。

【背景技術】

【0002】

近年、スマートフォン（多機能型携帯電話装置）などに代表される多機能型の携帯端末の普及率が高まって来ている。この種の携帯端末には、例えば電子メール機能や通話機能の他、インターネット機能、カメラ機能、ＰＩＭ（Personal Information Manager）機能などの様々な機能が搭載されている。しかし、これらの機能を使うためには、電源をＯＮにし、目的とするアプリ（アプリケーションの略）を起動した後、所定の手順に従って入力を行うなど、煩雑な操作を必要とする。

【0003】

一方、音声認識技術の完成度が高まり、音声で指令を入力するシステムが様々な形態で考えられている。例えば、特許文献１では、ネットワークに接続された装置の操作または機能をユーザが発声したコマンドを用いて制御する。特許文献２では、携帯端末から音声認識サーバに音声を送り、その認識結果をアプリで利用する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００１−１４１３４号公報

【特許文献2】特開２００９−２４４４３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述したように、近年の携帯端末には様々な機能が備えられており、これらの機能を利用するためには煩雑な操作を必要とする。このため、操作に不慣れなユーザには面倒であり、日常生活の中で有効的に利用できていないことがある。

【0006】

また、上記特許文献１，２などに開示されている音声認識技術を利用して携帯端末を動作させることも可能である。しかしながら、音声認識技術を利用する場合でも、その都度、携帯端末を取り出して所定の操作を行う必要があり、利用の迅速さに欠ける。また、音声認識技術を利用可能な機能も限られており、機能拡張性に欠けるなどの問題もある。

【0007】

本発明は上記のような点に鑑みなされたもので、面倒な操作を必要とせずに、携帯端末に備えられた各種機能を簡単に起動して利用することのできる端末制御システム、サーバ、そのサーバの制御方法及びこのシステムに使用される電子機器を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る端末制御システムは、第１の端末と、この第１の端末に近距離無線通信により接続可能な第２の端末と、この第２の端末と通信回線を介して接続されるネットワーク上のサーバとからなる端末制御システムにおいて、
上記サーバは、
上記第１の端末で検知されるユーザの動作に基づいて判断される行動の種類情報と、上記第２の端末に実行させる処理コマンドとを関連付けて複数種記憶する記憶手段と、
上記第２の端末から所定の行動の種類情報を受信したときに、上記所定の行動の種類情報に基づいて上記記憶手段に記憶された複数種の処理コマンドのいずれか１つを上記第２の端末に送って実行させる端末制御手段と
を具備したことを特徴とする。

【発明の効果】

【0009】

本発明によれば、携帯端末とは別の端末で検知される所定の情報をトリガにして、携帯端末をリモート制御することができる。これにより、面倒な操作を必要とせずに、携帯端末に備えられた各種機能を簡単に起動して、様々なシーンに利用することができる。

【図面の簡単な説明】

【0010】

【図1】図１は本発明の第１の実施形態に係る端末制御システムの構成を示す図である。

【図2】図２は同実施形態におけるリスト端末をユーザの手首に装着した状態を示す図である。

【図3】図３は同実施形態におけるアプリ間通信の原理を示す図である。

【図4】図４は同実施形態におけるリスト端末の回路構成を示すブロック図である。

【図5】図５は同実施形態におけるスマートフォンの回路構成を示すブロック図である。

【図6】図６は同実施形態におけるスマートフォンで行うコマンド登録時の処理動作を示すフローチャートである。

【図7】図７は同実施形態におけるスマートフォンの電子メール処理の設定動作を示すフローチャートである。

【図8】図８は同実施形態におけるスマートフォンに表示されるコマンド登録画面の一例を示す図である。

【図9】図９は同実施形態におけるリスト端末サーバに備えられたサーバメモリの一例を示す図である。

【図10】図１０は同実施形態におけるマクロ実行データをリスト化したマクロ実行リストの一例を示す図である。

【図11】図１１は同実施形態におけるリスト端末のアプリ実行時の処理を示すフローチャートである。

【図12】図１２は同実施形態におけるスマートフォンのアプリ実行時の処理を示すフローチャートである。

【図13】図１３は同実施形態におけるリスト端末サーバのアプリ実行時の処理を示すフローチャートである。

【図14】図１４は同実施形態におけるリスト端末に表示される成功レポートの一例を示す図である。

【図15】図１５は同実施形態におけるリスト端末に表示されるエラーメッセージの一例を示す図である。

【図16】図１６は本発明の第２の実施形態におけるコマンド登録画面の構成を示す図である。

【図17】図１７は同実施形態におけるマクロ実行データをリスト化したマクロ実行リストの一例を示す図である。

【図18】図１８は同実施形態におけるスマートフォンで行うコマンド登録時の処理動作を示すフローチャートである。

【図19】図１９は同実施形態におけるリスト端末のアプリ実行時の処理を示すフローチャートである。

【図20】図２０は同実施形態におけるスマートフォンのアプリ実行時の処理を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の実施形態について説明する。

【0012】

（第１の実施形態）
図１は本発明の第１の実施形態に係る端末制御システムの構成を示す図である。

【0013】

本システムは、リスト端末１１と、スマートフォン１２と、インターネット等のネットワーク１３上に存在する各種コンテンツサーバ１４ａ，１４ｂ…と、リスト端末サーバ１５および音声認識サーバ１６とからなる。

【0014】

リスト端末１１は、本発明の第１の端末に相当するものである。本実施形態において、このリスト端末１１は、身体装着型の電子機器であって、ユーザの手首に装着可能な腕時計の形状を有し、装置本体１１ａと、この装置本体１１ａの両端に取り付けられたバンド１１ｂとからなる。後述するように、リスト端末１１の装置本体１１ａには、加速度センサや角速度センサなどの動き検知センサが内蔵されている。

【0015】

これに対し、スマートフォン１２は、本発明の第２の端末に相当するものであり、上記第１の端末であるリスト端末１１よりも高機能な携帯型の通信端末装置である。リスト端末１１の近くにスマートフォン１２があるとき、リスト端末１１とスマートフォン１２はＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信により接続される。

【0016】

また、スマートフォン１２は、無線ＬＡＮ（Wi-Fi）や３Ｇの携帯電話回線網等を通じてネットワーク１３上の各種コンテンツサーバ１４ａ，１４ｂ…やリスト端末サーバ１５に接続可能な機能を有する。

【0017】

各種コンテンツサーバ１４ａ，１４ｂ…は、例えば各地域の天気情報の配信や、音楽、映画の配信など、ネットワーク１３上で様々なサービスを行う。リスト端末サーバ１５は、リスト端末１１を管理するための専用サーバである。このリスト端末サーバ１５には、サーバメモリ５１と端末制御部５０とが備えられている。

【0018】

サーバメモリ５１には、リスト端末１１（第１の端末）で検知される所定の情報とスマートフォン１２（第２の端末）に実行させる一連の処理コマンドとが関連付けて記憶される。なお、上記所定の情報とは、後述するようにユーザの音声または行動である。端末制御部５０は、リスト端末１１からスマートフォン１２を介して所定の情報を受信したときに、サーバメモリ５１を参照してスマートフォン１２に一連の処理コマンドを送って実行させる。

【0019】

音声認識サーバ１６は、音声情報を認識処理するための専用サーバであり、リスト端末サーバ１５に接続されている。なお、図１の例では、リスト端末サーバ１５と音声認識サーバ１６を別に設けたが、リスト端末サーバ１５に音声認識サーバ１６の機能を持たせることも可能である。

【0020】

ここで、本システムにおけるリスト端末１１の使い方について説明する。
図２は本システムのリスト端末１１をユーザの手首に装着した状態を示す図である。図３はアプリ間通信の原理を示す図である。

【0021】

本システムでは、ユーザがリスト端末１１に話しかけるだけで、スマートフォン１２をリモート制御することができる。図２の例では、ユーザがリスト端末１１に向けて「スマホ 今から帰るよ」と音声で話しかけている状態が示されている。

【0022】

図３に示すように、ユーザが発音した音声は、リスト端末１１に実装されたマイクロフォンを介して取り込まれ、リスト端末１１からスマートフォン１２に出力され、音声実行アプリＡＰ１が受け取る。音声実行アプリＡＰ１では、「スマホ」という予約語をトリガとしてコマンドと解釈する。コマンドとして解釈された音声は、アプリ間通信ＡＰ−ｃｏｍを介して各種アプリＡＰ２，ＡＰ３，ＡＰ４…を実行させる。

【0023】

具体的には、コマンドとして解釈された音声は、音声データのままでスマートフォン１２を介してリスト端末サーバ１５に送信される。そして、リスト端末サーバ１５に接続された音声認識サーバ１６にて音声認識される。後述するように、リスト端末サーバ１５には、音声入力に対してスマートフォン１２が実行するアプリとその処理内容が登録されている。リスト端末１１は、音声認識サーバ１６から音声認識結果を受けて、スマートフォン１２に対して該当するアプリの実行を指示することになる。

【0024】

以下に、各装置の構成と動作について詳しく説明する。
図４はリスト端末１１の回路構成を示すブロック図である。

【0025】

リスト端末１１は、ＣＰＵ２１、表示部２２、タッチパネル２３、通信部２４、メモリ２５、センサ部２６、時計部２７、ＧＰＳ部２８、音声入力部２９などを備える。

【0026】

ＣＰＵ２１は、メモリ２５に記憶されたプログラム２５ａの起動により、リスト端末１１の動作を制御する。

【0027】

表示部２２は、ＬＣＤ（Liquid Crystal Display）からなり、各種情報をカラー表示する。タッチパネル２３は、表示部２２の表示画面上に載置され、タッチ操作による入力指示を行うために用いられる。この表示部２２とタッチパネル２３とで一体型の入力表示装置を構成し、ユーザが画面の表示を見ながら、タッチ操作による入力指示を行うことができる。

【0028】

通信部２４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離通信により、外部端末（ここではスマートフォン１２）との間でデータの送受信処理を行う。

【0029】

メモリ２５には、ＣＰＵ２１を制御するためのプログラム２５ａの他、ＣＰＵ２１の処理動作に必要な各種データが記憶される。

【0030】

センサ部２６は、ｘ軸，ｙ軸，ｚ軸方向の加速度を検知可能な３軸の加速度センサやジャイロなどの動き検出センサを備えている。時計部２７は、リスト端末１１の時計機能を実現するための部分であり、現在の時刻を計時する。また、ＧＰＳ部２８は、ＧＰＳ（Global Positioning System）により現在位置を検出する。音声入力部２９は、マイクロフォンからなり、ユーザが発した音声の入力を行う。

【0031】

図５はスマートフォン１２の回路構成を示すブロック図である。

【0032】

スマートフォン１２は、ＣＰＵ３１、表示部３２、タッチパネル３３、第１の通信部３４ａ、第２の通信部３４ｂ、メモリ３５などを備える。

【0033】

ＣＰＵ３１は、メモリ３５に記憶されたプログラム３５ａの起動により、スマートフォン１２の動作を制御する。

【0034】

表示部３２とタッチパネル３３は、リスト端末１１の表示部２２とタッチパネル２３と同様に一体型の入力表示装置を構成し、ユーザが画面の表示を見ながら、タッチ操作による入力指示を行うことができる。

【0035】

第１の通信部３４ａは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離通信機能により、外部端末（リスト端末１１）との間で無線通信によるデータの送受信処理を行う。第２の通信部３４ｂは、無線ＬＡＮ（Wi-Fi）や３Ｇの携帯電話回線網等により、ネットワーク１３上のコンテンツサーバ１４ａ，１４ｂ…やリスト端末サーバ１５にアクセスする。

【0036】

メモリ３５には、ＣＰＵ３１を制御するためのプログラム３５ａの他、ＣＰＵ３１の処理動作に必要な各種データが記憶される。なお、スマートフォン１２は、実際にはリスト端末１１と同様に加速度センサやＧＰＳ機能などを備えているが、本発明とは直接関係しないため、その説明を省略する。

【0037】

また、コンテンツサーバ１４ａ，１４ｂ…やリスト端末サーバ１５、音声認識サーバ１６については、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えた汎用のコンピュータからなり、その詳しい構成については図示を省略する。

【0038】

次に、本実施形態における端末制御システムの動作について、（ａ）コマンド登録時と、（ｂ）アプリ実行時の各動作に分けて説明する。

【0039】

（ａ）コマンド登録時
図６は本システムにおけるスマートフォン１２で行うコマンド登録時の処理動作を示すフローチャートである。なお、このフローチャートで示される処理は、スマートフォン１２に備えられたＣＰＵ３１がメモリ３５に記憶されたプログラム３５ａを読み込むことにより実行される。

【0040】

コマンドの登録とは、スマートフォン１２にアプリケーションを実行させるための設定のことを言い、具体的にはアプリ実行のトリガとなる音声と、実行対象となるアプリケーション、処理内容を図８に示すようなコマンド登録画面４１を通じて適宜設定することである。このコマンド登録画面４１はリスト端末サーバ１５から提供され、Ｗｅｂアプリを介して取得することができる。

【0041】

まず、ユーザが所定の操作によりコマンド登録画面４１を通じてアプリ実行のトリガとなる音声を入力する（ステップＡ１１）。具体的には、コマンド登録画面４１に設けられた音声登録ボタン４２を押して登録用のキーワードを発音する。このときに発音された音声は、スマートフォン１２からネットワーク１３を介してリスト端末サーバ１５に与えられる。リスト端末サーバ１５では、音声認識サーバ１６を通じて音声認識し、その認識結果をコマンド登録画面４１上の音声設定部４３に表示する。ここに表示された認識結果は、スマートフォン１２のボタン操作で適宜修正することができる。

【0042】

図８の例では、「スマホ 今から帰るよ」といった音声が登録された状態が示されている。なお、ここではユーザが実際に発音して音声を登録する場合を例にして説明したが、例えばスマートフォン１２のボタン操作により、音声のテキストデータを音声設定部４３に直接入力することでも良い。

【0043】

続いて、ユーザが所定の操作によりアプリケーションとスマートフォン処理を設定する（ステップＡ１２，Ａ１３）。具体的には、コマンド登録画面４１に設けられたアプリ選択ボタン４４，４５を押してアプリケーションと処理内容を入力する。

【0044】

図８の例では、アプリ選択ボタン４４により「システム」アプリが登録され、処理内容として「スリープ復帰」が登録されている。また、アプリ選択ボタン４５により「電子メール」アプリが登録され、処理内容として表題設定部４６、宛先設定部４７、本文設定部４８に設定されたメールを送信することが登録されている。なお、表題設定部４６、宛先設定部４７、本文設定部４８に関するデータは、スマートフォン１２のボタン操作によって直接入力する。

【0045】

ここで、上記ステップＡ１３で実行されるスマートフォン処理の設定について、電子メール処理を設定する場合を例にして説明する。

【0046】

図７は電子メール処理の設定動作を示すフローチャートである。

【0047】

まず、ユーザが所定の操作により表題、宛先のデータを入力する（ステップＢ１１，Ｂ１２）。具体的には、コマンド登録画面４１上の表題設定部４６、宛先設定部４７、本文設定部４８にデータを入力する。なお、表題設定部４６のデータ入力は任意である。

【0048】

ここで、コマンド登録画面４１上に図示せぬポップアップ画面が表示され、「ＧＰＳ連動」の有無が問われる（ステップＢ１３）。

【0049】

「ＧＰＳ連動」とは、地図上で任意の位置を指定しておくことにより、同じ音声でも位置に応じて異なるメッセージを設定できる機能である。例えば、地図上で外出先の位置を指定しておけば、その外出先からの帰宅時間などを含んだメッセージを自社から帰宅するときのメッセージとは区別して送ることができる。

【0050】

「ＧＰＳ連動」を選択しない場合には（ステップＢ１３のＮｏ）、ユーザは所定の操作により本文４８に関するデータを入力して終了する（ステップＢ１４）。一方、「ＧＰＳ連動」を選択した場合には（ステップＢ１３のＹｅｓ）、ユーザは所定の操作により図示せぬ地図上で位置を指定した後（ステップＢ１５）、本文設定部４８に関するデータを入力する（ステップＢ１６）。複数の位置を指定することが可能であり、各位置に対して本文データを入力した後に終了する（ステップＢ１７）。

【0051】

このようにして、コマンド登録画面４１上で音声、アプリケーション、処理内容が設定されると、スマートフォン１２（詳しくはＣＰＵ３１）は、これらの設定情報にリスト端末ＩＤとユーザＩＤを付加してリスト端末サーバ１５に送信する（ステップＡ１４）。

【0052】

図９に示すように、リスト端末サーバ１５は、大容量のサーバメモリ５１を有する。このサーバメモリ５１には、ユーザ毎にリスト端末ＩＤとユーザＩＤ、そして、上記設定情報に基づくマクロ実行データが記憶される。

【0053】

「リスト端末ＩＤ」は、ユーザが所持するリスト端末１１に付けられた識別番号である。「ユーザＩＤ」は、ユーザ毎に固有の識別番号である。「マクロ実行データ」は、スマートフォン１２にアプリケーションを実行させるためのデータであり、上記コマンド登録画面４１上で設定された音声、アプリケーション、処理内容で構成される。

【0054】

図１０はマクロ実行データをリスト化したマクロ実行リスト５２の一例を示す図である。

【0055】

この例では、音声として「スマホ 今から帰るよ」が登録されており、この音声の入力があったときに、スマートフォン１２の「システム」と「電子メール」のアプリケーションを起動して、電子メールに関する処理を実行させることが登録されている。また、別の例で、音声として「スマホ 会社から次の電車」が登録されており、この音声の入力があっとときに、スマートフォン１２の「システム」と「交通案内」のアプリケーションを起動して、交通案内に関する処理を実行させることが登録されている。

【0056】

（ｂ）アプリ実行時
図２に示したように、本システムを利用するユーザは手首にリスト端末１１を装着して行動している。このとき、スマートフォン１２はユーザの服や鞄などのリスト端末１１と近距離通信無線できる範囲内にあるものとする。

【0057】

（リスト端末の処理）
図１１は本システムにおけるリスト端末１１のアプリ実行時の処理を示すフローチャートである。なお、このフローチャートで示される処理は、リスト端末１１に備えられたＣＰＵ２１がメモリ２５に記憶されたプログラム２５ａを読み込むことにより実行される。

【0058】

いま、ユーザがリスト端末１１に向けて話しかけたとする。このときのユーザの音声データはスマートフォン１２に設けられた音声入力部２９を通じて入力される。リスト端末１１（詳しくはＣＰＵ２１）は、一定レベル以上の音声データが入力されると（ステップＣ１１，Ｃ１２のＹｅｓ）、その入力された音声データを例えばメモリ２５の所定エリアに記録する（ステップＣ１３）。音声データの記録はユーザの発音が完了するまでの間、継続的に行われる（ステップＣ１４のＮｏ→Ｃ１３）。

【0059】

発音が完了すると（ステップＣ１４のＹｅｓ）、リスト端末１１は、上記メモリ２５の所定エリアに記録された音声データをスマートフォン１２に送信して（ステップＣ１５）、その音声データに対するスマートフォン１２の実行結果を待つ（ステップＣ１６）。

【0060】

音声データを送信後、スマートフォン１２から実行結果として成功レポートが送られて来た場合には（ステップＣ１７のＮｏ）、リスト端末１１は、その成功レポートをリスト端末１１の表示部２２に表示する（ステップＣ１８）。

【0061】

一方、スマートフォン１２から実行エラー送られて来た場合には（ステップＣ１７のＹｅｓ）、リスト端末１１は、その実行エラーに応じたメッセージをリスト端末１１の表示部２２に表示する（ステップＣ１９）。

【0062】

（スマートフォンの処理）
図１２は本システムにおけるスマートフォン１２のアプリ実行時の処理を示すフローチャートである。なお、このフローチャートで示される処理は、スマートフォン１２に備えられたＣＰＵ３１がメモリ３５に記憶されたプログラム３５ａ（音声実行アプリＡＰ１）を読み込むことにより実行される。

【0063】

いま、上記図１１のステップＣ１５において、リスト端末１１からユーザの音声データがスマートフォン１２に送られて来たとする。スマートフォン１２（詳しくはＣＰＵ３１）は、この音声データを受信すると（ステップＤ１１）、ネットワーク１３上のリスト端末サーバ１５に接続可能な状態にあるか否かを判断する（ステップＤ１２）。

【0064】

ネットワーク１３上のリスト端末サーバ１５への接続手段は、無線ＬＡＮ（Wi-Fi）または３Ｇの携帯電話回線網等が用いられる。これらの接続手段を通じてリスト端末サーバ１５に接続できない状態にある場合には（ステップＤ１２のＮｏ）、スマートフォン１２は、リスト端末１１に接続エラーを通知する（ステップＤ１３）。リスト端末１１では、この接続エラーの通知を受けると、その旨のメッセージを表示部２２に表示する（図１１のステップＣ１９参照）。

【0065】

リスト端末サーバ１５に接続可能な状態であれば（ステップＤ１２のＹｅｓ）、スマートフォン１２は、ユーザの音声データにユーザＩＤとリスト端末ＩＤを付加してリスト端末サーバ１５に送信する（ステップＤ１４，Ｄ１５）。

【0066】

このデータセットの送信に対して、リスト端末サーバ１５から応答があり（ステップＤ１６のＹｅｓ）、それがエラー通知であったならば（ステップＤ１７のＹｅｓ）、スマートフォン１２は、エラー通知の内容をリスト端末１１に送る（ステップＤ１８）。リスト端末１１では、このエラー通知の内容を受けると、その旨のメッセージを表示部２２に表示する（図１１のステップＣ１９参照）。

【0067】

一方、エラー通知でない場合には（ステップＤ１７のＮｏ）、スマートフォン１２は、リスト端末サーバ１５から送られて来るコマンド列データを受信する（ステップＤ１９）。スマートフォン１２は、このコマンド列データに基づいて対象アプリを特定し（ステップＤ２０）、その対象アプリを起動して所定の処理を実行する（ステップＤ２１）。

【0068】

上記対象アプリによる処理に成功すると（ステップＤ２２のＹｅｓ）、スマートフォン１２は、成功結果のレポートを作成してリスト端末１１に送信する（ステップＤ２３）。リスト端末１１では、この成功レポートを受けて表示部２２に表示する（図１１のステップＣ１８参照）。上記対象アプリによる処理に失敗した場合には（ステップＤ２２のＮｏ）、スマートフォン１２は、実行エラーをリスト端末１１に通知する（ステップＤ２４）。リスト端末１１では、この通知を受けて表示部２２にエラー表示を行う（図１１のステップＣ１９参照）。

【0069】

（リスト端末サーバの処理）
図１３は本システムにおけるリスト端末サーバ１５のアプリ実行時の処理を示すフローチャートである。なお、このフローチャートで示される処理は、リスト端末サーバ１５に備えられた図示せぬＣＰＵが所定のプログラムを読み込むことにより実行される。

【0070】

いま、上記図１２のステップＤ１５において、スマートフォン１２から音声データセット（音声データ，ユーザＩＤ，リスト端末ＩＤ）がリスト端末サーバ１５に送られて来たとする。リスト端末サーバ１５（詳しくはリスト端末サーバ１５内のＣＰＵ）は、この音声データセットを受信すると（ステップＥ１１）、この音声データセットに含まれるユーザＩＤ，リスト端末ＩＤに基づいてマクロ実行リスト５２を特定する（ステップＥ１２）。

【0071】

上記特定されたマクロ実行リスト５２がサーバメモリ５１に記憶されていない場合には（ステップＥ１３のＮｏ）、リスト端末サーバ１５は、スマートフォン１２に対してエラーを送信する（ステップＥ１４）。スマートフォン１２では、リスト端末サーバ１５からエラー通知を受けると、そのエラー通知の内容をリスト端末１１に送る（図１２のステップＤ１７，Ｄ１８参照）。

【0072】

上記特定されたマクロ実行リスト５２がサーバメモリ５１に記憶されていれば（ステップＥ１３のＹｅｓ）、リスト端末サーバ１５は、上記音声データセットに含まれる音声データを音声認識サーバ１６に送って音声認識し、その認識結果として音声テキストを得る（ステップＥ１５）。リスト端末サーバ１５は、この音声テキストに基づいてコマンドを特定する（ステップＥ１６）。

【0073】

ここで、上記特定されたコマンドがマクロ実行リスト５２の中になければ（ステップＥ１７のＮｏ）、リスト端末サーバ１５は、スマートフォン１２に対してエラーを送信する（ステップＥ１８）。スマートフォン１２では、リスト端末サーバ１５からエラー通知を受けると、そのエラー通知の内容をリスト端末１１に送る（図１２のステップＤ１７，Ｄ１８参照）。

【0074】

上記特定されたコマンドがマクロ実行リスト５２の中にあれば（ステップＥ１７のＹｅｓ）、リスト端末サーバ１５は、マクロ実行リスト５２の中から当該コマンド（音声）に対応したスマートフォン処理リストを取得し（ステップＥ１９）、そのスマートフォン処理リスト上のコマンド列データをスマートフォン１２に送信する（ステップＥ２０）。上述したように、このコマンド列データを受信したスマートフォン１２は対象アプリを起動し、所定の処理を実行することになる（図１２のステップＤ１９〜Ｄ２１参照）。

【0075】

具体的に説明すると、例えばユーザがリスト端末１１に「スマホ 今から帰るよ」と音声を入力したとすると、リスト端末サーバ１５では、そのときのユーザの入力音声をスマートフォン１２を介して受け取る。そして、図１０に示したマクロ実行リスト５２から当該音声に対応したコマンド列データを読み出すことにより、スマートフォン１２に対し、システムと電子メールのアプリの起動により、宛先「山田花子」に本文「今、会社を出ました。」のメールを送ることを指示する。

【0076】

スマートフォン１２がメールの送信に成功すると、リスト端末１１に対して、図１４に示すような成功レポート６１が送られて来て、リスト端末１１の表示部２２に表示される（図１１のステップＣ１８参照）。一方、メールの送信に失敗した場合には、図１５に示すようなエラーメッセージ６２が送られて来て、リスト端末１１の表示部２２に表示される（図１１のステップＣ１９参照）。

【0077】

このように、ユーザがリスト端末１１に音声入力するだけで、スマートフォン１２をリモート制御して所定の処理を実行させることができる。したがって、スマートフォン１２に対する面倒な操作は不要であり、服や鞄等から取り出すことなく、ユーザが予め設定した音声を発するだけで、スマートフォン１２に備えられた各種機能を適宜利用することができる。

【0078】

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

【0079】

上記第１の実施形態では、ユーザがリスト端末１１に入力した音声に基づいてスマートフォン１２をリモート制御したが、第２の実施形態では、リスト端末１１で検知されるユーザの行動に基づいてスマートフォン１２をリモート制御するものである。

【0080】

リスト端末１１のセンサ部２６には加速度センサやジャイロなどの動き検出センサが備えられている。この動き検出センサの信号からユーザの行動として歩行中、ランニング中、車で移動中などを推測することができる。

【0081】

図１６は第２の実施形態におけるコマンド登録画面７１の構成を示す図である。

【0082】

第２の実施形態では、図１６に示すようなコマンド登録画面７１を用いてコマンドの新規登録を行う。このコマンド登録画面７１には、ユーザの行動（アクション）を登録するためのアクション登録ボタン７２が設けられている。このアクション登録ボタン７２を押すと、「歩行」，「ランニング」，「自転車または車」の選択項目７３が表示され、その中の任意の行動を選択することができる。

【0083】

また、図中の７４、７５はアプリ選択ボタンである。このアプリ選択ボタン７４、７５を押してアプリケーションと処理内容を登録する。図１６の例では、アプリ選択ボタン７４により「システム」アプリが登録され、処理内容として「スリープ復帰」を実行することが登録されている。また、アプリ選択ボタン７５により「歩行記録」アプリが登録され、処理内容としてウォーキングでＧＰＳを使って歩行の軌跡を記録することなどか登録されている。

【0084】

このコマンド登録画面７１上で設定された行動、アプリケーション、処理内容はマクロ実行データとして、リスト端末ＩＤとユーザＩＤと共に図９に示したサーバメモリ５１にユーザ毎に管理される。

【0085】

図１７はマクロ実行データをリスト化したマクロ実行リスト８１の一例を示す図である。

【0086】

この例では、ユーザの行動として「歩行」が登録されており、歩行が検知されたときに、スマートフォン１２の「システム」と「歩行記録」のアプリケーションを起動して、歩行に関する処理を実行させることが登録されている。

【0087】

次に、第２の実施形態としての動作を（ａ）コマンド登録時と、（ｂ）アプリ実行時の各動作に分けて説明する。

【0088】

（ａ）コマンド登録時
図１８は本システムにおけるスマートフォン１２で行うコマンド登録時の処理動作を示すフローチャートである。なお、このフローチャートで示される処理は、スマートフォン１２に備えられたＣＰＵ３１がメモリ３５に記憶されたプログラム３５ａを読み込むことにより実行される。

【0089】

コマンドの登録とは、スマートフォン１２にアプリケーションを実行させるための設定のことを言い、具体的にはアプリ実行のトリガとなる行動と、実行対象となるアプリケーション、処理内容を図１６に示したコマンド登録画面７１を通じて適宜設定することである。上記第１の実施形態と同様に、このコマンド登録画面７１はリスト端末サーバ１５から提供され、Ｗｅｂアプリを介して取得することができる。

【0090】

まず、ユーザが所定の操作によりコマンド登録画面７１を通じてアプリ実行のトリガとなる行動（アクション）を選択する（ステップＦ１１）。具体的には、コマンド登録画面７１に設けられたアクション登録ボタン７２を押し、選択項目７３の中から任意の行動を選択する。図１６の例では、「歩行」，「ランニング」，「自転車または車」の中から「歩行」が選択された状態が示されている。

【0091】

続いて、ユーザが所定の操作によりアプリケーションとスマートフォン処理を設定する（ステップＦ１２，Ｆ１３）。具体的には、コマンド登録画面４１に設けられたアプリ選択ボタン４４，４５を押してアプリケーションと処理内容を入力する。

【0092】

図１６の例では、アプリ選択ボタン７４により「システム」アプリが登録され、処理内容として「スリープ復帰」が登録されている。また、アプリ選択ボタン７５により「歩行記録」アプリが登録され、処理内容としてウォーキングでのＧＰＳログ記録が登録されている。

【0093】

このようにして、コマンド登録画面７１上で行動、アプリケーション、処理内容が設定されると、スマートフォン１２（詳しくはＣＰＵ３１）は、これらの設定情報にリスト端末ＩＤとユーザＩＤを付加してリスト端末サーバ１５に送信する（ステップＦ１４）。

【0094】

図９に示したように、リスト端末サーバ１５は、大容量のサーバメモリ５１を有する。このサーバメモリ５１には、ユーザ毎にリスト端末ＩＤとユーザＩＤ、そして、上記設定情報に基づくマクロ実行データが記憶される。「マクロ実行データ」は、スマートフォン１２にアプリケーションを実行させるためのデータであり、第２の実施形態では、上記コマンド登録画面７１上で設定された行動、アプリケーション、処理内容で構成される。このマクロ実行データをリスト化した例が図１７である。

【0095】

なお、上記コマンド登録画面７１上で設定されたユーザの行動に関する設定情報は、リスト端末１１にも送信されているものとする。リスト端末１１では、行動の設定情報をメモリ２５の所定のエリアに記憶しておき、当該行動を検知したときにスマートフォン１２に送信する。

【0096】

（ｂ）アプリ実行時
図２に示したように、本システムを利用するユーザは手首にリスト端末１１を装着して行動している。このとき、スマートフォン１２はユーザの服や鞄などのリスト端末１１と近距離通信無線できる範囲内にあるものとする。

【0097】

（リスト端末の処理）
図１９は本システムにおけるリスト端末１１のアプリ実行時の処理を示すフローチャートである。なお、このフローチャートで示される処理は、リスト端末１１に備えられたＣＰＵ２１がメモリ２５に記憶されたプログラム２５ａを読み込むことにより実行される。

【0098】

リスト端末１１のセンサ部２６には加速度センサやジャイロなどの動き検出センサが備えている。この動き検出センサは、リスト端末１１の動きをユーザの動作として検知する。リスト端末１１（詳しくはＣＰＵ２１）は、この動き検出センサの信号を解析し（ステップＧ１２）、その解析結果に基づいてユーザの動作状態を判断する（ステップＧ１２）。

【0099】

「ユーザの動作状態」とは、歩行中、ランニング中、車などで移動中などである。なお、予めユーザの日常生活の中で実際の動きによる動き検出センサの出力データとそのときのユーザの動作とを予め関連付けて登録しておけば、ユーザの現在の動作状態を正確に判断することができる。さらに、ＧＰＳ部２８によって検出される位置情報を加味すれば、より正確に判断できる。

【0100】

ここで、動き検出センサにより所定の行動（コマンド登録画面７１で設定された行動）が検知された場合には（ステップＧ１２のＹｅｓ）、リスト端末１１は、スマートフォン１２に対して当該行動を検知したことを示すアクションデータを送信する（ステップＧ１３）。

【0101】

（スマートフォンの処理）
図２０は本システムにおけるスマートフォン１２のアプリ実行時の処理を示すフローチャートである。なお、このフローチャートで示される処理は、スマートフォン１２に備えられたＣＰＵ３１がメモリ３５に記憶されたプログラム３５ａを読み込むことにより実行される。

【0102】

いま、上記図１９のステップＧ１３において、リスト端末１１からユーザのアクションデータがスマートフォン１２に送られて来たとする。スマートフォン１２（詳しくはＣＰＵ３１）は、このアクションデータを受信すると（ステップＨ１１）、ネットワーク１３上のリスト端末サーバ１５に接続可能な状態にあるか否かを判断する（ステップＨ１２）。

【0103】

ネットワーク１３上のリスト端末サーバ１５への接続手段は、無線ＬＡＮ（Wi-Fi）または３Ｇの携帯電話回線網等が用いられる。これらの接続手段を通じてリスト端末サーバ１５に接続できない状態にある場合には（ステップＨ１２のＮｏ）、スマートフォン１２は、リスト端末１１に接続エラーを通知する（ステップＨ１３）。リスト端末１１では、この接続エラーの通知を受けると、その旨のメッセージを表示部２２に表示する（図１１のステップＣ１９参照）。

【0104】

リスト端末サーバ１５に接続可能な状態であれば（ステップＨ１２のＹｅｓ）、スマートフォン１２は、ユーザのアクションデータにユーザＩＤとリスト端末ＩＤを付加してリスト端末サーバ１５に送信する（ステップＨ１４，Ｈ１５）。

【0105】

このデータセットの送信に対して、リスト端末サーバ１５から応答があり、それがエラー通知であったならば、スマートフォン１２は、エラー通知の内容をリスト端末１１に送る。リスト端末１１では、このエラー通知の内容を受けると、その旨のメッセージを表示部２２に表示する（図１１のステップＣ１９参照）。

【0106】

一方、エラー通知でない場合には、スマートフォン１２は、リスト端末サーバ１５から送られて来るコマンド列データを受信し、このコマンド列データに基づいて対象アプリをを起動して所定の処理を実行する（ステップＨ１６）。

【0107】

図１７の例であれば、リスト端末１１にてユーザの「歩行」が検知された場合に、リスト端末サーバ１５から「システム」と「歩行記録」のアプリの起動とＧＰＳログ記録開始の処理がコマンド列データとして送られてくる。これにより、スマートフォン１２は、このコマンド列データに従って「システム」と「歩行記録」のアプリを起動し、ＧＰＳログ記録を開始することになる。

【0108】

なお、リスト端末サーバ１５の処理については、上記第１の実施形態と同様であるため、ここでは詳しい説明は省略するものとする。ただし、第２の実施形態では、アプリ実行のトリガが「音声」ではなく「行動」であり、図１３に示したステップＥ１５，Ｅ１６の処理は不要である。

【0109】

このように、リスト端末１１で検知されるユーザの行動をトリガにして、スマートフォン１２をリモート制御して所定の処理を実行させることができる。したがって、上記第１の実施形態と同様に、スマートフォン１２に対する面倒な操作は不要であり、服や鞄等から取り出すことなく、ユーザが予め設定した行動をするだけで、スマートフォン１２に備えられた各種機能を適宜利用することができる。

【0110】

なお、ユーザの行動として、例えば地図上で予め設定した位置にユーザが来たこと、あるいは、その位置から出たときに、スマートフォン１２を起動して所定の処理を実行するようにしても良い。ユーザの現在位置はリスト端末１１に備えられたＧＰＳ部２８によって検知できる。これにより、例えばユーザが事前に地図上で位置指定した場所に着いたときに、「あと３０分で帰ります」といったような電子メールを自動発信することなどができる。

【0111】

以上のように本実施形態によれば、スマートフォン１２をその都度取り出して面倒な操作しなくとも、ユーザはリスト端末１１を用いて所定の音声を入力あるいは所定の行動をするだけで、スマートフォン１２を簡単に起動して各種機能（アプリ）を利用することができる。

【0112】

また、リスト端末１１は時計形状であり、常にユーザが身に付けておくことができるので、いつでもスマートフォン１２を即座に起動することが可能である。

【0113】

なお、上記第１および第２の実施形態では、スマートフォン１２を例にして説明したが、リスト端末サーバ１５にアクセス可能な機能を備えていれば、スマートフォン１２以外の携帯端末でも適用可能である。

【0114】

要するに、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0115】

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
第１の端末と、この第１の端末に近距離無線通信により接続可能な第２の端末と、この第２の端末と通信回線を介して接続されるネットワーク上のサーバとからなる端末制御システムにおいて、
上記サーバは、
上記第１の端末で検知される所定の情報と上記第２の端末に実行させる一連の処理コマンドとを関連付けて記憶する記憶手段と、
上記第１の端末から上記第２の端末を介して上記所定の情報を受信したときに、上記記憶手段を参照して上記第２の端末に上記一連の処理コマンドを送って実行させる端末制御手段と
を具備したことを特徴とする端末制御システム。

【0116】

［２］
上記第１の端末は、上記所定の情報としてユーザの音声を入力する音声入力機能を有し、
上記サーバは、
上記第１の端末の上記音声入力機能によって入力された所定の音声を上記第２の端末を介して受信したときに、上記記憶手段を参照して上記第２の端末に上記一連の処理コマンドを送って実行させることを特徴とする［１］記載の端末制御システム。

【0117】

［３］
上記第１の端末は、上記所定の情報としてユーザの行動を検知するための動き検知機能を有し、
上記サーバは、
上記第１の端末の上記動き検知機能によって検知された所定の行動を上記第２の端末を介して受信したときに、上記記憶手段を参照して上記第２の端末に上記一連の処理コマンドを送って実行させることを特徴とする［１］記載の端末制御システム。

【0118】

［４］
上記第１の端末は、現在の位置を検出する位置検知機能を有し、
上記サーバは、
上記第２の端末に上記一連の処理コマンドを実行させる条件に、上記第１の端末の上記位置検知機能で検知された上記位置情報を含ませることを特徴とする［２］または［３］記載の端末制御システム。

【0119】

［５］
上記第１の端末は、ユーザの身体に装着可能な形状を有する特徴とする［１］乃至［４］のいずれかに記載の端末制御システム。

【0120】

［６］
第１の端末と、この第１の端末に近距離無線通信により接続可能な第２の端末と、この第２の端末と通信回線を介して接続されるネットワーク上のサーバとを備え、
上記サーバは、
上記第１の端末で検知される所定の情報と上記第２の端末に実行させる一連の処理コマンドとを関連付けてメモリに記憶しておき、
上記第１の端末から上記第２の端末を介して上記所定の情報を受信したときに、上記メモリを参照して上記第２の端末に上記一連の処理コマンドを送って実行させることを特徴とする端末制御方法。

【0121】

［７］
ネットワーク上のサーバに接続される通信端末装置と通信する電子機器において、
上記サーバから上記通信端末装置に一連の処理コマンドを送って実行させるために、上記一連の処理コマンドと関連付けられた所定の情報を入力する入力手段と、
上記所定の情報を上記通信端末装置を介して上記サーバに送信させるために、上記入力手段により入力された所定の情報を近距離無線通信により上記通信端末装置に出力する通信手段と
を具備したことを特徴とする電子機器。

【符号の説明】

【0122】

１１…リスト端末、１１ａ…装置本体、１１ｂ…バンド、１２…スマートフォン、１３…ネットワーク、１４ａ，１４ｂ…コンテンツサーバ、１５…リスト端末サーバ、１６…音声認識サーバ、２１…ＣＰＵ、２２…表示部、２３…タッチパネル、２４…通信部、２５…メモリ、２５ａ…プログラム、２６…センサ部、２７…時計部、２８…ＧＰＳ部、２９…ＧＰＳ部、３１…ＣＰＵ、３２…表示部、３３…タッチパネル、３４ａ…第１の通信部、３４ｂ…第２の通信部、３５…メモリ、３５ａ…プログラム、４１…コマンド登録画面、４２…音声登録ボタン、４３…音声設定部、４４，４５…アプリ選択ボタン、４６…表題設定部、４７…宛先設定部、４８…本文設定部、５０…端末制御部、５１…サーバメモリ、５２…マクロ実行リスト、６１…成功レポート、６２…エラーメッセージ、７１…コマンド登録画面、７２…アクション登録ボタン、７３，７４…アプリ選択ボタン、８１…マクロ実行リスト。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】