【文献】
ジョグボーイ,[online],有限会社イカイカ ソフトウェア,2010年 6月17日,[2017年6月12日検索],インターネット,URL,http://www.ikaika.co.jp/cp-bin/wordpress/?p=15
(58)【調査した分野】(Int.Cl.,DB名)
前記感情情報取得手段は、前記感情スタンプを、前記ユーザー自身の操作により、または前記ユーザーの声により、または前記ユーザーの表情により、または前記ユーザーの感情を分析することにより、選択することを特徴とする請求項1記載のトレーニング支援装置。
撮像画像取得手段は、前記感情情報取得手段が前記感情スタンプを選択したタイミングで、該選択された感情スタンプと取得した撮像画像をセットにして前記履歴保存手段に保存して、ユーザーの感情を前記感情スタンプの種類に反映させることを特徴とする請求項3項記載のトレーニング支援装置。
前記外部のカメラは複数枚の写真を撮影しており、撮像画像取得手段は、前記感情情報取得手段が前記感情スタンプを選択したタイミングに連動して、前記外部のカメラから最適な画像を取得することを特徴とする請求項5記載のトレーニング支援装置。
【発明を実施するための形態】
【0010】
以下、図面を参照しながら本発明の実施の形態について説明する。明細書において、スマートフォンをスマホ、パーソナルコンピュータをPC、ソーシャル・ネットワーク・サービスシステムをSNSと略称する。また、タイムラインとは、SNS等において、自分や友人が投稿した内容や各投稿への返信、その他の情報等が時系列に並んで一覧表示されるものをいう。ソーシャルタイムラインとは、自分一人でなく他人と共有できるタイムラインのことをいう。一覧表示される情報のうち、絵や画像、図形等、視覚に訴えるものを総称してオブジェクトという。
【0011】
図1は、本発明の一実施の形態に係るトレーニング支援システムの全体構成を示すブロック図である。
サーバー11を含むSNSサイト10は、インターネット500を介して会員のスマホ端末1−1、1−2、1−3、・・・、リスト端末2−1、2−2、2−3・・・及びPC3−1と接続される。また、リスト端末2−1、2−2、2−3、・・・は腕に装着可能な腕時計型のリスト端末であり、スマホ端末1−1、1−2、1−3と無線で接続可能である。
更に、リスト端末2−1、2−2、2−3、・・・は帽子型(頭部装着型)のウエアブルカメラ4−1、4−2、4−3、・・・と無線で接続される。以降、スマホ端末1−1、1−2、1−3、・・・、を代表してスマホ端末1、リスト端末2−1、2−2、2−3・・・を代表してリスト端末2、PC3−1、3−2、・・・を代表してPC3、ウエアブルカメラ4−1、4−2、4−3、・・・を代表してウエアブルカメラ4という。
【0012】
スマホ端末1は、通信端末として機能するもので、アプリケーションプログラムをインストールして、SNSサイト10との連携を図る動作をする。また、リスト端末2にも比較的軽いアプリケーションプログラムをインストールしてスマホ端末1との連携を図るように動作する。すなわちスマホ端末1はリスト端末2とSNSサイト10を仲介するもので、小型PCやタブレット、無線ルーター等で代用することもできる。リスト端末2とサーバー11を直接接続して、スマホ端末1を経由しなくてもWi−Fiや電話回線により情報交換ができるルートも用意されている。ウエアブルカメラ4もリスト端末2だけでなくスマホ端末1やサーバー11と接続するよう構成しても構わない。
【0013】
図2は、本実施の形態に係るSNSシステムの使用イメージを説明する図である。SNSサイト10を介して、直接又は間接的にトレーニングする会員が装着するリスト端末2、ウエアブルカメラ4、スマホ端末1、PC3が接続される。これにより、例えばSNSサイト10で作成したコース形状を、リスト端末2とウエアブルカメラ4を装着してトレーニングしている会員、あるいはリスト端末2とウエアブルカメラ4を装着してトレーニングしている他の会員に送ったり、会員のスマホ端末1やPC3に送ったりすることができる。なお、SNSサイト10としてクラウドサービスを用いることができる。
スマホ1には表示部340が、リスト端末2には表示部206が、PC3には表示部400がそれぞれ備えられており、ウエラブルカメラ4にはレンズ404が備えられている。このイメージを図面化したものが
図8である。
【0014】
図3は、サーバー11の概略構成を示すブロック図である。
同図において、102はCPUであり、システム全体を制御する。110はプログラムメモリであり、各種制御プログラムが記憶されている。CPU102はプログラムメモリ110のプログラムを実行することにより各種処理を行う。プログラムメモリ110には、全体を制御するOS(制御プログラム)111をはじめ、コース形状生成プログラム112、音声−文字変換プログラム113、生体情報分析プログラム114、顔認識プログラム115、タイムライン作成プログラム116、写真選択プログラム117等を記憶している。106は会員管理部であり、SNSシステムとして会員を管理する。友人関係やコミュニティ、掲示板等もここで管理しており、いわゆるSNS機能全般を司るものである。108は、ユーザーが複数回のトレーニングを行って、その結果を後で比較できるように、トレーニングの履歴を保存しておく履歴メモリである。
【0015】
120は、リスト端末2で収集された各種情報を記憶する収集情報メモリで、位置情報記憶エリア121、時刻情報記憶エリア122、時間情報記憶エリア123、感情情報記憶エリア124、地点情報記憶エリア125、生体情報記憶エリア126を含む。論理的には各会員に対応して記憶エリアが存在している。物理的には属性コードによって会員別に管理できる。130は、前記リスト端末2で収集された各種情報、特に位置情報を用いてユーザーが走った(移動した)コース形状を図形的に作成し、記憶するコース形状メモリである。コース形状は、プログラムメモリ110内のコース形状作成プログラム112により作成される。既にサーバー11内あるいはリスト端末2内に用意されているコースをユーザーが走っても、ユーザーが走った軌跡からコース形状を作成しても、どちらでも対応できるようになっている。
【0016】
140は、多数の気持ちスタンプを記憶してある感情画像メモリである。気持ちスタンプはイラスト画像であり、「元気」「快調」「楽しい」「順調」「疲れた」「苦しい」等の様々な感情を表す画像が用意されている。
【0017】
150は、ユーザーがリスト端末2のマイクに向かって話した音声データを記憶する音声メモリであり、この音声データをプログラムメモリ110に記憶されている音声−文字変換プログラム113によって文字データに変換したものがコメントメモリ160に記憶される。コメントメモリ160には、このように音声入力したコメントが記憶されるが、SNS機能において、ユーザー(自分)がSNSサイト10へ投稿したコメント、友人(他のユーザー)がSNSサイト10へ投稿したコメントも記憶される。入力手段は音声、キーを問わない。また、リスト端末2だけでなくスマホ端末1、PC3からコメントを入力することができる。入力されたコメントは後述するようにタイムラインとして表示されるが、これはCPU102がタイムライン作成プログラム116を実行することによってなされる。タイムラインTLは、会員に対して閲覧可能に表示制御するが、表示を作成してスマホ1やPC3で閲覧可能にするように、このタイムライン作成プログラム116が実行する。
170は、ウエアブルカメラ4で撮影された画像データ(写真)を記憶する画像メモリである。タイムライン作成プログラム116がタイムラインに写真をアップする際は、この画像メモリ170に記憶された画像を用いる。
【0018】
図4は、リスト端末2の構成を示す概略ブロック図である。
同図において、202はCPUであり、リスト端末2全体を制御する。210はプログラムメモリであり、制御プログラム211及びアプリケーションプログラム212等が予め記憶されている。制御プログラム211はリスト端末全体を制御する基本的な制御プログラムであり、アプリケーションプログラム212は、スマホ端末1やサーバー11と協働するためのプログラムである。
【0019】
206は表示部でありLCDとこれを駆動する駆動回路等から構成されている。204は、表示部206の表示を制御する表示制御部である。220は入力制御部であり、各種キーやスイッチからの入力信号を制御する。表示部206にはタッチパネル222が設けられており、基本的にリスト端末2の表示部206の表示画面上をタッチすることにより、操作を行う。タッチパネル222の入力制御も入力制御部22が行う。230はマイクであり、音声入力することができる。入力した音声データは音声メモリ240に記憶される。音声メモリ240には音声データのまま記憶されるが、この音声データはサーバー11へ送られて、音声メモリ150に記憶された後、音声−文字変換プログラム113によって文字データに変換され、文字データとしてコメントメモリ160に記憶される。
【0020】
250は、GPS部であり、公知のGPS(Global Positioning System)を利用して現在位置を計測する。すなわちGPS部250は、複数の測位衛星(GPS衛星)から送られてくる電波をアンテナにより受信することによって、現在位置を示す緯度、経度からなる位置データを取得し、取得した位置データを、使用者の行動場所を示す位置情報としてCPU202に供給する。いわゆる絶対位置を測定する。
【0021】
252は、加速度、方位、高度等を検出するセンサーであり、3軸地磁気センサー、1軸加速度センサー及び1軸ジャイロ等で構成されている。したがって、GPS部250に加えて3軸地磁気センサー、1軸加速度センサー及び1軸ジャイロ等を用いてリスト端末2の進行方向を計測することをも可能で、これにより一層精度を上げることができる。前記GPS250とセンサー252を組み合わせることにより、リスト端末2の移動軌跡や時間を正確にトレースすることができる。センサー252からの各種収集情報は、バッファメモリ280に一旦蓄えられた後、サーバー11の収集情報メモリ120に記憶される。
【0022】
254は生体センサーであり、脈拍(心拍)、血圧、体温等を計測するためのものである。計測された生体情報はバッファメモリ280に一旦蓄えられた語、サーバー11の収集情報メモリ120内の生体情報記憶エリア126に記憶される。
256は環境センサーであり、気温、気圧、湿度、紫外線量、騒音等を計測するためのものである。計測された環境情報はバッファメモリ280に一旦蓄えられた後、サーバー11の収集情報メモリ120内の環境情報記憶エリア127に記憶される。
258はスマホ端末1との間で、近接無線通信、例えばブルートゥース(登録商標)のリンクを行う無線I/F(インターフェース)であり、260はWi−Fi等でサーバー11とのリンクを行う通信I/Fである。
【0023】
290はウエアブルカメラ4と無線で接続され、ウエアブルカメラ4を制御するカメラ制御部である。ウエアブルカメラ4は前面にレンズ404を備える。カメラ制御部290の制御により周囲を撮影する。撮影された画像データは画像メモリ272に記憶される。後述する気持ちスタンプの選択時に連動して静止画を撮影するものであるが、音声コマンドによるリモコン操作等も可能であり、ドライブレコーダーのようにトレーニング中、ずっと動画を撮影し続けることも可能である。
【0024】
図5は、スマホ端末1の構成を示す概略ブロック図である。
同図において、340は表示部でありLCDとこれを駆動する駆動回路等から構成されている。354は表示部340の表示状態を制御する表示制御部である。356は入力制御部であり、各種キーやスイッチ、タッチパネル350を制御する。302はCPUであり、スマホ端末1全体を制御する。310はプログラムメモリであり、制御プログラム311及びアプリケーションプログラム312等が予め記憶されている。制御プログラム311はスマホ端末1全体を制御する基本的な制御プログラムであり、アプリケーションプログラム312は、リスト端末2や協働やサーバー11と協働するためのプログラムである。アプリケーションプログラム312は後からダウンロードすることが可能である。358はリスト端末2との間で、例えばブルートゥース(登録商標)等の近接無線でのリンクを行う無線I/Fであり、360はWi−Fi等でサーバー11とのリンクを行う通信I/Fである。
【0025】
図6は、ウエアブルカメラ4の構成を示す概略ブロック図である。ウエアブルカメラ4は、
図2又は
図8に示されるように帽子形状をしているが、内部構成は一般的なハンズフリーカメラと大きな相違はない。410はCCDやCMOSを有する撮像素子で、レンズ404から入射する被写体像を撮影する。412は撮像素子410のタイミングや露出、シャッター速度、フォーカス等を制御する撮像制御部である。420はウエアブルカメラ4全体を制御するCPUであり、プログラムメモリ430に記憶されたプログラムにより制御動作を行う。
プログラムメモリ430には、全体を制御する制御プログラム432と、特に撮影について制御する撮影制御プログラム434が記憶されている。この撮影制御プログラム434は、サーバー11の撮影制御に関する機能を一部ウエアブルカメラ4側にも備えているものである。すなわち、サーバー11又はリスト端末2が指示する撮影タイミングを、ウエアブルカメラ4自身が各種生体情報や感情情報を受け取って、その情報をもとに自分自身で決定することもできる。
440は撮像素子410で撮像した画像データを蓄積する画像メモリである。442はSDカードであり、ウエアブルカメラ4で撮影した写真を独自に保存し、他の再生装置で写真を再生することができる。
【0026】
450は無線I/Fで、リスト端末2と近接無性通信を行う。この無線I/F450を介してリスト端末2、又はスマホ端末1、又はサーバー11からウエアブルカメラ4は遠隔操作される。トレーニング中、リスト端末2とウエアブルカメラ4は同期してお互いに無線で情報交換しているが、リスト端末2とウエアブルカメラ4は電力を最小限に抑え、且つ両者のタイミングがずれないようにインタラプトにより間欠的に同期をとりながら無線通信を行っている。
【0027】
図8(a)はリスト端末2の正面図、同図(b)は斜視図を示し、表示部206時刻表示をしている例を示し、MENUアイコンが表示されている。このMENUアイコンを選択することにより、
図7のメニュー画面表示ステップS10がスタートする。
図8(c)はウエアブルカメラ4の斜視図を示す。レンズ404は帽子形状の前面に付いているが、例えば帽子のつば(ブリム)の下部にユーザーに向くように取り付ければ、ユーザーの顔を常時撮影することができ、その時々のユーザーの感情の分析に使用することができる。
【0028】
次に、図面を参照しながら、本実施の形態の使用方法並びに動作について説明する。
<トレーニングモード>
<リスト端末2の動作>
ユーザーは、リスト端末2を腕に装着し、ウエアブルカメラ4を頭に装着し、トレーニングを開始する。予めコース、距離、目標タイム等を設定してもよいし、任意に走ってもよい。
図7は、ユーザーの操作に沿ったリスト端末2の動作を示すフローチャートである。
【0029】
まず、
図7のフローチャートにおいて、ステップS10は、リスト端末2の表示部206にメニュー画面を表示している状態である。ここで、トレーニングモード、リプレイモードのいずれかを選択できる(ステップS12)。
リプレイモードを選択するとステップS24へ進み、リプレイ処理を実行する。リプレイ処理はトレーニング状況を再生するものであり、本実施の形態では詳述しない。もちろん、これ以外の選択肢を用意してもよい。この状態でトレーニングモードを選択すると、スタート画面表示へ進む(ステップS14)。
【0030】
スタートする時は、メニュー表示の中からSTARTメニューを選択する(ステップS16)。すると、ステップS18へ進み、計測処理を開始する。
トレーニング中、すなわち計測中にSTOPメニューが選択されると(ステップS20)、トレーニング終了と判断して、ステップS22へ進み、トレーニングの結果表示を行う。
【0031】
図9は、
図7におけるステップS18の計測処理の詳細を説明するためのフローチャートである。
トレーニング中、センサー252、生体センサー254、環境センサー256は適宜測定を行い、情報を収集している(ステップS100)。すなわち、GPS250により現在時刻と現在位置を取得する。現在時刻は、内蔵クロックから取得してもよい。
また、センサー252により、進行方向や加速度を得て前記現在位置を補正する。
生体センサー254により、体温、脈拍等の生体情報を取得する。
環境センサー256により、リスト端末2の周囲の気温、湿度等の環境情報を取得する。
それと共に、スタートしてからの走行時間(時間情報)を計算し記録している。
【0032】
これらの収集情報は、バッファメモリ280を介して逐次、あるいは後で一括してサーバー11へ送られ、それぞれ、位置情報記憶エリア121、時刻情報記憶エリア122、時間情報記憶エリア123、生体情報記憶エリア126、環境情報記憶エリア127にそれぞれ記憶される。
【0033】
ステップS106は感情情報の入力があったかどうかを判断する。NOであればステップS110へ進む。
YESであればステップS108で感情情報を取得する。感情情報の取得処理については後述する。感情情報はサーバー11の感情情報エリア124に記憶される。感情情報は、サーバーの感情情報記憶エリア124に記憶される。
【0034】
ステップS114では、リスト端末2のカメラ制御部290の制御によりウエアブルカメラ4により撮影を行う。具体的には気持ちスタンプが選択された時に、気持ちスタンプとセットでその場の撮影を行って写真を記録する。撮影された画像データは画像メモリ272にバッファとして記録された後、サーバー11の画像メモリ170に記憶される。
なお、動画を常時撮影している場合は、ステップS100の計測動作と並行して逐次撮影を継続している。
【0035】
図10は、
図9におけるステップS108の感情情報取得処理の詳細を示すフローチャートである。以下に説明するように、ユーザーの感情情報は、生体センサー252の収集情報、ウエアブルカメラ4による撮影データ、気持ちスタンプの選択のいずれかにより得られる。
【0036】
ステップS204では、生体センサー254が収集した生体情報から、ユーザーの感情を判定する。脈拍等の生体情報からユーザーのストレス度合等を判定する方法は各種提案されており(例えば、特許第4641811号、特許5046286号参照)、ここでは詳述しない。
生体情報分析プログラム114は、この判定結果から、それに相応しい気持ちスタンプを後述する
図11の中から選択する(ステップS208)。選択された気持ちスタンプはユーザーの感情画像となり、感情画像メモリ140に記憶される。
【0037】
ステップS206では、ステップS114でウエアブルカメラ4によるユーザーの顔を被写体とする撮影があった時、撮影された画像データを、画像メモリ272をバッファとしてサーバー11の画像メモリ170に記憶し、顔認識プログラム115により感情を判定する。顔認識技術に人物の感情を判定する技術は各種提案されており、ここでは詳述しない。顔認識プログラム115は、この判定結果から、それに相応しい気持ちスタンプを後述する
図11の中から選択する(ステップS208)。選択された気持ちスタンプはユーザーの感情画像となり、感情画像メモリ140に記憶される。
【0038】
ステップS208では、前述した生体情報分析プログラム114がユーザーの感情を判定した結果、又は顔認識プログラム115がユーザーの感情を判定した結果によって気持ちスタンプを選択する。
図11に気持ちスタンプの例を示す。ユーザー自身がトレーニング中に任意の気持ちスタンプを選択してもよい。気持ちスタンプは例えば同図に示すように複数用意されており、A1〜A9はそれぞれ異なる感情を表現している気持ちスタンプである。これ以外にも多くの気持ちスタンプが用意されており、ユーザー自身が選択する際は表示部206のスクロール操作により気持ちスタンプ画面を表示させ、自分の感情に最も合っている気持ちスタンプを選択する。又は、前述したように、音声コマンドで「キリカエ」と発生して気持ちスタンプ画面に切り替え、「元気」「快調」「楽しい」「順調」「疲れた」「苦しい」等と発声すると、該当する気持ちスタンプが選択される。
【0039】
生体情報分析プログラム114又は顔認識プログラム115がユーザーの感情を判定した結果によって気持ちスタンプを選択する場合は、ユーザーの感情の判定結果が予め設定されている感情状態となったと判定されたタイミングで選択される。
選択された気持ちスタンプは前述したようにユーザーの感情画像となるもので、感情画像メモリ140に記録される。
【0040】
<ウエアブルカメラ4の動作>
図12はウエアブルカメラ4の動作を説明するためのフローチャートである。まず、トレーニングを開始する前に、ウエアブルカメラ4をスタンバイモードにする(ステップS100)。これは、ウエアブルカメラ4本体の操作スイッチ(図示せず)によって設定してもよいし、リスト端末2からリモコンのように遠隔操作で設定してもよい。基本的には、ウエアブルカメラ4とリスト端末2は無線による同期関係にあり、リスト端末2をマスターとしウエアブルカメラ4をスレーブとしてリスト端末2からリモート制御する。
【0041】
スタンバイモードになると、CPU420の制御により撮影を開始する。例えば連写のように1秒間に複数枚撮影してもよいし、1分に1枚程度の撮影でも良い(ステップS402)。撮影した写真は画像メモリ440にFIFO(First In First Out)方式で一定期間保持される。
【0042】
トレーニング中の自動撮影なので、ピントのボケやブレが発生する可能性が高い。そこで、複数枚の写真を撮影しておき、その中から最適な写真を選択できるようにしている。明細書中ではウエアブルカメラ4により撮影された画像(画像データ)を写真と称呼している。
最適な写真の選択は写真選択プログラム117によって行う。ボケやブレの少ない写真を選択する技術はいくつか知られているので詳述はしない。なお、言うまでもないが図面に使用した写真はあくまで本実施の形態を説明するための例であって、実在の場所、コース等とは何の関係もないものであり、例示した写真のコンテンツ自体に意味は無い。
なお、前述したようにサーバー11又はリスト端末2が指示する撮影タイミングを、ウエアブルカメラ4自身が各種生体情報や感情情報を受け取って、その情報をもとに自分自身で決定することもできる。
更に、
図8で説明したようにレンズ404をユーザー自身の顔を撮影するように設置した場合は、ユーザーの顔の撮影情報を感情情報に使用することもできる。
【0043】
次に、リスト端末2で、前述したいくつかの手法のいずれかにより気持ちスタンプが選択されると、その情報を受信し(ステップS404)、ステップS402で撮影していた写真のうち、例えば受信したタイミング及びその前後の写真各5枚の計11枚を画像メモリ440に保存する。また、保存した写真若しくは任意の写真はSDカード442に保存でき、他の再生装置で見ることができる。
保存した写真はリスト端末2に送信し(ステップS408)、リスト端末2の画像メモリ272に一旦記憶され、更にサーバー11に送られて画像メモリ170に記憶される。
【0044】
<タイムライン表示>
続いて、タイムラインの表示について説明する。
図14は、ユーザーの行動に沿ったタイムライン作成のためのサーバー11のフローチャートであり、
図13は、PC3やスマホ端末1−2のタイムラインの表示例を示すものである。
図13(a)はスマホ端末1の表示部340の表示イメージを示すもので、上半分にコースCとトレーニング中のユーザーの現在位置Nを表示している。また、下半分には、タイムラインTLを表示する。
図13(b)は、スマホ1を横長にして表示させた例で、左半分にコースCと現在位置Nを、右半分にタイムラインTLを表示している。
【0045】
図13(b)では、ユーザーの現在位置Nの他に、同じコースを走っている友人Aの位置NAをアイコンで示している。すなわちユーザーが友人Aと出会った以降の表示例である。友人Aも同様のリスト端末2を装着してトレーニングしているという前提なので、SNSサイト10を介してお互いの位置を知ることができる。従って、競争したり、タイムを競ったり、一方がペースメーカーになったりすることもできる。タイムを比較表示することは勿論できるが、アイコンの表示形態を変えたり、相手(友人A)が近づいてくるとアイコンを点滅表示させたりして追い上げられていることを知らせることができる。
更に、サーバー11に履歴データ記憶部108には、過去のトレーニングデータが記憶されているので、自分の過去のトレーニング結果や友人Aのトレーニング結果を読み出して、バーチャルな相手と一緒にトレーニングしたり競争したりすることも可能である。
【0046】
しかして、タイムラインの一例は
図15A、
図15B、
図15Cに示している。
以下、
図14のサーバー11のCPU102が実行するフローチャートと
図15A、
図15B、
図15Cのタイムラインの表示例を参照しながら、タイムライン表示について説明する。
まず、ステップS502で、ユーザー自身からのコメント投稿がないかどうかを待機する。ここでNOであれば、ステップS504に進み、友人からのコメント投稿がないかを待機する。友人とはSNSシステム10内で特定のフレンド関係となった他のユーザーである。ここでNOであれば、ステップS506に進み、リスト端末2で気持ちスタンプが発生するかどうかを待機する。気持ちスタンプは前述したように、トレーニング中のユーザーの感情情報を基に、その感情を表現している
図11に示した気持ちスタンプのいずれかを選択して送信するものである。
ここでもNOであれば、ステップS508でSTOPメニューが選択されたか、すなわちトレーニング終了か否かを判断する。ここでもNOであれば、ステップS502に戻ってループを継続する。
【0047】
ステップS502で自分からのコメントを検出すると、コメントメモリ160に一旦記憶されて、ステップS510に進み、自分が投稿したタイムラインを
図15A(1)のように流す。この処理はタイムライン作成プログラム116が行う。タイムスタンプは自動的に付与される。この表示は会員のスマホ端末1やPC3で閲覧可能とされる。
図15A(1)は、ユーザー自身(自分)が「明日、皇居にジョギングに行くよ」というコメントを投稿したものである。これを受けて友人Aの任意の端末から「気を付けてね」というコメントが投稿されると、ステップS504で友人のコメント有りを検出して
図15A(2)のようにタイムライン表示する。同様に友人Bの「がんばって!」というコメントも
図15A(3)のように表示される。自分が「コースはここだよ」というコメントを流し、地図をアップした状態が
図15A(4)(5)である。コメントの文章と共に写真も投稿可能である。
図15A(6)の「ぼくも行くかも」は友人Aのコメント、
図15A(7)の「会えたらいいね」は自分のコメントを示す。任意の写真をタイムラインにアップできること、友人が任意のアイコンを作成できることは公知であるので詳述はしない。
【0048】
さて、リスト端末2とウエアブルカメラ4を装着してトレーニングするユーザー(自分)がリスト端末2のメニュー画面からSTARTメニューを選択してトレーニングをスタートすると、
図15B(8)のようにタイムラインに「START」コメントがサーバー11から自動送信される。同図において、コメントの吹き出しを二重線で表現しているものはユーザーの投稿ではなくサーバー11の自動送信であることを示している。
【0049】
そして、その時のユーザーの感情情報に合った気持ちスタンプA9が感情画像メモリ120から選択され、その時にウエアブルカメラ4で撮影し画像メモリ170に記憶された写真と共にタイムラインにアップされる(
図14ステップS506、
図15B(9))。気持ちスタンプは、生体情報分析プログラム114の結果により自動判別されるか、ユーザー自身が選択することは前述のとおりである。
【0050】
すなわち、トレーニングを開始すると、自動的にその時々のユーザーの感情に合わせて気持ちスタンプが自動的にタイムラインにアップされていくと共に、ウエアブルカメラ4で撮影した写真も一緒にアップされていく。写真は一例として気持ちスタンプ発生タイミングの前後11枚を撮影しているが、写真選択プログラム117により、最もボケやブレの少ない写真が自動選択されてアップされる。従って、気持ちスタンプの発生タイミングとウエアブルカメラ4で撮影するタイミングは同期している。
【0051】
図15B(10)で友人Cの「いいコースですね」というコメントがアップされ、
図15B(11)では快調にトレーニングしている気持ちスタンプA1と写真P2がアップされる。
図15B(12)では、上り坂に差し掛かってきつくなってきた時の感情から自動又は手動で選択された気持ちスタンプA2と写真P3がアップされる。
図15B(13)では、友人Cのコメント「がんばってください」が表示される。
図15C(14)では、坂を上り終わってほっとしている気持ちスタンプA3と写真P4がアップされる。
【0052】
図15C(15)では、友人Bのコメント「よくがんばったね」が表示され、更に
図15C(16)で友人Aがユーザー(自分)と出会って「合流したよ」というコメントを表示している。この時、
図15C(17)のように、あいさつの感情を示す気持ちスタンプA6をアップすると共に、その時撮影した友人Aが写っている写真P5がアップされる。
図15C(16)では、満開の桜を見て感動している気持ちスタンプA7と、桜の写っている写真P6がアップされる。
しかして、トレーニングを終了するとメニュー表示からSTOPメニューを選択し、
図14のステップS508でYESとなりトレーニングモードを終了する。
その際、
図15C(19)に示すように、「GOAL」がサーバー11から自動送信される。
図15C(20)ではゴールに到達した時の喜びの気持ちスタンプA4とその時撮影されたゴールの写真P7がアップされる。
【0053】
変形例として、苦しくなった時に「友だちに応援を頼む」を要求できる。そのために、例えばリスト端末2の「Cheer1 Me」(図示せず、音声入力でも良い)ボタンを押すと、スマホ端末1、サーバー11を経由して友人のスマホ端末1にメッセージが送られる。メッセージを受けた側(友人)は、アプリケーションプログラム上で「Cheer」コマンドを操作すると応援メッセージ(又は応援スタンプ)を返すことができる。従ってトレーニング中のユーザーはリアルタイムに応援を受け取ることができる。
図15A、
図15B、
図15Cにおいて、応援メッセージがタイムライン中にインタラプト的にアップされてもよい。苦しくなったかどうかは、自己申告だけでなく、速度が落ちた、心拍数が上がった等の生体センサー254で収集される生体情報から自動判別して、走っているユーザー本人(自分)に通知してもよい。一定値に達した時に「応援をたのむ?」と端末2の表示部202上に通知する。
【0054】
トレーニングが終了した時には、メニュー画面から「STOP」メニューを選択する。
リスト端末2が収集した各種情報は、電話回線経由で、又はスマホを一緒に持っている時はスマホ経由で、リアルタイムでサーバー11に送ってもよいし、10分に1回、1時間に1回等、定期的に送ってもよい。またトレーニング終了後に無線又は有線でサーバー11と接続して、一括して送ってもよい。基本的に、トレーニング中はSNSサイト10と接続している必要はなく、トレーニングが終わってから、例えばPC3と接続して、リスト端末2によりトレーニング中に収集した情報をサーバー11にアップロードすればよい。サーバー11は集まった情報を基にリプレイ処理(
図7のステップS24)を実行することができる。
【0055】
なお、本発明は、上記実施の形態に限定されるものではなく、トレーニングとは広義の意味に解するものとする。すなわち、散策、観光、散歩、ウオーキング、ジョギング、マラソン、サイクリング、登山、マリンスポーツ等に適用することができ、また、ペットの散歩や、高齢者・徘徊老人にも応用することができる。トレーニングとワークアウトは同義である。
【0056】
また、腕に装着してトレーニングする腕時計型のリスト端末を例にとって説明したが、これに限ることなく、頭に装着したり、腰に取り付けたり、あるいは手で持ってトレーニングしても構わない。ウエアブルカメラについても同様で、腰につけたり、メガネ型にしたりすることも可能である。
【0057】
<実施の形態並びに推考しうる変形例の作用効果>
生体センサーの収集情報から、ユーザーの感情や体調を判定して、気持ちスタンプ等のオブジェクトの表情や種類に反映させることができる。
生体センサーの収集情報やその判定結果、オブジェクトを日々の生活行動履歴(ライフログ)として記録したり、SNSに投稿して共有したりすることができる。
ユーザーが、メール送信やコメントの書込み等の所定の行動を起こした時に、その時点のユーザーの感情や体調を判定して、オブジェクトの表情や種類に反映させることができる。
行動を起こした時のユーザーの生体情報に基づいて、自動的にオブジェクトの表情や種類に反映させることができる。
行動を起こした前後における生体情報の変化に基づいて、ユーザーの感情や体調の時間的変化を判定して、オブジェクトの表情や種類に反映させることができる。
オブジェクトの表情等を一見するだけで、相手の感情や状態を、分かりやすく且つ興趣性を持って伝達できる。
【0058】
ウエアブルカメラの撮像シーン毎に、その時のユーザーの感情や体調を判定して、オブジェクトの表情や種類に反映させることができる。
撮影された写真を画像処理するだけで、ユーザーの感情や体調を判定して、オブジェクトの表情や種類に反映させることができる。
撮影された動画データやシーンと対応付けて、シーンごとのオブジェクトの表情や種類に反映させることができる。
ウエアブルカメラの再生画像にオブジェクトを合成することができる。
どのようなトレーニングシーンであったのか、その各シーンや記録を達成した時に、どのように感動したのか、どのような感情や精神状態であったのか、ユーザーの感動や状態データを確認したり、仲間や他人と伝達共有したりできる。
【0059】
以上、この発明の実施形態について説明したが、この発明はこれらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願時の特許請求の範囲を付記する。
<付記>
【0060】
[請求項1]
端末と、この端末と直接又は通信端末を介して接続されるサーバーとを含むソーシャル・ネットワーク・サービスシステムにおいて、
前記端末は、
感情情報を取得する感情情報取得手段と、
前記感情情報取得手段により取得された感情情報を前記サーバーに送信する送信手段と、
を備え、
前記サーバーは、
前記感情情報を受信する受信手段と、
前記受信手段により受信した感情情報を基に感情を表すオブジェクトを含むタイムラインを作成するタイムライン作成手段と、
前記タイムライン作成手段により作成したタイムラインを閲覧可能にする表示制御手段と、
を備えることを特徴とするソーシャル・ネットワーク・サービスシステム。
[請求項2]
前記感情情報取得手段は、生体センサーを有し、
前記タイムライン作成手段は、前記生体センサーで取得された生体情報を分析して感情を表すオブジェクトを作成することを特徴とする請求項1記載のソーシャル・ネットワーク・サービスシステム。
[請求項3]
前記感情情報取得手段は、感情に対応するオブジェクトを選択するオブジェクト選択手段を有し、
前記タイムライン作成手段は、前記オブジェクト選択手段で選択されたオブジェクトを、感情を表すオブジェクトとすることを特徴とする請求項1又は2記載のソーシャル・ネットワーク・サービスシステム。
[請求項4]
前記感情を表すオブジェクトは気持ちスタンプであることを特徴とする請求項3記載のソーシャル・ネットワーク・サービスシステム。
[請求項5]
当該システムは画像を撮影するカメラを更に備え、
前記サーバーは前記カメラで撮影した画像を直接または間接的に受信する画像受信手段を備え、
前記タイムライン作成手段は、前記オブジェクトと共に前記受信した画像をタイムラインにアップする手段を備えることを特徴とする請求項1乃至4いずれか記載のソーシャル・ネットワーク・サービスシステム
[請求項6]
前記端末は現在位置情報を取得して前記サーバーに送信する位置情報送信手段を備え、
前記サーバーは、前記現在位置情報を受信して地形図上に端末の現在位置を図示する現在位置図作成手段を備え、
前記タイムライン作成手段は、前記タイムラインと共に前記現在位置図をアップする手段を備えることを特徴とする請求項1乃至5いずれか記載のソーシャル・ネットワーク・サービスシステム。
[請求項7]
前記サーバーは前記端末の現在位置情報とともに、他の端末の現在位置情報を受信して、
現在位置図作成手段は、前記前記地形図上に前記他の端末の現在位置を図示する手段を含むことを特徴とする請求項6記載のソーシャル・ネットワーク・サービスシステム
[請求項8]
端末と、この端末と直接又は通信端末を介して接続されるサーバー及びカメラを含むソーシャル・ネットワーク・サービスシステムにおけるソーシャルタイムラインを生成する方法であって、
前記端末は、感情情報を取得する取得処理と、前記取得された前記感情情報を前記サーバーに送信する送信処理とを実行し、
前記カメラは、前記端末からの制御により画像を撮影する処理を実行し、
前記サーバーは、前記感情情報及び前記撮影画像を受信する処理と、前記受信した感情情報を基に感情を表すオブジェクト及び前記受信した撮影画像を含むタイムラインを作成するタイムライン作成処理と、前記作成したタイムラインを閲覧可能にする表示制御処理とを実行することを特徴とする方法。
[請求項9]
端末と、この端末から直接又は通信端末を介して送信される情報を受信してソーシャルタイムラインを生成するサーバーとを含むシステムにおける端末において、
感情情報を取得する感情情報取得手段と、 前記感情情報取得手段により取得された感情情報を前記サーバーに送信する送信手段と、
を備え、
前記感情情報取得手段は、感情に対応するスタンプ画像を選択するスタンプ選択手段を含み、
前記送信手段は前記スタンプ選択手段により選択されたスタンプ画像を前記サーバーへ送信することによってソーシャルタイムラインにスタンプ画像をアップさせることを特徴とする端末。
[請求項10]
前記スタンプ選択手段は、感情に対応するスタンプ画像を複数表示する手段と、前記スタンプ画像をユーザーに選択させる手段とを有することを特徴とする請求項8記載の端末。
[請求項11]
画像を撮影する手段を更に備え、前記送信手段は前記スタンプ選択手段により選択されたスタンプ画像と前記撮影された画像を前記サーバーへ送信することによってソーシャルタイムラインにスタンプ画像及び撮影画像をアップさせることを特徴とする請求項8又は9記載の端末。
[請求項12]
端末と、この端末と直接又は通信端末を介して接続されるサーバーとを含むソーシャル・ネットワーク・サービスシステムにおけるサーバーにおいて、
前記端末から感情情報を受信する受信手段と、
前記受信手段により受信した感情情報を基に感情を表すオブジェクトを含むタイムラインを作成するタイムライン作成手段と、
前記作成したタイムラインを閲覧可能にする表示制御手段と、
を備えることを特徴とするサーバー。
[請求項13]
前記端末から現在位置情報を受信する位置情報受信手段を更に備え、
前記タイムライン作成手段は、前記タイムラインと共に、前記受信した現在位置情報を基に地形図上に端末の現在位置を図示する現在位置図を作成する手段を備えることを特徴とする請求項12記載のサーバー。
[請求項14]
前記タイムライン作成手段は、前記端末の現在位置と共に、他の端末の現在位置を前記地形図上に図示する手段を更に備えることを特徴とする請求項13記載のサーバー。
[請求項15]
端末と、この端末から直接又は通信端末を介して送信される情報を受信してソーシャルタイムラインを生成するサーバーとを含むシステムにおける端末のコンピュータを、
感情情報を取得する感情情報取得手段、
前記取得した感情情報に対応するスタンプ画像を選択するスタンプ選択手段、
前記スタンプ選択手段で選択されたスタンプ画像を、感情を表すオブジェクトとして前記サーバーへ送信することによってソーシャルタイムラインにアップさせる手段として機能させることを特徴とするプログラム。
[請求項16]
端末と、この端末と直接又は通信端末を介して接続されるサーバーとを含むソーシャル・ネットワーク・サービスシステムにおけるサーバーのコンピュータを、
前記端末から感情情報を受信する受信手段、
前記受信手段により受信した感情情報を基に感情を表すオブジェクトを含むタイムラインを作成するタイムライン作成手段、
作成したタイムラインを閲覧可能にする表示制御手段、
として機能させることを特徴とするプログラム。