特開 2022-8717 音声と動作認識に基づいたスマートボードを制御する方法およびその方法を使用した仮想レーザーポインター

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022008717

(43)【公開日】2022-01-14

(54)【発明の名称】音声と動作認識に基づいたスマートボードを制御する方法およびその方法を使用した仮想レーザーポインター

(51)【国際特許分類】

   G06F 3/16 20060101AFI20220106BHJP

   G06T 7/20 20170101ALI20220106BHJP

   G06F 21/32 20130101ALI20220106BHJP

   G06F 3/0481 20220101ALI20220106BHJP

   G10L 17/00 20130101ALI20220106BHJP

   G06F 3/041 20060101ALI20220106BHJP

【ＦＩ】

G06F3/16 650

G06T7/20 300A

G06F21/32

G06F3/0481

G10L17/00 200Z

G06F3/041 560

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2016171813

(22)【出願日】2016-09-02

(31)【優先権主張番号】10-2016-0105180

(32)【優先日】2016-08-19

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】516265595

【氏名又は名称】ヒュンダイ・アイティー カンパニー リミテッド

【氏名又は名称原語表記】ＨＹＵＮＤＡＩ ＩＴ Ｃｏ．， ＬＴＤ．

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(72)【発明者】

【氏名】キム，ヨンテ

(72)【発明者】

【氏名】キム，ヨンソグ

【テーマコード（参考）】

5E555

5L096

【Ｆターム（参考）】

5E555AA06

5E555BA02

5E555BB02

5E555BC08

5E555CA42

5E555CB64

5E555CB66

5E555DB06

5E555DC09

5E555EA05

5E555EA23

5E555FA00

5L096CA05

5L096FA01

5L096FA66

5L096FA69

5L096HA05

5L096HA09

5L096JA11

5L096KA01

(57)【要約】      （修正有）

【課題】音声や動作認識に基づいた生体個人認証方法を使用して、少なくとも１つの仮想のレーザーポインターを少なくとも１人のユーザーが簡単に利用できるスマートボードのシステムを提供する。
【解決手段】少なくとも１つの声及び動作の認識が可能なスマートボード１００及びユーザー３００ａ、３００ｂの音声や動作を認識し、認識したユーザーの音声や動作データを音声と動作認識データベースに送信し、音声と動作認識データベースから生体個人認証された場合、音声と動作認識コマンド情報によってスマートボードと連動する少なくとも１つの仮想レーザポインター１ａ、１ｂを制御するサーバー２００と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

音声及び動作認識に基づいたスマートボードを制御する方法を使用した仮想レーザーポインターシステムにおいて、
少なくとも１つの声及び動作の認識が可能なスマートボードと、
ユーザーの音声や動作を認識し、認識された前記ユーザーの音声や動作データを音声と動作認識データベースに送信し、前記の音声と動作認識データベースから生体個人認証された場合、音声と動作認識のコマンド情報によってスマートボードと連動する少なくとも１つの仮想レーザポインターを制御するサーバーと、
を含む音声と動作認識に基づいたスマートボードを制御する方法を使用した仮想レーザーポインターシステム。

【請求項2】

前記仮想レーザーポインターシステムは、
前記少なくとも１つの音声及び動作の認識が可能なスマートボードと無線移動通信を可能にし、前記少なくとも１つの仮想レーザポインターを制御するために遠隔地からユーザーの音声及び動作の認識可能な少なくとも１つのユーザー端末を含むことを特徴とする、
請求項１に記載の声及び動作認識に基づいたスマートボードを制御する方法を使用した仮想レーザーポインターシステム。

【請求項3】

音声及び動作認識に基づいたスマートボードを制御する方法を使用した仮想レーザーポインターにおいて、アンテナを使用して送信し、アンテナから受信した周波数の信号をフレームに復調する通信部と、
多数の入力キーを持つユーザー入力インターフェースとしてボタンを備えた入力部と、
音声認識に基づく生体個人認証演算を実施するには音声認識部と、
動作認識に基づく生体個人認証演算を実施する動作認識部と、
マイクから入力される音声データを前記フレームに変換して 前記通信部に送信し、前記の通信部では前記のフレームから音声データを抽出し、デイスプレーを使用して出力する出力部と、
音声及び動作認識のコマンドデータが格納され、入出力される音声と動作認識データとバ生体個人認証データを格納する格納部と、
各部の信号を送信するインターフェース部と、
上部、入力部、出力部を制御するボタンと、
を含む、
音声と動作認識に基づいたスマートボードを制御する方法を使用した仮想レーザーポインター。

【請求項4】

音声及び動作認識に基づいた生体個人認証デバイスを備えて、サーバーと連動して仮想レーザポインターを提供する音声と動作認識に基づいたスマートボードを制御する方法において、
ユーザーの音声波形からのユーザーを認識する段階と、
ユーザーの動作映像を認識する段階と、
ユーザーの音声の波形を認識して仮想レーザポインターを制御する段階と、
ユーザーの動作映像を認識して、仮想レーザポインターを制御する段階と、
を含む、
音声と動作認識に基づく仮想レーザポインターを制御する方法。

【請求項5】

前記ユーザーの音声波形からユーザーを認識する段階は、,
該当ユーザーの音声波形を入力として取り込み、ノイズを削除する段階と、各音声認識波形の基本形態を決定した後、ユーザーによる全体音声認識波形の基本形態を決定する段階と、
音声認識波形の基本形態の変化を判断して、該当音声認識の波形を分類する段階と、音声認識波形が分類されるとユーザー認識のために該当音声認識の波形の特徴を抽出する段階と、抽出された特徴をもとに所定のコードによってユーザーを認識できる音声認識情報を生成する段階と、前記音声認識情報を基にユーザーを認識を行う段階と、
を含むことを特徴とする、
請求項４に記載の音声及び動作認識に基づく仮想レーザポインターを制御する方法。

【請求項6】

前記ユーザーの動作映像からユーザーを認識する段階は、
ユーザーの動作認識映像を入力される段階と、
入力されたユーザーの動作映像の初期映像を動作映像の基本形態に決定する段階と、
動作映像の基本形態の変化を判断して動作を分類する段階と、
該当動作の特徴を抽出する段階と、
抽出された特徴をもとに所定のコードによって、ユーザーを認識できる動作認識情報を生成する段階と、
前記の動作認識情報を基にユーザー認識を行う段階と、
を含むことを特徴とする、
請求項４に記載の音声及び動作認識に基づく仮想レーザポインターを制御する方法。

【請求項7】

前記ユーザーの音声波形から仮想レーザーポインターを制御する段階は、
音声認識情報を基に動作コマンドを検索する段階と、
前記取得したコマンドに対応して前記仮想レーザーポインターを制御する段階と、
を含むことを特徴とする、
請求項４に記載の音声及び動作認識に基づく仮想レーザポインターを制御する方法。

【請求項8】

前記ユーザーの操作映像を認識して、仮想レーザポインターを制御する段階は、
動作認識情報を基に動作コマンドを検索する段階と、
検索した前記動作コマンドに対応して前記仮想レーザーポインターを制御する段階と、
を含むことを特徴とする、
請求項４に記載の音声及び動作認識に基づく仮想レーザポインターを制御する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想レーザーポインターに関するもので、より詳しくは生体情報に基づいて、スマートボードを制御する装置に関するものである。

【背景技術】

【0002】

大型ディスプレー技術の発展に伴い、既存の黒板やビームプロジェクターの代わりに電子黒板が広く使われている。教育環境においては電子黒板を用い、効率の良い学習を行い、ビジネスの現場ではプレゼンテーションなどの様々なコンテンツを表す用途して活用されている。

【0003】

電子黒板がテレビ会議のシステムで使用される場合、多くの人が参加するリモートの会議が可能である。このような多人数のテレビ会議システムでは、いくつかに分割されている電子黒板の画面をレーザーポインターで指しても、目標地点を認知するのが難しい。これによって、多数のリモートの会議の間に内容を共有することが困難になり、コミュニケーションに限界を持つようになる。

【0004】

これにより、リモートビデオ会議では、レーザーポインターを使用せずにスマートボード上でマウスを接続して、ユーザーが手で直接操作する必要があるが、バイオメトリクス技術を利用すると、スマートボードの表示を簡単に制御できるようになる。

【0005】

バイオメトリクス（Biometrics）とは人間の生理学的または行動上の特性に基づく個人の特徴を認証の手段として活用する技術を言う。生体認証に利用する認証手段としては、指紋、網膜、虹彩、顔、手、静脈、音声、署名、DNAなどがある。

【0006】

指紋は指の汗腺に隆起している一定の流れを識別する技術であり性能の信頼性と安定性において効率的である。指紋を認識する方法には、細線化、フーリエ変換、ウェーブレット変換、ニューラルネットワーク、ファジー論理などがあり、ノイズを減らす過程と補正の過程が必要である。また構文論的方法や統計、ルールベース、神経回路の構成、チェーンコード、隆線追跡などが使用される。指紋認証方法は指紋画像の解像度、ピクセル値の分布の特徴、指紋の入力センサーのスキャン方式によって確認された指紋に幾何学的な変形が発生し、隆線の線数情報を抽出および使用の方法は指紋の回転と変形に影響を受けやすく、再現性が落ちる。

【0007】

虹彩認識は虹彩認識の組織形態に基づいて個人を識別する方法である。虹彩認識は認識エラー率が低いが、虹彩をスキャンするときに測定者の虹彩およびスキャナの焦点距離が正確でなければならず、測定者が動けば虹彩のパターンを正確に得ることができない。虹彩を撮影すると照明によって虹彩画像の色が異なる場合があり、カラーレンズなどのコンタクトレンズを身に着ける場合は虹彩認識が困難である。

【0008】

網膜のスキャンは、人間の網膜内の血管パターンを認識する。網膜のスキャンは、メガネやコンタクトレンズを使用する場合や、血液のアルコール濃度によって血管パターンが変更されることができ、網膜スキャンの実行中に目に光を照射する必要があり、目およびスキャンデバイスの接触に因って目が汚染されることがある。

【0009】

顔認識は、非接触式の顔の外観を撮影して得た画像から顔領域を抽出した後に顔の特徴となる節点を分析して個人を識別する。認証方法は簡単だが、顔の角度、表情、年齢によって顔の形が異なる場合があるために実用化が困難であり認識率が低い。

【0010】

手の甲静脈パターンの認識は、手の静脈パターンを接触式赤外線撮影装置を使用して識別し、静脈パターンは他人による複製は不可能だが、静脈のパターンをデータベースとして構築することが困難で、装置の価格が高価である。

【0011】

音声認識の場合、時間によって人間の音声の変化が広範囲であり、ノイズの存在することができ、音声を録音して、偽造が可能である。

【発明の概要】

【発明が解決しようとする課題】

【0012】

本発明解決しようとする課題は、音声や動作認識に基づいた生体個人認証方法を使用して少なくとも１つの仮想のレーザーポインターを少なくとも１人のユーザーが簡単に利用できるスマートボードのシステムを提供することである。

【課題を解決するための手段】

【0013】

本発明の実施例においては、音声と動作認識に基づいたスマートボードを制御する方法を使用した仮想レーザーポインターは、少なくとも１つの音声と動作の認識が可能なスマートボードと、ユーザーの音声や動作を認識し、認識した前記ユーザーの音声や動作データを音声と動作認識データベースに送信し、前記の音声と動作認識データベースから生体個人認証がされる場合、音声と動作認識コマンドの情報によってスマートボードの仮想レーザーポインターを制御するサーバーと、を備える音声と動作認識に基づいたスマートボードを制御する方法を使用した仮想レーザーポインターを提供する。

【0014】

本発明の実施例において、音声と動作認識データベースを備えたサーバーと連動してスマートボードを制御する仮想レーザーポインターは、アンテナを経由して送信し、アンテナから受信した周波数の信号をフレームに復調する通信部と、多数の入力キーを持つユーザー入力インターフェースとしてボタンを備えた入力部と、音声と動作認識に基づくバイオメトリクス個人認証の方法を実施する音声と動作認識部と、マイクから入力される音声データを前記フレームに変換して前記通信部に送信し、前記通信部では前記フレームから音声データを抽出し、ディスプレーで出力する出力部と、音声と動作認識プログラムが格納され、入出力される音声と動作の認識データ及びバイオメトリック個人認証データを格納する格納部と、各部の信号を相互送信するインターフェース部と、前記通信部、出力部、入力部を制御する制御部と、を含んでいる。

【0015】

本発明の実施例において、音声と動作認識に基づいたスマートボードを制御する方法は、音声と動作認識に基づいた生体個人認証デバイスを備えて、サーバーと連動すると、仮想レーザポインターを提供する音声と動作認識に基づいたスマートボードを制御する方法において、ユーザーの音声波形からのユーザーを認識する段階と、ユーザーの動作映像からユーザーを認識する段階と、ユーザーの音声の波形を認識して仮想レーザポインターを制御する段階と、およびユーザーの動作映像を認識して、仮想レーザポインターを制御する段階と、を含んでいる。

【発明の効果】

【0016】

本発明によると、音声と動作認識に基づいた生体個人認証方法を使用して少なくとも１つの仮想のレーザーポインターを少なくとも１人のユーザーが簡単に利用できる効果がある。

【図面の簡単な説明】

【0017】

【図1】本発明の実施例に基づく音声と動作認識に基づいたスマートボードを制御する方法を使用した仮想レーザーポインターシステムの概略図である。

【図2】本発明の実施例に基づく音声と動作認識に基づいたスマートボードを制御する方法を使用した仮想レーザーポインターシステムの構成図である。

【図3】本発明の実施例に基づく音声認識に基づくスマートボードを制御する方法のフローチャートである。

【図4】本発明の実施例に基づく動作認識に基づくスマートボードを制御する方法のフローチャートである。

【発明を実施するための形態】

【0018】

本発明の利点および特徴、そしてそれらを達成する方法は添付された図面と一緒に詳しく後述されている実施例を参照すると明確になるであろう。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、様々な形で具現されるものであり、単に本実施例は、本発明の開始が完全にし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に教えるために提供されているものであり、本発明は、請求項のカテゴリによって定義される。一方、本明細書で使用される用語は、実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書では、単数形は、特に言及しない限り、複数形も含む。

【0019】

本明細書で使用されるモジュールという用語は、用語が使用される文脈によって、ソフトウェア、ハードウェア、またはその組み合わせを含めることができることとして解釈されるべきである。たとえば、ソフトウェアは、マシン、ファームウェア（firmware）、組込コード（embedded code）、および応用プログラムの場合もある。別の例として、ハードウェア回路、プロセッサ、コンピューター、集積回路、集積回路のコア、センサー、メンバーの（MEMS;Micro-Electro-Mechanical System） は、手動でのデバイス、またはその組合せであることができる。

【0020】

以下では、添付の図面を参照して、本発明の少なくとも一つの実施例について詳しく説明する。以下、音声と動作認識に基づいたスマートボードを制御する方法を使用した仮想レーザーポインターシステムを '仮想レーザーポインターシステム'と略称する。

【0021】

図１は本発明の少なくとも一つの実施例に係る音声と動作認識に基づいたスマートボードを制御する方法を使用した仮想レーザーポインターシステムの概略図である。

【0022】

図１を参照すると、音声と動作認識に基づいたスマートボードを制御する方法を使用した仮想レーザーポインターは、音声と動作認識に基づいたスマートボードを制御する方法を使用した仮想レーザーポインターシステムにおいて、少なくとも１つの音声と動作の認識が可能なスマートボード（１００）と、ユーザーの声や動作を認識し、認識した前記ユーザーの声や動作データを音声と動作認識データベースに送信し、前記の音声と動作認識データベースから生体個人認証をする場合、音声と動作認識のコマンド情報に基づいてスマートボードの仮想レーザーポインターを制御するサーバー（２００）と、を含んでいる。

【0023】

本発明の少なくとも一つの実施例では第１のユーザー（１００a）は、音声認識部（１３０）の音声測定モジュール（１３１）の第１のユーザー（１００a）の音声入力を受けて第１のユーザー（１００a）の音声波形とサーバー（２００）に格納されている既存の音声波形を比較して第１のユーザー（１００a）を認識した後、音声ストレージモジュール（２０２）に音声データを転送する。音声ストレージモジュール（１３２）は第１のユーザーの音声認識についてのデータを格納する。音声演算モジュール（１３３）は音声ストレージモジュール（１３２）に格納されている音声認識データベース内の対応するコマンドのデータを選択して制御部（１８０）の信号によってスマートボード出力部（１５０）のディスプレーモジュール（１５１）を制御して仮想レーザーポインター（１a）を調整する。

【0024】

また、動作認識部（１３５）の動作測定モジュール（１３６）の第１のユーザー（１００a）の動作を受けて、第１のユーザー（１００a）の動作映像を既存の動作映像と比較して第１のユーザー（１００a）を確認した後、動作ストレージモジュール（１３７）に動作データを転送する。動作ストレージモジュール（１３７）では第１のユーザー（１００a）の動作認識に関するデータを格納する。動作演算モジュール（１３８）は動作ストレージモジュール（１３７）に格納されている動作認識データベース内の対応するコマンドを選択して制御部（１８０）の信号によって、スマートボード出力部（１５０）のディスプレーモジュール（１５１）を制御して仮想レーザーポインター（１a）を調整する。

【0025】

本発明の少なくとも一つの実施例では第２ユーザー（１００b）は第１ユーザー（１００a）が仮想レーザーポインター（１a）を調整する方法と同じ方法で仮想レーザポインター（２a）を制御する。

【0026】

つまり、第１のユーザー（１００a）は第１の仮想レーザポインター（１a）を、第２のユーザー（１００b）は第２の仮想レーザポインター（２b）をそれぞれ制御することがある。

【0027】

図２は本発明の少なくとも一つの実施例に係る音声と動作認識に基づいたスマートボードを制御する方法を使用した仮想レーザーポインターシステムの構成図ある。

【0028】

図２を参照すると、音声と動作認識に基づいたスマートボードを制御する方法を使用した仮想レーザーポインターは、音声や動作認識、データベースを備えたサーバーと連動してスマートボードを制御する仮想レーザーポインターにおいて、アンテナを経由して送信し、アンテナから受信した周波数の信号をフレームに復調する通信部（１１０）と、多数の入力キーを持つユーザー入力インターフェースとしてボタンを備えた入力部（１２０）と、音声認識に基づく生体個人認証方法と仮想レーザーポインターを制御する音声認識部（１３０）と、動作認識に基づき、仮想レーザポインターを制御する動作認識部（１３５）と、マイクから入力される音声データを前記フレームに変換して前記通信部に送信し、前記通信部では前記フレームから音声データを抽出してサーバー上の音声認識データベースに格納されているコマンドを検索し、ディスプレー上に仮想レーザーポインターを出力する出力部（１５０）と、制御部で実行する音声と動作認識プログラムが格納され、入出力される音声と動作確認データおよび生体個人認証データを格納する格納部と、各部の信号を相互送信するインターフェース部（１７０）と、前記通信部（１１０）、入力部（１２０）、出力部（１５０）を制御する制御部（１８０）と、を含んでいる。

【0029】

前記スマートボード（１００）は、通信部（１１０）、入力部（１２０）,音声認識部（１３０）,動作認識部（１３５）、センシング部（１４０）、出力部（１５０）、インターフェース部（１６０）、メモリ（１７０）、制御部（１８０）と電源供給部（１９０）などを含むことができる。本明細書で説明されているスマートボードは、前記の列挙された構成要素よりも多いか、または少ない構成要素を持つことができる。

【0030】

より具体的に、前記の構成要素の通信部（１１０）は、スマートボード（１００）との通信システムとの間、スマートボード（１００）と他のスマートボード（１００）の間、またはスマートボード（１００）と外部サーバーとの間の無線通信を可能にする１つまたは複数のモジュールを含めることができる。また、前記通信部（１１０）は、スマートボード（１００）を１つ以上のネットワークに接続する１つまたは複数のモジュールを含めることができる。

【0031】

このような通信部（１１０）は、放送受信モジュール（１１１）、移動通信モジュール（１１２）、無線インターネットモジュール（１１３）、近距離通信モジュール（１１４）、位置情報モジュール（１１５）の少なくとも１つを含むことができる。

【0032】

入力部（１２０）は、映像信号入力のためのカメラ（１２１）または映像入力部、オーディオ信号入力のためのマイクロホン（MICROPHONE,122）またはオーディオ入力部、ユーザーからの情報を入力してもらえるためのユーザー入力部（１２３、例えば、タッチキー（TOUCH KEY）、プッシュキー（MACHANICAL KEY）など）を含むことができる。入力部（１２０）から集めた音声データやイメージデータは分析され、ユーザーの制御命令として処理される。

【0033】

音声認識部（１３０）は、測定モジュール（１３１）、ストレージモジュール（１３２）、演算モジュール（１３３）で構成される。音声認識部（１３０）はA/V入力部（１２０）のマイク（１２２）を使用して入力されたユーザーの音声を測定モジュール（１３１）に送信し、音声認識情報を生成する。これらの音声認識情報には、 ユーザーの単語と文節ごとに認識された音声情報が含まれている。このようなユーザーの音声認識情報の生成のために音声認識部（１３０）はA /Dコンバーターを含むことができる。

【0034】

音声測定モジュール（１３１）は、ユーザーの音声認識波形を入力される。音声測定モジュール（１３１）は認識されているユーザーの音声認識の波形の ベースラインノイズを除去する。

【0035】

音声ストレージモジュール（１３２）は、音声測定モジュール（１３１）で確認されたユーザーの声の波形を格納する。

【0036】

音声演算モジュール（１３３）は、音声測定モジュール（１３１）で入力された音声の波形の基本形態を決定した後、ユーザーによる全体波形の基本形態を決定する。音声演算モジュール（１３３）は波形の基本形態の変化を判断して、その波形を分類する。音声演算モジュール（１３３）は波形が分類されると、ユーザー認識のために、その波形の特徴を抽出する。音声演算モジュール（１３３）は、上で抽出された特徴をもとに所定のコードによってユーザーの認識ができる確認情報を生成する。音声演算モジュール（１３３）は、認識情報を基にユーザーの認識を行う。音声演算モジュール（１３３）は、認識されたユーザーの音声信号を音声ストレージモジュール（１３２）に格納されている音声データと比較して、コマンドを検索する。音声演算モジュール（１３３）は、取得したコマンドを制御部（１８０に送信して、制御部（１８０）が取得したコマンドに対応する出力部（１５０）を制御して仮想レーザポインターを調整する。

【0037】

動作認識部（１３５）は入力部（１２０）を使用して入力された映像を使用してユーザーの動作認識情報を生成する。より詳しくは入力部（１２０）のカメラ（１２２）から入力された映像を分析してユーザーの少なくとも１つ以上の身体の部位を特定し、特定の身体部位がそれぞれの移動距離を含む動作認識情報を作り出すことができる。たとえば、動作認識部（１３５）は、入力された映像を分析して、体の頭部、腕、足、胴体など、体の部位を特定し、時間の経過に応じて、継続的に入力される映像から特定の身体部位が移動する経路を追跡して特定の身体部位それぞれの移動距離を計算することがある。

【0038】

動作測定モジュール（１３６）は入力部（１２０）のカメラ（１２２）からの動作認識のビデオ入力を受け取る。

【0039】

動作ストレージモジュール（１３７）は、動作の測定モジュール（１３６）で入力されたユーザーのビデオを格納する。

【0040】

動作演算モジュール（１３８）は、動作の測定モジュール（１３６）で入力されたユーザーの動作のビデオの初期の映像を動作映像の 基本形態に決定する。動作演算モジュール（１３８）は動作映像の 基本形態の変化を判断して動作を分類する。動作演算モジュール（１３８）は動作を分類すると、その動作の特徴を抽出する。動作演算モジュール（１３８）は、上で抽出された特徴をもとに所定のコードの動作認識情報を生成する。動作演算モジュール（１３８）は、動作認識情報に基づき、コマンドの認識を遂行する。つまり、動作演算モジュール（１３８）は認識されたユーザーの動作信号を動作ストレージモジュール（１３７）に格納されている動作データと比較して、コマンドを検索する。動作演算モジュール（１３８）は、認識されたコマンドを制御部（１８０）に送信して、制御部（１８０）が取得したコマンドに対応する出力部（１５０）を制御することにより、画面上のポインターを制御する。

【0041】

センシング部（１４０）は、スマートボードの情報、スマートボードの周辺環境の情報とユーザー情報のうち少なくとも１つをセンシングするための１つ以上のセンサーを含むことができる。たとえば、センシング部（１４０）は、近接センサー（１４１、 PROXIMITY SENSOR） 、照度センサー（１４２、ILLUMINATION SENSOR）、タッチセンサー（TOUCH SENSOR）、加速度センサー（ACCELERATION SENSOR）、磁気センサー（MAGNETIC SENSOR）、重力センサー（G-SENSOR）、ジャイロスコープセンサー（GYROSCOPE SENSOR） 、モーションセンサー（MOTION SENSOR）、RGBセンサー、赤外線センサー（IRセンサー: INFRARED SENSOR） 、指紋センサー（FINGER SCAN SENSOR）、超音波センサー（ULTRASONIC SENSOR） 、 光センサー（OPTICAL SENSOR,たとえば、カメラ（１２１参照））、マイク（MICROPHONE、１２２を参照）、バッテリーゲージ（battery gauge）、環境センサー（たとえば、気圧計、湿度計、温度計、放射線センサー、熱センサー、ガスを検出するセンサーなど）、化学センサー（たとえば、電子鼻、医療センサーなど）のうちの少なくとも１つを含むことができる。 一方、本明細書に開示されたスマートボードは、これらのセンサーのうち少なくとも二つ以上のセンサーがセンシングした情報を組み合わせて活用することができる。

【0042】

出力部（１５０）は、視覚、聴覚や触覚などの出力を発生させることで、ディスプレー部（１５１）、音響出力部（１５２）、ハプティクスモジュール（１５３）、光出力部（１５４）の少なくとも一つを含むことができる。ディスプレー部（１５１）は、タッチセンサーとの相互レイヤー構造を成すか、一体型として形成されることによって、タッチスクリーンを具現できる。このようなタッチスクリーンは、スマートボード（１００）とユーザーの入力インターフェースを提供するユーザー入力部（１２３）として機能すると同時に、スマートボード（１００）とユーザーの間の出力インターフェースを提供することができる。

【0043】

インターフェース部（１６０）は、スマートボード（１００）に連結される様々な種類の外部機器との通路の役割を果たす。このようなインターフェース部（１６０）は、有・無線ヘッドセットポート（port）、外部充電器のポート（port）、有・無線データ・ポート（port）、メモリ・カード（memory card）ポート、識別モジュールが具備された装置を連結するポート（port）、オーディオI/O （Input ・ Output）ポート（port）、ビデオI/O （Input ・ Output）ポート（port）、イヤホンポート（port）の少なくとも１つを含むことができる。スマートボード（１００）では、前記のインターフェース部（１６０）に外部機器が連結されることに対応し、連結された外部機器に関連する適切な制御を行うことができる。

【0044】

また、メモリ（１７０）は、スマートボード（１００）の様々な機能をサポートするデータを格納する。メモリ（１７０）は、スマートボード（１００）で駆動される多数の応用プログラム、スマートボード（１００）の動作のためのデータ、コマンドを格納することができる。これらの応用プログラムのうちの少なくとも一部は、ワイヤレス通信を通して外部サーバーからダウンロードすることができる。またこのような応用プログラムのうちの少なくとも一部は、スマートボード（１００）の基本的な機能（たとえば、電話着信、発信機能、メッセージの受信、発信機能）のために出庫当時からスマートボード（１００）に存在することができる。一方、応用プログラムは、メモリ（１７０）に格納され、スマートボード（１００） にインストールされて、制御部（１８０）によって前記のスマートボードの動作（または機能）を実行するように駆動することができる。

【0045】

制御部（１８０）は、前記の応用プログラムに関連する動作以外にも、通常、スマートボード（１００）の全体の動作を制御する。制御部（１８０）は以上で調べた構成要素を通して入力または出力される信号、データ、情報などを処理するかメモリ（１７０）に格納されている応用プログラムを駆動することによって、ユーザーに適切な情報や機能を提供または処理できる。

【0046】

また、制御部（１８０）は、メモリ（１７０）に格納されている応用プログラムを駆動するために、図１で説明した構成要素のうちの少なくとも一部を制御することができる。さらに、制御部（１８０）は、前記応用プログラムの駆動に、スマートボード（１００）に含まれる構成要素のうちの少なくとも２つ以上の組み合わせで動作できる。

【0047】

電源供給部（１９０）は制御部（１８０）の制御下で、外部の電源、内部の電源の印加を受けて、スマートボード（１００）に含まれている各構成要素に電力を供給する。これらの電源供給部（１９０）はバッテリーが含まれており、前記のバッテリーは、内蔵バッテリーや交換可能なタイプのバッテリーとして使える。

【0048】

サーバー（２００）はユーザーの音声や動作を認識し、認識された前記ユーザーの音声や動作データを音声と動作認識データベースに伝送し、前記の音声と動作認識データベースから生体個人認証されると、音声と動作認識のコマンド情報によりスマートボードの仮想レーザーポインターを制御する。

【0049】

前記の各構成要素の内少なくとも一部は、以下で説明する様々な実施例に基づくスマートボードの動作、制御、または制御方法を具現するため互いに連動することができる。また、前記のスマートボードの動作、制御、または制御方法は前記のメモリ（１７０）に格納されている少なくとも１つの応用プログラムの駆動により、スマートボード上に具現することができる。

【0050】

一方、センシング部（１４０）は、スマートボードの情報、スマートボードの周辺環境の情報とユーザー情報のうち少なくとも１つをセンシングし、対応するセンシング信号を発生させる。制御部（１８０）は、このようなセンシング信号に基づいて、スマートボード（１００）の駆動や動作を制御するか、スマートボード（１００）にインストールされた応用プログラム関連データの処理、機能、または動作を実行することができる。センシング部（１４０）に含めることができるさまざまなセンサーの代表的なセンサーに対して、より具体的に検討する。

【0051】

近接センサー（１４１）は、所定の検出面に接近する物体、または近くに存在する物体の有無を電磁力や赤外線などを使用して機械的な接触なしで検出するセンサーを言う。このような近接センサー（１４１）は、前述のスクリーンによって包み込まれるスマートボードの内部の領域、または前記でタッチスクリーンの近くに近接センサー（１４１）が配置されることができる。

【0052】

近接センサー（１４１）の例としては、透過型光電センサー、直接反射型光電センサー、ミラー反射型光電センサー、高周波発振型近接センサー、静電容量型近接センサー、磁気型近接センサー、赤外線近接センサーなどがある。タッチスクリーンが静電式の場合、近接センサー（１４１）は伝導性を持つ物体の接近による電界の変化で前記物体の近接を検出するように構成することができる。この場合、タッチスクリーン（タッチセンサー）自体が近接センサーとして分類することができる。

【0053】

一方、説明の便宜のために、タッチスクリーン上の物体が接触しされないながら 近接されると前記物体が前記タッチスクリーン上に位置することを認識されるようにする行為を‘近接タッチ（proximity touch）’と命名し、前記のタッチスクリーン上に物体が実際に接触する行為を‘接触タッチ（contact touch）’と命名する。前記タッチスクリーン上の物体が近くにタッチされる場所とは、前記の物体が近くにタッチするときに前記の物体がタッチスクリーンに対して垂直に対応する位置を意味する。前記近接センサー（１４１）は、近接タッチと、近接タッチパターン（たとえば、近接タッチの距離、近接タッチの方向、近接タッチの速度、近接タッチ時間、近接タッチ場所、近接タッチ移動状態など）を検出することがある。一方、制御部（１８０）は前記のように、近接センサー（１４１）で検出した 近接タッチ動作、および 近接タッチパターンに対応するデータ（または情報）を処理し、さらに、処理されたデータに対応する視覚情報をタッチスクリーン上に出力することができる。さらに、制御部（１８０）は、タッチスクリーン上の同じポイントでのタッチが、近接タッチか、または接触タッチであるかによって、異なる動作やデータ（または情報）が処理されるようにスマートボード（１００）を制御することがある。

【0054】

タッチセンサーは抵抗膜方式、静電容量方式、赤外線方式、超音波方式、磁場方式など、さまざまなタッチの少なくとも１つを使用して、タッチスクリーン（または表示部（１５１））へのタッチ（タッチ入力）を検出する。

【0055】

一例として、タッチセンサーは、タッチスクリーンの特定部位に加わる圧力または特定部位に発生する静電容量などの変化を電気的な入力信号として変換するように構成される。タッチセンサーは、タッチスクリーン上にタッチを加えるタッチの対象体がタッチセンサー上にタッチされる位置、面積、タッチする際の圧力、タッチの際の静電容量などを検出できるよう、構成することができる。ここで、タッチの対象体は、前記のタッチセンサーにタッチを印加する物体として、例えば、指、タッチペンまたはスタイラスペン(STYLUS PEN)、ポインターなどが使える。

【0056】

このように、タッチセンサーにタッチ入力される場合、対応するひとつ以上の信号は、タッチコントローラーに送られる。タッチ制御回路は、ひとつ以上の信号を処理し、対応するデータを制御部（１８０）に送信する。これ、制御部（１８０は、ディスプレー部（１５１）のいずれかがタッチされたかどうかなどを確認できるようになる。ここで、タッチコントローラーは、制御部（１８０）とは別の構成要素であることができ、制御部（１８０）そのものであることができる。

【0057】

一方、制御部（１８０）は、タッチスクリーン（またはタッチスクリーン以外で備えられているタッチキー）をタッチするタッチ対象体の種類に応じて、異なる制御を実行するか、同じ制御を行うことができる。タッチ対象体の種類に応じて、互いに違う制御を実行するか、または同一の制御を行うかは、現在のスマートボード（１００）の動作の状態または実行中の応用プログラムによって決定されることができる。

【0058】

一方、前述のタッチセンサーと近接センサーは、個別にまたは組み合わせて￥タッチスクリーンショット（またはタブ） タッチ（short touch）、ロングタッチ（long touch）、マルチタッチ（multi touch）、ドラッグのタッチ（drag touch）、フリックタッチ（flick touch）、ピンチ-インタッチ（pinch-in touch）、ピンチ-アウトタッチ（pinch-outタッチ）、スワイプ（swype）タッチ、ホーバーリング（hovering）タッチなど、さまざまな方法でタッチをセンシングすることができる。

【0059】

超音波センサーは、超音波を使用して、検出対象の位置情報を認識することができる。一方制御部（１８０）は、光センサーおよび複数の超音波センサーから感知される情報を使用して、波の発生源の位置を算出することは可能である。波発生源の位置は、光が超音波よりも非常に速い性質、つまり、光が光センサーに到達する時間が超音波の超音波センサーに到達する時間より非常に速いことを使用して、算出することができる。より具体的に光を基準信号に超音波が到達する時間との差を利用して波動の発生源の位置を算出することができる。

【0060】

一方、入力部（１２０）の構成で見たカメラ（１２１）はカメラのセンサー（たとえば、CCD、CMOSなど）、フォトセンサー（または画像センサー） およびレーザーセンサーのうちの少なくとも１つを含んでいる。

【0061】

カメラ（１２１）とレーザーセンサーは、互いに組み合わせて、３次元立体画像の感知対象のタッチを感知することがある。フォトセンサーはディスプレー素子に積層することがあり、このようなフォトセンサーは、タッチスクリーンの近くの検出対象の動きをスキャンするようにする。より具体的には、フォトセンサーには、行/列にPhoto DiodeとTR （Transistor）を実装すると、 Photo Diodeに印加される光の量に応じて変化する電気信号を使用してフォトセンサーの上に載せられる内容物をスキャンする。つまり、フォトセンサーは光の変化量で検出対象の座標計算を実行し、これにより感知対象の位置情報を取得することができる。

【0062】

ディスプレー部（１５１）は、スマートボード（１００）で処理される情報を表示（出力）する。たとえば、ディスプレー部（１５１）は、スマートボード（１００）で駆動される応用プログラムの実行画面情報、またはこのような実行画面の情報に基づくUI （User Interface）、GUI （Graphic User Interface）の情報を表示することができる。

【0063】

また、前記のディスプレー部（１５１）は、立体映像を表示する立体ディスプレー部として構成されることができる。前記立体表示部には、ステレオスコピック方式（メガネ方式）、オットーステレオスコピック 方式（無眼鏡方式）、プロジェクション方式（ホログラフィック方式） などの３次元のデイスプレーを適用することができる。

【0064】

図３は、本発明の実施例による音声認識に基づくスマートボードを制御する方法のフローチャートである。

【0065】

図３を参照すると、音声や動作認識に基づいたスマートボードを制御する方法は、音声と動作認識に基づいた生体個人認証デバイスを備えて、サーバーと連動すると、仮想レーザポインターを提供する音声と動作認識に基づいたスマートボードを制御する方法において、該当するユーザーの音声波形の入力してもらい、ノイズを削除する段階（S３１０）;各波形の基本形態を決定した後、ユーザーによる全体波形の基本形態を決定する段階（S３２０）;波形の基本形態の変化を判断して、その波形を分類する段階（S３３０）;波形が分類されると、ユーザーの認識のために、その波形の特徴を抽出する段階（S３４０）;前期得られた特徴をもとに所定コードによって、ユーザーを認識できる確認情報を作成する段階（S３５０）;前記認識情報を基にユーザー認識を行う段階（S３６０）;音声認識情報を基に動作コマンドを検索する段階（S３７０）;および検索コマンドに対応する仮想レーザポインターを制御する段階（S３８０）を含んでいる。

【0066】

３１０段階でユーザーの音声波形が入力され、ノイズを除去する。

【0067】

３２０段階で各波形の基本形態を決めた後、ユーザーによる全体音声波形の基本形態を決める。

【0068】

３３０段階で音声波形の基本形態の変化を判断し、該当する音声波形を分類する。

【0069】

３４０段階で音声波形が分類されると該当する音声波形の特徴を抽出する。

【0070】

３５０段階で抽出された特徴を基に定められているコードによって認識情報を生成する。

【0071】

３６０段階で音声認識情報に基に音声認識を行うことにより、ユーザーを認識する。

【0072】

３７０段階で音声認識情報を基に動作コマンドを検索する。

【0073】

３８０段階で取得したコマンドに対応して仮想レーザポインターを制御する。

【0074】

図４は本発明の実施例に基づく動作認識に基づくスマートボードを制御する方法のフローチャートである。図４を参照すると、音声と動作認識に基づいたスマートボードを制御する方法は、前記のユーザーの動作映像からユーザーを認識する段階は、ユーザーの動作認識映像を入力してもらうための段階（S４１０）;入力されたユーザーの動作映像の 初期映像を基本形態に決定する段階（S４２０）; 動作映像の基本形態の変化を判断して該当する動作を分類する段階（S４３０）; 該当動作の特徴を抽出する段階（S４４０）; 抽出された特徴をもとに所定のコードによってユーザーを認識する認識情報を生成する段階（S４５０）;前記認識情報を基にユーザーの認識を行う段階（S４６０）;動作認識情報を基に動作コマンドを検索する段階（S４７０）;および検索コマンドに対応する仮想レーザポインターを制御する段階（S４８０）;を含んでいる。

【0075】

４１０段階でユーザーの動作認識映像が入力される。

【0076】

４２０段階で入力されたユーザーの動作映像の初期映像を基本形態に決定する。

【0077】

４３０段階で動作映像の基本形態の変化を判断して該当する動作を分類する。

【0078】

４４０段階で該当する動作の特徴を抽出する。

【0079】

４５０段階の抽出された特徴をもとに所定のコードによってユーザーを認識する認識情報を生成する。

【0080】

４６０段階で前記の認識情報を基にユーザーの認識を行う。

【0081】

４７０段階での動作認識情報を基に動作コマンドを検索する。

【0082】

４８０段階で検索されたコマンドに対応する仮想レーザポインターを制御する。

【0083】

一方、本発明の実施例による音声と動作認識に基づいた生体個人認証方法はコンピューターシステムで実装されるか、または記録媒体に記録されることができる。コンピューターシステムは少なくとも１つ以上のプロセッサー、メモリ、ユーザー入力デバイス、データ通信バス、ユーザー出力デバイス、およびストレージを含むことができる。前述のそれぞれの構成要素はデータの通信バスを使用してデータ通信をする。

【0084】

コンピュータシステムはネットワークに結合されたネットワークインターフェースをも含むことができる。前記プロセッサは中央処理装置（central processing unit （CPU））であるか、またはメモリおよび/またはストアに格納されたコマンドを処理する半導体デバイスであることができる。

【0085】

前記のメモリはさまざまな種類の揮発性、不揮発性の記憶媒体を含むことができる。例えば、前記のメモリはROMとRAMを含むことができる。

【0086】

一方、前述した本発明の実施例に基づく音声認識に基づくバイオメトリクス個人認証の方法は、コンピューターが読み取り可能な記録媒体に、コンピューターで読み取り可能なコードとして具現することが可能である。コンピューターが読み取り可能な記録媒体は、コンピューターシステムによって復号化できるデータが格納されているすべての種類の記録媒体を含む。たとえば、ROM （Read Only Memory）、RAM（Random Access Memory）、磁気テープ、磁気ディスク、フラッシュメモリ、光データ格納デバイスなどがある。また、コンピューターに読み取り可能な記録媒体は、コンピューターネットワークに接続されているコンピューターに分散されて、分散方式で読み取ることができるコードとして格納され、実行されることができる。

【0087】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【符号の説明】

【0088】

１a、１b :仮想レーザーポインター
１００ :スマートボード
１１０ :通信部
１１１ :放送受信モジュール
１１２ :移動通信モジュール
１１３ :無線インターネット通信モジュール
１１４ :近距離通信モジュール
１１５ :位置情報モジュール
１２０ :入力部
１２１、１２１a、１２１b :カメラ
１３０ :音声認識部
１３１ :音声測定モジュール
１３２ :音声ストレージモジュール
１３３ :音声演算モジュール
１３５:動作認識部
１３６:動作測定モジュール
１３７ :動作ストレージモジュール
１３８ :操作演算モジュール
１４０ :センシング部
１５０ :出力部
１５１ :ディスプレー部
１５２ :音響出力モジュール
１６０ :インターフェース部
１７０ :メモリ
１８０ :ボタン
２００ :サーバー
３００a、３００b :ユーザー
３１０a、３１０b :ユーザー端末

【図1】

【図2】

【図3】

【図4】