知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-28
(54)【発明の名称】付加映像を提供する電子装置及びその動作方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20241018BHJP
A24F 40/60 20200101ALI20241018BHJP
A24F 40/65 20200101ALI20241018BHJP
【ＦＩ】
G06F3/01 510
A24F40/60
A24F40/65
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023578834
(86)(22)【出願日】2023-08-21
(85)【翻訳文提出日】2023-12-20
(86)【国際出願番号】 KR2023012313
(87)【国際公開番号】W WO2024063344
(87)【国際公開日】2024-03-28
(31)【優先権主張番号】10-2022-0118727
(32)【優先日】2022-09-20
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】519217032
【氏名又は名称】ケーティー アンド ジー コーポレイション
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】イ、ウォンキョン
(72)【発明者】
【氏名】キム、ミン キュ
(72)【発明者】
【氏名】ソヌ、ポール チュン
【テーマコード（参考）】
4B162
5E555
【Ｆターム（参考）】
4B162AA01
4B162AB11
4B162AC37
4B162AD20
4B162AD32
4B162AD40
4B162AD41
5E555AA26
5E555AA76
5E555BA01
5E555BA38
5E555BB01
5E555BB38
5E555BC01
5E555BD01
5E555BE17
5E555CA42
5E555CA47
5E555CA50
5E555CB01
5E555CB21
5E555CB23
5E555CC01
5E555DA08
5E555DA09
5E555DB56
5E555DB57
5E555DC09
5E555DC84
5E555DC85
5E555DD07
5E555EA07
5E555EA08
5E555EA11
5E555FA00
(57)【要約】
一例に係る電子装置はユーザに付加映像を提供するために、外部装置から喫煙イベントに対するデータを受信し、受信された喫煙イベントに対するデータに基づいて喫煙イベントに対応する少なくとも１つのグラフィックオブジェクトを含む映像データを生成し、映像データをディスプレイを介して出力することによってユーザに付加映像を提供できディスプレイを介して付加映像及びユーザの視野に対応する現実の場面がユーザに同時に観察される。
【特許請求の範囲】
【請求項1】
電子装置であって、外部装置との通信を行う通信モジュールと、
ディスプレイと、
前記通信モジュール及び前記ディスプレイと電気的に接続されるプロセッサと、
を含み、
前記プロセッサは、前記通信モジュールを介して前記外部装置から喫煙イベントに対するデータを受信し、前記喫煙イベントに対する前記データに基づいて前記喫煙イベントに対応する少なくとも１つのグラフィックオブジェクトを含む映像データを生成し、前記ディスプレイを介して前記映像データを出力する、電子装置。
【請求項2】
前記映像データの出力によって示される付加映像に対する光経路及び前記ディスプレイを通過した現実の場面に対する光経路が互いに対応する、請求項１に記載の電子装置。
【請求項3】
前記喫煙イベントに対するデータは、前記外部装置のセンサを介して検出された圧力変化又は加速度変化に対するデータである、請求項１に記載の電子装置。
【請求項4】
外部のオーディオデータを取得するマイクモジュールをさらに含み、前記プロセッサは、
前記外部装置から前記喫煙イベントに対するデータを受信する場合、前記マイクモジュールを活性化し、
前記活性化したマイクモジュールを介して外部から取得されたオーディオデータを受信し、
前記受信された喫煙イベントに対するデータ及び前記受信されたオーディオデータに基づいて、前記喫煙イベントに対応する少なくとも１つのグラフィックオブジェクトを含む前記映像データを生成する、請求項１に記載の電子装置。
【請求項5】
少なくとも１つのセンサを含む検出モジュールをさらに含み、前記プロセッサは、
前記検出モジュールを介して前記外部装置の近接有無、前記電子装置のユーザの唇の形の変化有無、及び前記電子装置の動きのうち少なくとも１つに対する検出データを取得し、
前記受信された喫煙イベントに対するデータ及び前記取得された検出データに基づいて、前記喫煙イベントに対応する少なくとも１つのグラフィックオブジェクトを含む前記映像データを生成する、請求項１に記載の電子装置。
【請求項6】
前記プロセッサは、前記喫煙イベントに対するデータに基づいて前記映像データの出力時点を決定し、
前記出力時点に前記映像データを出力することによって付加映像を出力するように前記ディスプレイを制御する、請求項１に記載の電子装置。
【請求項7】
前記プロセッサは、前記電子装置のユーザが第１動作を行う第１時点を決定し、
前記第１時点以後、前記ユーザが第２動作を行う第２時点を決定し、
前記第１時点と前記第２時点との間の区間に基づいて前記映像データの出力時点を決定する、請求項６に記載の電子装置。
【請求項8】
前記プロセッサは、前記第１時点と前記第２時点との間の区間に基づいて吸気時間を決定し、
前記第１時点と前記第２時点との間の区間及び前記吸気時間に基づいて呼気の開始時点を決定し、
前記呼気の前記開始時点を前記映像データの前記出力時点として決定する、請求項７に記載の電子装置。
【請求項9】
前記ディスプレイは、ビーム出力装置と、
ハーフミラーと、
を含む、請求項１に記載の電子装置。
【請求項10】
前記ディスプレイは、ＥＰＥ（Ｅｘｉｔ ｐｕｐｉｌ ｅｘｐａｎｄｅｒ）装置を含む、請求項１に記載の電子装置。
【請求項11】
前記外部装置は電子タバコである、請求項１に記載の電子装置。
【請求項12】
電子装置によって行われる付加映像出力方法は、外部装置から喫煙イベントに対するデータを受信する動作と、
前記受信された喫煙イベントに対するデータに基づいて前記喫煙イベントに対応する少なくとも１つのグラフィックオブジェクトを含む映像データを生成する動作と、
前記映像データをディスプレイを介して出力することにより付加映像を出力する動作と、
を含む、付加映像出力方法。
【発明の詳細な説明】
【技術分野】
【0001】
以下の実施形態はユーザに付加映像を提供する技術に関し、具体的に、ユーザにディスプレイを介して拡張現実のための付加映像を提供する技術に関する。
【背景技術】
【0002】
近年、電子タバコに対する需要が少しずつ増加している。また、このように電子タバコに対する需要が増加することにより、電子タバコに関する機能が持続的に開発されている。特に、電子タバコの種類及び特性による関連機能が持続的に開発されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
一実施形態は、ユーザに付加映像を提供する電子装置を提供することにある。
【0004】
一実施形態は、電子装置によって行われる付加映像提供方法を提供することにある。
【課題を解決するための手段】
【0005】
一実施形態に係る電子装置において、外部装置との通信を行う通信モジュールと、ディスプレイと、前記通信モジュール及び前記ディスプレイと電気的に接続されるプロセッサと、を含み、前記プロセッサは、前記通信モジュールを介して前記外部装置から喫煙イベントに対するデータを受信し、前記喫煙イベントに対する前記データに基づいて前記喫煙イベントに対応する少なくとも１つのグラフィックオブジェクトを含む映像データを生成し、前記ディスプレイを介して前記映像データを出力することができる。
【0006】
前記映像データの出力によって示される付加映像に対する光経路及び前記ディスプレイを通過した現実の場面に対する光経路が互いに対応することができる。
【0007】
前記喫煙イベントに対するデータは、前記外部装置のセンサを介して検出された圧力変化又は加速度変化に対するデータであってもよい。
【0008】
前記電子装置は、外部のオーディオデータを取得するマイクモジュールをさらに含み、前記プロセッサは、前記外部装置から前記喫煙イベントに対するデータを受信する場合、前記マイクモジュールを活性化し、前記活性化したマイクモジュールを介して外部から取得されたオーディオデータを受信し、前記受信された喫煙イベントに対するデータ及び前記受信されたオーディオデータに基づいて、前記喫煙イベントに対応する少なくとも１つのグラフィックオブジェクトを含む前記映像データを生成することができる。
【0009】
前記電子装置は、少なくとも１つのセンサを含む検出モジュールをさらに含み、前記プロセッサは、前記検出モジュールを介して前記外部装置の近接有無、前記電子装置のユーザの唇の形の変化有無、及び前記電子装置の動きのうち少なくとも１つに対する検出データを取得し、前記受信された喫煙イベントに対するデータ及び前記取得された検出データに基づいて、前記喫煙イベントに対応する少なくとも１つのグラフィックオブジェクトを含む前記映像データを生成することができる。
【0010】
前記プロセッサは、前記喫煙イベントに対するデータに基づいて前記映像データの出力時点を決定し、前記出力時点に前記映像データを出力することによって付加映像を出力するように前記ディスプレイを制御することができる。
【0011】
前記プロセッサは、前記電子装置のユーザが第１動作を行う第１時点を決定し、前記第１時点以後、前記ユーザが第２動作を行う第２時点を決定し、前記第１時点と前記第２時点との間の区間に基づいて前記映像データの出力時点を決定することができる。
【0012】
前記プロセッサは、前記第１時点と前記第２時点との間の区間に基づいて吸気時間を決定し、前記第１時点と前記第２時点との間の区間及び前記吸気時間に基づいて呼気の開始時点を決定し、
【0013】
前記呼気の前記開始時点を前記映像データの前記出力時点として決定することができる。
【0014】
前記ディスプレイは、ビーム出力装置と、ハーフミラーとを含むことができる。
【0015】
前記ディスプレイは、ＥＰＥ（Ｅｘｉｔ ｐｕｐｉｌ ｅｘｐａｎｄｅｒ）装置を含むことができる。
【0016】
前記外部装置は電子タバコであってもよい。
【0017】
一実施形態に係る電子装置によって行われる付加映像出力方法は、外部装置から喫煙イベントに対するデータを受信する動作と、前記受信された喫煙イベントに対するデータに基づいて前記喫煙イベントに対応する少なくとも１つのグラフィックオブジェクトを含む映像データを生成する動作と、前記映像データをディスプレイを介して出力することにより付加映像を出力する動作とを含むことができる。
【発明の効果】
【0018】
現実世界の画面上に付加映像を表示する電子装置を提供することができる。
【0019】
電子装置によって行われる付加映像提供方法を提供することができる。
【図面の簡単な説明】
【0020】
【図1】一例に係る無煙吸入システムの概略図を図示する。
【図2】一例に係る電子装置及び無煙吸入機構のブロック図を示す。
【図3】一実施形態に係る付加映像を提供する方法のフローチャートを示す。
【図4】一例に係る電子装置のディスプレイの第１状態を示す。
【図5】一例に係る電子装置のディスプレイの第２状態を示す。
【図6】一例に係る無煙吸入機構に対する吸入に対応する電子装置のディスプレイの状態を示す。
【図7】他の一例に係る電子装置のブロック図を示す。
【図8】一例に係るディスプレイを介して付加映像をユーザに提供するための方法を示す。
【図9】他の一例に係るディスプレイを介して付加映像をユーザに提供するための方法を示す。
【図10】一例に係るオーディオデータに基づいて映像データを生成する方法のフローチャートを示す。
【図11】一例に係るユーザの唇の形に基づいて映像データを生成する方法のフローチャートを示す。
【図12A】一例に係る電子装置が音声認識に基づいて位置を探索する例示図である。
【図13A】一例に係る電子装置が音声認識に基づいて平均喫煙量に対する質疑を受信する例示図である。
【図14A】一例に係るユーザの喫煙行為を区間別に分類して示すものである。
【図14B】一例に係る映像データの出力時点を決定し、付加映像を提供するための方法のフローチャートである。
【図15】一例に係るユーザと外部装置との間の距離に基づいて映像データの出力時点を決定する方法のフローチャートである。
【図16】一例に係る外部装置の静電容量センサの値に基づいて映像データの出力時点を決定する方法のフローチャートである。
【図17】一例に係る外部装置の方位変化センサの値に基づいて映像データの出力時点を決定する方法のフローチャートである。
【発明を実施するための形態】
【0021】
実施形態に対する特定な構造的又は機能的な説明は、単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されることなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
【0022】
第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名することができる。
【0023】
いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
【0024】
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【0025】
異なるように定義さがれない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【0026】
以下、添付する図面を参照しながら実施形態を詳細に説明する。図面を参照して説明する際に、図面符号に拘わらず同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。
【0027】
図１は、一例に係る無煙吸入システムの概略図を図示する。
【0028】
図１を参照すると、無煙吸入システムは、電子装置１００及び無煙吸入機構２００を含む。本開示において、電子装置１００は、ユーザによって着用可能な（ｗｅａｒａｂｌｅ）電子装置を意味する。例えば、電子装置１００は、メガネ又はゴーグル形態の着用可能なヘッドマウントディスプレイ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ：ＨＭＤ）（例えば、ＡＲ ｇｌａｓｓ又はＶＲ装置）に該当する。本開示において、無煙吸入機構２００は、ユーザにニコチン（又は、タバコ香味）を伝達するものの、煙を発生させない装置を意味する。例えば、無煙吸入機構２００は、従来のエアロゾル生成装置と同一又は類似の外観で形成されてもよい。また、無煙吸入機構２００は、従来のエアロゾル生成物品と同じ形態の無煙タバコが挿入（又は、脱着）されてもよい。但し、無煙吸入機構２００の外観及び挿入（又は、脱着）される無煙タバコの形態はこれに制限されず、メーカーの設計に応じて変更されることは当業者にとって自明である。
【0029】
一実施形態において、電子装置１００はフェースプレート（ｆａｃｅ ｐｌａｔｅ）１０１及び装着部１０３を含む。
【0030】
一実施形態において、電子装置１００のフェースプレート１０１は、ユーザの顔前面のうち少なくとも一部に着用されてもよい。例えば、フェースプレート１０１は、ユーザの顔前面のうち少なくとも一部（例えば、鼻）によって支持される複数の構成要素（例えば、鼻筋（ｎｏｓｅ ｐａｄ））を含む。
【0031】
一実施形態において、電子装置１００の装着部１０３は、フェースプレート１０１の一部に結合されてユーザの体の一部（例えば、耳）に支持されてもよい。例えば、装着部１０３は、フェースプレート１０１がユーザの目の周辺に密着されるように、メガネのテンプル（ｔｅｍｐｌｅ）、ストラップ（ｓｔｒａｐ）、又はヘルメット（ｈｅｌｍｅｔ）から構成されてもよい。
【0032】
一実施形態において、電子装置１００は、プロセッサ１１０、ディスプレイ１２０、及び通信モジュール１３０を含む。電子装置１００は、センサ（例えば、カメラ）をさらに含む。一実施形態において、プロセッサ１１０及び通信モジュール１３０は、電子装置１００の装着部１０３の少なくとも一部分に配置されるが、プロセッサ１１０及び通信モジュール１３０が配置される部分はこれに制限されることはない。他の実施形態において、プロセッサ１１０及び通信モジュール１３０のうち少なくとも１つの構成要素は、電子装置１００のフェースプレート１０１でディスプレイ１２０部分を除いた一部分に配置されてもよい。一実施形態において、ディスプレイ１２０は、メガネのレンズ形態であってもよいため、電子装置１００のフェースプレート１０１に配置されてもよい。
【0033】
一実施形態において、電子装置１００及び無煙吸入機構２００は、通信インターフェースを介して通信を接続することができる。例えば、電子装置１００の通信モジュール１３０は、無線通信又は有線通信を介してネットワークに接続されて無煙吸入機構２００と通信できる。無線通信は、ＷＩ－ＦＩ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）、ＢＴ（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＮＦＣ（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又はセルラー通信（例えば、ＬＴＥ、ＬＴＥ－Ａ、ＣＤＭＡ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳなど）のうち少なくとも１つを含む。有線通信は、ＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）又はＨＤＭＩ（登録商標）（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ）のうち少なくとも１つを含む。
【0034】
一実施形態において、電子装置１００は、通信モジュール１３０を介して無煙吸入機構２００から受信されたデータに基づいて映像データを生成し、映像データをディスプレイ１２０を介して出力することにより様々な映像をユーザに提供することができる。これに対する具体的な内容は後述する。
【0035】
図２は、一例に係る電子装置及び無煙吸入機構のブロック図を示す。
【0036】
一実施形態によれば、図１を参照して上述した電子装置１００は、プロセッサ１１０、ディスプレイ１２０、通信モジュール１３０及びセンサ１４０を含む。
【0037】
一実施形態によれば、図１を参照して上述した無煙吸入機構２００は、センサ２１０、プロセッサ２２０及び通信モジュール２３０を含む。
【0038】
一実施形態において、無煙吸入機構２００のプロセッサ２２０は、ユーザの喫煙イベントを検出することができる。本開示において「喫煙イベント」は、無煙吸入機構２００に含まれたセンサを介して検出されるユーザのパフを意味する。即ち、無煙吸入機構２００のプロセッサ２２０は、無煙吸入機構２００に挿入された無煙タバコを介してユーザの吸気（ｉｎｈａｌａｔｉｏｎ）を検出することにより、喫煙イベントの発生を検出することができる。
【0039】
一実施形態において、無煙吸入機構２００のプロセッサ２２０は、センサ２１０を介して喫煙イベントの発生を検出することができる。例えば、センサ２１０を介して検出された圧力変化（例えば、圧力降下）が予め設定された閾値よりも大きい場合、プロセッサ２２０は、喫煙イベントの発生を検出してもよい。一実施形態において、無煙吸入機構２００のプロセッサ２２０は、通信モジュール２３０を介して喫煙イベントに対するデータを電子装置１００に送信してもよい。
【0040】
一実施形態において、電子装置１００のプロセッサ１１０は、通信モジュール１３０を介して無煙吸入機構２００からデータを受信することができる。例えば、電子装置１００の通信モジュール１３０は、無煙吸入機構２００の通信モジュール２３０と通信接続を行い、無煙吸入機構２００から喫煙イベントに対するデータを受信してもよい。一実施形態において、無煙吸入機構２００の電源状態がオン（ｏｎ）される場合、電子装置１００は、通信モジュール１３０を介して無煙吸入機構２００の通信モジュール２３０と自動（ａｕｔｏｍａｔｉｃａｌｌｙ）で通信リンクを設立し得る。例えば、電子装置１００及び無煙吸入機構２００の通信リンクが設立された後に無煙吸入機構２００のセンサ２１０を介して喫煙イベントが検出されれば、電子装置１００は、通信モジュール１３０を介して無煙吸入機構２００から喫煙イベントに対するデータを受信してもよい。異なる例として、電子装置１００及び無煙吸入機構２００の通信接続が設立された後に閾時間（例えば、１５秒）以内に無煙吸入機構２００のセンサ２１０を通した喫煙イベントが検出されなければ、電子装置１００は、無煙吸入機構２００との通信接続を解除してもよい。電子装置１００及び無煙吸入機構２００の間の通信接続が解除された場合、無煙吸入機構２００の電源状態がオフ（ｏｆｆ）に切り替えられる。
【0041】
一実施形態において、電子装置１００のプロセッサ１１０は、無煙吸入機構２００から受信された喫煙イベントに対する映像データを生成し、ディスプレイ１２０を介して付加映像（即ち、喫煙イベントに対する映像データ）をユーザに提供することができる。ここで、付加映像は、喫煙イベントに対応する少なくとも１つのグラフィックオブジェクト（例えば、煙のオブジェクト）を含む。例えば、プロセッサ１１０は、無煙吸入機構２００における圧力降下が終了する時点以後に付加映像をユーザに提供し、付加映像はユーザの呼気（ｅｘｈａｌａｔｉｏｎ）に対応する煙オブジェクトを含む。ここで、「圧力降下が終了する時点」は、ユーザの１回パフ動作に対応する時間内で吸気が終了する時点を意味する。このように、無煙吸入機構２００を介して喫煙をするユーザは、実際にタバコの煙を視覚的に観察できないが、煙のオブジェクトで喫煙を可視化する付加映像によってユーザの喫煙満足感が増大される。
【0042】
【0043】
一実施形態によれば、電子装置は動作３０１、３０３及び３０５を介してユーザに付加映像を提供することができる。
【0044】
動作３０１において、電子装置（例えば、図２の電子装置１００）のプロセッサ（例えば、図２のプロセッサ１１０）は、通信モジュール（例えば、図２の通信モジュール１３０）を介して外部装置（例えば、図２の無煙吸入機構２００）から喫煙イベントに対するデータを受信する。外部装置は、電子タバコであってもよい。
【0045】
例えば、図４を参照すると、ユーザが体の一部（例えば、頭）に電子装置１００を着用することにより、ユーザは、ディスプレイ（例えば、図２のディスプレイ１２０）を介してユーザの視野に対応する現実の場面４００を観察することができる。ここで、ディスプレイ１２０は、付加映像が出力されていない状態の透明なレンズに該当する。そのため、ユーザがディスプレイ１２０を介して見ることができる現実の場面４００は、ユーザが無煙吸入機構２００を介して喫煙する実際の空間における周囲の環境を意味する。その後、ユーザが電子装置１００を着用した状態で無煙吸入機構２００を介して無煙タバコを吸入すると、電子装置１００のプロセッサ１１０は無煙吸入機構２００から喫煙イベントに対するデータを受信することができる。
【0046】
一実施形態によれば、無煙吸入機構２００のプロセッサ（例えば、図２のプロセッサ２２０）は、圧力センサ（例えば、図２のセンサ２１０）を介して圧力変化を検出し、センサ２１０を介して圧力変化が最初に検出された時点をユーザが無煙タバコを介して吸気を始めた時点ｔ１として決定する。無煙吸入機構２００のプロセッサ２２０は、時点ｔ１で圧力変化に対応する喫煙イベントの発生を示すデータを電子装置１００に送信する。
【0047】
一実施形態によれば、ユーザが無煙タバコに対する１回の吸入を終了すれば、電子装置１００のプロセッサ１１０は、無煙吸入機構２００から喫煙イベントの終了に対するデータを受信する。例えば、無煙吸入機構２００のプロセッサ２２０は、センサ２１０を介して検出された圧力変化（例えば、圧力降下）がこれ以上発生しない時点をユーザが無煙タバコを通した１回の吸気を終了した時点ｔ２として決定する。無煙吸入機構２００のプロセッサ２２０は、時点ｔ２で圧力変化の終了に対するデータを電子装置１００に送信する。
【0048】
一実施形態において、電子装置１００のプロセッサ１１０は、時点ｔ１及びｔ２の時間差に基づいて出力する映像データを生成することができる。他の実施形態において、電子装置１００のプロセッサ１１０は、時点ｔ１から時点ｔ２までの圧力変化程度に基づいて映像データを生成してもよい。それに対する具体的な説明は、図６を参照して後述する。
【0049】
前記で喫煙イベントは、無煙吸入機構２００の圧力変化に基づいて検出される喫煙イベントであると説明したが、喫煙イベントは、様々なセンサによって検出されるイベントであってもよい。喫煙イベントに対する様々な実施形態について、以下で図１５～図１７を参照して詳細に説明される。
【0050】
動作３０３において、電子装置１００のプロセッサ１１０は、喫煙イベントに対応する少なくとも１つのグラフィックオブジェクトを含む映像データを生成する。映像データは、グラフィックオブジェクトが連続的に出力される動画に対するデータであってもよい。映像データがディスプレイ１２０を介して出力される場合、ユーザに提供される動画は、付加映像５０５に命名される。例えば、付加映像５０５が出力される間にグラフィックオブジェクト５１０の形状は変化し得る。一実施形態によれば、グラフィックオブジェクト５１０はタバコの煙の形状であってもよい。
【0051】
一実施形態によれば、プロセッサ１１０は、無煙吸入機構２００から受信されるデータに基づいて付加映像５０５の時間を決定し、付加映像５０５内から出力されるグラフィックオブジェクト５１０の形状を決定することができる。例えば、付加映像５０５の時間は予測（又は、決定）されたユーザの呼気時間に対応する。ユーザの呼気時間を決定する方法について、以下の図１４を参照して詳細に説明される。
【0052】
動作３０５において、電子装置１００のプロセッサ１１０は、ディスプレイ１２０を介して映像データを出力することによって付加映像５０５をユーザに提供する。
【0053】
図５を参照して示された一例によれば、ユーザが無煙タバコを通した吸気の後に呼気を行うとき、ユーザは、ディスプレイ１２０を介して現実に場面５００に付加映像５０５が重なった画面を観察することができる。ここで、電子装置１００は、装着部（例えば、図１の装着部１０３）に配置される別途のビーム（ｂｅａｍ）出力装置を介して映像データに対する光をディスプレイ１２０に出力する。ユーザに提供される付加映像５０５は、従来における巻タバコ（柔軟タバコ）を通した喫煙時に発生し得るタバコの煙に対応するグラフィックオブジェクト５１０を含む。
【0054】
図６は、一例に係る無煙吸入機構に対する吸入に対応する電子装置のディスプレイの状態を示す。
【0055】
【0056】
一実施形態によれば、プロセッサ１１０は、ユーザの吸入程度に基づいて付加映像６１０，６２０のための映像データを生成することができる。例えば、電子装置１００が外部装置である図１の無煙吸入機構２００から受信した喫煙イベントに対するデータは、ユーザの吸入程度に対するデータを含んでもよく、電子装置１００のプロセッサ１１０は、ユーザの吸入程度に対応する映像データを生成してもよい。
【0057】
一実施形態によれば、電子装置１００は、無煙吸入機構２００からユーザの吸入程度に対するデータとして圧力変化に対するデータを受信し、受信された圧力変化に対するデータに対応する映像データをディスプレイ１２０を介して出力してもよい。
【0058】
例えば、電子装置１００が無煙吸入機構２００から受信した吸入程度に対するデータは、第１吸入圧力（負の値）を含む。即ち、ユーザが無煙吸入機構２００のマウスピースの部分を吸い込むことにより、無煙吸入機構２００の気流通路に配置されたセンサ（例えば、図２のセンサ２１０）は、前記の通路内の圧力降下を検出する。ここで、第１吸入圧力は、ユーザが無煙吸入機構２００のマウスピースの部分を実質的に弱く吸い込んだときに検出された圧力変化値であってもよい。
【0059】
電子装置１００は、第１吸入圧力に対応する映像データを生成することができる。例えば、電子装置１００は、メモリ（図示せず）に予め格納されたデータに基づいて第１吸入圧力に対応する映像データを決定することができる。ここで、電子装置１００のメモリは、圧力値に対応する映像データを予め格納してもよい。その後、電子装置１００は、第１吸入圧力が検出された場合に決定された第１吸入圧力に対応する映像データをディスプレイ１２０を介して出力することで付加映像６１０をユーザに提供することができる。例えば、ユーザは、ディスプレイ１２０を介して現実の場面６００ａに決定された第１吸入圧力に対応する付加映像６１０が重なった画面を見ることができる。
【0060】
異なる例として、電子装置１００が無煙吸入機構２００から受信した吸入程度に対するデータは第２吸入圧力（マイナスの値）を含む。即ち、ユーザが無煙吸入機構２００のマウスピースの部分を吸い込むことにより、無煙吸入機構２００の気流通路に配置されたセンサ２１０は前記の通路内の圧力降下を検出し得る。ここで、第２吸入圧力は、ユーザが無煙吸入機構２００のマウスピースの部分を実質的に強く吸い込んだときに検出された圧力変化値である。また、第２吸入圧力の絶対値は、第１吸入圧力の絶対値よりも大きくてもよい。
【0061】
電子装置１００は、第２吸入圧力に対応する映像データを決定する。例えば、電子装置１００は、メモリ（図示せず）に予め格納されたデータに基づいて第２吸入圧力に対応する映像データを決定することができる。その後、電子装置１００は、決定された第２吸入圧力に対応する映像データをディスプレイ１２０を介して出力することで、付加映像６２０をユーザに提供することができる。例えば、ユーザは、ディスプレイ１２０を介して現実場面６００ｂに決定された第２吸入圧力に対応する付加映像６２０が重なった画面を見ることができる。
【0062】
第１吸入圧力に対応する付加映像６１０及び第２吸入圧力に対応する付加映像６２０は異なるグラフィックオブジェクトを含む。例えば、第１吸入圧力に対応する付加映像６１０及び第２吸入圧力に対応する付加映像６２０のそれぞれは、タバコの煙を描写するグラフィックオブジェクトを含むが、タバコの煙の特徴（例えば、タバコの煙量及び／又はタバコの煙の形）は互いに互いに異なってもよい。即ち、ユーザが無煙吸入機構２００のマウスピースの部分を相対的に強く吸い込んだときの付加映像６２０は、相対的に弱く吸い込んだときの付加映像６１０よりも大きくて、豊富なタバコの煙の形状を含むことができる。
【0063】
他の実施形態において、電子装置１００は、無煙吸入機構２００からユーザの吸入程度に対するデータとして吸入時間に対するデータを受信してもよく、受信された吸入時間に対するデータに対応する映像データを生成し、映像データをディスプレイ１２０を介して出力してもよい。
【0064】
例えば、電子装置１００が無煙吸入機構２００から受信した吸入程度に対するデータは、第１吸入時間（例えば、１秒）を含んでもよい。即ち、ユーザが無煙吸入機構２００のマウスピースの部分を吸い込むことにより、無煙吸入機構２００は、無煙吸入機構２００に含まれている圧力センサ又は静電容量センサなどを介してユーザの吸入が開始されることを検出することができる。その後、無煙吸入機構２００は、無煙吸入機構２００に含まれたタイマを介してユーザが１回の吸入時間を測定することで第１吸入時間を１秒として決定することができる。ここで、第１吸入時間は、ユーザが無煙吸入機構２００のマウスピースの部分を相対的に短く吸い込んだときに検出された吸入時間である。
【0065】
電子装置１００は、第１吸入時間に対応する映像データを決定することができる。例えば、電子装置１００は、メモリに予め格納されたデータに基づいて第１吸入時間に対応する映像データを生成してもよい。ここで、電子装置１００のメモリには、無煙吸入機構２００における吸入時間に対応する映像データが予め格納されていてもよい。その後、電子装置１００は、決定された第１吸入時間に対応する映像データをディスプレイ１２０を介して出力することで、付加映像６１０をユーザに提供することができる。例えば、ユーザは、ディスプレイ１２０を介して現実場面６００ａに決定された第１吸入時間に対応する付加映像６１０が重なった画面を見ることができる。
【0066】
異なる例として、電子装置１００が無煙吸入機構２００から受信した吸入程度に対するデータは、第２吸入時間（例えば、２秒）を含んでもよい。即ち、ユーザが無煙吸入機構２００のマウスピースの部分を吸い込むことで、無煙吸入機構２００は、無煙吸入機構２００に含まれた圧力センサ又は静電容量センサなどを介してユーザの吸入が開始されることを検出することができる。その後、無煙吸入機構２００は、無煙吸入機構２００に含まれたタイマを介してユーザが１回の吸入時間をカウントすることにより、第２吸入時間を２秒として決定してもよい。ここで、第２吸入時間は、ユーザが無煙吸入機構２００のマウスピースの部分を相対的に長く吸い込んだときに検出された吸入時間である。
【0067】
電子装置１００は、第２吸入時間に対応する映像データを決定することができる。例えば、電子装置１００は、メモリに予め格納されたデータに基づいて第２吸入時間に対応する映像データを生成してもよい。その後、電子装置１００は、決定された第２吸入時間に対応する映像データをディスプレイ１２０を介して出力することで、付加映像６２０をユーザに提供することができる。例えば、ユーザは、ディスプレイ１２０を介して現実場面６００ｂに決定された第２吸入時間に対応する付加映像６２０が重なった画面を見ることができる。
【0068】
第１吸入時間に対応する付加映像６１０及び第２吸入時間に対応する付加映像６２０は、異なるグラフィックオブジェクトを含む。例えば、第１吸入時間に対応する付加映像６１０及び第２吸入時間に対応する付加映像６２０のそれぞれは、タバコの煙を描写するグラフィックオブジェクトを含むが、タバコの煙の特徴（例えば、タバコの煙量及び／又はタバコの煙の形）は互いに互いに異なってもよい。即ち、ユーザが無煙吸入機構２００のマウスピースの部分を相対的に長く吸い込んだときの付加映像６２０は、相対的に短く吸い込んだときの付加映像６１０よりも大きくて豊富なタバコの煙の形状を含む。
【0069】
図７は、他の一例に係る電子装置のブロック図を示す。
【0070】
一実施形態によれば、電子装置７００は、プロセッサ７１０、ディスプレイ７２０、通信モジュール７３０、マイクモジュール７４０、及び検出モジュール７５０を含む。図７における電子装置７００は、図１における電子装置１００に対応するため、図７のプロセッサ７１０、ディスプレイ７２０及び通信モジュール７３０に対する具体的な説明は、図１のプロセッサ１１０、ディスプレイ１２０及び通信モジュール１３０に対する具体的な説明に対応する。
【0071】
マイクモジュール７４０は、外部からオーディオデータを取得することができる。例えば、マイクモジュール７４０は外部のオーディオデータを取得し、取得されたオーディオデータを電気的な信号に切り替えることができる。
【0072】
一実施形態によれば、プロセッサ７１０は、予め設定された条件が満足される場合にマイクモジュール７４０を不活性化状態から活性化状態に切り替えることができる。例えば、電子装置７００が無煙吸入機構２００から喫煙イベントに対するデータを受信する場合、予め設定された条件が満足される。即ち、電子装置７００が無煙吸入機構２００から喫煙イベントに対するデータ（例えば、圧力変化に対するデータ、ユーザの吸入時間に対するデータなど）を受信すると、プロセッサ７１０は、マイクモジュール７４０を不活性化状態から活性化状態に切り替えることができる。
【0073】
一実施形態によれば、検出モジュール７５０は、電子装置７００の作動状態又は外部環境の状態を検出し、検出された状態に対応する電気信号又はデータ値を生成できるように少なくとも１つのセンサを含むことができる。例えば、検出モジュール７５０は、近接センサ７５２、イメージセンサ７５４及び加速度センサ７５６を含んでもよい。
【0074】
一実施形態によれば、プロセッサ７１０は、近接センサ７５２を介して外部装置（例えば、無煙吸入機構２００）の近接有無を検出する。プロセッサ７１０は、通信モジュール７３０を介して無煙吸入機構２００から受信された喫煙イベントに対するデータ及び前記無煙吸入機構２００の近接有無に基づいて、ディスプレイ７２０を介して喫煙イベントに対応する映像データを出力することができる。
【0075】
一実施形態によれば、プロセッサ７１０は、イメージセンサ７５４を介してユーザの唇の形の変化有無を検出することができる。即ち、電子装置７００を着用したユーザの唇の形を取得できるように、イメージセンサ７５４は、電子装置７００のフェースプレート（例えば、図１のフェースプレート１０１）の下部領域のうちの一領域に配置されてもよい。プロセッサ７１０は、通信モジュール７３０を介して無煙吸入機構２００から受信された喫煙イベントに対するデータ、及びユーザの唇の形の変化有無に基づいて喫煙イベントに対応する映像データを生成してもよい。
【0076】
一実施形態によれば、プロセッサ７１０は、加速度センサ７５６を介して電子装置７００の動きを検出することができる。プロセッサ７１０は、通信モジュール７３０を介して無煙吸入機構２００から受信された喫煙イベントに対するデータ及び電子装置７００の動きに基づいて、ディスプレイ７２０を介して喫煙イベントに対応する映像データを生成することができる。
【0077】
図８は、一例に係るディスプレイを介して付加映像をユーザに提供するための方法を示す。
【0078】
一実施形態に係る図７を参照して上述した電子装置７００のディスプレイ７２０－１は、グラス８１０、ビーム出力装置８２０、少なくとも１つのレンズ８３０及びハーフミラー８４０を含む。例えば、電子装置７００のプロセッサ７１０は、映像データをビーム出力装置８２０を介して出力してもよい。ビーム出力装置８２０によって出力されたビームがレンズ８３０及びハーフミラー８４０を介してユーザの目８０６に提供されることで、ユーザは、付加映像８０４が提供されることができる。同時に、ユーザの目８０６には現実場面８０２が提供されてもよい。言い換えれば、映像データの出力によって示される付加映像８０４に対する光の通路、及びディスプレイ７２０－１を通過した現実の場面８０２に対する光の通路が互いに対応する。そのため、ユーザは、現実場面８０２及び付加映像８０４を重複して観察することができる。
【0079】
図９は、他の一例に係るディスプレイを介して付加映像をユーザに提供するための方法を示す。
【0080】
一実施形態に係る図７を参照して上述した電子装置７００のディスプレイ７２０－２は、光導波管９１０、ビーム出力装置９２０、及び少なくとも１つのレンズ９３０を含む。例えば、ディスプレイ７２０－２は、ＥＰＥ（Ｅｘｉｔ ｐｕｐｉｌ ｅｘｐａｎｄｅｒ）装置を含む。
【0081】
電子装置７００のプロセッサ７１０は、映像データをビーム出力装置９２０を介して出力する。ビーム出力装置９２０により出力されたビームがレンズ９３０を介して光導波管９１０を通じて行うことができる。光導波管９１０を通じて行われたビームがユーザの目９０６に提供されることで、ユーザは、付加映像９０４が提供されることができる。同時に、ユーザの目９０６には現実場面９０２が提供され得る。言い換えれば、映像データの出力によって示される付加映像９０４に対する光の通路及びディスプレイ７２０－２を通過した現実の場面９０２に対する光の通路が互いに対応する。そのため、ユーザは、現実場面９０２及び付加映像９０４を重複して観察することができる。
【0082】
図１０は、一例に係るオーディオデータに基づいて映像データを生成する方法のフローチャートを示す。
【0083】
一実施形態によれば、図３を参照して上述した動作３０３は、動作１００１、１００３及び１００５を含む。動作１００１、１００３及び１００５は、図１に示す電子装置１００のプロセッサ１１０又は図７に示す電子装置７００のプロセッサ７１０により行われる。
【0084】
動作１００１において、電子装置７００のプロセッサ７１０は、マイクモジュール（例えば、図７のマイクモジュール７４０）を不活性化状態から活性化状態に切り替える。例えば、プロセッサ７１０は、予め設定された条件が満足される場合にマイクモジュール７４０を不活性化状態から活性化状態に切り替えることができる。ここで、無煙吸入機構（例えば、図２の無煙吸入機構２００）から喫煙イベントに対するデータが受信された場合、無煙吸入機構２００との通信リンクが設立された場合、及び／又はマイクモジュール７４０を活性化するためのユーザ入力が受信された場合、予め設定された条件が満足される。
【0085】
動作１００３において、電子装置７００のプロセッサ７１０は、マイクモジュール７４０を介して外部から取得されたオーディオデータを受信する。例えば、オーディオデータは、ユーザが無煙吸入機構２００のマウスピースの部分を吸い込む吸気に対応する声信号及び／又は吸気直後の呼気に対応する声信号を含む。
【0086】
一実施形態によれば、マイクモジュール７４０は、外部から取得されたアナログ信号である声信号をデジタル信号に変換させるＡ／Ｄコンバータ（ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ（ＡＤＣ））含む。例えば、マイクモジュール７４０のＡＤＣは、外部から取得されたユーザの吸気及び／又は呼気に対応する声信号をデジタル信号に変換させ、電子装置７００のプロセッサ７１０は、変換されたデジタル信号をメモリに格納してもよい。ここで、ＡＤＣは、外部から取得されたユーザの吸気及び／又は呼気に対応する声信号に対して標本化、量子化及び符号化などの一連の段階を経てデジタル信号に変換させることができる。その後、マイクモジュール７４０を介してオーディオデータが受信されれば、電子装置７００のプロセッサ７１０は、前記メモリに格納されたデジタル信号に基づいて受信されたオーディオデータがユーザの吸気に対応する声信号を含むか否か、呼気に対応する声信号を含むか否かを判断してもよい。
【0087】
動作１００５において、電子装置７００のプロセッサ７１０は、受信された喫煙イベントに対するデータ及びオーディオデータに基づいて映像データを出力する。
【0088】
本開示において、「喫煙イベントに対するデータ」とは、ユーザが無煙吸入機構２００を介して無煙タバコを吸入することにより、無煙吸入機構２００内の圧力変化に対するデータを意味する。また、本開示において、「オーディオデータ」とは、喫煙者の吸気に対応する声信号及び／又は呼気に対応する声信号を含む。
【0089】
例えば、無煙吸入機構２００から予め設定された閾値よりも大きい圧力変化に対するデータが受信され、マイクモジュール７４０からユーザの吸気に対応する声信号を含むオーディオデータが受信されれば、電子装置７００のプロセッサ７１０は、ディスプレイ７２０を介して映像データを出力することができる。ここで、映像データは、無煙吸入機構２００から受信された圧力変化値及びマイクモジュール７４０から受信された声信号に基づいて決定されてもよい。
【0090】
異なる例として、無煙吸入機構２００から予め設定された閾値よりも大きい圧力変化に対するデータが受信されれば、電子装置７００のプロセッサ７１０はディスプレイ７２０を介して出力する映像データを生成してもよい。その後、マイクモジュール７４０からユーザの呼気に対応する声信号を含むオーディオデータが受信されれば、電子装置７００のプロセッサ７１０は、オーディオデータが受信された時点からディスプレイ７２０を介して映像データを出力してもよい。
【0091】
図１１は、一例に係るユーザの唇の形に基づいて映像データを生成する方法のフローチャートを示す。
【0092】
一実施形態によれば、図３を参照して上述した動作３０３は、動作１１０１及び１１０３を含む。動作１１０１及び１１０３は、図１の電子装置１００のプロセッサ１１０又は図７の電子装置７００のプロセッサ７１０により行われる。
【0093】
動作１１０１において、電子装置７００のプロセッサ７１０は、検出モジュール７５０を介して無煙吸入機構２００の近接有無、ユーザの唇の形の変化有無、及び無煙吸入機構２００の動きのうち少なくとも１つに対するデータを取得する。
【0094】
例えば、電子装置７００のプロセッサ７１０は、近接センサ（例えば、図７の近接センサ７５２）を介して無煙吸入機構２００が電子装置７００に近接するか否かに対するデータを取得してもよい。即ち、ユーザが電子装置７００を着用している場合、電子装置７００のプロセッサ７１０は、無煙吸入機構２００が電子装置７００に近づくことに基づいて、ユーザの喫煙イベントを検出することができる。
【0095】
異なる例として、電子装置７００のプロセッサ７１０は、イメージセンサ７５４を介してユーザの唇の形が変化するか否かに対するデータを取得してもよい。即ち、ユーザが電子装置７００を着用している場合に、ユーザの唇の形が特定の形（例えば、「Ｏ」の音を出すときの唇の形）に変化することを介して、電子装置７００のプロセッサ７１０はユーザにより喫煙動作が行われることを決定してもよい。
【0096】
更なる例として、電子装置７００のプロセッサ７１０は、加速度センサ７５６を介して電子装置７００の動きに対するデータを取得してもよい。即ち、ユーザが電子装置７００を着用した場合、電子装置７００のプロセッサ７１０は、検出された電子装置７００を着用したユーザの動きに基づいてユーザの喫煙イベントを検出してもよい。
【0097】
動作１１０３において、電子装置７００のプロセッサ７１０は、受信された喫煙イベントに関するデータ及び取得された検出データに基づいて映像データを生成する。
【0098】
例えば、無煙吸入機構２００から予め設定された閾値よりも大きい圧力変化に対するデータが受信され、検出モジュール７５０から無煙吸入機構２００の近接有無、ユーザの唇の形の変化有無、及び電子装置７００の動きのうち少なくとも１つの検出データが受信されれば、電子装置７００のプロセッサ７１０は、ディスプレイ７２０を介して映像データを出力してもよい。ここで、映像データは、無煙吸入機構２００から受信された圧力変化値及び検出モジュール７５０から受信された検出データに基づいて生成されることができる。
【0099】
【0100】
図１２Ａを参照すると、電子装置７００、無煙吸入機構２００及びユーザ端末装置１２００は通信インターフェースを介して通信を接続することができる。例えば、電子装置７００の通信モジュール７３０は、無線通信又は有線通信を介してネットワークに接続され、無煙吸入機構２００及び／又はユーザ端末装置１２００と通信できる。
【0101】
一実施形態において、電子装置７００は、マイクモジュール７４０を介して音声認識を行うことができる。例えば、電子装置７００のプロセッサ７１０は、別途の音声認識プロセッサの活性化のためのウェイクアップ命令語（ｗａｋｅ－ｕｐ ｃｏｍｍａｎｄ）１２１０で特定の音声（例えば、「ＯＫ、装置」）を予め設定してもよい。その後、マイクモジュール７４０を介して「ＯＫ、装置」という音声が入力されれば、プロセッサ７１０は、受信された音声が予め設定された音声に対応すると判断して音声認識プロセッサを活性化することができる。
【0102】
一実施形態において、電子装置７００のプロセッサ７１０は、ユーザ端末装置１２００に地図データを要求するための命令語として、特定の音声（例えば、「近所」、「周辺」、「どこ」、「探して」、「教えて」など）を予め設定してもよい。その後、マイクモジュール７４０を介して「近所の喫煙ブースを探して」１０２０という音声が入力されれば、電子装置７００のプロセッサ７１０は、入力された音声に予め設定された命令語が含まれているか否かを判断する。電子装置７００のプロセッサ７１０は、入力された音声に予め設定された命令語が含まれると判断されれば、通信モジュール７３０を介してユーザ端末装置１２００に地図データを要求することができる。
【0103】
図１２Ｂを参照すると、電子装置７００のプロセッサ７１０は、ディスプレイ７２０を介して位置探索結果を含む映像データを生成することができる。例えば、ユーザは、ディスプレイ７２０を介して現実場面にユーザ端末装置１２００から受信された地図データが重なった画面１２３０を見ることができる。ここで、ユーザ端末装置１２００から受信された地図データは、ユーザ端末装置１２００からミラーリング（ｍｉｒｒｏｒｉｎｇ）技術により共有されたデータを意味する。例えば、ユーザ端末装置１２００から受信された地図データは、ユーザ端末装置１２００のアプリケーション（例えば、ナビゲーションアプリケーション）を介して取得された地図データが共有されたものであってもよい。
【0104】
【0105】
図１３Ａを参照すると、電子装置７００、無煙吸入機構２００及びユーザ端末装置１３００は通信インターフェースを介して通信を接続することができる。例えば、電子装置７００の通信モジュール７３０は、無線通信又は有線通信を介してネットワークに接続されて無煙吸入機構２００及び／又はユーザ端末装置１３００と通信できる。
【0106】
一実施形態において、電子装置７００は、マイクモジュール７４０を介して音声認識を行うことができる。例えば、電子装置７００のプロセッサ７１０は、別途の音声認識プロセッサの活性化のためのウェイクアップ命令語（ｗａｋｅ－ｕｐ ｃｏｍｍａｎｄ）１３１０で特定の音声（例えば、「ＯＫ、装置」）を予め設定してもよい。その後、マイクモジュール７４０を介して「ＯＫ、装置」という音声が入力されれば、プロセッサ７１０は、受信された音声が予め設定された音声に対応すると判断して音声認識プロセッサを活性化できる。
【0107】
一実施形態において、電子装置７００のプロセッサ７１０は、ユーザ端末装置１３００に平均喫煙量データ及び現在喫煙量データの少なくとも１つを要求するための命令語として、特定の音声（例えば、「今月」、「今日」、「平均」、「喫煙量」、又は「教えて」）を予め設定してもよい。その後、マイクモジュール７４０を介して「今月の平均喫煙量を教えて」「１３２０」という音声が入力されれば、電子装置７００のプロセッサ７１０は、入力された音声に予め設定された命令語が含まれているか否かを判断する。電子装置７００のプロセッサ７１０は、入力された音声に予め設定された命令語が含まれるものと判断されれば、通信モジュール７３０を介してユーザ端末装置１３００に平均喫煙量データ及び現在喫煙量データの少なくとも１つを要求することができる。
【0108】
図１３Ｂを参照すると、電子装置７００のプロセッサ７１０は、ディスプレイ７２０を介して平均喫煙量データを含む映像データを出力することができる。例えば、ユーザは、ディスプレイ７２０を介して現実場面にユーザ端末装置１３００から受信された平均喫煙量データが重なった画面１３３０を見ることができる。ここで、ユーザ端末装置１３００から受信された平均喫煙量データは、ユーザ端末装置１３００からミラーリング技術によって共有されたデータを意味する。例えば、ユーザ端末装置１３００から受信された平均喫煙量データは、ユーザ端末装置１３００のアプリケーション（例えば、喫煙習慣モニタリングアプリケーション）を介して取得された喫煙量データが共有されたものであってもよい。
【0109】
図１４Ａは、一例に係るユーザの喫煙行為を区間別に分類して示すものである。
【0110】
一実施形態に係るユーザは、Ｔ１時点からＴ４時点までの喫煙行為を実施する。
【0111】
図１４Ａを参照すると、一実施形態に係るユーザはｔ１時点からｔ２時点の間のＤ１区間において、外部装置（例えば、図２の無煙吸入機構２００）を介して喫煙可能物質（例えば、エアロゾル）を吸入する。無煙吸入機構２００は、様々な方式でエアロゾルを生成してもよい。以下、Ｄ１区間におけるユーザの動作は「煙の吸入」動作として称し、ユーザは、無煙吸入機構２００の煙の吸入動作によって口の中に喫煙可能物質（例えば、エアロゾル）を集めることができる。Ｄ１区間では、ユーザと無煙吸入機構２００の一側（例えば、吸引口又はマウスピース）は互いに接触している状態である。
【0112】
一実施形態に係るユーザは、ｔ２時点からｔ３時点の間のＤ２区間の間に口の中に集められた喫煙可能物質を肺に吸入する。以下で、Ｄ２区間におけるユーザの動作は「吸気」動作（又は、「吸気及び手下げ」動作）に称し、ユーザは、無煙吸入機構２００の一側を唇から分離させて吸入する間に手を下げる。Ｄ２区間では、ユーザと無煙吸入機構２００とが分離される。
【0113】
一実施形態に係るユーザは、ｔ３時点からｔ４時点の間のＤ３区間において、吸入した喫煙可能物質を吐きだす。以下で、Ｄ３区間におけるユーザの動作は「呼気」動作として称する。
【0114】
一実施形態に係るＤ２区間の長さ（吸気時間）はＤ１区間の長さ（煙の吸入時間）に基づいて推定され得る。一例として、Ｄ２区間の長さ（吸気時間）は、Ｄ１区間の長さ（煙の吸入時間）に比例してもよい。例えば、煙の吸入時間が１秒である場合、吸気時間も１秒であってもよく、煙の吸入時間が３秒である場合、吸気時間も３秒であってもよい。又は、人工神経網を用いて煙の吸入時間に対応する吸気時間が予測されてもよい。例えば、煙の吸入時間及び吸気時間のペア学習データに基づいて学習された人工神経網に煙の吸入時間を入力し、これに対応する吸気時間が予測されることもできる。但し、煙の吸入時間に基づいて吸気時間を推定する方法は、上記の例示に限定されない。
【0115】
Ｄ２区間の長さ（吸気時間）を予測できることは、ｔ３（呼気時点）を予測できることを意味する。即ち、Ｄ１区間の長さ（煙の吸入時間）を測定を介してＤ２区間の長さを予測することができ、測定されたＤ１区間の長さに予測されたＤ２区間の長さを加えると、ｔ３（呼気時点）を予測することができる。
【0116】
一実施形態によれば、Ｄ３区間の長さ（呼気時間）は、Ｄ１区間の長さ（煙の吸入時間）及びＤ２区間の長さ（吸気時間）のうち少なくとも１つに基づいて決定され得る。例えば、Ｄ１区間の長さ又はＤ２区間の長さに比例するよう、Ｄ３区間の長さが決定されてもよい。予測されたｔ３（呼気時点）及びＤ３区間の長さに基づいてｔ４時点が予測され得る。
【0117】
一実施形態によれば、ユーザは、Ｄ３区間の長さに関する情報を予め電子装置７００に設定することができる。例えば、Ｄ１区間の長さ又はＤ２区間の長さに対するＤ３区間の長さの比率は、ユーザに応じて設定されてもよい。仮想煙の出力時間を相対的に長く保持したいユーザは、比率を大きく設定してもよい。
【0118】
図１４Ｂは、一例に係る映像データの出力時点を決定し、付加映像を提供するための方法のフローチャートである。
【0119】
一実施形態に係る仮想喫煙システムにおいて、ユーザは、現実世界の外部装置（例えば、図２の無煙吸入機構２００）を通した喫煙を電子装置（例えば、図７の電子装置７００）と連動して喫煙の仮想現実又は拡張現実を体験することができる。より具体的に、一実施形態に係る電子装置７００は、ユーザが無煙吸入機構２００を介して喫煙中に息を吐き出す時点に仮想空間においても仮想煙を実現することで、異質感のない仮想煙を実現することができる。
【0120】
一実施形態に係るユーザは、図１４ＡにおけるＤ１からＤ３の動作を少なくとも一回以上繰り返して喫煙行為を実施し、無煙吸入機構２００又は電子装置７００はユーザのタバコの煙の吸入、吸気及び呼気を検出したり予測して仮想煙を実現することができる。以下、「仮想煙を実現」することは、仮想煙の実現時点、持続時間、及び仮想煙の外形（例えば、形、色）のうち少なくとも１つを決定することを含む。
【0121】
図１４Ｂを参照すると、動作１４１０において、ユーザは、無煙吸入機構２００から喫煙可能物質を吸入する。電子装置７００は、ユーザが煙の吸入動作（即ち、無煙吸入機構２００で喫煙可能物質を口を用いて吸う動作）を行う時間（例えば、図１４ＡのＤ１）を測定することができる。
【0122】
動作１４２０において、ユーザは、煙の吸入を終了されれば、吸気及び手下げ動作を行う。電子装置７００は、ユーザが吸気及び手下げ動作を行う時間（例えば、図１４ＡのＤ２）を測定することができる。
【0123】
動作１４３０において、電子装置７００は、煙の吸入時間に基づいて吸気及び手下げしている時間及びユーザの呼気の開始時点（例えば、図１４Ａのｔ３）を予測する。予測されたユーザの呼気の開始時点は、映像データの出力時点として決定されてもよい。
【0124】
動作１４４０において、電子装置７００は、ユーザが呼気を開始すれば、電子装置７００は、ユーザが呼気を行う時間（例えば、図１４ＡでＤ３）の間に付加映像を提供する。例えば、電子装置７００は、決定された出力時点から映像データを電子装置７００のディスプレイ７２０に出力することによって付加映像をユーザに提供することができる。
【0125】
呼気を始めた後、予め決定された時間が経過すれば、電子装置７００は付加映像の提供を終了１４５０する。
【0126】
図１５は、一例に係るユーザと外部装置との間の距離に基づいて映像データの出力時点を決定する方法のフローチャートである。
【0127】
一実施形態に係る無煙吸入機構２００のセンサ２１０は距離検出センサを含む。例えば、距離検出センサは、赤外線方式、ライダ方式又は超音波方式などのセンサであってもよい。但し、本開示の距離検出センサは、上記の方式に限定されることはない。
【0128】
一実施形態に係るユーザが喫煙を開始すれば、距離検出センサは、ユーザの体の一部（例えば、唇）と無煙吸入機構２００との間の距離をモニタリングする。距離検出センサによって生成されたデータは、電子装置７００に送信される。電子装置７００は、距離検出センサのモニタリング結果に基づいて映像データの出力時点を決定する。電子装置７００は、決定された出力時点に付加映像をユーザに提供することで、ユーザに拡張現実における喫煙経験を提供することができる。
【0129】
一実施形態によれば、図１４を参照して上述した動作１４３０は、以下の動作１５１０及び１５２０を含む。
【0130】
動作１５１０において、電子装置７００は、ユーザと無煙吸入機構２００との間の距離をモニタリングする。例えば、無煙吸入機構２００がユーザの体の一部と接触する第１時点を検出する動作及び無煙吸入機構２００がユーザの体から遠ざかる第２時点を検出する動作を含む。
【0131】
例えば、第１時点を検出する動作は、無煙吸入機構２００とユーザの体が第１閾値以内の距離近接することを距離検出センサが検出することを含む。
【0132】
例えば、第２時点を検出する動作は、無煙吸入機構２００とユーザの体が接触した後ユーザの体が第２閾値超過の距離から離脱することを距離検出センサが検出することを含む。
【0133】
動作１５２０において、電子装置７００は、モニタリング結果に基づいて映像データの出力時点を決定する。
【0134】
第１時点は、ユーザが煙の吸入動作を始める時点であってもよい。第１時点と第２時点との間の区間は、ユーザが無煙吸入機構２００から喫煙可能物質を口に吸入する時間であってもよく、煙の吸入時間に基づいてユーザの第１呼吸時間が予測され得る。ここで、第１呼吸は、吸気動作を意味する。第２時点は、ユーザが吸入（即ち、喫煙可能物質を肺に吸入する行為）を始める時点であってもよい。第１時点と第２時点との間の区間及び第１呼吸時間に基づいて、第２呼吸の開始時点が予測される。ここで、第２呼吸は、呼気動作を意味する。即ち、第２呼吸の開始時点は、ユーザが呼気を始める時点であってもよい。例えば、第２呼吸の開始時点が映像データの出力時点として決定されてもよい。
【0135】
一実施形態によれば、ユーザの煙の吸入時間は、第１時点と第２時点との間の区間であるため、ユーザが吸気を行う時間である第１呼吸時間が煙の吸入時間と同様に推定され得る。その後、電子装置７００は、ユーザが呼気を始める時点である第２呼吸の時点を、第２時点から第１呼吸時間が経過した時点として予測できる。
【0136】
例えば、無煙吸入機構２００にユーザの体に接する第１時点から第２無煙吸入機構２００でユーザの体が分離される第２時点が１秒であれば、第１呼吸時間が１秒として推定されてもよい。ユーザが吸気を行う時間も第１呼吸時間と同様に１秒であると予測される。そのため、第２呼吸（即ち、呼気）が始まる時点は、ユーザの体の一部が無煙吸入機構２００から分離した後から１秒であると予測される。そのため、無煙吸入機構２００は、無煙吸入機構２００がユーザの体部位から分離される時点から１秒後を映像データの出力時点として決定することができる。
【0137】
一実施形態によれば、動作１５２０は、第１時点と第２時点との間の区間に基づいてユーザの吸入量及び呼吸量を推定する動作を含む。ユーザの吸入量は、無煙吸入機構２００とユーザの体が接触した状態で、ユーザが無煙吸入機構２００を介して吸入するエアロゾルの吸入量を示す。ユーザの呼吸量は、無煙吸入機構２００がユーザの体部位に接触していない状態で、ユーザが吸入する吸気量を示す。推定された呼吸量と吸入量に基づいて、映像データの出力時点を予測することができる。
【0138】
一実施形態に係る動作１５２０は、無煙吸入機構２００が予め決定された動作条件が満足されるかを判断する動作、及び無煙吸入機構２００が動作条件を満足するという判断に基づいて映像データの出力時点を決定する動作を含む。例えば、ユーザが無煙吸入機構２００の電源をオン又はオフする場合、無煙吸入機構２００に含まれているパフ（ｐｕｆｆ）センサ又は圧力センサが吸入を検出する場合、予め設定された動作条件が満足され得る。距離検出センサの検出値は、ユーザの特定の体部位ではない、その他の体部位（例えば、指）によって変化されてもよく、距離検出センサは、ユーザが電源をオン又はオフする場合にのみ作動できるように構成されてもよく、距離検出センサは、パフセンサ又は圧力センサなどを介してユーザの吸入検出に応答して作動するように構成されてもよい。但し、本開示の吸入センサは、パフセンサ又は圧力センサに限定されることはない。
【0139】
図１６は、一例に係る外部装置の静電容量センサの値に基づいて映像データの出力時点を決定する方法のフローチャートである。
【0140】
一実施形態に係る無煙吸入機構２００のセンサ２１０は静電容量センサを含む。例えば、静電容量センサは、キャパシタ（Ｃａｐａｃｉｔｏｒ）に基づいて構成されるセンサであってもよい。但し、本開示の静電容量センサは、上記の方式に限定されることはない。
【0141】
一実施形態に係るユーザが喫煙を開始すれば、静電容量センサは、ユーザの体の一部（例えば、唇）が無煙吸入機構２００に接触した場合に、変化する静電容量センサの静電容量をモニタリングする。静電容量センサによって生成されたデータは電子装置７００に送信される。電子装置７００は、静電容量センサのモニタリング結果に基づいて映像データの出力時点を決定する。電子装置７００は、決定された出力時点に付加映像をユーザに提供することでユーザに拡張現実における喫煙経験を提供することができる。
【0142】
一実施形態によれば、図１４を参照して上述した動作１４３０は、以下の動作１６１０及び１６２０を含む。
【0143】
動作１６１０において、電子装置７００は、静電容量センサの変化値をモニタリングする。
【0144】
一実施形態によれば、動作１６１０は、無煙吸入機構２００にユーザの体（例えば、唇）が接触する第１時点を検出する動作、及び無煙吸入機構２００からユーザの体が遠ざかる（又は、離脱する）第２時点を検出する動作を含む。
【0145】
例えば、第１時点を検出する動作は、ユーザの体部位が無煙吸入機構２００に接触する場合に検出される静電容量が第１閾値以内に到達することを静電容量センサが検出することを含む。
【0146】
例えば、第２時点を検出する動作は、無煙吸入機構２００からユーザの体の一部が分離された場合に検出される静電容量が第２閾値を超過することを静電容量センサが検出することを含む。
【0147】
動作１６２０において、電子装置７００は、静電容量のモニタリング結果に基づいて映像データの出力時点を決定する。
【0148】
図１７は、一例に係る外部装置の方位変化センサの値に基づいて映像データの出力時点を決定する方法のフローチャートである。
【0149】
一実施形態に係る無煙吸入機構２００は、方位変化センサを含む。例えば、方位変化センサは、ジャイロセンサ、加速度センサ、又は、３ｄｏｆ／６ｄｏｆセンサなどのセンサであってもよい。但し、本開示の方位変化センサは上記の方式に限定されることはない。
【0150】
一実施形態に係るユーザが喫煙を開始すれば、方位変化センサは、無煙吸入機構２００の方位変化をモニタリングする。方位変化センサによって生成されたデータは、電子装置７００に送信されてもよい。電子装置７００は、方位変化センサのモニタリング結果に基づいて映像データの出力時点を決定する。電子装置７００は、決定された出力時点に付加映像をユーザに提供することでユーザに拡張現実における喫煙経験を提供することができる。
【0151】
一実施形態によれば、図１４を参照して上述した動作１４３０は、以下の動作１７１０及び１７２０を含む。
【0152】
動作１７１０において、電子装置７００は、無煙吸入機構２００がユーザの体に接触する第１時点を検出する動作及び無煙吸入機構２００からユーザの体が遠ざかる第２時点を検出する動作を含む。
【0153】
例えば、第１時点を検出する動作は、無煙吸入機構２００とユーザの体が第１閾値以内の方位に近接することを方位変化センサが検出し、ユーザがユーザの体で無煙吸入機構２００を持ってくる間の加速度変化を検出することを含む。
【0154】
例えば、第２時点を検出する動作は、無煙吸入機構２００からユーザ体が第２閾値超過の方位から離脱することを検出し、ユーザがユーザの体から無煙吸入機構２００を引き離す間の加速度変化を検出することを含む。
【0155】
一実施形態によれば、ユーザが手を下げている場合の無煙吸入機構２００のｘ、ｙ、ｚ軸の方位と、ユーザが無煙吸入機構２００をユーザの体と接触した場合の無煙吸入機構２００のｘ、ｙ、ｚ軸の方位とを比較して方位変化を測定することができる。ユーザが無煙吸入機構２００を取って手を動かす場合、測定される加速度は増加してから減少して止まる。加速度の変化区間を測定することで方位変化が予測され、予測された方位変化に基づいてユーザの喫煙時間を推定することができる。
【0156】
動作１７２０において、電子装置７００は、モニタリング結果に基づいて映像データの出力時点を決定する。
【0157】
実施形態に係る方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク、及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。
【0158】
ソフトウェアは、コンピュータプログラム（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ）、コード（ｃｏｄｅ）、命令（ｉｎｓｔｒｕｃｔｉｏｎ）、又はそのいずれかの組み合わせを含んでもよく、希望のように動作するように処理装置を構成したり独立的又は結合的に（ｃｏｌｌｅｃｔｉｖｅｌｙ）処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されるか、処理装置に命令又はデータを提供するために、いずれかのタイプの機械、コンポーネント、物理的装置、仮想装置、コンピュータ記憶媒体、又は送信される信号波に永久的に具体化することができる。ソフトウェアは、ネットワーク接続されたコンピュータシステム上に分散され、分散された方法で格納又は実行されてもよい。ソフトウェア及びデータは、コンピュータ読み取り可能な記録媒体に格納することができる。
【0159】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
【0160】
したがって、他の具現、他の実施形態および特許請求の範囲と均等なものも後述する特許請求範囲の範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13A】
【図13B】
【図14A】
【図14B】
【図15】
【図16】
【図17】
【国際調査報告】