特表 2023-508851 画面を拡大して表示し、実時間に中継する装置及びその動作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-03-06

(54)【発明の名称】画面を拡大して表示し、実時間に中継する装置及びその動作方法

(51)【国際特許分類】

   G06F 3/04845 20220101AFI20230227BHJP

   H04L 67/04 20220101ALI20230227BHJP

   H04N 21/431 20110101ALI20230227BHJP

   H04N 21/442 20110101ALI20230227BHJP

【ＦＩ】

G06F3/04845

H04L67/04

H04N21/431

H04N21/442

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022536650

(86)(22)【出願日】2020-03-18

(85)【翻訳文提出日】2022-06-13

(86)【国際出願番号】 KR2020003727

(87)【国際公開番号】W WO2021125449

(87)【国際公開日】2021-06-24

(31)【優先権主張番号】10-2019-0171280

(32)【優先日】2019-12-19

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2020-0027387

(32)【優先日】2020-03-04

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】522234828

【氏名又は名称】オーバーフロー ビズ インコーポレーテッド

【氏名又は名称原語表記】ＯＶＥＲＦＬＯＷ ＢＩＺ，ＩＮＣ．

【住所又は居所原語表記】８０１ ｈｏ，２０，Ｓｅｏｎｇｓｕｉｌ－ｒｏ １２－ｇｉｌ，Ｓｅｏｎｇｄｏｎｇ－ｇｕ，Ｓｅｏｕｌ，０４７９３，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】キム、テ フン

【テーマコード（参考）】

5C164

5E555

【Ｆターム（参考）】

5C164UA04S

5C164UB41P

5C164UB81P

5C164YA11

5E555AA26

5E555BA02

5E555BA05

5E555BA06

5E555BB02

5E555BB05

5E555BB06

5E555BC08

5E555CA12

5E555CB14

5E555CB47

5E555CB57

5E555CC23

5E555DB57

5E555DC25

5E555FA00

(57)【要約】

携帯用電子装置を利用して画面を拡大して表示し、拡大された画面を実時間にユーザに中継する装置及び方法に関する。画面を拡大して表示し実時間に中継する装置及びその動作方法は中継サーバーから提供者の全体画面を受信する受信部と、前記受信した全体画面をディスプレーするディスプレー部と、前記ディスプレーした全体画面上のユーザ入力を感知する認識部と、前記ユーザ入力の入力状態変化を感知し、前記入力状態変化に基づいて前記全体画面で、前記ユーザ入力に相応する領域を拡大する制御部と、を含む。携帯用電子装置を利用して簡単な操作だけで画面拡大及び実時間中継サービスを同時に提供されることができる効果がある。また、本発明は低視力視覚障害者に対する画面拡大実時間中継サービスを手軽に提供することができる効果がある。
【選択図】図１A

【特許請求の範囲】

【請求項1】

中継サーバーから提供者の全体画面を受信する受信部と、
前記受信した全体画面をディスプレーするディスプレー部と、
前記ディスプレーした全体画面上のユーザ入力を感知する認識部と、
前記ユーザ入力の入力状態変化を感知し、
前記入力状態変化に基づいて前記全体画面で、前記ユーザ入力に相応する領域を拡大する制御部と、を含み、
前記制御部は、
前記認識部が前記ユーザ入力を第１時間の間に感知すれば、前記第１時間に相応する第１倍率で前記ユーザ入力に相応する領域を拡大し、
前記認識部が前記ユーザ入力を第２時間の間に感知すれば、前記第２時間に相応する第２倍率で前記ユーザ入力に相応する領域を拡大し、
前記認識部が前記ユーザ入力を予め設定された時間以下に感知すれば、最初画面に戻る
ことを特徴とする電子装置。

【請求項2】

前記制御部は、
前記提供者の全体画面に入力された提供者入力に基づいて、前記提供者入力に相応する認識領域を前記ユーザに予め設定された倍率で拡大して提供する
請求項１に記載の電子装置。

【請求項3】

前記提供者入力は、
前記提供者のタッチ入力、マウス入力、及びレーザーポインター入力の中で少なくとも１つの入力であり、
前記ユーザ入力は、
前記ユーザのタッチ入力、マウス入力の中で少なくとも１つを含む入力である
請求項２に記載の電子装置。

【請求項4】

前記制御部は、
前記ユーザ入力の入力時間に相応するように画面拡大倍率が順次的に変更され、前記ユーザが前記ユーザ入力を止めれば、前記画面拡大倍率が変更された倍率で表示されるように設定され、
前記第２時間は、第１時間より長く、前記第２倍率は、前記第１倍率より縮小された倍率である
請求項１に記載の電子装置。

【請求項5】

前記制御部は、
前記ユーザが拡大し、探索した領域のイメージデータを格納する格納部と、
前記格納部に格納されたユーザの関心事を学習するマシンラーニング部と、を含み、
前記マシンラーニング部は、
前記ユーザの画面拡大パターンを学習し、
前記ユーザのタッチ入力又はマウス入力をトラッキングし、
前記ユーザの全体画面の中で前記ユーザの関心領域を自動に拡大してディスプレーする
請求項４に記載の電子装置。

【請求項6】

前記電子装置は、
スマートフォン、タブレットＰＣ、ウェアラブルディバイス、コンピュータの中でいずれか１つである
請求項１に記載の電子装置。

【請求項7】

前記電子装置内に具現されるアプリケーションプログラムに接続する方法は、
ＰＩＮ（Ｐｅｒｓｏｎａｌ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｎｕｍｂｅｒ） Ｃｏｄｅ、ＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ） Ｃｏｄｅ、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）、任意の数字コード、及びＷＩＦＩパスワード共有の中で少なくとも１つである
請求項１に記載の電子装置。

【請求項8】

中継サーバー及び電子装置を含むシステムにおいて、
前記中継サーバーは、
ＳＴＵＮ（Ｓｅｓｓｉｏｎ Ｔｒａｖｅｒｓａｌ Ｕｔｉｌｉｔｉｅｓ ｆｏｒ ＮＡＴ）サーバーとＴＵＲＮ（Ｔｒａｖｅｒｓａｌ Ｕｓｉｎｇ Ｒｅｌａｙｓ ａｒｏｕｎｄ ＮＡＴ）サーバーの中で少なくとも１つを含み、
前記電子装置は、
前記中継サーバーから提供者の全体画面を受信する受信部と、
前記受信した全体画面をディスプレーするディスプレー部と、
前記ディスプレーした全体画面上のユーザ入力を感知する認識部と、
前記ユーザ入力の入力状態変化を感知し、
前記入力状態変化に基づいて前記全体画面で、前記ユーザ入力に相応する領域を拡大する制御部と、を含み、
前記制御部は、
前記認識部が前記ユーザ入力を第１時間の間に感知すれば、前記第１時間に相応する第１倍率で前記ユーザ入力に相応する領域を拡大し、
前記認識部が前記ユーザ入力を第２時間の間に感知すれば、前記第２時間に相応する第２倍率で前記ユーザ入力に相応する領域を拡大し、
前記認識部が前記ユーザ入力を予め設定された時間以下に感知すれば、最初画面に戻る
ことを特徴とする画面拡大中継装置システム。

【請求項9】

画面を拡大して表示し、実時間に中継する装置の動作方法において、
中継サーバーから提供者の全体画面を受信する段階と、
前記受信した全体画面をディスプレーする段階と、
前記ディスプレーした全体画面上のユーザ入力を感知する段階と、
前記ユーザ入力に基づいて入力状態変化を感知する段階と、
前記入力状態変化に基づいて前記全体画面で、前記ユーザ入力に相応する領域の拡大を制御する段階と、
前記拡大を制御する段階は、
前記ユーザ入力を感知する段階で、前記ユーザ入力を第１時間の間に感知すれば、前記ユーザ入力に相応する領域を第１時間に相応する第１倍率で拡大し、
前記ユーザ入力を感知する段階で、前記ユーザ入力を第２時間の間に感知すれば、前記ユーザ入力に相応する領域を第２時間に相応する第２倍率で拡大し、
前記ユーザ入力を感知する段階で、前記ユーザ入力を予め設定された時間以下に感知すれば、最初画面に戻る
ことを特徴とする電子装置動作方法。

【請求項10】

前記ディスプレーする段階は、
前記提供者の画面に対する提供者入力を追跡する段階と、
前記提供者の画面に認識された領域をユーザに特定倍率で拡大してディスプレーする段階と、を含む
請求項９に記載の電子装置動作方法。

【請求項11】

前記拡大を制御する段階は、
前記ユーザ入力の入力時間に相応するように画面拡大倍率が順次的に変更され、前記ユーザが前記ユーザ入力を止めれば、前記画面拡大倍率が変更された倍率で表示されるように設定され、
前記第２時間は、第１時間より長く、前記第２倍率は、前記第１倍率より縮小された倍率である
請求項９に記載の電子装置動作方法。

【請求項12】

前記拡大を制御する段階は、
ユーザのタッチ入力又はマウス入力をトラッキングする段階と、
前記ユーザが拡大し探索した領域のイメージデータを格納する段階と、
前記格納されたイメージデータに基づいて前記ユーザの拡大パターン及び関心事を学習する段階と、
前記ユーザの全体画面の中で前記ユーザの関心領域を自動に拡大してディスプレーする段階と、を含む
請求項９に記載の電子装置動作方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は携帯用電子装置を利用して画面を拡大して表示し、拡大された画面を実時間にユーザに中継する方法に関する。

【背景技術】

【0002】

本発明は携帯用移動端末機及びウェアラブルディバイス（ガラス等）で画面の部分的拡大方法に関し、特に携帯用移動端末機実時間中継サービスが提供される場合、小さい画面の一部分を詳細に見ることができるように画面の一部分を拡大する機能に関する。

【0003】

携帯用移動端末機の画面で単純文字情報ではないグラフィック情報を含む中継サービスが提供されれば、液晶サイズの制限によってユーザがグラフィックを正確に認識することに限界がある。

【0004】

また、ユーザが携帯用移動端末機のズーム機能を使用して画面を直接拡大する場合、ユーザが携帯用移動端末機自体を動かさなければならない不便さがある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明では、大学校、学園、会場、会議場等の大きなスクリーン画面を実時間にユーザに提供する環境で、ユーザのスマートフォン、タブレットＰＣ、ウェアラブルディバイス（ガラス等）等を通じてスクリーン画面を拡大して表示し、拡大された画面を実時間にユーザに中継する方法及び装置を提案する。

【課題を解決するための手段】

【0006】

本発明による画面を拡大して表示し、実時間に中継する装置及びその動作方法は、中継サーバーから提供者の全体画面を受信する受信部と、前記受信した全体画面をディスプレーするディスプレー部と、前記ディスプレーした全体画面上のユーザ入力を感知する認識部と、前記ユーザ入力の入力状態変化を感知し、前記入力状態変化に基づいて前記全体画面で、前記ユーザ入力に相応する領域を拡大する制御部と、を含み、前記制御部は、前記認識部が前記ユーザ入力を第１時間の間に感知すれば、前記第１時間に相応する第１倍率で前記ユーザ入力に相応する領域を拡大し、前記認識部が前記ユーザ入力を第２時間の間に感知すれば、前記第２時間に相応する第２倍率で前記ユーザ入力に相応する領域を拡大し、前記認識部が前記ユーザ入力を予め設定された時間以下に感知すれば、最初の画面に戻る。

【0007】

一実施形態において、前記制御部は、前記提供者の全体画面に入力された提供者入力に基づいて、前記提供者入力に相応する認識領域を前記ユーザに予め設定された倍率で拡大して提供する。

【0008】

一実施形態において、前記提供者入力は、前記提供者のタッチ入力、マウス入力及びレーザーポインター入力の中で少なくとも１つの入力であり、前記ユーザ入力は、前記ユーザのタッチ入力、マウス入力の中で少なくとも１つを含む入力である。

【0009】

一実施形態において、前記制御部は、前記ユーザ入力の入力時間に相応するように画面拡大倍率が順次的に変更され、前記ユーザが前記ユーザ入力を止めれば、前記画面拡大倍率が変更された倍率で表示されるように設定され、前記第２時間は第１時間より長くて、前記第２倍率は前記第１倍率より縮小された倍率である。

【0010】

一実施形態において、前記制御部は、前記ユーザが拡大し、探索した領域のイメージデータを格納する格納部と、前記格納部に格納されたユーザの関心事を学習するマシンラーニング部と、を含み、前記マシンラーニング部は、前記ユーザの画面拡大パターンを学習し、前記ユーザのタッチ入力又はマウス入力をトラッキングし、前記ユーザの全体画面の中で前記ユーザの関心領域を自動に拡大してディスプレーする。

【0011】

一実施形態において、前記電子装置は、スマートフォン、タブレットＰＣ、ウェアラブルディバイス、コンピュータの中でいずれか１つである。

【0012】

一実施形態において、前記電子装置内に具現されるアプリケーションプログラムに接続する方法は、ＰＩＮ（Ｐｅｒｓｏｎａｌ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｎｕｍｂｅｒ） Ｃｏｄｅ、ＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ） Ｃｏｄｅ、 ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）、任意の数字コード、及びＷＩＦＩパスワード共有の中で少なくとも１つである。

【0013】

一実施形態において、中継サーバー及び電子装置を含むシステムにおいて、前記中継サーバーは、ＳＴＵＮ（Ｓｅｓｓｉｏｎ Ｔｒａｖｅｒｓａｌ Ｕｔｉｌｉｔｉｅｓ ｆｏｒ ＮＡＴ）サーバーとＴＵＲＮ（Ｔｒａｖｅｒｓａｌ Ｕｓｉｎｇ Ｒｅｌａｙｓ ａｒｏｕｎｄ ＮＡＴ）サーバーの中で少なくとも１つを含み、前記電子装置は、前記中継サーバーから提供者の全体画面を受信する受信部と、前記受信した全体画面をディスプレーするディスプレー部と、前記ディスプレーした全体画面上のユーザ入力を感知する認識部と、前記ユーザ入力の入力状態変化を感知し、前記入力状態変化に基づいて前記全体画面で、前記ユーザ入力に相応する領域を拡大する制御部と、を含み、前記制御部は、前記認識部が前記ユーザ入力を第１時間の間に感知すれば、前記第１時間に相応する第１倍率で前記ユーザ入力に相応する領域を拡大し、前記認識部が前記ユーザ入力を第２時間の間に感知すれば、前記第２時間に相応する第２倍率で前記ユーザ入力に相応する領域を拡大し、前記認識部が前記ユーザ入力を予め設定された時間以下に感知すれば、最初の画面に戻る。

【0014】

一実施形態において、画面を拡大して表示し実時間に中継する装置の動作方法において、中継サーバーから提供者の全体画面を受信する段階と、前記受信した全体画面をディスプレーする段階と、前記ディスプレーした全体画面上のユーザ入力を感知する段階と、前記ユーザ入力に基づいて入力状態変化を感知する段階と、前記入力状態変化に基づいて前記全体画面で、前記ユーザ入力に相応する領域の拡大を制御する段階と、前記拡大を制御する段階は、前記ユーザ入力を感知する段階で、前記ユーザ入力を第１時間の間に感知すれば、前記ユーザ入力に相応する領域を第１時間に相応する第１倍率で拡大し、前記ユーザ入力を感知する段階で、前記ユーザ入力を第２時間の間に感知すれば、前記ユーザ入力に相応する領域を第２時間に相応する第２倍率で拡大し、前記ユーザ入力を感知する段階で、前記ユーザ入力を予め設定された時間以下に感知すれば、最初の画面に戻る。

【0015】

一実施形態において、前記ディスプレーする段階は、前記提供者の画面に対する提供者入力を追跡する段階と、前記提供者の画面に認識された領域をユーザに特定倍率で拡大してディスプレーする段階と、を含む。

【0016】

一実施形態において、前記拡大を制御する段階は、前記ユーザ入力の入力時間に相応するように画面拡大倍率が順次的に変更され、前記ユーザが前記ユーザ入力を止めれば、前記画面拡大倍率が変更された倍率で表示されるように設定され、前記第２時間は第１時間より長くて、前記第２倍率は前記第１倍率より縮小された倍率である。

【0017】

一実施形態において、前記拡大を制御する段階は、ユーザのタッチ入力又はマウス入力をトラッキングする段階と、前記ユーザが拡大し、探索した領域のイメージデータを格納する段階と、前記格納されたイメージデータに基づいて前記ユーザの拡大パターン及び関心事を学習する段階と、前記ユーザの全体画面の中で前記ユーザの関心領域を自動に拡大してディスプレーする段階と、を含む。

【発明の効果】

【0018】

本発明は携帯用電子装置を利用して簡単な操作のみで画面拡大及び実時間中継サービスが同時に提供されることができる効果がある。
また、本発明は低視力視覚障害者に対する画面拡大実時間中継サービスを手軽に提供することができる効果がある。

【図面の簡単な説明】

【0019】

【図1A】本発明の実施形態による画面拡大及び探索方法を説明するための順序図である。

【図1B】本発明の実施形態による画面拡大及び探索方法を説明するための順序図である。

【図2】本発明の一実施形態による画面拡大実時間中継システムを駆動するユーザの電子装置の構成を示した図面である。

【図3A】本発明の実施形態による画面拡大実時間中継システムの作動方法を示した順序図である。

【図3B】本発明の実施形態による画面拡大実時間中継システムの作動方法を示した順序図である。

【図4】本発明の実施形態による画面拡大及び探索方法を説明するための順序図である。

【図5】本発明の実施形態による画面共有者のポインターを追跡する方法を説明するための順序図である。

【図6】本発明の実施形態による画面拡大及び探索方法を説明するための図面の一例である。

【図7】本発明の実施形態による画面拡大及び探索方法を説明するための図面の他の例である。

【図8】本発明の実施形態による画面拡大実時間中継サービスに接続する過程を説明するための図面である。

【図9】本発明の実施形態による画面拡大実時間中継サービスに接続する過程を説明するための図面である。

【図10】本発明の実施形態による画面拡大及び探索方法を説明するための図面のその他の例である。

【図11A】本発明の実施形態による画面拡大及び探索方法を説明するための図面のその他の例である。

【図11B】本発明の実施形態による画面拡大及び探索方法を説明するための図面のその他の例である。

【発明の実施のための形態】

【0020】

以下、添付された図面を参照して本開示（ｐｒｅｓｅｎｔ ｄｉｓｃｌｏｓｕｒｅ）を説明する。本開示は様々な変更を加えることができ、様々な実施形態を有することができるので、特定実施形態が図面に例示され、関連された詳細な説明が記載されている。しかし、これは本発明を特定な実施形態に対して限定しようすることではなく、本発明の思想及び技術範囲に含まれるすべての変換、均等物、乃至代替物を含む。図面の説明と関連して、類似な構成要素に対しては類似な参照符号が使用されることができる。

【0021】

本開示の中で使用されることができる“含む”、又は“含むことができる”等の表現は開示された該当機能、動作、又は構成要素等の存在を示し、追加的な１つ以上の機能、動作、又は構成要素等を制限しない。本出願で、“含む”又は“有する”等の用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを指定しようとすることであり、１つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品、又はこれらを組み合わせたものの存在又は付加可能性を予め排除しない。

【0022】

本開示で“又は”等の表現は共に羅列された単語のいずれの、そしてすべての組合を含む。例えば、“Ａ又はＢ”は、Ａを含むこともでき、Ｂを含むこともでき、又はＡとＢの全てを含むこともできる。

【0023】

本開示の中で“第１”、“第２”等の表現が本開示の様々な構成要素を修飾することができるが、該当構成要素を限定しない。例えば、前記表現は該当構成要素の順序及び／又は重要度等を限定しない。前記表現は一構成要素を他の構成要素と区分するために使用されることができる。例えば、第１ユーザ機器と第２ユーザ機器は全てユーザ機器であり、互いに異なるユーザ機器を示す。例えば、本発明の権利範囲を逸脱しないながら、第１構成要素は第２構成要素と称されることができ、類似に第２構成要素も第１構成要素と称されることができる。

【0024】

ある構成要素が他の構成要素に“連結されて”あるか、或いは“接続されて”いると言及された時には、その他の構成要素に直接的に連結されているか、又は接続されているが、中間に他の構成要素が存在することもあると理解されるべきである。反面に、ある構成要素が他の構成要素に“直接連結されているか”、或いは“直接接続されている”と言及された時には、中間に他の構成要素が存在しない。

【0025】

本出願で使用した用語は単なる特定な実施形態を説明するために使用されたことであり、本発明を限定しようとする意図ではない。単数の表現は文脈の上に明確に異なりに表現しない限り、複数の表現を含む。

【0026】

異なりに定義されない限り、技術的であるか、或いは科学的な用語を含んで、ここで使用されるすべての用語は本発明が属する技術分野で通常の知識を有する者によって一般的に理解されることと同一な意味である。一般的に使用される辞書に定義されていることと同一の用語は関連技術の文脈の上に有する意味と一致する意味であり、本出願で明確に定義しない限り、理想的であるか、或いは過度に形式的な意味ではない。

【0027】

図１は本発明の一実施形態による画面拡大実時間中継システムを示す図面である。
図１Ａと図１Ｂによれば、本発明の一実施形態による画面拡大実時間中継システムはユーザの電子装置１０、ユーザ２０、提供者画面３０、提供者４０、そして中継サーバー５０で構成される。

【0028】

ユーザの電子装置１０はスマートフォン、タブレットＰＣ、ウェアラブルディバイス（ガラス等）、コンピュータ等に中継サーバー５０から提供者画面３０が提供される。

【0029】

ユーザの電子装置１０はユーザ２０に提供者４０が提供する提供者画面３０を提供する同時に、提供された画面に対するユーザ２０の関心事に基づいて拡大機能を提供する。

【0030】

画面拡大実時間中継システムはユーザの電子装置１０に設置及び実行されるアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）を通じて実時間画面共有サービスを提供することができる。

【0031】

例えば、大学校の講義画面、カンファレンス画面等の提供者ＰＣでディスプレーされる画面が実時間画面共有サービス利用者のユーザスマートフォン、タブレットＰＣ、ウェアラブルディバイス（ガラス等）、コンピュータ上で実時間に共有されることができる。

【0032】

ユーザ２０は画面拡大実時間中継システムを利用する人であっで、中継サーバー５０から提供者画面３０が提供されるコンテンツ消費者である。ユーザ２０の年齢、性別には制限がない。

【0033】

図１Ａを参照すれば、本発明の一実施形態による画面拡大実時間中継システムはＳＴＵＮ（ｓｅｓｓｉｏｎ ｔｒａｖｅｒｓａｌ ｕｔｉｌｉｔｉｅｓ ｆｏｒ ＮＡＴ）サーバー、ＴＵＲＮ（ｔｒａｖｅｒｓａｌ ｕｓｉｎｇ ｒｅｌａｙｓ ａｒｏｕｎｄ ＮＡＴ）サーバーを含む中継システム、及びＮＡＴ／Ｒｏｕｔｅｒを利用して提供者の提供システムと利用者の利用システムを中継することができる。

【0034】

本発明の実施形態による提供者サービス共有方法は次の通りである。
－ ＰＩＮ（Ｐｅｒｓｏｎａｌ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｎｕｍｂｅｒ） ＣｏｄｅをＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ） Ｃｏｄｅに変換して利用者がスキャン

【0035】

－ ＰＩＮ（Ｐｅｒｓｏｎａｌ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｎｕｍｂｅｒ） ＣｏｄｅをＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）に変換して利用者が接続
－ サーバーが重ならない任意の４桁の数字コードを５分以内の所有権で提供者に発行して提供者が利用者にこれを通知

【0036】

－ サーバーが重ならない任意の４桁の数字コードを５分以内の所有権で提供者に発行して提供者が利用者にこれを通知、これに加えて、４桁の発行コードを絵文字に置換して共に提供。
本発明の実施形態による提供者サービス認知方法は次の通りである。
－ 提供者はサービスの名前を再定義して提供。
ｅｘ）ｘｘｘのＰＣ－＞第１工学館１０１号
－ 利用者は提供者のサービスを‘お気に入り’に追加し、名前を再定義。
ｅｘ）第１工学館１０１号－＞線形代数学

【0037】

図１Ｂを参照すれば、本発明の他の実施形態による画面拡大実時間中継システムはＳＴＵＮ（ｓｅｓｓｉｏｎ ｔｒａｖｅｒｓａｌ ｕｔｉｌｉｔｉｅｓ ｆｏｒ ＮＡＴ）サーバーを含む中継システム、及びＮＡＴ／Ｒｏｕｔｅｒを利用して提供者の提供システムと利用者の利用システムを中継することができる。

【0038】

以上で本発明の一実施形態による画面拡大実時間中継システムでユーザの電子装置１０、ユーザ２０、提供者画面３０、提供者４０、そして中継サーバー５０の関係に対して簡略に説明した。以下では、画面拡大実時間中継システムを利用することができるユーザの電子装置１０での動作方法に対してさらに詳細に説明する。

【0039】

図２は本発明の一実施形態による画面拡大実時間中継システムを駆動するユーザの電子装置１０の構成を示した図面である。

【0040】

図２に示したように、本発明の実施形態によるユーザの電子装置１０は受信部１１０、ディスプレー部１２０、認識部１３０、制御部１４０を含む。
受信部１１０は中継サーバー５０から提供者４０が提供する提供者画面３０の全体画面をユーザの電子装置１０で受信する。

【0041】

ディスプレー部１２０は受信部１１０で受信された提供者画面３０の全体画面をユーザの電子装置１０を通じてディスプレーしてユーザ２０に提供する。

【0042】

ディスプレー部１２０でユーザの電子装置１０に提供者画面３０をディスプレーする時、制御部１４０は提供者画面３０に対する提供者４０の入力を追跡し、提供者画面３０に認識された領域をユーザ２０に特定倍率で拡大してディスプレーする。

【0043】

例えば、提供者４０（例えば、講師）が提供者画面３０に提供者の入力（タッチ入力、マウス入力、レーザーポインター入力等）を通じてポインター入力をすれば、ポインター入力に隣接する画面をユーザ２０に振れなしで特定倍率で拡大して提供する。制御部１４０に関する詳細な説明は以下で説明する。

【0044】

認識部１３０はディスプレー部１２０でユーザの電子装置１０にディスプレーした画面上でユーザ２０のユーザ入力（タッチ入力、マウス入力等）を感知する。例えば、タッチ入力での接触及び非接触の可否及び接触された状態での動作を認識する。また、マウスのクリック入力の可否、クリック状態でのドラッグ動作を認識する。

【0045】

制御部１４０は中継サーバー５０から提供者画面３０が受信され、ディスプレー部１２０がユーザの電子装置１０にディスプレーする時、提供者の画面３０に対する提供者４０の提供者入力を追跡し、提供者画面３０に認識された領域をユーザ２０に特定倍率で拡大するように制御する。また、認識部１３０が感知したユーザ入力（タッチ入力、マウス入力等）をトラッキングする。

【0046】

例えば、認識部１３０がユーザ入力を第１時間の間に感知すれば、第１時間に相応する第１倍率でユーザ入力に相応する領域を拡大し、認識部１３０がユーザ入力を第２時間の間に感知すれば、第２時間に相応する第２倍率でユーザ入力に相応する領域を拡大し、認識部１３０がユーザ入力を予め設定された時間以下に感知すれば、最初の画面に戻る。

【0047】

より詳細に、認識部１３０がユーザ入力を６秒間感知すれば、６秒に相応する２倍の倍率でユーザ入力に相応する領域を拡大し、認識部１３０がユーザ入力を２秒間感知すれば、２秒に相応する１０倍の倍率でユーザ入力に相応する領域を拡大する。また、認識部１３０がユーザ入力を予め設定された時間である１秒以下に感知すれば、最初の画面に戻る。但し、これは例示的なことであり、本発明の技術的思想はこれに限定されないことが理解されるべきである。
制御部１４０は格納部１４１とマシンラーニング部１４２を含む。
格納部１４１はユーザ２０が拡大し、探索した領域のイメージデータを格納する。

【0048】

マシンラーニング部１４２は格納されたイメージデータに基づいてユーザ２０の拡大パターン及び関心事を学習して、ユーザの電子装置１０の全体画面又は提供者４０から受信された提供者画面３０の全体画面でユーザ２０の関心領域を自動に拡大してディスプレーするように制御する。

【0049】

例えば、ユーザ２０がユーザの電子装置１０を通じて画面拡大実時間中継システムが設置及び実行されるアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）を実行すれば、制御部１４０はユーザ２０のユーザ入力（タッチ入力、マウス入力等）をトラッキングしてユーザ２０が拡大し、探索した領域をイメージデータに格納する。そして、格納されたイメージデータに基づいてユーザの拡大パターン及び関心事を学習し、ユーザの電子装置１０の全体画面でユーザ２０の関心領域を自動に拡大してディスプレーする。

【0050】

図３は本発明の実施形態による画面拡大実時間中継システムの作動方法を示した順序図である。

【0051】

図３Ａによれば、本発明の一実施形態による画面拡大実時間中継システムは先ず中継サーバー５０から提供者画面３０を受信する（Ｓ１００）。
提供者画面３０は提供者４０が提供する提供者画面３０（ＰＣ、ビームプロジェクト、スマートフォン、タブレットｐｃ等）の全体画面である。
画面拡大実時間中継システムは提供者画面３０を受信した後、受信された画面をユーザの電子装置１０にディスプレーする（Ｓ２００）。
画面拡大実時間中継システムはディスプレー画面上のユーザ２０のユーザ入力を感知する（Ｓ３００）。
画面拡大実時間中継システムはディスプレーされた全体画面でユーザ入力に相応する領域の拡大を制御する（Ｓ４００）。

【0052】

図２及び３Ｂによれば、制御部１４０はディスプレー段階（Ｓ２００）の提供者の画面３０に対する提供者入力を追跡する段階（Ｓ２１０）、提供者画面３０に認識された領域をユーザ２０に特定倍率で拡大してディスプレーする段階（Ｓ２２０）を含む。

【0053】

また、制御部１４０は拡大制御段階（Ｓ４００）のユーザ２０のタッチ入力又はマウス入力をトラッキングする（Ｓ４１０）。
制御部１４０の格納部１４１はユーザ２０が拡大し、探索した領域のイメージデータを格納する（Ｓ４２０）。

【0054】

制御部１４０のマシンラーニング部１４２は格納されたイメージデータに基づいてユーザ２０の拡大パターン及び関心事を学習し（Ｓ４３０）、全体画面でユーザ２０の関心領域を自動に拡大してディスプレーする（Ｓ４４０）。

【0055】

図４は本発明の実施形態による画面拡大及び探索方法を説明するための順序図である。
物事を明確に見ることができない低視力人は高解像度の画面を見ることだけで視力補助に大きな効果がある。これは低視力人が物事を常に拡大して見ていないということを意味する。

【0056】

この発明は大きく２つのアイデアから始める。第１は拡大と縮小の転換が簡便な拡大方法であり、第２は関心事を速く追跡して見る方法である。

【0057】

カメラやＦｌｏｗｙ Ｃａｓｔの実時間画面、キャプチャしたイメージの静的な画面等を見る時、画面全体を見る途中に、必要とする場合、特定部分をタッチすることで自分の関心事を速く拡大して見て、タッチを緩めることで再び画面の全体を見ることができるので、簡単である。

【0058】

タッチを維持してポインターを移動すれば、拡大倍率が維持されたまま、拡大位置を移動することができるので、移動する関心事を追跡しながら、見ることが遥かに便利である。これは既存の拡大方法と２つの相違点を有する。第１は拡大と探索を同時に行うことができることであり、第２は探索のために機器を動かす代わりに、ポインターを移動することで関心事の追跡が容易であるということである。

【0059】

上の発明の通りに、ユーザ２０が直接拡大し、探索した（関心事の）領域のイメージデータを格納してユーザの関心事を学習し、ユーザ２０が直接ポインター入力をしなくても関心事を提案し、自動に拡大してくれるイメージ学習基盤拡大機能を具現することができる。

【0060】

図５は本発明の実施形態による提供者画面３０のポインターを追跡する方法を説明するための順序図である。

【0061】

Ｆｌｏｗｙ Ｃａｓｔで相手の画面を共有して見ても、提供者の関心事をユーザ２０が認知し、追いかけることは容易でない。特に、ユーザ２０が拡大をして自分の関心事に留まっていれば、提供者の関心事に移動することはさらに難しくなる。

【0062】

この発明は、提供者のマウスポインターやタッチ入力イベントをユーザ２０に伝送し、ユーザの画面が既に拡大されている場合、拡大領域が伝送されたポインターの位置に移動してくれるポインター追跡方法を提供する。

【0063】

ポインター追跡機能をユーザ２０が望まない場合に実行しなく、追跡方法において、‘中央’又は‘縁’オプションに応じて拡大領域の移動方法が変わることができる。

【0064】

実施形態によって、Ｆｌｏｗｙの発明ポイントを焦点を失わないように拡大ジャンプする機能の他にマウスカーソルを動かす時に低視力者が使用する画面内では揺れない機能が提供されることができる。

【0065】

Ｆｌｏｗｙの場合、使用の例示の中で１つである講義場で講師の画面とユーザの画面をｓｙｎｃｒｏｎｉｚｅしなければならないが、現在ＦｌｏｗｙではＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コードや１２桁の長い数字コードを使用することができる。

【0066】

非常に大きい講堂教室やコンベンションのような会場では使用可能にしようとしてもｓｙｎｃｒｏｎｉｚｅするのに不便さがある。（遠距離でＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コードをスキャンできないか、又は長い数字コードを伝達するのが難しい）
例えば、聴覚範囲を超えた周波数をディバイスが聞いてシンクをするか、又は特定音声や声を聞いてシンクを遂行することができる。

【0067】

本発明は低視力視覚障害者のための画面拡大実時間中継サービスに関することである。具体的に、本発明は大学校及び学園講義、会場、会議場プロジェクション又は大きいスクリーン画面を実時間にユーザ電子装置１０（例えば、スマートフォン、タブレットＰＣ）に実時間中継するサービスを提供する。従来、一般のズーム機能を使用すれば、画面拡大の後、スマートフォン自体を動かさなければならない不便さがある反面、本発明で提案するＦｌｏｗｙズームはスマートフォンを動かさず、ユーザのタッチ入力、スクロール入力だけで画面拡大実時間中継サービスを利用することができる長所がある。

【0068】

本発明の第１特徴は、“電子機器内のタッチスクリーン上で特定時間以上のタッチ入力が感知されれば、該当タッチ入力に隣接する画面を特定倍率で拡大して表示する点（Ｆｌｏｗｙズーム基本機能）”であり、

【0069】

本発明の第２特徴は、“画面提供者（例えば、講師）に対するポインター追跡機能を利用して画面提供者のポインター入力に隣接する画面をユーザ２０に振れなしで特定倍率で拡大して提供する点（ポインター追跡機能）”であり、

【0070】

本発明の第３特徴は、“ユーザのタッチ入力時間に相応するように画面拡大倍率（例えば、画面拡大倍率が１０倍から２倍まで順次的に変更され、ユーザ２０がタッチ入力を止めれれば、該当画面拡大倍率で画面が表示される場合）が設定される点（画面拡大倍率調整機能）”である。

【0071】

本発明の第４特徴は、“ユーザ２０が直接拡大し、探索した（関心事の）領域のイメージデータを格納してユーザの関心事を学習し、ユーザ２０が直接ポインター入力をしなくても関心事を提案し、自動に拡大（ユーザ関心データ学習機能）”である。

【0072】

本発明の第５特徴は、“非常に大きな講堂教室やコンベンションのような会場で盗用可能なユーザ識別方法（ＷＩＦＩパスワード連動でユーザ識別）することがである。

【0073】

図６は本発明の実施形態による画面拡大及び探索方法を説明するための図面の一例である。
図６を参照すれば、本発明の実施形態による画面拡大及び探索方法はユーザスマートフォン、タブレットＰＣ、ウェアラブルディバイス（ガラス等）等で実行されるアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）を通じて実時間画面共有サービスを提供することができる。

【0074】

例えば、大学校の講義画面、カンファレンス画面等の提供者ＰＣでディスプレーされる画面が実時間画面共有サービス利用者のユーザスマートフォン、タブレットＰＣ、ウェアラブルディバイス（ガラス等）上で実時間に共有されることができる。

【0075】

図７は本発明の実施形態による画面拡大及び探索方法を説明するための図面の他の例である。
図７を参照すれば、本発明の実施形態による画面拡大及び探索方法はユーザスマートフォン、タブレットＰＣ、ウェアラブルディバイス（ガラス等）等で実行されるアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）を通じて実時間画面共有サービスを提供することができる。

【0076】

例えば、利用者はユーザスマートフォン、タブレットＰＣ、ウェアラブルディバイス（ガラス等）等で提供される画面をＰＣにフォワーディングして読書拡大器のような機能が提供されることがきる。

【0077】

図８は本発明の実施形態による画面拡大実時間中継サービスに接続する過程を説明するための図面である。
図８を参照すれば、利用者はユーザスマートフォン、タブレットＰＣ、ウェアラブルディバイス（ガラス等）等に提供されるＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コード又はパスワード（例えば、３６１３５３４１４８９７）を利用して画面拡大実時間中継サービスに接続することができる。

【0078】

図９は本発明の実施形態による画面拡大実時間中継サービスに接続する過程を説明するための図面である。
図９を参照すれば、利用者は画面拡大倍率を調整して画面拡大実時間中継サービスを確認することができる。

【0079】

図１０は本発明の実施形態による画面拡大及び探索方法を説明するための図面のその他の例である。
図１０を参照すれば、本発明の実施形態による画面拡大及び探索方法はユーザスマートフォン、タブレットＰＣ、ウェアラブルディバイス（ガラス等）等で実行されるアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）を通じて全体イメージをフォン画面に収め、指タッチ入力で簡単にスクロールして画面を拡大及び探索することができる。

【0080】

例えば、ユーザ２０が横断歩道を渡る時、スマートフォン、タブレットＰＣ、ウェアラブルディバイス（ガラス等）等の画面に対するタッチ入力で遠く離れた信号灯部分を画面上に拡大して表示することができる。

【0081】

より詳細に、視力が良くないユーザ２０が横断歩道を渡る時、画面拡大実時間中継システムアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）が実行されたユーザの電子装置１０はマシンラーニング部１４２を通じて学習されたデータに基づいて信号灯の位置を自動に拡大してユーザ２０に提供する。但し、これは例示的なことであり、本発明の技術的思想はこれに限定されないことが理解されるべきである。

【0082】

図１１は本発明の実施形態による画面拡大及び探索方法を説明するための図面のその他の例である。

【0083】

図１１Ａ及び図１１Ｂを参照すれば、本発明の実施形態による画面拡大及び探索方法はマシンラーニングを利用してユーザ２０の画面拡大パターンを学習し、利用者の指タッチをトラッキングして画面を拡大ディスプレーすることができる。
図１１Ａは画面が拡大される前のデフォルト（ｄｅｆａｕｌｔ）状態の全体画面である。

【0084】

図１１Ｂはユーザ２０が画面をタッチした後、拡大された画面を示した図面である。

【0085】

本明細書と図面に開示された実施形態は本開示の内容を容易に説明し、理解を助けるために特定例を提示しただけであり、本開示の範囲を限定しようとすることではない。したがって、本開示の範囲はここに開示された実施形態の以外にも本開示の技術的思想に基づいて導出されるすべての変更又は変形された形態が本開示の範囲に含まれる。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【国際調査報告】