特許 7539096 ＵＩ設計案に対するイメージ分析を通じてＵＩコンポーネント自動生成機能を提供することのできるＵＩ開発ツールが搭載された電子端末装置およびその動作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-15

(45)【発行日】2024-08-23

(54)【発明の名称】ＵＩ設計案に対するイメージ分析を通じてＵＩコンポーネント自動生成機能を提供することのできるＵＩ開発ツールが搭載された電子端末装置およびその動作方法

(51)【国際特許分類】

   G06F 8/38 20180101AFI20240816BHJP

【ＦＩ】

G06F8/38

【請求項の数】 10

(21)【出願番号】P 2023059961

(22)【出願日】2023-04-03

(65)【公開番号】P2023171259

(43)【公開日】2023-12-01

【審査請求日】2023-04-03

(31)【優先権主張番号】10-2022-0060634

(32)【優先日】2022-05-18

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】511155464

【氏名又は名称】株式会社トゥービーソフト

【氏名又は名称原語表記】ＴＯＢＥＳＯＦＴ ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】ハン、ジョン フン

【審査官】松平 英

(56)【参考文献】

【文献】特開平０８－１６６８６５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／０１５８０９３（ＵＳ，Ａ１）

【文献】米国特許第１０６０６９２５（ＵＳ，Ｂ２）

【文献】米国特許出願公開第２０２２／００９２８４２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１０／０００２００２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ８／００－８／３８

８／６０－８／７７

９／４４－９／４４５

９／４５１

１２／１４

２１／００－２１／８８

Ｇ０９Ｃ １／００－５／００

Ｈ０４Ｋ １／００－３／００

Ｈ０４Ｌ ９／００－９／４０

(57)【特許請求の範囲】

【請求項1】

ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）設計案に対するイメージ分析を通じてＵＩコンポーネント自動生成機能を提供することのできるＵＩ開発ツールが搭載された電子端末装置であって、
前記ＵＩ開発ツールから支援されるものと予め設定された複数のＵＩコンポーネント（ｃｏｍｐｏｎｅｎｔｓ）のそれぞれに対応する、予め設定された２つ以上の標準名称が記録された標準名称テーブルを保存して保持する標準名称テーブル保持部；
第１ユーザによって、複数の図形－前記複数の図形のそれぞれの内部には、各図形に対応するＵＩコンポーネントの名称に対するテキストが挿入されている－が配置されたＵＩ設計案に対する第１イメージが入力されるとともに、前記複数の図形のそれぞれに対応するＵＩコンポーネントを自動的に生成することを指示するＵＩコンポーネント自動生成命令が印加されると、前記複数の図形のそれぞれに対応するＵＩコンポーネントを自動的に生成するための自動生成イベントを発生させる自動生成イベント発生部；
前記自動生成イベントが発生されると、前記第１イメージの横長さおよび縦長さを確認して、前記第１イメージと同じ横長さおよび縦長さを有する背景領域を生成する背景領域生成部；
前記第１イメージから前記複数の図形を認識する図形認識部；
前記複数の図形が認識されると、前記第１イメージから前記複数の図形のそれぞれが挿入されている位置を確認することによって、前記複数の図形のそれぞれに対する位置情報を確認する位置情報確認部；
予め設定されたテキスト認識モジュールに基づいて、前記複数の図形のそれぞれの内部に挿入されたテキストを認識するテキスト認識部；
前記標準名称テーブルを参照して、前記複数の図形のそれぞれに対して、前記複数のＵＩコンポーネントのうち、各図形に対して認識されたテキストにマッチングされる標準名称を有するＵＩコンポーネントをマッチングさせることにより、前記複数の図形それぞれに対応するＵＩコンポーネントをマッチングさせるＵＩコンポーネントマッチング部；および
前記背景領域において、前記複数の図形のそれぞれに対する位置情報に応じた位置に、各図形にマッチングされたＵＩコンポーネントを挿入するＵＩコンポーネント挿入部
を含む構成において、
前記図形認識部は、
前記第１イメージを構成する複数の画素のうち、図形の線を構成する色であると予め指定された画素値範囲に属する画素値を有する第１画素それぞれの画素値を、予め指定された第１画素値に変更し、前記複数の画素のうち、前記第１画素を除いた残りの第２画素のそれぞれの画素値を、予め指定された第２画素値に変更することにより、２値イメージを生成する２値イメージ生成部；および
前記２値イメージから、前記第１画素値を有する前記第１画素のみを分離認識することにより、前記第１画素で構成される前記複数の図形を認識する図形認識処理部
を含む、電子端末装置。

【請求項2】

前記位置情報確認部は、
前記複数の図形が認識されると、前記第１イメージにおいて、前記第１イメージを構成する４つの頂点のうちいずれか１つの第１頂点を基準に、前記複数の図形のそれぞれの中心点に対する２次元相対座標を、前記複数の図形のそれぞれに対する位置情報として確認し、
前記ＵＩコンポーネント挿入部は、
前記背景領域において、前記背景領域を構成する４つの頂点のうち、前記第１頂点に対応する頂点を基準に、前記複数の図形のそれぞれに対する位置情報を構成する２次元相対座標による位置に、各図形に対応するＵＩコンポーネントを挿入することを特徴とする、請求項１に記載の電子端末装置。

【請求項3】

前記自動生成イベント発生部は、
予め設定されたユーザ認証サーバ－前記ユーザ認証サーバは、前記ＵＩ開発ツールから前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであると予め指定された、複数の有料ユーザのそれぞれの識別コードが保存されたユーザデータベースを含んでいる－と事前に共有している、ｐ（ｐは２以上の偶数）＋１個の異なるハッシュ関数－前記ｐ＋１個のハッシュ関数のそれぞれには、０以上ｐ以下の整数で構成された異なる固有番号が割り当てられている－が保存されているハッシュ関数保存部；
前記第１ユーザによって、前記第１イメージが入力されるとともに、前記ＵＩコンポーネント自動生成命令が印加されると、前記自動生成イベントを発生させる前に、前記第１ユーザが前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであるか否かを確認するための認証イベントを発生させる認証イベント発生部；
前記認証イベントが発生されると、前記第１ユーザに対して事前に発行された識別コードを入力することを要請する内容が含まれたメッセージを画面上に表示するメッセージ表示部；
前記第１ユーザにより第１識別コードが入力されると、ｐ桁の１回用認証番号をランダムに生成し、前記１回用認証番号を、中心軸を基準に前段のｐ／２桁の第１部分番号と後段のｐ／２桁の第２部分番号に分離した後、前記第１部分番号を構成するｐ／２個の数字のそれぞれに対してモジュロ（ｍｏｄｕｌｏ）－２演算を行うことにより、ｐ／２ビットの第１部分コードを生成し、前記第２部分番号を構成するｐ／２個の数字のそれぞれに対してモジュロ－２演算を行うことによって、ｐ／２ビットの第２部分コードを生成した後、前記第１部分コードと前記第２部分コードを排他的論理和（ｅｘｃｌｕｓｉｖｅ ＯＲ）することにより、ｐ／２ビットの演算コードを生成する演算コード生成部；
前記第１部分コードと前記第２部分コードのそれぞれに対するハミング重量（Ｈａｍｍｉｎｇ ｗｅｉｇｔｈ）の和を演算した後、前記ハッシュ関数保存部から、前記ｐ＋１個のハッシュ関数のうち、前記ハミング重量の和が固有番号として割り当てられている第１ハッシュ関数を抽出するハッシュ関数抽出部；
前記演算コードに前記演算コードを入力として印加して第１ハッシュ値を生成し、前記第１識別コードを前記第１ハッシュ値に暗号化した後、前記ユーザ認証サーバへ、暗号化された前記第１識別コードと前記１回用認証番号を転送するとともに、前記第１ユーザが前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであるか否かを確認することを要請する確認要請命令を転送する確認要請部；および
前記ユーザ認証サーバにおいて、前記第１ユーザが前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであることが確認されることで、前記ユーザ認証サーバから、前記第１ユーザが前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであると確認されたことを指示する確認メッセージが受信されると、前記自動生成イベントを発生させるイベント発生処理部
を含み、
前記ユーザ認証サーバは、
メモリ上に前記ｐ＋１個のハッシュ関数を保存しており、前記電子端末装置から、暗号化された前記第１識別コードと前記１回用認証番号が受信されるとともに、前記確認要請命令が受信されると、前記ｐ＋１個のハッシュ関数と前記１回用認証番号に基づいて、前記第１ハッシュ値を生成することにより、暗号化された前記第１識別コードを、前記第１ハッシュ値を用いて復号化することによって、前記第１識別コードに復元した後、前記ユーザデータベース上に前記第１識別コードが保存されているか否かを確認して、前記ユーザデータベース上に前記第１識別コードが保存されていることが確認されると、前記確認メッセージを生成して前記電子端末装置へ転送することを特徴とする、請求項１に記載の電子端末装置。

【請求項4】

前記ユーザ認証サーバは、
メモリ上に前記ｐ＋１個のハッシュ関数を保存しており、前記電子端末装置から、暗号化された前記第１識別コードと前記１回用認証番号が受信されるとともに、前記確認要請命令が受信されると、前記１回用認証番号を、中心軸を基準に前段のｐ／２桁の前記第１部分番号と後段のｐ／２桁の前記第２部分番号に分離した後、前記第１部分番号を構成するｐ／２個の数字のそれぞれに対してモジュロ－２演算を行うことによって前記第１部分コードを生成し、前記第２部分番号を構成するｐ／２個の数字のそれぞれに対してモジュロ－２演算を行うことによって前記第２部分コードを生成した後、前記第１部分コードと前記第２部分コードを排他的論理和することによって、前記演算コードを生成し、前記第１部分コードと前記第２部分コードのそれぞれに対するハミング重量の和を演算した後、前記ｐ＋１個のハッシュ関数のうち、前記ハミング重量の和が固有番号として割り当てられている前記第１ハッシュ関数を抽出し、前記第１ハッシュ関数に前記演算コードを入力として印加して前記第１ハッシュ値を生成した後、暗号化された前記第１識別コードを、前記第１ハッシュ値を用いて復号化することによって、前記第１識別コードに復元することを特徴とする、請求項３に記載の電子端末装置。

【請求項5】

ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）設計案に対するイメージ分析を通じてＵＩコンポーネント自動生成機能を提供することのできるＵＩ開発ツールが搭載された電子端末装置の動作方法において、
前記ＵＩ開発ツールから支援されると予め設定された複数のＵＩコンポーネント（ｃｏｍｐｏｎｅｎｔｓ）のそれぞれに対応する、予め設定された２つ以上の標準名称が記録された標準名称テーブルを保存して維持する段階；
第１ユーザによって、複数の図形－前記複数の図形のそれぞれの内部には、各図形に対応するＵＩコンポーネントの名称に対するテキストが挿入されている－が配置されたＵＩ設計案に対する第１イメージが入力されるとともに、前記複数の図形のそれぞれに対応するＵＩコンポーネントを自動的に生成することを指示するＵＩコンポーネント自動生成命令が印加されると、前記複数の図形のそれぞれに対応するＵＩコンポーネントを自動的に生成するための自動生成イベントを発生させる段階；
前記自動生成イベントが発生されると、前記第１イメージの横長さおよび縦長さを確認して、前記第１イメージと同じ横長さおよび縦長さを有する背景領域を生成する段階；
前記第１イメージから前記複数の図形を認識する段階；
前記複数の図形が認識されると、前記第１イメージから前記複数の図形のそれぞれが挿入されている位置を確認することによって、前記複数の図形のそれぞれに対する位置情報を確認する段階；
予め設定されたテキスト認識モジュールに基づいて、前記複数の図形のそれぞれの内部に挿入されたテキストを認識する段階；
前記標準名称テーブルを参照して、前記複数の図形のそれぞれに対して、前記複数のＵＩコンポーネントのうち、各図形に対して認識されたテキストにマッチングされる標準名称を有するＵＩコンポーネントをマッチングさせることにより、前記複数の図形のそれぞれに対応するＵＩコンポーネントをマッチングさせる段階；
前記背景領域において、前記複数の図形のそれぞれに対する位置情報に応じた位置に、各図形にマッチングされたＵＩコンポーネントを挿入する段階；
を含む構成において、
前記複数の図形を認識する段階は、
前記第１イメージを構成する複数の画素のうち、図形の線を構成する色であると予め指定された画素値範囲に属する画素値を有する第１画素それぞれの画素値を、予め指定された第１画素値に変更し、前記複数の画素のうち、前記第１画素を除いた残りの第２画素のそれぞれの画素値を、予め指定された第２画素値に変更することによって、２値イメージを生成する段階；および
前記２値イメージから、前記第１画素値を有する前記第１画素のみを分離認識することによって、前記第１画素で構成される前記複数の図形を認識する段階
を含む、電子端末装置の動作方法。

【請求項6】

前記確認する段階は、
前記複数の図形が認識されると、前記第１イメージにおいて、前記第１イメージを構成する４つの頂点のうちいずれか１つの第１頂点を基準に、前記複数の図形のそれぞれの中心点に対する２次元相対座標を、前記複数の図形のそれぞれに対する位置情報として確認し、
前記挿入する段階は、
前記背景領域において、前記背景領域を構成する４つの頂点のうち、前記第１頂点に対応する頂点を基準に、前記複数の図形のそれぞれに対する位置情報を構成する２次元相対座標による位置に、各図形に対応するＵＩコンポーネントを挿入することを特徴とする、請求項５に記載の電子端末装置の動作方法。

【請求項7】

前記自動生成イベントを発生させる段階は、
予め設定されたユーザ認証サーバ－前記ユーザ認証サーバは、前記ＵＩ開発ツールから前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであると予め指定された、複数の有料ユーザのそれぞれの識別コードが保存されたユーザデータベースを含んでいる－と事前に共有している、ｐ（ｐは２以上の偶数）＋１個の異なるハッシュ関数－前記ｐ＋１個のハッシュ関数のそれぞれには、０以上ｐ以下の整数で構成された異なる固有番号が割り当てられている－が保存されているハッシュ関数保存部を維持する段階；
前記第１ユーザによって、前記第１イメージが入力されるとともに、前記ＵＩコンポーネント自動生成命令が印加されると、前記自動生成イベントを発生させる前に、前記第１ユーザが前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであるか否かを確認するための認証イベントを発生させる段階；
前記認証イベントが発生されると、前記第１ユーザに対して事前に発行された識別コードを入力することを要請する内容が含まれたメッセージを画面上に表示する段階；
前記第１ユーザにより第１識別コードが入力されると、ｐ桁の１回用認証番号をランダムに生成し、前記１回用認証番号を、中心軸を基準に前段のｐ／２桁の第１部分番号と後段のｐ／２桁の第２部分番号に分離した後、前記第１部分番号を構成するｐ／２個の数字のそれぞれに対してモジュロ（ｍｏｄｕｌｏ）－２演算を行うことにより、ｐ／２ビットの第１部分コードを生成し、前記第２部分番号を構成するｐ／２個の数字の各々に対してモジュロ－２演算を行うことによって、ｐ／２ビットの第２部分コードを生成した後、前記第１部分コードと前記第２部分コードとを排他的論理和（ｅｘｃｌｕｓｉｖｅ ＯＲ）することによって、ｐ／２ビットの演算コードを生成する段階；
前記第１部分コードと前記第２部分コードのそれぞれに対するハミング重量（Ｈａｍｍｉｎｇ ｗｅｉｇｔｈ）の和を演算した後、前記ハッシュ関数保存部から、前記ｐ＋１個のハッシュ関数のうち、前記ハミング重量の和が固有番号として割り当てられている第１ハッシュ関数を抽出する段階；
前記第１ハッシュ関数に前記演算コードを入力として印加して第１ハッシュ値を生成し、前記第１識別コードを第１ハッシュ値に暗号化した後、前記ユーザ認証サーバへ、暗号化された前記第１識別コードと前記１回用認証番号を転送しながら、前記第１ユーザが前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであるか否かを確認することを要請する確認要請命令を転送する段階；および
前記ユーザ認証サーバにおいて、前記第１ユーザが前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであることが確認されることで、前記ユーザ認証サーバから、前記第１ユーザが前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであることが確認されたことを示す確認メッセージが受信されると、前記自動生成イベントを発生させる段階
を含み、
前記ユーザ認証サーバは、
メモリ上に前記ｐ＋１個のハッシュ関数を保存しており、前記電子端末装置から、暗号化された前記第１識別コードと前記１回用認証番号が受信されるとともに、前記確認要請命令が受信されると、前記ｐ＋１個のハッシュ関数と前記１回用認証番号に基づいて、前記第１ハッシュ値を生成することにより、暗号化された前記第１識別コードを、前記第１ハッシュ値を用いて復号化することによって、前記第１識別コードに復元した後、前記ユーザデータベース上に前記第１識別コードが保存されているか否かを確認して、前記ユーザデータベース上に前記第１識別コードが保存されていることが確認されると、前記確認メッセージを生成して前記電子端末装置へ転送することを特徴とする、請求項５に記載の電子端末装置の動作方法。

【請求項8】

前記ユーザ認証サーバは、
メモリ上に前記ｐ＋１個のハッシュ関数を保存しており、前記電子端末装置から、暗号化された前記第１識別コードと前記１回用認証番号が受信されるとともに、前記確認要請命令が受信されると、前記１回用認証番号を、中心軸を基準に前段のｐ／２桁の前記第１部分番号と後段のｐ／２桁の前記第２部分番号とに分離した後、前記第１部分番号を構成するｐ／２個の数字それぞれに対してモジュロ－２演算を行うことによって前記第１部分コードを生成し、前記第２部分番号を構成するｐ／２個の数字のそれぞれに対してモジュロ－２演算を行うことによって前記第２部分コードを生成した後、前記第１部分コードと前記第２部分コードとを排他的論理和することにより、前記演算コードを生成し、前記第１部分コードと前記第２部分コードのそれぞれに対するハミング重量の和を演算した後、前記ｐ＋１個のハッシュ関数のうち、前記ハミング重量の和が固有番号として割り当てられている前記第１ハッシュ関数を抽出し、前記第１ハッシュ関数に前記演算コードを入力として印加して前記第１ハッシュ値を生成した後、暗号化された前記第１識別コードを、前記第１ハッシュ値を用いて復号化することによって、前記第１識別コードに復元することを特徴とする、請求項７に記載の電子端末装置の動作方法。

【請求項9】

請求項５～８のいずれか一項に記載の方法をコンピュータとの結合を通じて実行させるためのコンピュータプログラムを記録したコンピュータ読取り可能記録媒体。

【請求項10】

請求項５～８のいずれか一項に記載の方法をコンピュータとの結合を通じて実行させるための保存媒体に保存されたコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＵＩ設計案に対するイメージ分析を通じてＵＩコンポーネント自動生成機能を提供することのできるＵＩ開発ツールが搭載された電子端末装置およびその動作方法に関する。

【背景技術】

【0002】

一般に、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）開発ツールを活用してＵＩを開発するユーザは、プレゼンテーション文書作成プログラムや手書きで作成されたＵＩ設計案を参照して、ＵＩで具現しようとする機能に応じて、テキストインプット（ｉｎｐｕｔ）ボックス、メニューバーなどのようなＵＩコンポーネント（ｃｏｍｐｏｎｅｎｔｓ）を配置する方式でＵＩを開発することが多い。

【0003】

このようなＵＩ設計案には、開発しようとするＵＩに含まれるテキストインプットボックス、メニューバーなどのＵＩコンポーネントが所定の図形の形式で挿入されている場合が多く、ＵＩ設計案を参照してＵＩを開発しようとするユーザは、ＵＩ設計案に挿入された図形を見て、各図形に対応するＵＩコンポーネントを適切に選択して配置する作業を行わなければならない。

【0004】

ただし、このようにＵＩ設計案を参照してＵＩを開発する場合、ユーザはＵＩ設計案に挿入された図形を見て、一々それに対応するＵＩコンポーネントを選択し、ＵＩ設計案における各図形の挿入位置を確認して、対応するＵＩコンポーネントの配置位置も決定しなければならないという点で、ＵＩ開発に多くの時間と労力がかかるという問題点があった。

【0005】

もし、ＵＩ開発ツールにおいて、ユーザにより、複数の図形が配置されたＵＩ設計案に対するイメージが入力されるとともに、ＵＩコンポーネント自動生成命令が印加されると、前記イメージと同じ大きさの背景領域を生成した後、前記イメージから前記複数の図形を認識し、前記イメージから前記複数の図形のそれぞれが挿入されている位置を確認して、前記背景領域から、各図形に対応するＵＩコンポーネントを各図形の挿入位置と対応する地点に自動的に挿入する技術が導入されれば、ユーザは前記ＵＩ開発ツールを活用して、より効率的にＵＩを開発することができるはずである。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）設計案に対するイメージ分析を通じてＵＩコンポーネント自動生成機能を提供することのできるＵＩ開発ツールが搭載された電子端末装置およびその動作方法を提示することにより、ユーザが前記ＵＩ開発ツールを活用して、より効率的にＵＩを開発できるように支援しようとする。

【課題を解決するための手段】

【0007】

本発明の一実施形態によるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）設計案に対するイメージ分析を通じてＵＩコンポーネント自動生成機能を提供することのできるＵＩ開発ツールが搭載された電子端末装置は、前記ＵＩ開発ツールから支援されるものと予め設定された複数のＵＩコンポーネント（ｃｏｍｐｏｎｅｎｔｓ）のそれぞれに対応する、予め設定された２つ以上の標準名称が記録された標準名称テーブルを保存して保持する標準名称テーブル保持部；第１ユーザによって、複数の図形－前記複数の図形のそれぞれの内部には、各図形に対応するＵＩコンポーネントの名称に対するテキストが挿入されている－が配置されたＵＩ設計案に対する第１イメージが入力されるとともに、前記複数の図形のそれぞれに対応するＵＩコンポーネントを自動的に生成することを指示するＵＩコンポーネント自動生成命令が印加されると、前記複数の図形のそれぞれに対応するＵＩコンポーネントを自動で生成するための自動生成イベントを発生させる自動生成イベント発生部；前記自動生成イベントが発生されると、前記第１イメージの横長さおよび縦長さを確認して、前記第１イメージと同じ横長さおよび縦長さを有する背景領域を生成する背景領域生成部；前記第１イメージから前記複数の図形を認識する図形認識部；前記複数の図形が認識されると、前記第１イメージから前記複数の図形のそれぞれが挿入されている位置を確認することによって、前記複数の図形のそれぞれに対する位置情報を確認する位置情報確認部；予め設定されたテキスト認識モジュールに基づいて、前記複数の図形のそれぞれの内部に挿入されたテキストを認識するテキスト認識部；前記標準名称テーブルを参照して、前記複数の図形のそれぞれに対して、前記複数のＵＩコンポーネントのうち、各図形に対して認識されたテキストにマッチングされる標準名称を有するＵＩコンポーネントをマッチングさせることによって、前記複数の図形のそれぞれに対応するＵＩコンポーネントをマッチングさせるＵＩコンポーネントマッチング部；および前記背景領域において、前記複数の図形のそれぞれに対する位置情報に応じる位置に、各図形にマッチングされたＵＩコンポーネントを挿入するＵＩコンポーネント挿入部を含む。

【0008】

また、本発明の一実施形態によるＵＩ設計案に対するイメージ分析を通じてＵＩコンポーネント自動生成機能を提供することのできるＵＩ開発ツールが搭載された電子端末装置の動作方法は、前記ＵＩ開発ツールで支援されるものと予め設定された複数のＵＩコンポーネントのそれぞれに対応する、予め設定された２つ以上の標準名称が記録された標準名称テーブルを保存して保持する段階；第１ユーザによって、複数の図形－前記複数の図形のそれぞれの内部には、各図形に対応するＵＩコンポーネントの名称に対するテキストが挿入されている－が配置されたＵＩ設計案に対する第１イメージが入力されるとともに、前記複数の図形のそれぞれに対応するＵＩコンポーネントを自動的に生成することを指示するＵＩコンポーネント自動生成命令が印加されると、前記複数の図形のそれぞれに対応するＵＩコンポーネントを自動的に生成するための自動生成イベントを発生させる段階；前記自動生成イベントが発生されると、前記第１イメージの横長さおよび縦長さを確認して、前記第１イメージと同じ横長さおよび縦長さを有する背景領域を生成する段階；前記第１イメージから前記複数の図形を認識する段階；前記複数の図形が認識されると、前記第１イメージにおいて前記複数のそれぞれが挿入されている位置を確認することによって、前記複数の図形のそれぞれに対する位置情報を確認する段階；予め設定されたテキスト認識モジュールに基づいて、前記複数の図形のそれぞれの内部に挿入されたテキストを認識する段階；前記標準名称テーブルを参照して、前記複数の図形のそれぞれに対して、前記複数のＵＩコンポーネントのうち、各図形に対して認識されたテキストにマッチングされる標準名称を有するＵＩコンポーネントをマッチングさせることによって、前記複数の図形のそれぞれに対応するＵＩコンポーネントをマッチングさせる段階；および前記背景領域において、前記複数の図形のそれぞれに対する位置情報に応じた位置に、各図形にマッチングされたＵＩコンポーネントを挿入する段階を含む。

【発明の効果】

【0009】

本発明は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）設計案に対するイメージ分析を通じてＵＩコンポーネント自動生成機能を提供することのできるＵＩ開発ツールが搭載された電子端末装置およびその動作方法を提示することにより、ユーザが前記ＵＩ開発ツールを活用して、より正確かつ効率的にＵＩを開発できるように支援することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態によるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）設計案に対するイメージ分析を通じてＵＩコンポーネント自動生成機能を提供することのできるＵＩ開発ツールが搭載された電子端末装置の構造を示す図である。

【図2】本発明の一実施形態によるＵＩ設計案に対するイメージ分析を通じてＵＩコンポーネント自動生成機能を提供することのできるＵＩ開発ツールが搭載された電子端末装置の動作を説明するための図である。

【図3】本発明の一実施形態によるＵＩ設計案のイメージ分析を通じてＵＩコンポーネント自動生成機能を提供することのできるＵＩ開発ツールが搭載された電子端末装置の動作方法を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下では、本発明に係る実施形態を添付の図面を参照して詳細に説明する。このような説明は、本発明を特定の実施形態に限定することを意図するものではなく、本発明の精神および技術の範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されなければならない。各図面を説明する際に同様の参照符号を類似な構成要素に対して使用し、他に定義されない限り、技術的または科学的な用語を含めて本明細書上で使用されるすべての用語は、本発明が属する技術分野において通常の知識を有する者によって一般的に理解されるのと同じ意味を持っている。

【0012】

本明細書において、ある部分がある構成要素を「含む」という場合、これは、特に反対の記載がない限り、他の構成要素を除外するのではなく、他の構成要素をさらに含み得ることを意味する。さらに、本発明の様々な実施形態において、各構成要素、機能ブロック、または手段は、１またはそれ以上の下部構成要素から構成されてもよく、各構成要素が行う電気、電子、および機械的機能は、電子回路、集積回路、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）など、公知の様々な素子または機械的要素で具現されることができ、それぞれ別々に具現されるか、２以上が１つに統合されて具現されてもよい。

【0013】

一方、添付のブロック図のブロックやフローチャートの段階は、汎用コンピュータ、特殊用コンピュータ、携帯用ノートパソコン、ネットワークコンピュータなどのデータプロセッシングが可能な装備のプロセッサやメモリに搭載されて指定された機能を行うコンピュータプログラム命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）を意味するものと解釈されることができる。これらのコンピュータプログラム命令は、コンピュータ装置に備えられたメモリまたはコンピュータで読み取り可能なメモリに保存されることができるため、ブロック図のブロックまたはフローチャートの段階で説明された機能は、それを行う命令手段を内包する製造物として生産されてもよい。また、各ブロックまたは各段階は、特定の論理的機能を行うための１以上の実行可能な命令を含むモジュール、セグメント、またはコードの一部を表すことができる。また、いくつかの代替可能な実施形態では、ブロックまたは段階で言及された機能が、決められた順序とは異なって実行されることも可能であることに留意されたい。例えば、連続して図示されている２つのブロックまたは段階は、実質的に同時に実行されてもよく、逆の順序で実行されてもよく、場合によっては一部のブロックまたは段階が省略されたままで実行されてもよい。

【0014】

図１は、本発明の一実施形態によるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）設計案に対するイメージ分析を通じてＵＩコンポーネント自動生成機能を提供することのできるＵＩ開発ツールが搭載された電子端末装置の構造を示す図である。

【0015】

図１を参照すると、本発明の一実施形態による電子端末装置１１０は、標準名称テーブル保持部１１１、自動生成イベント発生部１１２、背景領域生成部１１３、図形認識部１１４、位置情報確認部１１５、テキスト認識部１１６、ＵＩコンポーネントマッチング部１１７、ＵＩコンポーネント挿入部１１８を含む。

【0016】

標準名称テーブル保持部１１１は、前記ＵＩ開発ツールから支援されるものと予め設定された複数のＵＩコンポーネント（ｃｏｍｐｏｎｅｎｔｓ）のそれぞれに対応する、予め設定された２つ以上の標準名称が記録された標準名称テーブルを保存して保持する。

【0017】

ここで、前記複数のＵＩコンポーネントは、ボタン、テキストインプット（ｉｎｐｕｔ）ボックス、メニューバーなどのようなＵＩ開発ツールを通じてユーザが作り出すことができるコンポーネントを意味する。

【0018】

例えば、前記ＵＩ開発ツールから支援されるものと予め設定された複数のＵＩコンポーネントを「ＵＩコンポーネント１、ＵＩコンポーネント２、ＵＩコンポーネント３」とする場合、標準名称テーブル保持部１１１は、下記の表１のような、「ＵＩコンポーネント１、ＵＩコンポーネント２、ＵＩコンポーネント３」のそれぞれに対応する、予め設定された２つ以上の標準名称が記録された標準名称テーブルを保存して保持してもよい。

【0019】

【表1】

【0020】

自動生成イベント発生部１１２は、第１ユーザ１３０により、複数の図形が配置されたＵＩ設計案に対する第１イメージが入力されるとともに、前記複数の図形のそれぞれに対応するＵＩコンポーネントを自動的に生成することを指示するＵＩコンポーネント自動生成命令が印加されると、前記複数の図形のそれぞれに対応するＵＩコンポーネントを自動的に生成するための自動生成イベントを発生させる。

【0021】

ここで、ＵＩ設計案とは、プレゼンテーション文書作成プログラムで作成されたスライド文書などの所定の電子文書の形態で設けられた文書であってもよく、人が手書きで作成した文書であってもよい。このとき、ＵＩ設計案を作成する設計者は、ＵＩ設計案を作成する際に、所定のＵＩコンポーネントを表現するための図形を生成した後、各図形の内部に各図形に対応するＵＩコンポーネントの名称を挿入して、ＵＩ設計案内に配置しておくことができる。これによって、本発明において、ＵＩ設計案に挿入されている前記複数の図形のそれぞれの内部には、各図形に対応するＵＩコンポーネントの名称に対するテキストが挿入されていると仮定する。

【0022】

背景領域生成部１１３は、自動生成イベント発生部１１２によって前記自動生成イベントが発生されると、前記第１イメージの横長さおよび縦長さを確認し、前記第１イメージと同じ横長さおよび縦長さを有する背景領域を生成する。

【0023】

図形認識部１１４は、前記第１イメージから前記複数の図形を認識する。

【0024】

このとき、本発明の一実施形態によれば、図形認識部１１４は、前記第１イメージから前記複数の図形を認識するための具体的な構成として、２値イメージ生成部１１９および図形認識処理部１２０を含んでもよい。

【0025】

２値イメージ生成部１１９は、前記第１イメージを構成する複数の画素のうち、図形の線を構成する色であると予め指定された画素値範囲に属する画素値を有する第１画素のそれぞれの画素値を、予め指定された第１画素値に変更し、前記複数の画素のうち、前記第１画素を除いた残りの第２画素のそれぞれの画素値を、予め指定された第２画素値に変更することにより、２値イメージを生成する。

【0026】

図形認識処理部１２０は、前記２値イメージから、前記第１画素値を有する前記第１画素のみを分離認識することにより、前記第１画素で構成される前記複数の図形を認識する。

【0027】

以下では、図２を参照して、自動生成イベント発生部１１２、背景領域生成部１１３、および図形認識部１１４の動作を例として詳細に説明する。

【0028】

まず、電子端末装置１１０に「ユーザ１（１３０）」によって、複数の図形２０１、２０２、２０３が配置されたＵＩ設計案に対する「イメージ１（２１０）」が入力されることで、複数の図形２０１、２０２、２０３のそれぞれに対応するＵＩコンポーネントを自動的に生成することを指示するＵＩコンポーネント自動生成命令が印加されたと仮定する。

【0029】

このとき、自動生成イベント発生部１１２は、複数の図形２０１、２０２、２０３のそれぞれに対応するＵＩコンポーネントを自動的に生成するための自動生成イベントを発生させてもよい。

【0030】

すると、背景領域生成部１１３は、「イメージ１（２１０）」の横長さおよび縦長さを確認し、「イメージ１（２１０）」と同じ横長さおよび縦長さを有する背景領域２２０を生成することができる。

【0031】

このとき、図形の線を構成する色であると予め指定された画素値の範囲が「１５０超２５５以下」とし、予め指定された第１画素値を「２５５」とし、予め指定された第２画素値を「０」であると仮定する。

【0032】

すると、２値イメージ生成部１１９は、「イメージ１（２１０）」を構成する複数の画素のうち、図形の線を構成する色であると予め指定された画素値範囲に属する画素値を有する第１画素それぞれの画素値を、前記第１画素値である「２５５」に変更することができ、前記複数の画素のうち、前記第１画素を除いた残りの第２画素のそれぞれの画素値を、前記第２画素値である「０」に変更することで、２値イメージ２３０を生成することができる。

【0033】

その後、図形認識処理部１２０は、２値イメージ２３０から、前記第１画素値である「２５５」を有する前記第１画素のみを分離認識することにより、前記第１画素で構成される複数の図形２０１、２０２、２０３を認識することができる。

【0034】

位置情報確認部１１５は、図形認識部１１４によって前記複数の図形が認識されると、前記第１イメージから前記複数の図形のそれぞれが挿入されている位置を確認することにより、前記複数の図形それぞれに対する位置情報を確認する。

【0035】

このとき、本発明の一実施形態によれば、位置情報確認部１１５は、図形認識部１１４によって前記複数の図形が認識されると、前記第１イメージから、前記第１イメージを構成する４つの頂点のうちいずれか１つの第１頂点を基準に、前記複数の図形のそれぞれの中心点に対する２次元の相対座標を、前記複数の図形のそれぞれに対する位置情報として確認することができる。

【0036】

テキスト認識部１１６は、予め設定されたテキスト認識モジュールに基づいて、前記複数の図形のそれぞれの内部に挿入されたテキストを認識する。

【0037】

ここで、テキスト認識モジュールとは、イメージや映像からテキストを認識して獲得できる光学文字認識（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ：ＯＣＲ）技術やディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）技術を基盤にして事前構築されたテキスト認識モジュールを意味する。

【0038】

ＵＩコンポーネントマッチング部１１７は、前記標準名称テーブルを参照して、前記複数の図形のそれぞれに対して、前記複数のＵＩコンポーネントのうち、各図形に対して認識されたテキストにマッチングされる標準名称を有するＵＩコンポーネントをマッチングさせることによって、前記複数の図形のそれぞれに対応するＵＩコンポーネントをマッチングさせる。

【0039】

ＵＩコンポーネント挿入部１１８は、前記背景領域において、前記複数の図形のそれぞれに対する位置情報に応じた位置に、各図形にマッチされたＵＩコンポーネントを挿入する。

【0040】

このとき、本発明の一実施形態によれば、ＵＩコンポーネント挿入部１１８は、前記背景領域において、前記背景領域を構成する４つの頂点のうち前記第１頂点に対応する頂点を基準として、前記複数の図形のそれぞれに対する位置情報を構成する２次元相対座標による位置に、各図形に対応するＵＩコンポーネントを挿入してもよい。

【0041】

以下では、図２を参照して、位置情報確認部１１５、テキスト認識部１１６、ＵＩコンポーネントマッチング部１１７、およびＵＩコンポーネント挿入部１１８の動作を例として、詳細に説明する。

【0042】

まず、上述した例のように、図形認識部１１４によって、２値イメージ２３０に基づいて複数の図形２０１、２０２、２０３が認識されたと仮定する。

【0043】

すると、位置情報確認部１１５は、「イメージ１（２１０）」から、「イメージ１（２１０）」を構成する４つの頂点２１１、２１２、２１３、２１４のいずれか一つの第１頂点２１３を基準に、複数の図形２０１、２０２、２０３のそれぞれの中心点に対する２次元相対座標を、複数の図形２０１、２０２、２０３のそれぞれに対する位置情報として確認することができる。

【0044】

これに関連して、第１頂点２１３を基準に、複数の図形２０１、２０２、２０３のそれぞれの中心点２０４、２０５、２０６に対する２次元相対座標が「（ｘ_１、ｙ_１）、（ｘ_２、ｙ_２）、（ｘ_３、ｙ_３）」であるとする場合、位置情報確認部１１５は、複数の図形２０１、２０２、２０３のそれぞれに対する位置情報を、「（ｘ_１、ｙ_１）、（ｘ_２、ｙ_２）、（ｘ_３、ｙ_３）」のように確認することができる。

【0045】

その後、テキスト認識部１１６は、予め設定されたテキスト認識モジュールに基づいて、複数の図形２０１、２０２、２０３のそれぞれの内部に挿入されたテキストである「テキスト１、テキスト２、テキスト３」を認識することができる。

【0046】

すると、ＵＩコンポーネントマッチング部１１７は、前記表１のような標準名称テーブルを参照して、複数の図形２０１、２０２、２０３のそれぞれに対して、前記複数のＵＩコンポーネントである「ＵＩコンポーネント１、ＵＩコンポーネント２、ＵＩコンポーネント３」のうち、各図形に対して認識されたテキストにマッチングされる標準名称を有するＵＩコンポーネントをマッチングさせることにより、複数の図形２０１、２０２、２０３のそれぞれに対応するＵＩコンポーネントをマッチングさせることができる。

【0047】

これに関連して、図形２０１に対して認識されたテキストである「テキスト１」にマッチングされる標準名称が「標準名称５」、図形２０２に対して認識されたテキストである「テキスト２」にマッチングされる標準名称が「標準名称９」、図形２０３に対して認識されたテキストである「テキスト３」にマッチングされる標準名称が「標準名称２」であると仮定する。

【0048】

このとき、表１のような標準名称テーブルでは、「標準名称５、標準名称９、標準名称２」のそれぞれを標準名称として有するＵＩコンポーネントが「ＵＩコンポーネント２、ＵＩコンポーネント３、ＵＩコンポーネント１」であるため、ＵＩコンポーネントマッチング部１１７は、複数の図形２０１、２０２、２０３のそれぞれに対応するＵＩコンポーネントを「ＵＩコンポーネント２、ＵＩコンポーネント３、ＵＩコンポーネント１」のようにマッチングさせることができる。

【0049】

すると、ＵＩコンポーネント挿入部１１８は、背景領域２２０において、背景領域２２０を構成する４つの頂点２２１、２２２、２２３、２２４のうち第１頂点２１３に対応する頂点２２３を基準に、複数の図形２０１、２０２、２０３のそれぞれに対する位置情報を構成する２次元相対座標による位置に、各図形に対応するＵＩコンポーネント２２５、２２６、２２７を挿入することができる。

【0050】

これに関連して、複数の図形２０１、２０２、２０３のそれぞれに対する位置情報を構成する二次元相対座標は、「（ｘ_１、ｙ_１）、（ｘ_２、ｙ_２）、（ｘ_３、ｙ_３）」であるため、ＵＩコンポーネント挿入部１１８は、図面符号２２０に示された絵のように、頂点２２３を基準に、「（ｘ_１，ｙ_１）」に応じた位置に_、図形２０１に対応するＵＩコンポーネントである「ＵＩコンポーネント２（２２５）」を挿入することができ、頂点２２３を基準に、「（ｘ_２，ｙ_２）」による位置に、図形２０２に対応するＵＩコンポーネントである「ＵＩコンポーネント３（２２６）」を挿入することができ、頂点２２３を基準に、「（ｘ_３、ｙ_３）」による位置に、図形２０３に対応するＵＩコンポーネントである「ＵＩコンポーネント１（２２７）」を挿入することができる。

【0051】

本発明の一実施形態によれば、電子端末装置１１０は、予め指定された有料ユーザのみが前記ＵＩ開発ツールから前記ＵＩ自動生成機能を利用できるようにする構成をさらに含んでもよい。

【0052】

これに関して、自動生成イベント発生部１１２は、前記自動生成イベントを発生させる前に、第１ユーザ１３０が前記ＵＩコンポーネント自動生成機能を利用することができる有料ユーザであるか否かを確認するための構成であって、ハッシュ関数保存部１２１、認証イベント発生部１２２、メッセージ表示部１２３、演算コード生成部１２４、ハッシュ関数抽出部１２５、確認要請部１２６およびイベント発生処理部１２７を含んでもよい。

【0053】

ハッシュ関数保存部１２１には、予め設定されたユーザ認証サーバ１４０と事前に共有している、ｐ（ｐは２以上の偶数）＋１つの相違するハッシュ関数（前記ｐ＋１個のハッシュ関数のそれぞれには、０以上ｐ以下の整数から構成された異なる固有番号が割り当てられている）が保存されている。

【0054】

ここで、ユーザ認証サーバ１４０は、前記ＵＩ開発ツールにおいて前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであると予め指定された複数の有料ユーザのそれぞれの識別コードが保存されたユーザデータベースを含んでいる。

【0055】

例えば、ユーザ認証サーバ１４０は、以下の表２のようなユーザデータベースを含んでもよい。

【0056】

【表2】

【0057】

このような状況において、ｐを「６」とする場合、ハッシュ関数保存部１２１には、下記の表３のような「７」個の異なるハッシュ関数が保存されていてもよい。

【0058】

【表3】

【0059】

認証イベント発生部１２２は、第１ユーザ１３０によって、前記第１イメージが入力されるとともに、前記ＵＩコンポーネント自動生成命令が印加されると、前記自動生成イベントを発生させる前に、第１ユーザ１３０が前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであるか否かを確認するための認証イベントを発生させる。

【0060】

メッセージ表示部１２３は、認証イベント発生部１２２によって前記認証イベントが発生されると、第１ユーザ１３０に対して事前に発行された識別コードを入力することを要請する内容が含まれたメッセージを画面上に表示する。

【0061】

演算コード生成部１２４は、第１ユーザ１３０により第１識別コードが入力されると、ｐ桁の１回用の認証番号をランダムに生成し、前記１回用認証番号を、中心軸を基準に前段のｐ／２桁の第１部分番号と後段のｐ／２桁の第２部分番号に分離した後、前記第１部分番号を構成するｐ／２個の数字のそれぞれに対してモジュロ（ｍｏｄｕｌｏ）－２演算を行うことによって、ｐ／２ビットの第１部分コードを生成し、前記第２部分番号を構成するｐ／２個の数字のそれぞれに対してモジュロ－２演算を行うことによって、ｐ／２ビットの第２部分コードを生成した後、前記第１部分コードと前記第２部分コードとを排他的論理和（ｅｘｃｌｕｓｉｖｅ ＯＲ）することにより、ｐ／２ビットの演算コードを生成する。

【0062】

ここで、モジュロ－２演算とは、所定の被除数を２で割った余りを算出する演算を意味する。

【0063】

ハッシュ関数抽出部１２５は、前記第１部分コードと前記第２部分コードのそれぞれに対するハミング重量（Ｈａｍｍｉｎｇ ｗｅｉｇｈｔ）の和を演算した後、前記ハッシュ関数保存部から、前記ｐ＋１個のハッシュ関数中、前記ハミング重量の和が固有番号として割り当てられている第１ハッシュ関数を抽出する。

【0064】

確認要請部１２６は、前記第１ハッシュ関数に前記演算コードを入力として印加して第１ハッシュ値を生成し、前記第１識別コードを前記第１ハッシュ値に暗号化した後、ユーザ認証サーバ１４０へ、暗号化された前記第１識別コードと前記１回用認証番号を転送しながら、第１ユーザ１３０が前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであるか否かを確認することを要請する確認要請命令を転送する。

【0065】

以下では、認証イベント発生部１２２、メッセージ表示部１２３、演算コード生成部１２４、ハッシュ関数抽出部１２５および確認要請部１２６の動作を例として、詳細に説明する。

【0066】

まず、上述した例のように、電子端末装置１１０に「ユーザ１（１３０）」によって、第１イメージ２１０が入力されるとともに、前記ＵＩコンポーネント自動生成命令が印加されたと仮定する。

【0067】

このとき、認証イベント発生部１２２は、前記自動生成イベントを発生させる前に、「ユーザ１（１３０）」が前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであるか否かを確認するための認証イベントを発生させてもよい。

【0068】

すると、メッセージ表示部１２３は、「ユーザ１（１３０）」に対して事前に発行された識別コードを入力することを要請する内容が含まれたメッセージを画面上に表示することができる。

【0069】

このとき、「ユーザ１（１３０）」が前記メッセージを確認して、電子端末装置１１０上に、「ユーザ１（１３０）」に対して事前に発行された識別コードである「識別コード１」を入力したとする場合、演算コード生成部１２４は、「６」桁の１回用認証番号をランダムに生成することができる。

【0070】

このとき、前記１回用認証番号が「９２１２３０」のように生成されたとする場合、演算コード生成部１２４は、１回用認証番号である「９２１２３０」を、中心軸を基準に前段の「３」桁の第１部分番号である「９２１」と後段の「３」桁の第２部分番号である「２３０」に分離することができる。

【0071】

その後、演算コード生成部１２４は、前記第１部分番号である「９２１」を構成する「３」個の数字それぞれに対してモジュロ－２演算を行うことにより、「３」ビットの第１部分コードを「１０１」のように生成することができ、前記第２部分番号である「２３０」を構成する「３」個の数字のそれぞれに対してモジュロ－２演算を行うことによって、「３」ビットの第２部分コードを「０１０」のように生成することができる。

【0072】

その後、演算コード生成部１２４は、前記第１部分コードである「１０１」と前記第２部分コードである「０１０」とを排他的論理和することにより、「３」ビットの演算コードを「１１１」のように生成することができる。

【0073】

すると、ハッシュ関数抽出部１２５は、前記第１部分コードである「１０１」と前記第２部分コードである「０１０」のそれぞれに対するハミング重量の和を「３」のように演算することができ、前記表３のようなハッシュ関数保存部１２１から、「７」個のハッシュ関数のうち、「３」が固有番号として割り当てられている「ハッシュ関数４」を抽出することができる。

【0074】

その後、確認要請部１２６は、「ハッシュ関数４」に前記演算コードである「１１１」を入力として印加して「ハッシュ値１」を生成し、「識別コード１」を「ハッシュ値１」に暗号化した後、ユーザ認証サーバ１４０へ、暗号化された「識別コード１」と前記１回用認証番号である「９２１２３０」を転送して、「ユーザ１（１３０）」が前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであるか否かを確認することを要請する確認要請命令を転送することができる。

【0075】

このとき、本発明の一実施形態によれば、ユーザ認証サーバ１４０は、メモリ上に前記ｐ＋１個のハッシュ関数を保存しており、電子端末装置１１０から、暗号化された前記第１識別コードと前記１回用認証番号が受信されるとともに、前記確認要請命令が受信されると、ｐ＋１個のハッシュ関数と前記１回用認証番号に基づいて、前記第１ハッシュ値を生成し、暗号化された前記第１識別コードを前記第１ハッシュ値に復号化することにより、前記第１識別コードを復元した後、前記ユーザデータベース上に前記第１識別コードが保存されているか否かを確認し、前記ユーザデータベース上に前記第１識別コードが保存されていると確認されると、第１ユーザ１３０が、前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであると確認されたことを示す確認メッセージを生成して電子端末装置１１０へ転送することができる。

【0076】

このとき、本発明の一実施形態によれば、ユーザ認証サーバ１４０は、メモリ上に前記ｐ＋１個のハッシュ関数を保存しており、電子端末装置１１０から、暗号化された前記第１識別コードと前記１回用認証番号が受信されるとともに、前記確認要請命令が受信されると、前記１回用認証番号を、中心軸を基準に前段のｐ／２桁の前記第１部分番号と後段のｐ／２桁の前記第２部分番号に分離した後、前記第１部分番号を構成するｐ／２個の数字のそれぞれに対してモジュロ－２演算を行うことにより前記第１部分コードを生成し、前記第２部分番号を構成するｐ／２個の数字それぞれに対してモジュロ－２演算を行うことによって前記第２部分コードを生成した後、前記第１部分コードと前記第２部分コードを排他的論理和することで、前記演算コードを生成し、前記第１部分コードと前記第２部分コードのそれぞれに対するハミング重量の和を演算した後、前記ｐ＋１個のハッシュ関数のうち、前記ハミング重量の和が固有番号として割り当てられている前記第１ハッシュ関数を抽出し、前記第１ハッシュ関数に前記演算コードを入力として印加して前記第１ハッシュ値を生成した後、暗号化された前記第１識別コードを前記第１ハッシュ値に復号化することによって、前記第１識別コードを復元することができる。

【0077】

このように、ユーザ認証サーバ１４０において、第１ユーザ１３０が前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであると確認されることで、ユーザ認証サーバ１４０から、前記確認メッセージを受信されると、イベント発生処理部１２７は、前記自動生成イベントを発生させる。

【0078】

以下では、ユーザ認証サーバ１４０およびイベント発生処理部１２７の動作を例として、詳細に説明する。

【0079】

まず、ユーザ認証サーバ１４０のメモリ上には、前記表３のような「７」個のハッシュ関数が保存されていてもよい。

【0080】

このような状況で、前述した例のように、確認要請部１２６が、ユーザ認証サーバ１４０へ、暗号化された「識別コード１」と前記１回用認証番号である「９２１２３０」とを転送するとともに、「ユーザ１（１３０）」が前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであるか否かを確認することを要請する確認要請命令を転送することで、ユーザ認証サーバ１４０に、暗号化された「識別コード１」と前記１回用認証番号である「９２１２３０」が受信されて、前記確認要請命令が受信されたと仮定する。

【0081】

すると、ユーザ認証サーバ１４０は、前記１回用認証番号である「９２１２３０」を中心軸を基準に、前段の「３」桁の前記第１部分番号である「９２１」と後段の「３」桁の前記第２部分番号である「２３０」に分離することができる。

【0082】

その後、ユーザ認証サーバ１４０は、前記第１部分番号である「９２１」を構成する「３」個の数字のそれぞれに対してモジュロ－２演算を行うことによって、前記第１部分コードを「１０１」のように生成することができ、前記第２部分番号である「２３０」を構成する「３」個の数字のそれぞれに対してモジュロ－２演算を行うことによって、前記第２部分コードを「０１０」のように生成することができる。

【0083】

その後、ユーザ認証サーバ１４０は、前記第１部分コードである「１０１」と前記第２部分コードである「０１０」を排他的論理和することにより、「３」ビットの演算コードを「１１１」のように生成することができ、前記第１部分コードである「１０１」と前記第２部分コードである「０１０」のそれぞれに対するハミング重量の和を「３」のように演算することができる。

【0084】

その後、ユーザ認証サーバ１４０は、メモリ上に保存されている「７」個のハッシュ関数のうち、「３」が固有番号として割り当てられている「ハッシュ関数４」を抽出することができる。

【0085】

その後、ユーザ認証サーバ１４０は、「ハッシュ関数４」に前記演算コードである「１１１」を入力として印加して「ハッシュ値１」を生成することができる。

【0086】

このとき、暗号化された「識別コード１」は、「識別コード１」が「ハッシュ値１」に暗号化されたものであるため、ユーザ認証サーバ１４０は、暗号化された「識別コード１」を「ハッシュ値１」に復号化することにより、「識別コード１」を正常的に復元することができる。

【0087】

その後、ユーザ認証サーバ１４０は、前記表２のようなユーザデータベース上に「識別コード１」が保存されているか否かを確認し、前記表２のようなユーザデータベース上に「識別コード１」が保存されていると確認することができる。

【0088】

すると、ユーザ認証サーバ１４０は、「ユーザ１（１３０）」が前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであると確認されたことを示す確認メッセージを生成して電子端末装置１１０へ転送することができる。

【0089】

これにより、電子端末装置１１０にユーザ認証サーバ１４０から前記確認メッセージが受信されると、イベント発生処理部１２７は、前記自動生成イベントを発生させることができる。

【0090】

すると、電子端末装置１１０は、複数の図形２０１、２０２、２０３のそれぞれに対応するＵＩコンポーネントを自動的に生成するためのプロセスを行うことができる。

【0091】

図３は、本発明の一実施形態によるＵＩ設計案に対するイメージ分析を通じてＵＩコンポーネント自動生成機能を提供することのできるＵＩ開発ツールが搭載された電子端末装置の動作方法を示すフローチャートである。

【0092】

段階Ｓ３１０では、前記ＵＩ開発ツールから支援されるものと予め設定された複数のＵＩコンポーネントのそれぞれに対応する、予め設定された２つ以上の標準名称が記録された標準名称テーブルを保存して保持する。

【0093】

段階Ｓ３２０では、第１ユーザによって、複数の図形（前記複数の図形のそれぞれの内部には、各図形に対応するＵＩコンポーネントの名称に対するテキストが挿入されている）が配置されたＵＩ設計案に対する第１イメージが入力されるとともに、前記複数の図形のそれぞれに対応するＵＩコンポーネントを自動的に生成することを指示するＵＩコンポーネント自動生成命令が印加されると、前記複数の図形のそれぞれに対応するＵＩコンポーネントを自動的に生成するための自動生成イベントを発生させる。

【0094】

段階Ｓ３３０では、前記自動生成イベントが発生されると、前記第１イメージの横長さおよび縦長さを確認して、前記第１イメージと同じ横長さおよび縦長さを有する背景領域を生成する。

【0095】

段階Ｓ３４０では、前記第１イメージから前記複数の図形を認識する。

【0096】

段階Ｓ３５０では、前記複数の図形が認識されると、前記第１イメージにおいて複数の図形のそれぞれが挿入されている位置を確認することによって、前記複数の図形のそれぞれの位置情報を確認する。

【0097】

段階Ｓ３６０では、予め設定されたテキスト認識モジュールに基づいて、前記複数の図形のそれぞれの内部に挿入されたテキストを認識する。

【0098】

段階Ｓ３７０では、前記標準名称テーブルを参照して、前記複数の図形のそれぞれに対して、前記複数のＵＩコンポーネントのうち、各図形に対して認識されたテキストにマッチングされる標準名称を有するＵＩコンポーネントをマッチングさせることにより、前記複数の図形のそれぞれに対応するＵＩコンポーネントをマッチングさせる。

【0099】

段階Ｓ３８０では、前記背景領域において、前記複数の図形のそれぞれに対する位置情報に応じた位置に、各図形にマッチングされたＵＩコンポーネントを挿入する。

【0100】

このとき、本発明の一実施形態によれば、段階Ｓ３４０では、前記第１イメージを構成する複数の画素のうち、図形の線を構成する色であると予め指定された画素値の範囲に属する画素値を有する第１画素のそれぞれの画素値を、予め指定された第１画素値に変更し、前記複数の画素のうち、前記第１画素を除いた残りの第２画素のそれぞれの画素値を、予め指定された第２画素値に変更することにより、２値イメージを生成する段階および前記２値イメージから、前記第１画素値を有する前記第１画素のみを分離認識することにより、前記第１画素で構成される前記複数の図形を認識する段階を含んでもよい。

【0101】

さらに、本発明の一実施形態によれば、段階Ｓ３５０では、前記複数の図形が認識されると、前記第１イメージにおいて、前記第１イメージを構成する４つの頂点のうちいずれか１つの第１頂点を基準に、前記複数の図形のそれぞれの中心点に対する二次元相対座標を、前記複数の図形のそれぞれに対する位置情報として確認することができる。

【0102】

このとき、段階Ｓ３８０では、前記背景領域において、前記背景領域を構成する４つの頂点のうち前記第１頂点に対応する頂点を基準に、前記複数の図形のそれぞれに対する位置情報を構成する２次元相対座標に応じた位置に、各図形に対応するＵＩコンポーネントを挿入することができる。

【0103】

また、本発明の一実施形態によれば、段階Ｓ３２０では、予め設定されたユーザ認証サーバ（前記ユーザ認証サーバは、前記ＵＩ開発ツールにて前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであると予め指定された、複数の有料ユーザのそれぞれの識別コードが保存されたユーザデータベースを含んでいる）と事前に共有している、ｐ（ｐは２以上の偶数）＋１つの異なるハッシュ関数（前記ｐ＋１個のハッシュ関数それぞれには、０以上ｐ以下の整数で構成された異なる固有番号が割り当てられている）が保存されているハッシュ関数保存部を維持する段階、前記第１ユーザにより、前記第１イメージが入力されるとともに、前記ＵＩコンポーネント自動生成命令が印加されると、前記自動生成イベントを発生させる前に、前記第１ユーザが前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであるか否かを確認するための認証イベントを発生させる段階、前記認証イベントが発生されると、前記第１ユーザに対して事前に発行された識別コードを入力することを要請する内容が含まれたメッセージを画面上に表示する段階、前記第１ユーザによって第１識別コードが入力されると、ｐ桁の１回用認証番号をランダムに生成し、前記１回用認証番号を、中心軸を基準に前段のｐ／２桁の第１部分番号と後段のｐ／２桁の第２部分番号に分離した後、前記第１部分番号を構成するｐ／２個の数字のそれぞれに対してモジュロ－２演算を行うことにより、ｐ／２ビットの第１部分コードを生成し、前記第２部分番号を構成するｐ／２個の数字それぞれに対してモジュロ－２演算を行うことにより、ｐ／２ビットの第２部分コードを生成した後、前記第１部分コードと前記第２部分コードを排他的論理和することにより、ｐ／２ビットの演算コードを生成する段階、前記第１部分コードと前記第２部分コードのそれぞれに対するハミング重量の和を演算した後、前記ハッシュ関数保存部から、前記ｐ＋１個のハッシュ関数のうち、前記ハミング重量の和が固有番号として割り当てられている第１ハッシュ関数を抽出する段階、前記第１ハッシュ関数に前記演算コードを入力として印加して第１ハッシュ値を生成し、前記第１識別コードを前記第１ハッシュ値に暗号化した後、前記ユーザ認証サーバへ、暗号化された前記第１識別コードと前記１回用認証番号を転送するとともに、前記第１ユーザが前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであるか否かを確認することを要請する確認要請命令を転送する段階、および前記ユーザ認証サーバから、前記第１ユーザが前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであることが確認されることで、前記ユーザ認証サーバから、前記第１ユーザが前記ＵＩコンポーネント自動生成機能を利用できる有料ユーザであると確認されたことを示す確認メッセージが受信されると、前記自動生成イベントを発生させる段階を含んでもよい。

【0104】

このとき、前記ユーザ認証サーバは、メモリ上に前記ｐ＋１個のハッシュ関数を保存しており、前記電子端末装置から、暗号化された前記第１識別コードと前記１回用認証番号が受信されるとともに、前記確認要請命令が受信されると、前記ｐ＋１個のハッシュ関数と前記１回用認証番号に基づいて、前記第１ハッシュ値を生成して、暗号化された前記第１識別コードを前記第１ハッシュ値に復号化することで、前記第１識別コードを復元した後、前記ユーザデータベース上に前記第１識別コードが保存されているか否かを確認して、前記ユーザデータベース上に前記第１識別コードが保存されていることが確認されると、前記確認メッセージを生成して前記電子端末装置へ転送することができる。

【0105】

このとき、本発明の一実施形態によれば、前記ユーザ認証サーバは、メモリ上に前記ｐ＋１個のハッシュ関数を保存しており、前記電子端末装置から、暗号化された前記第１識別コードと前記１回用認証番号が受信されるとともに、前記確認要請命令が受信されると、前記１回用認証番号を、中心軸を基準に前段のｐ／２桁の前記第１部分番号と後段のｐ／２桁の前記第２部分番号に分離した後、前記第１部分番号を構成するｐ／２個の数字のそれぞれに対してモジュロ－２演算を行うことにより、前記第１部分コードを生成し、前記第２部分番号を構成するｐ／２個の数字のそれぞれに対してモジュロ－２演算を行うことにより、前記第２部分コードを生成した後、前記第１部分コードと前記第２部分コードとを排他的論理和することで、前記演算コードを生成し、前記第１部分コードと前記第２部分コードのそれぞれに対するハミング重量の和を演算した後、前記ｐ＋１個のハッシュ関数のうち、前記ハミング重量の和が固有番号として割り当てられている前記第１ハッシュ関数を抽出し、前記第１ハッシュ関数に前記演算コードを入力として印加して前記第１ハッシュ値を生成した後、暗号化された前記第１識別コードを前記第１ハッシュ値に復号化することによって、前記第１識別コードを復元することができる。

【0106】

以上、図３を参照して、本発明の一実施形態によるＵＩ設計案に対するイメージ分析を通じてＵＩコンポーネント自動生成機能を提供することのできるＵＩ開発ツールが搭載された電子端末装置の動作方法について説明した。ここで、本発明の一実施形態による電子端末装置の動作方法は、図１～図２を用いて説明した電子端末装置１１０の動作に対する構成と対応することができるため、これについてのより詳細な説明は、省略することにする。

【0107】

本発明の一実施形態による電子端末装置の動作方法は、コンピュータとの結合を介して実行させるための保存媒体に保存されたコンピュータプログラムで具現されてもよい。

【0108】

また、本発明の一実施形態による電子端末装置の動作方法は、様々なコンピュータ手段を介して行うことができるプログラム命令の形態で具現され、コンピュータ読取り可能媒体に記録されてもよい。前記コンピュータ読取り可能媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェアの当業者に公知のものが使用可能であってもよい。コンピュータ読取り可能記録媒体の例には、ハードディスク、フロッピーディスク、磁気テープなどの磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤなどの光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、およびロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリなどのプログラム命令を保存して行うように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作成されるような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行され得る高級言語コードを含む。

【0109】

以上のように、本発明では具体的な構成要素などの特定の事項と限定された実施形態および図面によって説明されたが、これは本発明のより全体的な理解を助けるために提供されたものであり、本発明は前記の実施形態に限定されるものではなく、本発明が属する分野で通常の知識を有する者であれば、このような記載から様々な修正および変形が可能である。

【0110】

したがって、本発明の精神は、説明された実施形態に限定されてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等または等価的な変形がある全てのものは、本発明の思想の範囲に属すると言える。

【符号の説明】

【0111】

１１０ ・・・ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）設計案に対するイメージ分析を通じてＵＩコンポーネント自動生成機能を提供することのできるＵＩ開発ツールが搭載された電子端末装置
１１１ ・・・標準名称テーブル保持部
１１２ ・・・自動生成イベント発生部
１１３ ・・・背景領域生成部
１１４ ・・・図形認識部
１１５ ・・・位置情報確認部
１１６ ・・・テキスト認識部
１１７ ・・・ＵＩコンポーネントマッチング部
１１８ ・・・ＵＩコンポーネント挿入部
１１９ ・・・２値イメージ生成部
１２０ ・・・図形認識処理部
１２１ ・・・ハッシュ関数保存部
１２２ ・・・認証イベント発生部
１２３ ・・・メッセージ表示部
１２４ ・・・演算コード生成部
１２５ ・・・ハッシュ関数抽出部
１２６ ・・・確認要請部
１２７ ・・・イベント発生処理部
１３０ ・・・第１ユーザ
１４０ ・・・ユーザ認証サーバ

【図1】

【図2】

【図3】