IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ミンティット カンパニー,リミテッドの特許一覧

特表2024-518274電子機器で機器内部の情報を取得するための方法及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-01
(54)【発明の名称】電子機器で機器内部の情報を取得するための方法及びシステム
(51)【国際特許分類】
   G06F 8/70 20180101AFI20240423BHJP
   G06F 8/61 20180101ALI20240423BHJP
   G06F 9/451 20180101ALI20240423BHJP
【FI】
G06F8/70
G06F8/61
G06F9/451
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023562716
(86)(22)【出願日】2022-04-13
(85)【翻訳文提出日】2023-10-12
(86)【国際出願番号】 KR2022005349
(87)【国際公開番号】W WO2022220580
(87)【国際公開日】2022-10-20
(31)【優先権主張番号】10-2021-0048461
(32)【優先日】2021-04-14
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2022-0001895
(32)【優先日】2022-01-06
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】521406798
【氏名又は名称】ミンティット カンパニー,リミテッド
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】チ,チャンファン
(72)【発明者】
【氏名】ユ,クォンユル
(72)【発明者】
【氏名】ユ,チョルジョン
【テーマコード(参考)】
5B376
【Fターム(参考)】
5B376AA32
5B376AD22
5B376DA03
5B376DA11
5B376GA03
(57)【要約】
【課題】電子機器で機器内部の情報を取得するためのシステム及び方法が開示される。
【解決手段】本発明の一実施形態に係る機器内部情報取得システムは、自動化機器のUI画面を介してユーザから「投入前のユーザ動作」に対して選択されるステップと、前記「投入前のユーザ動作」として「画面ON状態に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器のディスプレイに表示される製品情報のID画面を認識するステップと、前記認識された製品情報のID画面から前記モバイル機器に対する固有IDを読み出すステップを含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
自動化機器のUI画面を介してユーザから「投入前のユーザ動作」に対して選択されるステップと、
前記「投入前のユーザ動作」として「画面ON状態に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器のディスプレイに表示される製品情報のID画面を認識するステップと、
前記認識された製品情報のID画面から前記モバイル機器に対する固有IDを読み出すステップと、
を含む、電子機器で機器内部の情報を取得するための方法。
【請求項2】
前記「投入前のユーザ動作」として「アプリのインストール後に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対してインストールされたアプリを実行させ、前記モバイル機器のディスプレイに製品情報のID画面を表示するステップと、
前記ディスプレイに表示される製品情報のID画面を認識するステップと、
前記認識された製品情報のID画面から前記モバイル機器に対する固有IDを読み出すステップと、
をさらに含む、請求項1に記載の電子機器で機器内部の情報を取得するための方法。
【請求項3】
前記「投入前のユーザ動作」として「投入後アプリのインストール」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器にアプリをインストールするステップと、
前記インストールされたアプリを実行させ、前記モバイル機器のディスプレイに製品情報のID画面を表示するステップと、
前記ディスプレイに表示される製品情報のID画面を認識するステップと、
前記認識された製品情報のID画面から、前記モバイル機器に対する固有IDを読み出すステップと、
をさらに含む、請求項1に記載の電子機器で機器内部の情報を取得するための方法。
【請求項4】
前記モバイル機器のディスプレイに表示された前記製品情報のID画面をスクリーンセーブし、画面格納データを生成するステップと、
前記画面格納データから前記モバイル機器に対する固有IDを抽出するステップと、
をさらに含む、請求項2又は請求項3に記載の電子機器で機器内部の情報を取得するための方法。
【請求項5】
前記「投入前のユーザ動作」として「パスワード解除後に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対して姿勢補正するステップと、
前記姿勢補正後のモバイル機器に対する空間タッチの操作によって、前記モバイル機器のディスプレイに製品情報のID画面を表示するステップと、
前記ディスプレイに表示される製品情報のID画面を認識するステップと、
前記認識された製品情報のID画面から前記モバイル機器に対する固有IDを読み出すステップと、
をさらに含む、請求項1に記載の電子機器で機器内部の情報を取得するための方法。
【請求項6】
前記姿勢補正するステップは、
前記モバイル機器の少なくとも一側面を前記投入空間の一側面と同じ方向に移動させて傾き補正するステップと、
前記傾き補正後のモバイル機器の真ん中と前記投入空間に設定された座標系の中央座標を整合して位置補正するステップと、
を含む、請求項5に記載の電子機器で機器内部の情報を取得するための方法。
【請求項7】
前記モバイル機器のディスプレイに製品情報のID画面を表示するステップは、
前記姿勢補正後のモバイル機器を少なくとも含んでタッチ領域を算定するステップと、
前記タッチ領域に光が発光する「光源」と前記光が入射する「受信」を指定する光源部によって、光の流れによる前記タッチ領域に対する格子型の座標系を設定するステップと、
を含む、請求項6に記載の電子機器で機器内部の情報を取得するための方法。
【請求項8】
前記モバイル機器のディスプレイに製品情報のID画面を表示するステップは、
前記光の流れの変動を認知し、前記座標系内のXY座標を算出するステップと、
x側駆動レールとy側駆動レールを移動する空間タッチハンドにより、前記算出されたXY座標に対して空間タッチを操作するステップと、
をさらに含む、請求項7に記載の電子機器で機器内部の情報を取得するための方法。
【請求項9】
自動化機器のUI画面を介してユーザから「投入前のユーザ動作」に対して選択される選択部と、
前記「投入前のユーザ動作」として「画面ON状態に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器のディスプレイに表示される製品情報のID画面を認識し、前記認識された製品情報のID画面から前記モバイル機器に対する固有IDを読み出す認識部と、
を含む、電子機器で機器内部の情報を取得するためのシステム。
【請求項10】
前記「投入前のユーザ動作」として「アプリのインストール後に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対してインストールされたアプリを実行させ、前記モバイル機器のディスプレイに製品情報のID画面を表示する処理をさらに含み、
前記認識部は、前記ディスプレイに表示される製品情報のID画面を認識し、前記認識された製品情報のID画面から前記モバイル機器に対する固有IDを読み出す、請求項9に記載の電子機器で機器内部の情報を取得するためのシステム。
【請求項11】
前記「投入前のユーザ動作」として「投入後アプリのインストール」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器にアプリをインストールし、前記インストールされたアプリを実行させ、前記モバイル機器のディスプレイに製品情報のID画面を表示する処理部をさらに含み、
前記認識部は、前記ディスプレイに表示される製品情報のID画面を認識し、前記認識された製品情報のID画面から前記モバイル機器に対する固有IDを読み出す、請求項9に記載の電子機器で機器内部の情報を取得するためのシステム。
【請求項12】
前記処理部は、前記モバイル機器のディスプレイに表示された前記製品情報のID画面をスクリーンセーブして画面格納データを生成し、
前記認識部は、前記画面格納データから前記モバイル機器に対する固有IDを抽出する、請求項10又は11に記載の電子機器で機器内部の情報を取得するためのシステム。
【請求項13】
前記「投入前のユーザ動作」として「パスワード解除後に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対して姿勢補正する補正部と、
前記姿勢補正後のモバイル機器に対する空間タッチの操作により、前記モバイル機器のディスプレイに製品情報のID画面を表示する処理部と、
をさらに含み、
前記認識部は、前記ディスプレイに表示される情報ID画面を認識し、前記認識された製品情報のID画面から前記モバイル機器に対する固有IDを読み出す、請求項9に記載の電子機器で機器内部の情報を取得するためのシステム。
【請求項14】
前記補正部は、
前記モバイル機器の少なくとも一側面を前記投入空間の一側面と同じ方向に移動させて傾き補正し、
前記傾き補正後のモバイル機器の真ん中と前記投入空間に設定された座標系の中央座標を整合して位置補正する、請求項13に記載の電子機器で機器内部の情報を取得するためのシステム。
【請求項15】
前記処理部は、
前記姿勢補正後のモバイル機器を少なくとも含んでタッチ領域を算定し、
前記タッチ領域に、光が発光する「光源」と前記光が入射する「受信」を指定する光源部により光の流れによる前記タッチ領域に対する格子型の座標系を設定する、請求項14に記載の電子機器で機器内部の情報を取得するためのシステム。
【請求項16】
前記処理部は、
前記光の流れの変動を認知し、前記座標系内のXY座標を算出し、
x側駆動レールとy側駆動レールを移動する空間タッチハンドにより前記算出されたXY座標に対して空間タッチを操作する、請求項15に記載の電子機器で機器内部の情報を取得するためのシステム。
【請求項17】
請求項1に記載の方法を実行させるためのプログラムを記録したコンピュータ読み出し可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、モバイル機器の新しい機能及びセキュリティーポリシー変化に応じて、モバイル機器内と連動時に発生する問題を解決することのできる電子機器において機器内部の情報を取得するための方法及び装置に関する。
【背景技術】
【0002】
従来におけるモバイル機器は、例えば、メーカーでモバイル機器用のアプリとウェブSW開発者の開発便利性のためにモバイル機器内の様々な情報に接近して連動できるよう、開発用API(Application Programming Interface)などを提供している。
【0003】
最近は、モバイル機器の個人情報保護強化の一環として、機器内部の特定情報を取り出すことができないように機能を制限したり、モバイル機器との連動のための機構的な接続ポートを除去してしまう場合、機器内部の特定情報を持ってくるときに相当な制約がある。
【0004】
モバイル機器のメンテナンスのためには、モバイル機器の状態を点検しなければならない。また、モバイル機器を販売するとき、モバイル機器の固有ID(製造番号、製品固有番号、例えば、シリアルナンバー又はIMEIナンバーなど)を確認してモバイル機器の状態履歴及び盗難の有無を必ず確認しなければならない。
【0005】
機器の状態点検及び確認する方法として、ユーザがモバイル機器のディスプレイで固有IDのある画面で直接操作(タッチ)して目で確認したり、固有IDをモバイル機器との連動によって読み出すことができるアプリ(Application)とウェブSW(World wide web SW:ウェブSW)による方法などがある。アプリは、モバイル機器にインストールされて実行されるアプリケーションSWであり、web SWは、モバイル機器とインターネットのような通信網(有線、無線など)により連動されるSWを意味する。
【0006】
固有IDを直接確認する場合、ユーザが直接モバイル機器を操作して目で確認することである。
【0007】
モバイル機器と連動して固有IDを読み出す場合、特定装置とアプリ/ウェブSWを使用することで人の人力(労働)を代替する自動化機器において多く使用されている。
【0008】
但し、モバイル機器と連動して固有IDを読出す機能を制限したり強制的に固有IDを読出すためのインターフェースがない場合、固有IDをどのように読み出すべきかという問題が発生する。例えば、モバイル機器の1つである携帯電話の場合、固有IDのうち盗難情報を確認できる特定IDを確認及び比較し、該当携帯電話の盗難有無を判断することができる。
【0009】
一般に、機器の内部情報は、ユーザがユーザインターフェース(モバイル機器の画面UI:USER INTERFACE)で決定されたステップごとに進入して固有IDのある画面まで入らなければ確認することができない。
【0010】
従って、機器の内部情報を確認することにおいて、ユーザの手動的な操作を排除し、自動化機器でユーザの行為を最小にしながら機器の内部情報を便利に確認できる改善されたモデルが切実に要求されている実状である。
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明の実施形態は、自動化機器に投入されるモバイル機器の画面を分析し、モバイル機器に対する固有IDを抽出する電子機器で機器内部の情報を取得するための方法及びシステムを提供することを目的とする。
【0012】
また、本発明の実施形態は、自動化機器に投入されるモバイル機器の画面を制御し、固有IDを含む製品情報のID画面に進入することを目的とする。
【0013】
また、本発明の実施形態は、自動化機器に投入されるモバイル機器の姿勢を自動補正し、自動化機器によるモバイル機器の画面の制御を最適に実行することを目的とする。
【0014】
また、本発明の実施形態は、空間タッチハンドによる空間タッチを活用して、モバイル機器の画面を正確に制御することを目的とする。
【課題を解決するための手段】
【0015】
本発明の一実施形態に係る電子機器で機器内部の情報を取得するための方法は、自動化機器のUI画面を介してユーザから「投入前のユーザ動作」に対して選択されるステップと、前記「投入前のユーザ動作」として「画面ON状態に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器のディスプレイに表示される製品情報のID画面を認識するステップと、前記認識された製品情報のID画面から前記モバイル機器に対する固有IDを読み出すステップを含む。
【0016】
また、本発明の実施形態に係る電子機器で機器内部の情報を取得するためのシステムは、自動化機器のUI画面を介してユーザから「投入前のユーザ動作」に対して選択される選択部と、前記「投入前のユーザ動作」として「画面ON状態に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器のディスプレイに表示される製品情報のID画面を認識し、前記認識された製品情報のID画面から前記モバイル機器に対する固有IDを読み出す認識部を含んで構成される。
【発明の効果】
【0017】
本発明の一実施形態によれば、自動化機器に投入されるモバイル機器の画面を分析し、モバイル機器に対する固有IDを抽出する電子機器で機器内部の情報を取得するための方法及びシステムを提供することができる。
【0018】
また、本発明によれば、自動化機器に投入されるモバイル機器の画面を制御し、固有IDを含む製品情報のID画面に進入することができる。
【0019】
また、本発明によれば、自動化機器に投入されるモバイル機器の姿勢を自動補正し、自動化機器によるモバイル機器の画面の制御を最適に行うことができる。
【0020】
また、本発明によれば、空間タッチハンドによる空間タッチを活用して、モバイル機器の画面を正確に制御することができる。
【図面の簡単な説明】
【0021】
図1】本発明の一実施形態に係る電子機器で機器内部の情報を取得するためのシステムの構成を示すブロック図である。
図2】モバイル機器の固有IDを示す図である。
図3A】モバイル機器の固有IDを取得する一例を示すための図である。
図3B】モバイル機器の固有IDを取得する一例を示すための図である。
図3C】モバイル機器の固有IDを取得する一例を示すための図である。
図4A】製品情報のID画面をモバイル機器のディスプレイに表示する一例を説明する図である。
図4B】製品情報のID画面をモバイル機器のディスプレイに表示する一例を説明する図である。
図4C】製品情報のID画面をモバイル機器のディスプレイに表示する一例を説明する図である。
図5A】本発明に係る座標認識及び空間タッチを用いてモバイル機器を操作することを示す図である。
図5B】本発明に係る座標認識及び空間タッチを用いてモバイル機器を操作することを示す図である。
図5C】本発明に係る座標認識及び空間タッチを用いてモバイル機器を操作することを示す図である。
図6A】本発明に係る空間タッチすることを説明するための図である。
図6B】本発明に係る空間タッチすることを説明するための図である。
図7】本発明に係るモバイル機器内部の固有IDを取得する方法を全体的に説明する図である。
図8】モバイル機器の投入後にアプリをインストールして、モバイル機器内部の固有IDを取得する一例を説明する図である。
図9】本発明の一実施形態に係る電子機器において機器内部の情報を取得するための方法を示すフローチャートである。
【発明を実施するための形態】
【0022】
以下、添付の図面を参照して実施形態について詳説する。しかし、本明細書で開示する特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示したものであり、実施形態は様々な異なる形態で実施され、本発明は本明細書で説明した実施形態に限定されるものではない。実施形態に対する全ての変更、均等物ないし代替物が権利範囲に含まれているものと理解されなければならない。
【0023】
実施形態で用いられる用語は、単に、説明を目的として使用されたものであり、限定しようとする意図として解釈されることはない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【0024】
異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【0025】
また、添付図面を参照して説明することにおいて、図面符号に関係なく、同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略することにする。実施形態の説明において、関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にするものと判断される場合、その詳細な説明を省略する。
【0026】
図1は、本発明の一実施形態に係る電子機器で機器内部の情報を取得するためのシステムの構成を示すブロック図である。
【0027】
図1を参照すると、本発明の一実施形態に係る電子機器において、機器内部の情報を取得するためのシステム(以下、「機器内部情報取得システム」に称する)100は、選択部110及び認識部120を含んで構成される。また、実施形態により、機器内部情報取得システム100は、処理部130と補正部140を選択的に追加して構成してもよい。
【0028】
まず、選択部110は、自動化機器のUI画面を介してユーザから「投入前のユーザ動作」が選択される。即ち、選択部110は、自動化機器に近接するユーザにモバイル端末をどのような状態にして自動化機器に投入するかを、UI画面により選択されるようにする。
【0029】
UI画面に提示される「投入前のユーザ動作」として、「画面ON状態に投入」、「アプリのインストール後に投入」、「投入後アプリのインストール」、及び「パスワード解除後に投入」などがあり、選択部110は、そのうちユーザがクリックする1つをユーザ選択の「投入前のユーザ動作」として入力されてもよい。
【0030】
「画面ON状態に投入」は、固有IDを含む製品情報のID画面をディスプレイに表示した状態でモバイル機器を自動化機器に投入するユーザ動作である。
【0031】
本発明において、モバイル機器にアプリをインストールすることは、モバイル機器を自動化機器に投入前又は投入後に選択的に実行される。
【0032】
「アプリのインストール後に投入」は、自動化機器でモバイル機器が制御されるようにアプリをインストールした状態でモバイル機器を自動化機器に投入するユーザ動作である。実施形態により、「アプリのインストール後に投入」は、アプリによる1回のクリックで製品情報のID画面をディスプレイに直ちに表示し、製品情報のID画面が表示された状態のモバイル機器を自動化機器に投入するユーザ動作である。
【0033】
「投入後アプリのインストール」は、モバイル機器を自動化機器に投入することにより、投入されたモバイル機器に対してアプリを自動インストールするユーザ動作である。実施形態により、「投入後アプリのインストール」は、自動化機器に投入されたモバイル機器を対象にアプリをインストールし、次いで、アプリによって製品情報のID画面をディスプレイに表示するユーザ動作である。
【0034】
「パスワード解除後に投入」は、ロック状態のみを解除した状態でモバイル機器を自動化機器に投入するユーザ動作である。
【0035】
認識部120は、前記「投入前のユーザ動作」として「画面ON状態に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器のディスプレイに表示される製品情報のID画面を認識する。即ち、認識部120は、「画面ON状態に投入」を選択したユーザにより、モバイル機器のディスプレイに表示される製品情報のID画面を確認する役割を果たす。
【0036】
「画面ON状態に投入」の選択下で、製品情報のID画面への進入は、ユーザがモバイル機器を直接操作(メニュー手動クリック)し、ディスプレイに製品情報のID画面を表示することができる。
【0037】
製品情報のID画面は、モバイル機器に対する固有IDが表示される機器状態の画面であり、例えば、モバイル機器のIMEI情報を含んでデバイスに関する内部ID情報を表示してもよい。
【0038】
その後、認識部120は、前記認識された製品情報のID画面から前記モバイル機器に対する固有IDを読み出す。即ち、認識部120は、製品情報のID画面をスキャンして固有IDに該当する文字/数字/特殊記号の組み合わせを読み出す役割を果たす。
【0039】
これによって、機器内部情報取得システム100は、自動化機器に投入されるモバイル機器の画面を分析し、モバイル機器に対する固有IDを抽出することができる。
【0040】
他の実施形態において、ユーザが、前記「投入前のユーザ動作」として「アプリのインストール後に投入」を選択する場合、機器内部情報取得システム100は、インストールされたアプリによりモバイル機器を遠隔制御し、製品情報のID画面に進入する。
【0041】
そのため、機器内部情報取得システム100は、処理部130を追加して構成してもよい。
【0042】
即ち、処理部130は、前記「投入前のユーザ動作」として「アプリのインストール後に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対してインストールされたアプリを実行させ、前記モバイル機器のディスプレイに製品情報のID画面を表示することができる。
【0043】
また他の実施形態において、ユーザが、前記「投入前のユーザ動作」として「投入後アプリのインストール」を選択する場合、機器内部情報取得システム100は、自動化機器にモバイル機器が投入されることを認知することで、投入されたモバイル機器に対してアプリを自動インストールすることができる。そのため、機器内部情報取得システム100は、インストールされたアプリによりモバイル機器を遠隔制御し、製品情報のID画面に進入する。
【0044】
そのために、処理部130は、前記「投入前のユーザ動作」として「投入後アプリのインストール」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対してアプリを自動にインストールすることができる。
【0045】
また、処理部130は、インストールされたアプリを実行させ、前記モバイル機器のディスプレイに製品情報のID画面を表示し得る。
【0046】
ここで、アプリは、モバイル機器に対する遠隔制御を実現するための専用アプリであってもよい。
【0047】
アプリのインストールにおいて、一例として、近接するユーザに自動化機器から案内が提供され、提供された案内に応じてユーザがモバイル機器に手動でアプリをダウンロードした後インストールするケースがある。他の一例として、自動化機器に投入が確認されたモバイル機器に対して、アプリを自動ダウンロードしインストールするケースもある。
【0048】
「アプリのインストール後に投入」又は「投入後アプリのインストール」の選択下で、製品情報のID画面への進入は、アプリを媒介に自動化機器がモバイル機器を遠隔制御操作(メニューの自動クリック)し、ディスプレイに製品情報のID画面を表示することができる。
【0049】
その後、認識部120は、モバイル機器のディスプレイに表示される製品情報のID画面を認識し、前記認識された製品情報のID画面から前記モバイル機器に対する固有IDを読み出す。即ち、認識部120は、アプリによる遠隔制御によって表示される製品情報のID画面をスキャンし、固有IDに該当する文字/数字/特殊記号の組み合わせを読み出すことができる。
【0050】
これによって、機器内部情報取得システム100は、自動化機器に投入されるモバイル機器の画面を制御し、固有IDを含む製品情報のID画面に進入し、進入された製品情報のID画面を分析し、モバイル機器に対する固有IDを抽出することができる。
【0051】
実施形態により、機器内部情報取得システム100は、アプリによる遠隔制御によって表示される製品情報のID画面をイメージとして格納し、格納されたイメージから固有IDを読み出す。
【0052】
そのため、処理部130は、前記モバイル機器のディスプレイに表示された前記製品情報のID画面をスクリーンセーブし、画面の格納データを生成し得る。即ち、処理部130は、前もって製品情報のID画面そのものを分析する代わりに、相対的に小容量イメージの画面格納データを対象にして分析できる環境を備える。
【0053】
その後、認識部120は、前記画面格納データから前記モバイル機器に対する固有IDを抽出することができる。
【0054】
これにより、機器内部情報取得システム100は、製品情報のID画面をスクリーンセーブした画面格納データを対象に固有IDが抽出されることから、少ない処理リソースを用いてモバイル機器の内部情報を確保することができる
【0055】
他の実施形態において、ユーザが、前記「投入前のユーザ動作」として「パスワード解除後に投入」を選択する場合、機器内部情報取得システム100は、モバイル機器に対してタッチ操作を実行し製品情報のID画面に進入する。
【0056】
そのために、機器内部情報取得システム100は、補正部140を追加して構成してもよい。
【0057】
即ち、補正部140は、前記「投入前のユーザ動作」として「パスワード解除後に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対して姿勢補正することができる。即ち、補正部140は、ユーザが自動化機器に備えられた投入空間に、ロック解除させて投入したモバイル機器を空間タッチできるようモバイル機器を規定された姿勢に補正することができる。
【0058】
姿勢補正において、補正部140は、モバイル機器が投入空間内で水平を保持して一方に傾かないように姿勢補正することができる。
【0059】
そのために、補正部140は、前記モバイル機器の少なくとも一側面を、前記投入空間の一側面と同じ方向に移動させて傾き補正し、前記傾き補正後のモバイル機器の真ん中と前記投入空間に設定された座標系の中央座標を整合して位置補正することができる。
【0060】
例えば、投入空間の底面が四角形であるボックス状である場合、補正部140は、投入空間の底面と同じ角度及び方向に置かれられるよう、モバイル機器に対して傾き補正と位置補正を行ってもよい。
【0061】
投入空間に投入されたモバイル機器に対して位置識別及び姿勢補正する動作として、上段でモバイル機器を撮影するカメラ及びカメラで撮影されたイメージを活用してもよい。
【0062】
処理部130は、前記姿勢補正後のモバイル機器に対する空間タッチの操作により、前記モバイル機器のディスプレイに製品情報のID画面を表示することができる。
【0063】
ここで、空間タッチは、投入空間で規定された姿勢に補正されているモバイル機器に対して、ユーザによる手動的なタッチを排除した状態でディスプレイを自動タッチする操作を指す。
【0064】
タッチ領域は、補正により投入空間の底面と同じ角度及び方向に置かれられるようにモバイル機器を少なくとも内部に含まれ得る大きさの四角形に設定してもよい。
【0065】
処理部130は、タッチ領域上に決定された間隔に配置されている「光源」と「受信」との間で行われる光の流れにより、格子型の座標系を設定することができる。
【0066】
また、処理部130は、前記光の流れの変動を認知して前記座標系内のXY座標を算出し、x側駆動レールとy側駆動レールを移動する空間タッチハンドにより、前記算出されたXY座標に対して空間タッチを操作することができる。
【0067】
即ち、処理部130は、「光源」で発光した光が予定された「受信」でない他の値の「受信」に流れたり、光の流れが一時的に停止する座標を、光の流れの変動したXY座標で算出し、算出されたXY座標に空間タッチハンドを移動させることができる。
【0068】
空間タッチハンドは、x側駆動レールとy側駆動レールによりXY座標に移動することができ、処理部130は、XY座標に移動された空間タッチハンドにより前記モバイル機器のディスプレイをタッチし、前記空間タッチを操作することができる。
【0069】
XY座標は、モバイル機器ごとに予め決定された下位メニューを転換するためのステップごとの位置値であってもよい。
【0070】
「パスワード解除後に投入」の選択下で、製品情報のID画面への進入は、空間タッチハンドによる空間タッチにより、モバイル機器のディスプレイに製品情報のID画面が表示されるようにする。
【0071】
その後、認識部120は、モバイル機器のディスプレイに表示される製品情報のID画面を認識し、前記認識された製品情報のID画面から前記モバイル機器に対する固有IDを読み出す。即ち、認識部120は、空間タッチにより表示される製品情報のID画面をスキャンして固有IDに該当する文字/数字/特殊記号の組み合わせを読み出すことができる。
【0072】
そのため、機器内部情報取得システム100は、自動化機器に投入されるモバイル機器の姿勢を自動補正し、自動化機器によるモバイル機器の画面の制御を最適に行うことができる。
【0073】
また、機器内部情報取得システム100は、空間タッチハンドによる空間タッチを選択的に活用して、モバイル機器の画面を正確に制御することができる。
【0074】
本発明の機器内部情報取得システム100は、ユーザの参加行為が多い場合とユーザの参加行為が少ない場合に分類し、モバイル機器の内部情報を取得してもよい。
【0075】
ユーザの参加行為が多い場合、機器内部情報取得システム100は、自動化機器が行わなければならない機能を簡単にすることができる。
【0076】
一方、ユーザの参加行為が少ない場合、機器内部情報取得システム100は、自動化機器の機能が多いため、多くの機能処理のために様々な装置及び制御技術が必要である。
【0077】
機器内部情報取得システム100は、固有IDの取得方法として、ユーザの操作及び映像装置を連動する方法を使用してもよい。
【0078】
ユーザの操作及び映像装置を連動する方法は、i)ユーザがモバイル機器のユーザインターフェース(以下、「UI」に称する)により内部情報である固有IDが出てくるUI画面(製品情報のID画面)まで直接タッチ(押し)し、ii)製品情報のID画面が表示された状態のモバイル機器を自動化機器に入れた後、製品情報のID画面を自動化機器が認識して固有IDを読み出す方法である。
【0079】
機器内部情報取得システム100は、自動化機器にモバイル機器が挿入されれば、自動化機器でモバイル機器のディスプレイに表示された製品情報のID画面を認識し、認識された製品情報のID画面からモバイル機器の固有IDを自動に読み出す。
【0080】
機器内部情報取得システム100は、製品情報のID画面に表示されたグラフィック(バーコード及びQRコード(登録商標))及びテキスト(文字、数字)を読み出し、モバイル機器に対する内部情報(固有ID)を取得する認識アルゴリズムを含んでもよい。
【0081】
製品情報のID画面を認識する方法は、映像装置を用いた撮影方法とスキャニング方法とがあり、認識方法に基づいてテキスト認識及び読み出し過程において差がある。
【0082】
スキャニング方法は、モバイル機器の画面と映像装置との間の位置及び間隔を円満に調節して行うことができる。
【0083】
撮影方法は、焦点、視野角(ビュー領域)、レンズ、及び距離による画面の歪みなどを注意して実現することができる。
【0084】
特に、付加的な照明適用の有無は、使用する映像装置タイプ及び設置位置に応じて決定でき、認識方法及び構成により照明を適切に適用することができる。
【0085】
機器内部情報取得システム100は、1つ以上の停止画面で製品情報のID画面を認識してもよい。
【0086】
機器内部情報取得システム100は、認識された製品情報のID画面で該当文字と数字の部分を識別し、識別された文字/数字の部分を自動化機器が読み出し可能な文字や数字に変換するソフトウェアアルゴリズムを含んでもよい。
【0087】
機器内部情報取得システム100は、製品情報のID画面がバーコードやQRコードを含む場合、専用リーダー機アルゴリズム(SW)によりモバイル機器の固有IDを読み出して処理することができる。
【0088】
機器内部情報取得システム100は、製品情報のID画面が文字のみの文字列を含む場合、該当の文字列で必要な領域の画面を切り取って(切り出して)文字比較及び変換アルゴリズム(例示えば、OCR:光学文字リーダー機)を適用してモバイル機器の固有IDを読み出して処理してもよい。
【0089】
文字列を探す方法は多様であるが、製品情報のID画面で提供する情報がメーカーに応じて類似しているため、機器内部情報取得システム100は、メニュー映像に対する基本的な学習を介して必要な文字列を容易に探すことができる。
【0090】
機器内部情報取得システム100は、顧客の携帯電話文字列のセッティングにより様々なフォントで文字が表記され得るため、任意のフォントに対する分析技術を追加的に備えることができる。
【0091】
図2は、モバイル機器の固有IDを示す図である。
【0092】
機器内部情報取得システム100は、図2に示すような製品情報のID画面がユーザのUI操作によってモバイル機器のディスプレイに表示されると、自動化機器を介して製品情報のID画面を認識することができる。自動化機器は、分析アルゴリズム(SW)により製品情報のID画面からIMEIに該当する文字列を探し、この文字列から実際のテキスト文字と数字からなる固有IDを読み出すことができる。
【0093】
即ち、機器内部情報取得システム100はモバイル機器の固有IDとして、IMEI「358697100169755」を読み出してもよい。
【0094】
図3A図3Cは、モバイル機器の固有IDを取得する一例を示すための図である。
【0095】
図3Aでは、ユーザが製品情報のID画面が表示されるようにモバイル機器を操作した後、自動化機器に投入する一例を示す。
【0096】
図3Aに示すStep1は、ユーザであるUSERがモバイル機器を直接操作することを例示している。
【0097】
図3AのStep2とStep3は、USERの操作により製品情報のID画面をモバイル機器のディスプレイ上に表示した状態で、モバイル機器を自動化機器に投入する一例を示す。
【0098】
図3Bは、ユーザが必要アプリをモバイル機器にダウンロードして実行した後、自動化機器に投入する一例を示す図である。
【0099】
図3BのStep1は、モバイル機器と自動化機器が近接して無線接続されることでモバイル機器で必要なアプリをダウンロードして実行することを例示する。
【0100】
図3BのStep2は、必要アプリを用いて一回のクリックで製品情報のID画面をモバイル機器のディスプレイ上に表示し、製品情報のID画面が表示された状態でモバイル機器を自動化機器に投入する一例を示す図である。
【0101】
実施形態により、機器内部情報取得システム100は、必要アプリを用いてモバイル機器に対して遠隔制御することで、製品情報のID画面をモバイル機器のディスプレイ上に表示してもよい。
【0102】
図3Cは、ユーザが自動化機器に接近すると、自動化機器における案内により製品情報のID画面が表示されるように操作した後、自動化機器に投入する一例を示す図である。
【0103】
図3CのStep1は、自動化機器からの投入前の案内により、USERがモバイル機器を操作して製品情報のID画面を表示することが例示されている。ここで、投入前の案内はユーザに直接案内される音声案内、自動化機器の画面を介して案内される文字/グラフィック案内などがある。
【0104】
図3CのStep2は、製品情報のID画面をモバイル機器のディスプレイ上に表示した状態で、モバイル機器を自動化機器に投入する一例を示す図である。他の実施形態において、製品情報のID画面をバーコード形態に切り替えて自動化機器に投入し、製品情報のID画面が外部に流出されることを防止することができる。
【0105】
製品情報のID画面をモバイル機器のディスプレイに表示する方案として、モバイル機器のメーカーごとに提供する隠れ機能を使用する方案及びアプリを用いる方案がある。
【0106】
モバイル機器のメーカーが提供する隠れ機能を使用する方案は、モバイル機器のモデルごとの情報を確認したユーザが隠れた機能の利用方法を認知した後、該当コードを通話モードで実行させることにより行われる。
【0107】
図4は、製品情報のID画面をモバイル機器のディスプレイに表示する一例を説明する図である。
【0108】
図4Aは、製品情報のID画面を実行させるためにユーザがモバイル機器の通話モードであり、予め認知したコード「*#06#」の入力が例示されている。
【0109】
コード「*#06#」は、例えば、ユーザが予め認知しているコードであってもよく、又は、自動化機器がモバイル機器のモデルを確認してユーザに案内してもよい。
【0110】
図4B及び4Cは、コード「*#06#」の入力により、製品情報のID画面を実行させる画面を示す。
【0111】
図4Bは、IMEI and S/Nに関する製品情報のID画面をバーコード形態に切り替える画面の一例である。
【0112】
図4Cは、機器情報に関する製品情報のID画面をバーコード形態に切り替える画面の一例である。
【0113】
製品情報のID画面を実行させるためのコードは、モバイル機器のメーカーモデルごとに互いに異なってもよい。
【0114】
ユーザは、入力しなければならないコードを予め認知することで、製品情報のID画面を迅速に実行させ、所望するモバイル機器の固有IDを取得できる。
【0115】
また、メーカーによって、製品情報のID画面を介してIMEI2情報をさらに提供してもよい。
【0116】
図4Cにおいて、IMEIはモバイル機器の固有IDであり、IMEI2は通信社から付与するIDであり、機器内部情報取得システム100は、前記固有IDを読み出す場合に正確な用途で使用されるように読み出すことができる。
【0117】
機器内部情報取得システム100は、図4B又は図4Cに示すようなバーコードが自動化機器によって認識されることでバーコードを分析し、該当の数字配列を確認して固有IDを読み出したり、バーコードに明示された文字のうちIMEIに該当する文字を識別して固有IDを読み出してもよい。
【0118】
機器内部情報取得システム100は、複数のバーコードを読み出すことができるようマルチバーコード認識及び処理技術を含んでもよい。
【0119】
また、機器内部情報取得システム100は、ユーザが自動化機器に近接すると、自動化機器から案内されるようにし(自動化機器からユーザに音声案内、自動化機器の画面を介して案内される文字/グラフィック案内など)、前記案内によって専用アプリがユーザのモバイル機器にダウンロードされるように誘導する。
【0120】
モバイル機器でダウンロードされた専用アプリを実行すると、機器内部情報取得システム100は、最小限のユーザタッチ(1~2回のタッチ)により製品情報のID画面をモバイル機器のディスプレイに表示することができる。
【0121】
これによって、機器内部情報取得システム100は、ユーザが複雑なスクローリング及びメニューサーチングを行わなくてもよい。
【0122】
実施形態により、機器内部情報取得システム100は、モバイル機器を自動化機器に入れることで自動化機器における自動化技術によって製品情報のID画面を表示し、これを認識し得る。
【0123】
この場合、機器内部情報取得システム100は、モバイル機器を自動化機器に入れる前に、ユーザにモバイル機器のパスワードや認証機能をなくした状態で投入れるよう事前に案内できる。
【0124】
機器内部情報取得システム100は、モバイル機器が自動化機器の投入口に入ったり、自動化機器の特定位置に置かれることでモバイル機器の固有IDを取得し得る。
【0125】
ここで、自動化機器はモバイル機器を操作し、製品情報のID画面をモバイル機器のディスプレイに表示してもよい。
【0126】
製品情報のID画面は、モバイル機器に関する固有IDを示す画面と、固有IDをバーコード形態に表される画面とに区分される。
【0127】
機器内部情報取得システム100は、自動化機器で投入されたモバイル機器に対して、モバイル機器の電源をオンしたりブラック状態(power saveモードのように画面が消えた状態など)の画面をオンするように(基本動作モード)操作してもよい。
【0128】
機器内部情報取得システム100は、自動化機器を介して電源をオンしたり基本動作モードのモバイル機器を遠隔制御したりして、製品情報のID画面をモバイル機器のディスプレイに表示することができる。
【0129】
又は、機器内部情報取得システム100は、自動化機器により電源をオンしたり基本動作モードのモバイル機器に対して空間タッチの操作を行うことで、製品情報のID画面をモバイル機器のディスプレイに表示してもよい。
【0130】
ここで、機器内部情報取得システム100は、モバイル機器のサイズや形状が多様であり、特定空間に固定されていない状態で位置していることから、モバイル機器が動かないように安定的に固定させ得る。
【0131】
モバイル機器を固定した後、機器内部情報取得システム100は、自動化機器の特定空間の中央座標とモバイル機器の中央座標を整合する。
【0132】
モバイル機器の座標整合において、機器内部情報取得システム100は、モバイル機器の最小2面以上を固定しなければらなず、固定のための制御方向を一方向以上にする。
【0133】
即ち、機器内部情報取得システム100は、自動化機器内部の移動及び固定軸を備え、モバイル機器を中央側に移動させた後、モバイル機器が中央位置になれば固定することができる。
【0134】
また、機器内部情報取得システム100は、中央に位置しているモバイル機器の底面を固定できる構造物を用いてモバイル機器のディスプレイをタッチすることができる。
【0135】
モバイル機器が中央座標に固定された場合、機器内部情報取得システム100は、特定空間に固定されているモバイル機器の正確な位置及び該当モバイル機器内のユーザインターフェースのメニュー画面の構成及び位置を認識する。
【0136】
自動化機器がモバイル機器を直接タッチして製品情報のID画面を順次表示するためには、製品情報のID画面に対する座標値を認識しなければならない。
【0137】
ほとんどのモバイル機器は、マトリックス構造と上下左右の移動可能な形態に画面が構成されており、機器内部情報取得システム100は、モバイル機器の位置情報を認識してタッチ機能を行うことができる。
【0138】
XY軸の座標値を認識するためには、該当空間に対する座標値を予め指定してモバイル機器が置かれた地点を中心に実際のモバイル機器の座標を認知する。
【0139】
機器内部情報取得システム100は、認知された座標によりモバイル機器上の画面UIのそれぞれの機能別座標を演算してもよい。
【0140】
機器内部情報取得システム100は、演算された座標値を基準として該当メニューの順に押して製品情報のID画面を表示してもよい。
【0141】
機器内部情報取得システム100は、モバイル機器そのものを基準にして座標値を算定してもよく、又は、底面を基準にして座標値を算定してもよい。
【0142】
底面が基準である場合、機器内部情報取得システム100は、モバイル機器が位置している底面座標にモバイル機器のモデルごとのUIアイコン座標を補正して動作座標(メニュー作業時に必要な実際の座標)を算定してもよい。
【0143】
また、モバイル機器そのものが基準である場合、機器内部情報取得システム100は、モバイル機器そのものを座標化する基準点を決定して動作座標を適用してもよい。
【0144】
図5A図5Cは、本発明に係る座標認識及び空間タッチを用いてモバイル機器を操作することを示す図である。
【0145】
図5Aにおいて、機器内部情報取得システム100は、モバイル機器が置かれられる特定空間の底面に対して予め座標系を設定してもよい。
【0146】
その後、モバイル機器が、前記特定空間に置かれることで機器内部情報取得システム100は、設定された座標系に基づいてモバイル機器が占有する座標値(X、Y)を算定する。
【0147】
機器内部情報取得システム100は、モバイル機器が位置固定されることを確認した後、カメラにより設定された座標系でモバイル機器が占有いている底面サイズと位置固定される座標値を確認する。即ち、カメラは、底面の座標値算出及びモバイル機器の位置座標値を認識するために活用されてもよい。
【0148】
また、機器内部情報取得システム100は、設定された座標系の中央cとモバイル機器の座標値との間の離隔程度も共に確認することができる。
【0149】
図5Bにおいて、機器内部情報取得システム100は、x側駆動レールとy側駆動レールを移動する空間タッチハンドを備える。
【0150】
ここで、機器内部情報取得システム100は、タッチしなければならないメニューのある画面内の位置座標を中央cを基準にして算出することができる。
【0151】
図5Cにおいて、機器内部情報取得システム100は、固定支持対を用いてモバイル機器を回転させ、モバイル機器の中央と底面の中央cを整合する。
【0152】
その後、機器内部情報取得システム100は、空間タッチハンドをx側駆動レールとy側駆動レール上で移動させて中央座標が固定されているモバイル機器を空間タッチしてもよい。
【0153】
また、機器内部情報取得システム100は、空中タッチ機能のためのタッチ認識機器の構成により、X、Y軸に発光及び受信機能を有する光源部を備えてもよい。
【0154】
光源部は、X、Y座標値に座標認識を有する座標算出及びデータ化の機能により、モバイル機器とUSB(登録商標)、BT(ブルートゥース:登録商標)、WIFI(登録商標)などの様々な有線及び無線I/Fで連動制御する機能を行うことができる。
【0155】
機器内部情報取得システム100は、高さHを有する光源と下段に受信を配置させ、光源から放出される光を用いてモバイル機器の表面をタッチする効果を与えることで、モバイル機器の表面への影響及び衝撃を減らすことができる。
【0156】
図6は、本発明に係るモバイル機器のLCD委特定高さ空間で空間タッチすることを説明するための図である。
【0157】
図6は、空間タッチハンドを用いてモバイル機器のLCD表面に直接接触せず、LCD上の特定空間をタッチし、タッチ時の衝撃ダメージを減らし得る実施形態について説明する。
【0158】
図6Aにおいて、機器内部情報取得システム100は、自動化機器の底面の中央cと、モバイル機器の中央とを整合させた状態で、空間タッチ認識器によりタッチ領域を算定することができる。
【0159】
機器内部情報取得システム100は、X軸駆動レールとY軸駆動レールにより、算定されたタッチ領域上を移動する空間タッチハンドを用いて、モバイル機器の表面を空間タッチしてもよい。空間タッチハンドは、X、Y軸駆動レールに沿ってタッチ領域上を移動できる。
【0160】
図6Bは、空間タッチ認識のための機能構造図である。
【0161】
図6Bにおいて、機器内部情報取得システム100は、タッチ領域の外郭で光源及び受信を指定し、光源と受信との間の光の流れを用いて空間タッチのための格子型の座標系を設定することができる。
【0162】
光源は、制御部による発光電源によって光を発光する。制御部は、I/F連動制御部によってUSB/BT/WIFI/NFCと有線/無線に接続されてもよい。
【0163】
受信は、発光された光を受信する。
【0164】
光源と受信との間の光の流れにおいて、制御部は、光の流れに変化があるX、Y変動値を認知し、X、Y座標値を算出する。算出されたX、Y座標値は制御部に送信され、制御部は、空間タッチハンドにより前記X、Y座標値で空間タッチするように制御することができる。
【0165】
図7は、本発明に係るモバイル機器内部の固有IDを取得する方法を全体的に説明する図である。
【0166】
ステップ700において、機器内部情報取得システム100は、ユーザが装置(自動化機器)から使用案内を受信する。
【0167】
ステップ705において、機器内部情報取得システム100は、使用案内されるユーザからモバイル機器の投入前にユーザ動作の種類が選択される。
【0168】
ステップ710の以下は、ユーザがパスワード解除後に別途の行為なしにモバイル機器を投入することを選択する場合の動作である。
【0169】
ステップ711において、機器内部情報取得システム100は、モバイル機器に対する座標確認及び機能別の位置を算定する。
【0170】
ステップ712において、機器内部情報取得システム100は、モバイル機器に対してパワーオン及び「メイン画面を表示」を行う。
【0171】
ステップ713において、機器内部情報取得システム100は、モバイル機器のメイン画面UIを基盤に該当画面(製品情報のID画面)に移動する。
【0172】
ステップ720の以下は、モバイル機器の該当画面(製品情報のID画面)まで移動した後、画面をon状態で投入することを選択する場合の動作である。
【0173】
ステップ721において、機器内部情報取得システム100は、カメラ、スキャナーなどを用いて当該画面(製品情報のID画面)をキャプチャーする。ステップ721は、前のステップ713の以後に行われる過程である。
【0174】
ステップ730の以下は、モバイル機器にアプリのインストール後に投入することを選択する場合の動作である。
【0175】
ステップ731において、機器内部情報取得システム100は、アプリによりモバイル機器に対する制御及び該当画面(製品情報のID画面)に移動する。
【0176】
ステップ732において、機器内部情報取得システム100は、スクリーンセーブ機能が可能であるかを判断する。
【0177】
もし、スクリーンセーブ機能が可能でなければ、機器内部情報取得システム100は、前のステップ721に進む。
【0178】
一方、スクリーンセーブ機能が可能であれば、ステップ733において、機器内部情報取得システム100は、該当画面をスクリーンセーブした後、該当画面に関するデータを送信する。
【0179】
ステップ721又はステップ733の後、ステップ740において、機器内部情報取得システム100は、該当画面で固有IDに相当するグラフィック、文字、及び数字を抽出する。
【0180】
ステップ750において、機器内部情報取得システム100は、固有ID情報の抽出後に次のステップのプロセスを行う。
【0181】
実施形態により、機器内部情報取得システム100は、自動化機器がモバイル機器を遠隔(ミラーリング)で制御してもよい。
【0182】
従来の方法は、ユーザや自動化機器が直接モバイル機器の画面をタッチして該当画面で直接移動するか、Pass Shift App(所望する該当画面に直ちに移動させるアプリ)に容易に移動する方法に制限された。
【0183】
機器内部情報取得システム100は、モバイル機器を外部のミラーリングシステムで遠隔制御することができ、モバイル機器の画面をミラーリングシステムで見ることによって、自動化機器に投入されたモバイル機器を自動化機器の遠隔制御ミラーリングSWにより自動制御することができる。
【0184】
ここで、ミラーリングは、モバイル機器が自動化機器を制御して自動化機器の画面を共有したり、自動化機器がモバイル機器を遠隔制御して該当モバイル機器の画面を共有する機能を指す。
【0185】
機器内部情報取得システム100は、ミラーリング技術を適用して別途のハードウェア装置を自動化機器に設置する必要なく、安全に投入されたモバイル機器に対するID取得及び様々なテストを行うことができる。
【0186】
機器内部情報取得システム100は、ミラーリング技術により個人セキュリティー認証の部分で生じる問題を減らし得る。
【0187】
機器内部情報取得システム100は、モバイル機器に遠隔制御ミラーリングアプリを無線で自動化機器からダウンロードして実行し得る。ユーザは、自動化機器で直接ダウンロードする前にインターネットを提供する機器により遠隔制御ミラーリングアプリを直接ダウンロードし、モバイル機器で実行させることができる。
【0188】
遠隔制御ミラーリングアプリを運営する方法は、ユーザが自動化機器のユーザインターフェース画面を介して製品情報のID画面に進入する方法と、自動化機器が自動制御SWによりユーザと関係なく、製品情報のID画面に進入する方法がある。
【0189】
ユーザが自動化機器のユーザインターフェース画面を介して製品情報のID画面に進入する方法は、ユーザがユーザインターフェース画面を見て動作しやすいサイズにモバイル機器の実際の画面をディスプレイし、ユーザが直接タッチして製品情報のID画面に進入するようにする。
【0190】
ミラーリングの制御時に使用されるインターフェース方法は直接接続も可能であるが、モバイル機器が提供するWIFI、BT、NFCなどのような様々な無線通信方式を用いて制御してもよい。
【0191】
自動化機器が自動制御SWによりユーザに関係なく、製品情報のID画面に進入する方法は、自動化機器に対する遠隔制御機能で運営センターにてこれを制御してもよく、自動化機器が遠隔制御ミラーリングソフトウェア技術によって制御されてもよい。
【0192】
自動化機器が制御する場合、モバイル機器に対するメニュー画面構成を学習を介して把握することで制御可能である。
【0193】
但し、自動化機器がモバイル機器のメーカーやモデルを予め把握しても、モバイル機器内のOSバージョンは確認することができない。
【0194】
特に、画面メニューUIの構成は、OSのバージョンに応じて一部の差があり得る。
【0195】
この場合、One Pass Shiftアプリを用いて中間過程をパスする方法、又は、バーコードCall方式を適用してもよい。
【0196】
本発明は、遠隔制御ミラーリング機能を用いて製品情報のID画面に移動後に該当画面をキャプチャーする法案の他に、遠隔制御技術を使用することによって製品情報のID画面の固有IDを容易に収容できる法案の2つが提示される。
【0197】
方案1は、ユーザや自動化機器が遠隔制御されたモバイル機器の製品情報のID画面で固有IDのテキスト(文字、数字)をマウスドラッグのような方法を用いて直接コピーして使用する方案である。
【0198】
方案2は、モバイル機器の製品情報のID画面で画面格納(スクリーンセーブ)機能を用いて格納された画面を自動化機器に送信し、自動化機器が格納された画面で固有IDに該当する文字、数字、バーコードなどを認識して抽出する方案である。
【0199】
図8は、モバイル機器の投入後にアプリをインストールしてモバイル機器内部の固有IDを取得する一例を説明する図である。
【0200】
機器内部情報取得システム100は、ユーザにより「投入後アプリのインストール」を選択した後、モバイル機器が自動化機器に投入されることで、投入されたモバイル機器に対してアプリを自動にインストールすることができる。
【0201】
機器内部情報取得システム100は、自動化機器に投入されたモバイル機器を対象にアプリをインストールし、続いてアプリによって製品情報のID画面がディスプレイに表示されるようする。
【0202】
図8は、miniATMで適用中であるアプリを介するモバイル機器に対する制御の一例を説明する。
【0203】
図8の(1)において、機器内部情報取得システム100は、自動化機器にモバイル機器を投入することにより、クラウドサーバーとモバイル機器をリンクさせる。
【0204】
(2)において、機器内部情報取得システム100は、クラウドサーバーからアプリを抽出し、モバイル機器にダウンロードする。
【0205】
(3)において、機器内部情報取得システム100は、ダウンロードされたアプリをモバイル機器でインストールする。
【0206】
(4)において、機器内部情報取得システム100は、デバイスLCD画面の録画機能を実行するに対してユーザ同意を取得した後、モバイル機器における録画機能を実行する。
【0207】
(5)において、機器内部情報取得システム100は、デバイス内部情報画面にDumpし、該当内部情報画面に対して自動キャプチャーする。
【0208】
(6)において、機器内部情報取得システム100は、キャプチャーされた画面をメモリに格納する。
【0209】
(7)において、機器内部情報取得システム100は、OCR処理機能等によりキャプチャー画面を認識し、デバイス内部情報(IMEIなど)を認識する。
【0210】
(8)において、機器内部情報取得システム100は、デバイス内部情報をテキスト化しサーバに送信する。
【0211】
通常、中古携帯電話の内部情報を認識するためには、特定端末デバイスとUSBケーブルを接続して特定装置が端末デバイス内部のデータを直接連動し、該当の端末デバイスの内部情報を呼び出す方法を使用している。
【0212】
端末デバイスを物理的に連結する方法は、USBケーブルを使用することによりソフトウェア的に連結する方法は、端末デバイスの特定情報を特定環境で強制的に読み出し得るAPI CODEを介して該当情報を呼び出す方式である。
【0213】
セキュリティー規定の強化によって特定API CODEの使用が困難であり、物理的な連結が困難である場合は、該当端末デバイスの内部情報を便利に取得するための方案として次のような方式を適用して実現できる。
【0214】
この方式は、該当端末デバイス自ら内部情報を探し、これを分析した後外部の特定装置が受けて認識できるようにデータ化して提供する方式であって、顧客と特定装置との間のコンタクトが最小化したアンコンタクト方式である。
【0215】
これを実現するためには、アプリ及び数個の機能が必要であり、最初に該当端末デバイスの内部情報がある画面(UI Depth Page)に移動できるアプリと、第2に、該当画面の情報を認識したり分析できるよう画面をキャプチャーしたり該当画面の特定領域を切り取って格納する機能、第3に、格納された該当画面情報で所望するデータ形態に変換できる変化機能を必要とする。
【0216】
端末デバイスの該当情報をアンコンタクトで容易に取得する方法は、該当機能を行うアプリを予め該当端末デバイスにダウンロードして実行することで容易に実行できる。
【0217】
機器内部情報取得システム100は、次の手続きを行って端末デバイスの該当情報をアンコンタクトに取得することができる。
【0218】
機器内部情報取得システム100は、該当端末デバイスを外部の特定装置と無線でリンクして該当アプリをダウンロードしステップごとに実行させることができる。
【0219】
機器内部情報取得システム100は、実行時端末デバイスのセキュリティー規定に応じて、顧客が直接該当機能を使用するよう許容するステップを行う。許容方法は、端末デバイスの画面に同意する手続に沿って行うことができる。
【0220】
機器内部情報取得システム100は、該当端末デバイスで所望する内部情報(端末のデバイス情報、即ち、IMEIなど)を顧客の関与(コンタクト)を最も最小にして特定装置との機械的な連動を最小に減らすように数個の機能を行うアプリを共に連動して実行させることができる。
【0221】
実行されるアプリ機能は、該当端末デバイスの設定メニューに自動移動して端末デバイス内部情報(IMEIなど)画面をキャプチャーし、指定された格納空間(memory)に格納する機能であってもよい。
【0222】
機器内部情報取得システム100は、端末デバイスの内部情報がある画面に移動させる機能を行う。
【0223】
最後に、機器内部情報取得システム100は、指定された格納空間に格納された特定画面(グラフィック画面)に含まれたQRコード、バーコード、テキスト(文字)を端末デバイスと外部装置が認識できるデータに変換できるOCR分析機能を適用し、所望する内部情報を抽出することができる。
【0224】
そのため、機器内部情報取得システム100は、取得された内部情報を外部装置に送信することができる。
【0225】
以下、図9は、本発明の実施形態に係る機器内部情報取得システム100の作業の流れを詳細に説明する。
【0226】
図9は、本発明の実施形態に係る電子機器における機器内部の情報を取得する方法を示す流れである。
【0227】
本実施形態に係る電子機器において、機器内部の情報を取得するための方法は機器内部情報取得システム100によって実行されてもよい。
【0228】
まず、機器内部情報取得システム100は、自動化機器のUI画面を介してユーザから「投入前のユーザ動作」に対して選択される(910)。ステップ910は、自動化機器に近接するユーザに、モバイル端末をいかなる状態にして自動化機器に投入するかをUI画面によって選択される過程であってもよい。
【0229】
UI画面に提示される「投入前のユーザ動作」は、「画面ON状態に投入」、「アプリのインストール後に投入」、「投入後アプリのインストール」、及び「パスワード解除後に投入」などがあり、機器内部情報取得システム100は、そのうちユーザがクリックする1つをユーザ選択の「投入前のユーザ動作」として入力されてもよい。
【0230】
「画面ON状態に投入」は、固有IDを含む製品情報のID画面をディスプレイに表示した状態でモバイル機器を自動化機器に投入するユーザ動作である。
【0231】
本発明におけるモバイル機器へのアプリのインストールは、モバイル機器を自動化機器に投入前又は投入後に選択的に実行される。
【0232】
「アプリのインストール後に投入」は、自動化機器でモバイル機器を制御できるようにアプリをインストールした状態でモバイル機器を自動化機器に投入するユーザ動作である。実施形態により、「アプリのインストール後に投入」は、アプリによる1回のクリックで製品情報のID画面をディスプレイに直ちに表示し、製品情報のID画面が表示された状態のモバイル機器を自動化機器に投入するユーザ動作である。
【0233】
「投入後アプリのインストール」は、モバイル機器を自動化機器に投入することにより投入されたモバイル機器に対して、アプリを自動にインストールするユーザ動作である。実施形態により、「投入後アプリのインストール」は、自動化機器に投入されたモバイル機器を対象にアプリをインストールし、続いてアプリによって製品情報のID画面がディスプレイに表示させるユーザ動作である。
【0234】
「パスワード解除後に投入」は、ロック状態のみを解除した状態でモバイル機器を自動化機器に投入するユーザ動作である。
【0235】
また、機器内部情報取得システム100は、前記「投入前のユーザ動作」として「画面ON状態に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器のディスプレイに表示される製品情報のID画面を認識する(920)。ステップ920は「画面ON状態に投入」を選択したユーザによって、モバイル機器のディスプレイに表示される製品情報のID画面を確認する過程であってもよい。
【0236】
「画面ON状態に投入」の選択下で製品情報のID画面への進入は、ユーザがモバイル機器を直接操作(メニュー手動クリック)し、ディスプレイに製品情報のID画面を表示することができる。
【0237】
製品情報のID画面は、モバイル機器に対する固有IDが表示される機器状態の画面であってもよく、例えば、モバイル機器のIMEI情報を含んでデバイスに関する内部ID情報を表示してもよい。
【0238】
次に、機器内部情報取得システム100は、前記認識された製品情報のID画面から前記モバイル機器に対する固有IDを読み出す(930)。ステップ930は、製品情報のID画面をスキャンして固有IDに該当する文字/数字/特殊記号の組み合わせを読み出す過程であってもよい。
【0239】
これによって、機器内部情報取得システム100は、自動化機器に投入されるモバイル機器の画面を分析し、モバイル機器に対する固有IDを抽出することができる。
【0240】
他の実施形態において、ユーザが、前記「投入前のユーザ動作」として「アプリのインストール後に投入」を選択する場合、機器内部情報取得システム100は、インストールされたアプリによりモバイル機器を遠隔制御し、製品情報のID画面に進入する。
【0241】
そのために、機器内部情報取得システム100は、前記「投入前のユーザ動作」として「アプリのインストール後に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対してインストールされたアプリを実行させ、前記モバイル機器のディスプレイに製品情報のID画面を表示してもよい。
【0242】
更なる実施形態において、ユーザが前記「投入前のユーザ動作」として「投入後アプリのインストール」を選択する場合、機器内部情報取得システム100は、自動化機器にモバイル機器が投入されることを認知することで、投入されたモバイル機器に対してアプリを自動インストールすることができる。これにより、機器内部情報取得システム100は、インストールされたアプリを介してモバイル機器を遠隔制御し、製品情報のID画面に進入する。
【0243】
そのために、機器内部情報取得システム100は、前記「投入前のユーザ動作」として「投入後アプリのインストール」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対してアプリを自動インストールすることができる。
【0244】
また、機器内部情報取得システム100はインストールされたアプリを実行させ、前記モバイル機器のディスプレイに製品情報のID画面を表示してもよい。
【0245】
ここで、アプリは、モバイル機器に対する遠隔制御を実現するための専用アプリであってもよい。
【0246】
アプリのインストールにおいて、一例として、近接するユーザに自動化機器から案内が提供され、提供された案内によりユーザがモバイル機器に手動でアプリをダウンロードした後インストールするケースである。他の一例として、自動化機器に投入が確認されたモバイル機器に対して、アプリを自動ダウンロードしてインストールするケースであってもよい。
【0247】
「アプリのインストール後に投入」又は「投入後アプリのインストール」の選択下で、製品情報のID画面への進入は、アプリを媒介に自動化機器がモバイル機器を遠隔制御操作(メニューの自動クリック)し、ディスプレイに製品情報のID画面を表示することができる。
【0248】
その後、機器内部情報取得システム100は、モバイル機器のディスプレイに表示される製品情報のID画面を認識し、前記認識された製品情報のID画面から前記モバイル機器に対する固有IDを読み出す。即ち、機器内部情報取得システム100は、アプリによる遠隔制御によって表示される製品情報のID画面をスキャンし、固有IDに該当する文字/数字/特殊記号の組み合わせを読み出すことができる。
【0249】
これによって、機器内部情報取得システム100は、自動化機器に投入されるモバイル機器の画面を制御し、固有IDを含む製品情報のID画面に進入し、進入された製品情報のID画面を分析し、モバイル機器に対する固有IDを抽出することができる。
【0250】
実施形態により、機器内部情報取得システム100は、アプリによる遠隔制御によって表示される製品情報のID画面をイメージとして格納し、格納されたイメージから固有IDを読み出す。
【0251】
そのために、機器内部情報取得システム100は、前記モバイル機器のディスプレイに表示された前記製品情報のID画面をスクリーンセーブし、画面格納データを生成してもよい。即ち、機器内部情報取得システム100は、前もって製品情報のID画面そのものを分析する代わりに、相対的に小容量のイメージの画面格納データを対象に分析することのできる環境を備える。
【0252】
その後、機器内部情報取得システム100は、前記画面格納データから前記モバイル機器に対する固有IDを抽出する。
【0253】
そのため、機器内部情報取得システム100は、製品情報のID画面をスクリーンセーブした画面格納データを対象に固有IDを抽出でき少ない処理リソースを用いてモバイル機器の内部情報を確保し得る。
【0254】
他の実施形態において、ユーザが、前記「投入前のユーザ動作」として「パスワード解除後に投入」を選択する場合、機器内部情報取得システム100は、モバイル機器に対してタッチ操作を行って製品情報のID画面に進入する。
【0255】
そのために、機器内部情報取得システム100は、前記「投入前のユーザ動作」として「パスワード解除後に投入」が選択されることにより、前記自動化機器の投入空間に投入されたモバイル機器に対して姿勢補正する。即ち、機器内部情報取得システム100は、ユーザが自動化機器に備えられた投入空間にロック解除させて投入したモバイル機器に対して、空間タッチできるようにモバイル機器を規定の姿勢に補正できる。
【0256】
姿勢補正において、機器内部情報取得システム100は、モバイル機器が投入空間内で水平を保持して一方に傾かないように姿勢補正することができる。
【0257】
そのために、機器内部情報取得システム100は、前記モバイル機器の少なくとも一側面を、前記投入空間の一側面と同じ方向に移動させて傾き補正し、前記傾き補正後のモバイル機器の真ん中と前記投入空間に設定されている座標系の中央座標を整合して位置補正することができる。
【0258】
例えば、投入空間の底面が四角形であるボックス状である場合、機器内部情報取得システム100は、投入空間の底面と同じ角度と方向に置かれるようにモバイル機器に対して傾き補正及び位置補正を行ってもよい。
【0259】
投入空間に投入されたモバイル機器に対して位置識別及び姿勢補正の動作として、上段でモバイル機器を撮影するカメラ及びカメラで撮影されたイメージが活用されてもよい。
【0260】
機器内部情報取得システム100は、前記姿勢補正後のモバイル機器に対する空間タッチの操作により、前記モバイル機器のディスプレイに製品情報のID画面を表示することができる。
【0261】
ここで、空間タッチは、投入空間で規定された姿勢に補正されて置かれたモバイル機器に対して、ユーザによる手動タッチを排除した状態であって、ディスプレイを自動タッチする操作を指す。
【0262】
機器内部情報取得システム100は、前記姿勢補正後のモバイル機器を少なくとも含んでタッチ領域を算定し、前記タッチ領域に光が発光する「光源」と、前記光が入射する「受信」を指定する光源部により、光の流れによる前記タッチ領域に対する格子型の座標系を設定してもよい。
【0263】
タッチ領域は、補正によって投入空間の底面と同じ角度及び方向に置かれられるようにモバイル機器を少なくとも内部に含む大きさの四角形に設定してもよい。
【0264】
機器内部情報取得システム100は、タッチ領域上に決定した間隔に配置されている「光源」と「受信」との間で行われる光の流れにより、格子型の座標系を設定してもよい。
【0265】
また、機器内部情報取得システム100は、前記光の流れの変動を認知し、前記座標系内のXY座標を算出し、x側駆動レールとy側駆動レールを移動する空間タッチハンドにより前記算出されたXY座標に対して空間タッチを操作してもよい。
【0266】
即ち、機器内部情報取得システム100は、「光源」で発光した光が予定された「受信」でない他の値の「受信」に流れたり、光の流れが一時的に停止する座標を、光の流れが変動したXY座標で算出し、算出されたXY座標で空間タッチハンドを移動させることができる。
【0267】
空間タッチハンドは、x側駆動レールとy側駆動レールによりXY座標に移動することができ、機器内部情報取得システム100は、XY座標に移動した空間タッチハンドによって前記モバイル機器のディスプレイをタッチして前記空間タッチを操作できる。
【0268】
XY座標は、モバイル機器ごとに予め決定された下位メニューに転換するためのステップごとの位置値であってもよい。
【0269】
「パスワード解除後に投入」の選択下で、製品情報のID画面への進入は、空間タッチハンドによる空間タッチによって、製品情報のID画面がモバイル機器のディスプレイに表示することができる。
【0270】
その後、機器内部情報取得システム100は、モバイル機器のディスプレイに表示される製品情報のID画面を認識し、前記認識された製品情報のID画面から前記モバイル機器に対する固有IDを読み出す。即ち、機器内部情報取得システム100は、空間タッチにより表示される製品情報のID画面をスキャンして固有IDに該当する文字/数字/特殊記号の組み合わせを読み出すことができる。
【0271】
これによって機器内部情報取得システム100は、自動化機器に投入されるモバイル機器の姿勢を自動補正し、自動化機器によるモバイル機器の画面の制御を最適に行うことができる。
【0272】
また、機器内部情報取得システム100は、空間タッチハンドによる空間タッチを任意に活用して、モバイル機器の画面を正確に制御することができる。
【0273】
実施形態に係る方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気-光媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。
【0274】
ソフトウェアは、コンピュータプログラム(computer program)、コード(code)、命令(instruction)、又はそのいずれかの組み合わせを含んでもよく、希望のように処理適応的スーパーサンプリング装置を構成したり独立的又は結合的に(collectively)処理適応的スーパーサンプリング装置を命令することができる。ソフトウェア及び/又はデータは、処理適応スーパーサンプリング装置によって解釈されるか、処理適応スーパーサンプリング装置に命令又はデータを提供するために、いずれかのタイプの機械、コンポーネント、物理適応スーパーサンプリング装置、仮想適応スーパーサンプリング装置、コンピュータ記憶媒体、又は適応スーパーサンプリング装置、又は送信される信号波に永久的に具体化することができる。ソフトウェアは、ネットワーク接続されたコンピュータシステム上に分散され、分散された方法で格納又は実行されてもよい。ソフトウェア及びデータは、コンピュータ読み取り可能な記録媒体に格納することができる。
【0275】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び/又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
【0276】
したがって、他の具現、他の実施形態および特許請求の範囲と均等なものも後述する特許請求範囲の範囲に属する。
【符号の説明】
【0277】
100:機器内部情報取得システム
110:選択部
120:認識部
130:処理部
140:補正部
図1
図2
図3A
図3B
図3C
図4A
図4B
図4C
図5A
図5B
図5C
図6A
図6B
図7
図8
図9
【国際調査報告】