特許 7499429 アプリ遠隔操作システム、アプリ実行制御装置およびアプリ実行制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-06-05

(45)【発行日】2024-06-13

(54)【発明の名称】アプリ遠隔操作システム、アプリ実行制御装置およびアプリ実行制御方法

(51)【国際特許分類】

   G06F 11/36 20060101AFI20240606BHJP

【ＦＩ】

G06F11/36 164

【請求項の数】 8

(21)【出願番号】P 2024062070

(22)【出願日】2024-04-08

【審査請求日】2024-04-09

【早期審査対象出願】

(73)【特許権者】

【識別番号】514022143

【氏名又は名称】エヌ・ティ・ティレゾナント・テクノロジー株式会社

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(72)【発明者】

【氏名】久納 孝治

(72)【発明者】

【氏名】角田 和也

【審査官】久々宇 篤志

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０３１０５５５（ＵＳ，Ａ１）

【文献】特開２０２１－１７４０９６（ＪＰ，Ａ）

【文献】特開２０２３－０７５７８０（ＪＰ，Ａ）

【文献】特開２０２３－１８４５１５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ１１／３６

(57)【特許請求の範囲】

【請求項1】

操作対象端末のＵＩを含む外観を表した背景画像の上に、上記ＵＩに関するＨＴＭＬ要素であるＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末に提供する端末画像提供部と、
上記ＵＩ操作要素に対して行われるユーザ操作のイベント情報を上記ユーザ端末から取得し、当該取得したイベント情報に基づいて、上記操作対象端末にインストールされているネイティブアプリを動作させるアプリ動作制御部とを備え、
上記端末画像提供部は、上記アプリ動作制御部により上記ネイティブアプリの動作が実行された場合、その実行結果を上記外観に反映させた背景画像の上に上記ＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像を上記ユーザ端末に提供し、
上記端末画像提供部は、
上記背景画像を生成する背景画像生成部と、
上記ＵＩ操作要素を生成するＵＩ操作要素生成部と、
上記背景画像の上に上記ＵＩ操作要素を透明化して重畳させるＵＩ操作要素重畳部とを備え、
上記ＵＩ操作要素生成部は、上記ネイティブアプリのＵＩツリー情報を上記ＨＴＭＬ要素のＤＯＭツリー情報に変換し、上記ＤＯＭツリー情報に基づいて上記ＵＩ操作要素を生成する
ことを特徴とするアプリ遠隔操作システム。

【請求項2】

操作対象端末のＵＩを含む外観を表した背景画像の上に、上記ＵＩに関するＨＴＭＬ要素であるＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末に提供する端末画像提供部と、
上記ＵＩ操作要素に対して行われるユーザ操作のイベント情報を上記ユーザ端末から取得し、当該取得したイベント情報に基づいて、上記操作対象端末にインストールされているネイティブアプリを動作させるアプリ動作制御部とを備え、
上記端末画像提供部は、上記アプリ動作制御部により上記ネイティブアプリの動作が実行された場合、その実行結果を上記外観に反映させた背景画像の上に上記ＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像を上記ユーザ端末に提供し、
上記端末画像提供部は、
上記背景画像を生成する背景画像生成部と、
上記ＵＩ操作要素を生成するＵＩ操作要素生成部と、
上記背景画像の上に上記ＵＩ操作要素を透明化して重畳させるＵＩ操作要素重畳部とを備え、
上記ＵＩ操作要素生成部は、上記ネイティブアプリのＵＩツリー情報を、上記操作対象端末のＯＳに依存しない中間ツリー情報に変換した後、上記中間ツリー情報を上記ＨＴＭＬ要素のＤＯＭツリー情報に変換し、上記ＤＯＭツリー情報に基づいて上記ＵＩ操作要素を生成する
ことを特徴とするアプリ遠隔操作システム。

【請求項3】

上記ＵＩ操作要素生成部は、上記背景画像生成部により生成される上記背景画像を文字認識することによって生成したテキスト情報を上記中間ツリー情報に合成することによって上記中間ツリー情報を最適化し、当該最適化した中間ツリー情報を上記ＨＴＭＬ要素のＤＯＭツリー情報に変換することを特徴とする請求項２に記載のアプリ遠隔操作システム。

【請求項4】

上記アプリ動作制御部は、上記ユーザ端末のウェブブラウザにより検出された上記ユーザ操作のイベント情報を上記ユーザ端末から取得し、当該取得したイベント情報に基づいて、上記操作対象端末に対する仮想的な操作指示情報を生成し、当該生成した操作指示情報を上記操作対象端末に供給して上記ネイティブアプリを動作させることを特徴とする請求項１～３の何れか１項に記載のアプリ遠隔操作システム。

【請求項5】

操作対象端末のＵＩを含む外観を表した背景画像の上に、上記ＵＩに関するＨＴＭＬ要素であるＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末に提供する端末画像提供部と、
上記ＵＩ操作要素に対して行われるユーザ操作のイベント情報を上記ユーザ端末から取得し、当該取得したイベント情報に基づいて、上記操作対象端末にインストールされているネイティブアプリを動作させるアプリ動作制御部とを備え、
上記端末画像提供部は、上記アプリ動作制御部により上記ネイティブアプリの動作が実行された場合、その実行結果を上記外観に反映させた背景画像の上に上記ＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像を上記ユーザ端末に提供し、
上記端末画像提供部は、
上記背景画像を生成する背景画像生成部と、
上記ＵＩ操作要素を生成するＵＩ操作要素生成部と、
上記背景画像の上に上記ＵＩ操作要素を透明化して重畳させるＵＩ操作要素重畳部とを備え、
上記ＵＩ操作要素生成部は、上記ネイティブアプリのＵＩツリー情報を上記ＨＴＭＬ要素のＤＯＭツリー情報に変換し、上記ＤＯＭツリー情報に基づいて上記ＵＩ操作要素を生成する
ことを特徴とするアプリ実行制御装置。

【請求項6】

操作対象端末のＵＩを含む外観を表した背景画像の上に、上記ＵＩに関するＨＴＭＬ要素であるＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末に提供する端末画像提供部と、
上記ＵＩ操作要素に対して行われるユーザ操作のイベント情報を上記ユーザ端末から取得し、当該取得したイベント情報に基づいて、上記操作対象端末にインストールされているネイティブアプリを動作させるアプリ動作制御部とを備え、
上記端末画像提供部は、上記アプリ動作制御部により上記ネイティブアプリの動作が実行された場合、その実行結果を上記外観に反映させた背景画像の上に上記ＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像を上記ユーザ端末に提供し、
上記端末画像提供部は、
上記背景画像を生成する背景画像生成部と、
上記ＵＩ操作要素を生成するＵＩ操作要素生成部と、
上記背景画像の上に上記ＵＩ操作要素を透明化して重畳させるＵＩ操作要素重畳部とを備え、
上記ＵＩ操作要素生成部は、上記ネイティブアプリのＵＩツリー情報を、上記操作対象端末のＯＳに依存しない中間ツリー情報に変換した後、上記中間ツリー情報を上記ＨＴＭＬ要素のＤＯＭツリー情報に変換し、上記ＤＯＭツリー情報に基づいて上記ＵＩ操作要素を生成する
ことを特徴とするアプリ実行制御装置。

【請求項7】

アプリ実行制御装置の端末画像提供部が、操作対象端末のＵＩを含む外観を表した背景画像の上に、上記ＵＩに関するＨＴＭＬ要素であるＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末に提供する第１のステップと、
上記アプリ実行制御装置のアプリ動作制御部が、上記ＵＩ操作要素に対して行われるユーザ操作のイベント情報を上記ユーザ端末から取得し、当該取得したイベント情報に基づいて、上記操作対象端末にインストールされているネイティブアプリを動作させる第２のステップと、
上記端末画像提供部が、上記ネイティブアプリの実行結果を上記外観に反映させた背景画像の上に上記ＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像を上記ユーザ端末に提供する第３のステップとを有し、
上記第１のステップおよび上記第３のステップにおいて、上記端末画像提供部は、
上記背景画像を生成する背景画像生成ステップと、
上記ネイティブアプリのＵＩツリー情報を上記ＨＴＭＬ要素のＤＯＭツリー情報に変換し、上記ＤＯＭツリー情報に基づいて上記ＵＩ操作要素を生成するＵＩ操作要素生成ステップと、
上記背景画像の上に上記ＵＩ操作要素を透明化して重畳させるＵＩ操作要素重畳ステップとを実行する
ことを特徴とするアプリ実行制御方法。

【請求項8】

アプリ実行制御装置の端末画像提供部が、操作対象端末のＵＩを含む外観を表した背景画像の上に、上記ＵＩに関するＨＴＭＬ要素であるＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末に提供する第１のステップと、
上記アプリ実行制御装置のアプリ動作制御部が、上記ＵＩ操作要素に対して行われるユーザ操作のイベント情報を上記ユーザ端末から取得し、当該取得したイベント情報に基づいて、上記操作対象端末にインストールされているネイティブアプリを動作させる第２のステップと、
上記端末画像提供部が、上記ネイティブアプリの実行結果を上記外観に反映させた背景画像の上に上記ＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像を上記ユーザ端末に提供する第３のステップとを有し、
上記第１のステップおよび上記第３のステップにおいて、上記端末画像提供部は、
上記背景画像を生成する背景画像生成ステップと、
上記ネイティブアプリのＵＩツリー情報を、上記操作対象端末のＯＳに依存しない中間ツリー情報に変換した後、上記中間ツリー情報を上記ＨＴＭＬ要素のＤＯＭツリー情報に変換し、上記ＤＯＭツリー情報に基づいて上記ＵＩ操作要素を生成するＵＩ操作要素生成ステップと、
上記背景画像の上に上記ＵＩ操作要素を透明化して重畳させるＵＩ操作要素重畳ステップとを実行する
ことを特徴とするアプリ実行制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、アプリ遠隔操作システム、アプリ実行制御装置およびアプリ実行制御方法に関し、特に、操作対象端末にインストールされているネイティブアプリの実機検証をリモートで実行可能にしたクラウドシステムに用いて好適なものである。

【背景技術】

【0002】

従来、スマートフォンやタブレット等の端末の実機検証をリモートで実行可能にしたクラウドサービスが提供されている（例えば、非特許文献１参照）。当該クラウドサービスは、ユーザが使用するパーソナルコンピュータ等からクラウド上の端末にインストールされたアプリケーションをリモート操作して、実機と同様に画面確認や動作テストを実行可能としたサービスである。

【0003】

現在、アプリケーションプログラムをテストするためのツールが種々提供されている。大きく分けて、パーソナルコンピュータ（ＰＣ）やスマートフォンにインストールされたネイティブアプリ（以下、アプリという）のテストツールと、ウェブサイトのテストツールとがある。アプリ用のテストツールでは、入力要素として表示されたボタン等に対するユーザの操作をもとに、アプリケーションＵＩの階層構造情報を利用して、テストコードを作成し、テストを実行する。これに対し、ウェブサイト用のテストツールでは、ウェブページのＨＴＭＬ要素のＤＯＭ（Document Object Model）の階層構造情報を利用して、テストコードを作成し、テストを実行する。

【0004】

ここで、上述のクラウドサービスにおいて、ディスプレイやハードキーなどを含むスマートフォン全体の外観がＨＴＭＬのcanvas要素の画像で表示されおり、いずれの階層構造情報を持ち合わせていない。そのため、市中のテストツールはダイレクトにクラウドサービスが提供する画像に対してテストを実行することができないのが現状である。

【0005】

ウェブサイト用のテストツールとアプリ用のテストツールでは、用いる階層構造情報が異なるため、サポートされる対象は限定されるのが一般的である。すなわち、テストツールは、ウェブサイトのみをサポート、アプリのみをサポート、両方をサポートする３つに分類される。またサポートするＯＳも限定されるのが一般的であり、ユーザはテストの内容に応じて適切なツールを選択して使用する必要があるだけでなく、複数のツールの操作方法を習得しなければならないのが実情である。加えて、スマートフォンの新機種や新ＯＳバージョンが日々リリースされるため、対応するテストツールを保持していない場合等で、テストを実行することができない、もしくは実行可能な環境を構築するために多くの時間を要してしまうという問題があった。

【0006】

なお、ネイティブ画像の上にウェブ画像を透明化して表示し、ウェブ画像の部分に対して操作を可能にする技術が知られている（例えば、特許文献１，２参照）。特許文献１に記載の情報処理装置では、ネイティブ画像とウェブ画像の少なくとも一部の領域を透明化または半透明化して重ね合わせることにより、各画像の構成要素であるアイコン、ＵＩ部品、文字情報、図形、サムネイル画像など、背景以外の要素画像が隠蔽されることなく同時に表示されるようにし、ウェブ画像に対し当該ウェブ画像の少なくとも一部を更新するユーザ操作がなされたとき、その旨をネイティブ画像に通知する。

【0007】

特許文献２に記載の表示装置では、ネイティブアプリを表示するための領域がウェブアプリの表示領域において透明になるように、ウェブアプリを表示し、当該透明にした領域にネイティブアプリの表示を重ねる。そして、ネイティブアプリの表示領域内においてユーザ入力を受けた場合はウェブアプリの表示領域を変化させず、ネイティブアプリの実行後、ウェブアプリの表示領域においてはウェブアプリに従って表示する。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０１５－９５２５６号公報

【文献】特開２０１８－４１２４０号公報

【非特許文献】

【0009】

【文献】「リモートで実機検証可能なクラウドサービス」（2024.3.27 インターネット検索＜ＵＲＬ：https://appkitbox.com/）

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明は、以上のような問題を解決するために成されたものであり、ウェブサイト用のテストツールを用いてネイティブアプリのテストを行うことができるようにすることを目的とする。

【課題を解決するための手段】

【0011】

上記した課題を解決するために、本発明では、操作対象端末のＵＩを含む外観を表した背景画像の上に、当該ＵＩに関するＨＴＭＬ要素であるＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末に提供する。そして、ＵＩ操作要素に対して行われるユーザ操作のイベント情報をユーザ端末から取得したときに、当該取得したイベント情報に基づいて、操作対象端末にインストールされているネイティブアプリを動作させ、その実行結果を外観に反映させた背景画像の上にＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末に提供するようにしている。

【発明の効果】

【0012】

上記のように構成した本発明によれば、背景画像の上に重畳されたＵＩ操作要素に対して行われるユーザ操作によって、操作対象端末にインストールされているネイティブアプリの動作テストを実行することができる。これにより、ウェブサイト用のテストツールを用いてネイティブアプリのテストを行うことが可能である。

【図面の簡単な説明】

【0013】

【図1】本実施形態によるアプリ遠隔操作システムの全体構成例を示す図である。

【図2】本実施形態によるサーバ装置（アプリ実行制御装置）の機能構成例を示すブロック図である。

【図3】本実施形態の背景画像生成部により生成される背景画像の一例を示す図である。

【図4】本実施形態のＵＩ操作要素生成部により生成される端末画像の一例を示す図である。

【図5】ＵＩツリー情報の一例を示す図である。

【図6】ＤＯＭツリー情報の一例を示す図である。

【図7】本実施形態によるサーバ装置の全体動作例を示すフローチャートである。

【図8】本実施形態による端末画像提供部の動作例を示すフローチャートである。

【図9】中間ツリー情報の一例を示す図である。

【図10】本実施形態によるアプリ遠隔操作システムの他の機能構成例を示す図である。

【図11】本実施形態によるアプリ遠隔操作システムの他の機能構成例を示す図である。

【発明を実施するための形態】

【0014】

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態によるアプリ遠隔操作システムの全体構成例を示す図である。図１に示すように、本実施形態のアプリ遠隔操作システムは、サーバ装置１（アプリ実行制御装置に相当）、１以上の操作対象端末２_-1，２_-2，・・・（まとめて操作対象端末２と記すことがある）およびユーザ端末３を備えている。

【0015】

サーバ装置１と操作対象端末２との間は、例えばＵＳＢなどの有線ケーブルまたはＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信手段により接続されている。サーバ装置１とユーザ端末３との間は、インターネットおよび／または携帯電話網などの通信ネットワーク５により接続されている。

【0016】

操作対象端末２は、例えばスマートフォンまたはタブレットにより構成される。本実施形態では、複数の操作対象端末２_-1，２_-2，・・・がサーバ装置１に接続されている。複数の操作対象端末２_-1，２_-2，・・・は、それぞれ機種が異なるものであり、搭載されるＯＳは、Android（登録商標）やiOS（登録商標）、BlackBerry OS（BlackBerryは登録商標）、Windows Phone（登録商標）など多種多様である。

【0017】

ユーザ端末３は、操作対象端末２の動作テストを実行するユーザが使用する端末であり、例えばパーソナルコンピュータ、スマートフォンまたはタブレットにより構成される。ユーザ端末３にはウェブブラウザ３ａが搭載されている。ユーザは、ウェブブラウザ３ａによってサーバ装置１にアクセスし、サーバ装置１から提供されるテスト実行用画面を通じて、複数の操作対象端末２_-1，２_-2，・・・の中から何れかを選択して動作テストを行うことが可能である。このとき、ユーザは、任意のネイティブアプリ２ａを操作対象端末２にインストールし、そのネイティブアプリ２ａの動作テストを実行することが可能である。

【0018】

例えば、操作対象端末２においてネイティブアプリ２ａを実際に動作させ、そのとき操作対象端末２のディスプレイに表示される画面と同じ画像をサーバ装置１からウェブブラウザ３ａに提供して表示させる。そして、ウェブブラウザ３ａに表示された画像を通じて、操作対象端末２のネイティブアプリ２ａが画面上に提供するＵＩをユーザ端末３からリモート操作し、それによって動作するネイティブアプリ２ａの実行結果を示す画像もサーバ装置１からウェブブラウザ３ａに提供して表示させる。

【0019】

このようにして、操作対象端末２においてネイティブアプリ２ａが正常に動作するかどうかをユーザ端末３においてリモートで検証することが可能である。また、ウェブサイト用のテストツール経由でＵＩの操作を行うことにより、その手動操作を記録することによって生成されるテストコードに従ってネイティブアプリ２ａの動作テストを実行することが可能である。

【0020】

図２は、本実施形態によるサーバ装置１（アプリ実行制御装置）の機能構成例を示すブロック図である。図２に示すように、本実施形態のサーバ装置１は、機能構成として、アプリ動作制御部１１および端末画像提供部１２を備えている。これらの機能ブロック１１～１２は、ハードウェアとソフトウェアとの協働によって以下に述べる処理を実行するものである。例えば、上記機能ブロック１１～１２の処理は、ＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成されたマイクロコンピュータの制御により、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記憶媒体に記憶されたプログラムが動作することによって実行される。

【0021】

アプリ動作制御部１１は、ユーザ端末３から送信されるネイティブアプリ２ａの操作に関するイベント情報に基づいて、ネイティブアプリ２ａの動作を制御する。例えば、アプリ動作制御部１１は、ネイティブアプリ２ａを起動する操作のイベント情報をユーザ端末３から取得すると、当該取得したイベント情報に基づいて、ネイティブアプリ２ａを起動する処理を実行する。

【0022】

また、アプリ動作制御部１１は、端末画像提供部１２によりウェブブラウザ３ａに提供される端末画像に含まれるＵＩ操作要素（詳細は後述する）に対して行われるユーザ操作のイベント情報をユーザ端末３から取得すると、当該取得したイベント情報に基づいて、ＵＩ操作に応じた動作をネイティブアプリ２ａに実行させる。すなわち、アプリ動作制御部１１は、ユーザ端末３のウェブブラウザ３ａにより検出されたユーザ操作のイベント情報をユーザ端末３から取得すると、当該取得したイベント情報に基づいて、操作対象端末２に対する仮想的な操作指示情報を生成し、当該生成した操作指示情報を操作対象端末２に供給してネイティブアプリ２ａを動作させる。

【0023】

端末画像提供部１２は、操作対象端末２のＵＩを含む外観を表した背景画像の上に、ＵＩに関するＨＴＭＬ要素であるＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末３のウェブブラウザ３ａに提供する。操作対象端末２に含まれるＵＩとは、操作対象端末２にインストールされているネイティブアプリ２ａにより提供されるＵＩである。操作対象端末２の外観を表す背景画像は、例えば、操作対象端末２を正面視する位置からカメラにより撮影した画像であり、操作対象端末２のハードキーが含まれる場合もある。なお、操作対象端末２の外観を表す背景画像として、操作対象端末２が具備するインタフェースを通じて直接内部より取得した画像または操作対象端末２のディスプレイに表示される画面のスクリーンショット画像を用いてもよい。

【0024】

端末画像提供部１２は、アプリ動作制御部１１によりネイティブアプリ２ａの動作が実行された場合、その実行結果を外観に反映させた背景画像の上にＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末３に提供する。操作対象端末２の外観を表す背景画像としてカメラの撮影画像を用いる場合、アプリ動作制御部１１によりネイティブアプリ２ａの動作が実行されると、そのことが端末画像提供部１２に通知され、端末画像提供部１２はカメラを制御して操作対象端末２の外観を撮影する。そして、その撮影により取得した背景画像の上に透明化したＵＩ操作要素を重ね合わせることによって生成した端末画像をユーザ端末３に提供する。なお、操作対象端末２の外観を表す背景画像として操作対象端末２の内部取得画像またはスクリーンショット画像を用いる場合、アプリ動作制御部１１によりネイティブアプリ２ａの動作が実行されると、そのことが端末画像提供部１２に通知され、端末画像提供部１２は操作対象端末２を制御して画像を取得する。そして、その取得した背景画像の上に透明化したＵＩ操作要素を重ね合わせることによって生成した端末画像をユーザ端末３に提供する。

【0025】

図２に示すように、端末画像提供部１２は、より具体的な機能構成として、背景画像を生成する背景画像生成部１２ａと、ＵＩ操作要素を生成するＵＩ操作要素生成部１２ｂと、背景画像の上にＵＩ操作要素を透明化して重畳させるＵＩ操作要素重畳部１２ｃとを備えている。

【0026】

背景画像生成部１２ａは、上述したように、例えば操作対象端末２を正面視する位置に設置されたカメラにより操作対象端末２を撮影することによって背景画像を生成する。そして、生成した背景画像をユーザ端末３のウェブブラウザ３ａに送信して表示させる。図３は、背景画像生成部１２ａにより生成される背景画像の一例を示す図である。ここでは、電卓のネイティブアプリ２ａが起動されて操作画面が表示された状態の背景画像３１の例を示している。

【0027】

ＵＩ操作要素生成部１２ｂは、操作対象端末２から取得されるネイティブアプリ２ａのＵＩツリー情報をＨＴＭＬ要素のＤＯＭツリー情報に変換し、ＤＯＭツリー情報に基づいて、ＵＩに関するＨＴＭＬ要素であるＵＩ操作要素を生成する。ＵＩツリー情報とは、ネイティブアプリ２ａが有する複数のＵＩをツリー構造としてモデル化したＵＩライブラリであり、操作対象端末２のＯＳに応じて独自のデータ形式で作成されている。例えばAndroidの場合、ＵＩツリー情報はＸＭＬ形式で作成されている。図５は、ＵＩツリー情報の一例を示す図である。一方、ＤＯＭツリー情報は、ネイティブアプリ２ａが有する複数のＵＩをＨＴＭＬ要素によりモデル化したＵＩライブラリである。図６は、ＤＯＭツリー情報の一例を示す図である。

【0028】

ＵＩ操作要素重畳部１２ｃは、ＵＩ操作要素生成部１２ｂによりＤＯＭツリー情報のＨＴＭＬ要素で生成されたＵＩ操作要素を透明化し、背景画像生成部１２ａによってウェブブラウザ３ａに表示済みの背景画像の上に重ねてＵＩ操作要素を表示させる。図４は、背景画像の上に透明化されたＵＩ操作要素を重畳することによって生成された端末画像の一例を示す図である。ここでは、電卓のネイティブアプリ２ａが起動されて操作画面が表示された状態の背景画像３１の上に、ＨＴＭＬのdiv要素４１、input要素４２およびbutton要素４３が重畳された例を示している。図４では、説明のためにＵＩ操作要素を太枠で示しているが、実際は透明化されていてユーザには見えない。つまり、見た目は図３と同じである。

【0029】

ユーザ端末３のユーザは、例えばウェブサイト用のテストツール経由で個々のinput要素４２またはbutton要素４３を操作することが可能である。ウェブサイト用のテストツールは、ＵＩ操作要素に対する手動操作を記録して、その記録に基づいてテストスクリプトを調整してテストを実行し、その実行結果のレポートを生成することが可能なツールである。

【0030】

例えば、ユーザが何れかのbutton要素４３を操作すると、ウェブブラウザ３ａがその操作を検知し、例えばJSON-RPC等で生成したユーザ操作のイベント情報をサーバ装置１に送信する。サーバ装置１のアプリ動作制御部１１は、ユーザ端末３からJSON-RPC等のイベント情報を取得すると、これをサーバ装置１が備えるエージェントの方式に合わせたエージェントイベントに変換する。続いて、サーバ装置１内のエージェントと操作対象端末２内のデーモンとの協働によって、エージェントイベントをもとに、操作対象端末２に対する仮想的な操作指示情報を生成し、当該生成した操作指示情報を操作対象端末２に供給してネイティブアプリ２ａを動作させる。

【0031】

アプリ動作制御部１１によるネイティブアプリ２ａの動作実行後に、背景画像生成部１２ａは、その実行結果を外観に反映させた背景画像を生成し、ユーザ端末３のウェブブラウザ３ａに送信して表示させる。また、ＵＩ操作要素生成部１２ｂは、上述と同様の手順でＵＩ操作要素を生成する。そして、ＵＩ操作要素重畳部１２ｃは、ＵＩ操作要素生成部１２ｂにより生成されたＵＩ操作要素を透明化し、背景画像生成部１２ａによってウェブブラウザ３ａに表示済みの背景画像の上に重ねてＵＩ操作要素を表示させる。

【0032】

図７および図８は、以上のように構成した本実施形態によるサーバ装置１の動作例を示すフローチャートである。図７はサーバ装置１の全体動作例を示し、図８は端末画像提供部１２の動作例を示している。

【0033】

図７において、アプリ動作制御部１１は、ネイティブアプリ２ａを起動する操作のイベント情報をユーザ端末３のウェブブラウザ３ａから取得したか否かを判定する（ステップＳ１）。ここで、アプリ起動操作のイベント情報を取得すると、アプリ動作制御部１１は、当該取得したイベント情報に基づいて、ネイティブアプリ２ａを起動する処理を実行する（ステップＳ２）。

【0034】

端末画像提供部１２は、ネイティブアプリ２ａの起動により表示される初期画面（ＵＩを含む）を含む外観を表した背景画像の上に、当該ＵＩに関するＨＴＭＬ要素であるＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をウェブブラウザ３ａに提供する（ステップＳ３）。この処理の詳細は図８のフローチャートに示されている。

【0035】

その後、アプリ動作制御部１１は、ＵＩ操作要素に対して行われるユーザ操作のイベント情報をユーザ端末３から取得したか否かを判定する（ステップＳ４）。ここで、ＵＩ操作のイベント情報を取得していない場合、処理はステップＳ７に進む。一方、ＵＩ操作のイベント情報を取得した場合、アプリ動作制御部１１は、当該取得したイベント情報に基づいて、ネイティブアプリ２ａにＵＩ操作に応じた動作をさせるための処理を実行する（ステップＳ５）。

【0036】

アプリ動作制御部１１によりネイティブアプリ２ａの動作が実行されると、端末画像提供部１２は、その実行結果を外観に反映させた背景画像の上にＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末３のウェブブラウザ３ａに提供する（ステップＳ６）。ここで行う処理はステップＳ３の処理と同様であり、その詳細が図８のフローチャートに示されている。その後、処理はステップＳ７に進む。

【0037】

ステップＳ７において、アプリ動作制御部１１は、ネイティブアプリ２ａを終了する操作のイベント情報をユーザ端末３のウェブブラウザ３ａから取得したか否かを判定する。ここで、アプリ終了操作のイベント情報を取得していない場合、処理はステップＳ４に戻る。一方、アプリ終了操作のイベント情報を取得した場合、アプリ動作制御部１１は、当該取得したイベント情報に基づいて、ネイティブアプリ２ａをシャットダウンする処理を実行し（ステップＳ８）、図７に示すフローチャートの処理を終了する。

【0038】

図８において、背景画像生成部１２ａは、例えばカメラを制御して操作対象端末２の外観を撮影することによって背景画像を生成し、生成した背景画像をウェブブラウザ３ａに送信して表示させる（ステップＳ１１）。次に、ＵＩ操作要素生成部１２ｂは、操作対象端末２からネイティブアプリ２ａのＵＩツリー情報を取得し（ステップＳ１２）、取得したＵＩツリー情報をＨＴＭＬ要素のＤＯＭツリー情報に変換し、変換したＤＯＭツリー情報に基づいて、ＵＩ操作要素を生成する（ステップＳ１３）。次に、ＵＩ操作要素重畳部１２ｃは、ＵＩ操作要素生成部１２ｂにより生成されたＵＩ操作要素を透明化し、当該ＵＩ操作要素を背景画像の上に重ねて表示させる（ステップＳ１４）。

【0039】

以上詳しく説明したように、本実施形態のサーバ装置１では、操作対象端末２のＵＩを含む外観を表した背景画像の上に、当該ＵＩに関するＨＴＭＬ要素であるＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をテスト実行者のユーザ端末３に提供する。そして、ＵＩ操作要素に対して行われるユーザ操作のイベント情報をユーザ端末３から取得したときに、当該取得したイベント情報に基づいて、操作対象端末２にインストールされているネイティブアプリ２ａを動作させ、その実行結果を外観に反映させた背景画像の上にＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末３に提供するようにしている。

【0040】

このように構成した本実施形態によれば、背景画像の上に重畳されたＵＩ操作要素に対して、ウェブサイト用のテストツール経由でユーザ操作を行うことによって、操作対象端末２にインストールされているネイティブアプリ２ａの動作テストを実行することができる。これにより、ウェブサイト用のテストツールを用いてネイティブアプリ２ａのテストを行うことが可能である。

【0041】

なお、上記実施形態では、操作対象端末２のＯＳに依存して構造が異なるＵＩツリー情報をＨＴＭＬ要素のＤＯＭツリー情報にダイレクトに変換する例について説明したが、これに限定されない。例えば、ＵＩ操作要素生成部１２ｂは、操作対象端末２のＯＳに依存するネイティブアプリ２ａのＵＩツリー情報を、操作対象端末２のＯＳに依存しない中間ツリー情報に変換した後、中間ツリー情報をＨＴＭＬ要素のＤＯＭツリー情報に変換するようにしてもよい。図９は、中間ツリー情報の一例を示す図である。ここでは、JSON形式で中間ツリー情報を構成した場合の例を示している。

【0042】

中間ツリー情報に変換する場合、ＵＩ操作要素生成部１２ｂは、背景画像生成部１２ａにより生成される背景画像（操作対象端末２の外観を示す撮影画像）を文字認識することによって生成したテキスト情報を中間ツリー情報に合成することによって中間ツリー情報を最適化し、当該最適化した中間ツリー情報をＤＯＭツリー情報に変換するようにしてもよい。

【0043】

テスト対象とするネイティブアプリ２ａによっては、ＵＩに表示される文字や数字がテキスト情報ではなく画像で表現されている場合がある。この場合、ＵＩツリー情報から変換される中間ツリー情報の中に、画像によって表示される文字や数字に相当する情報が欠落することがある。上述の最適化処理は、ＵＩツリー情報から変換される中間ツリー情報において欠落している文字や数字を、操作対象端末２の撮影画像に対して文字認識処理を行うことによって認識したテキスト情報で補完する処理を意味する。

【0044】

このような最適化処理は、ＵＩツリー情報に対して実行することも可能ではあるが、ＵＩツリー情報は操作対象端末２のＯＳに依存して種々異なる構造を有しているため、最適化処理を行うためのアルゴリズムをＯＳごとに作り込む必要がある。これに対し、ＯＳに依存しない中間ツリー情報に変換した後、中間ツリー情報に対して最適化処理を行うようにすれば、最適化処理を行うためのアルゴリズムは１つ用意すればよいというメリットを有する。

【0045】

なお、本実施形態のアプリ遠隔操作システムは、操作対象端末２をリモート操作してネイティブアプリ２ａの動作テストを行うユースケースに適用して好適なものであるが、テスト以外のユースケースに適用することも可能である。

【0046】

また、上記実施形態では、サーバ装置１が端末画像提供部１２およびアプリ動作制御部１１の全ての機能を備える構成例について説明したが、これらのうち一部または全部の機能をユーザ端末３が備える構成としてもよい。例えば、図１０に示すように、ＵＩ操作要素重畳部１２ｃの機能をユーザ端末３のウェブブラウザ３ａが備える構成としてもよい。

【0047】

あるいは、図１１に示すように、端末画像提供部１２およびアプリ動作制御部１１の全ての機能をユーザ端末３のウェブブラウザ３ａが備える構成としてもよい。この場合、サーバ装置１は省略され、ユーザ端末３と操作対象端末２とが通信ネットワーク５を介して接続される。例えば、ＵＳＢ対応機器を直接操作するＡＰＩ（Application Programming Interface）をウェブブラウザ３ａが備えることにより、ウェブブラウザ３ａから直接的に操作対象端末２をリモート操作することが可能であり、端末画像提供部１２およびアプリ動作制御部１１の全ての機能をウェブブラウザ３ａに実装することも可能である。

【0048】

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0049】

１ サーバ装置（アプリ実行制御装置）
２ 操作対象端末
２ａ ネイティブアプリ
３ ユーザ端末（アプリ実行制御装置）
３ａ ウェブブラウザ
１１ アプリ動作制御部
１２ 端末画像提供部
１２ａ 背景画像生成部
１２ｂ ＵＩ操作要素生成部
１２ｃ ＵＩ操作要素重畳部

【要約】

【課題】ウェブサイト用のテストツールを用いてネイティブアプリのテストを行うことができるようにする。
【解決手段】操作対象端末２のＵＩを含む外観を表した背景画像の上に、当該ＵＩに関するＨＴＭＬ要素であるＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末３に提供する端末画像提供部１２と、ＵＩ操作要素に対して行われるユーザ操作のイベント情報をユーザ端末３から取得したときに、操作対象端末２のネイティブアプリ２ａを動作させるアプリ動作制御部１１とを備えることにより、背景画像の上に重畳されたＵＩ操作要素に対してウェブサイト用のテストツール経由でユーザ操作を行うことによって、操作対象端末２にインストールされているネイティブアプリ２ａの動作テストを実行することができるようにする。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】