特開 2022-111889 移動機端末のポインタを操作する自動設定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022111889

(43)【公開日】2022-08-01

(54)【発明の名称】移動機端末のポインタを操作する自動設定プログラム

(51)【国際特許分類】

   G06F 3/04812 20220101AFI20220725BHJP

   G06F 3/04842 20220101ALI20220725BHJP

【ＦＩ】

G06F3/0481 120

G06F3/0484 120

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2021007565

(22)【出願日】2021-01-20

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】721000549

【氏名又は名称】岡本 祐輝

(72)【発明者】

【氏名】岡本 祐輝

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA11

5E555AA16

5E555BA06

5E555BB02

5E555BB03

5E555BC01

5E555BD02

5E555CA19

5E555CB20

5E555CC01

5E555CC03

5E555DA02

5E555DB07

5E555EA09

5E555EA11

5E555FA00

(57)【要約】      （修正有）

【課題】移動機端末のポインタを操作する自動設定プログラムを提供する。
【解決手段】自動設定プログラムは、スマートフォン等の移動機端末の自動操作において、移動機端末を外部デバイスから画面操作を可能とする特定モードに設定することで、移動機端末のディスプレイにポインタを表示し、移動機端末にコンピュータの接続を行い、コンピュータに用意されたシステムが、ポインタの位置情報を特定し、ポインタがコンピュータの指示する設定要件に対して位置情報が合致するかを判別し、正しい位置情報と判別した際に第１の所定キーを送信することで移動機端末を設定し、誤った位置情報と判別した際に移動機端末に対して第２所定キーを送信することでポインタを操作し、正しい位置情報へ補正を行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

スマートフォン等の移動機端末の自動操作において、移動機端末を外部デバイスから画面操作を可能とする特定モードに設定することで、前記移動機端末のディスプレイにポインタを表示し、前記移動機端末にコンピュータの接続を行い、前記コンピュータに用意されたシステムが、前記ポインタの位置情報を特定するプログラムと、前記ポインタが前記コンピュータの指示する設定要件の位置情報に対しての合致を判別するプログラムと、位置情報が合致すると判別した際に所定キー１を送信することで前記移動機端末を設定するプログラムと、位置情報が合致しない判別した際に前記移動機端末に対して所定キー２を送信することで前記ポインタを操作し、正しい位置情報へ補正を行うプログラムとを特徴とする自動設定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動機端末の自動設定プログラムに関するものである。

【背景技術】

【0002】

スマートフォンやタブレット端末等の移動機端末に対し、一般的に特定の操作を実行する場合、移動機端末のディスプレイ上に表示されるユーザインターフェース画面を手動操作する方法（以下、手動操作という。）となる。

【0003】

ところが、スマートフォンゲームの操作、店舗店頭のデモンストレーション、設定を投入するキッティング作業など、特定手順に準じた操作を繰り返し行う行為が発生する際、手動操作では作業効率の観点、作業品質の観点（上記２点を以下、生産効率という。）から、移動機端末のディスプレイ上に表示されるユーザインターフェースを自動操作する方法（以下、自動操作という。）が好ましい。

【0004】

例えば、特許文献１には、ｉＯＳ（登録商標）と呼ばれる基本ソフトを搭載しているスマートフォンやタブレット端末（以下、ｉＯＳ端末という。）における自動操作の実現が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１７－４９７７３号公報

【発明の概要】

【0006】

特許文献１では、ｉＯＳ端末をＶｏｉｃｅＯｖｅｒ（登録商標。以下、ＶＯという。）というモードへ設定を行うが、ＶＯでは自動作業における不都合が生じてしまう。

【0007】

ＶＯは視覚障害者がｉＯＳ端末を操作し易く設定するためのモードであり、ｉＯＳ端末のディスプレイ上において、項目を黒枠で表示する付加機能である。
ＶＯモード有効の際は、ＶＯモード無効の際と比較し、手動操作の方法が特異的なものとなり、ＶＯモード無効の際と同様に選択対象項目を移動機端末のディスプレイ上でタップ（またはクリック）しても反応せず、操作に一定の経験値が必要となってしまう。

【0008】

また、ｉＯＳ端末のディスプレイ上において、初期位置の項目から選択対象項目へ黒枠を移動させる場合、原則１回の操作で選択対象項目を選択することができず、初期位置の項目から選択対象項項目の間にある項目を全て通過しなければならず、ＶＯモード無効の際と比較して自動操作における生産効率に支障を来たす。

【0009】

よって本発明の背景として、ＶＯモードを有効にしない方法で、ｉＯＳ端末を自動操作することで、生産効率の良好な仕組みの提供が必要とされた。

【課題を解決するための手段】

【0010】

本発明である移動機端末のポインタを操作する自動設定プログラムは、移動機端末（１）を外部デバイスから画面操作を可能とする特定モードに設定することで前記移動機端末のディスプレイにポインタ（２）を表示し、前記ポインタを操作することで自動設定を可能とするものである。

【0011】

本発明の移動機端末（１）の操作方法は、ｉＯＳ端末の標準機能として備わる、外部デバイスから画面操作を可能とする特定モード「ＡｓｓｉｓｔｉｖｅＴｏｕｃｈ（登録商標。以下、ＡＴという。）」を有効に設定し、前記移動機端末のディスプレイ上に選択位置情報を参照するポインタ（２）を表示し、前記ポインタを二次元方向へ操作することで前記移動機端末の操作および設定を実行する。

【0012】

ａｎｄｒｏｉｄ（登録商標）と呼ばれる基本ソフトを搭載しているスマートフォンやタブレット端末（以下、ａｎｄｒｏｉｄ端末という。）の場合、ａｎｄｒｏｉｄ端末とコンピュータの相互接続間で情報の送受信を行うことで、直接的操作にａｎｄｒｏｉｄ端末を操作することが可能である。直接的操作とは、コンピュータがａｎｄｒｏｉｄ端末よりディスプレイ画面表示の情報を受信し、前記コンピュータのディスプレイ上に疑似的に相互接続先の移動機端末のディスプレイ画面表示の情報を投影したミラーリング画面（一般俗称。以下、ミラーリング画面という。）を表示させ、前ミラーリング画面に対し、クリックなどを行うことで、操作した情報がａｎｄｒｏｉｄ端末に送信され、ａｎｄｒｏｉｄ端末の操作および設定を実行することである。これにより、ａｎｄｒｏｉｄ端末の直接的操作を自動操作にて再現することは容易である。

【0013】

しかし、ｉＯＳ端末はＰＣと有線ケーブルで接続を行った際に情報の送受信に制限が発生する仕様であり、直接的操作でコンピュータからｉＯＳ端末を操作することができない。よって、ｉＯＳ端末の直接的操作を自動操作にて再現することは容易ではない。

【0014】

そこで、本発明における移動機端末（１）の操作プログラムは、ＡＴモードを有効に設定し、ポインタ（２）の論理的位置情報（以下、移動元座標という。）および選択したい対象項目の論理的位置情報（以下、移動先座標という。）の範囲を取得し、両者が合致するか否かを特定し、合致すると特定された場合に、前記移動機端末に操作キー１を送信し、前記移動機端末の操作および設定を行う機能を有し、合致しないと特定された場合に、前記移動機端末に操作キー２を送信し、移動元座標と移動先座標が合致するように前記ポインタを二次元方向へ操作を行うことで、前記コンピュータからの操作方法を提供する自動設定プログラムである。本発明によれば、特定の移動機端末に対する自動操作において、前記の課題を解決することができる。

【0015】

なお、特許文献１ではキッティングを目的とした発明として開示されているが、本発明は移動機端末の自動設定方法を発明の目的としているため、キッティングに特化した詳細操作は割愛する。

【発明の効果】

【0016】

ｉＯＳ端末の直接的操作を再現することで生産効率の良好な自動操作を実現することができる。

【図面の簡単な説明】

【0017】

【図1】移動機端末の操作装置の概要を説明するための図である。

【図2】移動機端末の操作装置の実施の形態を説明するための図である。

【図3】移動機端末のポインタを操作する自動設定プログラムの機能群を説明するための図である。

【図4】ＡＴモード中のポインタ表示状態の画面情報の受信手順を説明するための図である。

【図5】移動先座標の特定するプロセスを説明するための図である。

【図6】ポインタと移動先座標範囲の合致を特定するプロセスを説明するための図である。

【図7】設定操作およびポインタの位置操作の操作キーを送信するプロセスを説明するための図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施の形態について、図２を用いて説明する。
コンピュータ（３）から移動機端末（１）へ情報を送信する機能を示すルート１と、移動機端末（１）からコンピュータ（３）へ情報を送信する機能を示すルート２とを構成している。
ここでは前記ルート１をクリックルート、前記ルート２をミラーリングルートと記載する。

クリックルートでは、コンピュータ（３）から移動機端末（１）を操作する手段として、Ｂｌｕｅｔｏｏｔｈ規格による接続（以下、ＢＴ接続という。）を使用する。ＢＴ接続の接続方式は移動機端末（１）のＢＴ接続要件を満たす機能を有するものであって、市販品で構成することが可能である。

ミラーリングルートでは、移動機端末（１）からコンピュータ（３）へ「移動機端末（１）のディスプレイ画面表示の情報（以下、画面情報という。）」送信を行う手段として、有線または無線による接続を行う。ｉＯＳ端末は画面ミラーリングという標準機能を有しており、コンピュータ（３）はこの機能を介して画面情報を受信することができる。

【0019】

移動機端末のポインタを操作する自動設定プログラムの機能群について、図３を用いて説明する。
コンピュータ（３）の役割別機能として、クリックルートを用いてｉＯＳ端末を操作する操作部と、ミラーリングルートを用いてｉＯＳの画面情報を検知する監視部と、操作および設定の手順をユーザーがあらかじめ登録を行う記憶部と、操作および設定に必要な判断や命令を行うプログラム部から構成される。

【0020】

コンピュータ（３）の操作部では、移動機端末（１）に対し、クリックルートを経由して操作を促す役割を担う。コンピュータ（３）は移動機端末（１）に対して、「↑←↓→」などの操作に必要なキー情報を、ＢＴ接続を介して送信する。

【0021】

コンピュータ（３）の監視部では、ミラーリングルートを用いて移動機端末（１）の画面情報を受信、監視する役割を担う。そのため、コンピュータ（３）は、リアルタイムに移動機端末（１）の画面情報を受信する機能を有するものでなければならない。ｉＯＳ端末は画面ミラーリングを標準機能として有しているが、前記機能要件を満たすものであれば機能はこれに限らない。

【0022】

コンピュータ（３）の記憶部では、設定要件の手順をユーザーがあらかじめ登録を行う。記憶部には、移動機端末（１）の画面情報のうち、選択対象項目（すなわち選択対象範囲である。）となる画像情報をあらかじめ登録しておく必要がある。そのため、コンピュータ（３）は、操作および設定の手順に応じた選択対象項目の画像情報を記憶する機能を有するものでなければならない。また、選択対象項目は操作および設定の手順に応じて取り出す機能を有するものでなければならない。

【0023】

コンピュータ（３）のプログラム部では、請求項１にて記載する所定動作を実行する自動操作プログラムを必要とする。自動操作プログラムを構築する手段として、ＲＰＡソフトといわれる市販プログラム作成ソフトが広く知られているが、自動操作プログラムを実行する機能を有するものであれば、プログラム部はＲＰＡソフトを用いても構わない。

【0024】

移動機端末（１）にてＡＴモードをオン設定にする。ＡＴモードは、外部の入力機器と有線または無線にて通信可能に接続することにより、前記移動機端末のユーザインターフェース上に前記ポインタが表示され、外部の入力機器から前記直接的操作が可能になるｉＯＳ１３（ｉＯＳ端末のＯＳバージョンを示す）以降の標準機能である。
ＡＴモード有効の移動機端末（１）は、外部の入力機器からｉＯＳ端末の手動操作が可能となる。
コンピュータ（３）とＢＴ接続することにより、前記コンピュータからポインタ（２）を二次元方向へ操作可能となる。

【0025】

コンピュータ（３）からポインタ（２）を二次元方向へ操作を実行する際、コンピュータ（３）のキーボード「↑←↓→」に対応した矢印キー情報を、ＢＴ接続を経由して移動機端末（１）へ送信することで、移動機端末（１）のディスプレイ上のポインタ（２）が矢印キー情報へ準じて移動する仕組みとなっている。

【0026】

本発明の移動機端末のポインタ位置情報の特定方法について、図４を用いて説明する。
ＡＴモード有効の移動機端末（１）は、一定時間無操作にすることでポインタ（２）が表示されない状態（図４１）へ遷移する。
ＡＴモード有効の移動機端末（１）は、所定のキー操作を受付することでポインタ（２）が表示される状態（図４２）へ遷移する。
コンピュータ（３）は、図４１および図４２の双方の画面情報を監視部を用いて受信する。
コンピュータ（３）は、双方の画面情報から差異分析（図４３）を行い、ポインタの位置情報を特定する。

【0027】

本発明の移動機端末のポインタ位置の操作および設定方法について、図５～７を用いて説明する。
コンピュータ（３）は、選択対象項目となる画像を記憶部プログラムから呼び出しを行う。
コンピュータ（３）は、監視部を用いて受信した画面情報（図５１）から、選択対象項目となる画像と合致する位置情報を特定する（図５２）。
図５２では取得された位置情報の左上を起点とし、右下までの位置情報を「移動先座標範囲」として取り扱っている。

【0028】

コンピュータ（３）の監視部は、ポインタ（２）の位置情報と、移動先座標範囲が合致しているかを特定する。
ポインタ（２）の位置情報と移動先座標範囲が合致する結果（図６１）と、ポインタ（２）の位置情報と移動先座標範囲が合致しない結果（図６２）のいずれかの結果（以下、特定結果という。）が特定される。

【0029】

特定結果が合致する場合、コンピュータ（３）のプログラム部は移動機端末（１）に操作キー１を送信（図７１）し、前記移動機端末の操作および設定を行う。
操作キー１は、コンピュータ（３）のキーボードから「移動機端末のディスプレイをタップするキー情報」を移動機端末（１）に対して送信した状態を例として記載している。
これにより、設定要件を満足することができる。

【0030】

特定結果が合致しない場合、コンピュータ（３）のプログラム部は移動機端末（１）に操作キー２を送信（図７２）し、ポインタ（２）の表示位置を操作することにより、ポインタ（２）が、移動先座標範囲に合致するように補正を行う。
操作キー２は、コンピュータ（３）のキーボードから「↑←↓→に対応した矢印キー情報」を移動機端末（１）に対して送信した状態を例として記載している。
これにより、ポインタ（２）を移動先座標範囲に合致させることができる。

【0031】

これらの所定動作を繰り返すことで、複数の設定要件を満足することができる自動設定プログラムである。

【産業上の利用可能性】

【0032】

本発明は、移動機端末に対して特定手順に準じた操作を繰り返し行う行為が発生する作業において有益である。
スマートフォンゲームの自動操作プログラムの作成、自動デモンストレーションプログラムの作成、キッティングプログラムの作成を行う場合に好適に用いることができる。

【符号の説明】

【0033】

１ 移動機端末
２ ポインタ
３ コンピュータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】