特開 2024-142663 プログラム、ミラーリング方法、及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024142663

(43)【公開日】2024-10-11

(54)【発明の名称】プログラム、ミラーリング方法、及び電子機器

(51)【国際特許分類】

   G09G 5/14 20060101AFI20241003BHJP

   G06F 3/14 20060101ALI20241003BHJP

   G06F 3/147 20060101ALI20241003BHJP

   G09G 5/00 20060101ALI20241003BHJP

【ＦＩ】

G09G5/14 A

G06F3/14 350A

G06F3/147 310

G09G5/00 510V

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023054904

(22)【出願日】2023-03-30

(71)【出願人】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】100179475

【弁理士】

【氏名又は名称】仲井 智至

(74)【代理人】

【識別番号】100216253

【弁理士】

【氏名又は名称】松岡 宏紀

(74)【代理人】

【識別番号】100225901

【弁理士】

【氏名又は名称】今村 真之

(72)【発明者】

【氏名】重光 真

(72)【発明者】

【氏名】内海 翔太

【テーマコード（参考）】

5B069

5C182

【Ｆターム（参考）】

5B069DD10

5B069KA02

5C182AA03

5C182AB03

5C182AB08

5C182AC03

5C182AC12

5C182BA03

5C182BB03

5C182BC25

5C182CB41

5C182CB43

5C182CB55

5C182DA14

5C182DA53

(57)【要約】

【課題】アプリケーション実行環境において実行されるプログラムに従って表示されるアプリ画像がミラーリングの対象画像に含まれる場合であっても、ミラーリングできるようにする。
【解決手段】電子機器１０Ａは、表示装置１３０、及び処理装置１１０を備える。処理装置１１０は、表示装置に表示する画像の第１レイヤーにアプリケーション実行環境ＶＭにおいて実行されるプログラムＰＲＡに従って表示するコンテンツ画像を含む対象画像をキャプチャする。処理装置１１０は、キャプチャにより取得されるキャプチャ画像を外部装置に送信することにより、ミラーリングを行う。処理装置１１０は、ミラーリングを実行している期間に、コンテンツ画像とは異なる第２画像を第１レイヤーに繰り返し描画する。
【選択図】図４

【特許請求の範囲】

【請求項1】

表示装置と、前記表示装置に画像を表示する処理装置と、を備える電子機器における前記処理装置に、
前記表示装置に表示する画像の第１レイヤーにアプリケーション実行環境において実行されるアプリケーションプログラムに従って表示するコンテンツ画像、を含む第１画像をキャプチャすることと、
前記キャプチャすることによって取得されるキャプチャ画像を外部装置に送信することと、
前記送信することを実行している期間に、前記コンテンツ画像とは異なる第２画像を前記第１レイヤーに繰り返し描画することと、
を実行させる、プログラム。

【請求項2】

前記第２画像を繰り返し描画することは、前記第１レイヤーの少なくとも一部の画素に、透過色を繰り返し描画することを含む、請求項１に記載のプログラム。

【請求項3】

前記第２画像を繰り返し描画することは、
前記期間における第１時刻にキャプチャされた第１画像の、第１部分の色を取得することと、
前記第１レイヤーの、前記第１部分に対応する画素に、前記第１部分の色に応じた色を描画することと、
前記期間における前記第１時刻とは異なる第２時刻にキャプチャされた第１画像の、前記第１部分とは異なる第２部分の色を取得することと、
前記第１レイヤーの、前記第２部分に対応する画素に、前記第２部分の色に応じた色を描画することと、を含む、
請求項１に記載のプログラム。

【請求項4】

前記第２画像を繰り返し描画することは、
前記第１レイヤーにおいて、アイコン又はウィンドウ操作のボタンが表示される位置とは異なる位置に前記第２画像を描画することを含む、
請求項１、請求項２又は請求項３に記載のプログラム。

【請求項5】

前記第２画像は、予め定められた色の画像を含む、請求項１に記載のプログラム。

【請求項6】

前記第２画像は、前記送信することを実行していることを示す画像を含む、請求項１又は請求項５に記載のプログラム。

【請求項7】

表示装置と、前記表示装置に画像を表示する処理装置とを備える電子機器において前記表示装置に表示される画像のミラーリング方法であって、
前記表示装置に表示される画像の第１レイヤーにアプリケーション実行環境において実行されるアプリケーションプログラムに従って表示するコンテンツ画像、を含む第１画像をキャプチャすることと、
前記キャプチャすることによって取得されるキャプチャ画像を外部装置に送信することと、
前記送信することを実行している期間に、前記コンテンツ画像とは異なる第２画像を前記第１レイヤーに繰り返し描画することと、
を含むミラーリング方法。

【請求項8】

表示装置と、
前記表示装置に画像を表示する処理装置と、を含み、
前記処理装置は、
前記表示装置に表示する画像の第１レイヤーにアプリケーション実行環境において実行されるアプリケーションプログラムに従って表示するコンテンツ画像、を含む第１画像をキャプチャすることと、
前記キャプチャすることによって取得されるキャプチャ画像を外部装置に送信することと、
前記送信することを実行している期間に、前記コンテンツ画像とは異なる第２画像を前記第１レイヤーに繰り返し描画することと、を実行する、
電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、ミラーリング方法、及び電子機器、に関する。

【背景技術】

【0002】

特許文献１には、表示手段に表示される画像をキャプチャすることによりキャプチャ画像を生成するキャプチャ手段と、他の装置に送信する映像のモードを切り換えるモード制御手段とを備える画像通信装置が開示されている。特許文献１におけるモードには、キャプチャ画像を他の装置に送信するミラーリングモードが含まれる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－０４１８２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１には、ミラーリングモードにおいて、ミラーリングの対象の画像のキャプチャをいつ行うかについて、詳細には記載されていない。以下では、ミラーリング対象の画像は対象画像と称される。対象画像のキャプチャをいつ行うのかについては種々の態様が考えられる。一例としては、対象画像の更新を契機としてキャプチャする態様が考えられる。

【0005】

近年、あるＯＳ（Operating System）向けに開発されたアプリケーションプログラムを他のＯＳにおいて実行できるようにするアプリケーション実行環境が種々提案されている。アプリケーション実行環境において実行されるアプリケーションプログラムに従って表示されるコンテンツ画像が対象画像に含まれる場合、アプリケーション実行環境によってはミラーリングに不具合が発生する場合がある。例えば、コンテンツ画像が更新されない限りキャプチャが行われないアプリケーション実行環境である場合、対象画像全体のミラーリングに支障が生じる。

【課題を解決するための手段】

【0006】

本開示の一態様によるプログラムは、表示装置と、前記表示装置に画像を表示する処理装置と、を備える電子機器における前記処理装置に、前記表示装置に表示される画像における第１レイヤーにアプリケーション実行環境において実行されるアプリケーションプログラムに従って描画されるコンテンツ画像を含む第１画像をキャプチャすることと、前記キャプチャすることによって取得されるキャプチャ画像を外部装置に送信することと、前記送信することを実行している期間に、前記コンテンツ画像とは異なる第２画像を前記第１レイヤーに繰り返し描画することと、を実行させる。

【0007】

また、本開示の一の態様に係るミラーリング方法は、表示装置と、前記表示装置に画像を表示する処理装置とを備える電子機器において前記表示装置に表示される画像のミラーリング方法であって、前記表示装置に表示される画像における第１レイヤーにアプリケーション実行環境において実行されるアプリケーションプログラムに従って描画されるコンテンツ画像を含む第１画像をキャプチャすることと、前記キャプチャすることによって取得されるキャプチャ画像を外部装置に送信することと、前記送信することを実行している期間に、前記コンテンツ画像とは異なる第２画像を前記第１レイヤーに繰り返し描画することと、を含む。

【0008】

また、本開示の一の態様に係る電子機器は、表示装置と、前記表示装置に画像を表示する処理装置と、を含み、前記処理装置は、前記表示装置に表示される画像における第１レイヤーにアプリケーション実行環境において実行されるアプリケーションプログラムに従って描画されるコンテンツ画像を含む第１画像をキャプチャすることと、前記キャプチャすることによって取得されるキャプチャ画像を外部装置に送信することと、前記送信することを実行している期間に、前記コンテンツ画像とは異なる第２画像を前記第１レイヤーに繰り返し描画することと、を実行する。

【図面の簡単な説明】

【0009】

【図1】本開示の第１実施形態による電子機器１０Ａを含む表示システム１の構成例を示す図である。

【図2】電子機器１０Ａに表示される画像の一例を示す図である。

【図3】電子機器１０Ａに表示される画像におけるレイヤーを説明するための図である。

【図4】電子機器１０Ａの構成例を示す図である。

【図5】電子機器１０Ａの描画部１１０ｃが実行する処理を説明するための図である。

【図6】電子機器１０Ａの処理装置１１０がプログラムＰＲＡに従って実行するミラーリング方法における処理の流れを示すフローチャートである。

【図7】電子機器１０Ｂの構成例を示す図である。

【図8】電子機器１０Ｂの更新部１１０ｆが実行する処理を説明するための図である。

【図9】電子機器１０Ｂの処理装置１１０がプログラムＰＲＢに従って実行するミラーリング方法における処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本開示の一実施形態による電子機器について図面を参照して説明する。なお、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施形態は、好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本開示の範囲は、以下の説明において特に本開示を限定する旨の記載がない限り、これらの形態に限られるものではない。

【0011】

（Ａ：第１実施形態）
図１は、本開示の第１実施形態による電子機器１０Ａを含む表示システム１の構成例を示す図である。図１に示されるように、表示システム１は、電子機器１０Ａの他に、電子機器２０と、プロジェクター３０と、無線中継装置４０と、を含む。無線中継装置４０は、例えば無線ＬＡＮ（Local Area Network）のアクセスポイント装置である。無線中継装置４０は、電子機器１０Ａ、電子機器２０、及びプロジェクター３０の各々の間の無線通信を中継する。表示システム１では、電子機器１０Ａは、無線中継装置４０を介してプロジェクター３０と通信する。また、表示システム１では、電子機器２０は、無線中継装置４０を介してプロジェクター３０と通信する。表示システム１では、プロジェクター３０は、電子機器１０Ａ又は電子機器２０から送信された画像データの表す画像を投射スクリーン等の投射面に投射することにより画像を表示する。図１に示す表示システム１には、１台のプロジェクター３０が含まれているが、複数のプロジェクター３０が表示システム１に含まれてもよい。プロジェクター３０は本開示における外部装置の一例である。

【0012】

電子機器１０Ａ及び電子機器２０は、プログラム実行機能を有する情報処理装置である。本実施形態では、電子機器１０Ａはタブレット端末であり、電子機器２０はスマートフォンである。電子機器１０Ａ及び電子機器２０の各々には、自装置において表示中の画像をキャプチャし、キャプチャした画像を表す画像データをプロジェクター３０へ送信するプログラムＰＲＡが記憶されている。表示システム１では、電子機器１０ＡにおいてプログラムＰＲＡを実行することによって、電子機器１０Ａにおいて表示中の画像をプロジェクター３０に投射させること、即ち電子機器１０Ａの表示画像のミラーリングが実現される。同様に、表示システム１では、電子機器２０においてプログラムＰＲＡを実行することによって、電子機器２０において表示中の画像のミラーリングが実現される。

【0013】

本実施形態におけるプログラムＰＲＡは、電子機器２０のＯＳ向けに開発されたプログラムである。本実施形態では、電子機器１０ＡのＯＳは電子機器２０のＯＳとは異なる。このため、電子機器１０ＡのＯＳ上では、プログラムＰＲＡを直接実行することはできない。本実施形態では、電子機器１０ＡのＯＳの開発者によって、電子機器１０ＡのＯＳ上において電子機器２０のＯＳ向けのプログラムの実行を可能にするアプリケーション実行環境ＶＭが提供されている。電子機器１０Ａは、アプリケーション実行環境ＶＭを有する。電子機器１０Ａでは、アプリケーション実行環境ＶＭを用いてプログラムＰＲＡが実行される。

【0014】

電子機器１０Ａには、プログラムＰＲＡ及びアプリケーション実行環境ＶＭの他に、文書作成ソフト又は表計算ソフト等の各種アプリケーションプログラムが予めインストールされている。電子機器１０Ａにインストールされている各種アプリケーションプログラムは、電子機器１０ＡのＯＳ向けに開発されたネイティブアプリと、他のＯＳ向けに開発された非ネイティブアプリとに分類される。前述のプログラムＰＲＡは、非ネイティブアプリの一例である。

【0015】

電子機器１０Ａでは、アプリケーション実行環境ＶＭ上でのプログラムＰＲＡの実行と並列に、ネイティブアプリを実行することができる。アプリケーション実行環境ＶＭ上でのプログラムＰＲＡの実行と並列にネイティブアプリを実行している電子機器１０Ａは、プログラムＰＲＡに従って表示する画像ＧＡとネイティブアプリに従って表示する画像ＧＢとを含む画像ＧＣを表示する。図２は、電子機器１０Ａに表示される画像の一例を示す図である。画像ＧＡは、例えばミラーリングのための各種操作をユーザーに行わせるためのメニュー画面の画像である。画像ＧＢは、例えば文書作成ソフトに従って作成される文書の画像である。概念的には、画像ＧＣは、画像ＧＢが配置されるレイヤーＬ２と、レイヤーＬ１の上に重ねられ、画像ＧＡが配置されるレイヤーＬ１と、に区分けされる。レイヤーＬ１には非ネイティブアプリの画像が表示される。以下ではレイヤーＬ１は非ネイティブレイヤーと称される。非ネイティブレイヤーは本開示における第１レイヤーの一例である。レイヤーＬ２にはネイティブアプリの画像が表示される。以下ではレイヤーＬ２はネイティブレイヤーと称される。

【0016】

図３は、電子機器１０Ａに表示される画像におけるレイヤーを説明するための図である。 図３に示される画像ＧＣがミラーリングの対象である場合、アプリケーション実行環境ＶＭの仕様によっては、ネイティブレイヤーの更新が検出されず、ミラーリングに支障が生じる場合がある。また、アプリケーション実行環境ＶＭのバグにより同様の不具合が発生する場合もある。本実施形態におけるプログラムＰＲＡは、このような不具合を回避できるように構成されており、この点に本実施形態の特徴が表れている。以下、プログラムＰＲＡ及びアプリケーション実行環境ＶＭを有する電子機器１０Ａを中心に説明する。

【0017】

図４は、電子機器１０Ａの構成例を示す図である。図４に示されるように、電子機器１０Ａは、処理装置１１０、通信装置１２０、表示装置１３０、入力装置１４０、及び記憶装置１５０を有する。処理装置１１０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサー、即ちコンピューターを含んで構成される。処理装置１１０は、単一のプロセッサーで構成されてもよいし、複数のプロセッサーで構成されてもよい。処理装置１１０は、記憶装置１５０に記憶されているプログラムＰＲＡに従って作動することにより、電子機器１０Ａの制御中枢として機能する。

【0018】

通信装置１２０は、無線中継装置４０と無線により通信する無線通信回路である。通信装置１２０は、処理装置１１０から与えられる画像データを無線中継装置４０へ送信する。表示装置１３０は、処理装置１１０から与えられる画像データの表す画像を表示する。本実施形態における表示装置１３０は、液晶ディスプレイ装置である。入力装置１４０は、ユーザーの各種入力操作を受け付ける複数の操作子を含む。複数の操作子の具体例としては、ボタン、スイッチ、テンキー及びカーソルキーが挙げられる。入力装置１４０は、これら複数の操作子に対するユーザーの操作内容を示すデータを処理装置１１０に出力する。これにより、ユーザーの操作内容が処理装置１１０に伝達される。

【0019】

記憶装置１５０は、処理装置１１０が読み取り可能な記録媒体である。記憶装置１５０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Random Access Memory）である。

【0020】

記憶装置１５０の不揮発性メモリーには、前述のプログラムＰＲＡ、アプリケーション実行環境ＶＭ、電子機器１０ＡのＯＳを実現するカーネルプログラム、プログラムＰＲＡ以外の各種非ネイティブアプリ、及び各種ネイティブアプリが予め記憶されている。図４では、カーネルプログラム、プログラムＰＲＡ以外の非ネイティブアプリ、及びネイティブアプリの図示は省略されている。記憶装置１５０の揮発性メモリーは、これらプログラムを実行する際のワークエリアとして処理装置１１０によって利用される。

【0021】

処理装置１１０は、電子機器１０Ａの電源投入を契機としてカーネルプログラムを不揮発性メモリーから揮発性メモリーへ読み出し、読み出したカーネルプログラムを実行する。なお、図４では、電子機器１０Ａの電源の図示は省略されている。電子機器１０Ａでは、処理装置１１０にカーネルプログラムを実行させることによって、ＯＳが実現される。ＯＳを実現している状態の電子機器１０Ａでは、入力装置１４０に対する操作により実行を指示されたプログラムが不揮発性メモリーから揮発性メモリーへ読み出され、読み出されたプログラムが実行される。例えば、何れかのネイティブアプリの実行を指示された場合、処理装置１１０は該当するネイティブアプリを不揮発性メモリーから揮発性メモリーへ読み出し、読み出したネイティブアプリを実行する。また、プログラムＰＲＡの実行を指示されると、処理装置１１０は、まず、アプリケーション実行環境ＶＭを実行し、このアプリケーション実行環境ＶＭを用いてプログラムＰＲＡを実行する。

【0022】

プログラムＰＲＡを実行中の処理装置１１０は、図４に示されるキャプチャ部１１０ａ、送信部１１０ｂ、描画部１１０ｃとして機能する。つまり、図４に示されるキャプチャ部１１０ａ、送信部１１０ｂ、及び描画部１１０ｃは、何れも、ＣＰＵ等のコンピューターをソフトウェアに従って作動させることにより実現されるソフトウェアモジュールである。キャプチャ部１１０ａ、送信部１１０ｂ、及び描画部１１０ｃの各々の機能は次の通りである。

【0023】

キャプチャ部１１０ａは、アプリケーション実行環境ＶＭにおいて実行されるプログラムＰＲＡに従って非ネイティブレイヤーに表示する画像ＧＡを含む画像ＧＣをキャプチャする。このメニュー画面の画像ＧＡは本開示におけるコンテンツ画像の一例である。本実施形態では、キャプチャ部１１０ａによりキャプチャされる画像ＧＣがミラーリングの対象、即ち対象画像となる。対象画像は本開示における第１画像の一例である。キャプチャ部１１０ａは、非ネイティブレイヤーの更新がアプリケーション実行環境ＶＭにより検出されたことを契機として対象画像をキャプチャする。キャプチャ部１１０ａは、キャプチャした画像を表す画像データを記憶装置１５０に記憶させる。キャプチャ部１１０ａによりキャプチャされた画像は本開示におけるキャプチャ画像の一例である。以下では、キャプチャ部１１０ａによりキャプチャされた画像を表す画像データはキャプチャ画像データと称される。

【0024】

送信部１１０ｂは、対象画像のキャプチャがキャプチャ部１１０ａによって行われる毎に、キャプチャ画像データを、通信装置１２０を用いて無線中継装置４０経由でプロジェクター３０へ送信する。これにより、表示装置１３０に表示中の画像のミラーリングが実現される。

【0025】

図５は、描画部１１０ｃが実行する処理を説明するための図である。描画部１１０ｃは、送信部１１０ｂによるキャプチャ画像データの送信が行われる期間において、コンテンツ画像とは異なる画像ＧＴ１を、レイヤーＬ１即ち非ネイティブレイヤーに、所定の周期で繰り返し描画する。送信部１１０ｂによるキャプチャ画像データの送信が行われる期間とは、ミラーリングが実行されている期間の意味である。前述した非ネイティブレイヤーは本開示における第１レイヤーの一例である。描画部１１０ｃにより第１レイヤーに描画される画像ＧＴ１は本開示における第２画像の一例である。

【0026】

前述したように、プログラムＰＲＡは、本来、電子機器２０のＯＳ向けに開発されたプログラムであり、電子機器２０のＯＳでは、オブジェクトの画像を描画する仕組みとして、透過色のオブジェクトを描画できるものの、処理速度が遅い第１の仕組みと、透過色のオブジェクトを描画できないものの、処理速度が速い第２の仕組みとが予め用意されている。例えば、電子機器２０のＯＳがＡｎｄｒｏｉｄであれば、第１の仕組みは、Ｖｉｅｗであり、第２の仕組みはＳｕｒｆａｃｅＶｉｅｗである。なお、Ａｎｄｒｏｉｄは登録商標である。

【0027】

本実施形態における描画部１１０ｃは、上述の第１の仕組みを用いて、非ネイティブレイヤーの中央右端に位置する一つの画素に、透過色を繰り返し描画することにより、画像ＧＴ１を描画する。通常、色は、透過度（α）、赤成分の値（Ｒ）、緑成分の値（Ｇ）、及び青成分の値（Ｂ）の組み合わせで表現され、α、Ｒ、Ｇ及びＢの各々は０～２５５の範囲内の値である。本実施形態における透過色は、αを１／２５５に設定した色である。例えば、赤の透過色は（α、Ｒ、Ｇ、Ｂ）＝（１、２５５、０、０）と表される。αを１／２５５に設定した色が一つの画素に描画されても、肉眼での識別はほぼ不可能である。非ネイティブレイヤーの中央右端に位置する一つの画素に透過色を描画することによって、ユーザーの目には実質的には見えない非ネイティブレイヤーの更新を発生させることができる。本実施形態では、描画部１１０ｃは、非ネイティブレイヤーの中央右端に位置する一つの画素に、赤の透過色を繰り返し描画するが、青の透過色を繰り返し描画してもよい。また、描画部１１０ｃは、非ネイティブレイヤーの中央右端に位置する一つの画素に、赤の透過色と青の透過色とを交互に描画してもよい。人間工学的には、人間の目は緑を識別しやすいため、青と赤の描画であれば、より識別し難くなると考えられる。

【0028】

図５では、画像ＧＴ１を描画するために透過色が繰り返し描画される画素がハッチングで示されている。非ネイティブレイヤーにおける中央右端の一つの画素に透過色を描画する理由は次の通りである。一般に、ＵＩ（User Interface）画面の左上隅及び右上隅には、ウィンドウを閉じるためのボタン等のウィンドウ操作のためのボタンが配置されることが多い。また、ＵＩ画面の左下隅にはスタートメニューアイコンが配置されることが多く、ＵＩ画面の右下隅には時計等のアイコンが配置されることが多い。このため、ＵＩ画面の四隅にはユーザーの目が向き易いと考えられる。また、日本語対応のＵＩ画面であれば、当該画面を構成する各項目は左から右に向かう方向に並べられることが多い。従って、画面の中央右端にはユーザーの目は向きにくいと考えられる。非ネイティブレイヤーにおける中央右端の一つの画素に透過色を描画するのは、画像ＧＴ１が目立たないようにするためである。

【0029】

本実施形態では、非ネイティブレイヤーには画像ＧＴ１が繰り返し描画されるので、仕様又はバグによりアプリケーション実行環境ＶＭにおいて非ネイティブレイヤー以外の更新、即ちネイティブアプリの画像の更新が検出されない場合であっても、画像ＧＴ１が描画される毎に対象画像がキャプチャされる。このため、画像ＧＴ１の描画を実行する周期が十分に短く設定されていれば、対象画像のミラーリングに支障が生じることはない。

【0030】

また、プログラムＰＲＡに従って作動している処理装置１１０は、本開示の特徴を顕著に示すミラーリング方法を実行する。図６は、このミラーリング方法における処理の流れを示すフローチャートである。図６に示されるように、このミラーリング方法は、第１判定処理ＳＡ１１０、第２判定処理ＳＡ１２０、描画処理ＳＡ１３０、キャプチャ処理ＳＡ１４０、及び送信処理ＳＡ１５０を含む。第１判定処理ＳＡ１１０、第２判定処理ＳＡ１２０、描画処理ＳＡ１３０、キャプチャ処理ＳＡ１４０、及び送信処理ＳＡ１５０の各々の処理内容は次の通りである。

【0031】

第１判定処理ＳＡ１１０では、処理装置１１０は、入力装置１４０に対する操作により、ミラーリングの修了を指示されたか否かを判定する。入力装置１４０から処理装置１１０に与えられるデータが、ミラーリングの終了を指示する操作子の押下を示す場合、第１判定処理ＳＡ１１０の判定結果は“Ｙｅｓ”となり、ミラーリングの終了を指示する操作子以外の操作子の押下を示す場合、第１判定処理ＳＡ１１０の判定結果は“Ｎｏ”となる。第１判定処理ＳＡ１１０の判定結果が“Ｙｅｓ”である場合、処理装置１１０は、本ミラーリング方法の実行を終了する。プログラムＰＲＡの実行を開始してから第１判定処理ＳＡ１１０の判定結果は“Ｙｅｓ”となるまでの期間が、ミラーリングが実行されている期間となる。第１判定処理ＳＡ１１０の判定結果が“Ｎｏ”である場合、処理装置１１０は、第２判定処理ＳＡ１２０を実行する。

【0032】

第２判定処理ＳＡ１２０では、処理装置１１０は、前回の画像ＧＴ１の描画から所定周期に応じた時間が経過したか否かを判定する。プログラムＰＲＡの実行開始後に第２判定処理ＳＡ１２０が初めて実行される場合、又は前回の画像ＧＴ１の描画から所定周期に応じた時間が経過した場合に、第２判定処理ＳＡ１２０の判定結果は“Ｙｅｓ”となる。プログラムＰＲＡの実行開始後、２回目以降に実行される第２判定処理ＳＡ１２０では、前回の画像ＧＴ１の描画から所定周期に応じた時間が経過していない場合に判定結果が“Ｎｏ”となる。第２判定処理ＳＡ１２０の判定結果が“Ｎｏ”である場合、処理装置１１０は、第１判定処理ＳＡ１１０を再度実行する。第２判定処理ＳＡ１２０の判定結果が“Ｙｅｓ”である場合、処理装置１１０は、描画処理ＳＡ１３０以降の処理を実行する。

【0033】

描画処理ＳＡ１３０では、処理装置１１０は、描画部１１０ｃとして機能する。描画処理ＳＡ１３０では、処理装置１１０は、前述の画像ＧＴ１を非ネイティブレイヤーに描画する。

【0034】

描画処理ＳＡ１３０に後続するキャプチャ処理ＳＡ１４０では、処理装置１１０は、キャプチャ部１１０ａとして機能する。キャプチャ処理ＳＡ１４０では、処理装置１１０は、非ネイティブレイヤーの更新がアプリケーション実行環境ＶＭにより検出されたことを契機として対象画像をキャプチャする。そして、キャプチャ処理ＳＡ１４０では、処理装置１１０は、キャプチャ画像データを記憶装置１５０に記憶させる。

【0035】

キャプチャ処理ＳＡ１４０に後続する送信処理ＳＡ１５０では、処理装置１１０は、送信部１１０ｂとして機能する。送信処理ＳＡ１５０では、処理装置１１０は、キャプチャ処理ＳＡ１４０にて記憶装置１５０に書き込まれたキャプチャ画像データを、通信装置１２０を用いてプロジェクター３０へ送信する。送信処理ＳＡ１５０の実行を完了すると、処理装置１１０は、第１判定処理ＳＡ１１０以降の処理を再度実行する。

【0036】

以上説明したように、本実施形態によれば、仕様又はバグによりアプリケーション実行環境ＶＭにおいて非ネイティブレイヤー以外の更新が検出されない場合であっても、対象画像のミラーリングに支障が生じることはない。

【0037】

（Ｂ：第２実施形態）
図７は、本開示の電子機器の第２実施形態による電子機器１０Ｂの構成例を示す図である。電子機器１０Ｂは、電子機器１０Ａと同様にタブレット端末である。図７では、図４におけるものと同一の構成要素には同一の符号が付されている。図７と図４とを比較すれば明らかなように、電子機器１０Ｂの構成はプログラムＰＲＡに代えてプログラムＰＲＢが記憶装置１５０に記憶されている点において電子機器１０Ａの構成と異なる。以下では、第１実施形態と共通の構成については同一の符号を付し、詳細な説明を省略する。

【0038】

プログラムＰＲＢは、プログラムＰＲＡと同様に電子機器２０のＯＳ向けに開発されたプログラムである。プログラムＰＲＢは、プログラムＰＲＡと同様にミラーリングを実現するためのプログラムである。本実施形態では、電子機器１０ＢのＯＳは電子機器１０ＡとＯＳと同一であり、電子機器１０ＢにおいてプログラムＰＲＢを実行するには、前述のアプリケーション実行環境ＶＭが必要となる。図７に示されるように、電子機器１０Ｂは、アプリケーション実行環境ＶＭを有する。

【0039】

電子機器１０Ｂの処理装置１１０は、プログラムＰＲＢを実行することにより、図７に示されるキャプチャ部１１０ａ、送信部１１０ｂ、取得部１１０ｄ、描画部１１０ｅ、及び更新部１１０ｆとして機能する。つまり、図７に示されるキャプチャ部１１０ａ、送信部１１０ｂ、取得部１１０ｄ、描画部１１０ｅ、及び更新部１１０ｆは、何れも、ＣＰＵ等のコンピューターをソフトウェアに従って作動させることにより実現されるソフトウェアモジュールである。第１実施形態との相違点である取得部１１０ｄ、描画部１１０ｅ、及び更新部１１０ｆの各々の機能は次の通りである。

【0040】

取得部１１０ｄは、対象画像における処理対象位置の画素の色を取得する。本実施形態では、処理対象位置の初期値として対象画像の右上隅の位置が予め定められており、この処理対象位置は、描画部１１０ｅによる描画の周期に応じた時間が経過する毎に、更新部１１０ｆによって順次更新される。図８は、更新部１１０ｆが実行する処理を説明するための図である。図８に示されるように、更新部１１０ｆは、描画部１１０ｅによる描画の周期に応じた時間が経過する毎に、処理対象位置を１画素分だけ下の位置に順次更新する。なお、処理対象位置が右下隅の位置に到達すると、更新部１１０ｆは、処理対象位置を右上隅の位置に戻す。このように、処理対象位置は順次更新されるので、ミラーリングを実行している期間における第１時刻において処理対象位置の示す第１部分と、当該期間における第１時刻とは異なる第２時刻において処理対象位置が示す第２部分とは異なることになる。

【0041】

描画部１１０ｅは、ミラーリングが実行されている期間において、コンテンツ画像とは異なる画像ＧＴ２を、レイヤーＬ１即ち非ネイティブレイヤーに、所定の周期で繰り返し描画する。描画部１１０ｅは、前述の第２の仕組みを用いて、画像ＧＴ２を非ネイティブレイヤーに描画する。図８に示されるように、描画部１１０ｅは、非ネイティブレイヤーにおける処理対象位置に、取得部１１０ｄにより取得された色に１／２５５の割合で青をαブレンドすることで得られた色の画像を描画することにより、画像ＧＴ２を描画する。青をαブレンドするのは、青は、赤、緑、及び青の三色のうち人間工学的に最も色の識別感度が低い色であり、αブレンド後の色の変化をユーザーに感じにくくさせるためである。画像ＧＴ２は本開示における第２画像の一例である。

【0042】

前述したように第２の仕組みは透過色を扱えない。処理対象位置に白又は黒等の予め定められた色を描画すると、当該色と対象画像における処理対象位置の色との差が大きい場合に画像ＧＴ２が目立つといった不具合が発生する。本実施形態では、対象画像における処理対象位置の色に応じた色が非ネイティブレイヤーにおける処理対象位置に描画されるので、上記不具合の発生が回避される。

【0043】

本実施形態では、描画部１１０ｅは、第２の仕組みを用いて、画像ＧＴ２、即ち第２画像を描画するため、第１実施形態に比較して第２画像の描画速度が向上する。また、処理対象位置を１画素分ずつ更新する理由は次の通りである。処理対象位置を固定にすると、取得部１１０ｄにより取得される色は、描画部１１０ｅにより前回描画された画素の色にほかならず、処理対象画像における本来の色ではない。このため、取得部１１０ｄによる色の取得及び描画部１１０ｅによる描画を繰り返すと、非ネイティブレイヤーにおいて処理対象位置に配置される画像が変化した場合に、変化後の画像における色に追従できず、画像ＧＴ２が目立つといった不具合が発生する。このような不具合の発生を回避するため、予め第１の処理対象位置と第２の処理対象位置とを用意し、取得部１１０ｄによる色の取得及び描画部１１０ｅによる描画を行う毎に処理対象位置を交互に切り替えることも考えられる。しかし、キャプチャと描画のスレッドが異なり、タイミング次第では第１の処理対象位置と第２の処理対象位置とを切り替えでは対処できない場合がある。このため、本実施形態における更新部１１０ｆは、処理対象位置を連続的に１画素分ずつ更新する。

【0044】

また、プログラムＰＲＢに従って作動している処理装置１１０は、本開示の特徴を顕著に示すミラーリング方法を実行する。図９は、このミラーリング方法における処理の流れを示すフローチャートである。図９に示されるように、このミラーリング方法は、描画処理ＳＡ１３０に代えて、取得処理ＳＢ１１０、描画処理ＳＢ１２０、及び更新処理ＳＢ１３０を含む点において第１実施形態におけるミラーリング方法と異なる。

【0045】

取得処理ＳＢ１１０では、処理装置１１０は、取得部１１０ｄとして機能する。取得処理ＳＢ１１０では、処理装置１１０は、処理対象画像における処理対象位置の画素の色を取得する。描画処理ＳＢ１２０では、処理装置１１０は、描画部１１０ｅとして機能する。描画処理ＳＢ１２０では、処理装置１１０は、取得部１１０ｄにより取得された色に１／２５５の割合で青をαブレンドすることで得られた色の画像を非ネイティブレイヤーにおける処理対象位置に描画する。更新処理ＳＢ１３０では、処理装置１１０は、更新部１１０ｆとして機能し、処理対象位置を１画素分だけ下の位置に更新する。

【0046】

以上説明したように、本実施形態によれば、第１実施形態と同様に、仕様又はバグによりアプリケーション実行環境ＶＭにおいて非ネイティブレイヤー以外の更新が検出されない場合であっても、対象画像のミラーリングに支障が生じることはない。また、本実施形態によれば、第１実施形態に比較して第２画像の描画速度が向上するので、ゲームの画像等の高速な描画が要求されるコンテンツ画像が対象画像に含まれる場合であっても、対象画像のミラーリングを支障なく行うことができる。

【0047】

（Ｃ：変形）
以上、本開示の第１実施形態及び第２実施形態について説明したが、これら実施形態は以下のように変形されてもよい。
（Ｃ－１：変形例１）
上記各実施形態ではプロジェクター３０が外部装置であったが、電子機器１０Ａ又は電子機器１０Ｂから送信される画像データを記憶する記憶装置が外部装置であってもよい。また、ＦＰＤ（Flat Panel Display）が外部装置であってもよい。

【0048】

（Ｃ－２：変形例２）
描画部１１０ｃが透過色を描画する画素の数は一つには限定されず、二つ以上であってもよい。また、描画部１１０ｃが透過色を描画する位置は、非ネイティブレイヤーの中央右端には限定されない。描画部１１０ｃが透過色を描画する位置は、アイコン又はウィンドウ操作のボタンが表示される位置とは異なる位置であればよい。要は、描画部１１０ｃは、非ネイティブレイヤーの少なくとも一部に透過色を描画すればよい。なお、右から左へ向けて文字を綴る言語に対する電子機器１０Ａであれば、画像における中央左端にはユーザーの目は向きにくいと考えられるので、描画部１１０ｃは中央左端の画素に透過色を描画してもよい。従って、透過色を繰り返し描画する画素の位置は電子機器１０Ａの対応言語に応じて設定されてもよい。

【0049】

また、ネイティブレイヤーに真っ白又は真っ黒な画像が配置される場合、描画部１１０ｃは、透過色に代えて薄い灰色又は薄い灰色よりも少し濃い灰色を、非ネイティブレイヤーの一つの画素に描画してもよい。薄い灰色の具体例としては、（α、Ｒ、Ｇ、Ｂ）＝（１、１、１、１）の色が挙げられる。薄い灰色よりも少し濃い灰色の具体例としては、（α、Ｒ、Ｇ、Ｂ）＝（２、１、１、１）の色が挙げられる。ネイティブレイヤーに配置される画像が真っ白又は真っ黒な画像である場合、非ネイティブレイヤーの一つの画素に描画される色は赤の透過色よりも、薄い灰色又は薄い灰色よりも少し濃い灰色である方が、第２画像が目立たなくなると考えられるからである。また、第２画像として、赤、青、黒、又は白等の透過色以外の予め定められた色の画像が用いられてもよい。本態様によれば、第２画像を目立たせ、ミラーリングを実行中であることをユーザーに明示することができる。また、「ミラーリングを実行中」等の文言を表す画像等、ミラーリングを実行していることを示す画像を第２画像として用いることによって、ミラーリングを実行中であることがユーザーに明示されてもよい。

【0050】

（Ｃ－３：変形例３）
上記第１実施形態におけるキャプチャ部１１０ａ、送信部１１０ｂ、及び描画部１１０ｃは何れもソフトウェアモジュールであったが、キャプチャ部１１０ａ、送信部１１０ｂ、及び描画部１１０ｃのうちの任意の一つ、任意の二つ、又は全部が電子回路等で構成されたハードウェアモジュールであってもよい。キャプチャ部１１０ａ、送信部１１０ｂ、及び描画部１１０ｃのうちの任意の一つ、任意の二つ、又は全部がハードウェアモジュールであっても、第１実施形態と同一の効果が奏される。同様に、第２実施形態における取得部１１０ｄ、描画部１１０ｅ、及び更新部１１０ｆもハードウェアモジュールであってもよい。第２実施形態における取得部１１０ｄ、描画部１１０ｅ、及び更新部１１０ｆのうちの任意の一つ、任意の二つ、又は全部がハードウェアモジュールであっても、第２実施形態と同一の効果が奏される。

【0051】

（Ｃ－４：変形例４）
プログラムＰＲＡは単体で製造されてもよく、また、有償又は無償で提供されてもよい。プログラムＰＲＡの具体的な提供態様としては、フラッシュＲＯＭ等のコンピューター読み取り可能な記録媒体にプログラムＰＲＡを書き込んで配布する態様、又はインターネット等の電気通信回線経由のダウロードによりプログラムＰＲＡを配布する態様が挙げられる。同様に、プログラムＰＲＢが単体で製造されてもよく、また、有償又は無償で提供されてもよい。

【0052】

（Ｄ：本開示のまとめ）
本開示は、上述した実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
以下、本開示のまとめを付記する。

【0053】

（付記１）本開示の一態様によるプログラムは、表示装置と、前記表示装置に画像を表示する処理装置と、を備える電子機器における前記処理装置に、前記表示装置に表示する画像の第１レイヤーにアプリケーション実行環境において実行されるアプリケーションプログラムに従って表示するコンテンツ画像を含む第１画像をキャプチャすることと、前記キャプチャすることによって取得されるキャプチャ画像を外部装置に送信することと、前記送信することを実行している期間に、前記コンテンツ画像とは異なる第２画像を前記第１レイヤーに繰り返し描画することと、を実行させる。

【0054】

（付記１）に記載のプログラムによれば、第１レイヤーには第２画像が繰り返し描画されるので、仕様又はバグによりアプリケーション実行環境において第１レイヤー以外の更新が検出されない場合であっても、第２画像が描画される毎に第１画像がキャプチャされる。このため、（付記１）に記載のプログラムによれば、仕様又はバグによりアプリケーション実行環境において第１レイヤー以外の更新が検出されない場合であっても、外部装置との間の第１画像のミラーリングに支障が生じることはない。

【0055】

（付記２）前記プログラムは、前記第２画像を繰り返し描画することは、前記第１レイヤーの少なくとも一部の画素に、透過色を繰り返し描画することである、（付記１）に記載のプログラムである。

【0056】

（付記２）に記載のプログラムによれば、ユーザーの眼から見て第２画像が目立たないようにすることができる。

【0057】

（付記３）前記プログラムは、前記第２画像を繰り返し描画することは、前記期間における第１時刻にキャプチャされた第１画像の、第１部分の色を取得することと、前記第１レイヤーの、前記第１部分に対応する画素に、前記第１部分の色に応じた色を描画することと、前記第１時刻とは異なる前記期間における第２時刻にキャプチャされた第１画像の、前記第１部分とは異なる第２部分の色を取得することと、前記第１レイヤーの、前記第２部分に対応する画素に、前記第２部分の色に応じた色を描画することと、を含む、（付記１）に記載のプログラムである。

【0058】

（付記３）に記載のプログラムによれば、第１画像が時間変化する場合であっても、ユーザーの眼から見て第２画像が目立たないようにすることができる。

【0059】

（付記４）前記プログラムは、前記第２画像を繰り返し描画することは、前記第１レイヤーにおいて、アイコン又はウィンドウ操作のボタンが表示される位置とは異なる位置に前記第２画像を描画することを含む、（付記１）～（付記３）の何れかに記載のプログラムである。

【0060】

（付記４）に記載のプログラムによれば、ユーザーの眼から見て第２画像が目立たないようにすることができる。

【0061】

（付記５）前記プログラムは、前記第２画像は、予め定められた色の画像を含む、（付記１）～（付記４）の何れかに記載のプログラムである。

【0062】

（付記５）に記載のプログラムによれば、第２画像を敢えて目立たせることによりミラーリングを行っていることをユーザーに明示しつつ、外部装置との間の第１画像のミラーリングを支障なく行うことがきる。

【0063】

（付記６）前記プログラムは、前記第２画像は、前記送信することを実行していることを示す画像を含む、（付記１）～（付記５）の何れかに記載のプログラムである。

【0064】

（付記６）に記載のプログラムによれば、ミラーリングを行っていることをユーザーに明示しつつ、外部装置との間の第１画像のミラーリングを支障なく行うことがきる。

【0065】

（付記７）本開示の一の態様に係るミラーリング方法は、表示装置と、前記表示装置に画像を表示する処理装置とを備える電子機器において前記表示装置に表示される画像のミラーリング方法であって、前記表示装置に表示される画像の第１レイヤーにアプリケーション実行環境において実行されるアプリケーションプログラムに従って表示するコンテンツ画像、を含む第１画像をキャプチャすることと、前記キャプチャすることによって取得されるキャプチャ画像を外部装置に送信することと、前記送信することを実行している期間に、前記コンテンツ画像とは異なる第２画像を前記第１レイヤーに繰り返し描画することと、を含む。

【0066】

（付記７）に記載のミラーリング方法によれば、（付記１）に記載のプログラムと同様に、仕様又はバグによりアプリケーション実行環境において第１レイヤー以外の更新が検出されない場合であっても、外部装置との間の第１画像のミラーリングに支障が生じることはない。

【0067】

（付記８）本開示の一の態様に係る電子機器は、表示装置と、前記表示装置に画像を表示する処理装置と、を含み、前記処理装置は、前記表示装置に表示する画像の第１レイヤーにアプリケーション実行環境において実行されるアプリケーションプログラムに従って表示するコンテンツ画像、を含む第１画像をキャプチャすることと、前記キャプチャすることによって取得されるキャプチャ画像を外部装置に送信することと、前記送信することを実行している期間に、前記コンテンツ画像とは異なる第２画像を前記第１レイヤーに繰り返し描画することと、を実行する。

【0068】

（付記８）に記載の電子機器によれば、（付記１）に記載のプログラム又は（付記７）に記載のミラーリング方法と同様に、仕様又はバグによりアプリケーション実行環境において第１レイヤー以外の更新が検出されない場合であっても、外部装置との間の第１画像のミラーリングに支障が生じることはない。

【符号の説明】

【0069】

１…表示システム、１０Ａ，１０Ｂ，２０…電子機器、３０…プロジェクター、４０…無線中継装置、１１０…処理装置、１１０ａ…キャプチャ部、１１０ｂ…送信部、１１０ｃ，１１０ｅ…描画部、１１０ｄ…取得部、１１０ｆ…更新部、１２０…通信装置、１３０…表示装置、１４０…入力装置、１５０…記憶装置、ＰＲＡ，ＰＲＢ…プログラム、ＶＭ…プログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】