特許 7511607 画像生成システム、通信装置、それらの動作方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-27

(45)【発行日】2024-07-05

(54)【発明の名称】画像生成システム、通信装置、それらの動作方法およびプログラム

(51)【国際特許分類】

   G06F 16/16 20190101AFI20240628BHJP

   H04L 67/2871 20220101ALI20240628BHJP

【ＦＩ】

G06F16/16

H04L67/2871

【請求項の数】 10

(21)【出願番号】P 2022099798

(22)【出願日】2022-06-21

(65)【公開番号】P2024000851

(43)【公開日】2024-01-09

【審査請求日】2023-05-25

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】池田 睦

【審査官】松尾 真人

(56)【参考文献】

【文献】特開２０１１－２１５６７０（ＪＰ，Ａ）

【文献】特開２０１３－２５７７０７（ＪＰ，Ａ）

【文献】特開２０２０－１２３９７８（ＪＰ，Ａ）

【文献】特開２０１１－１９８３５５（ＪＰ，Ａ）

【文献】特開２００１－３５０６５９（ＪＰ，Ａ）

【文献】特開２０１２－１２３６７９（ＪＰ，Ａ）

【文献】特開２０１２－０３８０９４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／２９

Ｈ０４Ｌ ６７／００－６７／７５

(57)【特許請求の範囲】

【請求項1】

通信装置と通信可能な画像生成システムであって、
前記通信装置からＷｅｂページに対する操作指示を受信する指示受信手段と、
前記操作指示がファイル選択のための押下である場合に所定の情報を前記通信装置へ送信する送信手段と、
前記所定の情報に基づいて前記通信装置から送信されたファイルを受信するファイル受信手段と、
前記ファイルの情報を前記Ｗｅｂページに反映して描画結果を生成する生成手段と、
前記描画結果を前記通信装置へ送信する結果送信手段と、
を備えることを特徴とする画像生成システム。

【請求項2】

前記送信手段は、押下された要素の情報を前記所定の情報として前記通信装置へ送信し、
前記ファイル受信手段は、前記押下された要素の情報に対応するファイルを前記通信装置から受信することを特徴とする請求項１に記載の画像生成システム。

【請求項3】

前記送信手段は、ファイル選択モードであることを示す情報を前記所定の情報として前記通信装置へ送信し、
前記画像生成システムは、
前記ファイル選択モードであることを示す情報に基づいて前記通信装置から送信されたファイル構成情報を受信する構成情報受信手段と、
前記ファイル構成情報に基づいてフォルダ構成又はファイル構成の視覚的表現を生成して前記通信装置へ送信する表現送信手段と、
前記通信装置から前記視覚的表現に対するユーザの押下座標の情報を受信する座標受信手段と、
前記押下座標に基づいて前記ユーザにより選択されたファイルを示す情報を前記通信装置へ送信する情報送信手段と、をさらに備え、
前記ファイル受信手段は、前記選択されたファイルを前記通信装置から受信することを特徴とする請求項１に記載の画像生成システム。

【請求項4】

前記表現送信手段は、前記ファイル構成情報に基づいてフォルダを展開してファイル群を生成することにより、前記通信装置と同じフォルダ構成又はファイル構成の視覚的表現を再現することを特徴とする請求項３に記載の画像生成システム。

【請求項5】

前記ファイル群は、０バイトのファイル群であることを特徴とする請求項４に記載の画像生成システム。

【請求項6】

ユーザが前記通信装置を介した前記画像生成システムの利用を終了する場合に、前記通信装置から受信した情報を削除する削除手段をさらに備えることを特徴とする請求項１乃至５の何れか１項に記載の画像生成システム。

【請求項7】

画像生成システムと通信可能な通信装置であって、
前記画像生成システムへＷｅｂページに対する操作指示を送信する指示送信手段と、
前記操作指示がユーザによるファイル選択のための押下である場合に前記画像生成システムから送信される、所定の情報を受信する受信手段と、
前記所定の情報に基づいてファイルを前記画像生成システムへ送信するファイル送信手段と、
前記ファイルの情報が前記Ｗｅｂページに反映された描画結果を前記画像生成システムから受信する結果受信手段と、
前記描画結果を画面に表示させる表示制御手段と、
を備えることを特徴とする通信装置。

【請求項8】

通信装置と通信可能な画像生成システムの動作方法であって、
前記通信装置からＷｅｂページに対する操作指示を受信する指示受信工程と、
前記操作指示がファイル選択のための押下である場合に所定の情報を前記通信装置へ送信する送信工程と、
前記所定の情報に基づいて前記通信装置から送信されたファイルを受信するファイル受信工程と、
前記ファイルの情報を前記Ｗｅｂページに反映して描画結果を生成する生成工程と、
前記描画結果を前記通信装置へ送信する結果送信工程と、
を有することを特徴とする画像生成システムの動作方法。

【請求項9】

画像生成システムと通信可能な通信装置の動作方法であって、
前記画像生成システムへＷｅｂページに対する操作指示を送信する指示送信工程と、
前記操作指示がユーザによるファイル選択のための押下である場合に前記画像生成システムから送信される、所定の情報を受信する受信工程と、
前記所定の情報に基づいてファイルを前記画像生成システムへ送信するファイル送信工程と、
前記ファイルの情報が前記Ｗｅｂページに反映された描画結果を前記画像生成システムから受信する結果受信工程と、
前記描画結果を画面に表示させる表示制御工程と、
を有することを特徴とする通信装置の動作方法。

【請求項10】

コンピュータに、請求項９に記載の通信装置の動作方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成システム、通信装置、それらの動作方法およびプログラムに関する。

【背景技術】

【0002】

Ｗｅｂブラウザ（以下、ブラウザ）を搭載し、ブラウザ上でＷｅｂページを閲覧できる機能を有する通信装置が普及している。ブラウザを通してＷｅｂページを表示することにより、通信装置が外部サービスと連携できるようになる。例えば、ブラウザは、通信装置が認識しているファイルを外部サービスにアップロードすることもできる。

【0003】

このブラウザの一形態として、クラウドサーバ上でＷｅｂページの描画結果を生成するクラウドブラウザと呼ばれる形態がある。Ｗｅｂページの解析処理や実行処理といった計算負荷の高い処理をクラウドサーバ上で実行することにより、通信装置の計算負荷を軽減している。

【0004】

特許文献１では、Ｗｅｂサービスから取得した画面情報にファイル選択要素が存在する場合、ブラウザが処理可能なセレクトボックスに変換し、セレクトボックスの選択肢に、Ｗｅｂサービスと連携可能な別のＷｅｂサービスからダウンロードしたファイルを設定することを開示している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１２－３８０９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、通信装置とＷｅｂサービスとの間にクラウドブラウザとして稼働する画像生成システムが介在する場合、画像生成システム上には、ユーザが閲覧したい通信装置上のファイルが存在しないことになる。そのため、画像生成システムで稼働するクラウドブラウザは、通信装置上のファイルを選択することができないという課題がある。

【0007】

本発明は、上記の課題に鑑みてなされたものであり、画像生成システムにおいて、通信装置上のファイルをユーザが選択可能にするための技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記の目的を達成する本発明に係る画像生成システムは、
通信装置と通信可能な画像生成システムであって、
前記通信装置からＷｅｂページに対する操作指示を受信する指示受信手段と、
前記操作指示がファイル選択のための押下である場合に所定の情報を前記通信装置へ送信する送信手段と、
前記所定の情報に基づいて前記通信装置から送信されたファイルを受信するファイル受信手段と、
前記ファイルの情報を前記Ｗｅｂページに反映して描画結果を生成する生成手段と、
前記描画結果を前記通信装置へ送信する結果送信手段と、
を備えることを特徴とする。

【発明の効果】

【0009】

本発明によれば、画像生成システムにおいて、通信装置上のファイルをユーザが選択することが可能となる。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る仮想マシンのハードウェア構成の一例を示す図。

【図2】一実施形態に係る画像生成システムおよび通信装置の構成例を示す図。

【図3】実施形態１に係る画像生成システムの処理の流れを示したフローチャート。

【図4】実施形態１に係る通信装置の処理の流れを示したフローチャート。

【図5】一実施形態に係る処理をプログラムで実装した例を示す図。

【図6】実施形態２に係る画像生成システムの処理の流れを示したフローチャート。

【図7】実施形態２に係る通信装置の処理の流れを示したフローチャート。

【図8】一実施形態に係るファイル選択要素とファイル閲覧機能の表示例を示す図。

【図9】一実施形態に係る画像生成システムと通信装置との間で送受信するデータの例を示す図。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

（実施形態１）
本実施形態では、クラウドブラウザとして機能する画像生成システムにおいて、遠隔の通信装置が持つファイル閲覧機能を利用してファイル選択を完了し、画像生成システムがＷｅｂページに対してファイル情報を反映させる例を説明する。

【0013】

＜ハードウェア構成＞
図１のブロック図を参照して、一実施形態に係る画像生成システムが有する仮想マシンのハードウェア構成の一例を説明する。図１において、１０１は仮想マシン１００全体を制御するＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）である。１０２は変更を必要としないプログラムやパラメータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）である。１０３は外部装置などから供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）である。１０４は保持するデータや供給されたデータを表示するためのインタフェースである。１０５は１０１～１０４の各ユニットを通信可能に接続するシステムバスである。ユーザからの操作を受けてデータを入力するマウスなどのポインティングデバイスやキーボードなどの入力デバイスとのインタフェース等があってもよい。また仮想マシン１００に仮想的に固定して設置されたハードディスクやメモリカード等があってもよい。あるいは仮想マシン１００から仮想的に着脱可能なフレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含む外部記憶装置等があってもよい。さらにインターネットなどのネットワーク回線に接続するためのネットワークインタフェース等があってもよい。

【0014】

また、画像生成システムと通信する通信装置のハードウェア構成についても仮想マシン１００のハードウェア構成と同様の構成とすることができる。

【0015】

＜システム構成及びソフトウェア構成＞
次に、図２を参照して、一実施形態に係るクラウドブラウザとして機能する画像生成システム及び通信装置の構成例を説明する。図２は、一実施形態に係る画像生成システム及び通信装置のそれぞれのソフトウェア構成を含むシステム構成の一例である。

【0016】

図２において、２０１は通信装置であり、２０２はＷｅｂサーバであり、２０３は画像生成システムである。本実施形態において、画像生成システム２０３は、例えばクラウドブラウザである。

【0017】

通信装置２０１は、表示部２１１、送受信部２１２、ファイル閲覧機能呼出し部２１３、及び専用ビューワ２１４を含む。表示部２１１は、各種の画面を表示する。送受信部２１２は、各種の情報の送受信を行う。ファイル閲覧機能呼出し部２１３は、例えば後述する図８（Ｂ）の画面８０２のようなファイル閲覧画面を表示する。専用ビューワ２１４は、画像生成システム２０３から受信した描画結果を表示したり、ユーザの操作指示を受け付けたりすることができる。

【0018】

画像生成システム２０３は、ゲートウェイ２０４と仮想マシン２０５とを含む。仮想マシン２０５は、図１に示した仮想マシン１００のソフトウェア機能表現である。仮想マシン２０５は、ブラウザ２０６、押下要素判定部２０７、ファイル情報反映部２０８、描画結果生成部２０９、送受信部２１０、ファイル構成展開部２２０、及びファイル選択通知部２２１を含む。

【0019】

ブラウザ２０６は、仮想マシン２０５上で稼働するいわゆるブラウザエンジンであり、ＨＴＭＬ、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＣＳＳ等の解析や、ユーザ操作・通信イベントに伴う処理を実行する。通信装置２０１と仮想マシン２０５との通信、および、Ｗｅｂサーバ２０２と仮想マシン２０５との通信は、ゲートウェイ２０４を通して行われる。

【0020】

押下要素判定部２０７は、通信装置２０１から受信したユーザの操作指示に基づいて、ブラウザ２０６で表示中のＷｅｂページに含まれるファイル選択要素をユーザが押下したか否かを判定する。ファイル選択要素は例えば＜ｉｎｐｕｔ ｔｙｐｅ＝"ｆｉｌｅ"＞という表現で記述される。

【0021】

ファイル情報反映部２０８は、ファイル選択要素を利用して選択されたファイルの情報を、Ｗｅｂページに反映させる。例えば、ブラウザ２０６がＷｅｂページ中の所定の場所に、ユーザが選択したファイル名を表示することが、Ｗｅｂページへのファイル情報の反映の一例である。

【0022】

描画結果生成部２０９は、通信装置２０１で表示するための描画結果を生成する表示制御を行う。送受信部２１０は、各種情報を送受信する。ファイル構成展開部２２０は、通信装置２０１から受信したファイル構成情報を仮想マシン２０５内に展開する。ファイル選択通知部２２１は、送受信部２１０を介して押下要素の情報を通信装置２０１へ送信する。

【0023】

ユーザは、通信装置２０１の表示部２１１の画面を介して、所望のＷｅｂページを閲覧することができる。通信装置２０１は、ユーザが閲覧したいＷｅｂサーバ２０２が提供するＷｅｂページのＵＲＬ情報を、送受信部２１２を通して、画像生成システム２０３に送信する。

【0024】

次に、画像生成システム２０３は、通信装置２０１から受信したＵＲＬ情報に基づいてＷｅｂサーバ２０２が提供するＷｅｂページにアクセスし、描画結果生成部２０９を用いて描画結果を生成する。その後、画像生成システム２０３は、通信装置２０１から描画結果の取得要求があった場合、送受信部２１０を通して、生成した描画結果を通信装置２０１へ送信する。通信装置２０１は、送受信部２１２を通して描画結果を受信し、表示部２１１を介してユーザに描画結果を提示する。

【0025】

＜通信装置のＷｅｂ標準仕様の例＞
ここで、図８（Ａ）乃至図８（Ｃ）を参照して、Ｗｅｂ標準仕様に基づいたファイル選択要素と、ファイル閲覧機能による表示結果とを説明する。図８（Ａ）は、ファイル選択要素を含んだＷｅｂページの一例である。図８（Ａ）の例では、ファイル選択要素は、Ｂｒｏｗｓｅ．．．と表示されたボタン８０１である。通信装置２０１の組込みブラウザにより、ユーザが通信装置２０１を操作してボタン８０１を押下したと判定された場合、ファイル閲覧機能呼出し部２１３は、通信装置２０１に固有のファイル閲覧機能を起動する。図８（Ｂ）は、ファイル閲覧機能が呼び出された結果を示す。８０２はファイル閲覧画面である。図８（Ｂ）の例では、Ｔｏｐ＿Ｄｉｒフォルダを表示中である。Ｔｏｐ＿ＤｉｒにはＳｕｂ＿Ｄｉｒ＿０１フォルダとＳｕｂ＿Ｄｉｒ＿０２フォルダとが存在することが分かる。ファイルの選択は、所望のフォルダやファイルを選択した後、Ｏｐｅｎと表示されたボタン８０３を押下することで実行される。ユーザが通信装置２０１を操作してファイル閲覧画面８０２でファイルを選択した場合、図８（Ｃ）のように所定の場所にユーザが選択したファイルのファイル名が表示される。

【0026】

この通信装置２０１での一連の操作内容を、画像生成システム２０３が介在した場合にも実行できるように、以下のような処理を行う。

【0027】

＜処理＞
図３と図４は、本実施形態に係る処理を示すフローチャートである。図３は、画像生成システム２０３側の処理フローであり、図４は、通信装置２０１側の処理フローである。

【0028】

まず、図３を参照して、画像生成システム２０３側の処理フローを説明する。Ｓ３０１において、画像生成システム２０３は、通信装置２０１から通知されたＷｅｂページのＵＲＬを読み込み、Ｗｅｂページの描画結果を生成して通信装置２０１へ送信する。

【0029】

Ｓ３０２において、画像生成システム２０３は、通信装置２０１から通知されたユーザの操作指示を受信する（指示受信）。ユーザの操作指示には、通信装置２０１の画面を指で触る"タップ"操作や、通信装置２０１が備えるキーボード（不図示）のキーを押下する"キー入力"操作といった操作の属性を示す情報が含まれる。また、ユーザの操作指示には、ユーザが画面上で触った場所を示すｘ、ｙ座標や、ユーザが押下したキーの値といった操作の属性ごとに付属される情報が含まれる。なお、ＷｅｂページのＵＲＬ情報や操作指示は、ゲートウェイ２０４を通り、送受信部２１０を通ってブラウザ２０６に到達する。

【0030】

ここで、図５（Ｂ）を参照して、本実施形態に係る通信装置２０１から画像生成システム２０３へユーザ操作指示を送信する方法を説明する。図５（Ｂ）は、ＨＴＴＰ通信のＢＯＤＹにユーザ操作情報を格納するＪａｖａＳｃｒｉｐｔプログラムの一例である。図５（Ｂ）のｗｅｂｃｌｉｅｎｔは、通信先にＨＴＴＰ通信リクエストを送信する構造体である。リクエスト先はｕｒｌメンバで指定でき、値は"ｈｔｔｐｓ：／／ｗｗｗ．ｃｌｏｕｄｂｒｏｗｓｅｒ．ｃａｎｏｎ"である。またリクエストのｂｏｄｙはｂｏｄｙメンバで指定でき、値は｛ｔｙｐｅ：ｃｌｉｃｋ， ｘ：５０， ｙ：２０｝である。ｔｙｐｅ：ｃｌｉｃｋは、ユーザ操作がクリックであることを示す。またｘ：５０は、ユーザがクリックしたｘ座標が５０であることを示し、ｙ：２０は、ユーザがクリックしたｙ座標が２０であることを示す。

【0031】

Ｓ３０３において、押下要素判定部２０７は、通信装置２０１を用いてユーザが押下した要素がファイル選択要素であるか否かを判定する。

【0032】

図５（Ａ）を参照して、Ｓ３０３の判定方法を説明する。図５（Ａ）は、ファイル選択要素を判定するためのＪａｖａＳｃｒｉｐｔプログラムの一例である。ｄｏｃｕｍｅｎｔ．ｇｅｔＥｌｅｍｅｎｔＦｒｏｍＰｏｉｎｔ（ｘ，ｙ）；は、ｘ、ｙ座標の要素を抽出する関数である。これによりユーザがタップした位置（ｘ，ｙ）に存在する要素が分かる。またｅｌｅｍｅｎｔ．ｔａｇＮａｍｅ；は要素名を示し、ｅｌｅｍｅｎｔ．ｔｙｐｅ；はｔｙｐｅ属性の値を示す。本実施形態では、要素名が"ｉｎｐｕｔ"であり、かつ、ｔｙｐｅ属性の値が"ｆｉｌｅ"だった場合に、ユーザが押下した要素がファイル選択要素であったと判定することができる。

【0033】

Ｓ３０３の判定の結果、ユーザが押下した要素がファイル選択要素であった場合、Ｓ３０４へ進む。一方、Ｓ３０３の判定の結果、ユーザが押下した要素がファイル選択要素ではなかった場合、Ｓ３１１へ進む。

【0034】

Ｓ３０４において、ファイル選択通知部２２１は、送受信部２１０を介して押下要素の情報を通信装置２０１へ送信する。

【0035】

押下要素の情報は、＜ｉｎｐｕｔ ｔｙｐｅ＝"ｆｉｌｅ"＞といった構造化文書の文字列であってもよいし、プログラムで表現された構造体であってもよい。通信装置２０１と画像生成システム２０３との間で送受信する情報と要素の種別との対応を予め取り決めておくことで、押下要素を判別可能となる。

【0036】

ここで、図９（Ｂ）を参照して、送受信する情報と要素の種別との対応を取り決める方法を説明する。図９（Ｂ）には、ｋｅｙ列と、ｖａｌｕｅ列、及び説明列が存在する。ｋｅｙ列は情報の属性を示し、ｖａｌｕｅ列はその属性の値を示す。図９（Ｂ）の表は、通信装置２０１と画像生成システム２０３とのどちらも保有しているとする。

【0037】

例えば、Ｓ３０４において、ファイル選択通知部２２１が、送受信部２１０を介して、Ｋｅｙ＝Ｅｌｅｍｅｎｔ、ｖａｌｕｅ＝Ｆｉｌｅという文字列を通信装置２０１へ送信したとする。この場合、Ｋｅｙ＝Ｅｌｅｍｅｎｔ、ｖａｌｕｅ＝Ｆｉｌｅの説明列を見ると、「押下要素がファイル選択要素」と記載されている。よって、通信装置２０１は、画像生成システム２０３側でブラウザ２０６が、ユーザが押下した要素がファイル選択要素であると判定したことを認識できる。

【0038】

Ｓ３０５において、送受信部２１０は、通信装置２０１からファイルを受信したか判定する（ファイル受信判定）。Ｓ３０５の判定の結果、ファイルを受信していなかった場合、Ｓ３０６へ進み、待機する。一方、Ｓ３０５の判定の結果、ファイルを受信した場合、Ｓ３０７へ進む。本実施形態では、Ｓ３０５で受信したファイルは、仮想マシン２０５の保存領域に格納される。

【0039】

Ｓ３０７において、ファイル情報反映部２０８は、Ｓ３０５で受信したファイルの情報をＷｅｂページに反映する。

【0040】

ここで、図５（Ｃ）を参照して、Ｓ３０７の反映方法を説明する。図５（Ｃ）において、ｇ＿ｓｉｇｎａｌ＿ｃｏｎｎｅｃｔ（）は、特定のシグナル発生に関連して発火するコールバック関数を登録する関数である。図５（Ｃ）では"ｒｕｎ－ｆｉｌｅ－ｃｈｏｏｓｅｒ"シグナルが発生した際に、関数ｆｉｌｅＣｈｏｏｓｅｒ＿ｃｂ（）が呼び出されるようにしている。"ｒｕｎ－ｆｉｌｅ－ｃｈｏｏｓｅｒ"シグナルは、ブラウザ２０６がファイル選択すると判定した場合に発生するシグナルである。

【0041】

続いて、ｆｉｌｅＣｈｏｏｓｅｒ＿ｃｂ（）内のｆｉｌｅｓＴｏＳｅｌｅｃｔは、Ｓ３０５で受信したファイル名を格納する変数である。本実施形態では、Ｓ３０５で受信したファイル名が、"ｄｕｍｍｙ＿ｆｉｌｅ．ｔｘｔ"であるする。ｗｅｂｋｉｔ＿ｆｉｌｅ＿ｃｈｏｏｓｅｒ＿ｒｅｑｕｅｓｔ＿ｓｅｌｅｃｔ＿ｆｉｌｅｓ（）は、引数に設定されたファイル名を、Ｗｅｂページに反映させる関数である。この関数の実行により、Ｗｅｂページ上に"ｄｕｍｍｙ＿ｆｉｌｅ．ｔｘｔ"と表示させることができる。図５（Ｃ）の処理により、図８（Ａ）乃至図８（Ｃ）に示したＷｅｂ標準仕様の動作と同じように、ファイルの情報（例えばファイル名）をＷｅｂページに反映させることができる。また、ユーザにより選択されたファイルのデータをＳ３０５で受信して保持しているので、ユーザ操作に応じてこのファイルをアップロードする処理等を実行することが可能となる。

【0042】

Ｓ３０８において、描画結果生成部２０９は、Ｓ３０７の反映結果に基づく描画結果を生成して通信装置２０１へ送信する（描画結果送信）。Ｓ３０９において、ブラウザ２０６は、Ｗｅｂページの閲覧が終了したか否かを判定する。Ｓ３０９の判定の結果、Ｗｅｂページの閲覧が終了した場合、Ｓ３１０へ進む。一方、Ｓ３０９の判定の結果、Ｗｅｂページの閲覧が終了していない場合、Ｓ３０２に戻る。

【0043】

Ｓ３１０において、画像生成システム２０３は、Ｓ３０５で受信したファイルを仮想マシン２０５の保存領域から削除する。Ｓ３１０では、情報秘匿性の観点で削除している。そのため、Ｓ３０５で受信したファイルを仮想マシン２０５内で継続して利用する場合、削除しなくてもよい。

【0044】

Ｓ３１１において、押下要素判定部２０７は、Ｓ３０２で受信したユーザの操作指示（ファイル選択操作以外の操作指示）を、ブラウザ２０６に通知する。Ｓ３１２において、送受信部２１０は、押下要素の情報を通信装置２０１へ送信する。その後、Ｓ３０８へ進む。以上で図３の一連の処理が終了する。

【0045】

次に、図４を参照して、通信装置２０１側の処理フローを説明する。Ｓ４０１において、通信装置２０１は、画像生成システム２０３との接続後、専用ビューワ２１４を起動する。専用ビューワ２１４の機能は主に２つある。１つは、画像生成システム２０３から受信した描画結果を表示する機能である。もう１つは、ユーザの操作指示を受け付け、それを画像生成システム２０３へ向けて送信する機能である。

【0046】

Ｓ４０２において、専用ビューワ２１４は、送受信部２１２を経由して、ユーザの操作指示を画像生成システム２０３へ送信する（指示送信）。Ｓ４０２で送信した操作指示の情報は、画像生成システム２０３側の処理フローのＳ３０２で受信される。

【0047】

Ｓ４０３において、送受信部２１２は、画像生成システム２０３からユーザの押下要素の情報を受信したか否か判定する。Ｓ４０３の判定の結果、ユーザの押下要素の情報を受信した場合、Ｓ４０４へ進む。一方、Ｓ４０３の判定の結果、ユーザの押下要素の情報を受信していなかった場合、Ｓ４１０へ進む。なお、通信装置２０１は、画像生成システム２０３から、押下要素の情報の他に描画結果を受信することがある。

【0048】

Ｓ４０４において、通信装置２０１は、Ｓ４０３で受信した押下要素が、ファイル選択要素であるか否かを判定する。Ｓ４０４の判定の結果、押下要素がファイル選択要素だった場合、Ｓ４０５へ進む。一方、Ｓ４０４の判定の結果、押下要素がファイル選択要素ではなかった場合、Ｓ４０９へ進む。

【0049】

Ｓ４０５において、ファイル閲覧機能呼出し部２１３は、ファイル閲覧画面を表示する。ファイル閲覧画面の例は、図８（Ｂ）の画面８０２である。専用ビューワ２１４が、描画結果を表示した状態で、その上にファイル閲覧画面を表示することで、表示部２１１の画面に図８（Ｂ）のような表示結果を出力することができる。

【0050】

Ｓ４０６において、通信装置２０１は、ユーザからファイルの選択を受け付ける。その後、Ｓ４０７において、送受信部２１２は、画像生成システム２０３に向けて、選択済ファイルを送信する（ファイル送信）。

【0051】

Ｓ４０８において、通信装置２０１は、ユーザが画像生成システム２０３（クラウドブラウザ）の利用を終了したか否かを判定する。Ｓ４０８の判定の結果、ユーザが画像生成システム２０３（クラウドブラウザ）の利用を終了した場合、一連の処理を終了する。一方、Ｓ４０８の判定の結果、ユーザが画像生成システム２０３（クラウドブラウザ）の利用を継続する場合、Ｓ４０２に戻る。

【0052】

Ｓ４０９において、通信装置２０１は、押下要素に応じた処理を実施する。Ｓ４０９に該当する処理の例としては、表示部２１１が通信装置２０１の画面にソフトウェアキーボードを表示するといった処理が挙げられる。

【0053】

Ｓ４１０において、通信装置２０１は、画像生成システム２０３から描画結果を受信したか否かを判定する（描画結果受信判定）。Ｓ４１０の判定の結果、描画結果を受信した場合、Ｓ４１１へ進む。一方、Ｓ４１０の判定の結果、描画結果を受信しなかった場合、Ｓ４０８へ進む。Ｓ４１１において、表示部２１１は、描画結果を画面に表示する。その後、Ｓ４０８へ進む。

【0054】

以上説明したように、本実施形態では、クラウドブラウザとして機能する画像生成システムが提供するＷｅｂページの画面においてユーザがファイル選択要素を押下した場合に、ユーザが所持する通信装置がファイル選択画面を表示する。このファイル選択画面は、通信装置に保存されているフォルダ又はファイルを読み出して通信装置上に表示される。そして、ユーザが通信装置に保存されているファイルを選択したことに応じて、当該ファイルを画像生成システムに送信する。

【0055】

これにより、画像生成システムは、本来は保持していない通信装置に保存されているフォルダ、ファイル及び当該ファイルに関する情報（例えばファイル名）を取得することができる。画像生成システムは、取得したフォルダ、ファイル、ファイルに関する情報等を用いて、Ｗｅｂページにおけるファイル選択結果にそれらの情報を反映させる。したがって、画像生成システムは、図８（Ｃ）のような選択結果を表示することが可能となり、選択したファイルをユーザの指示に応じてアップロードするといった処理を行うことも可能となる。

【0056】

このように、本実施形態によれば、クラウドブラウザとして機能する画像生成システムにおいて、ユーザが通信装置に保存されているファイルを選択することができ、かつ、ユーザが選択したファイルをＷｅｂページに反映することができる。

【0057】

（実施形態２）
本実施形態では、画像生成システムが遠隔の通信装置からファイル構成情報を受信し、それに基づいて画像生成システムが仮想マシン上でファイル構成を再現し、仮想マシンのファイル閲覧機能を利用することで、ファイル選択を可能にする例を説明する。

【0058】

システム構成、装置構成については、実施形態１で説明した構成と同様であるため、説明を省略する。

【0059】

＜処理＞
図６と図７は本実施形態のフローチャートである。図６は、本実施形態に係る画像生成システム２０３側の処理フローである。図７は、本実施形態に係る通信装置２０１側の処理フローである。

【0060】

まず、図６を参照して、画像生成システム２０３側の処理フローを説明する。なお、図６及び図３において、Ｓ６０１とＳ３０１、Ｓ６０２とＳ３０２、Ｓ６０３とＳ３０３、Ｓ６１８とＳ３１１、Ｓ６１９とＳ３１２は同じ処理であるため、説明を省略する。

【0061】

図６において、Ｓ６０３の判定の結果、ファイル選択要素が押下された場合、Ｓ６０４へ進む。一方、Ｓ６０３の判定の結果、ファイル選択要素が押下されていない場合、Ｓ６１８へ進む。

【0062】

Ｓ６０４において、送受信部２１０は、ファイル選択モードであることを示す情報を通信装置２０１へ送信する。ここで、ファイル選択モードであることを示す情報について、図９（Ｂ）を参照して説明する。図９（Ｂ）を見ると、通信装置２０１と画像生成システム２０３との間で送受信される情報がｋｅｙ＝Ｍｏｄｅ、ｖａｌｕｅ＝ＦｉｌｅＳｅｌｅｃｔの場合、ファイル選択モードであると分かる。Ｓ６０４では、画像生成システム２０３から通信装置２０１へ、ｋｅｙ＝Ｍｏｄｅ、ｖａｌｕｅ＝ＦｉｌｅＳｅｌｅｃｔという文字列を送信する。

【0063】

Ｓ６０５において、画像生成システム２０３は、送受信部２１０によりファイル構成情報を受信したか否かを判定する（構成情報受信判定）。Ｓ６０５の判定の結果、ファイル構成情報を受信していなかった場合、Ｓ６０６へ進み、待機する。一方、Ｓ６０５の判定の結果、ファイルを受信した場合、Ｓ６０７へ進む。本実施形態では、Ｓ６０５で受信したファイル構成情報は、仮想マシン２０５の保存領域に格納される。

【0064】

ここで、図９（Ａ）を参照して、ファイル構成情報の一例について説明する。図９（Ａ）は通信装置２０１上のファイル構成を示す。通信装置２０１の最上位フォルダはＴｏｐ＿Ｄｉｒであり、Ｔｏｐ＿ＤｉｒにはＳｕｂ＿Ｄｉｒ＿０１、Ｓｕｂ＿Ｄｉｒ＿０２、Ｓｕｂ＿Ｄｉｒ＿０３の３つのフォルダが含まれる。Ｓｕｂ＿Ｄｉｒ＿０２には、Ｓｕｂ＿Ｄｉｒ＿２１、Ｓｕｂ＿Ｄｉｒ＿２２の２つのフォルダが含まれる。Ｓｕｂ＿Ｄｉｒ＿２１にはｄｕｍｍｙ＿ｆｉｌｅ．ｔｘｔというファイルが含まれる。本実施形態では、ユーザが、ファイル閲覧機能を利用してｄｕｍｍｙ＿ｆｉｌｅ．ｔｘｔを選択したいものと仮定する。ファイル構成情報の記述形式は、構造化文書のような文字列で表現されてもよいし、プログラム上の構造体として表現されてもよい。

【0065】

Ｓ６０７において、ファイル構成展開部２２０は、Ｓ６０５で受信したファイルの構成情報を仮想マシン２０５内に展開する。図９（Ａ）を例にすると、まずＴｏｐ＿Ｄｉｒを生成し、その中にＳｕｂ＿Ｄｉｒ＿０１、Ｓｕｂ＿Ｄｉｒ＿０２、Ｓｕｂ＿Ｄｉｒ＿０３に生成する。次にＳｕｂ＿Ｄｉｒ＿０２の中に、Ｓｕｂ＿Ｄｉｒ＿２１、Ｓｕｂ＿Ｄｉｒ＿２２を生成する。

【0066】

続いて、Ｓ６０８において、ファイル構成展開部２２０は、０バイトの空のファイルを生成する（。図９（Ａ）ではフォルダＳｕｂ＿Ｄｉｒ＿２１の中に、０バイトのｄｕｍｍｙ＿ｆｉｌｅ．ｔｘｔを生成する。Ｓ６０７及びＳ６０８の処理により、仮想マシン２０５のファイル閲覧機能を起動した際に、通信装置２０１と同じようなフォルダ構成を閲覧することができる。

【0067】

続いて、Ｓ６０９において、ファイル構成展開部２２０は、Ｓ６０２で受信した通信装置２０１のユーザの操作指示をブラウザ２０６に通知する。これに応じて、ブラウザ２０６は、仮想マシン２０５のファイル閲覧機能を起動する。ブラウザ２０６は、ファイル閲覧機能を呼び出す機能が標準で装備されているため、仮想マシン２０５内ではファイル閲覧機能呼出し部は不要となる。

【0068】

Ｓ６１０において、仮想マシン２０５の描画結果生成部２０９は、描画結果を生成して通信装置２０１へ送信する。このときの描画結果は、仮想マシン２０５のファイル閲覧機能によって、ファイル構成情報から展開・生成されたフォルダおよびファイル群が視覚的に表現されたファイル構成の視覚的表現である（視覚的表現送信）。

【0069】

Ｓ６１１において、送受信部２１０は、通信装置２０１からユーザの押下情報（例えば押下座標）を受信する（座標受信）。Ｓ６１２において、ブラウザ２０６は、ユーザが押下した押下座標に存在するファイルを特定する。このとき、ブラウザ２０６は、Ｓ６０９で仮想マシン２０５のファイル閲覧機能を起動しているため、Ｓ６１１で受信した押下情報を仮想マシン２０５に通知すれば、Ｓ６１２において、ユーザが所望するファイルを特定することができる。

【0070】

ここで、ユーザが選択したファイルがｄｕｍｍｙ＿ｆｉｌｅ．ｔｘｔであるとする。Ｓ６１２において、ブラウザ２０６は、標準的なファイル選択要素の処理を利用して、Ｗｅｂページにｄｕｍｍｙ＿ｆｉｌｅ．ｔｘｔを適用する。仮想マシン２０５上で選択されたｄｕｍｍｙ＿ｆｉｌｅ．ｔｘｔは、この時点では、Ｓ６０８で生成された０バイトの空のファイルである。このままＷｅｂページの処理を進めてしまうと、０バイトのデータがＷｅｂページ側に通知されるため、通信装置２０１からｄｕｍｍｙ＿ｆｉｌｅ．ｔｘｔのデータを取得する。

【0071】

Ｓ６１３において、送受信部２１０は、Ｓ６１２で特定したファイルの情報を通信装置２０１へ送信する（情報送信）。Ｓ６１３で送信する情報は、例えばファイル名とすることができる。本実施形態では、送信する文字列はｄｕｍｍｙ＿ｆｉｌｅ．ｔｘｔであるものとする。

【0072】

続いて、Ｓ６１４において、送受信部２１０は、通信装置２０１から、選択済ファイルのデータを受信する。Ｓ６１４では通信装置２０１に存在するｄｕｍｍｙ＿ｆｉｌｅ．ｔｘｔのデータを受信する。また、受信したｄｕｍｍｙ＿ｆｉｌｅ．ｔｘｔのデータを、それまでの０バイトの空のデータと置き換える。その後、Ｓ６１５へ進む。

【0073】

Ｓ６１５において、描画結果生成部２０９は、描画結果を生成し、送受信部２１０を介して通信装置２０１へ送信する。Ｓ６１６において、画像生成システム２０３は、ユーザがＷｅｂページの利用を終了したか否かを判定する。Ｓ６１６の判定の結果、ユーザがＷｅｂページの利用を終了した場合、Ｓ６１７へ進む。

【0074】

Ｓ６１７において、画像生成システム２０３は、Ｓ６０５で受信したファイル構成情報と、Ｓ６１４で受信した選択済ファイルのデータとを、仮想マシン２０５上から削除する。その後、一連の処理を終了する。一方、Ｓ６１６の判定の結果、ユーザがＷｅｂページの利用を継続する場合、Ｓ６０２に戻る。

【0075】

続いて、図７を利用して、本実施形態における通信装置２０１の処理フローを説明する。図７及び図４において、Ｓ７０１とＳ４０１、Ｓ７０２とＳ４０２、Ｓ７０３とＳ４０３、Ｓ７０９とＳ４０９、Ｓ７１０とＳ４１０は同じ処理であるため、説明を省略する。

【0076】

Ｓ７０４において、通信装置２０１の送受信部２１２は、ファイル選択モードを識別する情報を受信したか否かを判定する。Ｓ７０４の判定の結果、ファイル選択モードを識別する情報を受信した場合、Ｓ７０５へ進む。一方、ファイル選択モードを識別する情報を受信しなかった場合、Ｓ７０７へ進む。

【0077】

ここで、図９（Ｂ）を参照して、ファイル選択モードを識別する情報について説明する。図９（Ｂ）を見ると、通信装置２０１と画像生成システム２０３との間で送受信される情報がｋｅｙ＝Ｍｏｄｅ、ｖａｌｕｅ＝ＦｉｌｅＳｅｌｅｃｔである場合、ファイル選択モードであると分かる。

【0078】

Ｓ７０５において、通信装置２０１の送受信部２１３は、画像生成システム２０３へフォルダ構成情報を送信する。ここで、フォルダ構成情報の例は図９（Ａ）に示した通りである。Ｓ７０６において、通信装置２０１は、ユーザがブラウザの利用を終了したか否かを判定する。Ｓ７０６の判定の結果、ユーザがブラウザの利用を終了した場合、処理を終了する。一方、ユーザがブラウザの利用を継続する場合、Ｓ７０２に戻る。

【0079】

Ｓ７０７において、通信装置２０１は、ファイル選択結果を受信したか否かを判定する。ここで、ファイル選択結果の例について、図９（Ｂ）を参照して説明する。図９（Ｂ）を見ると、ｋｅｙ＝ＳｅｌｅｃｔｅｄＦｉｌｅ、ｖａｌｕｅ＝［Ｆｉｌｅ Ｎａｍｅ］である場合、ファイル選択結果であると分かる。Ｓ７０７では、送受信部２１３が受信した情報のｋｅｙ＝ＳｅｌｅｃｔｅｄＦｉｌｅの場合、ｖａｌｕｅを確認することで選択されたファイルを識別することができる。Ｓ７０７の判定の結果、ファイル選択結果を受信した場合、Ｓ７０８へ進む。一方、Ｓ７０７の判定の結果、ファイル選択結果を受信しなかった場合、Ｓ７０９へ進む。

【0080】

Ｓ７０８において、通信装置２０１は、ｖａｌｕｅ＝［Ｆｉｌｅ Ｎａｍｅ］のＦｉｌｅ Ｎａｍｅに該当するファイルを圧縮して、送受信部２１３から画像生成システム２０３へ送信する。Ｓ７０９の処理は、Ｓ４０９の処理と同じである。

【0081】

以上説明したように、本実施形態では、クラウドブラウザが遠隔の通信装置から通信装置のファイル構成情報を受信し、それに基づいてクラウドブラウザが仮想マシン上でファイル構成を再現する。これにより、仮想マシンのファイル閲覧機能を利用して、ユーザにファイル選択させること、さらには受信したファイルのデータを用いてアップロード処理等を行うことが可能となる。

【0082】

本明細書の開示は、以下の画像生成システム、通信装置、それらの動作方法およびプログラムを含む。

【0083】

（項目１）
通信装置と通信可能な画像生成システムであって、
前記通信装置からＷｅｂページに対する操作指示を受信する指示受信手段と、
前記操作指示がファイル選択のための押下である場合に所定の情報を前記通信装置へ送信する送信手段と、
前記所定の情報に基づいて前記通信装置から送信されたファイルを受信するファイル受信手段と、
前記ファイルの情報を前記Ｗｅｂページに反映して描画結果を生成する生成手段と、
前記描画結果を前記通信装置へ送信する結果送信手段と、
を備えることを特徴とする画像生成システム。

【0084】

（項目２）
前記送信手段は、押下された要素の情報を前記所定の情報として前記通信装置へ送信し、
前記ファイル受信手段は、前記押下された要素の情報に対応するファイルを前記通信装置から受信することを特徴とする項目１に記載の画像生成システム。

【0085】

（項目３）
前記送信手段は、ファイル選択モードであることを示す情報を前記所定の情報として前記通信装置へ送信し、
前記画像生成システムは、
前記ファイル選択モードであることを示す情報に基づいて前記通信装置から送信されたファイル構成情報を受信する構成情報受信手段と、
前記ファイル構成情報に基づいてフォルダ構成又はファイル構成の視覚的表現を生成して前記通信装置へ送信する表現送信手段と、
前記通信装置から前記視覚的表現に対するユーザの押下座標の情報を受信する座標受信手段と、
前記押下座標に基づいて前記ユーザにより選択されたファイルを示す情報を前記通信装置へ送信する情報送信手段と、をさらに備え、
前記ファイル受信手段は、前記選択されたファイルを前記通信装置から受信することを特徴とする項目１に記載の画像生成システム。

【0086】

（項目４）
前記表現送信手段は、前記ファイル構成情報に基づいてフォルダを展開してファイル群を生成することにより、前記通信装置と同じフォルダ構成又はファイル構成の視覚的表現を再現することを特徴とする項目３に記載の画像生成システム。

【0087】

（項目５）
前記ファイル群は、０バイトのファイル群であることを特徴とする項目４に記載の画像生成システム。

【0088】

（項目６）
ユーザが前記通信装置を介した前記画像生成システムの利用を終了する場合に、前記通信装置から受信した情報を削除する削除手段をさらに備えることを特徴とする項目１乃至５のいずれか１項目に記載の画像生成システム。

【0089】

（項目７）
画像生成システムと通信可能な通信装置であって、
前記画像生成システムへＷｅｂページに対する操作指示を送信する指示送信手段と、
前記操作指示がユーザによるファイル選択のための押下である場合に前記画像生成システムから送信される、所定の情報を受信する受信手段と、
前記所定の情報に基づいてファイルを前記画像生成システムへ送信するファイル送信手段と、
前記ファイルの情報が前記Ｗｅｂページに反映された描画結果を前記画像生成システムから受信する結果受信手段と、
前記描画結果を画面に表示させる表示制御手段と、
を備えることを特徴とする通信装置。

【0090】

（項目８）
通信装置と通信可能な画像生成システムの動作方法であって、
前記通信装置からＷｅｂページに対する操作指示を受信する指示受信工程と、
前記操作指示がファイル選択のための押下である場合に所定の情報を前記通信装置へ送信する送信工程と、
前記所定の情報に基づいて前記通信装置から送信されたファイルを受信するファイル受信工程と、
前記ファイルの情報を前記Ｗｅｂページに反映して描画結果を生成する生成工程と、
前記描画結果を前記通信装置へ送信する結果送信工程と、
を有することを特徴とする画像生成システムの動作方法。

【0091】

（項目９）
画像生成システムと通信可能な通信装置の動作方法であって、
前記画像生成システムへＷｅｂページに対する操作指示を送信する指示送信工程と、
前記操作指示がユーザによるファイル選択のための押下である場合に前記画像生成システムから送信される、所定の情報を受信する受信工程と、
前記所定の情報に基づいてファイルを前記画像生成システムへ送信するファイル送信工程と、
前記ファイルの情報が前記Ｗｅｂページに反映された描画結果を前記画像生成システムから受信する結果受信工程と、
前記描画結果を画面に表示させる表示制御工程と、
を有することを特徴とする通信装置の動作方法。

【0092】

（項目１０）
コンピュータに、項目９に記載の通信装置の動作方法を実行させるためのプログラム。

【0093】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0094】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0095】

２０１：通信装置、２１１：表示部、２１２：送受信部、２１３：ファイル閲覧機能呼出し部、２１４：専用ビューワ、２０３：画像生成システム、２０４：ゲートウェイ、２０５：仮想マシン、２０６：ブラウザ、２０７：押下要素判定部、２０８：ファイル情報反映部、２０９：描画結果生成部、２２０：ファイル構成展開部、２２１：ファイル選択通知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】