(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025012528
(43)【公開日】2025-01-24
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G06F 3/04842 20220101AFI20250117BHJP
G06F 3/0488 20220101ALI20250117BHJP
H04N 21/258 20110101ALI20250117BHJP
【FI】
G06F3/04842
G06F3/0488
H04N21/258
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023115415
(22)【出願日】2023-07-13
(71)【出願人】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】仲川 裕一朗
【テーマコード(参考)】
5C164
5E555
【Fターム(参考)】
5C164SB29S
5C164SC11P
5C164YA11
5E555AA61
5E555AA76
5E555BA05
5E555BA06
5E555BA25
5E555BB05
5E555BB06
5E555BB25
5E555BC01
5E555BD05
5E555CA12
5E555CB12
5E555CC01
5E555DA01
5E555DB05
5E555DB18
5E555DB57
5E555DD08
5E555FA00
(57)【要約】 (修正有)
【課題】一の画面共有先デバイス(スマホ等)からのリクエストがあった場合でも、他のデバイスの利便性を保持する情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】第一の表示部である出力部142と、第一の表示部に表示する画面を生成する画面生成部115と、画面を、ネットワークを介して外部端末20a、20bに送信する送受信制御部114と、を備えた情報処理装置10であって、外部端末が備える第二の表示部に表示される画面に対して行われるユーザの操作を検知する操作検知部111と、画面と操作に応じて、操作に基づくイベントの実行を許可するか否かを選択させる選択画面を、情報処理装置および外部端末のうち、少なくとも1つの装置に対して表示させる制御を行う表示制御部117と、選択画面に対するユーザの選択結果に基づいて、操作に基づくイベントの実行を許可するか否かを判定するイベント実行判定部116と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
第一の表示部と、前記第一の表示部に表示する画面を生成する画面生成部と、前記画面を、ネットワークを介して端末装置に送信する送受信制御部と、を備えた情報処理装置であって、
前記端末装置が備える第二の表示部に表示される前記画面に対して行われるユーザの操作を検知する操作検知部と、
前記画面と前記操作に応じて、前記操作に基づくイベントの実行を許可するか否かを選択させる選択画面を、前記情報処理装置および前記端末装置のうち、少なくとも1つの装置に対して表示させる制御を行う表示制御部と、
前記選択画面に対するユーザの選択結果に基づいて、前記操作に基づくイベントの実行を許可するか否かを判定するイベント実行判定部と、
を備える情報処理装置。
【請求項2】
前記画面は、マルチメディアの再生画面であり、
前記表示制御部は、前記情報処理装置および前記操作が行われた前記端末装置以外の前記端末装置に対し前記選択画面を表示させる制御を行う請求項1に記載の情報処理装置。
【請求項3】
前記画面は、地図画面であり、
前記表示制御部は、前記情報処理装置に対し前記選択画面を表示させる制御を行い、前記端末装置に対し前記選択画面を表示させる制御を行わない請求項1に記載の情報処理装置。
【請求項4】
前記画面は、ウェブページの表示画面であり、
前記表示制御部は、前記操作が行われた前記端末装置に対し前記選択画面を表示させる制御を行い、他の装置に対し前記選択画面を表示させる制御を行わない請求項1に記載の情報処理装置。
【請求項5】
前記操作に基づくイベントは、リンク先に画面遷移させるものであり、
前記表示制御部は、前記操作に基づくイベントの実行が許可されたとき、前記操作を行った端末装置との画面の送信を中止し、前記操作が行われた端末装置が備える閲覧ソフトウェアにより前記リンク先の画面を表示させる制御を行う請求項4に記載の情報処理装置。
【請求項6】
第一の表示部と、前記第一の表示部に表示する画面を生成する画面生成部と、前記画面を、ネットワークを介して端末装置に送信する送受信制御部と、を備えた情報処理装置が行う情報処理方法であって、
前記端末装置が備える第二の表示部に表示される前記画面に対して行われるユーザの操作を検知し、
前記画面と前記操作に応じて、前記操作に基づくイベントの実行を許可するか否かを選択させる選択画面を、前記情報処理装置および前記端末装置のうち、少なくとも1つの装置に対して表示させる制御を行い、
前記選択画面に対するユーザの選択結果に基づいて、前記操作に基づくイベントの実行を許可するか否かを判定する、
情報処理方法。
【請求項7】
第一の表示部と、前記第一の表示部に表示する画面を生成する画面生成部と、前記画面を、ネットワークを介して端末装置に送信する送受信制御部と、を備えた情報処理装置が備えるコンピュータが実行するプログラムであって、
前記端末装置が備える第二の表示部に表示される前記画面に対して行われるユーザの操作を検知する機能と、
前記画面と前記操作に応じて、前記操作に基づくイベントの実行を許可するか否かを選択させる選択画面を、前記情報処理装置および前記端末装置のうち、少なくとも1つの装置に対して表示させる制御を行う機能と、
前記選択画面に対するユーザの選択結果に基づいて、前記操作に基づくイベントの実行を許可するか否かを判定する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、プログラムに関する。
【背景技術】
【0002】
複数のデバイス間の画面共有を行うミラーリングシステムにおいて、一の画面共有先デバイス(スマホ等)からのリクエストに基づいて一律で画面共有元デバイス(車載機等)の画面制御を行う場合がある。
【0003】
特許文献1は、無線通信部および制御部を具備する情報処理装置について開示する。この無線通信部は、他の情報処理装置との間でデータ通信を行う。また、少なくとも自装置および第1の情報処理装置により形成されるネットワークのグループオーナーの役割を担う第1の情報処理装置との間で新たにデータ伝送を行う場合を想定する。この場合に、制御部は、第1情報処理装置および第2情報処理装置のそれぞれにデータ伝送を行うための役割を更新するための情報をやりとりする制御を行う。
特許文献2は、LTEのような4G通信システム以後に一層高いデータ伝送レートをサポートするために提供される5G又はpre-5G通信システムについて開示する。これは、複数の電子機器が第1の電子機器と連動されるサービスを使用する方法であって、中央ディスプレイ機器に接続され、第1の電子機器が格納されているービスの再生リストに基づいて、サービスを中央ディスプレイ機器にミラーリングするステップを有する。また、第2の電子機器から再生リストの変更リクエストを受信し、再生リストを変更リクエストに対応して更新するステップを有する。さらに、更新された再生リスト関連情報を中央ディスプレイ機器に伝送するステップを有する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2016/163181号
【特許文献2】特表2019―511798号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、リクエストに基づき、表示画面が一の画面共有先に支配されてしまうため、この一の画面共有先であるデバイス以外のデバイスには、利便性がよくない。
本発明は、一の画面共有先のデバイスからのリクエストがあった場合でも、他のデバイスの利便性を保持することができる情報処理装置、情報処理方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するため本発明は、第一の表示部と、第一の表示部に表示する画面を生成する画面生成部と、画面を、ネットワークを介して端末装置に送信する送受信制御部と、を備えた情報処理装置であって、端末装置が備える第二の表示部に表示される画面に対して行われるユーザの操作を検知する操作検知部と、画面と操作に応じて、操作に基づくイベントの実行を許可するか否かを選択させる選択画面を、情報処理装置および端末装置のうち、少なくとも1つの装置に対して表示させる制御を行う表示制御部と、選択画面に対するユーザの選択結果に基づいて、操作に基づくイベントの実行を許可するか否かを判定するイベント実行判定部と、を備える情報処理装置である。
【発明の効果】
【0007】
本発明によれば、一の画面共有先のデバイスからのリクエストがあった場合でも、他のデバイスの利便性を保持することができる情報処理装置、情報処理方法、プログラムを提供することができる。
【図面の簡単な説明】
【0008】
【
図1】本発明が適用される画像制御システムの構成を示したブロック図である。
【
図2】情報処理装置および外部端末において、マルチメディアの再生画面が表示されている状態を示した図である。
【
図3】外部端末のユーザが一時停止の操作を行ったときに、各装置で表示される画面を示した図である。
【
図4】第1の実施形態で、情報処理装置および外部端末のそれぞれが行う処理を示したシーケンス図である。
【
図5】情報処理装置および外部端末において、地図画面が表示されている状態を示した図である。
【
図6】外部端末のユーザが地図画面のズームアウトの操作を行ったときに、各装置で表示される画面を示した図である。
【
図7】第2の実施形態で、情報処理装置および外部端末のそれぞれが行う処理を示したシーケンス図である。
【
図8】情報処理装置および外部端末において、ウェブページの表示画面が表示されている状態を示した図である。
【
図9】外部端末のユーザがリンク先の画面を表示する操作を行ったときに、各装置で表示される画面を示した図である。
【
図10】第3の実施形態で、情報処理装置および外部端末のそれぞれが行う処理を示したシーケンス図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照し、本発明の実施の形態について、詳細に説明する。
<画像制御システム1の概略説明>
図1は、本発明が適用される画像制御システム1の構成を示したブロック図である。
画像制御システム1は、移動体の一例である車両に搭載される。画像制御システム1は、情報処理装置10と、外部端末20a、20bとを備える。情報処理装置10と外部端末20a、20bとは、ネットワーク30にて接続されている。
【0010】
情報処理装置10は、外部端末20a、20bと共有する画面の画像情報を生成するとともに、この画面の表示を行う。
情報処理装置10は、コンピュータ装置である。より具体的には、情報処理装置10は、カーナビゲーション装置、カーオーディオ装置、自動車制御システム等である。図示するように、情報処理装置10は、CPU(Central Processing Unit)等のプロセッサ11と、記憶手段であるメモリ12と、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の永続記憶装置13とを備える。プロセッサ11は、OS(基本ソフトウェア)やアプリケーションプログラム(応用ソフトウェア)等の各種ソフトウェアを実行する。メモリ12は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域である、永続記憶装置13は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
また、情報処理装置10は、ユーザとの間で情報をやり取りするユーザインタフェース(以下、「ユーザIF」と言う)14と、外部との通信を行うための通信インタフェース(以下、「通信IF」と言う)15とを備える。
【0011】
プロセッサ11は、操作検知部111、イベント解析部112、アプリケーション実行部113、送受信制御部114、画面生成部115、イベント実行判定部116、表示制御部117、および通知情報選択部118の各機能を実現する処理を行う。
【0012】
操作検知部111は、外部端末20a、20bに表示されている画面に対して行われるユーザの操作を検知する。
イベント解析部112は、外部端末20a、20bのユーザの操作に基づくイベントの内容を解析する。つまり、イベント解析部112は、外部端末20a、20bを操作するユーザが意図する操作の内容を解析する。また、イベント解析部112は、外部端末20a、20bを操作するユーザ操作が、予め定められた操作であるかを判断する。
【0013】
アプリケーション実行部113は、情報処理装置10で動作するアプリケーションを実行する。実行するアプリケーションについては、後述する。
送受信制御部114は、通信IF15を介して外部端末20a、20bとの間で行う情報の送受信を制御する。送受信制御部114は、出力部142に表示される画面と同じ画面を、ネットワーク30を介して外部端末20a、20bに送信する、と言うこともできる。
【0014】
画面生成部115は、アプリケーションの実行に応じ、出力部142に表示する画面を生成する。
イベント実行判定部116は、後述する選択画面に対するユーザの選択結果に基づいて、ユーザの操作に基づくイベントの実行を許可するか否かを判定する。この具体的な判定方法については後述する。
表示制御部117は、画面生成部115で生成した画面を出力部142に表示する制御を行う。また、表示制御部117は、出力部142に表示中の画面と該画面に対するユーザの操作結果に応じて、操作結果に基づくイベントの実行を許可するか否かを選択させる選択画面を、情報処理装置10および外部端末20a、20bのうち、少なくとも1つの装置に対して表示させる制御を行う。出力部142に表示中の画面は、アプリケーションの実行に伴い表示される画面である。この場合、表示制御部117は、アプリケーションにより表示される画面とユーザが意図する操作の内容とに応じて、選択画面を表示する装置を情報処理装置10および外部端末20a、20bの中から選び、選んだ装置に選択画面を表示する制御を行う、と言うこともできる。この具体的な内容については後述する。
通知情報選択部118は、情報処理装置10および外部端末20a、20bに送信する通知情報を選択する。通知情報は情報処理装置10や外部端末20a、20bに表示中の画面に対する各ユーザの操作結果に基づき選択される。通知情報の詳細については
図11を用いて後述する。
【0015】
永続記憶装置13は、永続記憶装置13で選択する通知情報131を記憶する。ここでは、通知情報131は、許可要否、承認待ち、却下、操作要否についての通知情報を記憶する。
ユーザIF14は、入力部141と、出力部142とを備える。入力部141は、ユーザが情報処理装置10に入力を行うときに使用する。出力部142は、第一の表示部の一例であり、ユーザに対する画面や情報を表示する。本実施の形態では、入力部141および出力部142は、これらの機能を兼ね備えたタッチパネルである。ただし、これに限られるものではなく、入力部141は、キーボート、マウス、タッチパッド等であってもよい。また出力部142は、タッチパネルの機能を有しない液晶ディスプレイ等の表示装置であってもよい。
【0016】
外部端末20a、20bは、情報処理装置10と画面を共有する端末装置の一例である。外部端末20a、20bも、情報処理装置10と同様のコンピュータ装置であり、プロセッサやメモリ等からなる。外部端末20a、20bは、情報処理装置10から転送され、出力部142に表示される画面と同じ画面を表示することができる第二の表示部を備える。第二の表示部は、例えば、タッチパネルである。また、外部端末20a、20bは、
図1に示されるような情報処理装置10と同様の構成を備えていてもよい。外部端末20a、20bは、例えば、ユーザが所持する携帯端末装置であり、具体的には、スマートフォン、タブレット等である。もしくは後部座席用のディスプレイ装置等でもよい。ここでは、外部端末20a、20bとして、2つを表示しているが、その数は、いくつであってもよい。
【0017】
ネットワーク30は、携帯電話回線、Wi-Fi(Wireless Fidelity、登録商標)、Bluetooth(登録商標)、ZigBee(登録商標)、UWB(Ultra-Wide Band)等の無線通信回線が利用できる。また、ネットワーク30は、有線LAN(Local Area Network)回線、USB(Universal Serial Bus)、光通信回線、公衆電話回線等の有線通信回線が利用できる。なお、ネットワーク30として、無線通信回線と有線通信回線とを併用してもよく、インターネット等を併せて利用してもよい。
【0018】
<情報処理装置10の動作説明>
情報処理装置10の動作について3つの実施形態を説明する。
【0019】
〔第1の実施形態〕
第1の実施形態では、アプリケーション実行部113が、アプリケーションとして、マルチメディアを再生する動画再生ソフトウェアを実行する場合について説明する。この場合、画面生成部115は、マルチメディアの再生画面を生成する。そして、表示制御部117は出力部142にマルチメディアの再生画面を表示し、外部端末20a、20bには前記情報処理装置10から転送されるマルチメディアの再生画面を表示する指示を送信する。
【0020】
図2は、情報処理装置10および外部端末20a、20bにおいて、マルチメディアの再生画面が表示されている状態を示した図である。
ここでは、車両の前席にて情報処理装置10の画面が表示されている。また、後席(右)にて外部端末20aの画面が表示され、後席(左)にて外部端末20bの画面が表示されている。この場合、情報処理装置10のユーザは、例えば、車両の運転者である。そして、外部端末20a、20bのユーザは、例えば、後席において自身のスマートフォンで、マルチメディアの再生画面を視聴する者である。
この場合、情報処理装置10で生成されたマルチメディアの画像情報が、外部端末20a、20bに転送され、情報処理装置10および外部端末20a、20bにおいて共通の画面が表示される。そして、外部端末20aのユーザが、画面に関する操作として、一時停止を行う一時停止ボタンBt2をタッチした場合を示している。
【0021】
イベント解析部112は、外部端末20aのユーザの操作が、予め定められた操作であるかを判断し、予め定められた操作でない場合は、該操作に基づくイベントを無効と判断する。画面の操作をトリガとして実行する処理は、情報処理装置10の画面共有を実現するアプリケーションに予め定義されている。この場合、解析する操作対象を限定することができる。
図2の例では、前曲スキップボタンBt1、一時停止ボタンBt2、次曲スキップボタンBt3が用意され、これらに対応した操作である前曲スキップ、一時停止、次曲スキップ以外の操作に基づくイベントは無効になる。
【0022】
図3は、外部端末20aのユーザが一時停止の操作を行ったときに、各装置で表示される画面を示した図である。なお、外部端末20aのユーザが一時停止の操作を行ったということは、イベント解析部112によって得られた解析結果である。そして、イベント解析部112の解析結果に基づき、通知情報選択部118は、情報処理装置10や外部端末20a、20bに、通知する通知情報を選択する。
この場合、表示制御部117は、操作に基づくイベント(ここでは、一時停止)の実行を許可するか否かを選択させる選択画面としてダイアログAを、情報処理装置10および操作が行われた外部端末以外の外部端末に対し表示させる制御を行う。具体的には、表示制御部117は、情報処理装置10にダイアログAを表示させる制御を行い、外部端末20bにはダイアログ表示要求(通知情報131)を送信し、外部端末20bにダイアログAを表示させる。ここで、ダイアログAを表示させるのは、通知情報選択部118の選択結果に基づくものである。
図3では、情報処理装置10および外部端末20bに対し、「後席(右)から操作のリクエストがあります。操作を許可しますか?」のメッセージを含むダイアログAが表示された場合を示している。情報処理装置10および外部端末20bのユーザは、許可する場合は、ダイアログA中の「はい」のボタンをタッチし、不許可の場合は、「いいえ」のボタンをタッチする。図では、情報処理装置10のユーザが、「はい」のボタンをタッチし、外部端末20bのユーザが、「いいえ」のボタンをタッチしたことを示している。ダイアログAはユーザのタッチ操作後に削除される。
また、情報処理装置10や外部端末20bのユーザが許可または不許可を選択している間は、操作が行われた外部端末20aには、「操作リクエスト中」のメッセージを含むダイアログBが表示される。
【0023】
イベント実行判定部116が操作に基づくイベントの実行を許可する条件としては、例えば、多数決による過半数以上の許可、特定の座席(例えば、運転席)の許可、画像の配信元の許可などが考えられる。なお、操作に基づくイベントの実行を許可するか否かを選択させるのに制限時間を設けることが好ましい。そして、この制限時間を超過(タイムアウト)したときは、情報処理装置10は、その時点で得られた返信を集計する。
【0024】
選択画面は、情報処理装置10および外部端末20a、20bのうち、操作に基づくイベントを実行することで影響が発生する装置に対し表示される。情報処理装置10が外部端末20aと外部端末20bにマルチメディアの再生画面を共有しているときに、例えば外部端末20aのユーザが一時停止の操作を行った場合、この操作は、マルチメディアの再生画面を視聴する全員に対し影響を与える。具体的には、急に画面が切り替わったり、ポップアップが出たりする。そのため、操作を行ったユーザ以外のユーザの装置に対し、この操作に基づくイベント(ここでは、一時停止)の実行を許可するか否かを選択させる選択画面を表示させ、操作に基づくイベントの実行を許可するか否かを選択させる。これにより、操作を行ったユーザ以外のユーザは、操作に基づくイベントの実行を不許可にする権限が与えられるとともに、操作に基づくイベントの実行の許可後に画面が切り替わったり、ポップアップが出たりしても予めこれを予期することができる。この場合、表示制御部117は、動画再生ソフトウェアにより表示される画面とユーザによって行われた操作(ここでは、一時停止)に応じて、該操作に基づくイベントの実行を許可するか否かを選択させる選択画面であるダイアログAを、情報処理装置10および外部端末20bに対して表示させる制御を行う、と言うこともできる。
【0025】
情報処理装置10は、選択画面に対する各ユーザからの選択結果に応じ、操作に基づくイベントの実行を許可したときには、許可されたイベントに基づく処理を実行する。この場合、外部端末20aのユーザが行った一時停止の操作に基づくイベントが実行され、マルチメディアの再生画面が一時停止する。対して、操作に基づくイベントの実行を不許可にするときには、不許可された操作に基づくイベントは実行されない。この場合、外部端末20aのユーザが行った一時停止の操作に基づくイベントが却下となり、各装置におけるマルチメディアの再生画面は、一時停止しない。また、外部端末20aには、「操作は却下されました」のメッセージを含むダイアログCが表示される。なお、ダイアログCは、表示されてから所定時間経過すると削除される。
【0026】
図4は、第1の実施形態で、情報処理装置10および外部端末20a、20bのそれぞれが行う処理を示したシーケンス図である。
情報処理装置10が、外部端末20a、20bと共有するために転送する画面として、マルチメディアの再生画面を生成する(S101)。
情報処理装置10は、情報処理装置10でマルチメディアの再生画面を表示するとともに、この画面の画像情報を外部端末20a、20bに向け送信する(S102)。
外部端末20a、20bは、情報処理装置10から送られた画像情報を受信し、外部端末20a、20bのそれぞれで、情報処理装置10と同じマルチメディアの再生画面を表示する(S103、S104)。
【0027】
マルチメディアの再生画面を表示中に、外部端末20aのユーザが画面をタッチする画面操作をすると、操作に基づくイベントが情報処理装置10に送られる(S105)。
情報処理装置10では、外部端末20aのユーザの操作に基づくイベントの内容を解析する(S106)。
S105~S106は、外部端末20aのユーザからの画面操作を受け付ける操作フェーズであると考えることができる。
【0028】
情報処理装置10は、予め定められた操作であった場合、情報処理装置10に、外部端末20aのユーザによる操作に基づくイベントの実行を許可するか否かを選択させる選択画面として、ダイアログAを表示する(S107)。
一方、情報処理装置10は、外部端末20a、20bに対しダイアログ表示要求(通知情報131)を送信する(S108)。これは、情報処理装置10が、外部端末20a、20bにダイアログ表示要求(通知情報131)を送ることで実現できる。その結果、外部端末20aは、「操作リクエスト中」のメッセージを含むダイアログBを表示する(S109)。さらに、外部端末20bは、情報処理装置10と同様のダイアログAを表示する(S110)。
情報処理装置10は、情報処理装置10のユーザからダイアログAに対する操作受付をする(S111)。また、情報処理装置10は、外部端末20bのユーザからダイアログAに対する操作受付をする(S112)。即ち、情報処理装置10は、ダイアログAで選択における「はい」または「いいえ」の各ユーザの選択結果を受け付ける。
S107~S112は、外部端末20aのユーザからの画面操作を承認する承認フェーズであると考えることができる。
【0029】
情報処理装置10は、操作受付の集計を行い、外部端末20aのユーザからの操作に基づくイベントの実行可否を判断する(S113)。
情報処理装置10は、S113の判断結果に対応した処理要求を送信する(S114)。
その結果、情報処理装置10は、判断結果に対応した処理を行う(S115)。この場合、この処理は、操作に基づくイベントを反映するか、何もしないかのいずれかになる。
外部端末20aも、情報処理装置10からの指示に基づき判断結果に対応した処理を行う(S116)。この場合、この処理は、ダイアログBを削除して、操作に基づくイベントを反映した情報処理装置10に表示される画面を表示するか、ダイアログBを削除して、「操作は却下されました」のメッセージを含むダイアログCが表示されるかのいずれかになる。これは、外部端末20aのユーザが行った操作に対するリクエスト結果である。なお、ダイアログCは、表示されてから所定時間経過すると削除される。
外部端末20bも、情報処理装置10からの指示に基づき判断結果に対応した処理を行うが、この場合、何もしない(S117)。つまり、外部端末20bは、S115で情報処理装置10に表示される画面が共有されることとなる。具体的には、外部端末20bは、外部端末20aのユーザの操作に基づくイベントを反映した情報処理装置10に表示される画面か、外部端末20aのユーザの操作前の情報処理装置10に表示されていた画面を表示する。
S113~S117は、外部端末20aのユーザからの画面操作を実行する実行フェーズであると考えることができる。
【0030】
〔第2の実施形態〕
第2の実施形態では、アプリケーション実行部113が、アプリケーションとして、ナビゲーションソフトウェアを実行する場合について説明する。この場合、画面生成部115は、地図画面を生成する。そして、表示制御部117は、出力部142に地図画面を表示し、外部端末20a、20bには前記情報処理装置10から転送される地図画面を表示する指示を送信する。
【0031】
図5は、情報処理装置10および外部端末20a、20bにおいて、地図画面が表示されている状態を示した図である。
この場合、情報処理装置10で生成された地図画面の画像情報が、外部端末20a、20bに転送され、情報処理装置10および外部端末20a、20bにおいて共通の地図画面が表示される。そして、外部端末20aのユーザが画面に関する操作として、地図画面のズームアウトを行うズームアウトボタンBt5をユーザがタッチした場合を示している。
【0032】
図5の例では、ズームインボタンBt4、ズームアウトボタンBt5が用意され、これらに対応した操作であるズームイン、ズームアウト以外の操作に基づくイベントは無効になる。
【0033】
図6は、外部端末20aのユーザが地図画面のズームアウトの操作を行ったときに、各装置で表示される画面を示した図である。
表示制御部117は、情報処理装置10に対し操作に基づくイベント(ここでは、地図のズームアウト)の実行を許可するか否かを選択させる選択画面としてダイアログAを表示させる制御を行う。一方、表示制御部117は、外部端末20a、20bに対し選択画面を表示させる制御を行わず、外部端末20a、20bにはダイアログAは表示されない。
図6では、情報処理装置10に対し、「後席(右)から操作のリクエストがあります。操作を許可しますか?」のメッセージを含むダイアログAが表示された場合を示している。
情報処理装置10のユーザが許可または不許可を選択している間は、外部端末20aには、「操作リクエスト中」のメッセージを含むダイアログBが表示される。ここで、外部端末20aがダイアログBを表示するのは、通知情報選択部118の選択結果に基づき、表示制御部117がダイアログ表示要求(通知情報131)を外部端末20aに送信した結果である。なお、外部端末20bには、ダイアログは何も表示されない。
【0034】
地図画面を共有画面として表示しているときに、例えば外部端末20aのユーザによって地図のズームアウトの操作が行われた場合、この操作に基づくイベントが影響するのは、主に前席で運転を行う運転者である。即ち、運転中に、情報処理装置10で表示される地図画面に対し、意図しない操作が行われると、運転に影響を与えるおそれがある。一方、外部端末20bのユーザに与える影響は小さい。そのため、表示制御部117は、情報処理装置10に対し、この操作に基づくイベント(ここでは、地図のズームアウト)の実行を許可するか否かを選択させる選択画面を表示させる制御を行う。一方、表示制御部117は、外部端末20bには、選択画面を表示させる制御を行わない。つまり、外部端末20bにダイアログAは表示されない。この場合、表示制御部117は、ナビゲーションソフトウェアにより表示される画面とユーザによって行われた操作(ここでは、地図のズームアウト)に応じて、該操作に基づくイベントの実行を許可するか否かを選択させる選択画面であるダイアログAを、情報処理装置10に対して表示させる制御を行う、と言うこともできる。
【0035】
情報処理装置10は、選択画面に対する情報処理装置10のユーザからの選択結果に応じ、操作に基づくイベントの実行を許可したときには、許可されたイベントに基づく処理を実行する。この場合、外部端末20aのユーザによって行われた地図のズームアウトの操作に基づくイベントが実行され、地図がズームアウトする。一方、操作に基づくイベントを不許可にするときには、不許可された操作に基づくイベントは実行されない。この場合、外部端末20aのユーザが行った地図のズームアウトの操作に基づくイベントが却下となり、地図画面は、ズームアウトしない。この場合、外部端末20aには、「操作は却下されました」のメッセージを含むダイアログCが表示される。なお、ダイアログCは、表示されてから所定時間経過すると削除される。
【0036】
図7は、第2の実施形態で、情報処理装置10および外部端末20a、20bのそれぞれが行う処理を示したシーケンス図である。
図7のS201~S207は、
図4のS101~S107と同様である。ただし、外部端末20aのユーザによる操作は、一時停止の操作から地図画面のズームアウトの操作に変更される。
図7のS208以後は以下のようになる。
情報処理装置10は、外部端末20aに対しダイアログ表示要求(通知情報131)を送信する(S208)。その結果、外部端末20aでは、「操作リクエスト中」のメッセージを含むダイアログBが表示される(S209)。ダイアログ表示要求(通知情報131)は、
図4の場合と異なり、外部端末20aに対してのみ行われ、外部端末20bにダイアログは表示されない。
情報処理装置10は、情報処理装置10のユーザからダイアログAに対する操作受付をする(S210)。
図4の場合と異なり、外部端末20bにダイアログは表示されないため、情報処理装置10は、外部端末20bのユーザからダイアログAに対する操作受付はしない。
図7のS211~S215は、
図4のS113~S117と同様である。
【0037】
第2の実施形態で、S205~S206は、外部端末20aのユーザからの画面操作を受け付ける操作フェーズであると考えることができる。S207~S210は、外部端末20aのユーザからの画面操作を承認する承認フェーズであると考えることができる。S211~S215は、外部端末20aのユーザからの画面操作を実行する実行フェーズであると考えることができる。
【0038】
〔第3の実施形態〕
第3の実施形態では、アプリケーション実行部113が、アプリケーションとして、ブラウザ等の閲覧ソフトウェアを実行する場合について説明する。この場合、画面生成部115は、ウェブページの表示画面を生成する。そして、表示制御部117は、出力部142にウェブページの表示画面を表示し、外部端末20a、20bには前記情報処理装置10から転送されるウェブページの表示画面を表示する指示を送信する。
【0039】
図8は、情報処理装置10および外部端末20a、20bにおいて、ウェブページの表示画面が表示されている状態を示した図である。
この場合、情報処理装置10で生成されたウェブページの表示画面の画像情報が、外部端末20a、20bに転送され、情報処理装置10および外部端末20a、20bにおいて共通のウェブページの表示画面が表示される。そして、外部端末20aのユーザが画面に関する操作として、他のウェブページに遷移するリンクボタンBt6をタッチした場合を示している。この場合、この操作に基づくイベントは、リンク先に画面遷移させるものである。
【0040】
図8の例では、リンクボタンBt6が用意され、これに対応した操作である他のウェブページに遷移する以外の操作に基づくイベントは無効になる。
【0041】
図9は、外部端末20aのユーザがリンク先の画面を表示する操作を行ったときに、各装置で表示される画面を示した図である。
表示制御部117は、操作が行われた外部端末20aに対し操作に基づくイベントの実行を許可するか否かを選択させる選択画面としてダイアログDを表示させる制御を行う。一方、表示制御部117は、他の装置に対し選択画面を表示させる制御は行わない。つまり、操作を行った外部端末20a以外の装置にダイアログは何も表示されない。
図9では、外部端末20aに対し、「ブラウザでこのページを開きますか?」のメッセージを含むダイアログDが表示された場合を示している。
【0042】
ウェブページの表示画面を共有画面として表示しているときに、他のウェブページに遷移するための操作が行われた場合、この操作に基づくイベントが影響するのは、外部端末20aのユーザだけである。一方、情報処理装置10、外部端末20bでは、従来のウェブページが表示されるため、これらのユーザに与える影響はない。そのため、表示制御部117は、外部端末20aに対し、この操作に基づくイベントの実行を許可するか否かを選択させる選択画面を表示させる制御を行う。一方、表示制御部117は、外部端末20a以外の他の装置には、選択画面を表示させる制御を行わない。つまり、外部端末20a以外の他の装置にダイアログDは表示されない。この場合、表示制御部117は、閲覧ソフトウェアにより表示される画面とユーザによって行われた操作(ここでは、リンク先へ画面遷移)に応じて、該操作に基づくイベントの実行を許可するか否かを選択させる選択画面であるダイアログDを、外部端末20aに対して表示させる制御を行う、と言うこともできる。
【0043】
外部端末20aのユーザによって操作に基づくイベントが許可、即ちダイアログDにおける「はい」のボタンが選択されたときは、外部端末20aと情報処理装置10との画面の共有が解除され、操作が行われた外部端末20aが備える閲覧ソフトウェアによりリンク先の画面が表示される。この場合、画面の共有の解除とは、情報処理装置10が外部端末20aへ共有していた画面の転送(送信)を中止することを意味する。こうすることで、画面操作を行った外部端末20aに共有中の画面を支配されず、情報処理装置10や外部端末20bは、外部端末20aのユーザの操作前の画面を維持することができる。また、外部端末20aはユーザの操作通りに他のウェブページに遷移することができる。即ち各デバイスの利便性が向上する。
【0044】
図10は、第3の実施形態で、情報処理装置10および外部端末20a、20bのそれぞれが行う処理を示したシーケンス図である。
図10のS301~S306は、
図7のS201~S206と同様である。ただし、外部端末20aのユーザによる操作は、地図画面のズームアウトの操作からリンク先の画面を表示する操作に変更される。
図10のS307以後は以下のようになる。
情報処理装置10は、外部端末20aに対しダイアログ表示要求(通知情報131)を送信する(S307)。その結果、外部端末20aでは、「ブラウザでこのページを開きますか?」のメッセージを含むダイアログDが表示される(S308)。
情報処理装置10は、外部端末20aのユーザからダイアログDに対する操作受付をする(S309)。即ち、情報処理装置10は、ダイアログDで選択する「はい」または「いいえ」の操作受付をする。
図10のS310~S311は、
図7のS211~S212と同様である。
以後のS312では、情報処理装置10では、判断結果に対応した処理を行うが、この場合、何もしない(S312)。
外部端末20aは、情報処理装置10からの指示に基づき判断結果に対応した処理を行う(S313)。この場合、この処理は、外部端末20aが備えるブラウザでリンク先の画面を表示するか、何もしないかのいずれかになる。
外部端末20bは、情報処理装置10からの指示に基づき判断結果に対応した処理を行うが、この場合、何もしない(S314)。
【0045】
第3の実施形態で、S305~S306は、外部端末20aのユーザからの画面操作を受け付ける操作フェーズであると考えることができる。S307~S309は、外部端末20aのユーザからの画面操作を承認する承認フェーズであると考えることができる。S310~S314は、外部端末20aのユーザからの画面操作を実行する実行フェーズであると考えることができる。
【0046】
<通知情報131の説明>
図11は、通知情報131について示した図である。
通知情報131は、通知情報選択部118の選択結果に基づいて表示制御部117が情報処理装置10、外部端末20a、20bに対し送信する処理要求や通知内容である。ここでは、ID1~5で示した通知情報131を示している。この中でID1~4は、
図1で示した許可要否、承認待ち、却下、操作要否に対応する。さらに、ID1~4の通知情報は、
図4~10で示したダイアログA~Dの情報を表す。なお、通知内容はこれに限らず、例えば「後席(右)から操作のリクエスト(一時停止)があります。操作を許可しますか?」というように、ユーザの操作に基づくイベントの具体的な内容をダイアログ上に表示するようにしてもよい。
【0047】
以上詳述した形態によれば、一の画面共有先デバイスからのリクエストがあった場合でも、他のデバイスの利便性を保持することができる情報処理装置10、画像制御システム1を提供することができる。その結果、安全で使いやすいが画面共有の機能を提供することができる。
【0048】
<情報処理方法の説明>
本実施の形態における情報処理装置10が行う処理は、第一の表示部と、第一の表示部である出力部142に表示する画面を生成する画面生成部115と、画面を、ネットワーク30を介して外部端末20a、20bに送信する送受信制御部114と、を備えた情報処理装置10が行う情報処理方法であって、外部端末20a、20bが備える第二の表示部に表示される画面に対して行われるユーザの操作を検知し、画面と操作に応じて、操作に基づくイベントの実行を許可するか否かを選択させる選択画面を、情報処理装置10および外部端末20a、20bのうち、少なくとも1つの装置に対して表示させる制御を行い、選択画面に対するユーザの選択結果に基づいて、操作に基づくイベントの実行を許可するか否かを判定する、情報処理方法と捉えることもできる。
【0049】
<プログラムの説明>
本実施の形態における情報処理装置10が行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。そしてこの処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、情報処理装置10に設けられたコンピュータ内部のプロセッサ11が、上述した各機能を実現するプログラムを実行し、これらの各機能を実現させる。
【0050】
本実施の形態で、情報処理装置10が行う処理は、第一の表示部と、第一の表示部である出力部142に表示する画面を生成する画面生成部115と、画面を、ネットワーク30を介して外部端末20a、20bに送信する送受信制御部114と、を備えた情報処理装置10が備えるコンピュータが実行するプログラムであって、外部端末20a、20bが備える第二の表示部に表示される画面に対して行われるユーザの操作を検知する機能と、画面と操作に応じて、操作に基づくイベントの実行を許可するか否かを選択させる選択画面を、情報処理装置10および外部端末20a、20bのうち、少なくとも1つの装置に対して表示させる制御を行う機能と、選択画面に対するユーザの選択結果に基づいて、操作に基づくイベントの実行を許可するか否かを判定する機能と、を実現させるためのプログラムとして捉えることもできる。
【0051】
本実施の形態を実現するプログラムは、通信手段により提供することはもちろんCD-ROM等の記録媒体に格納して提供することも可能である。
【0052】
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0053】
例えば、上記実施の形態では、情報処理装置10が画面を共有元になっているが、実際には画面共有元と画面共有先の役割は入れ替え可能である。即ち、ある時点においては、外部端末20aや外部端末20bが画面共有元になり、情報処理装置10が画面共有先になることを意味する。
また例えば、操作フェーズ、承認フェーズ、実行フェーズは、発明の内容をわかりやすく説明するために、設けたものであり、この3つのフェーズに明確に分かれるとは限らない。この名称についても特に限られるものではなく、例えば、承認フェーズは、問い合わせフェーズとしてもよい。
【符号の説明】
【0054】
1…画像制御システム、10…情報処理装置、11…プロセッサ、12…メモリ、20a、20b…外部端末、111…操作検知部、112…イベント解析部、113…アプリケーション実行部、114…送受信制御部、115…画面生成部、116…イベント実行判定部、117…表示制御部、118…通知情報選択部、142…出力部、A~D…ダイアログ