特開 2024-98612 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024098612

(43)【公開日】2024-07-24

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240717BHJP

   G09G 5/37 20060101ALI20240717BHJP

   G09G 5/38 20060101ALI20240717BHJP

   G06F 3/01 20060101ALI20240717BHJP

   H04N 5/66 20060101ALI20240717BHJP

【ＦＩ】

G09G5/00 510V

G09G5/00 550C

G09G5/37 600

G09G5/38 100

G06F3/01 510

H04N5/66 B

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023002203

(22)【出願日】2023-01-11

(71)【出願人】

【識別番号】518133201

【氏名又は名称】富士通クライアントコンピューティング株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】弁理士法人扶桑国際特許事務所

(72)【発明者】

【氏名】中西 貴洋

【テーマコード（参考）】

5C058

5C182

5E555

【Ｆターム（参考）】

5C058AB07

5C058BA35

5C182AB02

5C182AC02

5C182AC38

5C182BA01

5C182BA03

5C182BA04

5C182BA06

5C182BA14

5C182BA54

5C182BA55

5C182BA65

5C182BA66

5C182BB01

5C182BB05

5C182BB26

5C182BC26

5C182CB42

5C182DA44

5E555AA63

5E555BA02

5E555BB02

5E555BC08

5E555CA42

5E555CB66

5E555CC05

5E555DA06

5E555EA11

5E555FA00

(57)【要約】

【課題】表示装置の設定を容易にすることができる。
【解決手段】情報処理装置１０は、第１表示装置１に設置された第１カメラ１ａがユーザ３を撮像した第１カメラ画像４を解析してユーザ３の姿勢が示す第１方向を検出する。情報処理装置１０は、第１表示領域５ａを第１表示装置１に表示させ第２表示領域５ｂを第２表示装置２に拡張表示させる場合の、第１表示領域５ａに対する第２表示領域５ｂのコンピュータ処理上の座標系５における位置関係を、第１方向に基づいて決定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１表示装置に設置された第１カメラがユーザを撮像した第１カメラ画像を解析して前記ユーザの姿勢が示す第１方向を検出し、第１表示領域を前記第１表示装置に表示させ第２表示領域を第２表示装置に拡張表示させる場合の、前記第１表示領域に対する前記第２表示領域のコンピュータ処理上の座標系における位置関係を、前記第１方向に基づいて決定する処理部、
を有する情報処理装置。

【請求項2】

前記処理部は、前記第２表示装置に顔を向けるよう促す画面を前記第１表示装置または前記第２表示装置に表示させ、前記第１カメラ画像から前記ユーザの顔の向きを特定し、前記ユーザの顔の向きに基づいて前記第１方向を検出する、
請求項１記載の情報処理装置。

【請求項3】

前記処理部は、前記第２表示装置を指し示すよう促す画面を前記第１表示装置または前記第２表示装置に表示させ、前記第１カメラ画像から前記ユーザの指が指し示す向きを特定し、前記ユーザの指が指し示す向きに基づいて前記第１方向を検出する、
請求項１記載の情報処理装置。

【請求項4】

前記処理部は、前記ユーザを撮像した第２カメラ画像を解析して前記ユーザの姿勢が示す第２方向を検出し、第３表示領域を第３表示装置に拡張表示させる場合の、前記第１表示領域に対する前記第３表示領域の前記座標系における位置関係を、前記第２方向に基づいて決定し、前記第２表示領域の一部と前記第３表示領域の一部とが重複する重複領域がある場合、前記座標系における水平方向または垂直方向のうち前記重複領域の短手方向に、前記第２表示領域または前記第３表示領域をずらす、
請求項１記載の情報処理装置。

【請求項5】

前記処理部は、前記第１カメラが撮像した第３カメラ画像に基づいて、前記第１表示装置に対する前記ユーザの顔の向きを特定し、前記第２表示装置に設置された第２カメラが前記第３カメラ画像が撮像されるときに撮像した第４カメラ画像に基づいて、前記第２表示装置に対する前記ユーザの顔の向きを特定し、前記第１表示装置に対する前記ユーザの顔の向きと前記第２表示装置に対する前記ユーザの顔の向きとに基づいて、前記第１表示領域に対する前記第２表示領域の前記座標系における位置関係を変更するか否かを決定する、
請求項１記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置に関する。

【背景技術】

【0002】

コンピュータに複数の表示装置を接続することがある。複数の表示装置それぞれに表示される表示領域のコンピュータ処理上の位置関係を設定して表示画面を拡張することで、ユーザは複数の表示装置を連続した画面のように扱うことができる。

【0003】

複数の表示装置の設定に関する技術としては、例えば、複数のディスプレイに接続して利用する場合に、各ディスプレイのレイアウトを容易に認識させ、正しい表示を行わせるためのセッティングを容易に行うことができる情報処理装置が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－１１８４６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

複数の表示装置を用いて画面表示を拡張する場合、コンピュータ処理上の位置関係の設定は、表示装置の実際の位置関係に対応していることが好ましい。表示装置を共有している場合や物理的な配置換え等によって、表示装置の実際の位置関係が変動することがある。表示装置の実際の位置関係が変動するたびに手動で設定変更をすると手間がかかる。

【0006】

１つの側面では、本件は、表示装置の設定を容易にすることを目的とする。

【課題を解決するための手段】

【0007】

１つの案では、処理部を有する情報処理装置が提供される。処理部は、第１表示装置に設置された第１カメラがユーザを撮像した第１カメラ画像を解析してユーザの姿勢が示す第１方向を検出し、第１表示領域を第１表示装置に表示させ第２表示領域を第２表示装置に拡張表示させる場合の、第１表示領域に対する第２表示領域のコンピュータ処理上の座標系における位置関係を、第１方向に基づいて決定する。

【発明の効果】

【0008】

１態様によれば、表示装置の設定を容易にすることができる。

【図面の簡単な説明】

【0009】

【図1】第１の実施の形態に係る情報処理装置の一例を示す図である。

【図2】第２の実施の形態に係るＰＣの一例を示す図である。

【図3】ＰＣおよびモニタのハードウェアの一構成例を示す図である。

【図4】コンピュータ処理上の座標系における表示領域の一例を示す図である。

【図5】ＰＣの機能例を示すブロック図である。

【図6】クラス形式の一例を示す図である。

【図7】顔の向きによるベクトル検出処理の一例を示す図である。

【図8】指が指し示す向きによるベクトル検出処理の一例を示す図である。

【図9】表示領域を上に配置する場合の座標系の一例を示す図である。

【図10】表示領域を右上に配置する場合の座標系の一例を示す図である。

【図11】表示領域を右に配置する場合の座標系の一例を示す図である。

【図12】表示領域を右下に配置する場合の座標系の一例を示す図である。

【図13】表示領域を下に配置する場合の座標系の一例を示す図である。

【図14】表示領域を左下に配置する場合の座標系の一例を示す図である。

【図15】表示領域を左に配置する場合の座標系の一例を示す図である。

【図16】表示領域を左上に配置する場合の座標系の一例を示す図である。

【図17】別のモニタの表示領域を配置する場合の座標系の一例を示す図である。

【図18】表示領域の調整処理の一例を示す図である。

【図19】表示領域設定処理の手順の一例を示すフローチャート（その１）である。

【図20】表示領域設定処理の手順の一例を示すフローチャート（その２）である。

【図21】表示領域設定処理の手順の一例を示すフローチャート（その３）である。

【図22】設定調整処理の手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第１の実施の形態〕
まず、第１の実施の形態について説明する。

【0011】

図１は、第１の実施の形態に係る情報処理装置の一例を示す図である。第１の実施の形態は、第１表示装置１および第２表示装置２の設定をするものである。
情報処理装置１０は、ユーザ３によって操作されるコンピュータである。情報処理装置１０は、第１表示装置１、第１カメラ１ａおよび第２表示装置２に接続されている。第１表示装置１および第２表示装置２は、情報処理装置１０から出力された画像を表示する表示装置である。第１カメラ１ａは、第１表示装置１に設置されている。第１カメラ１ａは、第１表示装置１に対して所定の方向を撮像可能なように設置されている。例えば、第１カメラ１ａは、第１表示装置１のパネルの正面を撮像可能なように設置されている。

【0012】

情報処理装置１０は、第１表示領域５ａを第１表示装置１に表示させ第２表示領域５ｂを第２表示装置２に拡張表示させる。第１表示領域５ａおよび第２表示領域５ｂは、コンピュータ処理上の座標系５内の領域である。座標系５では、表示データが表示領域内にある場合、表示装置の対応する位置に当該表示データが表示される。例えば、座標系５において、第１表示領域５ａにあるカーソルを第２表示領域５ｂに移動するコンピュータ処理が実行された場合、当該カーソルの表示は、第１表示装置１の画面上から第２表示装置２の画面上に移動する。

【0013】

なお、情報処理装置１０は、ノートＰＣ（Personal Computer）であってもよく、第１表示装置１または第２表示装置２は、ノートＰＣである情報処理装置１０の内蔵モニタであってもよい。また、第１カメラ１ａは、ノートＰＣである情報処理装置１０の内蔵カメラであってもよい。また、第１カメラ１ａは、第１表示装置１の内蔵カメラであってもよい。

【0014】

情報処理装置１０は、処理部１１を有する。処理部１１は、情報処理装置１０を制御し、所要の処理を実行可能である。処理部１１は、例えば、情報処理装置１０が有するプロセッサまたは演算回路である。処理部１１は、第１表示装置１と第２表示装置２とを用いて画面を拡張表示する際の設定をする。例えば、処理部１１は、情報処理装置１０と第１表示装置１とが接続されている状態で、第２表示装置２が情報処理装置１０に接続されたときに、拡張表示の設定をする。

【0015】

まず、処理部１１は、第１カメラ１ａを用いてユーザ３を撮像する。例えば、処理部１１は、第２表示装置２に顔を向けるよう促す画面を第１表示装置１または第２表示装置２に表示させる。そして、処理部１１は、第１カメラ１ａにユーザ３を撮像させる。

【0016】

処理部１１は、第１カメラ１ａがユーザ３を撮像した第１カメラ画像４を解析してユーザ３の姿勢が示す第１方向を検出する。ユーザ３の姿勢が示す第１方向は、ユーザ３の体の少なくとも一部によって示される方向であり、例えば、顔が向いている方向や指が指し示している方向である。

【0017】

ここで、処理部１１は、第１カメラ画像４からユーザ３の顔の向きを特定する。例えば、処理部１１は、人物の画像と顔の向きとが対応付けられた学習データを用いて学習した学習済みモデルによって、第１カメラ画像４に写るユーザ３の顔の向きを特定する。なお、処理部１１は、第１カメラ画像４が左右反転して撮像されている場合、正面から見たユーザ３の顔の向きを特定する。ここでは、処理部１１は、第１カメラ画像４からユーザ３の顔の向きを左と特定する。処理部１１は、ユーザ３の顔の向きに基づいて第１方向を検出する。ここでは、処理部１１は、ユーザ３の顔の向きである左を第１方向として検出する。

【0018】

そして、処理部１１は、第１表示領域５ａに対する第２表示領域５ｂの座標系５における位置関係を、第１方向に基づいて決定する。ここでは、処理部１１は、座標系５において、第２表示領域５ｂを第１表示領域５ａの左側に配置するよう決定する。

【0019】

第１の実施の形態によれば、情報処理装置１０の処理部１１は、第１表示装置１に設置された第１カメラ１ａがユーザ３を撮像した第１カメラ画像４を解析してユーザ３の姿勢が示す第１方向を検出する。処理部１１は、第１表示領域５ａを第１表示装置１に表示させ第２表示領域５ｂを第２表示装置２に拡張表示させる場合の、第１表示領域５ａに対する第２表示領域５ｂのコンピュータ処理上の座標系５における位置関係を、第１方向に基づいて決定する。

【0020】

これにより、情報処理装置１０は、第１表示領域５ａと第２表示領域５ｂとの位置関係を、第１表示装置１と第２表示装置２との物理的な位置関係に沿うように自動で設定することができる。よって、情報処理装置１０は、表示装置の設定を容易にすることができる。

【0021】

また、処理部１１は、第２表示装置２に顔を向けるよう促す画面を第１表示装置１または第２表示装置２に表示させ、第１カメラ画像４からユーザ３の顔の向きを特定し、ユーザ３の顔の向きに基づいて第１方向を検出する。これにより、情報処理装置１０は、ユーザ３が第２表示装置２に顔を向けるだけで表示装置の設定ができるようにすることができる。

【0022】

なお、処理部１１は、第２表示装置２を指し示すよう促す画面を第１表示装置１または第２表示装置２に表示させ、第１カメラ画像４からユーザ３の指が指し示す向きを特定し、ユーザ３の指が指し示す向きに基づいて第１方向を検出してもよい。これにより、情報処理装置１０は、ユーザ３が第２表示装置２を指し示すだけで表示装置の設定ができるようにすることができる。

【0023】

また、処理部１１は、ユーザ３を撮像した第２カメラ画像を解析してユーザ３の姿勢が示す第２方向を検出してもよい。処理部１１は、第３表示領域を第３表示装置に拡張表示させる場合の、第１表示領域５ａに対する第３表示領域の座標系５における位置関係を、第２方向に基づいて決定してもよい。そして、処理部１１は、第２表示領域５ｂの一部と第３表示領域の一部とが重複する重複領域がある場合、座標系５における水平方向または垂直方向のうち重複領域の短手方向に、第２表示領域５ｂまたは第３表示領域をずらしてもよい。これにより、情報処理装置１０は、３以上の表示装置が接続された場合についても適切に設定をすることができる。

【0024】

また、処理部１１は、第１カメラ１ａが撮像した第３カメラ画像に基づいて、第１表示装置１に対するユーザ３の顔の向きを特定し、第２表示装置２に設置された第２カメラが第３カメラ画像が撮像されるときに撮像した第４カメラ画像に基づいて、第２表示装置２に対するユーザ３の顔の向きを特定してもよい。そして、処理部１１は、第１表示装置１に対するユーザ３の顔の向きと第２表示装置２に対するユーザ３の顔の向きとに基づいて、第１表示領域５ａに対する第２表示領域５ｂの座標系５における位置関係を変更するか否かを決定してもよい。これにより、情報処理装置１０は、使用中に第１表示装置１と第２表示装置２の物理的な位置関係が変更された場合、第１表示領域５ａに対する第２表示領域５ｂの座標系５における位置関係を変更することができる。

【0025】

〔第２の実施の形態〕
次に、第２の実施の形態について説明する。第２の実施の形態は、マルチモニタの設定をするものである。

【0026】

図２は、第２の実施の形態に係るＰＣの一例を示す図である。ＰＣ１００は、ユーザ２１によって操作されるノートＰＣである。ＰＣ１００は、カメラ１０５を有する。カメラ１０５は、ＰＣ１００の内蔵モニタの上部に、内蔵モニタのパネルの正面方向を撮像可能に設置されている。また、ＰＣ１００は、モニタ２００に接続されている。例えば、ユーザ２１は、モニタ２００が設置されている共用の座席にＰＣ１００を持って着席し、ＰＣ１００とモニタ２００とを接続する。そして、ユーザ２１は、モニタ２００が接続されたＰＣ１００を操作する。

【0027】

モニタ２００は、接続先のコンピュータから取得した画像を表示する。モニタ２００は、カメラ２０３を有する。カメラ２０３は、モニタ２００に内蔵されたカメラであり、モニタ２００の接続先のコンピュータから制御可能である。カメラ２０３は、モニタ２００の上部に、モニタ２００のパネルの正面方向を撮像可能に設置されている。

【0028】

ＰＣ１００は、ＰＣ１００にモニタ２００が接続されたときに、ＰＣ１００の内蔵モニタとモニタ２００とをマルチモニタとして使用する設定をする。ＰＣ１００は、ＰＣ１００にモニタ２００が接続されると、モニタ２００に顔を向けるまたはモニタ２００を指で指し示すよう促す画面をモニタ２００に表示する。そして、ＰＣ１００は、カメラ１０５によってユーザ２１を撮像し、撮像したカメラ画像に基づいて、ＰＣ１００の内蔵モニタに表示させる表示領域とモニタ２００に表示させる表示領域とのコンピュータ処理上の座標系における位置関係を決定する。

【0029】

図３は、ＰＣおよびモニタのハードウェアの一構成例を示す図である。ＰＣ１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１１２を介してメモリ１０２と複数の周辺機器が接続されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、またはＤＳＰ（Digital Signal Processor）である。プロセッサ１０１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）等の電子回路で実現してもよい。

【0030】

また、プロセッサ１０１は、ＧＰＵ（Graphics Processing Unit）１０１ａを含む。ＧＰＵ１０１ａは、プロセッサ１０１に内蔵されたＧＰＵである。ＧＰＵ１０１ａは、モニタに表示させる画像を生成し、生成した画像をモニタの画面に表示させる。なお、ＰＣ１００は、ＧＰＵ１０１ａに代えてバス１１２に接続されたＧＰＵを有していてもよい。

【0031】

メモリ１０２は、ＰＣ１００の主記憶装置として使用される。メモリ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ１０２には、プロセッサ１０１による処理に利用する各種データが格納される。メモリ１０２としては、例えばＲＡＭ（Random Access Memory）等の揮発性の半導体記憶装置が使用される。

【0032】

バス１１２に接続されている周辺機器としては、ストレージ装置１０３、内蔵モニタ１０４、カメラ１０５、入力インタフェース１０６、光学ドライブ装置１０７および機器接続インタフェース１０８がある。また、バス１１２に接続されている周辺機器としては、コントローラ１０９、接続インタフェース１１０およびネットワークインタフェース１１１がある。

【0033】

ストレージ装置１０３は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置１０３は、コンピュータの補助記憶装置として使用される。ストレージ装置１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置１０３としては、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を使用することができる。

【0034】

内蔵モニタ１０４は、ＧＰＵ１０１ａによって生成された画像をパネルに表示する。内蔵モニタ１０４のパネルとしては、有機ＥＬ（Electro Luminescence）や液晶を用いたパネルがある。

【0035】

カメラ１０５は、レンズを向けた先からの光をイメージセンサによって電気信号に変換して画像を生成する。カメラ１０５は、プロセッサ１０１からの命令に従って、カメラ１０５のレンズを向けた先の光景の静止画または動画のデータを生成し、メモリ１０２に格納する。カメラ１０５は、例えば、内蔵モニタ１０４の上部に、内蔵モニタ１０４のパネルの正面を撮像可能なように設置される。

【0036】

入力インタフェース１０６には、キーボード３１とマウス３２とが接続されている。入力インタフェース１０６は、キーボード３１やマウス３２から送られてくる信号をプロセッサ１０１に送信する。なお、マウス３２は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボール等がある。

【0037】

光学ドライブ装置１０７は、レーザ光等を利用して、光ディスク３３に記録されたデータの読み取りを行う。光ディスク３３は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク３３には、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等がある。

【0038】

機器接続インタフェース１０８は、ＰＣ１００に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース１０８には、メモリ装置３４やメモリリーダライタ３５を接続することができる。メモリ装置３４は、機器接続インタフェース１０８との通信機能を搭載した記録媒体である。メモリリーダライタ３５は、メモリカード３６へのデータの書き込み、またはメモリカード３６からのデータの読み出しを行う装置である。メモリカード３６は、カード型の記録媒体である。

【0039】

コントローラ１０９は、プロセッサ１０１からの命令に従って、接続インタフェース１１０を介した通信を制御する。コントローラ１０９は、例えば、マイクロコントローラである。接続インタフェース１１０は、ＰＣ１００にモニタ２００を接続するためのインタフェースである。接続インタフェース１１０が用いる規格としては、例えば、ＨＤＭＩ（High Definition Multimedia Interface：登録商標）、ＤＰ（Display Port：登録商標）、ＵＳＢ（Universal Serial Bus） Ｔｙｐｅ－ｃ等がある。なお、ＰＣ１００は、接続インタフェース１１０と同様の接続インタフェースを複数有していてもよい。

【0040】

ネットワークインタフェース１１１は、ネットワーク３０に接続されている。ネットワークインタフェース１１１は、ネットワーク３０を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。

【0041】

モニタ２００は、コントローラ２０１、接続インタフェース２０２、カメラ２０３およびパネル２０４を有する。コントローラ２０１は、接続インタフェース２０２を介した通信を制御する。コントローラ２０１は、例えば、マイクロコントローラである。コントローラ２０１は、接続インタフェース２０２を介してＰＣ１００から受信した命令をカメラ２０３に通知することでカメラ２０３を制御する。また、コントローラ２０１は、カメラ２０３が撮像した画像をＰＣ１００に送信する。

【0042】

接続インタフェース２０２は、モニタ２００をＰＣ１００に接続するためのインタフェースである。接続インタフェース２０２が用いる規格としては、例えば、ＨＤＭＩ、ＤＰ、ＵＳＢ Ｔｙｐｅ－ｃ等がある。

【0043】

カメラ２０３は、レンズを向けた先からの光をイメージセンサによって電気信号に変換して画像を生成する。カメラ２０３は、コントローラ２０１を介して受信したＰＣ１００からの命令に従って、カメラ２０３のレンズを向けた先の光景の静止画または動画のデータを生成し、コントローラ２０１に送信する。カメラ２０３は、例えば、モニタ２００の上部に、パネル２０４の正面を撮像可能なように設置される。

【0044】

パネル２０４は、接続インタフェース２０２を介して取得した、ＧＰＵ１０１ａによって生成された画像を表示する。パネル２０４としては、有機ＥＬや液晶を用いたパネルがある。

【0045】

ＰＣ１００は、以上のようなハードウェア構成によって、第２の実施の形態の処理機能を実現することができる。なお、第１の実施の形態に示した情報処理装置１０も、図２に示したＰＣ１００と同様のハードウェアにより実現することができる。また、プロセッサ１０１は、第１の実施の形態に示した処理部１１の一例である。また、内蔵モニタ１０４は、第１の実施の形態に示した第１表示装置１の一例である。また、モニタ２００は、第１の実施の形態に示した第２表示装置２の一例である。

【0046】

ＰＣ１００は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第２の実施の形態の処理機能を実現する。ＰＣ１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、ＰＣ１００に実行させるプログラムをストレージ装置１０３に格納しておくことができる。プロセッサ１０１は、ストレージ装置１０３内のプログラムの少なくとも一部をメモリ１０２にロードし、プログラムを実行する。またＰＣ１００に実行させるプログラムを、光ディスク３３、メモリ装置３４、メモリカード３６等の可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１０１からの制御により、ストレージ装置１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。次に、コンピュータ処理上の座標系におけるモニタの表示領域について説明する。

【0047】

図４は、コンピュータ処理上の座標系における表示領域の一例を示す図である。座標系４０は、モニタへの表示処理における表示内容を管理する座標系である。座標系４０のｘ軸は、右方向が正の方向である。また、座標系４０のｙ軸は、下方向が正の方向である。以下では、プライマリモニタ（１番目のモニタ）とセカンダリモニタ（２番目のモニタ）に表示処理が行われる場合について説明する。

【0048】

座標系４０には、表示領域４１，４２が設定されている。表示領域４１は、プライマリモニタに表示される表示データが配置される表示領域である。表示領域４１は、左上の頂点の座標が座標系４０における原点（０，０）となるように、プライマリモニタの解像度に応じた大きさの長方形で設定される。例えば、プライマリモニタが横１９２０ｐｘ、縦１０８０ｐｘの解像度である場合、表示領域４１は、左上の頂点の座標が原点（０，０）である、横の長さが１９２０、縦の長さが１０８０の長方形で設定される。

【0049】

座標系４０において表示データが表示領域４１内に配置されている場合、表示領域４１における当該表示データの位置に対応する、プライマリモニタの画面上の位置に当該表示データが表示される。例えば、座標系４０において（５０，５０）に配置された表示データは、プライマリモニタの画面上の（５０，５０）の位置に表示される。

【0050】

表示領域４２は、セカンダリモニタに表示される表示データが配置される表示領域である。表示領域４２は、表示領域４１に隣接して設定される。ここでは、表示領域４１の右上の頂点と表示領域４２の左上の頂点とが一致しているものとする。つまり、表示領域４２は、左上の頂点の座標が座標系４０における（１９２０，０）となるように、セカンダリモニタの解像度に応じた大きさの長方形で設定される。例えば、セカンダリモニタが横３４４０ｐｘ、縦１４４０ｐｘの解像度である場合、表示領域４２は、左上の頂点の座標が（１９２０，０）である、横の長さが３４４０、縦の長さが１４４０の長方形で設定される。

【0051】

座標系４０において表示データが表示領域４２内に配置されている場合、表示領域４２における当該表示データの位置に対応する、セカンダリモニタの画面上の位置に当該表示データが表示される。例えば、座標系４０において（２０００，５０）に配置された表示データは、セカンダリモニタの画面上の（８０，５０）の位置に表示される。

【0052】

このように、モニタごとの表示領域が設定されることで、複数のモニタによって表示画面が拡張される。ここで、各表示領域の位置関係と、モニタの物理的な位置関係とが一致していない場合、コンピュータ処理上の座標系における表示データの移動と、モニタの表示画面における表示データの移動とが異なってしまうことがある。また、各表示領域の位置関係と、モニタの物理的な位置関係とが一致していない場合、表示領域をまたいでコンピュータ処理上の座標系に配置された表示データが、モニタの表示画面においてずれて表示されてしまうことがある。よって、各表示領域のコンピュータ処理上の座標系における位置関係は、対応するモニタの物理的な位置関係と一致するよう設定されることが好ましい。

【0053】

そこで、第２の実施の形態では、ＰＣ１００は、カメラ１０５によって、モニタ２００に顔を向けるまたはモニタ２００を指で指し示すユーザ２１を撮像し、ユーザ２１が示す方向のベクトルを検出する。そして、ＰＣ１００は、検出したベクトルに基づいて、内蔵モニタ１０４に対応する表示領域とモニタ２００に対応する表示領域とを決定する。次に、ＰＣ１００の機能について詳細に説明する。

【0054】

図５は、ＰＣの機能例を示すブロック図である。ＰＣ１００は、モニタ制御部１２０、カメラ制御部１３０および解析部１４０を有する。モニタ制御部１２０、カメラ制御部１３０および解析部１４０は、メモリ１０２に記憶されたプログラムをプロセッサ１０１が実行することで実現される。

【0055】

モニタ制御部１２０は、内蔵モニタ１０４およびＰＣ１００に接続されたモニタの制御をする。モニタ制御部１２０は、顔の向きでベクトル検出する設定である場合、モニタを新規検出すると、新規接続されたモニタを直視するよう促す画面を、新規接続されたモニタに表示させる。また、モニタ制御部１２０は、指で指し示す向きでベクトル検出する設定である場合、新規接続されたモニタを指で指すよう促す画面を、新規接続されたモニタに表示させる。モニタ制御部１２０は、解析部１４０が決定した新規接続されたモニタの表示領域を適用する。

【0056】

カメラ制御部１３０は、カメラ１０５およびＰＣ１００に接続されたモニタに設置されたカメラの制御をする。カメラ制御部１３０は、モニタ制御部１２０が新規接続されたモニタを直視するよう促す画面または新規接続されたモニタを指で指すよう促す画面を表示すると、カメラ１０５でユーザ２１を撮像する。

【0057】

また、カメラ制御部１３０は、ＰＣ１００に接続された各モニタの使用中に、ＰＣ１００に接続された各モニタのカメラでユーザ２１を撮像する。カメラ制御部１３０は、撮像したカメラ画像のいずれかについて解析部１４０がユーザ２１の顔が正面向きであると判定した場合、カメラ１０５でユーザ２１を撮像する。

【0058】

解析部１４０は、撮像したカメラ画像を解析してベクトルを検出し、検出したベクトルに基づいて、新規接続されたモニタの表示領域を決定する。解析部１４０は、顔の向きでベクトル検出する設定である場合、カメラ画像を解析し、カメラ画像に写るユーザ２１が顔を向けている向きをベクトルとして検出する。例えば、解析部１４０は、人物の画像と顔の向きとが対応付けられた学習データを用いて学習した学習済みモデルによって、カメラ画像に写るユーザ２１の顔の向きをベクトルとして検出する。

【0059】

また、解析部１４０は、指で指し示す向きでベクトル検出する設定である場合、カメラ画像を解析し、カメラ画像に写るユーザ２１の指が指し示す向きをベクトルとして検出する。例えば、解析部１４０は、手を認識する学習済みモデルによって、カメラ画像に写る手のランドマーク認識を行う。そして、解析部１４０は、手の形と指が指し示す向きとが対応付けられた学習データを用いて学習した学習済みモデルによって、カメラ画像に写るユーザ２１の指が指し示す向きをベクトルとして検出する。

【0060】

解析部１４０は、内蔵モニタ１０４の表示領域に対して、検出したベクトルの向きに新規接続されたモニタの表示領域を配置する。ここで、解析部１４０は、新規接続されたモニタの表示領域がすでに設定した表示領域と重複する場合、すでに設定した表示領域と重複する重複領域の短手方向に新規接続されたモニタの表示領域をずらす。

【0061】

また、解析部１４０は、ＰＣ１００に接続された各モニタの使用中に、各モニタのカメラで撮像したカメラ画像を解析し、カメラ画像に写るユーザ２１の顔が正面向きであるか否かを判定する。解析部１４０は、いずれかのカメラ画像に写るユーザ２１の顔が正面向きであると判定した場合、カメラ制御部１３０がカメラ１０５でユーザ２１を撮像したカメラ画像に写るユーザ２１の顔の向きをベクトルとして検出する。そして、解析部１４０は、カメラ画像から検出したベクトルと、内蔵モニタ１０４の表示領域に対する、正面向きであると判定されたモニタの表示領域の方向とが一致するか否かを判定する。解析部１４０は、カメラ画像から検出したベクトルと表示領域の方向とが一致しないと判定した場合、正面向きであると判定されたモニタの表示領域を再設定する。

【0062】

なお、図５に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。次に、モニタの情報を管理するためのクラス形式について説明する。

【0063】

図６は、クラス形式の一例を示す図である。クラス形式５１は、接続されたモニタの情報を管理するためのクラスの形式である。クラス形式５１には、メンバ変数としてＤｅｖｉｃｅＩＤ、ＳｃｒｅｅｎＨｅｉｇｈｔおよびＳｃｒｅｅｎＷｉｄｔｈが含まれる。

【0064】

ＤｅｖｉｃｅＩＤには、モニタの識別子が文字列型（ｓｔｒｉｎｇ型）で設定される。ＳｃｒｅｅｎＨｅｉｇｈｔには、モニタの高さが符号なしの整数型（ｕｉｎｔ３２型）で設定される。ＳｃｒｅｅｎＷｉｄｔｈには、モニタの幅が符号なしの整数型（ｕｉｎｔ３２型）で設定される。

【0065】

次に、カメラ１０５によってユーザ２１を撮像したカメラ画像によるベクトル検出について説明する。まず、ユーザ２１の顔の向きからベクトル検出する処理について説明する。

【0066】

図７は、顔の向きによるベクトル検出処理の一例を示す図である。ＰＣ１００は、モニタ２００に顔を向けるユーザ２１を撮像し、撮像したカメラ画像においてユーザ２１が顔を向ける方向をベクトルとして検出する。なお、ベクトルは、第１の実施の形態に示した第１方向および第２方向の一例である。

【0067】

まず、モニタ制御部１２０は、内蔵モニタ１０４に画面６１ａを表示させる。画面６１ａは、内蔵モニタ１０４に顔を向けるよう促す画面である。画面６１ａは、中央に四角形を含む。また、画面６１ａは、「プライマリモニタの四角を見てください」等の、内蔵モニタ１０４に顔を向けるよう促すメッセージを含む。

【0068】

内蔵モニタ１０４に画面６１ａが表示されると、カメラ制御部１３０は、カメラ１０５にユーザ２１を撮像させる。解析部１４０は、カメラ１０５が撮像したカメラ画像６２ａを解析し、カメラ画像６２ａに写るユーザ２１が正面を向いていることを確認する。例えば、解析部１４０は、人物の画像と顔が正面を向いているか否かとが対応付けられた学習データを用いて学習した学習済みモデルによって、カメラ画像６２ａに写るユーザ２１が正面を向いているか否かを特定する。

【0069】

解析部１４０がカメラ画像６２ａに写るユーザ２１が正面を向いていることを確認すると、モニタ制御部１２０は、モニタ２００に画面６１ｂを表示させる。画面６１ｂは、モニタ２００に顔を向けるよう促す画面である。画面６１ｂは、中央に四角形を含む。また、画面６１ｂは、「セカンダリモニタの四角を見てください」等の、モニタ２００に顔を向けるよう促すメッセージを含む。モニタ２００に画面６１ｂが表示されると、カメラ制御部１３０は、カメラ１０５にユーザ２１を撮像させる。

【0070】

解析部１４０は、カメラ１０５が撮像したカメラ画像６２ｂを解析し、カメラ画像６２ｂに写るユーザ２１が顔を向けている向きをベクトルとして検出する。例えば、解析部１４０は、人物の画像と顔の向き（上、右上、右、右下、下、左下、左または左上）とが対応付けられた学習データを用いて学習した学習済みモデルによって、カメラ画像６２ｂに写るユーザ２１の顔の向きを特定する。解析部１４０は、特定された顔の向きである上、右上、右、右下、下、左下、左または左上をベクトルとして検出する。なお、解析部１４０は、カメラ画像６２ｂが左右反転して撮像されている場合、カメラ画像６２ｂを正面から見たときのユーザ２１が顔を向けている方向をベクトルとして検出する。

【0071】

このようにして、解析部１４０は、モニタ２００に顔を向けるよう促したユーザ２１を撮像したカメラ画像６２ｂから、ユーザ２１が顔を向けている向きをベクトルとして検出する。ここで、解析部１４０は、カメラ画像６２ａに写るユーザ２１が正面を向いていることを確認しているため、ユーザ２１の顔が内蔵モニタ１０４の正面にあることを確認している。そして、解析部１４０は、内蔵モニタ１０４の正面にあるユーザ２１の顔がモニタ２００を向いたときの顔の向きをベクトルとして検出することで、内蔵モニタ１０４に対するモニタ２００の位置をベクトルとして検出することができる。次に、ユーザ２１の指が指し示す向きからベクトル検出する処理について説明する。

【0072】

図８は、指が指し示す向きによるベクトル検出処理の一例を示す図である。ＰＣ１００は、モニタ２００を指し示すユーザ２１を撮像し、撮像したカメラ画像においてユーザ２１が指し示している方向をベクトルとして検出する。

【0073】

まず、モニタ制御部１２０は、モニタ２００に画面７１を表示させる。画面７１は、モニタ２００を指し示すよう促す画面である。画面７１は、中央に四角形を含む。また、画面７１は、「セカンダリモニタの四角を指さしてください」等の、モニタ２００を指し示すよう促すメッセージを含む。モニタ２００に画面７１が表示されると、カメラ制御部１３０は、カメラ１０５にユーザ２１を撮像させる。

【0074】

解析部１４０は、カメラ１０５が撮像したカメラ画像７２を解析し、カメラ画像７２に写るユーザ２１の指が指し示す向きをベクトルとして検出する。例えば、解析部１４０は、手を認識する学習済みモデルによって、カメラ画像７２に写る手のランドマーク認識を行う。そして、解析部１４０は、手の形と指が指し示す向き（上、右上、右、右下、下、左下、左または左上）とが対応付けられた学習データを用いて学習した学習済みモデルによって、カメラ画像７２に写るユーザ２１の指が指し示す向きを特定する。解析部１４０は、特定された向きである上、右上、右、右下、下、左下、左または左上をベクトルとして検出する。なお、解析部１４０は、カメラ画像７２が左右反転して撮像されている場合、カメラ画像７２を正面から見たときのユーザ２１の指が指し示す方向をベクトルとして検出する。

【0075】

このようにして、解析部１４０は、モニタ２００を指し示すよう促したユーザ２１を撮像したカメラ画像７２から、ユーザ２１の指が指し示す方向をベクトルとして検出する。これにより、解析部１４０は、内蔵モニタ１０４に対するモニタ２００の位置をベクトルとして検出することができる。次に、検出したベクトルを用いた表示領域の位置関係の決定処理について説明する。

【0076】

図９は、表示領域を上に配置する場合の座標系の一例を示す図である。解析部１４０は、検出したベクトルが上である場合、コンピュータ処理上の座標系８０において、プライマリモニタである内蔵モニタ１０４に表示させる表示領域８１の上に、新規接続されたモニタであるモニタ２００に表示させる表示領域８２ａを配置する。なお、表示領域８１は、第１の実施の形態に示した第１表示領域５ａの一例である。また、表示領域８２ａは、第１の実施の形態に示した第２表示領域５ｂの一例である。

【0077】

座標系８０は、ＰＣ１００の表示処理における表示内容を管理する座標系である。座標系８０のｘ軸は、右方向が正の方向である。また、座標系８０のｙ軸は、下方向が正の方向である。表示領域８１は、内蔵モニタ１０４に表示される表示データが配置される表示領域である。表示領域８１は、左上の頂点の座標が座標系８０における原点（０，０）である、横の長さがＰＷ、縦の長さがＰＨの長方形で設定される。なお、ＰＷは、内蔵モニタ１０４の横の解像度であり、ＰＨは、内蔵モニタ１０４の縦の解像度である。

【0078】

解析部１４０は、表示領域８１が設定されている座標系８０において、表示領域８１の上に表示領域８２ａを設定する。表示領域８２ａは、モニタ２００に表示される表示データが配置される表示領域である。解析部１４０は、表示領域８１の上辺と表示領域８２ａの下辺とが接するように表示領域８２ａを決定する。また、解析部１４０は、表示領域８１の中心と表示領域８２ａの中心とが同じｙ軸に平行な直線上となるように、表示領域８２ａを決定する。これにより、表示領域８２ａは、左上の頂点の座標が座標系８０における（＋ＰＷ／２－ＮＷ／２，－ＮＨ）である、横の長さがＮＷ、縦の長さがＮＨの長方形に決定される。なお、ＮＷは、モニタ２００の横の解像度であり、ＮＨは、モニタ２００の縦の解像度である。

【0079】

例えば、内蔵モニタ１０４が横１９２０ｐｘ、縦１０８０ｐｘの解像度であり、モニタ２００が横３４４０ｐｘ、縦１４４０ｐｘの解像度である場合、解析部１４０は、表示領域８２ａの左上の頂点の座標を（－７６０，－１４４０）と決定する。

【0080】

このようにして、解析部１４０は、検出されたベクトルが上であった場合、表示領域８２ａの左上の頂点の座標を決定する。そして、モニタ制御部１２０は、決定された座標とモニタ２００のサイズとをレジストリに格納する。例えば、モニタ制御部１２０は、座標（－７６０，－１４４０）を符号付整数１６進数（０ｘＦＦＦＦＦＤ０８，０ｘＦＦＦＦＦＡ６０）に変換し、レジストリに格納する。以下では、検出されたベクトルが右上、右、右下、下、左下、左、左上の場合についても説明する。

【0081】

図１０は、表示領域を右上に配置する場合の座標系の一例を示す図である。解析部１４０は、検出したベクトルが右上である場合、座標系８０において、表示領域８１の右上にモニタ２００に表示させる表示領域８２ｂを設定する。

【0082】

解析部１４０は、座標系８０において、表示領域８１の上辺の右半分と表示領域８２ｂの下辺とが接するように表示領域８２ｂを決定する。これにより、表示領域８２ｂは、左上の頂点の座標が座標系８０における（＋ＰＷ／２，－ＮＨ）である、横の長さがＮＷ、縦の長さがＮＨの長方形に決定される。

【0083】

なお、解析部１４０は、表示領域８１の右辺の上半分と表示領域８２ｂの左辺とが接するように表示領域８２ｂを決定してもよい。このように、解析部１４０は、モニタ２００の表示領域を斜め方向に配置する場合に、表示領域８１と辺の一部が接するように設定することで、画面間のカーソル移動を自然に表示させることができる。

【0084】

図１１は、表示領域を右に配置する場合の座標系の一例を示す図である。解析部１４０は、検出したベクトルが右である場合、座標系８０において、表示領域８１の右にモニタ２００に表示させる表示領域８２ｃを設定する。

【0085】

解析部１４０は、座標系８０において、表示領域８１の右辺と表示領域８２ｃの左辺とが接するように表示領域８２ｃを決定する。また、解析部１４０は、表示領域８１の中心と表示領域８２ｃの中心とが同じｘ軸に平行な直線上となるように、表示領域８２ｃを決定する。これにより、表示領域８２ｃは、左上の頂点の座標が座標系８０における（＋ＰＷ，＋ＰＨ／２－ＮＨ／２）である、横の長さがＮＷ、縦の長さがＮＨの長方形に決定される。

【0086】

図１２は、表示領域を右下に配置する場合の座標系の一例を示す図である。解析部１４０は、検出したベクトルが右下である場合、座標系８０において、表示領域８１の右下にモニタ２００に表示させる表示領域８２ｄを設定する。

【0087】

解析部１４０は、座標系８０において、表示領域８１の右辺の下半分と表示領域８２ｄの左辺とが接するように表示領域８２ｄを決定する。これにより、表示領域８２ｄは、左上の頂点の座標が座標系８０における（＋ＰＷ，＋ＰＨ／２）である、横の長さがＮＷ、縦の長さがＮＨの長方形に決定される。

【0088】

図１３は、表示領域を下に配置する場合の座標系の一例を示す図である。解析部１４０は、検出したベクトルが下である場合、座標系８０において、表示領域８１の下にモニタ２００に表示させる表示領域８２ｅを設定する。

【0089】

解析部１４０は、座標系８０において、表示領域８１の右辺と表示領域８２ｅの左辺とが接するように表示領域８２ｅを決定する。また、解析部１４０は、表示領域８１の中心と表示領域８２ｅの中心とが同じｙ軸に平行な直線上となるように、表示領域８２ｅを決定する。これにより、表示領域８２ｅは、左上の頂点の座標が座標系８０における（＋ＰＷ／２－ＮＷ／２，＋ＰＨ）である、横の長さがＮＷ、縦の長さがＮＨの長方形に決定される。

【0090】

図１４は、表示領域を左下に配置する場合の座標系の一例を示す図である。解析部１４０は、検出したベクトルが左下である場合、座標系８０において、表示領域８１の左下にモニタ２００に表示させる表示領域８２ｆを設定する。

【0091】

解析部１４０は、座標系８０において、表示領域８１の左辺の下半分と表示領域８２ｆの右辺とが接するように表示領域８２ｆを決定する。これにより、表示領域８２ｆは、左上の頂点の座標が座標系８０における（－ＮＷ，＋ＰＨ／２）である、横の長さがＮＷ、縦の長さがＮＨの長方形に決定される。

【0092】

図１５は、表示領域を左に配置する場合の座標系の一例を示す図である。解析部１４０は、検出したベクトルが左である場合、座標系８０において、表示領域８１の左にモニタ２００に表示させる表示領域８２ｇを設定する。

【0093】

解析部１４０は、座標系８０において、表示領域８１の左辺と表示領域８２ｇの右辺とが接するように表示領域８２ｇを決定する。また、解析部１４０は、表示領域８１の中心と表示領域８２ｇの中心とが同じｘ軸に平行な直線上となるように、表示領域８２ｇを決定する。これにより、表示領域８２ｇは、左上の頂点の座標が座標系８０における（－ＮＷ，＋ＰＨ／２－ＮＨ／２）である、横の長さがＮＷ、縦の長さがＮＨの長方形に決定される。

【0094】

図１６は、表示領域を左上に配置する場合の座標系の一例を示す図である。解析部１４０は、検出したベクトルが左上である場合、座標系８０において、表示領域８１の左上にモニタ２００に表示させる表示領域８２ｈを設定する。

【0095】

解析部１４０は、座標系８０において、表示領域８１の上辺の左半分と表示領域８２ｈの下辺とが接するように表示領域８２ｈを決定する。これにより、表示領域８２ｈは、左上の頂点の座標が座標系８０における（＋ＰＷ／２－ＮＷ，－ＮＨ）である、横の長さがＮＷ、縦の長さがＮＨの長方形に決定される。

【0096】

なお、解析部１４０は、モニタ２００とは別のモニタがさらにＰＣ１００に接続された場合も、同様に別のモニタの表示領域を決定する。ここで、解析部１４０は、決定した別のモニタの表示領域の一部が設定済みのモニタ２００の表示領域と重複する場合、別のモニタの表示領域をずらす。

【0097】

図１７は、別のモニタの表示領域を配置する場合の座標系の一例を示す図である。解析部１４０は、モニタ２００とは別のモニタがさらにＰＣ１００に接続された場合、別のモニタについて実行されたベクトル検出の結果に基づいて、座標系８０に別のモニタの表示領域８３を設定する。なお、別のモニタの縦と横の解像度は、モニタ２００と同様であるものとする。また、表示領域８３は、第１の実施の形態に示した第３表示領域の一例である。

【0098】

座標系８０には、内蔵モニタ１０４に表示させる表示領域８１と、モニタ２００に表示させる表示領域８２とが設定されている。表示領域８２の範囲は、表示領域８２ｈと同様である。

【0099】

ここで、別のモニタの接続時のベクトル検出処理において検出されたベクトルが左である場合、解析部１４０は、表示領域８２ｇと同様の範囲の表示領域８３を、別のモニタの表示領域として決定する。すると、表示領域８２の一部と表示領域８３の一部とが重複する。解析部１４０は、重複領域のｘ軸方向の長さ（ｘ方向の被り量）とｙ軸方向の長さ（ｙ方向の被り量）とを比較する。そして、解析部１４０は、被り量が小さい方向に表示領域８３をずらす。ここでは、解析部１４０は、ｙ方向の被り量が小さいため、表示領域８３を、ｙ方向の被り量である＋ＰＨ／２－ＮＨ／２だけ下方向にずらす。そして、解析部１４０は、表示領域８３を、左上の頂点の座標が座標系８０における（ＮＷ，０）である、横の長さがＮＷ、縦の長さがＮＨの長方形に決定する。

【0100】

このように、解析部１４０は、表示領域８２の一部と表示領域８３の一部とが重複する場合、被り量が小さい方向に表示領域８３をずらす。すると、表示領域８３をずらす量が小さくなるため、解析部１４０は、表示領域８１，８２，８３の位置関係を、ＰＣ１００とモニタ２００と別のモニタとの物理的な配置に近づけることができる。これにより、解析部１４０は、３以上のモニタが接続された場合についても適切に設定をすることができる。なお、解析部１４０は、表示領域８２の一部と表示領域８３の一部とが重複する場合、表示領域８２をずらしてもよい。

【0101】

ここで、モニタ２００の使用中に、モニタ２００とＰＣ１００との物理的な配置が変更されることがある。そこで、解析部１４０は、モニタ２００の使用中に表示領域の調整処理をする。

【0102】

図１８は、表示領域の調整処理の一例を示す図である。解析部１４０は、モニタ２００の使用中に、カメラ２０３がユーザ２１を撮像したカメラ画像と、カメラ１０５がユーザ２１を撮像したカメラ画像とに基づいて表示領域の調整をする。図１８の例では、モニタ２００の表示領域が内蔵モニタ１０４の表示領域の上に配置される設定であるものとする。

【0103】

カメラ制御部１３０は、モニタ２００の使用中に、モニタ２００のカメラ２０３にユーザ２１を撮像させる。解析部１４０は、カメラ２０３が撮像したカメラ画像９１ａを解析し、カメラ画像９１ａに写るユーザ２１が正面を向いているか否かを判定する。解析部１４０がカメラ画像９１ａに写るユーザ２１が正面を向いていると判定した場合、カメラ制御部１３０は、ＰＣ１００のカメラ１０５にユーザ２１を撮像させる。

【0104】

解析部１４０は、カメラ１０５が撮像したカメラ画像を解析し、カメラ画像に写るユーザ２１の顔の向きを特定する。例えば、カメラ画像９１ｂが撮像された場合、解析部１４０は、カメラ画像９１ｂを解析し、ユーザ２１の顔の向きが上であると特定する。すると、解析部１４０は、表示領域の設定とユーザ２１の顔の向きとが一致しているため、モニタ２００とＰＣ１００との物理的な配置が設定通りであると判定する。

【0105】

また、例えば、カメラ画像９１ｃが撮像された場合、解析部１４０は、カメラ画像９１ｃを解析し、ユーザ２１の顔の向きが左であると特定する。すると、解析部１４０は、表示領域の設定とユーザ２１の顔の向きとが一致しないため、表示領域の設定に間違いの可能性があると判定する。そして、解析部１４０は、モニタ２００を新規接続モニタとして表示領域の再設定を行う。なお、カメラ画像９１ａは、第１の実施の形態に示した第４カメラ画像の一例であり、カメラ画像９１ｂ，９１ｃは、第１の実施の形態に示した第３カメラ画像の一例である。

【0106】

このように、解析部１４０は、カメラ画像９１ａに写るユーザ２１が正面を向いているときに（つまり、ユーザ２１がモニタ２００の方向を向いているときに）カメラ１０５によって撮像されたカメラ画像９１ｂ，９１ｃに基づいて、設定調整をする。これにより、解析部１４０は、使用中にモニタ２００とＰＣ１００との物理的な位置関係が変更された場合、内蔵モニタ１０４の表示領域とモニタ２００の表示領域との位置関係を変更することができる。以下、ＰＣ１００が実行する処理の手順について、詳細に説明する。

【0107】

図１９は、表示領域設定処理の手順の一例を示すフローチャート（その１）である。以下、図１９に示す処理をステップ番号に沿って説明する。
［ステップＳ１１］モニタ制御部１２０は、モニタを新規検出したか否かを判定する。例えば、モニタ制御部１２０は、接続インタフェース１１０を介して接続先のモニタ２００から信号が検出された場合、モニタ２００を新規検出したと判定する。モニタ制御部１２０は、モニタを新規検出したと判定した場合、処理をステップＳ１４に進める。また、モニタ制御部１２０は、モニタを新規検出していないと判定した場合、処理をステップＳ１２に進める。

【0108】

［ステップＳ１２］モニタ制御部１２０は、ＰＣ１００に接続された各モニタにカメラがあるか否かを判定する。モニタ制御部１２０は、各モニタにカメラがあると判定した場合、処理をステップＳ１３に進める。また、モニタ制御部１２０は、各モニタにカメラがないと判定した場合、処理をステップＳ１１に進める。

【0109】

［ステップＳ１３］モニタ制御部１２０、カメラ制御部１３０および解析部１４０は、共同して、設定調整処理を実行する。設定調整処理の詳細については後述する（図２２参照）。そして、処理がステップＳ１１に進む。

【0110】

［ステップＳ１４］モニタ制御部１２０は、新規検出したモニタの情報を保持する。例えば、モニタ制御部１２０は、ステップＳ１１で検出したモニタ２００の情報をクラス形式５１で保持する。モニタ制御部１２０は、モニタ２００の識別子をＤｅｖｉｃｅＩＤに格納し、モニタ２００の縦の解像度をＳｃｒｅｅｎＨｅｉｇｈｔに格納し、モニタ２００の横の解像度をＳｃｒｅｅｎＷｉｄｔｈに格納する。

【0111】

［ステップＳ１５］モニタ制御部１２０は、顔の向きでベクトル検出する設定であるか否かを判定する。モニタ制御部１２０は、顔の向きでベクトル検出する設定であると判定した場合、処理をステップＳ１６に進める。また、モニタ制御部１２０は、顔の向きでベクトル検出する設定ではない（指が指し示す向きをベクトルとして検出する設定である）と判定した場合、処理をステップＳ１７に進める。

【0112】

［ステップＳ１６］モニタ制御部１２０は、新規接続されたモニタを直視するよう促す画面を、新規接続されたモニタに表示させる。例えば、まず、モニタ制御部１２０は、内蔵モニタ１０４に画面６１ａを表示させる。そして、カメラ制御部１３０がカメラ１０５に撮像させたカメラ画像６２ａに写るユーザ２１が正面を向いていることを解析部１４０が確認すると、モニタ制御部１２０は、モニタ２００に画面６１ｂを表示させる。そして、処理がステップＳ１８に進む。

【0113】

［ステップＳ１７］モニタ制御部１２０は、新規接続されたモニタを指で指すよう促す画面を、新規接続されたモニタに表示させる。例えば、モニタ制御部１２０は、モニタ２００に画面７１を表示させる。

【0114】

［ステップＳ１８］カメラ制御部１３０は、カメラ１０５でユーザ２１を撮像する。例えば、顔の向きでベクトル検出する設定である場合、カメラ制御部１３０は、カメラ１０５にカメラ画像６２ｂを撮像させる。また、例えば、指が指し示す向きをベクトルとして検出する設定である場合、カメラ制御部１３０は、カメラ１０５にカメラ画像７２を撮像させる。

【0115】

［ステップＳ１９］解析部１４０は、撮像したカメラ画像を解析し、ベクトルを検出する。例えば、解析部１４０は、カメラ画像６２ｂを解析し、カメラ画像６２ｂに写るユーザ２１が顔を向けている向きをベクトルとして検出する。ここで、解析部１４０は、人物の画像と顔の向きとが対応付けられた学習データを用いて学習した学習済みモデルによって、カメラ画像６２ｂに写るユーザ２１の顔の向きをベクトルとして検出する。

【0116】

また、例えば、解析部１４０は、カメラ画像７２を解析し、カメラ画像７２に写るユーザ２１の指が指し示す向きをベクトルとして検出する。ここで、解析部１４０は、手を認識する学習済みモデルによって、カメラ画像７２に写る手のランドマーク認識を行う。そして、解析部１４０は、手の形と指が指し示す向きとが対応付けられた学習データを用いて学習した学習済みモデルによって、カメラ画像７２に写るユーザ２１の指が指し示す向きをベクトルとして検出する。

【0117】

［ステップＳ２０］解析部１４０は、ステップＳ１９でベクトルを検出したか否かを判定する。解析部１４０は、ベクトル検出したと判定した場合、処理をステップＳ２１に進める。また、解析部１４０は、ベクトル検出していないと判定した場合、処理をステップＳ１５に進める。

【0118】

［ステップＳ２１］解析部１４０は、内蔵モニタ１０４の横の解像度ＰＷおよび縦の解像度ＰＨを設定する。例えば、解析部１４０は、レジストリに設定された内蔵モニタ１０４の横の解像度をＰＷに設定する。また、解析部１４０は、レジストリに設定された内蔵モニタ１０４の縦の解像度をＰＨに設定する。また、解析部１４０は、新規接続されたモニタの横の解像度ＮＷおよび縦の解像度ＮＨを設定する。例えば、解析部１４０は、ステップＳ１４で保持されたＳｃｒｅｅｎＷｉｄｔｈに格納された値を、ＮＷに設定する。また、解析部１４０は、ステップＳ１４で保持されたＳｃｒｅｅｎＨｅｉｇｈｔに格納された値を、ＮＨに設定する。

【0119】

図２０は、表示領域設定処理の手順の一例を示すフローチャート（その２）である。以下、図２０に示す処理をステップ番号に沿って説明する。
［ステップＳ２２］解析部１４０は、検出されたベクトルが上であるか否かを判定する。解析部１４０は、検出されたベクトルが上であると判定した場合、処理をステップＳ２３に進める。また、解析部１４０は、検出されたベクトルが上ではないと判定した場合、処理をステップＳ２４に進める。

【0120】

［ステップＳ２３］解析部１４０は、新規接続されたモニタの表示領域の左上の頂点のｘ座標を示す変数Ｘに＋ＰＷ／２－ＮＷ／２を代入する。また、解析部１４０は、新規接続されたモニタの表示領域の左上の頂点のｙ座標を示す変数Ｙに－ＮＨを代入する。そして、処理がステップＳ３７に進む。

【0121】

［ステップＳ２４］解析部１４０は、検出されたベクトルが右上であるか否かを判定する。解析部１４０は、検出されたベクトルが右上であると判定した場合、処理をステップＳ２５に進める。また、解析部１４０は、検出されたベクトルが右上ではないと判定した場合、処理をステップＳ２６に進める。

【0122】

［ステップＳ２５］解析部１４０は、新規接続されたモニタの表示領域の左上の頂点のｘ座標を示す変数Ｘに＋ＰＷ／２を代入する。また、解析部１４０は、新規接続されたモニタの表示領域の左上の頂点のｙ座標を示す変数Ｙに－ＮＨを代入する。そして、処理がステップＳ３７に進む。

【0123】

［ステップＳ２６］解析部１４０は、検出されたベクトルが右であるか否かを判定する。解析部１４０は、検出されたベクトルが右であると判定した場合、処理をステップＳ２７に進める。また、解析部１４０は、検出されたベクトルが右ではないと判定した場合、処理をステップＳ２８に進める。

【0124】

［ステップＳ２７］解析部１４０は、新規接続されたモニタの表示領域の左上の頂点のｘ座標を示す変数Ｘに＋ＰＷを代入する。また、解析部１４０は、新規接続されたモニタの表示領域の左上の頂点のｙ座標を示す変数Ｙに＋ＰＨ／２－ＮＨ／２を代入する。そして、処理がステップＳ３７に進む。

【0125】

［ステップＳ２８］解析部１４０は、検出されたベクトルが右下であるか否かを判定する。解析部１４０は、検出されたベクトルが右下であると判定した場合、処理をステップＳ２９に進める。また、解析部１４０は、検出されたベクトルが右下ではないと判定した場合、処理をステップＳ３０に進める。

【0126】

［ステップＳ２９］解析部１４０は、新規接続されたモニタの表示領域の左上の頂点のｘ座標を示す変数Ｘに＋ＰＷを代入する。また、解析部１４０は、新規接続されたモニタの表示領域の左上の頂点のｙ座標を示す変数Ｙに＋ＰＨ／２を代入する。そして、処理がステップＳ３７に進む。

【0127】

［ステップＳ３０］解析部１４０は、検出されたベクトルが下であるか否かを判定する。解析部１４０は、検出されたベクトルが下であると判定した場合、処理をステップＳ３１に進める。また、解析部１４０は、検出されたベクトルが下ではないと判定した場合、処理をステップＳ３２に進める。

【0128】

［ステップＳ３１］解析部１４０は、新規接続されたモニタの表示領域の左上の頂点のｘ座標を示す変数Ｘに＋ＰＷ／２－ＮＷ／２を代入する。また、解析部１４０は、新規接続されたモニタの表示領域の左上の頂点のｙ座標を示す変数Ｙに＋ＰＨを代入する。そして、処理がステップＳ３７に進む。

【0129】

［ステップＳ３２］解析部１４０は、検出されたベクトルが左下であるか否かを判定する。解析部１４０は、検出されたベクトルが左下であると判定した場合、処理をステップＳ３３に進める。また、解析部１４０は、検出されたベクトルが左下ではないと判定した場合、処理をステップＳ３４に進める。

【0130】

［ステップＳ３３］解析部１４０は、新規接続されたモニタの表示領域の左上の頂点のｘ座標を示す変数Ｘに－ＮＷを代入する。また、解析部１４０は、新規接続されたモニタの表示領域の左上の頂点のｙ座標を示す変数Ｙに＋ＰＨ／２を代入する。そして、処理がステップＳ３７に進む。

【0131】

［ステップＳ３４］解析部１４０は、検出されたベクトルが左であるか否かを判定する。解析部１４０は、検出されたベクトルが左であると判定した場合、処理をステップＳ３５に進める。また、解析部１４０は、検出されたベクトルが左ではない（左上である）と判定した場合、処理をステップＳ３６に進める。

【0132】

［ステップＳ３５］解析部１４０は、新規接続されたモニタの表示領域の左上の頂点のｘ座標を示す変数Ｘに－ＮＷを代入する。また、解析部１４０は、新規接続されたモニタの表示領域の左上の頂点のｙ座標を示す変数Ｙに＋ＰＨ／２－ＮＨ／２を代入する。そして、処理がステップＳ３７に進む。

【0133】

［ステップＳ３６］解析部１４０は、新規接続されたモニタの表示領域の左上の頂点のｘ座標を示す変数Ｘに＋ＰＷ／２－ＮＷを代入する。また、解析部１４０は、新規接続されたモニタの表示領域の左上の頂点のｙ座標を示す変数Ｙに－ＮＨを代入する。

【0134】

図２１は、表示領域設定処理の手順の一例を示すフローチャート（その３）である。以下、図２１に示す処理をステップ番号に沿って説明する。
［ステップＳ３７］解析部１４０は、新規接続されたモニタの表示領域の左上の頂点の座標を示す変数Ｘ，Ｙおよび新規接続されたモニタの横の解像度ＮＷおよび縦の解像度ＮＨで示される表示領域がすでに設定した表示領域と重複するか否かを判定する。解析部１４０は、すでに設定した表示領域と重複すると判定した場合、処理をステップＳ３８に進める。また、解析部１４０は、すでに設定した表示領域と重複しないと判定した場合、処理をステップＳ４１に進める。

【0135】

［ステップＳ３８］解析部１４０は、新規接続されたモニタの表示領域とすでに設定した表示領域との重複領域のＸ方向の被り量がＹ方向の被り量より小さいか否かを判定する。解析部１４０は、Ｘ方向の被り量がＹ方向の被り量より小さいと判定した場合、処理をステップＳ３９に進める。また、解析部１４０は、Ｘ方向の被り量がＹ方向の被り量以上であると判定した場合、処理をステップＳ４０に進める。

【0136】

［ステップＳ３９］解析部１４０は、変数Ｘをｘ方向の被り量だけ、すでに設定した表示領域と逆向きにずらす。つまり、解析部１４０は、変数Ｘに、Ｘ±ｘ方向の被り量を代入する。そして、処理がステップＳ３９に進む。

【0137】

［ステップＳ４０］解析部１４０は、変数Ｙをｙ方向の被り量だけ、すでに設定した表示領域と逆向きにずらす。つまり、解析部１４０は、変数Ｙに、Ｙ±ｙ方向の被り量を代入する。

【0138】

［ステップＳ４１］モニタ制御部１２０は、表示領域を設定するレジストリを検索する。
［ステップＳ４２］モニタ制御部１２０は、表示領域を設定するレジストリに新規接続されたモニタの表示領域を設定する。モニタ制御部１２０は、新規接続されたモニタの表示領域の左上の頂点のｘ座標およびｙ座標として変数Ｘ，Ｙを符号付整数１６進数に変換した値を設定する。また、モニタ制御部１２０は、符号付整数１６進数に変換した値を設定する。

【0139】

［ステップＳ４３］モニタ制御部１２０は、ビデオドライバを無効にする。
［ステップＳ４４］モニタ制御部１２０は、ビデオドライバを有効にする。これにより、ステップＳ４２で設定された表示領域が新規接続されたモニタに表示される。

【0140】

［ステップＳ４５］モニタ制御部１２０は、設定が適切であるか否かを判定する。例えば、モニタ制御部１２０は、新規接続されたモニタの表示が適切であることを示す入力を受け付けた場合、設定が適切であると判定し、新規接続されたモニタの表示が適切ではないことを示す入力を受け付けた場合、設定が適切ではないと判定する。モニタ制御部１２０は、設定が適切であると判定した場合、処理をステップＳ１１に進める。また、モニタ制御部１２０は、設定が適切ではないと判定した場合、処理をステップＳ１５に進める。

【0141】

このように、解析部１４０は、新規接続されたモニタに顔を向けるまたは新規接続されたモニタを指で指し示すよう促したユーザ２１を撮像したカメラ画像から、ユーザ２１が顔を向けている向きまたは指で指し示す向きをベクトルとして検出する。これにより、解析部１４０は、内蔵モニタ１０４に対する新規接続されたモニタの位置をベクトルとして検出することができる。

【0142】

そして、解析部１４０は、表示領域８１に対して検出したベクトルの方向に、新規接続されたモニタの表示領域を配置するよう決定する。モニタ制御部１２０は、解析部１４０が決定した表示領域の設定を適用する。これにより、解析部１４０は、ユーザ２１がモニタ２００に顔を向けるまたはモニタ２００を指で指し示すだけでマルチモニタの設定ができるようにすることができる。このようにして、解析部１４０は、表示装置の設定を容易にすることができる。

【0143】

また、解析部１４０は、新規接続されたモニタの表示領域がすでに設定した表示領域と重複する場合、新規接続されたモニタの表示領域を被り量が小さい方向にずらす。すると、表示領域をずらす量が小さくなるため、解析部１４０は、表示領域の位置関係を、ＰＣ１００と各モニタ２００との物理的な配置に近づけることができる。これにより、解析部１４０は、３以上のモニタが接続された場合についても適切に設定をすることができる。

【0144】

図２２は、設定調整処理の手順の一例を示すフローチャートである。以下、図２２に示す処理をステップ番号に沿って説明する。
［ステップＳ５１］解析部１４０は、各モニタのカメラで撮像したカメラ画像を解析し、カメラ画像に写るユーザ２１の顔が正面向きであるか否かを判定する。解析部１４０は、いずれかのカメラ画像に写るユーザ２１の顔が正面向きであると判定した場合、処理をステップＳ５２に進める。また、解析部１４０は、いずれのカメラ画像に写るユーザ２１の顔も正面向きではないと判定した場合、処理を終了する。

【0145】

［ステップＳ５２］カメラ制御部１３０は、ＰＣ１００のカメラ１０５でユーザ２１を撮像する。
［ステップＳ５３］解析部１４０は、ステップＳ５１でユーザ２１の顔が正面向きであるカメラ画像を撮像したモニタの表示領域の設定をレジストリから取得する。解析部１４０は、内蔵モニタ１０４の表示領域８１に対する、設定を取得した表示領域の方向を算出する。

【0146】

［ステップＳ５４］解析部１４０は、ステップＳ５２で撮像されたカメラ画像に写るユーザ２１の顔の向きをベクトルとして検出する。そして、解析部１４０は、カメラ画像から検出したベクトルとステップＳ５３で設定から算出した表示領域の方向とが一致するか否かを判定する。解析部１４０は、カメラ画像から検出したベクトルと設定から算出した表示領域の方向とが一致すると判定した場合、処理を終了する。また、解析部１４０は、カメラ画像から検出したベクトルと設定から算出した表示領域の方向とが一致しないと判定した場合、処理をステップＳ５５に進める。

【0147】

［ステップＳ５５］モニタ制御部１２０は、ステップＳ５１でユーザ２１の顔が正面向きであるカメラ画像を撮像したモニタを新規検出モニタに設定する。そして、ステップＳ１４からの処理が実行される。

【0148】

このように、カメラ制御部１３０は、モニタに設置されたカメラで撮像したカメラ画像に写るユーザ２１が正面を向いているときに（つまり、ユーザ２１がモニタの方向を向いているときに）カメラ１０５にユーザ２１を撮像させる。解析部１４０は、撮像されたカメラ画像に写るユーザ２１の顔の向きのベクトルと、表示領域８１に対する設定されたモニタの表示領域の向きとが一致するか否かを判定し、一致しない場合、新規検出モニタとして表示領域を再設定するよう決定する。これにより、解析部１４０は、使用中にモニタとＰＣ１００との物理的な位置関係が変更された場合、内蔵モニタ１０４の表示領域と当該モニタとの表示領域との位置関係を変更することができる。

【0149】

第２の実施の形態によれば、解析部１４０は、内蔵モニタ１０４に設置されたカメラ１０５がユーザ２１を撮像したカメラ画像６２ｂ，７２を解析してユーザ２１の姿勢が示すベクトルを検出する。解析部１４０は、表示領域８１を内蔵モニタ１０４に表示させ表示領域８２ａをモニタ２００に拡張表示させる場合の、表示領域８１に対する表示領域８２ａのコンピュータ処理上の座標系８０における位置関係を、ベクトルに基づいて決定する。これにより、ＰＣ１００は、表示領域８１と表示領域８２ａとの位置関係を、内蔵モニタ１０４とモニタ２００との物理的な位置関係に沿うように自動で設定することができる。よって、ＰＣ１００は、表示装置の設定を容易にすることができる。

【0150】

また、モニタ制御部１２０は、モニタ２００に顔を向けるよう促す画面をモニタ２００に表示させ、解析部１４０は、カメラ画像６２ｂからユーザ２１の顔の向きを特定し、ユーザ２１の顔の向きに基づいてベクトルを検出する。これにより、ＰＣ１００は、ユーザ２１がモニタ２００に顔を向けるだけで表示装置の設定ができるようにすることができる。

【0151】

また、モニタ制御部１２０は、モニタ２００を指し示すよう促す画面をモニタ２００に表示させ、解析部１４０は、カメラ画像７２からユーザ２１の指が指し示す向きを特定し、ユーザ２１の指が指し示す向きに基づいてベクトルを検出する。これにより、ＰＣ１００は、ユーザ２１がモニタ２００を指し示すだけで表示装置の設定ができるようにすることができる。

【0152】

また、解析部１４０は、ユーザ２１を撮像したカメラ画像を解析してユーザ２１の姿勢が示すベクトルを検出し、表示領域８３を別のモニタに拡張表示させる場合の、表示領域８１に対する表示領域８３の座標系８０における位置関係を、ベクトルに基づいて決定する。そして、解析部１４０は、表示領域８２の一部と表示領域８３の一部とが重複する重複領域がある場合、座標系８０における水平方向または垂直方向のうち重複領域の短手方向に、表示領域８２または表示領域８３をずらす。これにより、ＰＣ１００は、３以上の表示装置が接続された場合についても適切に設定をすることができる。

【0153】

また、解析部１４０は、カメラ１０５が撮像したカメラ画像９１ｂ，９１ｃに基づいて、内蔵モニタ１０４に対するユーザ２１の顔の向きを特定する。解析部１４０は、モニタ２００に設置されたカメラ２０３がカメラ画像９１ｂ，９１ｃが撮像されるときに撮像したカメラ画像９１ａに基づいて、モニタ２００に対するユーザ２１の顔の向きを特定する。解析部１４０は、内蔵モニタ１０４に対するユーザ２１の顔の向きとモニタ２００に対するユーザ２１の顔の向きとに基づいて、表示領域８１に対する表示領域８２の座標系８０における位置関係を変更するか否かを決定する。これにより、ＰＣ１００は、使用中にＰＣ１００とモニタ２００の物理的な位置関係が変更された場合でも、位置関係を適切に変更することができる。

【0154】

以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。

【符号の説明】

【0155】

１ 第１表示装置
１ａ 第１カメラ
２ 第２表示装置
３ ユーザ
４ 第１カメラ画像
５ 座標系
５ａ 第１表示領域
５ｂ 第２表示領域
１０ 情報処理装置
１１ 処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】