特開 2024-28027 情報処理装置、情報処理プログラム、情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024028027

(43)【公開日】2024-03-01

(54)【発明の名称】情報処理装置、情報処理プログラム、情報処理方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240222BHJP

   G06F 3/0346 20130101ALI20240222BHJP

   G06F 3/038 20130101ALI20240222BHJP

   G06F 3/04812 20220101ALI20240222BHJP

   G06F 3/14 20060101ALI20240222BHJP

【ＦＩ】

G06F3/01 510

G06F3/0346 423

G06F3/0346 421

G06F3/038 350D

G06F3/04812

G06F3/14 380B

G06F3/14 350A

G06F3/038 310A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022131330

(22)【出願日】2022-08-19

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】佐伯 俊一

【テーマコード（参考）】

5B069

5B087

5E555

【Ｆターム（参考）】

5B069AA01

5B069AA02

5B069GA07

5B069GA08

5B069JA01

5B069JA02

5B069JA08

5B069KA02

5B087AA09

5B087BC13

5B087BC32

5B087DD06

5B087DD09

5B087DE07

5E555AA06

5E555BA02

5E555BB02

5E555BC07

5E555BC08

5E555CA02

5E555CA10

5E555CA18

5E555CA42

5E555CB02

5E555CB19

5E555CB21

5E555CB65

5E555CB66

5E555CB76

5E555CC01

5E555CC05

5E555DA04

5E555DB06

5E555DC19

5E555DC54

5E555DC63

5E555EA11

5E555EA14

5E555EA22

5E555FA00

(57)【要約】

【課題】複数のディスプレイが配列され、相互に表示内容を確認しながら作業する場合に、オペレータが所望する、複数台のディスプレイ間の指示表示体の移動を実現し、作業性を向上させる。
【解決手段】オペレータ１８の視線Ｌに応じて、オペレータ１８が作業するときに目視するディスプレイ２０を特定し、自動的に、特定したディスプレイ２０の範囲内の視線Ｌの位置にポインタ２２を表示する。モード１では、特定の操作があった場合に、オペレータ１８の視線Ｌを検出して、必要に応じて、ポインタ２２を移動させる。モード２では、常時、オペレータ１８の視線Ｌを検出し、ポインタ２２を移動させる。モード３では、特定の操作があった場合に、オペレータ１８の視線Ｌを検出して、必要に応じて、ポインタ２２を移動させ、一定期間が経過した場合は、このポインタ２２の視線Ｌに対する移動制御を終了する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数のディスプレイの各々の表示を制御する表示制御機能を備え、前記複数のディスプレイの何れかに表示される指示表示体の表示位置を目標として、オペレータによる入力操作を含む処理が実行可能な情報処理装置であって、
前記オペレータの視線を検出する視線検出部と、
前記視線検出部で検出した前記オペレータの視線の先に存在するディスプレイを特定する特定部と、
前記特定部で特定したディスプレイ上への前記指示表示体の表示位置の移動を、前記表示制御機能へ指示する移動指示部と、
を有する情報処理装置。

【請求項2】

前記オペレータの少なくとも首又は肩の回転状態を含む姿勢を検出する姿勢検出部をさらに有し、
前記特定部が、前記視線検出部で検出された前記オペレータの視線の情報に加え、前記姿勢検出部で検出された姿勢に基づいて、前記オペレータの視線の先に存在するディスプレイを特定する、請求項１記載の情報処理装置。

【請求項3】

前記移動指示部が、
前記特定したディスプレイ上における、前記視線検出部で検出した視線の先を含む所定領域内に、前記指示表示体を表示させることを前記表示制御機能へ指示する、請求項１記載の情報処理装置。

【請求項4】

前記移動指示部が、
前記指示表示体が表示されているディスプレイと、前記特定したディスプレイとが一致する場合に、前記指示表示体を移動させる指示をキャンセルする、請求項１記載の情報処理装置。

【請求項5】

前記移動指示部が、
前記指示表示体が表示されているディスプレイと、前記特定したディスプレイとの一致期間が、前記オペレータの瞬間視線移動に相当する予め定めたマスキング時間内の場合に、前記指示表示体を移動させる指示をキャンセルする、請求項１記載の情報処理装置。

【請求項6】

前記移動指示部が、前記オペレータによる特定の入力操作があったときに、単発で前記視線を検出して前記指示表示体の移動を指示する第１モード、及び、常時視線を検出して前記指示表示体の移動を指示する第２モード、並びに、前記オペレータによる特定の入力操作があったときに、単発、かつ一定期間前記視線を検出して前記指示表示体の移動を指示を継続する第３モードを備え、適宜、何れかのモードが選択可能である、請求項１記載の情報処理装置。

【請求項7】

コンピュータを、
請求項１～請求項６の何れか１項記載の情報処理装置の特定部、及び移動指示部として動作させる、
情報処理プログラム。

【請求項8】

複数のディスプレイの各々の表示を制御する表示制御機能を備え、前記複数のディスプレイの何れかに表示される指示表示体の表示位置を目標として、オペレータによる入力操作を含む処理が実行可能な情報処理方法であって、
前記オペレータの視線を検出する第１処理ステップと、
検出した前記オペレータの視線の先に存在するディスプレイを特定する第２処理ステップと、
特定したディスプレイ上への前記指示表示体の表示位置の移動を、前記表示制御機能へ指示する第３処理ステップと、
を備えることを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のディスプレイを用いたコンピュータ処理における作業性を改善するための情報処理装置、情報処理プログラム、情報処理方法に関する。

【背景技術】

【0002】

１台の制御装置に、複数台のディスプレイが接続され、各々のディスプレイに対して異なる情報が表示され、適宜、何れかのディスプレイを選択しながら作業を進めることがある。作業は、ディスプレイ上に指示表示体（ポインタ、カーソル等という場合がある）を表示することで、入力操作位置を指示している。

【0003】

複数のディスプレイが設置された場合、指示表示体は単一であり、何れかのディスプレイ（特定ディスプレイという）に表示されている状態で、視線を特定ディスプイ以外のディスプレイに移動しても、別途、操作対象のディスプレイを指定する操作等を実行しなければ、指示表示体は特定ディスプレイに留まることになる。

【0004】

特許文献１には、見失った指示表示体の発見の容易化を行う際の操作性を改善する情報処理装置が開示されている。

【0005】

特許文献１では、指示表示体に対する特定操作（例えば、マウスを小刻みに動かす操作）を検出し、移動制御部は、指示表示体の表示位置が特定領域の外側にあるときに、特定操作を検出した場合に、指示表示体を特定領域の内側に移動する構成となっており、これにより、指示表示体が特定領域の内側にあるときの特定操作が通常の入力操作となり、指示表示が特定領域の外側にあるときの特定操作が指示表示を捜す操作となる。

【0006】

なお、参考として、特許文献２には、ユーザの視線を認識してインタラクションモードに進入し、視線の位置をカーソルで表示するディスプレイ装置が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１３－２１０７４２号公報

【特許文献2】特開２０１４－０８６０８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、従来技術では、１台のディスプレイでの指示表示体の移動制御に特化されたものであり、かつ、予め定めた領域（特定領域）の内側に移動するものである。これにより、オペレータは、指示操作体を確認することができるが、その後、異なるディスプレイ領域に指示表示体を移動させたい場合は、オペレータが、再度、指示操作体の移動を手動で操作する必要がある。

【0009】

言い換えれば、１台のディスプレイでの指示表示体の移動制御は、そのまま複数のディスプレイ構成の情報処理装置において、オペレータが所望する位置への指示表示体の移動制御（ディスプレイ間を跨ぐ移動制御）に転用するのは技術的に困難である。

【0010】

本発明は、複数のディスプレイが配列され、相互に表示内容を確認しながら作業する場合に、オペレータが所望する、複数台のディスプレイ間の指示表示体の移動を実現し、作業性を向上させることができる情報処理装置、情報処理プログラム、情報処理方法を得ることが目的である。

【課題を解決するための手段】

【0011】

本発明に係る情報処理装置は、複数のディスプレイの各々の表示を制御する表示制御機能を備え、前記複数のディスプレイの何れかに表示される指示表示体の表示位置を目標として、オペレータによる入力操作を含む処理が実行可能な情報処理装置であって、前記オペレータの視線を検出する視線検出部と、前記視線検出部で検出した前記オペレータの視線の先に存在するディスプレイを特定する特定部と、前記特定部で特定したディスプレイ上への前記指示表示体の表示位置の移動を、前記表示制御機能へ指示する移動指示部と、を有している。

【0012】

本発明に係る情報処理プログラムは、コンピュータを、情報処理装置の特定部、及び移動指示部として動作させることを特徴としている。

【0013】

本発明に係る情報処理方法は、複数のディスプレイの各々の表示を制御する表示制御機能を備え、前記複数のディスプレイの何れかに表示される指示表示体の表示位置を目標として、オペレータによる入力操作を含む処理が実行可能な情報処理方法であって、前記オペレータの視線を検出する第１処理ステップと、検出した前記オペレータの視線の先に存在するディスプレイを特定する第２処理ステップと、特定したディスプレイ上への前記指示表示体の表示位置の移動を、前記表示制御機能へ指示する第３処理ステップと、を備えることを特徴としている。

【発明の効果】

【0014】

以上説明した如く本発明によれば、複数のディスプレイが配列され、相互に表示内容を確認しながら作業する場合に、オペレータが所望する、複数台のディスプレイ間の指示表示体の移動を実現し、作業性を向上させることができるという効果を奏する。

【図面の簡単な説明】

【0015】

【図1】（Ａ）及び（Ｂ）は、本実施の形態に係る情報処理装置の外観を示す斜視図である。

【図2】本実施の形態に係る情報処理装置のハード構成図である。

【図3】本実施の形態に係る情報処理装置におけるポインタ表示制御機能に特化した機能ブロック図である。

【図4】本実施の形態に係る情報処理装置において、第１制御部の稼働中に実行される、第２制御部のポインタ表示制御のメインルーチンを示すフローチャートである。

【図5】図４のステップ１０２における、ポインタ表示制御処理（モード１）の詳細を示す制御フローチャートである。

【図6】図４のステップ１０４における、ポインタ表示制御処理（モード２）の詳細を示す制御フローチャートである。

【図7】図４のステップ１０６における、ポインタ表示制御処理（モード３）の詳細を示す制御フローチャートである。

【発明を実施するための形態】

【0016】

図１は、本実施の形態に係る情報処理装置１０の外観を示す斜視図である。

【0017】

情報処理装置１０は、処理装置本体１２を備えている。処理装置本体１２には、入力デバイスとして、キーボード１４及びマウス１６が接続されており、オペレータ１８が、このキーボード１４及びマウス１６を操作可能な位置に着座している。

【0018】

また、オペレータ１８の正面方向には、それぞれがオペレータ１８に対峙するように、出力デバイスとして、複数台のディスプレイ２０が配列され、それぞれ、処理装置本体１２に接続されている。

【0019】

本実施の形態では、図１の左、中央、及び右の順に、第１ディスプレイ２０Ａ、第２ディスプレイ２０Ｂ、第３ディスプレイ２０Ｃとするが、これらを総称する場合は、ディスプレイ２０という。

【0020】

３台のディスプレイ２０は、１台の処理装置本体１２により管理されており、それぞれの表示画面には、処理装置本体１２からの独立した画像情報に基づいて、画像が表示されるようになっている。

【0021】

オペレータ１８は、３台のディスプレイ２０の表示画面を目視する場合、視線Ｌを変えたり、姿勢を変える（首や肩を回転させる）ことで、それぞれのディスプレイ２０の表示画面に表示された情報を把握し、キーボード１４及びマウス１６を操作して、作業（入力操作等）を実行する。

【0022】

この作業において、目視しているディスプレイ２０の表示画面の何れかに、オペレータ１８の作業位置を指示するための、単一の指示表示体（以下、ポインタ２２という）が表示されるようになっている。すなわち、ポインタ２２は、マウス１６の移動や、キーボード１４による文字等の入力操作を補助する役目を有している。

【0023】

図１（Ａ）は、オペレータ１８が左側に位置する第１ディスプレイ２０Ａの表示画面に視線Ｌを向けている状態である。

【0024】

また、図１の（Ｂ）は、図１（Ａ）の状態から右側に位置する第３ディスプレイ２０Ｃの表示画面に視線Ｌを移動した状態である。

【0025】

この図１（Ａ）から図１（Ｂ）におけるオペレータ１８の動作は、視線Ｌが移動し、かつ、姿勢も移動（首も回転）しているが、視線Ｌのみを移動することも可能である。

【0026】

ところで、３台のディスプレイ２０において、オペレータ１８が作業するときに目視するのは１台であり、オペレータ１８の作業上、常に、目視しているディスプレイ２０の表示画面にポインタ２２を表示させることが好ましい。

【0027】

この場合、同一の表示画面において、ポインタ２２の位置を探すのは比較的容易であるが、オペレータ１８が、必要に応じて、目視するディスプレイ２０を変更することがある。この場合、例えば、キーボード１４等の操作等によって、ポインタ２２を表示するディスプレイ２０を選択する必要があった。

【0028】

また、選択しても、オペレータ１８の視線と、ポインタ２２の表示位置（表示座標）が異なっていると、ディスプレイ２０の表示画面内でポインタ２２を検索する必要があった。

【0029】

そこで、本実施の形態では、オペレータ１８の視線Ｌに応じて、オペレータ１８が作業するときに目視するディスプレイ２０を特定し、自動的に、特定したディスプレイ２０の範囲内の視線Ｌの位置にポインタ２２を表示するようにした。

【0030】

この視線Ｌに基づくポインタ２２の移動制御のため、本実施の形態の情報処理装置１０は、中央の第２ディスプレイ２０Ｂの上部に、視線検出部として機能するカメラ２４が取り付けられている。

【0031】

カメラ２４の撮影範囲は、図１（Ａ）及び（Ｂ）に示される、一対の矢印Ａ－Ａの間の所定の角度θで囲まれた扇型の範囲であり、少なくとも、処理装置本体１２に対峙して着座するオペレータ１８が含まれるようになっている。本実施の形態に係るカメラ２４では、オペレータ１８の上半身を常に撮影することができる。

【0032】

なお、カメラ２４は、第２ディスプレイ２０Ｂの上部に限定されず、オペレータ１８の視線Ｌを監視可能であれば、他のディスプレイ２０に設置、或いは独立して設置してもよい。また、視線検出部として、オペレータ１８のヘッドセットを装着し、オペレータ１８の視線や姿勢を監視するようにしてもよい。

【0033】

図２は、本実施の形態に係る情報処理装置１０のハード構成図である。情報処理装置１０は、マイクロコンピュータ５０を備えている。マイクロコンピュータ５０は、ＣＰＵ（Central Processing Unit）５２、ＲＡＭ（Random Access Memory）５４、ＲＯＭ（Read Only Memory）５６、入出力部（Ｉ／Ｏ）５８、及びこれらを接続するデータバスやコントロールバス等のバス６０で構成されている。

【0034】

Ｉ／Ｏ５８には、入力デバイスとしてのキーボード１４及びマウス１６がそれぞれ接続されている。また、Ｉ／Ｏ５８には、出力デバイスとしての第１ディスプレイ２０Ａ、第２ディスプレイ２０Ｂ、第３ディスプレイ２０Ｃ、並びに、記憶装置６２（例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大規模記憶装置）が接続されている。

【0035】

また、Ｉ／Ｏ５８には、入力デバイスとして、カメラ２４が接続されている。

【0036】

上記構成の情報処理装置１０は、マイクロコンピュータ５０のＲＯＭ５６等に格納された処理プログラムに基づいて、ＣＰＵ５２が、通常業務機能及びポインタ表示制御機能として動作するようになっている。

【0037】

なお、通常業務機能とは、オペレータ１８が情報処理装置１０を使用して定常的に行う作業である。

【0038】

通常業務としては、例えば、複数のデータベース等を複数のディスプレイ２０に表示して、逐次確認しながら事務処理を行う業務や、株式等の値動きをリアルタイムに監視しながら売買を行うデイトレーダー業務等が挙げられる。このような通常業務では、オペレータ１８は、適宜、３台のディスプレイ２０間で視線Ｌを移動しながら業務することになる。

【0039】

一方、上記通常業務において、視線Ｌの移動に応じて、ポインタ２２を３台のディスプレイ２０の間を跨いで移動させる機能が、ポインタ表示制御機能である。

【0040】

図３は、情報処理装置１０におけるポインタ表示制御機能に特化した機能ブロック図である。

【0041】

情報処理装置１０は、第１制御部６４（通常業務機能）と第２制御部６６（ポインタ制御機能）を備えている。

【0042】

第１制御部６４には、キーボード１４及びマウス１６が接続されると共に、第１ディスプレイ２０Ａ、第２ディスプレイ２０Ｂ、第３ディスプレイ２０Ｃが接続されている。

【0043】

カメラ２４は、第２制御部６６の画像情報取得部６８に接続されている。画像情報取得部６８は、カメラ２４から取得した画像情報を画像情報解析部７０へ送出する。

【0044】

画像情報解析部７０では、画像情報を解析し、オペレータ１８の目の向きから、視線Ｌを認識する。

【0045】

視線検出技術は、カメラ２４で撮影した画像から、オペレータ１８の目の中の動かない部分を基準点とし、動く部分を動点（瞳孔）とし、基準点に対する動点の位置に基づいて、視線検出を行なう技術である。

【0046】

なお、視線Ｌの認識精度は、少なくとも、視線Ｌの先が、第１ディスプレイ２０Ａ、第２ディスプレイ２０Ｂ、第３ディスプレイ２０Ｃの何れの範囲内にあるか、或いは、範囲外かを認識できればよいが、可能であれば、第１ディスプレイ２０Ａ、第２ディスプレイ２０Ｂ、第３ディスプレイ２０Ｃの各々の複数分割された領域まで特定することが好ましい。

【0047】

例えば、ディスプレイ２０の表示画面サイズに関わらず、オペレータ１８がポインタ２２を容易に見つけることができる認識解像度（具体的数値としては、１０ｃｍ角程度の範囲）が好ましい。

【0048】

画像情報解析部７０での解析結果は、視線方向ディスプレイ特定部７２に送出される。視線方向ディスプレイ特定部７２では、少なくとも、視線Ｌの先にあるディスプレイ２０（ここでは、ディスプレイＸとする）を特定し、特定した情報（ディスプレイＸ）を照合部７４へ送出する。

【0049】

一方、第２制御部６６は、ポインタ表示中ディスプレイ特定部７６を備えている。ポインタ表示中ディスプレイ特定部７６は、第１制御部６４から、現在ポインタ２２が表示されているディスプレイ２０（ここでは、ディスプレイＹとする）を特定し、特定した情報（ディスプレイＹ）を照合部７４へ送出する。

【0050】

照合部７４では、ディスプレイＸとディスプレイＹとを照合し、照合結果を判定部７８へ送出する。

【0051】

判定部７８では、ディスプレイＸとディスプレイＹとの一致又は不一致の結果によって、ポインタ２２を表示するディスプレイ２０の変更可否を判定する。

【0052】

判定部７８は、ポインタ座標演算部８０に接続されており、ディスプレイＸとディスプレイＹとの照合結果が不一致の場合に、ディスプレイＸの表示画面の範囲内におけるポインタ２２の座標位置を演算する。座標位置は、視線Ｌの到達位置と合致することになる。

【0053】

ポインタ座標演算部８０は、ポインタ表示指示部８２に接続されており、演算結果（ディスプレイＸにおける座標）に関する情報を送出する。

【0054】

ポインタ表示指示部８２は、第１制御部６４に接続され、ポインタ位置（ディスプレイＸ、座標）を指示する。これにより、第１制御部６４では、通常業務機能に割り込んで、ポインタ２２の位置を、指示されたディスプレイＸの表示画面の座標に変更する。

【0055】

以下に本実施の形態の作業を、図４～図７のフローチャートに従い説明する。

【0056】

（ポインタ表示制御メインルーチン）
図４は、第１制御部６４の稼働中に実行される、第２制御部６６のポインタ表示制御のメインルーチンを示すフローチャートである。

【0057】

ステップ１００では、現在の設定モードを判別する。設定モードの変更は、例えば、キーボード１４又はマウス１６の操作等でいつでも可能である。

【0058】

ステップ１００において、モード１と判定された場合は、特定操作時検出モードであると判断し、ステップ１０２へ移行し、ポインタ表示制御処理（モード１）を実行し（図５参照）、ステップ１００へ戻る。

【0059】

ステップ１００において、モード２と判定された場合は、常時検出モードであると判断し、ステップ１０４へ移行し、ポインタ表示制御処理（モード２）を実行し（図６参照）、ステップ１００へ戻る。

【0060】

ステップ１００において、モード３と判定された場合は、所定期間継続検出モードであると判断し、ステップ１０６へ移行し、ポインタ表示制御処理（モード３）を実行し（図７参照）、ステップ１００へ戻る。

【0061】

（モード１「特定操作時検出ポインタ表示制御処理」）
図５は、ステップ１０２における、ポインタ表示制御装置（モード１）の詳細な流れを説明する制御フローチャートである。

【0062】

ステップ１０８では、特定の操作（例えば、マウス１６を小刻みに動かす等）があったか否かを判断し、否定判定された場合は、このルーチンは終了する（図４のステップ１００へ戻る）。また、ステップ１０８で肯定判定された場合は、ステップ１１０へ移行する。

【0063】

ステップ１１０では、カメラ２４から画像情報を取得し、次いで、ステップ１１２へ移行して、画像解析により、オペレータ１８の視線Ｌを認識し、ステップ１１４へ移行する。

【0064】

ステップ１１４では、視線Ｌの先に対峙するディスプレイＸを特定し、ステップ１１６へ移行する。

【0065】

ステップ１１６では、第１制御部６４からポインタ２２を表示中のディスプレイＹを特定し、ステップ１１８へ移行する。

【0066】

ステップ１１８では、視線Ｌの先にあるディスプレイＸと、ポインタ２２が表示されているディスプレイＹとを照合し、次いで、ステップ１２０で照合結果を判定（ディスプレイＸとディスプレイＹとの一致又は不一致）する。

【0067】

ステップ１２０の判定の結果、一致（ディスプレイＸ＝ディスプレイＹ）と判定されると、オペレータ１８の視線Ｌの先にあるディスプレイ２０に、ポインタ２２が表示されていると判断し、このルーチンは終了する（図４のステップ１００へ戻る）。なお、同一ディスプレイ２０内において、視線Ｌの先にピンポイントに移動させる（同一ディスプレイ２０内での移動）制御を選択可能としてもよい。

【0068】

一方、ステップ１２０の判定の結果、不一致（ディスプレイＸ≠ディスプレイＹ）と判定されると、オペレータ１８の視線Ｌの先にあるディスプレイ２０に、ポインタ２２が表示されていないと判断し、ステップ１２２へ移行して、視線Ｌの先に対峙するディスプレイ２０（すなわち、ディスプレイＸ）の領域内における、視線Ｌの到達位置座標を演算する。

【0069】

次のステップ１２４では、第１制御部６４へ、ポインタ２２を表示するディスプレイ種情報、及びステップ１２２で演算したポインタ位置に関する座標情報を指示し、このルーチンは終了する。

【0070】

このステップ１２４の指示により、第１制御部６４では、現在表示されているポインタ２２を、指示されたディスプレイ（ディスプレイＸに対応するディスプレイ２０）の所定の座標にポインタ２２を表示する。

【0071】

なお、図５のフローチャートのステップ１２０では、単純にディスプレイＸとディスプレイＹとの一致／不一致の判定を１回だけ行っているが、例えば、一瞬だけ視線Ｌをずらしたときを排除（マスキング）するため、一定時間（例えば、１～２秒程度のマスキング時間）、ディスプレイＸの判定を継続して行い、最終的（一定時間経過後）にディスプレイＸとディスプレイＹとの一致／不一致の判定を行うようにしてもよい（マスキング時間内の一致のキャンセル）。

【0072】

以上説明したように、モード１では、特定の操作（ステップ１０８）があった場合に、オペレータ１８の視線Ｌを検出して、必要に応じて、ポインタ２２を移動させるようにした。これにより、オペレータ１８の意思が尊重され、不要なポインタ２２の移動が回避できる。

【0073】

（モード２「常時検出ポインタ表示制御処理」）
図６は、ステップ１０４における、ポインタ表示制御装置（モード２）の詳細な流れを説明する制御フローチャートである。なお、図５と同一処理ステップについては、同一の符号の末尾に「Ａ」を付して説明する。

【0074】

ステップ１１０Ａでは、カメラ２４から画像情報を取得し、次いで、ステップ１１２Ａへ移行して、画像解析により、オペレータ１８の視線Ｌを認識し、ステップ１１４Ａへ移行する。

【0075】

ステップ１１４Ａでは、視線Ｌの先に対峙するディスプレイＸを特定し、ステップ１１６Ａへ移行する。

【0076】

ステップ１１６Ａでは、第１制御部６４からポインタ２２を表示中のディスプレイＹを特定し、ステップ１１８Ａへ移行する。

【0077】

ステップ１１８Ａでは、視線Ｌの先にあるディスプレイＸと、ポインタ２２が表示されているディスプレイＹとを照合し、次いで、ステップ１２０Ａで照合結果を判定（ディスプレイＸとディスプレイＹとの一致又は不一致）する。

【0078】

ステップ１２０Ａの判定の結果、一致（ディスプレイＸ＝ディスプレイＹ）と判定されると、オペレータ１８の視線Ｌの先にあるディスプレイ２０に、ポインタ２２が表示されていると判断し、このルーチンは終了する（図４のステップ１００へ戻る）。なお、同一ディスプレイ２０内において、視線Ｌの先にピンポイントに移動させる（同一ディスプレイ２０内での移動）制御を選択可能としてもよい。

【0079】

一方、ステップ１２０Ａの判定の結果、不一致（ディスプレイＸ≠ディスプレイＹ）と判定されると、オペレータ１８の視線Ｌの先にあるディスプレイ２０に、ポインタ２２が表示されていないと判断し、ステップ１２２Ａへ移行して、視線Ｌの先に対峙するディスプレイ２０（すなわち、ディスプレイＸ）の領域内における、視線Ｌの到達位置座標を演算する。

【0080】

次のステップ１２４Ａでは、第１制御部６４へ、ポインタ２２を表示するディスプレイ種情報、及びステップ１２２Ａで演算したポインタ位置に関する座標情報を指示し、このルーチンは終了する。

【0081】

このステップ１２４Ａの指示により、第１制御部６４では、現在表示されているポインタ２２を、指示されたディスプレイ（ディスプレイＸに対応するディスプレイ２０）の所定の座標にポインタ２２を表示する。

【0082】

なお、図６のフローチャートのステップ１２０Ａでは、単純にディスプレイＸとディスプレイＹとの一致／不一致の判定を１回だけ行っているが、例えば、一瞬だけ視線Ｌをずらしたときを排除（マスキング）するため、一定時間（例えば、１～２秒程度のマスキング時間）、ディスプレイＸの判定を継続して行い、最終的（一定時間経過後）にディスプレイＸとディスプレイＹとの一致／不一致の判定を行うようにしてもよい（マスキング時間内の一致のキャンセル）。

【0083】

以上説明したように、モード２では、常時、オペレータ１８の視線Ｌを検出し、ポインタ２２を移動させるようにした。これにより、オペレータ１８が操作入力したいディスプレイ２０に、ポインタ２２を速やかに移動させることができる。

【0084】

（モード３「所定期間検出ポインタ表示制御処理」）
図７は、ステップ１０６における、ポインタ表示制御装置（モード３）の詳細な流れを説明する制御フローチャートである。なお、図５と同一処理ステップについては、同一の符号の末尾に「Ｂ」を付して説明する。

【0085】

ステップ１０８Ｂでは、特定の操作（例えば、マウス１６を小刻みに動かす等）があったか否かを判断し、否定判定された場合は、このルーチンは終了する（図４のステップ１００へ戻る）。また、ステップ１０８Ｂで肯定判定された場合は、ステップ１１０Ｂへ移行する。

【0086】

ステップ１１０Ｂでは、カメラ２４から画像情報を取得し、次いで、ステップ１１２Ｂへ移行して、画像解析により、オペレータ１８の視線Ｌを認識し、ステップ１１４Ｂへ移行する。

【0087】

ステップ１１４Ｂでは、視線Ｌの先に対峙するディスプレイＸを特定し、ステップ１１６Ｂへ移行する。

【0088】

ステップ１１６Ｂでは、第１制御部６４からポインタ２２を表示中のディスプレイＹを特定し、ステップ１１８Ｂへ移行する。

【0089】

ステップ１１８Ｂでは、視線Ｌの先にあるディスプレイＸと、ポインタ２２が表示されているディスプレイＹとを照合し、次いで、ステップ１２０Ｂで照合結果を判定（ディスプレイＸとディスプレイＹとの一致又は不一致）する。

【0090】

ステップ１２０Ｂの判定の結果、一致（ディスプレイＸ＝ディスプレイＹ）と判定されると、オペレータ１８の視線Ｌの先にあるディスプレイ２０に、ポインタ２２が表示されていると判断し、ステップ１２６へ移行する。なお、同一ディスプレイ２０内において、視線Ｌの先にピンポイントに移動させる（同一ディスプレイ２０内での移動）制御を選択可能としてもよい。

【0091】

一方、ステップ１２０Ｂの判定の結果、不一致（ディスプレイＸ≠ディスプレイＹ）と判定されると、オペレータ１８の視線Ｌの先にあるディスプレイ２０に、ポインタ２２が表示されていないと判断し、ステップ１２２Ｂへ移行して、視線Ｌの先に対峙するディスプレイ２０（すなわち、ディスプレイＸ）の領域内における、視線Ｌの到達位置座標を演算する。

【0092】

次のステップ１２４Ｂでは、第１制御部６４へ、ポインタ２２を表示するディスプレイ種情報、及びステップ１２２Ｂで演算したポインタ位置に関する座標情報を指示し、ステップ１２６へ移行する。

【0093】

このステップ１２４Ｂの指示により、第１制御部６４では、現在表示されているポインタ２２を、指示されたディスプレイ（ディスプレイＸに対応するディスプレイ２０）の所定の座標にポインタ２２を表示する。

【0094】

ステップ１２６では、ステップ１０８Ｂにおいて、特定の操作有りと判定されてから一定期間が経過したか否かが判断され、肯定判定された場合は、このルーチンは終了し（モード３の終了）、図４のステップ１００へ戻る。また、ステップ１２６で否定判定された場合は、ステップ１２８へ移行する。

【0095】

ステップ１２８では、継続解除の有無を判断し、否定判定（継続解除無し）された場合は、ステップ１１０Ｂへ戻り、上記工程を繰り返す。また、ステップ１２８で肯定判定（継続解除有り）された場合は、このルーチンは終了する（図４のステップ１００へ戻る）。

【0096】

以上説明したように、モード３では、特定の操作（ステップ１０８Ｂ）があった場合に、オペレータ１８の視線Ｌを検出して、必要に応じて、ポインタ２２を移動させるようにした。また、一定期間が経過した場合は、このポインタ２２の視線Ｌに対する移動制御を終了するようにした。これにより、オペレータ１８の意思が尊重され、不要なポインタ２２の移動が回避でき、かつ、オペレータ１８が所望しない、必要以上にポインタ２２の移動を回避することができる。

【0097】

なお、図７のフローチャートのステップ１２０Ｂでは、単純にディスプレイＸとディスプレイＹとの一致／不一致の判定を１回だけ行っているが、例えば、一瞬だけ視線Ｌをずらしたときを排除（マスキング）するため、一定時間（例えば、１～２秒程度のマスキング時間）、ディスプレイＸの判定を継続して行い、最終的（一定時間経過後）にディスプレイＸとディスプレイＹとの一致／不一致の判定を行うようにしてもよい（マスキング時間内の一致のキャンセル）。

【0098】

（変形例)
なお、本実施の形態では、視線Ｌを検出して、視線Ｌの先にあるディスプレイ２０の表示画面にポインタ２２を移動させるようにしたが、視線Ｌの検出と共に、オペレータ１８の姿勢（主として、首や肩の回転）を検出し、ポインタ２２を視線Ｌの先に移動するか否かを判定する要件を追加してもよい。

【0099】

姿勢（例えば、首や肩の回転）は、カメラ２４で撮影された画像の解析により、視線と共に検出可能であるため、別途、姿勢検出のためのデバイスは必須ではないが、カメラ２４とは別のデバイスを追加することを否定するものではない。

【0100】

視線と姿勢とは、以下のような関係がある。例えば、図１（Ａ）の状態から、中央の第２ディスプレイ２０Ｂの表示画面に視線Ｌを移動する場合のオペレータ１８は、姿勢（首や肩）を変化させて（姿勢も第２ディスプレイ２０Ｂに向けて）、視線Ｌを移動するパターン１、或いは、オペレータ１８が姿勢（首や肩）を変化させずに（姿勢は第１ディスプレイ２０Ａに向けたまま）、視線Ｌを移動するパターン２が考えらえる。

【0101】

そこで、変形例では、以下のようにポインタ２２の移動を制御するようにした。

【0102】

すなわち、パターン１は、中央の第２ディスプレイ２０Ｂの表示画面を目視しながら作業を進めると推測でき、視線Ｌの先、すなわち、第２ディスプレイ２０Ｂの範囲内の視線Ｌの位置にポインタ２２を移動させる。

【0103】

一方、パターン２は、中央の第２ディスプレイ２０Ｂに視線Ｌを移動させているが、姿勢を見ると、元の左の第１ディスプレイ２０Ａの方向に向いたままであるため、第２ディスプレイ２０Ｂへの視線Ｌの移動は一瞬（所謂、ちら見）であり、左側の第１ディスプレイ２０Ａの表示画面を目視しながら作業を進めると推測でき、視線Ｌの移動に応じたポインタ２２の移動をしない（第１ディスプレイ２０Ａの範囲内のままとする）。

【0104】

このように、視線Ｌと姿勢との組み合わせることで、オペレータ１８の作業状況（何れのディスプレイ２０を目視して作業しているか等）を明確に把握でき、ポインタ２２を、より適正な位置に移動させる（移動しないことを含む）ことができる。

【符号の説明】

【0105】

１０ 情報処理装置
１２ 処理装置本体
１４ キーボード
１６ マウス
１８ オペレータ
２０ ディスプレイ
２０Ａ 第１ディスプレイ
２０Ｂ 第２ディスプレイ
２０Ｃ 第３ディスプレイ
２２ ポインタ（指示表示体）
２４ カメラ（視線検出部）
５０ マイクロコンピュータ
５２ ＣＰＵ
５４ ＲＡＭ
５６ ＲＯＭ
５８ 入出力部（Ｉ／Ｏ）
６０ バス
６２ 記憶装置
６４ 第１制御部（表示制御機能）
６６ 第２制御部
６８ 画像情報取得部
７０ 画像情報解析部（視線検出部）
７２ 視線方向ディスプレイ特定部（特定部）
７４ 照合部
７６ ポインタ表示中ディスプレイ特定部（特定部）
７８ 判定部
８０ ポインタ座標演算部（移動指示部）
８２ ポインタ表示指示部（移動指示部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】