特許 6538871 操作検出装置、操作検出方法、及び映像表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6538871

(24)【登録日】2019年6月14日

(45)【発行日】2019年7月3日

(54)【発明の名称】操作検出装置、操作検出方法、及び映像表示システム

(51)【国際特許分類】

   G06F 3/042 20060101AFI20190625BHJP

   G06F 3/041 20060101ALI20190625BHJP

   G06T 5/00 20060101ALI20190625BHJP

【ＦＩ】

   G06F3/042 473

   G06F3/041 560

   G06T5/00 735

【請求項の数】10

【全頁数】17

(21)【出願番号】特願2017-549949(P2017-549949)

(86)(22)【出願日】2015年11月13日

(86)【国際出願番号】JP2015081922

(87)【国際公開番号】WO2017081805

(87)【国際公開日】20170518

【審査請求日】2018年3月14日

(73)【特許権者】

【識別番号】317015179

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜特許業務法人

(72)【発明者】

【氏名】新倉 雄大

(72)【発明者】

【氏名】松原 孝志

(72)【発明者】

【氏名】森 直樹

【審査官】 菅原 浩二

(56)【参考文献】

【文献】 特表２０１０−５１５１７０（ＪＰ，Ａ）

【文献】 特開２０１６−１８４８５０（ＪＰ，Ａ）

【文献】 特開２０１６−１８６６７４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００１／００３０６６８（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４２

Ｇ０６Ｆ ３／０４１

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

第１の操作オブジェクトの発光検出または反射光検出に基づく第１の操作検出処理と、照明光の照射による第２の操作オブジェクトの影検出に基づく第２の操作検出処理を行う操作検出装置であって、
前記第１の操作オブジェクトと前記第２の操作オブジェクトの画像を撮像する撮像部と、
前記撮像部で撮像した撮像画像のコントラスト調整または前記撮像部で撮像する際のコントラスト調整を行う画像信号処理部と、
前記コントラスト調整を施した撮像画像を用いて、前記第１の操作検出処理と前記第２の操作検出処理を実行する操作検出部と、を備え、
前記画像信号処理部の施すコントラスト調整状態は、前記第１の操作検出処理に用いる撮像画像の場合と、前記第２の操作検出処理に用いる撮像画像の場合とで異なることを特徴とする操作検出装置。

【請求項2】

請求項１に記載の操作検出装置であって、
複数の操作検出モードを切り替え可能な制御部を備え、
前記操作検出モードとして、前記第１の操作検出処理を実行し前記第２の操作検出処理を実行しない第１の操作モードと、前記第２の操作検出処理を実行し前記第１の操作検出処理を実行しない第２の操作モードと、前記第１の操作検出処理と前記第２の操作検出処理の両方を実行する第３の操作モードと、を有し、
前記制御部は前記画像信号処理部に対し、前記第１の操作モード、前記第２の操作モード、前記第３の操作モードに応じて、互いに異なる３通りのコントラスト調整状態を設定すること特徴とする操作検出装置。

【請求項3】

請求項１に記載の操作検出装置であって、
前記画像信号処理部として、前記第１の操作検出処理と前記第２の操作検出処理のために、互いに異なるコントラスト調整を行う少なくとも２つの信号処理部を有することを特徴とする操作検出装置。

【請求項4】

請求項１に記載の操作検出装置であって、
前記画像信号処理部の行うコントラスト調整は、前記撮像部で撮像した撮像画像のゲイン調整であることを特徴とする操作検出装置。

【請求項5】

請求項１に記載の操作検出装置であって、
前記画像信号処理部の行うコントラスト調整は、前記撮像部で撮像した撮像画像のガンマ調整であることを特徴とする操作検出装置。

【請求項6】

請求項１に記載の操作検出装置であって、
前記画像信号処理部の行うコントラスト調整は、前記撮像部で撮像する際の露光時間調整を含むことを特徴とする操作検出装置。

【請求項7】

請求項１に記載の操作検出装置により検出したユーザの操作に基づきプロジェクタが投射する映像を制御する映像表示システムであって、
前記プロジェクタは、
投射する映像信号の処理を行う投射映像処理部と、
前記映像信号を投射映像光に変換して投射面に投射する映像投射部と、を備え、
前記操作検出装置は前記プロジェクタへ、前記操作検出部による検出結果データを送信し、
前記投射映像処理部は、受信した前記検出結果データに基づき、前記映像投射部から投射する映像の切り替えや表示形式の変更を行うことを特徴とする映像表示システム。

【請求項8】

請求項７に記載の映像表示システムであって、
前記操作検出装置は、複数の操作検出モードを切り替え可能な制御部を備え、
前記操作検出モードとして、前記第１の操作検出処理を実行し前記第２の操作検出処理を実行しない第１の操作モードと、前記第２の操作検出処理を実行し前記第１の操作検出処理を実行しない第２の操作モードと、前記第１の操作検出処理と前記第２の操作検出処理の両方を実行する第３の操作モードと、を有し、
前記制御部は前記画像信号処理部に対し、前記第１の操作モード、前記第２の操作モード、前記第３の操作モードに応じて、互いに異なる３通りのコントラスト調整状態を設定すること特徴とする映像表示システム。

【請求項9】

第１の操作オブジェクトの発光検出または反射光検出に基づく第１の操作検出処理と、照明光の照射による第２の操作オブジェクトの影検出に基づく第２の操作検出処理を行う操作検出方法であって、
前記第１の操作オブジェクトと前記第２の操作オブジェクトの画像を撮像する撮像ステップと、
前記撮像ステップで撮像した撮像画像のコントラスト調整または前記撮像ステップで撮像する際のコントラスト調整を行う信号処理ステップと、
前記コントラスト調整を施した撮像映像を用いて、前記第１の操作検出処理と前記第２の操作検出処理を実行する操作検出ステップと、を備え、
前記信号処理ステップにおけるコントラスト調整状態は、前記第１の操作検出処理に用いる撮像画像の場合と、前記第２の操作検出処理に用いる撮像画像の場合とで異なることを特徴とする操作検出方法。

【請求項10】

請求項９に記載の操作検出方法であって、
操作検出モードとして、前記第１の操作検出処理を実行し前記第２の操作検出処理を実行しない第１の操作モードと、前記第２の操作検出処理を実行し前記第１の操作検出処理を実行しない第２の操作モードと、前記第１の操作検出処理と前記第２の操作検出処理の両方を実行する第３の操作モードと、を有し、
前記信号処理ステップでは、前記第１の操作モード、前記第２の操作モード、前記第３の操作モードに応じて、互いに異なる３通りのコントラスト調整状態を設定すること特徴とする操作検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像表示面上でユーザの行う操作を検出する操作検出装置、操作検出方法、及びこれを用いた映像表示システムに関する。

【背景技術】

【0002】

映像の表示面を操作面としてユーザが行う操作を検出するために、ユーザが電子ペン等を使用して操作し、電子ペンの発光位置から操作位置を検出する方法が知られる。また、ユーザの指や手の位置をそれらの影から検出する方法が知られる。特許文献１には、ユーザの操作する操作対象物（操作オブジェクト）が電子ペンである場合とユーザの指や手である場合との両方に対応できる操作検出装置が記載される。すなわち同文献に記載される操作検出装置では、先端が発光する第１の操作オブジェクトが操作面に接する位置を検出するための第１の検出処理を行う第１の検出部と、操作面に照明光を照射し、発光しない第２の操作オブジェクトが操作面に接する位置を検出するための前記第１の検出処理とは異なる第２の検出処理を行う第２の検出部とを有する構成となっている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１５／０５２７６５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の検出装置では、撮像部により撮像された１枚の画像から、先端が発光する第１の操作オブジェクトと、発光しない第２の操作オブジェクトの両方の検出処理を行う場合がある。しかし、同一の撮像条件においては、第１の操作オブジェクトと第２の操作オブジェクトとの画像を両方ともコントラストを満足するように撮像することが困難である。すなわち、発光する第１の操作オブジェクトを検出するために画面全体を暗い画像として撮像すると、発光しない第２の操作オブジェクトのコントラストが低下し、第２の検出部での検出精度が悪化する。一方、発光しない第２の操作オブジェクトを検出するために画像全体を明るい画像として撮像すると、発光する第１の操作オブジェクトのコントラストが低下し、第１の検出部での検出精度が悪化するからである。

【0005】

本発明の目的は、上記の課題を鑑み、同一の撮像条件で発光する操作オブジェクトと発光しない操作オブジェクトを撮像する場合、それぞれの操作オブジェクトの検出に適した画像のコントラストを実現することである。

【課題を解決するための手段】

【0006】

本発明は、第１の操作オブジェクトの発光検出または反射光検出に基づく第１の操作検出処理と、照明光の照射による第２の操作オブジェクトの影検出に基づく第２の操作検出処理を行う操作検出装置であって、前記第１の操作オブジェクトと前記第２の操作オブジェクトの画像を撮像する撮像部と、前記撮像部で撮像した撮像画像のコントラスト調整または前記撮像部で撮像する際のコントラスト調整を行う画像信号処理部と、前記コントラスト調整を施した撮像画像を用いて、前記第１の操作検出処理と前記第２の操作検出処理を実行する操作検出部と、を備え、前記画像信号処理部の施すコントラスト調整状態は、前記第１の操作検出処理に用いる撮像画像の場合と、前記第２の操作検出処理に用いる撮像画像の場合とで異なることを特徴とする。

【発明の効果】

【0007】

本発明によれば、第１の操作オブジェクトと第２の操作オブジェクトのそれぞれの操作検出に適した画像のコントラストを実現し、検出精度が向上するとともに操作性が向上する。

【図面の簡単な説明】

【0008】

【図1】実施例１における操作検出装置を用いた映像表示システムの構成図。

【図2】操作検出装置の外観とユーザの操作状態を示す図。

【図3】撮像画像の明るさと操作検出精度との関係を示す図。

【図4】画像信号処理部１，２による輝度調整とコントラスト変化を説明する図。

【図5】電子ペンの構成と動作の一例を示す図。

【図6】電子ペンと壁面の接触位置の検出を説明する図。

【図7】指が壁面に接触していない場合の影の形状を示す図。

【図8】指が壁面に接触している場合の影の形状を示す図。

【図9】指の接近度と影の生成位置をまとめて示した図。

【図10】指と壁面の接触位置の検出を説明する図。

【図11】図１の変形例を示す構成図。

【図12】実施例２における操作検出装置を用いた映像表示システムの構成図。

【図13】実施例３における操作検出装置を用いた映像表示システムの構成図。

【図14】実施例４における操作検出装置を用いた映像表示システムの構成図。

【図15】各操作モードにおけるゲイン調整状態の一例を示す図。

【発明を実施するための形態】

【0009】

以下、図面を用いて実施例を説明する。以下の実施例では、電子ペンなどの発光する操作オブジェクト（第１の操作オブジェクト）とユーザの指や手などの発光しない操作オブジェクト（第２の操作オブジェクト）の両方を使用する場合の操作検出について説明する。なお、第１の操作オブジェクトは、自身は発光せずに反射光を発する操作物でもよく、以下ではこれも含めることとする。

【実施例1】

【0010】

実施例１では、第１、第２の操作オブジェクトに共通の画像信号処理部１と、発光しない第２の操作オブジェクト用の画像信号処理部２とを用いて、両方の操作オブジェクトの接触点（操作位置）を検出する方法について説明する。

【0011】

図１は、実施例１における操作検出装置を用いた映像表示システムの構成を示す図である。映像表示システムは操作検出装置１００とプロジェクタ１５０を備え、操作検出装置１００により検出したユーザの操作に基づき、プロジェクタ１５０により投射する映像を制御する構成である。

【0012】

操作検出装置１００において、１０１はイメージセンサ（撮像部）、１０２及び１０３は照明、１０４はスイッチ、１０５はフレーム検出部、１０６は影領域抽出部、１０７は輪郭検出部、１０８は指先接触点検出部、１０９は制御部、１１０は出力部、１１１は画像信号処理部１、１１２は画像信号処理部２、１１４はペン先抽出部、１１５はペン先接触点検出部である。

【0013】

イメージセンサ（撮像部）１０１は、センサ回路やレンズ等で構成され、第１の操作オブジェクト（電子ペン）と、第２の操作オブジェクト（ユーザの指や手）の画像を取得する。照明１０２及び照明１０３は、発光ダイオード、回路基板、レンズ等で構成され、前記イメージセンサ１０１で撮像する領域を照射する。これにより、第２の操作オブジェクトに影を生成する。なお、イメージセンサ１０１、照明１０２，１０３は、赤外カメラと赤外照明で構成し、赤外画像を撮像することで後述する指や手の状態を検出する処理を行ってもよい。また、照明１０２，１０３の光源は、レーザ等の発光ダイオード以外の光源でもよい。

【0014】

スイッチ１０４は、ハードウェアやソフトウェア等で構成され、フレーム検出部１０５によって送られた信号を元に照明１０２，１０３の点灯及び消灯を制御する。これにより、後述する影領域抽出部１０６において、撮像した画像内から抽出する第２の操作オブジェクトの影のコントラストを向上させる。例えば、フレーム検出部１０５から信号Ａが送られていた場合には照明１０２を点灯し照明１０３を消灯し、フレーム検出部１０５から信号Ｂが送られていた場合には照明１０２を消灯し照明１０３を点灯する。

【0015】

フレーム検出部１０５は、ハードウェアやソフトウェア等で構成され、イメージセンサ１０１で１つのフレームの撮像が完了したことを検出し、予め設定した周期に応じてスイッチ１０４に信号を送信する。例えば、イメージセンサ１０１で撮像された画像の枚数が２の倍数となった時に、スイッチ１０４に送る信号をＡとＢとで交互に切り替える。なお、フレーム検出部１０５において信号を切り替える周期は、他の周期としてもよい。

【0016】

画像信号処理部１（１１１）は、回路基板やソフトウェア等で構成され、イメージセンサ１０１で取得した撮像画像に対して画像全体が暗くなるように画像処理を行い、第１の操作オブジェクト（電子ペン）のペン先領域のコントラストを向上させ、ペン先抽出部１１４でのペン先の発光領域の抽出を容易にする。ここでは、例えばゲイン調整やガンマ調整などの画像処理を適用し、ペン先領域のコントラストを向上させる。

【0017】

ペン先抽出部１１４は、ハードウェアやソフトウェア等で構成され、画像信号処理部１（１１１）で処理した画像から発光する電子ペンの発光領域を抽出する。例えば、ゲイン調整した画像から一定の輝度値以上の領域を抽出する。なお、ペン先抽出部１１４の処理は、同様の結果を得るための他の画像処理のアルゴリズムを用いてもよい。ペン先接触点検出部１１５は、ハードウェアやソフトウェア等で構成され、ペン先抽出部１１４によって得られた発光領域の形状や大きさ等に基づき、操作面に対する電子ペンの接触点を検出する。

【0018】

一方画像信号処理部２（１１２）は、回路基板やソフトウェア等で構成され、画像信号処理部１（１１１）から出力された画像の各画素に対して画像全体が明るくなるように画像処理を行い、影領域抽出部１０６での第２の操作オブジェクト（指や手）の影領域抽出を容易にする。ここでも、例えばゲイン調整やガンマ調整などの画像処理を適用し、影領域のコントラストを向上させる。

【0019】

影領域抽出部１０６は、ハードウェアやソフトウェア等で構成され、画像信号処理部２（１１２）で処理した画像から影の領域を検出する。影の領域は、例えば、予め撮像した背景画像と最新の撮像画像との差分から差分画像を生成し、前記差分画像を所定の輝度の閾値で二値化することで得られる。なお、影領域抽出部１０６の処理は、同様の結果を得るための他の画像処理のアルゴリズムを用いてもよい。

【0020】

輪郭検出部１０７は、ハードウェアやソフトウェア等で構成され、影領域抽出部１０６によって得られた影の領域の輪郭を検出する。影領域の輪郭は、例えば、最初に影領域の左上端の画素を求め、逐次的に隣接する画素を探索することによって得られる。なお、輪郭検出部１０７の処理は、同様の結果を得るための他の画像処理のアルゴリズムを用いてもよい。指先接触点検出部１０８は、回路基板やソフトウェア等で構成され、影の形状や位置に基づいて、操作面に対する指の接触点を検出する。

【0021】

制御部１０９は、回路基板やソフトウェア等で構成され、イメージセンサ１０１、照明１０２，１０３、スイッチ１０４、フレーム検出部１０５、影領域抽出部１０６、輪郭検出部１０７、接触点検出部１０８、出力部１１０、画像信号処理部１（１１１）、画像信号処理部２（１１２）、ペン先抽出部１１４、ペン先接触点検出部１１５を制御する。

【0022】

出力部１１０は、ネットワーク接続やＵＳＢ接続、超音波ユニット、赤外線通信装置等で構成され、投射する映像を表示するプロジェクタ１５０と通信できるインタフェースである。なお、映像を表示する装置としては、他のディスプレイ（ヘッドマウントディスプレイ、ヘッドアップディスプレイを含む）を接続してもよい。

【0023】

検出結果データ１４０は、操作検出装置１００が前記出力部１１０を介してプロジェクタ１５０に送信するデータであり、接触状態情報や接触点座標などが含まれる。

【0024】

プロジェクタ１５０は、映像をスクリーン等の投射面に投射する装置である。映像入力部１５１は投射する映像信号を入力し、投射映像処理部１５２は投射方式に従って映像信号の変換と補正処理を行い、映像投射部１５３は映像信号を投射映像光に変換して投射面に投射する。例えば、液晶パネルによる光変調や、レーザ光の走査方式などを用いる。ここに投射映像処理部１５２では、操作検出装置１００から受信した検出結果データ１４０に基づき、映像投射部１５３から投射する映像の切り替えや、表示形式の変更など様々な制御を行う。

【0025】

図２は、操作検出装置１００の外観とユーザ２００の操作状態を示す正面図と側面図である。（ａ）はユーザ２００が電子ペン１２０（第１の操作オブジェクト）を操作している場合で、（ｂ）はユーザが指３００（第２の操作オブジェクト）で壁面２０１に操作している場合である。プロジェクタ１５０は壁面２０１に対し映像を投射している（なお、側面図ではプロジェクタ１５０を省略している）。

【0026】

操作検出装置１００は、イメージセンサ１０１により壁面２０１を撮像し、撮像可能な領域２０２内において、電子ペン１２０または指３００の接触位置を検出する。（ａ）では、ユーザ２００が壁面２０１に電子ペン１２０を触れると、ペン先が発光する。すなわち、電子ペン１２０の接触位置はその撮像画像内の電子ペン１２０の発光位置から求める。（ｂ）では、２つの照明１０２，１０３を交互に点灯させて指３００の２つの影を生成し、その位置関係から指３００の接触位置を求める。

【0027】

図３は、撮像画像の明るさと操作検出の精度との関係を示す図である。左側の（１）は撮像画像が明るい場合、右側の（２）は撮像画像が暗い場合である。また、上側（ａ）は電子ペン１２０による操作のとき、下側（ｂ）は指３００による操作のときである。

【0028】

（ａ）の電子ペン１２０のとき、（２）のように撮像画像が暗い場合には電子ペン１２０の発光領域は明瞭であるが、（１）のように撮像画像が明るい場合には、電子ペン１２０の発光領域が周囲と識別しにくくなる。一方、（ｂ）の指３００のとき、（１）のように撮像画像が明るい場合には指３００に生成される影は明瞭であるが、（２）のように撮像画像が暗い場合には、指３００の影は周囲と識別しにくくなる。すなわち、発光する電子ペン１２０と発光しない指３００とを同一の撮像条件で撮像する場合、一方のオブジェクト画像のコントラストは満足できても、他方のオブジェクト画像のコントラストが低下し、接触位置の検出精度が悪化してしまう。

【0029】

本実施例では、電子ペンの発光領域および指の影からそれらの接触位置を検出する際に、操作検出装置１００内に画像信号処理部１（１１１）と画像信号処理部２（１１２）とを設けて、イメージセンサ１０１で取得した撮像画像に対して、第１の操作オブジェクト（電子ペン）と第２の操作オブジェクト（指や手）のコントラストがいずれも満足できるものとなるように画像処理を行う。以下、画像処理として輝度ゲイン調整を行う場合を例に説明する。

【0030】

図４は、画像信号処理部１，２による輝度調整とコントラスト変化を説明する図である。（ａ）は画像信号処理部１（１１１）による輝度調整を、（ｂ）は画像信号処理部２（１１２）による輝度調整を示す。図面右側には、各操作オブジェクト（指３００と電子ペン１２０）近傍の輝度値の変化を示しており、破線は調整前、実線は調整後である。

【0031】

図４（ａ）では、画像信号処理部１（１１１）により、イメージセンサ１０１で取得した撮像画像に対して画像全体が暗くなるように輝度ゲインＧ１を調整する。その結果、電子ペン１２０の発光部のコントラストを向上させることができる。すなわち、電子ペン１２０の周囲の輝度が低下することで、発光中心と周囲との輝度差（コントラスト）を大きくしている。

【0032】

図４（ｂ）では、画像信号処理部２（１１２）により、画像信号処理部１（１１１）で処理した画像に対して画像全体が明るくなるように輝度ゲインＧ２を調整する。その結果、指３００の周囲の輝度が上昇することで、指３００の影と周囲との輝度差が大きくなり、コントラストを向上させることができる。

【0033】

なお、（ａ）の輝度調整に伴い、他方の操作オブジェクトである指３００の周囲においても輝度が低下し、指３００の影と周囲との輝度差が縮小する。ただし、その輝度差は消失しないように、言い換えれば影の輝度が周囲の輝度と同化しないように調整ゲインＧ１を決定する。なぜなら、輝度差が消失してしまうと、次の（ｂ）の輝度調整において、指３００の影の輝度差（コントラスト）を回復させることができなくなるからである。

【0034】

画像信号処理部１（１１１）および画像信号処理部２（１１２）における調整量（ゲインＧ１，Ｇ２）は、調整前に一度撮像した画像を用いてその最適値を決定するのがよい。また、予め指３００と電子ペン１２０の操作領域が操作面内で分離している場合には、画像信号処理部１，２におけるゲイン調整に関しては、それぞれの操作領域において異なるゲイン値を設定してもよい。

【0035】

なお、前段の画像信号処理部１（１１１）で行う画像処理機能は、制御部１０９からイメージセンサ１０１に制御信号を送り、露光時間を調整するなどの方法によって実現してもよい。

【0036】

この構成により、発光する第１の操作オブジェクト（電子ペン）と発光しない第２の操作オブジェクト（指や手）を用いて操作入力を行う場合に、それぞれの検出に適した画像のコントラストを実現して、操作オブジェクトを検出することが可能となる。各検出処理における画像のコントラストが向上することで、接触点の検出精度が向上し、操作性が向上する効果が得られる。

【0037】

以下、それぞれの操作オブジェクトの操作検出法について説明する。まず、電子ペン１２０（第１操作オブジェクト）による操作検出法を説明する。

【0038】

図５は、電子ペンの構成と動作の一例を示す図である。（ａ）は電子ペン１２０の構造を示し、発光素子１２１と、先端接触検出部１２２と、発光制御部１２３を有する。先端接触検出部１２２はハードウェアや感圧センサ等で構成され、電子ペン１２０の先端が壁面等に接触しているか否かを判定する。なお、先端接触検出部１２２は、同様の結果を得るために異なるセンサを用いてもよい。発光制御部１２３はハードウェアやソフトウェア等で構成され、先端接触検出部１２２の判定結果に基づいて、発光素子１２１の発光を制御する。

【0039】

（ｂ）は電子ペン１２０の先端が接触していない場合で、発光素子１２１を消灯するように制御する。（ｃ）は電子ペン１２０の先端が接触している場合で、発光素子１２１を点灯するように制御する。なお、（ｂ）の電子ペン１２０の先端が接触していない場合は、発光素子１２１が点滅するように制御してもよい。あるいは、接触時と非接触時で、発光素子１２１が異なる周波数で点滅するように制御を行ってもよい。いずれにせよ、接触時と非接触時で、発光素子１２１の発光状態が異なるように制御を行えばよい。

【0040】

なお、イメージセンサ１０１と発光素子１２１はそれぞれ赤外カメラと赤外照明で構成し、赤外画像を撮像することで後述するペンの接触位置を検出する処理を行ってもよい。また、赤外カメラと赤外照明で構成する場合に、赤外カメラの構成にフィルタを追加し、赤外領域でない光を一部あるいは全て遮蔽して撮像するようにしてもよい。

【0041】

図６は、電子ペンと壁面の接触位置の検出を説明する図である。ペン先接触点検出部１１５は、電子ペン１２０と壁面２０１との接触点を検出する処理を行う。図６（ａ）は処理フローを示し、図６（ｂ）と（ｃ）は接触点の求め方を説明する図である。

【0042】

Ｓ５０１では、ペン先抽出部１１４は、画像信号処理部１（１１１）によって処理された画像について、明るく発光する領域が検出されているか否かを判定する。検出されている場合はＳ５０２に進み、検出されていない場合は一連のフローを終了する。

【0043】

Ｓ５０２では、ペン先接触点検出部１１５は、検出された発光領域５１１が所定の条件を満たすか否かを判定する。図６（ｂ）には電子ペン１２０のペン先が発光した状態（発光領域５１１）を示し、図６（ｃ）には発光領域５１１の判定条件を示す。発光領域５１１の面積Ｓ、周囲長Ｌ、縦方向の最大長Ｈ、横方向の最大長Ｗ、縦横比Ｒ等の値が、上限値と下限値の間に収まるか否かを判定する。この条件は、発光領域が電子ペン１２０の発光のみに起因するように設定されている。判定の結果、条件を満たす場合はＳ５０３に進み、条件を満たさない場合はＳ５０４に進む。

【0044】

Ｓ５０３では、図６（ｂ）に示すように、発光領域５１１の重心５１０をペン先の接触点として検出する。あるいは、発光領域５１１の周上の点群の重心位置をペン先の接触点として検出してもよい。

【0045】

Ｓ５０４では、発光領域は電子ペン１２０によるものではないと判定する。Ｓ５０３もしくはＳ５０４の処理が終わると、一連のフローを終了する。

【0046】

ここではＳ５０１〜Ｓ５０４の処理をそれぞれ一度ずつ実行する一巡のフローを示すが、実際にはＳ５０３、Ｓ５０４の後はＳ５０１に戻り、このフローを繰り返すものとする。

【0047】

本実施例では、画像信号処理部１（１１１）による輝度調整の結果、発光領域５１１と周囲の輝度差（コントラスト）が十分得られるので、Ｓ５０１やＳ５０２での判定誤りが少なくなり、Ｓ５０３では接触点の位置を精度良く検出することができる。なお、ペン先接触点検出部１１５における処理は、同様の結果を得るための他の画像処理のアルゴリズムを用いてもよい。

【0048】

次に、指や手（第２操作オブジェクト）による操作検出法を説明する。
図７〜図９は、照明１０２あるいは照明１０３を点灯した際に、指３００と壁面２０１との接触有無による影の形状の違いの一例を示す図である。

【0049】

図７（ａ）は指３００が壁面２０１に接触していない場合の影の形状を示す。照明１０３が点灯している場合には照明１０３によって投影される影３０１ができ、照明１０２が点灯している場合には照明１０２によって投影される影３０２ができる。影３０１と影３０２は互いに離れた状態となる。図７（ｂ）は、図７（ａ）に示すような影ができる原理を説明している。投射面上方から見た場合、照明１０３が照射する光が指３００で遮断され、壁面２０１上に影３０１ができる。また、照明１０２が照射する光が指３００で遮断され、壁面２０１上に影３０２ができる。したがって、イメージセンサ１０１が撮像する画像において、影３０１と影３０２はそれぞれが離れた状態となる。

【0050】

一方、図８（ａ）は指３００が壁面２０１に接触している場合の影の形状を示す。影３０１と影３０２は、指３００の指先の位置で接近した状態となる。図８（ｂ）は、図８（ａ）に示すような影ができる原理を説明している。投射面上方から見た場合、照明１０３が照射する光が指３００で遮断され、壁面２０１上に影３０１ができる。また、照明１０２が照射する光が指３００で遮断され、壁面２０１上に影３０２ができる。したがって、イメージセンサ１０１が撮像する画像において、影３０１と影３０２は指先の位置で接近した状態となる。

【0051】

図９は、指の接近度と影３０１，３０２の生成位置をまとめて示した図である。指３００と壁面２０１との距離が最も近い場合（接触時）では、影３０１と影３０２は指先の位置で接近した状態となる。指３００と壁面２０１が離れるにつれて、影３０１と影３０２との距離は次第に大きくなる。また、指３００と壁面２０１との距離が遠い場合には、影３０１と影３０２は指３００から離れた状態となる。このように、影３０１と影３０２との距離は、指３００と壁面２０１との距離（接近度）に対応している。

【0052】

図１０は、指と壁面の接触位置の検出を説明する図である。指先接触点検出部１０８は、指３００と壁面２０１との接触点を検出する処理を行う。図１０（ａ）は処理フローを示し、図１０（ｂ）は接触点の求め方を説明する図である。

【0053】

Ｓ６０１では、輪郭検出部１０７は指３００の影３０１，３０２の先端６１１，６１２を検出する。Ｓ６０２では、指先接触点検出部１０８は先端６１１と先端６１２の距離を計算し、距離が予め定めた値（所定値）以下であるか否かを判定する。所定値以下である場合はＳ６０３に進み、所定値より大きい場合はＳ６０４に進む。

【0054】

Ｓ６０３では、指３００が壁面２０１に接触していると判定し、図１０（ｂ）に示すように、先端６１１と先端６１２の中点６１０を指３００と壁面２０１との接触点として検出する。

【0055】

Ｓ６０４では、指３００は壁面２０１には接触していないと判定する。Ｓ６０３もしくはＳ６０４の処理が終わると、一連のフローを終了する。

【0056】

ここではＳ６０１〜Ｓ６０４の処理をそれぞれ一度ずつ実行する一巡のフローを示すが、実際にはＳ６０３、Ｓ６０４の後はＳ６０１に戻り、このフローを繰り返すものとする。

【0057】

本実施例では、画像信号処理部２（１１２）による輝度調整の結果、２つの影３０１，３０２と周囲の輝度差（コントラスト）が十分得られるので、Ｓ６０１やＳ６０２での検出・判定誤りが少なくなり、Ｓ６０３では接触点の位置を精度良く検出することができる。

【0058】

このように実施例１によれば、発光する第１の操作オブジェクトと発光しない第２の操作オブジェクトを１台のイメージセンサを用いて撮像して検出する場合、各検出処理においてそれぞれの操作オブジェクトの検出に適したコントラストを実現することができる。操作オブジェクトのコントラストが向上することで、接触点検出精度が向上し、操作性が向上する効果が得られる。また、本実施例の操作検出装置を用いることで、いずれの操作オブジェクトであっても、また、操作面が壁面やテーブル等のようにどのような面であっても利用可能となる効果が得られる。

【0059】

なお、図１で示した操作検出装置１００の構成では、符号１０１〜１１５で示す各部は独立しているが、必要に応じて１または複数の構成要件で構成してもよい。例えば、１０５〜１１５は１または複数の中央処理装置（ＣＰＵ）でその処理を行うように構成してもよい。また、図１では１０１〜１１５の各部を全て操作検出装置１００の内部に構成しているが、１または複数の構成要件を操作検出装置１００の外部に構成し、ネットワーク接続やユニバーサルシリアルバス（ＵＳＢ）接続や、その他の有線、無線接続によって操作検出装置１００に結合してもよい。

【0060】

例えば、図１１は図１の変形例を示す構成図である。図１１では、イメージセンサ１０１、画像信号処理部１（１１１）、照明１０２，１０３、スイッチ１０４について、操作検出装置１００とは別のカメラ／照明モジュール１３０として構成している。そして、操作検出装置１００とモジュール１３０とをＵＳＢ等で接続したものである。

【実施例2】

【0061】

実施例２では、実施例１における画像信号処理部２を廃止し、ペン先抽出部１１４の前段に画像信号処理部３を配置する構成とした。

【0062】

図１２は、実施例２における操作検出装置を用いた映像表示システムの構成を示す図である。実施例１（図１）と異なる点は、影領域抽出部１０６の前段にあった画像信号処理部２（１１２）を廃止し、代わりにペン先抽出部１１４の前段に画像信号処理部３（１１３）を配置したことである。

【0063】

この構成において、前段の画像信号処理部１（１１１）では影領域抽出部１０６での影領域抽出処理を容易にするため、画像全体が明るくなるように画像処理を行う。一方、後段の画像信号処理部３（１１３）では、ペン先抽出部１１４でのペン先抽出処理を容易にするため、画像信号処理部１（１１１）で処理された画像を、画像全体が暗くなるように画像処理を行う。すなわち、実施例１の図４を用いて説明すると、画像信号処理部１（１１１）では図４（ｂ）のゲイン調整Ｇ２に対応する調整を行い、画像信号処理部３（１１３）では図４（ａ）のゲイン調整Ｇ１に対応する調整を行うようにする。

【0064】

なお、画像信号処理部１（１１１）による輝度調整に伴い、電子ペン１２０の発光部と周囲との輝度差が縮小するが、その輝度差は消失しないように、言い換えれば発光部の輝度が周囲の輝度と同化しないように調整ゲインを決定する。なぜなら、輝度差が消失してしまうと、次の画像信号処理部３（１１３）の輝度調整において、電子ペン１２０の発光部の輝度差（コントラスト）を回復させることができないからである。

【0065】

実施例２の構成においても、電子ペンのペン先発光および指の影から接触を検出する際に、画像信号処理部１と画像信号処理部３とにより適切な輝度調整を行うことで、それぞれの検出に最適な画像のコントラストを実現し、いずれの検出精度も向上する。すなわち、実施例１と同様の効果が得られる。

【0066】

なお、実施例１と実施例２の構成は、使用環境に応じて選択するのがよい。前記実施例１の構成は、外光が暗く撮像画像が暗いとき、または投射面の反射率が低いときに適している。なぜなら、初段の画像信号処理部１（１１１）で行う輝度調整量（ゲインＧ１の減少幅）が少なく、処理後の画像の劣化が少ないからである。逆に実施例２の構成は、外光が明るく撮像画像が明るいとき、または投射面の反射率が高いときに適している。なぜなら、初段の画像信号処理部１（１１１）で行う輝度調整量（ゲインＧ２の増加幅）が少なく、処理後の画像の劣化が少ないからである。

【実施例3】

【0067】

実施例３では、実施例１の構成において、ペン先抽出部１１４の前段にさらに画像信号処理部３を追加する構成とした。すなわち、３個の画像信号処理部を備える構成である。

【0068】

図１３は、実施例３における操作検出装置を用いた映像表示システムの構成を示す図である。実施例１（図１）と異なる点は、ペン先抽出部１１４の前段にも画像信号処理部３（１１３）を配置したことである。

【0069】

この構成において、前段の画像信号処理部１（１１１）では影領域抽出処理を容易にするため、画像全体が少し明るくなるように画像処理（前処理）を行う。後段の画像信号処理部２（１１２）では、影領域抽出部１０６での影領域抽出処理を容易にするため、画像信号処理部１（１１１）で処理された画像を、画像全体がさらに明るくなるように画像処理を行う。一方、後段の画像信号処理部３（１１３）では、ペン先抽出部１１４でのペン先抽出処理を容易にするため、画像信号処理部１（１１１）で処理された画像を、画像全体が暗くなるように画像処理を行う。

【0070】

すなわち、実施例１の図４を用いて説明すると、後段の画像信号処理部２（１１２）では図４（ｂ）のゲイン調整Ｇ２に対応する調整を行い、後段の画像信号処理部３（１１３）では図４（ａ）のゲイン調整Ｇ１に対応する調整を行う。なお、入力する撮像画像が明るい場合には、前段の画像信号処理部１（１１１）では少し暗くなるように画像処理（前処理）を行ってもよい。

【0071】

実施例３の構成においても、電子ペンのペン先発光および指の影から接触を検出する際に、画像信号処理部２と画像信号処理部３とにより適切な輝度調整を行うことで、それぞれの検出に最適な画像のコントラストを実現し、いずれの検出精度も向上する。

【0072】

なお、実施例３における画像信号処理部２と画像信号処理部３は、いずれも最終の処理となるのでゲイン調整には制約がなく、前記実施例１，２と比べて、より理想的な画像のコントラストを得ることができる。すなわち、画像信号処理部２では影領域抽出処理に特化できるので、他方のペン先抽出処理において発光部の輝度が周囲と同化しても構わない。また、画像信号処理部３ではペン先抽出処理に特化できるので、他方の影領域抽出処理における影の輝度が周囲と同化しても構わないからである。

【実施例4】

【0073】

実施例４は、実施例３の操作検出装置において操作モードを切り替え可能に構成したものである。すなわち、電子ペン（第１の操作オブジェクト）のみを用いて操作するモードと、指（第２の操作オブジェクト）のみを用いて操作するモードと、電子ペンと指の両方を用いるモードとを、切り替え可能にしている。

【0074】

図１４は、実施例４における操作検出装置を用いた映像表示システムの構成を示す図である。実施例３（図１３）と異なる点は、操作モード制御部１１６を新たに追加したことである。操作モード制御部１１６は、出力部１１０から出力された検出結果データ１４０（電子ペン及び指先の接触点情報）、もしくは外部からのユーザ入力をもとに現在の操作モードを決定する。本例では操作モードとして、電子ペンのみによる操作を検出する第１の操作モード、指のみによる操作を検出する第２の操作モード、電子ペンと指と両方の操作を検出する第３の操作モードを設けている。

【0075】

操作モード制御部１１６は、決定した現在の操作モードにしたがい、モード切替信号を制御部１０９に送る。制御部１０９はモード切替信号に従い、画像信号処理部１（１１１）、画像信号処理部２（１１２）、および画像信号処理部３（１１３）に対し、操作モードに応じた画像処理を実行するように制御する。すなわち、各画像信号処理部１，２，３に対しゲイン調整状態を切り替えて設定する。

【0076】

図１５は、各操作モードにおけるゲイン調整状態の一例を示す図である。電子ペンによる発光のみを検出する第１の操作モードでは、画像信号処理部１では画像が暗くなるように調整し（ゲインＧ１が負（−））、画像信号処理部２，３では調整なし（ゲインＧ２，Ｇ３＝０）とする。指による影のみを検出する第２の操作モードでは、画像信号処理部１では画像が明るくなるように調整し（ゲインＧ１が正（＋））、画像信号処理部２，３では調整なし（ゲインＧ２，Ｇ３＝０）とする。また、電子ペンの発光と指の影の両方を検出する第３の操作モードでは、前記実施例３で説明したように、画像信号処理部１，２では画像が明るくなるように調整し（ゲインＧ１，Ｇ２が正（＋））、画像信号処理部３では画像が暗くなるように調整する（ゲインＧ３が負（−））。このように、各操作モードに応じて各画像信号処理部１，２，３のゲイン調整状態は異なるものとなっている。

【0077】

実施例４によれば、電子ペンのペン先発光および指の影から接触を検出する際に、操作モードに応じて各画像信号処理部１，２，３のゲイン調整状態を切り替えて動作させ、それぞれの検出に最適な画像のコントラストを実現できる。これにより、各検出処理における接触点の検出精度が向上し、操作性が向上する効果が得られる。

【0078】

上記した各実施例は、本発明を分かり易く説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることは可能であり、さらにはある実施例の構成に他の実施例の構成を加えることも可能である。

【0079】

各実施例における画像信号処理部は、画像信号に対し輝度ゲインを調整するものとして説明したが、その他ガンマ調整などを含め、コントラストを調整可能であればいずれも適用できる。このうち、初段の画像信号処理部は、イメージセンサ１０１における露光時間を制御してコントラストを調整するものであってもよい。

【符号の説明】

【0080】

１００：操作検出装置、
１０１：イメージセンサ（撮像部）、
１０２，１０３：照明、
１０４：スイッチ、
１０５：フレーム検出部、
１０６：影領域抽出部、
１０７：輪郭検出部、
１０８：指先接触点検出部、
１０９：制御部、
１１０：出力部、
１１１：画像信号処理部１、
１１２：画像信号処理部２、
１１３：画像信号処理部３、
１１４：ペン先抽出部、
１１５：ペン先接触点検出部、
１１６：操作モード制御部、
１２０：電子ペン（第１操作オブジェクト）、
１２１：発光素子、
１３０：モジュール、
１４０：検出結果データ、
１５０：プロジェクタ、
１５１：映像入力部、
１５２：投射映像処理部、
１５３：映像投射部、
２００：ユーザ、
２０１：壁面、
２０２：撮像範囲、
３００：指（第２操作オブジェクト）、
３０１，３０２：影、
５１０，６１０：接触点。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】