特許 6607121 画像認識装置、画像認識方法および画像認識ユニット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6607121

(24)【登録日】2019年11月1日

(45)【発行日】2019年11月20日

(54)【発明の名称】画像認識装置、画像認識方法および画像認識ユニット

(51)【国際特許分類】

   G01B 11/14 20060101AFI20191111BHJP

   G06T 7/60 20170101ALI20191111BHJP

   G06F 3/041 20060101ALI20191111BHJP

   G06F 3/042 20060101ALI20191111BHJP

【ＦＩ】

   G01B11/14 H

   G06T7/60 180B

   G06F3/041 630

   G06F3/042 473

【請求項の数】13

【全頁数】18

(21)【出願番号】特願2016-68276(P2016-68276)

(22)【出願日】2016年3月30日

(65)【公開番号】特開2017-181281(P2017-181281A)

(43)【公開日】2017年10月5日

【審査請求日】2018年12月26日

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】100091292

【弁理士】

【氏名又は名称】増田 達哉

(74)【代理人】

【識別番号】100091627

【弁理士】

【氏名又は名称】朝比 一夫

(72)【発明者】

【氏名】山内 泰介

【審査官】 八木 智規

(56)【参考文献】

【文献】 特開２０００−２９８５４４（ＪＰ，Ａ）

【文献】 特開２０１４−１７９０３２（ＪＰ，Ａ）

【文献】 実開昭５９−１０９９０４（ＪＰ，Ｕ）

【文献】 米国特許出願公開第２０１３／３４２６７７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００ −１１／３０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３

Ｇ０６Ｆ ３／０４１− ３／０４８９

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

検出用画像表示装置により検出用画像が表示された画像表示面を、撮像装置により撮像して取得した画像に基づいて、対象物が前記画像表示面に接触しているか否かを判断する画像認識装置であって、
前記撮像装置が取得した前記画像に基づいて、前記検出用画像表示装置と前記画像表示面との間に対象物が位置したときに前記対象物によって前記検出用画像表示装置からの光が遮られることで前記画像表示面上に生じる消失部と、前記撮像装置と前記検出用画像表示装置の位置関係から決定され、かつ、前記消失部を通るエピポーラ線上にあって、前記対象物上に表示される前記検出用画像と、の距離を検知し、検知結果に基づいて前記対象物が前記画像表示面に接触しているか否かを判断する画像処理部を有することを特徴とする画像認識装置。

【請求項2】

前記検出用画像の鉛直方向上側の端を形成する光線群を含む面を第１仮想面、前記検出用画像の鉛直方向下側の端を形成する光線群を含む面を第２仮想面、前記画像表示面と前記検出用画像表示装置との間に位置し、前記第１仮想面と前記第２仮想面とに挟まれた領域を第１象限、前記第１象限の鉛直方向上側に位置する領域を第２象限、前記第１象限の鉛直方向下側に位置する領域を第３象限としたとき、前記第２象限または前記第３象限に前記撮像装置が配置されている請求項１に記載の画像認識装置。

【請求項3】

前記検出用画像は、前記エピポーラ線に交差する線状パターンを有している請求項２に記載の画像認識装置。

【請求項4】

前記撮像装置は、前記第２象限に配置され、
前記第１仮想面および前記第２仮想面は、共に、前記画像表示面側が前記検出用画像表示装置側よりも下方に位置するように傾斜している請求項２または３に記載の画像認識装置。

【請求項5】

前記撮像装置は、前記第３象限に配置され、
前記第１仮想面および前記第２仮想面は、共に、前記画像表示面側が前記検出用画像表示装置側よりも上方に位置するように傾斜している請求項２または３に記載の画像認識装置。

【請求項6】

前記線状パターンの前記消失部によって消失した消失部分は、前記対象物上に表示され、
前記画像処理部は、前記消失部分の前記対象物が無い場合に表示されている位置と、前記対象物上に表示されている実際の位置と、の前記エピポーラ線に沿った距離を検出する請求項１ないし５のいずれか１項に記載の画像認識装置。

【請求項7】

前記画像処理部は、前記消失部の形状に基づいて、前記対象物の先端部の位置を推定する位置推定部を有している請求項１ないし６のいずれか１項に記載の画像認識装置。

【請求項8】

前記検出用画像は、前記エピポーラ線に交差して延在し、互いにパターンが異なる第１線状パターンおよび第２線状パターンを有し、
前記第１線状パターンおよび前記第２線状パターンが前記エピポーラ線の延在方向に沿って交互に並んで配置されている請求項１ないし７のいずれか１項に記載の画像認識装置。

【請求項9】

前記検出用画像は、前記撮像装置から近い側に位置する第１領域と、前記第１領域よりも前記撮像装置から遠い側に位置する第２領域と、を有し、
前記第１領域には前記エピポーラ線に沿って延在する線状パターンが配置され、前記第２領域には前記エピポーラ線に交差する線状パターンが配置されている請求項１ないし７のいずれか１項に記載の画像認識装置。

【請求項10】

検出用画像表示装置により検出用画像が表示された画像表示面を、撮像装置により撮像して取得した画像に基づいて、対象物が前記画像表示面に接触しているか否かを判断する画像認識方法であって、
前記撮像装置が取得した前記画像に基づいて、前記検出用画像表示装置と前記画像表示面との間に対象物が位置したときに前記対象物によって前記検出用画像表示装置からの光が遮られることで前記画像表示面上に生じる消失部と、前記撮像装置と前記検出用画像表示装置の位置関係から決定され、かつ、前記消失部を通るエピポーラ線上にあって、前記対象物上に表示される前記検出用画像と、の距離を検知し、検知結果に基づいて前記対象物が前記画像表示面に接触しているか否かを判断する判断ステップを有することを特徴とする画像認識方法。

【請求項11】

前記検出用画像の鉛直方向上側の端を形成する光線群を含む面を第１仮想面、前記検出用画像の鉛直方向下側の端を形成する光線群を含む面を第２仮想面、前記画像表示面と前記検出用画像表示装置との間に位置し、前記第１仮想面と前記第２仮想面とに挟まれた領域を第１象限、前記第１象限の鉛直方向上側に位置する領域を第２象限、前記第１象限の鉛直方向下側に位置する領域を第３象限としたとき、前記第２象限または前記第３象限に前記撮像装置が配置されている請求項１０に記載の画像認識方法。

【請求項12】

請求項１ないし９のいずれか１項に記載の画像認識装置と、
前記検出用画像表示装置と、
前記撮像装置と、を有することを特徴とする画像認識ユニット。

【請求項13】

前記画像表示面に画像を表示する画像表示装置を有する請求項１２に記載の画像認識ユニット。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識装置、画像認識方法および画像認識ユニットに関するものである。

【背景技術】

【0002】

プロジェクターからの画像が投影されたスクリーンに指が触れているかいないかを検知する画像認識に応用できると思われる技術として、ＮＩＲ光ランダムスペックルパターンを投影し、指で反射したＮＩＲ光（反射光）をＮＩＲカメラで取得し、取得した情報からスクリーンに指が触れているかいないかを検知する技術がある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２００９−５１１８９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の画像認識技術では、ＮＩＲカメラから見たときの指の奥行き方向の位置（深度）の検知精度が悪く、それに伴って、タッチ認識の精度も悪いという問題がある。

【0005】

本発明の目的は、精度の高いタッチ認識を行うことのできる画像認識装置、画像認識方法および画像認識ユニットを提供することにある。

【課題を解決するための手段】

【0006】

このような目的は、下記の本発明により達成される。

【0007】

本発明の画像認識装置は、画像表示面に検出用画像を表示する検出用画像表示装置と、前記画像表示面を撮像する撮像装置と、を有し、前記検出用画像の鉛直方向上側の端を形成する光線群を含む面を第１仮想面、前記検出用画像の鉛直方向下側の端を形成する光線群を含む面を第２仮想面、前記画像表示面と前記検出用画像表示装置との間に位置し、前記第１仮想面と前記第２仮想面とに挟まれた領域を第１象限、前記第１象限の鉛直方向上側に位置する領域を第２象限、前記第１象限の鉛直方向下側に位置する領域を第３象限としたとき、前記第２象限または前記第３象限に前記撮像装置が配置されている画像表示ユニットで用いられる画像認識装置であって、
前記撮像装置が取得した画像に基づいて、前記検出用画像表示装置と前記画像表示面との間に対象物が位置したときに前記対象物によって前記検出用画像表示装置からの光が遮られることで前記画像表示面上に生じる消失部と、前記撮像装置と前記検出用画像表示装置の位置関係から決定され、かつ、前記消失部を通るエピポーラ線上にあって、前記対象物上に表示される前記検出用画像と、の距離を検知し、検知結果に基づいて前記対象物が前記画像表示面に接触しているか否かを判断する画像処理部を有することを特徴とする。
これにより、精度の高いタッチ認識を行うことのできる画像認識装置となる。

【0008】

本発明の画像認識装置では、前記検出用画像は、前記エピポーラ線に交差する線状パターンを有していることが好ましい。
これにより、検出用画像が比較的簡単な構成となる。

【0009】

本発明の画像認識装置では、前記撮像装置は、前記第２象限に配置され、
前記第１仮想面および前記第２仮想面は、共に、前記画像表示面側が前記検出用画像表示装置側よりも下方に位置するように傾斜していることが好ましい。
これにより、消失部を撮像装置でより確実に撮像することができる。

【0010】

本発明の画像認識装置では、前記撮像装置は、前記第３象限に配置され、
前記第１仮想面および前記第２仮想面は、共に、前記画像表示面側が前記検出用画像表示装置側よりも上方に位置するように傾斜していることが好ましい。
これにより、消失部を撮像装置でより確実に撮像することができる。

【0011】

本発明の画像認識装置では、前記線状パターンの前記消失部によって消失した消失部分は、前記対象物上に表示され、
前記画像処理部は、前記消失部分の前記対象物が無い場合に表示されている位置と、前記対象物上に表示されている実際の位置と、の前記エピポーラ線に沿った距離を検出することが好ましい。
これにより、比較的簡単に、かつ、高精度にタッチ認識を行うことができる。

【0012】

本発明の画像認識装置では、前記画像処理部は、前記消失部の形状に基づいて、前記対象物の先端部の位置を推定する位置推定部を有していることが好ましい。
これにより、対象物と画像表示面との接触位置をより正確に検出することができる。

【0013】

本発明の画像認識装置では、前記検出用画像は、前記エピポーラ線に交差して延在し、互いにパターンが異なる第１線状パターンおよび第２線状パターンを有し、
前記第１線状パターンおよび前記第２線状パターンが前記エピポーラ線の延在方向に沿って交互に並んで配置されていることが好ましい。
これにより、撮像装置の分解能よりも高い分解能で、タッチ認識を行うことができると共に、対象物と画像表示面との接触位置を検出することができる。

【0014】

本発明の画像認識装置では、前記検出用画像は、前記撮像装置から近い側に位置する第１領域と、前記第１領域よりも前記撮像装置から遠い側に位置する第２領域と、を有し、
前記第１領域には前記エピポーラ線に沿って延在する線状パターンが配置され、前記第２領域には前記エピポーラ線に交差する線状パターンが配置されていることが好ましい。
これにより、特に、第１領域において、より確実に、タッチ認識を行うことができる。

【0015】

本発明の画像認識方法は、画像表示面に検出用画像を表示する検出用画像表示装置と、前記画像表示面を撮像する撮像装置と、を有し、前記検出用画像の鉛直方向上側の端を形成する光線群を含む面を第１仮想面、前記検出用画像の鉛直方向下側の端を形成する光線群を含む面を第２仮想面、前記画像表示面と前記検出用画像表示装置との間に位置し、前記第１仮想面と前記第２仮想面とに挟まれた領域を第１象限、前記第１象限の鉛直方向上側に位置する領域を第２象限、前記第１象限の鉛直方向下側に位置する領域を第３象限としたとき、前記第２象限または前記第３象限に前記撮像装置が配置されている画像表示ユニットで用いられる画像認識方法であって、
前記撮像装置が取得した画像に基づいて、前記検出用画像表示装置と前記画像表示面との間に対象物が位置したときに前記対象物によって前記検出用画像表示装置からの光が遮られることで前記画像表示面上に生じる消失部と、前記撮像装置と前記検出用画像表示装置の位置関係から決定され、かつ、前記消失部を通るエピポーラ線上にあって、前記対象物上に表示される前記検出用画像と、の距離を検知し、検知結果に基づいて前記対象物が前記画像表示面に接触しているか否かを判断する判断ステップを有することを特徴とする。
これにより、精度の高いタッチ認識を行うことができる。

【0016】

本発明の画像認識ユニットは、本発明の画像認識装置と、
前記検出用画像表示装置と、
前記撮像装置と、を有することを特徴とする。
これにより、精度の高いタッチ認識を行うことのできる画像認識ユニットが得られる。

【0017】

本発明の画像認識ユニットでは、前記画像表示面に画像を表示する画像表示装置を有することが好ましい。
これにより、画像表示面に所望の画像を表示することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の第１実施形態に係る画像認識ユニットの構成を示す側面図である。

【図2】図１に示す画像認識ユニットの上面図である。

【図3】検出用画像を示す平面図である。

【図4】エピポーラ線について説明する図である。

【図5】タッチ認識を説明するための図である。

【図6】タッチ認識を説明するための図である。

【図7】スクリーンと指の離間距離の算出方法の一例を説明するための図である。

【図8】本発明の第２実施形態に係る画像認識ユニットのタッチ認識を説明する図である。

【図9】本発明の第３実施形態に係る画像認識ユニットで用いられる検出用画像を示す図である。

【図10】カメラで取得した画像をステレオ平行化した図である。

【図11】カメラで取得した画像をステレオ平行化した図である。

【図12】本発明の第４実施形態に係る画像認識ユニットで用いられる検出用画像を示す図である。

【図13】図１２に示す検出用画像の変形例を示す図である。

【図14】本発明の第５実施形態に係る画像認識ユニットの構成を示す側面図である。

【図15】本発明の第６実施形態に係る画像認識ユニットの構成を示す側面図である。

【発明を実施するための形態】

【0019】

以下、本発明の画像認識装置、画像認識方法および画像認識ユニットの好適な実施形態について、添付図面を参照しつつ説明する。

【0020】

＜第１実施形態＞
図１は、本発明の第１実施形態に係る画像認識ユニットの構成を示す側面図である。図２は、図１に示す画像認識ユニットの上面図である。図３は、検出用画像を示す平面図である。図４は、エピポーラ線について説明する図である。図５および図６は、タッチ認識を説明するための図である。図７は、スクリーンと指の離間距離の算出方法の一例を説明するための図である。なお、説明の便宜上、図１に示すように、互いに直交する３軸をＸ軸、Ｙ軸およびＺ軸とし、Ｙ軸が鉛直方向に沿うこととする。

【0021】

図１に示す画像認識ユニット１００は、画像表示面としての平坦なスクリーン９００に対象物としての指Ｆが接触しているか否かを判断することのできる装置である。このような画像認識ユニット１００によれば、スクリーン９００への指Ｆの接触を検知することでスクリーン９００に映し出されている画像（観察者に視認させたい画像。以下「表示用画像」とも言う。）を切り替えることができる。なお、以下では、説明の便宜上、スクリーン９００に指Ｆが接触しているか否かの判断を「タッチ認識」と言う。

【0022】

また、画像認識ユニット１００は、例えば、プレゼンテーションに利用することができ、プレゼンターの指Ｆのタッチ認識を行って、必要時にスクリーン９００に映し出される表示用画像を切り替えたり、拡大または縮小したりすることで、プレゼンテーションをスムーズに進行することが可能となる。

【0023】

なお、画像表示面としては、スクリーン９００に限定されず、例えば、壁、ガラス等であってもよい。また、画像表示面は、平坦でなくてもよく、球面や凹凸面であってもよい。また、画像表示面は、経時的に形状が変化してもよい。また、タッチ認識を行う対象物としては、指Ｆに限定されず、例えば、指し棒、画像表示面に吸着したマグネット等であってもよい。また、画像認識ユニット１００の用途としては、プレゼンテーションに限定されず、例えば、デパート等の店舗案内、取扱商品の紹介・検索等、様々な用途に用いることができる。

【0024】

このような画像認識ユニット１００は、図１および図２に示すように、スクリーン９００に検出用画像８００を表示する検出用画像表示装置としてのプロジェクター３００と、スクリーン９００を撮像する撮像装置としてのカメラ４００と、を有する画像表示ユニット２００と、タッチ認識を行う画像認識装置５００と、スクリーン９００に表示用画像（画像）を表示する画像表示装置としてのプロジェクター７００と、を有している。

【0025】

プロジェクター３００およびカメラ４００は、異なる位置に配置されている。また、プロジェクター３００およびカメラ４００の相対的（幾何的）な位置関係は一定であり、位置関係に関する情報は、画像認識装置５００が有する図示しない記憶部に記憶され、適宜使用される。

【0026】

ここで、プロジェクター３００およびカメラ４００の具体的な位置関係を説明する。図１に示すように、検出用画像８００の鉛直方向上側（＋Ｙ軸側）の端を形成する光線群を含む面を第１仮想面ｆ１、検出用画像８００の鉛直方向下側（−Ｙ軸側）の端を形成する光線群を含む面を第２仮想面ｆ２、スクリーン９００とプロジェクター３００との間に位置し、第１仮想面ｆ１と第２仮想面ｆ２とに挟まれた領域を第１象限Ｓ１、第１象限Ｓ１の鉛直方向上側に位置する領域を第２象限Ｓ２、第１象限Ｓ１の鉛直方向下側に位置する領域を第３象限Ｓ３としたとき、第２象限Ｓ２にカメラ４００が配置されている。また、プロジェクター３００は、例えば、天井等に吊り下げられており、比較的高い位置から斜め下側に向けて光を出射するように配置されている。そして、プロジェクター３００からはスクリーン９００の法線（Ｚ軸）と一致する光軸を持つ光が出射されず、第１仮想面ｆ１および第２仮想面ｆ２が、共に、スクリーン９００側がプロジェクター３００側よりも下方に位置するように傾斜している。プロジェクター３００およびカメラ４００をこのような配置とすることで、プロジェクター３００とスクリーン９００との間に指Ｆが存在したときに、指Ｆによってプロジェクター３００からの光（検出用画像８００を形成する光）が遮蔽されることでスクリーン９００上に生じる消失部８９０（影部。図６参照。）をカメラ４００でより確実に撮像することができる。

【0027】

また、図２に示すように、鉛直方向上側から見た平面視で、プロジェクター３００とカメラ４００とは、スクリーン９００の法線方向（Ｚ軸方向）に沿って並んで配置されている。さらには、プロジェクター３００の光軸およびカメラ４００の光軸が、それぞれ、法線方向に沿っている。

【0028】

以上、プロジェクター３００およびカメラ４００の配置について説明したが、プロジェクター３００およびカメラ４００の配置としては、第２象限Ｓ２にカメラ４００が配置されていれば、上述の配置に限定されない。

【0029】

以下、プロジェクター３００、カメラ４００および画像認識装置５００について順に説明する。

【0030】

［プロジェクター３００］
プロジェクター３００は、タッチ認識を行うための検出用画像８００をスクリーン９００に表示する装置である。本実施形態のプロジェクター３００は、ＮＩＲ（近赤外）光を出射する光源と、光源から出射されたＮＩＲ光を回折する回折光学素子と、回折したＮＩＲ光を投影するレンズ系と、を有する構成となっている。これにより、プロジェクター３００の構成が比較的簡単なものとなる。特に、ＮＩＲ光を用いることで、検出用画像８００が人間に視認され難くなるため、プロジェクター７００からの映像（表示用画像）を劣化させるおそれがない。

【0031】

なお、プロジェクター３００としては、検出用画像８００をスクリーン９００に投影することができれば本実施形態の構成に限定されず、例えば、光走査方式のプロジェクターであってもよいし、ＬＣＤ方式のプロジェクターであってもよいし、ＤＭＤ方式のプロジェクターであってもよい。また、プロジェクター３００の光源としては、ＮＩＲ光を出射する光源に限定されず、可視光を出射する光源であってもよい。この場合には、検出用画像８００を人間に視認され難いような輝度変化を与えたものとしたり、人間の眼で視認され難い周波数で周期的に表示したりするようにすることが好ましい。これにより、検出用画像８００との重なりによって表示用画像が劣化するおそれを低減することができる。

【0032】

このようなプロジェクター３００によってスクリーン９００に表示される検出用画像８００は、図３に示すように、エピポーラ線ＥＬに対して交差する方向に延びる線状パターン８１０がエピポーラ線ＥＬの延在方向に沿って等ピッチ（等間隔）に複数配置された画像となっている。これにより、検出用画像８００が比較的簡単な構成となる。特に、本実施形態では、線状パターン８１０がエピポーラ線ＥＬに対して直交している。そのため、エピポーラ線ＥＬの延在方向でのピッチは同じであるがエピポーラ線ＥＬに対して直交していない線状パターン８１０と比較して、最小ピッチを大きくすることができる。したがって、画像認識装置５００によって、隣り合う線状パターン８１０をより明確に判別することができ、タッチ認識をより高精度に行うことができる。ここで、線状パターン８１０のピッチとしては特に限定されず、カメラ４００の分解能によっても異なるが、例えば、５ｍｍ以上、２０ｍｍ以下程度とすることができる。なお、図３は、説明の便宜上、エピポーラ線ＥＬが垂直成分となるようにステレオ平行化した検出用画像８００を図示している。実際には、エピポーラ線ＥＬが放射状に延びていることから、線状パターン８１０は、円弧状のパターンとなる。

【0033】

ここで、エピポーラ線ＥＬについて簡単に説明する。エピポーラ線ＥＬは、プロジェクター３００とカメラ４００の幾何的（相対的）な位置関係によって決定する線である。具体的には、図４に示すように、カメラ４００のカメラ中心（レンズ系の主点）Ｃ１とプロジェクター３００のプロジェクター中心（レンズ系の主点）Ｃ２とを結ぶ直線（ベースライン）ｌ２と、プロジェクター３００の仮想画像平面π２との交点をエピポーラ点Ｐｅと言い、仮想画像平面π２内においてエピポーラ点Ｐｅを通る全ての直線をエピポーラ線ＥＬと言う。

【0034】

また、指Ｆがカメラ４００の画像に含まれていれば、カメラ４００の画像平面π１内での指Ｆの座標（面内座標）ｘが決定される。この座標ｘとカメラ中心Ｃ１とを通る直線ｌ１と直線ｌ２とによって規定される平面をエピポーラ平面Σと言う。そして、エピポーラ平面Σと仮想画像平面π２とが交差してできる直線ｌ３と一致するエピポーラ線ＥＬを「エピポーラ線ＥＬ’」とした場合、エピポーラ線ＥＬ’上のどこかに指Ｆが位置することになる。

【0035】

以上、検出用画像８００について説明したが、検出用画像８００としては、タッチ認識に用いることができれば、これに限定されず、例えば、複数の点（ドット）が均一に散らばっているような画像であってもよい。

【0036】

［カメラ４００］
カメラ４００は、スクリーン９００上の検出用画像８００を撮像する装置である。このようなカメラ４００は、例えば、ＮＩＲ光に対応したＮＩＲカメラであり、レンズ系および撮像素子を備える受光ユニットと、撮像素子からの映像信号を処理する処理部と、を有している。

【0037】

［画像認識装置］
画像認識装置５００は、前述したプロジェクター３００およびカメラ４００を用いてタッチ認識を行う装置である。このような画像認識装置５００は、図１に示すように、画像処理部５１０を有している。画像処理部５１０は、カメラ４００が取得した画像に基づいて、プロジェクター３００とスクリーン９００との間に指Ｆが位置したときに当該指Ｆによってプロジェクター３００からの光（検出用画像８００を形成する光）が遮られることでスクリーン９００上に生じる消失部８９０と、カメラ４００とプロジェクター３００の位置関係から決定され、かつ、消失部８９０を通るエピポーラ線ＥＬ’上にあって指Ｆ上に表示される検出用画像８００と、の距離Ｄを検知し、検知結果（求められた距離Ｄ）に基づいてタッチ認識を行うように構成されている。このように、距離Ｄに基づくことで、簡単かつ高精度なタッチ認識が可能となる。以下、画像処理部５１０について具体的に説明する。

【0038】

図５および図６は、それぞれ、カメラ４００で撮像したスクリーン９００上の検出用画像８００をステレオ平行化した画像を示す図である。スクリーン９００とプロジェクター３００との間に指Ｆが存在しない場合には、プロジェクター３００からの光が遮られることなくスクリーン９００に照射されるため、図５に示すように、スクリーン９００に表示された検出用画像８００には消失部８９０が生じない。これに対して、スクリーン９００とプロジェクター３００との間に指Ｆが存在する場合には、プロジェクター３００からの光が指Ｆに遮られるため、図６に示すように、スクリーン９００に表示された検出用画像８００には指Ｆで遮られた部分に相当する消失部８９０が生じ、消失部８９０によって消失した部分（消失部分）は、エピポーラ線ＥＬの延在方向にずれて指Ｆ上に表示されている。

【0039】

図６に示すように、線状パターン８１１、８１２（８１０）の消失部８９０によって消失した消失部分８１１ａ、８１２ａは、エピポーラ線ＥＬ’の延在方向にずれて指Ｆ上に表示される。そのため、画像処理部５１０は、ステレオ平行化した画像から、消失部８９０と重なる線状パターン８１１、８１２のうち最も上側（指Ｆに対して遠位側）に位置する線状パターン８１１の位置に基づいて、消失部分８１１ａの本来の位置Ｐ１（指Ｆが無い場合に表示されている位置）を設定し、次に、位置Ｐ１を通るエピポーラ線ＥＬ’上に位置し、指Ｆ上に表示されている実際の消失部分８１１ａの位置Ｐ２を設定する。なお、指Ｆ上の消失部分８１１ａと消失部８９０との間に線状パターン８１１以外の線状パターン８１０が表示されることはあり得ず、消失部８９０を下側に抜けて最初に出現する線状パターン８１０が消失部分８１１ａであると断定することができる。そして、次に、画像処理部５１０は、位置Ｐ１と位置Ｐ２とのエピポーラ線ＥＬ’に沿った距離Ｄを求める。この距離Ｄは、スクリーン９００と指Ｆとの離間距離が短い程、小さくなるため、画像処理部５１０は、例えば、距離Ｄが予め設定した閾値以下であれば、指Ｆがスクリーン９００に接触している「接触状態」と判断し、閾値を超えていれば、指Ｆがスクリーン９００に接触していない「非接触状態」と判断する（判断ステップ）。このような画像処理部５１０によれば、距離Ｄを求めるだけでよいため、比較的簡単に、かつ、高精度にタッチ認識を行うことができる。

【0040】

さらに、画像処理部５１０は、ステレオ平行化した画像から指Ｆのタッチ位置のＸＹ座標（平面座標）を検出する。なお、消失部８９０の先端部が指Ｆの先端部の位置に対応するため、消失部８９０の先端部（消失部分８１１ａ）の座標をタッチ位置の座標として検出することが好ましい。

【0041】

また、画像処理部５１０は、タッチ認識の結果を図示しない制御部に送信する。この判定結果を受けた制御部は、画像処理部５１０から送信されたタッチ認識の結果が「接触状態」である場合には、共に送信されたタッチ位置の座標情報に基づいて、プロジェクター７００に対して、例えば、スクリーン９００に表示されている表示用画像を拡大または縮小する命令や、表示用画像を切り替える命令等、指Ｆの接触位置によって定められている画面操作命令を送信する。このような制御を行うことで、指Ｆでスクリーン９００をタッチするだけで、スクリーン９００に表示される表示用画像を操作することができるため、利便性の高い画像認識ユニット１００となる。

【0042】

以上のような画像認識ユニット１００によれば、精度の高いタッチ認識を行うことができる。

【0043】

なお、以下に、スクリーン９００と指Ｆの離間距離（スクリーン９００からの指Ｆの浮遊距離）の算出方法の一例を図７に基づいて説明する。カメラ４００の焦点距離をｆとし、カメラ４００とプロジェクター３００との距離からなる基線長をＬとし、スクリーン９００に対するカメラ４００の光軸の傾きをαとし、カメラ４００とスクリーン９００の距離（ステレオ基準面方向の距離）をｈとしたとき、事前の校正によって、ｔａｎβ１＝ｚ１／（Ｌ−ｙ１）、ｔａｎα＝（ｈ＋ｙ１）／ｚ１、ｚ１＝ｙ１×（ｆ／ｉ１）、ｚ２＝ｙ２×（ｆ／ｉ２）の関係を満足している。また、三角測量の基本原理より、ｚ１＝Ｌ／｛（ｉ１／ｆ）＋（１／ｔａｎβ１）｝、ｚ２＝Ｌ／｛（ｉ２／ｆ）＋（１／ｔａｎβ１）｝の関係を満足している。また、図７より、（ｈ＋ｙ１）／ｚ１＝（ｈ＋ｙ０）／ｚ２の関係を満足している。よって、スクリーン９００と指Ｆの離間距離Δｆは、Δｆ＝（ｙ２−ｙ０）×ｃｏｓαの関係を満足する。これにより、スクリーン９００と指Ｆの離間距離Δｆを比較的簡単に算出することができる。

【0044】

＜第２実施形態＞
次に、本発明の第２実施形態に係る画像認識ユニットについて説明する。

【0045】

図８は、本発明の第２実施形態に係る画像認識ユニットのタッチ認識を説明する図である。なお、図８では、説明の便宜上、エピポーラ線が垂直成分となるようにステレオ平行化した図を示している。

【0046】

以下、本発明の第２実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。

【0047】

第２実施形態の画像認識ユニットは、画像認識装置の構成が異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。

【0048】

本実施形態の画像処理部５１０は、前述した第１実施形態と比較して、タッチ位置のＸＹ座標をより精度よく検出できるようになっている。以下、具体的に説明する。本実施形態の画像処理部５１０は、消失部８９０の形状に基づいて、指Ｆの先端部の位置を推定する位置推定部を有している。位置推定部は、図８に示すように、消失部８９０で消失した線状パターン８１１、８１２の消失部分８１１ａ、８１２ａの長さ方向の中点Ｐ_８１１、Ｐ_８１２を通る線分Ｌｆを設定し、この線分Ｌｆの延在方向に指Ｆが延びていると推定する。次に、消失部分８１１ａ、８１２ａのうちの消失部８９０の最も上側に位置する消失部分８１１ａと同じ長さを１辺とする正三角形状のマーカーＭを仮想的に生成し、このマーカーＭを消失部分８１１ａの先端側（指Ｆと反対側）に、線分Ｌｆに沿うように配置する。マーカーＭは、指Ｆの先端部（指先）を模した形状となっているため、マーカーＭの頂点Ｐｍを指Ｆの先端部の位置と推定することができる。そのため、画像処理部５１０は、頂点ＰｍのＸＹ座標をタッチ位置の座標として検出する。このように、位置推定部を有することで、タッチ位置の座標をより正確に検出することができる。

【0049】

なお、線状パターン８１０のピッチをＤ_８１０とし、消失部分８１１ａ（消失部８９０の最も上側に位置する消失部分）の長さをＤ_８９０としたとき、Ｄ_８１０＞Ｄ_８９０の関係を満たす場合にのみ、位置推定部による上述の推定を行うことが好ましい。言い換えれば、マーカーＭの頂点Ｐｍが線状パターン８１１の直上に位置する線状パターン８１０よりも下側に位置する場合にのみ位置推定部による上述の推定を行うことが好ましい。これは、Ｄ_８１０≦Ｄ_８９０の場合に位置推定部による上述の推定を行うと、推定を行わない場合と比較して実際の指Ｆの先端部の位置からのずれ量が大きくなってしまうおそれがあるためである。

【0050】

以上のような第２実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。なお、本実施形態では、マーカーＭが正三角形で構成されているが、マーカーＭの形状としては、特に限定されず、対象物の先端形状に倣うように、適宜変更することができる。

【0051】

＜第３実施形態＞
次に、本発明の第３実施形態に係る画像認識ユニットについて説明する。

【0052】

図９は、本発明の第３実施形態に係る画像認識ユニットで用いられる検出用画像を示す図である。図１０および図１１は、それぞれ、カメラで取得した画像をステレオ平行化した図である。

【0053】

以下、本発明の第３実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。

【0054】

第３実施形態の画像認識ユニットは、検出用画像が異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。

【0055】

図９に示すように、本実施形態の検出用画像８００は、エピポーラ線ＥＬに交差（本実施形態では直交）して延在し、互いにパターンが異なる第１線状パターン８２０および第２線状パターン８３０を有し、第１、第２線状パターン８２０、８３０がエピポーラ線ＥＬの延在方向に沿って交互に並んで配置されている。第１線状パターン８２０は、延在方向に輝度が一定のパターンとなっており、第２線状パターン８３０は、第１輝度を有する部分と、第１輝度と異なる第２輝度を有する部分とが交互にかつ周期的（等間隔）に並んだパターンとなっている。

【0056】

スクリーン９００の下側ほど、カメラ４００との角度が小さくなるため、カメラ４００が取得する画像では、図１０に示すように、スクリーン９００の下側へ向けて第１、第２線状パターン８２０、８３０のピッチが漸減すると共に、第１、第２線状パターン８２０、８３０の幅も漸減する。そのため、カメラ４００の分解能（解像度）によっては、スクリーン９００の上部に写る検出用画像８００（第１、第２線状パターン８２０、８３０）については鮮明に認識することができても、スクリーン９００の下部に写る検出用画像８００（第１、第２線状パターン８２０、８３０）については鮮明に認識することが困難な場合も考えられる。

【0057】

そのため、スクリーン９００の下部では消失部８９０の最も上側（先端側）に位置するのが第１、第２線状パターン８２０、８３０のどちらであるのかを認識することができないおそれがある。一方、図１１に示すように、指Ｆは、スクリーン９００の下部に位置していてもカメラ４００との角度が大きくなるため、指Ｆ上に写った第１、第２線状パターン８２０、８３０については鮮明に認識することができる。そのため、指Ｆの最も先端側に位置するのが第１、第２線状パターン８２０、８３０のどちらであるかを認識することで、消失部８９０の最も先端側に位置するのが第１、第２線状パターン８２０、８３０のどちらであるかを判断することができる。これは、指Ｆの最も先端側に位置する線状パターンと、消失部８９０の最も先端側に位置する線状パターンは、同列のパターンとなるためである。したがって、本実施形態によれば、カメラ４００の分解能よりも高い分解能で、タッチ認識を行うことができると共に、タッチ位置のＸＹ座標を取得することができる。

【0058】

以上のような第３実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。なお、本実施形態では、検出用画像が、第１線状パターン８２０および第２線状パターン８３０が、エピポーラ線ＥＬの延在方向に沿って交互に配置された構成となっているが、検出用画像としては特に限定されない。例えば、第１、第２線状パターン８２０、８３０と異なる第３線状パターンを有していてもよい。

【0059】

＜第４実施形態＞
次に、本発明の第４実施形態に係る画像認識ユニットについて説明する。

【0060】

図１２は、本発明の第４実施形態に係る画像認識ユニットで用いられる検出用画像を示す図である。図１３は、図１２に示す検出用画像の変形例を示す図である。

【0061】

以下、本発明の第４実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。

【0062】

第４実施形態の画像認識ユニットは、検出用画像が異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。

【0063】

前述した第１実施形態の問題として以下の問題が挙げられる。すなわち、指Ｆがスクリーン９００の法線方向（Ｚ軸方向）とは異なる方向に沿ってスクリーン９００に接近する場合には、スクリーン９００と指Ｆの離間距離に応じて距離Ｄが変化するため、距離Ｄに基づいてタッチ認識を行うことができるが、指Ｆがスクリーン９００の法線方向に沿ってスクリーン９００に接近する場合には、スクリーン９００と指Ｆの離間距離が変化しても距離Ｄが変化しないため、正確なタッチ認識を行うことができなくなる。このような問題は、特に、カメラ４００の分解能が高いスクリーン９００の上部において発生する。そこで、本実施形態では、指Ｆがスクリーン９００の法線方向に沿ってスクリーン９００に接近する場合でも、正確なタッチ認識を行うことができるような検出用画像８００としている。

【0064】

図１２に示すように、本実施形態の検出用画像８００は、スクリーン９００の上部（カメラ４００から近い側）に位置する第１領域８００Ａと、スクリーン９００の下部（カメラ４００から遠い側）に位置する第２領域８００Ｂと、を有している。そして、第１領域８００Ａには、エピポーラ線ＥＬに沿って延在する線状パターン８５０がエピポーラ線ＥＬと直交する方向に沿って等ピッチに複数配置されている。一方、第２領域８００Ｂには、エピポーラ線ＥＬに交差（本実施形態では直交）する線状パターン８６０がエピポーラ線ＥＬの延在方向に沿って等ピッチに複数配置されている。このような構成とすることで、第１領域８００Ａにおいて、指Ｆがスクリーン９００の法線方向に沿ってスクリーン９００に接近する場合でも、より確実に、タッチ認識を行うことができる。

【0065】

以上のような第４実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。なお、本実施形態の検出用画像８００の変形例として、図１３に示すような検出用画像８００としてもよい。図１３に示す検出用画像８００では、第２領域８００Ｂに、エピポーラ線ＥＬに直交（交差）し、互いにパターンが異なる線状パターン８６１、８６２、８６３がエピポーラ線ＥＬの延在方向に沿って等ピッチにかつ交互に並んで複数配置されている。このような構成によれば、前述した第３実施形態と同様に、スクリーン９００の下部においても、精度よくタッチ認識を行うことができる。

【0066】

＜第５実施形態＞
次に、本発明の第５実施形態に係る画像認識ユニットについて説明する。
図１４は、本発明の第５実施形態に係る画像認識ユニットの構成を示す側面図である。

【0067】

以下、本発明の第５実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。

【0068】

第５実施形態の画像認識ユニットは、撮像素子および検出用画像表示装置の配置が異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。

【0069】

図１４に示すように、本実施形態では、第３象限Ｓ３にカメラ４００が配置されている。また、プロジェクター３００は、例えば床に設置されており、比較的低い位置から斜め上側に向けて光を出射するように配置されている。そして、プロジェクター３００からはスクリーン９００の法線と一致する光軸を持つ光が出射されず、第１仮想面ｆ１および第２仮想面ｆ２が、共に、スクリーン９００側がプロジェクター３００側よりも上方に位置するように傾斜している。プロジェクター３００およびカメラ４００をこのような配置とすることで、プロジェクター３００とスクリーン９００との間に指Ｆが存在したときに、消失部８９０をカメラ４００でより確実に撮像することができる。

【0070】

なお、本実施形態は、前述した第１実施形態の構成を上下反転させた構成であり、第１実施形態の説明を上下反転すれば本実施形態の説明となる。したがって、本実施形態の詳細な説明は省略する。

【0071】

以上のような第５実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。

【0072】

＜第６実施形態＞
次に、本発明の第６実施形態に係る画像認識ユニットについて説明する。
図１５は、本発明の第６実施形態に係る画像認識ユニットの構成を示す側面図である。

【0073】

以下、本発明の第６実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。

【0074】

第６実施形態の画像認識ユニットは、検出用画像表示装置の配置が異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。

【0075】

図１５に示すように、本実施形態では、プロジェクター３００からスクリーン９００の法線と一致する光軸を持つ光が出射され、第１仮想面ｆ１は、スクリーン９００側がプロジェクター３００側よりも上方に位置するように傾斜しており、第２仮想面ｆ２は、スクリーン９００側がプロジェクター３００側よりも下方に位置するように傾斜している。

【0076】

以上のような第６実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。

【0077】

以上、本発明の画像認識装置、画像認識方法および画像認識ユニットについて、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではない。例えば、本発明の画像認識装置では、各部の構成は、同様の機能を有する任意の構成のものに置換することができ、また、他の任意の構成を付加することもできる。

【0078】

また、前述した実施形態では、Ｙ軸が鉛直方向に沿って配置されているが、Ｙ軸は鉛直方向に沿っていなくてもよい。すなわち、前述実施形態に対して、Ｙ軸がＸ軸まわりに所定角度回転していてもよいし、Ｙ軸がＺ軸まわりに所定角度回転していてもよい。

【符号の説明】

【0079】

１００…画像認識ユニット、２００…画像表示ユニット、３００…プロジェクター、４００…カメラ、５００…画像認識装置、５１０…画像処理部、７００…プロジェクター、８００…検出用画像、８００Ａ…第１領域、８００Ｂ…第２領域、８１０…線状パターン、８１１、８１２…線状パターン、８１１ａ、８１２ａ…消失部分、８２０…第１線状パターン、８３０…第２線状パターン、８５０、８６０…線状パターン、８６１、８６２、８６３…線状パターン、８９０…消失部、９００…スクリーン、Ｃ１…カメラ中心、Ｃ２…プロジェクター中心、Ｄ…距離、ＥＬ、ＥＬ’…エピポーラ線、Ｆ…指、Ｌｆ…線分、ｌ１、ｌ２、ｌ３…直線、Ｍ…マーカー、Ｐ１、Ｐ２…位置、Ｐ_８１１、Ｐ_８１２…中点、Ｐｅ…エピポーラ点、Ｐｍ…頂点、Ｓ１…第１象限、Ｓ２…第２象限、Ｓ３…第３象限、ｆ１…第１仮想面、ｆ２…第２仮想面、ｘ…座標、Σ…エピポーラ平面、π１…画像平面、π２…仮想画像平面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】