特許 6671288 ジェスチャー装置、その動作方法及びこれを備えた車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6671288

(24)【登録日】2020年3月5日

(45)【発行日】2020年3月25日

(54)【発明の名称】ジェスチャー装置、その動作方法及びこれを備えた車両

(51)【国際特許分類】

   G06F 3/01 20060101AFI20200316BHJP

   G06T 7/20 20170101ALI20200316BHJP

   B60R 16/02 20060101ALI20200316BHJP

【ＦＩ】

   G06F3/01 570

   G06T7/20 300A

   B60R16/02 630Z

【請求項の数】15

【全頁数】17

(21)【出願番号】特願2016-547916(P2016-547916)

(86)(22)【出願日】2015年1月14日

(65)【公表番号】特表2017-510875(P2017-510875A)

(43)【公表日】2017年4月13日

(86)【国際出願番号】KR2015000402

(87)【国際公開番号】WO2015111869

(87)【国際公開日】20150730

【審査請求日】2018年1月5日

(31)【優先権主張番号】10-2014-0007631

(32)【優先日】2014年1月22日

(33)【優先権主張国】KR

【前置審査】

(73)【特許権者】

【識別番号】513276101

【氏名又は名称】エルジー イノテック カンパニー リミテッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】リー、ジュン フン

【審査官】 酒井 優一

(56)【参考文献】

【文献】 米国特許出願公開第２０１３／０２１１８４３（ＵＳ，Ａ１）

【文献】 国際公開第２０１３／１７５６０３（ＷＯ，Ａ１）

【文献】 特開２００９−１０４２９７（ＪＰ，Ａ）

【文献】 特開２００１−２１６０６９（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０４０３９５８２（ＣＮ，Ａ）

【文献】 特開２０１４−０４８６８０（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０４０４０４６４（ＣＮ，Ａ）

【文献】 特開２００７−１５５６０２（ＪＰ，Ａ）

【文献】 特開２０１０−２８２３９０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｂ６０Ｒ １６／０２

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

赤外線光を照射する赤外線光源と、
活性化ジェスチャーを受信するためのロック状態モード及び複数の駆動ジェスチャーのうちの１つの駆動ジェスチャーを受信するためのアイドル状態モードにおいて映像をキャプチャするカメラと、
前記ロック状態モード及び前記アイドル状態モードの間、前記カメラを通じてキャプチャされた映像からジェスチャーを抽出するジェスチャー処理部と、
前記抽出されたジェスチャーを基に、前記ロック状態モードをアイドル状態モードに転換するように制御する制御部と、を含み、
前記ジェスチャー処理部は、
前記カメラを通じてキャプチャされた映像を分析して映像の明るさ情報、対象物の形状、対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報のうちの少なくとも一つを把握する映像分析部と、
前記映像分析部を通じて把握された映像の明るさ情報を利用して夜昼間を判断する夜昼間判断部と、
前記映像分析部を通じて把握された対象物の形状情報、対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報のうちの少なくとも一つに基づいて、ユーザのジェスチャーが活性化ジェスチャーであるのかまたは駆動ジェスチャーであるのかを判断するジェスチャー判断部と、
を含み、
前記制御部は、
前記ロック状態モードの間、前記カメラを通じてキャプチャされた第１映像の明るさ情報が基準値より小さいと、前記赤外線光が照射されるように前記赤外線光源を駆動させ、
前記赤外線光源が駆動される前記ロック状態モードにおいて、前記カメラを通じて第２映像をキャプチャし、
前記第２映像から検出された第１ジェスチャーが前記活性化ジェスチャーと同一であれば、前記ロック状態モードをアイドル状態モードに変更し、
前記アイドル状態モードの間、前記カメラを通じて第３映像をキャプチャし、前記第３映像から検出された第２ジェスチャーが前記複数の駆動ジェスチャーのうちの１つである第１駆動ジェスチャーであれば、前記第１駆動ジェスチャーに対応する第１機能を実行し、
前記ジェスチャー判断部は、手区分機能と手特定機能を含み、
前記手区分機能は、昼間と夜間に応じて異なるアルゴリズムが適用され、
前記ジェスチャー判断部は、夜間である場合、前記カメラを通じて獲得された映像のシルエット情報、シルエットの特徴点の動き情報及び明るさ情報を利用して手区分機能を実行する、ジェスチャー装置。

【請求項2】

前記ジェスチャー装置は、運転席、前記運転席の隣に配置されるコンソールボックス、ギアノブ及びルームミラーを含む車両に搭載されるジェスチャー装置であって、
前記カメラは、前記ルームミラーの下部に装着され、前記コンソールボックスと前記ギアノブとの間に定められる映像獲得領域に位置する対象物の映像をキャプチャし、
前記ジェスチャー処理部は、
前記第２映像から前記第１ジェスチャーを検出し、前記第１ジェスチャーが前記活性化ジェスチャーであるのか否かを判断し、
前記第３映像から前記第２ジェスチャーを検出し、前記第２ジェスチャーが駆動ジェスチャーであるのか否かを判断する、請求項１に記載のジェスチャー装置。

【請求項3】

前記制御部は、
前記第３映像から明るさ情報を検出し、
前記明るさ情報が前記基準値より小さいと、前記赤外線光が照射されるように前記赤外線光源を駆動させ、
前記赤外線光源が駆動される前記アイドル状態モードにおいて、前記カメラを通じて第２ジェスチャーを獲得する、請求項１または２に記載のジェスチャー装置。

【請求項4】

前記制御部は、
前記第２ジェスチャーが前記複数の駆動ジェスチャーのうち前記ロック状態モード内で認識した前記活性化ジェスチャーと同一な第２駆動ジェスチャーであれば、前記第２駆動ジェスチャーに対応する第２機能を実行し、
前記第２機能は、前記ロック状態モードを前記アイドル状態モードに変更する機能とは異なり、
前記活性化ジェスチャー及び前記第２駆動ジェスチャーは、前記アイドル状態モード及び前記ロック状態モード内で相互異なる機能を実行するための同一なジェスチャーである、請求項１〜３のいずれか一項に記載のジェスチャー装置。

【請求項5】

運転席、前記運転席の隣に配置されるコンソールボックス、ギアノブ及びルームミラーを含む車両において、
赤外線光を照射する赤外線光源と、
前記ルームミラーの下部に装着され、活性化ジェスチャーを受信するためのロック状態モード及び複数の駆動ジェスチャーのうちの１つの駆動ジェスチャーを受信するためのアイドル状態モードにおいて映像をキャプチャするカメラと、
前記ロック状態モード及び前記アイドル状態モードの間、前記カメラを通じてキャプチャされた映像からジェスチャーを抽出するジェスチャー処理部と、
前記抽出されたジェスチャーを基に、ロック状態モードをアイドル状態モードに転換し、前記抽出されたジェスチャーに対応する機能を実行するように制御する制御部と、を含み、
前記ジェスチャー処理部は、
前記カメラを通じてキャプチャされた映像を分析して映像の明るさ情報、対象物の形状、対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報のうちの少なくとも一つを把握する映像分析部と、
前記映像分析部を通じて把握された映像の明るさ情報を利用して夜昼間を判断する夜昼間判断部と、
前記映像分析部を通じて把握された対象物の形状情報、対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報のうちの少なくとも一つに基づいて、ユーザのジェスチャーが活性化ジェスチャーであるのかまたは駆動ジェスチャーであるのかを判断するジェスチャー判断部と、
を含み、
前記制御部は、
前記ロック状態モードの間、前記カメラを通じてキャプチャされた第１映像の明るさ情報が基準値より小さいと、前記赤外線光が照射されるように前記赤外線光源を駆動させ、
前記赤外線光源が駆動される前記ロック状態モードにおいて、前記カメラを通じて第２映像をキャプチャし、
前記第２映像から検出された第１ジェスチャーが前記活性化ジェスチャーと同一であれば、前記ロック状態モードをアイドル状態モードに変更し、
前記アイドル状態モードの間、前記カメラを通じて第３映像をキャプチャし、前記第３映像から検出された第２ジェスチャーが前記複数の駆動ジェスチャーのうちの１つである第１駆動ジェスチャーであれば、前記第１駆動ジェスチャーに対応する第１機能を実行し、
前記ジェスチャー判断部は、手区分機能と手特定機能を含み、
前記手区分機能は、昼間と夜間に応じて異なるアルゴリズムが適用され、
前記ジェスチャー判断部は、夜間である場合、前記カメラを通じて獲得された映像のシルエット情報、シルエットの特徴点の動き情報及び明るさ情報を利用して手区分機能を実行する、車両。

【請求項6】

前記カメラは、前記コンソールボックスと前記ギアノブとの間に定められる映像獲得領域に位置する対象物の映像をキャプチャし、
前記ジェスチャー処理部は、
前記第２映像から前記第１ジェスチャーを検出し、前記第１ジェスチャーが前記活性化ジェスチャーであるのか否かを判断し、
前記第３映像から前記第２ジェスチャーを検出し、前記第２ジェスチャーが駆動ジェスチャーであるのか否かを判断する、請求項５に記載の車両。

【請求項7】

前記制御部は、
前記第３映像から明るさ情報を検出し、
前記明るさ情報が前記基準値より小さいと、前記赤外線光が照射されるように前記赤外線光源を駆動させ、
前記赤外線光源が駆動される前記アイドル状態モードにおいて、前記カメラを通じて第２ジェスチャーを獲得し、
前記第２ジェスチャーが前記複数の駆動ジェスチャーのうち前記ロック状態モード内で認識した前記活性化ジェスチャーと同一な第２駆動ジェスチャーであれば、前記第２駆動ジェスチャーに対応する第２機能を実行し、
前記第２機能は、前記ロック状態モードを前記アイドル状態モードに変更する機能とは異なり、
前記活性化ジェスチャー及び前記第２駆動ジェスチャーは、前記アイドル状態モード及び前記ロック状態モード内で相互異なる機能を実行するための同一なジェスチャーである、請求項５または６に記載の車両。

【請求項8】

前記ジェスチャー処理部は、前記映像から抽出された対象物の形状情報、対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報を基に、前記ジェスチャーを抽出する、請求項５〜７のいずれか一項に記載の車両。

【請求項9】

ロック状態モードにおいて、第１映像を獲得するステップと、
前記第１映像から明るさ情報を抽出するステップと、
前記明るさ情報が基準値より小さいと、赤外線光が照射されるように赤外線光源を駆動させるステップと、
前記赤外線光源が駆動される前記ロック状態モードにおいて、第２映像を獲得するステップと、
前記第２映像から第１ジェスチャーを抽出するステップと、
前記検出された第１ジェスチャーが活性化ジェスチャーと同一であれば、ロック状態モードをアイドル状態モードに変更するステップと、
前記アイドル状態モードの間、第３映像をキャプチャするステップと、
前記第３映像から検出された第２ジェスチャーが複数の駆動ジェスチャーのうちの１つである第１駆動ジェスチャーであれば、前記第１駆動ジェスチャーに対応する第１機能を実行するステップと、を含み、
前記第１ジェスチャー及び前記第２ジェスチャーは、手区分機能と手特定機能を利用して認識され、
前記手区分機能は、昼間と夜間に応じて異なるアルゴリズムが適用され、
夜間である場合、前記獲得された第２映像または第３映像のシルエット情報、シルエットの特徴点の動き情報及び明るさ情報を利用して手区分機能を実行する、ジェスチャー装置の動作方法。

【請求項10】

前記ジェスチャー装置の動作方法は、運転席、前記運転席の隣に配置されるコンソールボックス、ギアノブ及びルームミラーを含む車両に搭載されるジェスチャー装置の動作方法であって、
前記第２映像を獲得するステップは、前記コンソールボックスと前記ギアノブとの間に定められる映像獲得領域に位置する対象物の映像をキャプチャするステップを含み、
前記第２映像から前記第１ジェスチャーを検出し、前記第１ジェスチャーが前記活性化ジェスチャーであるのか否かを判断するステップと、
前記第３映像から前記第２ジェスチャーを検出し、前記第２ジェスチャーが駆動ジェスチャーであるのか否かを判断するステップと、を含む、請求項９に記載のジェスチャー装置の動作方法。

【請求項11】

前記第３映像から明るさ情報を検出するステップと、
前記明るさ情報が前記基準値より小さいと、前記赤外線光が照射されるように前記赤外線光源を駆動させるステップと、
前記赤外線光源が駆動される前記アイドル状態モードにおいて、前記第２ジェスチャーを獲得するステップと、を含む、請求項９または１０に記載のジェスチャー装置の動作方法。

【請求項12】

前記第２ジェスチャーが前記複数の駆動ジェスチャーのうち前記ロック状態モード内で認識した前記活性化ジェスチャーと同一な第２駆動ジェスチャーであれば、前記第２駆動ジェスチャーに対応する第２機能を実行するステップを含み、
前記第２機能は、前記ロック状態モードを前記アイドル状態モードに変更する機能とは異なり、
前記活性化ジェスチャー及び前記第２駆動ジェスチャーは、前記アイドル状態モード及び前記ロック状態モード内で相互異なる機能を実行するための同一なジェスチャーである、請求項９〜１１のいずれか一項に記載のジェスチャー装置の動作方法。

【請求項13】

前記複数の駆動ジェスチャーのうちの少なくとも１つは、前記活性化ジェスチャーと同一である、請求項１〜４のいずれか一項に記載のジェスチャー装置。

【請求項14】

前記複数の駆動ジェスチャーのうちの少なくとも１つは、前記活性化ジェスチャーと同一である、請求項５〜８のいずれか一項に記載の車両。

【請求項15】

前記複数の駆動ジェスチャーのうちの少なくとも１つは、前記活性化ジェスチャーと同一である、請求項１０〜１２のいずれか一項に記載のジェスチャー装置の動作方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ジェスチャーによって動作する装置に関するものである。

【背景技術】

【0002】

最近、ユーザに情報を提供するマルチメディア電子機器が活発に開発及び発売されている。

【0003】

このようなマルチメディア電子機器の代表的な例として、スマートフォンのようなモバイル機器がある。

【0004】

モバイル機器は、移動性と携帯性を兼備していると共に、通話、音楽鑑賞、ビデオ鑑賞、メッセージ送受信、スケジュール管理、ネットサーフィンなど多様な機能を含んでいる。

【0005】

一方、このようなマルチメディア電子機器は、車両に適用しようとする試みが行われている。

【0006】

このようなマルチメディア電子機器の多様な機能を実行するための入力コマンドを受けるために、多様なボタンがマルチメディア電子機器の外観に設置されている。ユーザは、多様なボタンを操作して当該機能を実行することができる。

【0007】

ところが、ユーザは、多様なボタンのそれぞれがどんな機能を実行するためのボタンであるのかを把握しにくく、例えユーザが当該ボタンの機能を把握していたとしても、ユーザがいちいち当該ボタンを押して動作させるにはかなり手間がかかる。

【0008】

さらは、小型マルチメディア電子機器の場合、その占有面積の限界によって各ボタンの間の間隔が狭いので、ユーザの誤ったボタン選択によって誤動作が発生する問題がある。

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は、誤動作の発生可能性を最小化したジェスチャー装置及びその動作方法を提供する。

【0010】

また、本発明は、ユーザの機器操作の便宜性を最大化したジェスチャー装置及びその動作方法を提供する。

【0011】

また、本発明は、ジェスチャー装置を備えた車両を提供する。

【課題を解決するための手段】

【0012】

本発明のジェスチャー装置は、映像を獲得する入力モジュールと、前記獲得された映像からジェスチャーを抽出するジェスチャー処理部と、前記抽出されたジェスチャーを基に、ロック状態モードをアイドル状態モードに転換するように制御する制御部と、を含む。

【0013】

本発明の車両は、運転席、前記運転席の隣に配置されるコンソールボックス、ギアノブ及びルームミラーを含む。車両は、映像を獲得するために前記ルームミラーの下部に装着される入力モジュールと、前記獲得された映像からジェスチャーを抽出するジェスチャー処理部と、前記抽出されたジェスチャーを基に、ロック状態モードをアイドル状態モードに転換し、前記抽出されたジェスチャーに対応する機能を実行するように制御する制御部と、を含む。

【0014】

本発明のジェスチャー装置の動作方法は、映像を獲得するステップと、前記映像からジェスチャーを抽出するステップと、前記抽出されたジェスチャーが活性化ジェスチャーであるのか否かを確認するステップと、前記抽出されたジェスチャーが前記活性化ジェスチャーである場合、ロック状態モードをアイドル状態モードに転換するステップと、を含む。

【発明の効果】

【0015】

本発明は、初期にはロック状態モードに設定され、このようなロック状態モードにおいては、いかなるジェスチャーが取られてもジェスチャーによる誤動作が発生しなくなり、誤動作による製品の信頼性の低下を防止して品質の向上を図ることができる。

【0016】

本発明は、多様なジェスチャーによって多様な機能が実行されるので、従来多数のボタン操作によって機能を実行する時発生する面倒を解消し、ボタンの間の狭い間隔による誤動作を防止することができる。

【図面の簡単な説明】

【0017】

【図1】実施例に係るジェスチャー装置を示したブロック図である。

【図2】実施例に係るジェスチャー装置が備えられた車両を示した図である。

【図3】図２のルームミラーに装着された映像入力モジュールを示した図である。

【図4】図１の映像入力モジュールを示したブロック図である。

【図5】図１の出力モジュールを示したブロック図である。

【図6】図１のジェスチャー処理部を示したブロック図である。

【図7】活性化ジェスチャーの一例を示した図である。

【図8】ジェスチャー判断部の細部構成を示した図である。

【図9】第１実施例に係るジェスチャー装置の動作方法を説明するフローチャートである。

【図10】駆動ジェスチャーの一例を示した図である。

【図11】駆動ジェスチャーの他の例を示した図である。

【図12】第２実施例に係るジェスチャー装置の動作方法を説明するフローチャートである。

【図13】駆動ジェスチャーのさらに他の例を示した図である。

【図14】駆動ジェスチャーのさらに他の例を示した図である。

【図15】駆動ジェスチャーのさらに他の例を示した図である。

【発明を実施するための形態】

【0018】

実施例の説明において、各構成要素の「上または下」に形成されると記載される場合、「上または下」は、２つの構成要素が直接接触または１つ以上の他の構成要素が２つの構成要素の間に配置されて形成されるものを全部含む。また、「上または下」と表現される場合、１つの構成要素を基準に、上側方向だけでなく下側方向の意味も含むことができる。また、「信号」は、電圧信号または電流信号である。

【0019】

図１は、実施例に係るジェスチャー装置を示したブロック図である。

【0020】

図１に示すように、実施例に係るジェスチャー装置は、映像入力モジュール１０、ジェスチャー処理部２０、制御部３０、出力モジュール４０及びメモリー５０を含むことができる。

【0021】

映像入力モジュール１０は、対象物の映像を入力する。映像入力モジュール１０は、図４に示したように、カメラ１２及び赤外線光源１４を含むことができる。

【0022】

カメラ１２は、対象物から映像を獲得して電気信号として出力することができる。カメラ１２は、制御部３０の制御下でリアルタイムで映像を獲得することができる。従って、カメラ１２によって静止対象物や動く対象物に対する映像をリアルタイムで獲得することができる。

【0023】

カメラ１２が、例えば車両に装着される場合、車両の始動がオンされる時、このような車両の始動がオンされることを認知した制御部３０の制御下でカメラ１２が駆動される。

【0024】

または、車両の始動がオンされることに関係なく、ユーザが直接カメラ１２を駆動させることもできる。

【0025】

赤外線光源１４は、例えば赤外線発光素子(LED)を含むことができるが、これに対しては限定しない。

【0026】

赤外線光源１４は、カメラの周辺に配置することができるが、これに対しては限定しない。

【0027】

赤外線光源１４は、制御部３０の制御下、例えば、夜間に駆動されるようにすることができる。夜間の場合、赤外線光源１４から赤外線光が照射されることで、カメラ１２から獲得された映像が明るさを持つことになり、対象物と非対象物が区分される。

【0028】

実施例に係るジェスチャー装置は、図２に示したように、例えば車両に備えられる。

【0029】

車両の室内には、前方の天井１０２にルームミラー１０３が備えられ、運転席１０１の隣にコンソールボックス１０７とギアノブ１０５が装着されたギア変速レバー１０６が備えられる。また、運転席１０１と助手席(図示せず)の間にセンターフェイシア１０９が備えられる。ルームミラー１０３は、前面ガラスの上側近くの天井１０２に設置することができるが、これに対しては限定しない。ルームミラー１０３は、コンソールボックス１０７及びギアノブ１０５に対して垂直な天井１０２や斜め方向に向かう天井１０２に設置することができる。

【0030】

映像入力モジュール１０は、図３に示したように、例えば車両のルームミラー１０３の下部の一部上に装着することができるが、これに対しては限定しない。

【0031】

映像入力モジュール１０は、例えば車両の天井１０２の内面の一部上に装着することができるが、これに対しては限定しない。

【0032】

映像入力モジュール１０が、車両のルームミラー１０３の下部の一部または車両の天井１０２の内面の一部のいずれの上に装着されるとても、映像入力モジュール１０は、例えば運転者の手及び/又は手に隣接した腕に対する映像を獲得しなければならない。ここで、腕とは、手首と肘の間を指すことができるが、これに対しては限定しない。

【0033】

映像入力モジュール１０によって映像が獲得される領域を映像獲得領域Ａと命名することができる。映像獲得領域Ａは、ギアノブ１０５、コンソールボックス１０７、そしてギアノブ１０５とコンソールボックス１０７の間の領域を含むことができる。ギアノブ１０５は、ギア変速レバー１０６の上端に装着されてユーザのグリップ感を向上させる。

【0034】

従って、映像獲得領域Ａに置かれる対象物に対する映像が映像入力モジュール１０によって獲得される。

【0035】

出力モジュール４０は、車両に装着されてもよい。出力モジュール４０は、図５に示したように、音響出力部４２とディスプレイパネル４４を含むことができる。

【0036】

ディスプレイパネル４４は、静止映像や動画が表示される部材として、例えばセンターフェイシア１０９に装着されてもよい。ディスプレイパネル４４は、例えば映画やミュージックビデオまたはナビゲーション画面を表示することができる。また、ディスプレイパネル４４は、ビデオ通話時に相手の顔や相手が送った映像を表示することができる。

【0037】

音響出力部４２は、オーディオ信号が出力される部材として、車両の各ドアや天井１０２等に装着されてもよい。

【0038】

制御部３０は、各構成要素、即ち映像入力モジュール１０、ジェスチャー処理部２０、出力モジュール４０及びメモリー５０を全体的に制御することができる。

【0039】

例えば、制御部３０は、映像入力モジュール１０のカメラ１２によって映像が獲得されるように制御する一方、夜間モード時に映像入力モジュール１０の赤外線光源１４によって光が照射されるように制御することができる。

【0040】

例えば、制御部３０は、出力モジュール４０の音響出力部４２によってオーディオ信号が出力されるように制御する一方、出力モジュール４０のディスプレイパネル４４によって映像信号が出力されるように制御することができる。

【0041】

例えば、制御部３０は、メモリー５０に新しいデータがアップデートされるように制御し、既に保存されたデータが削除及び変更されるように制御することができる。

【0042】

例えば、制御部３０は、ジェスチャー処理部２０の出力結果を基に、ユーザのイベントに対応する動作を実行するように制御することができる。

【0043】

ジェスチャー処理部２０の出力結果に基づく制御部３０の制御動作に対しては、後で詳しく説明することにする。

【0044】

ジェスチャー処理部２０は、図６に示したように、映像分析部２２、夜昼間判断部２４及びジェスチャー判断部２６を含むことができる。

【0045】

映像分析部２２は、映像入力モジュール１０のカメラ１２から提供されたフレーム単位の映像を分析することができる。映像分析部２２は、映像の明るさ情報、対象物の形状、対象物の形状動き情報、対象物のシルエット(contour)情報及び対象物のカラー情報を把握することができる。映像の明るさ情報は、夜昼間判断部２４に提供することができる。対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報は、ジェスチャー判断部２６に提供することができる。

【0046】

夜昼間判断部２４は、映像の明るさ情報を基に、昼間であるのか夜間であるのかを判断することができる。例えば、３０フレームの映像全体の明るさの平均レベルが閾値以上である場合、昼間であると判断することができる。例えば、３０フレームの映像全体の明るさの平均レベルが閾値以下である場合、夜間であると判断することができる。もし、夜間であると判断される場合、制御部３０の制御下映像入力モジュール１０の赤外線光源１４が駆動され、赤外線光が照射される。以後、カメラ１２によって赤外線光が反映された映像が再取得される。

【0047】

ジェスチャー判断部２６は、対象物の形状情報、対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報を基に、ユーザのジェスチャーが活性化ジェスチャーであるのか駆動ジェスチャーであるのかを判断することができる。

【0048】

ここで、駆動ジェスチャーは、実施例に係るジェスチャー装置に予め設定された多数の機能を実行するための入力コマンドを意味することができる。従って、駆動ジェスチャーは多数個が存在してもよい。

【0049】

多数の駆動ジェスチャーのいずれか１つのジェスチャーは、活性化ジェスチャーと同一または異なってもよい。駆動ジェスチャーが活性化ジェスチャーと同一であっても、実施例に係るジェスチャー装置をエラーなしに動作させることができる。例えば、活性化ジェスチャー(第１ジェスチャー)と多数の駆動ジェスチャーのうちの１つのジェスチャー(第２ジェスチャー)が同一である場合、映像入力モジュール１０によって先に入力された第１映像から抽出された第１ジェスチャーが活性化ジェスチャーとして認知されてアイドル状態モードに転換され、以後映像入力モジュール１０によって入力された第２映像から抽出された第２ジェスチャーが駆動ジェスチャーとして認知され、第２ジェスチャーに対応する機能が実行される。

【0050】

例えば、駆動ジェスチャーとしては、ホーム画面をディスプレイするためのホームジェスチャー、文字や数字を入力するための入力窓をディスプレイするための入力ジェスチャー、次の画面や前の画面をディスプレイするための左側ジェスチャー、右側ジェスチャー、アップジェスチャー及びダウンジェスチャー、そして予め設定された動作を直ちに実行するようにするショートカットキー(shortcut key)ジェスチャーを用いることができるが、これに対しては限定しない。

【0051】

活性化ジェスチャーは、上述した多数のジェスチャーによる誤動作が発生しないようにするためのロック装置を解除するためのジェスチャーであってもよい。活性化ジェスチャーによって駆動ジェスチャーを認識するためのアイドル状態(idle state)モードに転換することができる。アイドル状態モード以前には、ロック状態モードと命名することができる。従って、活性化ジェスチャーによってロック状態モードがアイドル状態モードに転換することができる。

【0052】

活性化ジェスチャーは、特定対象物の形状が特定対象物の形状の動きとしてメモリー５０に予め設定される。

【0053】

例えば、活性化ジェスチャーは、図７に示したように、子指のみを広げ残りの指が閉じられた形状に活性化ジェスチャーがメモリー５０に予め設定される場合、ユーザのこのようなジェスチャーによってロック状態モードがアイドル状態モードに転換される。

【0054】

例えば、駆動ジェスチャーは、予め設定されてユーザの駆動ジェスチャーに答えて当該機能が実行されるが、これに対しては限定しない。

【0055】

ジェスチャー判断部２６は、多様なアルゴリズムを適用することができる。

【0056】

以下、多様なアルゴリズムのうちの１つのアルゴリズムを説明するが、実施例はこれに限定されない。

【0057】

ジェスチャー判断部２６は、図８に示したように、手区分(hand segmentation)機能６１と手特定(hand classification)機能６５に区分することができる。

【0058】

手区分機能６１は、対象物動き検出(moving object detection)機能６２と手認証(hand verification)機能６４に区分することができる。

【0059】

手区分機能６１は、昼間と夜間に応じて異なるアルゴリズムが適用される。即ち、夜間の場合、映像入力モジュール１０から獲得された映像にカラー情報が含まれないために、シルエット情報とそのシルエットの特徴点(feature points)の動き情報及び明るさ情報などが利用される。

【0060】

対象物動き検出機能６２は、映像入力モジュール１０から獲得された映像から、例えば手の後部領域に該当するBLOBを探し、これに対する関連情報、例えば特徴点の位置や関心領域(ROI：region of interest)のコーナー点(corner points)の位置を把握することができる。

【0061】

手認証機能６４は、以前の映像から手に該当する領域を正確に区分し、当該領域内の全てのピクセルに対する座標値(x、y)と当該領域のシルエット情報、即ち当該領域の最も外側のピクセルに対する座標(x、y)を検出する。また、手認証機能６４は、次の映像から手領域が位置する座標値を推定して対象物動き検出機能６２に提供する。動き検出機能６２は、手認証機能６４から提供された情報を基に、手が位置する候補領域(ROI)の検出範囲を絞ることができ、より正確に手領域を検出することができる。

【0062】

手特定機能６５は、ジェスチャー管理(gesture management)機能６７とジェスチャー特定(gesture classification)機能６９に区分することができる。

【0063】

ジェスチャー管理機能６７は、効率的かつ正確なジェスチャー認識及び演算時間の短縮のために、アイドル状態モードへの転換以後の全てのジェスチャーに対するフロー管理を実行することができる。

【0064】

ジェスチャー特定機能６９は、対象物動き検出機能６２から提供された特徴点(feature points)情報を利用して手の計上や動き形態を把握し、把握された手の動きのうちユーザが意図していない動作形態を除去し、ユーザが意図した動作形態のみを出力することができる。ジェスチャー特定機能(６９)によって、ユーザが意図していない動作形態による誤動作が防止される。

【0065】

図９は、第１実施例に係るジェスチャー装置の動作方法を説明するフローチャートである。

【0066】

図１、図４及び図９に示すように、制御部３０の制御下で映像入力モジュール１０のカメラ１２が駆動される(Ｓ２０１)。

【0067】

例えば、車両の始動がオンされると、制御部３０は、このような車両の始動がオンされたことを認知してカメラ１２が駆動されるように制御することができる。

【0068】

例えば、ユーザのイベント、例えばカメラ１２の駆動ボタンに対する押しが感知されると、制御部３０はカメラ１２が駆動されるように制御することができる。

【0069】

この時、ジェスチャー装置は、ロック状態モードに設定される(Ｓ２０３)。即ち、カメラ１２駆動によってカメラ１２のレンズに対応する映像獲得領域Ａに位置される対象物に対する映像が獲得される。この時、ユーザが映像獲得領域Ａで、思わず特定ジェスチャーを取る場合、駆動ジェスチャーとして認知されて特定機能が実行される誤動作が発生することがある。

【0070】

実施例は、このような誤動作を防止するために、予め設定された特定ジェスチャー、即ち活性化ジェスチャーによってロック状態モードを解除してアイドル状態モードに転換された以後にのみ、ジェスチャーによる機能が実行されるようにすることができる。

【0071】

従って、ロック状態モードに設定された場合、映像獲得領域Ａで特定ジェスチャー以外のいかなるジェスチャーが取られても、ジェスチャーによる誤動作が発生しなくなる。

【0072】

駆動されたカメラ１２によって映像獲得領域Ａに位置された対象物に対する第１映像が獲得される(Ｓ２０５)。

【0073】

ジェスチャー処理部２０は、獲得された第１映像から抽出されたジェスチャーが活性化ジェスチャーであるのか否かを確認する(Ｓ２０７)。

【0074】

ジェスチャー処理部２０は、第１映像を分析して対象物の形状情報、対象物の形状動き情報、対象物のカラー情報などを把握し、把握されたこれら情報に基づいて、第１映像にジェスチャーが存在するのか、そしてジェスチャーが存在すればこのジェスチャーが予め設定された活性化ジェスチャーと一致するのかを判断することができる。

【0075】

例えば、図７のような手の形状のジェスチャーが活性化ジェスチャーとしてメモリー５０に設定される。即ち、活性化ジェスチャーは、子指のみが広げられ残りの指は閉じられた形状を有する。このような場合、ジェスチャー処理部２０は、第１映像にジェスチャーが存在し、存在するジェスチャーが図７のような手の形状のジェスチャーと同一であるのかを判断する。

【0076】

もし、第１映像に存在するジェスチャーが予め設定された活性化ジェスチャーと同一である場合、制御部３０はロック状態モードをアイドル状態モードに転換することができる(Ｓ２０９)。アイドル状態モードは、多様なジェスチャーを基に、実施例に係るジェスチャー装置に具現可能な多様な機能が実行される機能活性化状態ということができる。

【0077】

ロック状態モードがアイドル状態モードに転換された以後、初めて多様な機能が実行可能となる。ロック状態モード状態において特定機能を実行するためのジェスチャーを取り、カメラ１２によってこのようなジェスチャーに対する映像が獲得されても、ロック状態モードに設定されているので、当該機能が実行されない。反面、アイドル状態モードに転換されると、特定機能を実行するためのジェスチャーに答えて、当該特定機能が実行可能となる。

【0078】

実施例に係るジェスチャー装置は、多様な機能を実行及び多様な機能に対応するように、多様なジェスチャーを設定することができる。

【0079】

例えば、図１０に示したように、手が左に移動するジェスチャーの場合、このような左側ジェスチャーによって、出力モジュール４０のディスプレイパネル４４に表示されるユーザーインターフェース(ＵＩ)画面が左に消える代わりに、次のＵＩ画面がディスプレイパネル４４上に表示される。

【0080】

例えば、図１１に示したように、人差し指のみが広げられるジェスチャー、即ち「１」を現わすショートカットキーを表示するジェスチャーの場合、このようなショートカットキージェスチャーによって、「１」を現わすショートカットキーに設定された特定人の電話番号を利用して特定人の端末に呼び出し信号(call signal)が送信され、特定人と通話が可能となる。

【0081】

この他にも、多様な機能に合うように多様なジェスチャーが設定される場合、アイドル状態モードに転換された後、このような多様なジェスチャーを介して多様な機能が実行可能となる。

【0082】

実施例は、このように多様なジェスチャーによって多様な機能が実行されるので、従来多数のボタン操作によって機能を実行する時発生する面倒を解消し、ボタンの間の狭い間隔による誤動作を防止することができる。

【0083】

アイドル状態モードにおける多様な機能の具現に対しては、以下説明する。

【0084】

制御部３０の制御下カメラ１２によって第２映像が獲得される(Ｓ２１１)。

【0085】

ジェスチャー処理部２０は、第２映像を基に、第２映像内にジェスチャーが存在するのか、そしてジェスチャーが存在すれば当該ジェスチャーが駆動ジェスチャーであるのかを確認する(Ｓ２１３)。

【0086】

駆動ジェスチャーは、ジェスチャー装置に備えられた多様な機能に対応するように多様なジェスチャーを有することができる。

【0087】

もし、第２映像内のジェスチャーが駆動ジェスチャーである場合、当該駆動ジェスチャーに対応する機能が実行される(Ｓ２１５)。

【0088】

例えば、上述したように、人差し指のみが広げられるジェスチャーである場合、このようなジェスチャーに答えて、ショートカットキー「１」に該当する電話番号に呼び出し信号が送信され、当該電話番号のユーザと通話が連結される。

【0089】

図１２は、第２実施例に係るジェスチャー装置の動作方法を説明するフローチャートである。

【0090】

第２実施例において、ステップＳ２３０、ステップＳ２４０及びステップＳ２５０を除いては、第１実施例とほとんど類似しているので、第１実施例と同一なステップには同一図面符号を付与し、詳しい説明を省略することにする。第２実施例で省略された説明は、第１実施例から容易に理解することができる。

【0091】

図１２に示したように、カメラ１２が駆動されるステップＳ２０１、ロック状態モードに設定されるステップＳ２０３及び第１映像が獲得されるステップＳ２０５が実行される。

【0092】

第１映像が獲得されると、ジェスチャー処理部２０は、第１映像から把握された第１映像の明るさが閾値以下であるのかどうかを確認する(Ｓ２３０)。ここで、明るさは、１フレームの第１映像の明るさまたは多数フレームの第１映像の平均明るさであってもよいが、これに対しては限定しない。

【0093】

第１映像の明るさが閾値以下である場合、夜間であることを意味し、第１映像の明るさが閾値以上である場合、昼間であることを意味することができる。閾値は、予め設定されていてもよく、ユーザによって設定されてもよい。

【0094】

もし、第１映像の明るさが閾値以下である場合、赤外線光源１４が駆動され、赤外線光源１４から赤外線光が照射される(Ｓ２４０)。

【0095】

赤外線光源１４が照射された状態で、カメラ１２によって第１映像が再獲得される(Ｓ２５０)。この時、獲得された第１映像は、ステップＳ２０５で獲得された第１映像とカラーが異なる場合がある。即ち、ステップＳ２０５で獲得された第１映像はカラーを持つ反面、ステップＳ２５０で獲得された第１映像は白黒である場合もある。

【0096】

以後のステップＳ２０７、Ｓ２０９、Ｓ２１１、Ｓ２１３、Ｓ２１５は、第１実施例と同一であるので、詳しい説明は省略することにする。

【0097】

もし、ステップＳ２３０で第１映像の明るさが閾値より大きい場合、赤外線光源１４が駆動される必要なく直接ステップＳ２０７が実行される。

【0098】

図１３は、駆動ジェスチャーのさらに他の例を示した図である。

【0099】

例えば、図１３に示したように、手の平と指を自然に伸ばした状態で手の平が車両の床を向かうようにして下へと移動したり、手の平が車両の屋根を向かうようにして上へ移動する場合、当該ジェスチャーによって出力モジュールであるマルチメディア装置のボリュームを下げたり高めることができるようにすることができる。

【0100】

図１４は、駆動ジェスチャーのさらに他の例を示した図である。

【0101】

図１４に示すように、手の平が車両の床を向かうようにして手の平と指を広げた状態から拳を握るジェスチャーによって、音楽を再生したりナビゲーションなどを実行させる出力モジュールの特定機能を動作/実行するようにすることができる。

【0102】

図１５は、駆動ジェスチャーのさらに他の例を示した図である。

【0103】

図１５に示すように、手の平が車両の床を向かうようにして手の平と指を自然に伸ばした状態で２〜３回左右に振る場合、当該ジェスチャーによって、再生されている音楽が停止すると共に上位メニューに移動したり、任意のメニューから当該メニューの上位メニューに単純移動するようにすることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】