IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 現代自動車株式会社の特許一覧 ▶ 起亞自動車株式会社の特許一覧

特開2023-101382プロジェクション基盤のユーザインターフェイス提供装置及び方法
<>
  • 特開-プロジェクション基盤のユーザインターフェイス提供装置及び方法 図1
  • 特開-プロジェクション基盤のユーザインターフェイス提供装置及び方法 図2
  • 特開-プロジェクション基盤のユーザインターフェイス提供装置及び方法 図3
  • 特開-プロジェクション基盤のユーザインターフェイス提供装置及び方法 図4
  • 特開-プロジェクション基盤のユーザインターフェイス提供装置及び方法 図5
  • 特開-プロジェクション基盤のユーザインターフェイス提供装置及び方法 図6
  • 特開-プロジェクション基盤のユーザインターフェイス提供装置及び方法 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023101382
(43)【公開日】2023-07-20
(54)【発明の名称】プロジェクション基盤のユーザインターフェイス提供装置及び方法
(51)【国際特許分類】
   G06F 3/01 20060101AFI20230712BHJP
   G08G 1/09 20060101ALI20230712BHJP
   B60Q 1/00 20060101ALI20230712BHJP
   G06T 7/00 20170101ALI20230712BHJP
   G06T 7/20 20170101ALI20230712BHJP
   G06V 10/74 20220101ALI20230712BHJP
   G06V 40/20 20220101ALI20230712BHJP
   G03B 21/00 20060101ALI20230712BHJP
【FI】
G06F3/01 510
G08G1/09 V
B60Q1/00 G
G06T7/00 300F
G06T7/20 300A
G06V10/74
G06V40/20
G03B21/00 D
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2022172993
(22)【出願日】2022-10-28
(31)【優先権主張番号】10-2022-0002626
(32)【優先日】2022-01-07
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】591251636
【氏名又は名称】現代自動車株式会社
【氏名又は名称原語表記】HYUNDAI MOTOR COMPANY
【住所又は居所原語表記】12, Heolleung-ro, Seocho-gu, Seoul, Republic of Korea
(71)【出願人】
【識別番号】500518050
【氏名又は名称】起亞株式会社
【氏名又は名称原語表記】KIA CORPORATION
【住所又は居所原語表記】12, Heolleung-ro, Seocho-gu, Seoul, Republic of Korea
(74)【代理人】
【識別番号】110000051
【氏名又は名称】弁理士法人共生国際特許事務所
(72)【発明者】
【氏名】ヨム,ハ ギョン
(72)【発明者】
【氏名】ジョン,ゼ フン
【テーマコード(参考)】
2K203
3K339
5E555
5H181
5L096
【Fターム(参考)】
2K203FA02
2K203FA76
2K203FA96
2K203KA55
2K203KA56
2K203KA83
2K203MA40
3K339AA23
3K339AA43
3K339BA01
3K339BA03
3K339BA26
3K339CA30
3K339DA01
3K339EA05
3K339EA06
3K339EA10
3K339GB01
3K339GB21
3K339JA22
3K339KA01
3K339KA39
3K339MA02
3K339MA04
3K339MA07
3K339MB02
3K339MC35
3K339MC74
3K339MC96
5E555AA11
5E555AA76
5E555BA23
5E555BA29
5E555BB23
5E555BB29
5E555BC01
5E555BC17
5E555CA42
5E555CB56
5E555CB66
5E555CB68
5E555CB80
5E555CC01
5E555DB11
5E555DB53
5E555EA05
5E555EA07
5E555EA09
5E555EA22
5E555FA00
5H181AA01
5H181CC04
5L096BA04
5L096CA04
5L096CA05
5L096HA02
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】地面に車両とユーザとの間の相互作用が可能なインターフェイスを投射し、ユーザの車両を制御可能にする。
【解決手段】本発明のインターフェイス提供装置は、プロジェクションを用いた装置であり、車両ユーザの接近が感知されると、車両ユーザを撮影する第1のカメラと、ユーザ識別情報に基づいて予め設定された車両制御機能に関するインターフェイスを投射するプロジェクタと、インターフェイスが投射された領域を撮影する第2のカメラと、1つ以上のインストラクションを保存するメモリ、及び、インストラクションを実行するプロセッサと、を含み、プロセッサは、第1のカメラを用いて車両ユーザに関するユーザ識別情報を獲得し、第2のカメラを用いてインターフェイスに対するユーザ入力を認識し、ユーザ入力が認識されると、インターフェイスに対応する車両制御を実行する。
【選択図】 図1
【特許請求の範囲】
【請求項1】
プロジェクションを用いた車両のインターフェイス提供装置であって、
車両ユーザの接近が感知されると、前記車両ユーザを撮影する第1のカメラと、
ユーザ識別情報に基づいて予め設定された少なくともいずれかの車両制御機能に関するインターフェイスを投射するプロジェクタと、
前記インターフェイスが投射された領域を撮影する第2のカメラと、
1つ以上のインストラクションを保存するメモリ、及び、
前記インストラクションを実行するプロセッサと、を含み、
前記プロセッサは、
前記第1のカメラを用いて前記車両ユーザに関する前記ユーザ識別情報を獲得し、
前記第2のカメラを用いて前記インターフェイスに対するユーザ入力を認識し、
前記ユーザ入力が認識されると、前記インターフェイスに対応する車両制御を実行することを特徴とするインターフェイス提供装置。
【請求項2】
前記プロセッサは、
前記第1のカメラが前記車両ユーザを撮影した映像から少なくとも1つの特徴を抽出し、
予め保存された複数のユーザ識別情報の中から、前記特徴に対応するいずれかのユーザ識別情報を獲得することを特徴とする請求項1に記載のインターフェイス提供装置。
【請求項3】
前記プロジェクタは、
前記インターフェイスを投射する前に、前記ユーザ識別情報に基づいて予め設定されたユーザ別イメージを前記車両が位置する地面に投射することを特徴とする請求項1に記載のインターフェイス提供装置。
【請求項4】
前記予め設定されたいずれかの車両制御機能に関するインターフェイスは、
前記識別情報に基づき、前記車両制御機能の個数、投射される位置、及び投射されるインターフェイスの形態のうちの少なくとも1つが決定されることを特徴とする請求項1に記載のインターフェイス提供装置。
【請求項5】
前記プロセッサは、
前記第2のカメラを用いて撮影した前記車両ユーザの予め設定された動作に基づいて前記ユーザ入力を認識することを特徴とする請求項1に記載のインターフェイス提供装置。
【請求項6】
前記プロセッサは、
前記インターフェイスに予め設定された時間の間、連続して前記車両ユーザの予め設定された動作が維持されると、前記インターフェイスに前記ユーザ入力があると決定することを特徴とする請求項5に記載のインターフェイス提供装置。
【請求項7】
前記インターフェイスは、
前記車両のドアを制御する機能に関するインターフェイス及び、前記車両の移動を遠隔制御する機能に関するインターフェイスのうちの少なくともいずれかを含むことを特徴とする請求項1に記載のインターフェイス提供装置。
【請求項8】
前記プロジェクタは、
前記車両制御が行われる間、車両制御に関する情報を含むイメージを車両が位置する地面に投射することを特徴とする請求項1に記載のインターフェイス提供装置。
【請求項9】
プロジェクションを用いた車両のインターフェイス提供方法であって、
車両ユーザの接近が感知されると、少なくとも1つのカメラを用いて前記車両ユーザに関するユーザ識別情報を獲得するステップと、
前記識別情報に基づいて予め設定された少なくともいずれかの車両制御機能に関するインターフェイスを投射するステップと、
前記インターフェイスに対するユーザ入力を認識するステップ、及び、
前記ユーザ入力が認識されると、前記インターフェイスに対応する車両制御を実行するステップと、を含むことを特徴とするインターフェイス提供方法。
【請求項10】
前記少なくとも1つのカメラを用いて車両ユーザに関するユーザ識別情報を獲得するステップは、
前記車両に搭載された第1のカメラが前記車両ユーザを撮影した映像から少なくとも1つの特徴を抽出するステップ、及び、
予め保存された複数のユーザ識別情報の中から、前記特徴に対応するいずれかのユーザ識別情報を獲得するステップを含むことを特徴とする請求項9に記載のインターフェイス提供方法。
【請求項11】
前記インターフェイスを投射するステップは、さらに、
前記インターフェイスを投射する前に、前記識別情報に基づいて予め設定されたユーザ別イメージを車両が位置する地面に投射するステップを含むことを特徴とする請求項9に記載のインターフェイス提供方法。
【請求項12】
前記予め設定されたいずれかの車両制御機能に関するインターフェイスは、
前記識別情報に基づき、前記車両制御機能の個数、投射される位置、及び投射されるインターフェイスの形態のうちの少なくとも1つが決定されることを特徴とする請求項9に記載のインターフェイス提供方法。
【請求項13】
前記ユーザ入力を認識するステップは、
前記車両に搭載された第2のカメラを用いて撮影された前記車両ユーザの予め設定された動作に基づいて前記ユーザ入力を認識するステップであることを特徴とする請求項9に記載のインターフェイス提供方法。
【請求項14】
前記車両に搭載された第2のカメラを用いて撮影した前記車両ユーザの動きに基づいて前記ユーザ入力を認識するステップは、
前記インターフェイスに予め設定された時間の間、連続して前記車両ユーザの前記予め設定された動作が維持されると、前記インターフェイスに前記ユーザ入力があると決定するステップであることを特徴とする請求項13に記載のインターフェイス提供方法。
【請求項15】
前記インターフェイスは、
前記車両のドアを制御する機能に関するインターフェイス及び、前記車両の移動を遠隔制御する機能に関するインターフェイスのうちの少なくともいずれかを含むことを特徴とする請求項9に記載のインターフェイス提供方法。
【請求項16】
前記インターフェイスに対応する車両制御を行うステップは、さらに、
前記車両制御が行われている間、車両制御に関する情報を含むイメージを車両が位置する地面に投射するステップを含むことを特徴とする請求項9に記載のインターフェイス提供方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プロジェクション基盤のユーザインターフェイス提供装置及び方法に関する。具体的には、プロジェクタを用いて車両を制御することができるプロジェクション基盤のユーザインターフェイス提供装置及びその方法に関する。
【背景技術】
【0002】
以下に記述される内容は、単に本実施例に関連する背景情報のみを提供するだけで従来技術を構成するものではない。
【0003】
IT技術の発展に伴い、車両にIT技術を取り入れてユーザの利便性を向上させるための各種技術が多様に研究及び適用されている。ユーザの運転便宜のための車両運転者補助システム(Advanced Driver Assistance System、ADAS)や自律走行自動車(Autonomous Vehicle)に関する技術が代表的である。車両ユーザの利便性と安全性を最大化するために、ユーザと車両との間のシームレスな相互作用を通じた車両制御技術が要求される。したがって、車両ユーザと車両との間の多様なUI/UX(User Interface/User Experience)に関する技術開発が活発に行われている。
【0004】
しかしながら、ユーザと車両との間の相互作用に関する技術開発は、車両の運行中の過程、例えば、運行中の車両の制御のための相互作用及び運転者状態のモニタリングのための相互作用などについて主になされている。したがって、車両外部のユーザが車両に搭乗する過程で、車両をよりスムーズかつ便利に遠隔制御することができるユーザインターフェイスの開発が求められている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2014-16978号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の目的は、車両が位置している地面に車両とユーザとの間の相互作用が可能なインターフェイスを投射することにより、車両ユーザが投射されたインターフェイスを用いて車両を制御できるようにすることである。
【0007】
本発明が解決しようとする課題は、以上で言及した課題に限定されず、言及されていない他の課題は、下の記載から通常の技術者に明確に理解されるであろう。
【課題を解決するための手段】
【0008】
本発明によるインターフェイス提供装置は、プロジェクションを用いたインターフェイス提供装置であって、車両ユーザの接近が感知されると、前記車両ユーザを撮影する第1のカメラと、ユーザ識別情報に基づいて予め設定された少なくともいずれか1つの車両制御機能に関するインターフェイスを投射するプロジェクタと、前記インターフェイスが投射された領域を撮影する第2のカメラと、1つ以上のイントラクションを保存するメモリ、及び、前記インストラクションを実行するプロセッサと、を含み、前記プロセッサは、前記第1のカメラを用いて前記車両ユーザに関する前記ユーザ識別情報を獲得し、前記第2のカメラを用いて前記インターフェイスに対するユーザ入力を認識し、前記ユーザ入力が認識されると、前記インターフェイスに対応される車両制御を実行することを特徴とする。
【0009】
本発明によるインターフェイス提供方法は、本発明プロジェクションを用いたインターフェイス提供方法であって、車両ユーザの接近が感知されると、少なくとも1つのカメラを用いて前記車両ユーザに関するユーザ識別情報を獲得するステップと、前記識別情報に基づいて予め設定された少なくともいずれか1つの車両制御機能に関するインターフェイスを投射するステップと、前記インターフェイスに対するユーザ入力を認識するステップ、及び、前記ユーザ入力が認識されると、前記インターフェイスに対応される車両制御を実行するステップと、を含むことを特徴とする。
【発明の効果】
【0010】
一実施例によると、プロジェクション基盤のユーザインターフェイス提供装置及び方法は、車両が位置している地面に車両とユーザとの相互作用が可能なインターフェイスを投射し、車両ユーザが投射されたインターフェイスを用いて車両を円滑に制御できるようにすることで、車両ユーザの安全性及び利便性を向上させる効果がある。
【図面の簡単な説明】
【0011】
図1】本発明の一実施例に係るユーザインターフェイス提供装置のブロック構成図である。
図2】本発明の一実施例に係るユーザインターフェイス提供装置がユーザ識別情報に基づいてユーザ別イメージを投射する過程を示す図である。
図3】本発明の一実施例に係るユーザインターフェイス提供装置が投射した車両制御機能に関するインターフェイスを示す図である。
図4】本発明の一実施例に係るユーザインターフェイス提供装置のユーザ入力動作を説明するための図である。
図5】本発明の一実施例に係る車両を制御する過程を説明するための図である。
図6】本発明の他の実施例に係る車両を制御する過程を説明するための図である。
図7】本発明の一実施例に係るユーザインターフェイスの提供方法を説明するフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明の実施例を例示的な図面を用いて詳しく説明する。各図面の構成要素に参照符号を付加するにあたり、同一の構成要素に対しては、異なる図面上に表示されても可能な限り同一の符号を有するようにしている。なお、本発明を説明するにあたり、関連する公知の構成又は機能に関する具体的な説明が本発明の要旨を不明瞭にすると判断される場合には、その詳しい説明は省く。
【0013】
本発明に係る実施例の構成要素を説明するにあたり、第1、第2、i)、ii)、a)、b)などの符号を用いる場合がある。このような符号は、その構成要素を他の構成要素と区別するためのものであり、その符号によって当該構成要素の本質又は順番や順序等が限定されない。明細書で、ある部分がある構成要素を「含む」又は「備える」とするとき、これは、明示的に逆となる記載がない限り、他の構成要素を除外するのではなく、他の構成要素をさらに含み得ることを意味する。
【0014】
本発明に係る装置又は方法の各構成要素は、ハードウェア又はソフトウェアで具現されるか、又はハードウェア及びソフトウェアの組み合わせで具現される。さらに、各構成要素の機能がソフトウェアで具現され、マイクロプロセッサが各構成要素に対応するソフトウェアの機能を実行するように具現されてもよい。
【0015】
図1は、本発明の一実施例に係るユーザインターフェイス提供装置のブロック構成図である。
【0016】
図1を参照すると、本発明の一実施例に係るユーザインターフェイス提供装置100は、カメラ(camera)110、プロジェクタ(projector)120、プロセッサ(processor)130、及びメモリ(memory)140を含む。カメラ110、プロジェクタ120、プロセッサ130、及びメモリ140は、バス150を介して相互データを伝送することが可能である。
【0017】
一実施例によると、ユーザインターフェイス提供装置100は自律走行車両への搭載のみならず、非自律走行車両にて車両とユーザとの間のイントラクション(interaction)を提供するために車両に搭載される。
【0018】
カメラ110は、車両に接近する車両ユーザを識別するためのイメージを撮影する第1カメラ及び、車両ユーザの入力を認識するためのイメージを撮影する第2カメラを含む。ここで、第1カメラ及び第2カメラは、車両の予め設定された位置に搭載された少なくとも1つのカメラをそれぞれ含む。
【0019】
第1のカメラは、車両の外部から車両に接近するユーザを撮影した映像を獲得するために、車両の外部の適切な位置に配置される。例えば、車両前方の映像を獲得するための第1カメラは、車両室内のフロントウインドシールド(front windshield)に近接して配置されるか、あるいは車両外部のフロントバンパー(front bumper)又はラジエータグリル(radiator grill)周辺に配置される。
【0020】
車両後方の映像を獲得するための第1カメラは、車両室内のリアガラスに近接して配置されるか、あるいは車両外部のリアバンパー(rear bumper)、トランク(trunk)、又はテールゲート(tail gate)の周辺に配置される。
【0021】
車両側方の映像を獲得するための第1カメラは、車室内のサイドウィンドウのうちの少なくともいずれか1つに近接して配置されるか、サイドミラー、フェンダー(fender)又はドアの周囲に配置される。
【0022】
車両に接近する車両ユーザが感知されると、第1カメラは車両ユーザを撮影する。ここで、車両ユーザとは、車両に接近する人の中から、予め設定された1つ以上の認証手段を介して車両のユーザとして確認された人である。
【0023】
例えば、車両に接近する人が所持したユーザ端末機が、車両がブロードキャスト(broadcasting)する第1の信号を受信すると、第1の信号に対する応答として予め設定された第2の信号を送信する。車両は、第2の信号が受信されると車両ユーザであることを確認し、車両ユーザの接近を感知する。ここで、ユーザ端末機は、該当車両のスマートキーであってよい。
【0024】
第2のカメラは、ユーザ入力を認識するために車両制御機能に関するインターフェイスが投射された領域を撮影する複数のカメラを含む。第2のカメラは、投射された複数のインターフェイスのそれぞれでユーザ入力に該当する車両ユーザの動作があるかどうかを決定するために、インターフェイスが投射される地面の予め設定された領域を撮影するように車両の外部に配置される。
【0025】
第2のカメラは、インターフェイスが投射された地上の領域を撮影できるように、車両の前方及び後方の外側にそれぞれ配置された少なくとも1つ以上のカメラを含む。しかしながら、これに限定されるものではなく、プロジェクタ120が配置された位置に第2カメラも一緒に配置されてよい。例えば、第2のカメラはプロジェクタの個数と同じ個数で構成され、それぞれのカメラに対応するプロジェクタが、インターフェイスを投射した領域を撮影するように配置される。
【0026】
カメラ110は、モノカメラ、ステレオカメラ、AVM(Around View Monitoring)カメラ、又は360度カメラであってよい。
【0027】
カメラ110は、獲得した映像をプロセッサ130に伝送する。
【0028】
プロジェクタ120は、車両が位置する地上の予め設定された領域にイメージを投射する。プロジェクタ120が投射するイメージは、予め設定されたユーザ別イメージ及び少なくとも1つの車両制御機能に関するインターフェイスのうちのいずれかである。
【0029】
プロジェクタ120は、車両前方及び後方外部の予め設定された少なくとも1つの位置に設けられたビームプロジェクタであってよい。ここで、ビームプロジェクタは、LEDビームプロジェクタ又はLED照明モジュールであってよい。
【0030】
プロジェクタ120は、プロセッサ130が伝送した車両ユーザの識別情報に対応するユーザ別イメージを車両の前方又は後方地面にインターフェイスイメージを投射(projection)する。ここで、ユーザ別イメージとは、車両ユーザによってそれぞれ異なるように設定された任意のイメージである。ここで、ユーザ別イメージは、予めユーザによって選択されたイメージであってよいが、これに限定されず、ユーザインターフェイス提供装置100が任意に選択したイメージであってよい。
【0031】
プロジェクタ120は、プロセッサ130が伝送したインターフェイス設定情報に従って車両の前方又は後方地面にインターフェイスを投射する。ここで、インターフェイス設定情報は、車両ユーザごとに予め設定されたインターフェイスの車両制御機能の個数、インターフェイスが投射される位置、及び投射されるインターフェイスの形態に関する情報を含む。プロセッサ130は、インターフェイス設定情報をユーザ識別情報に基づいて獲得する。
【0032】
プロジェクタ120は、インターフェイス設定情報に従って予め設定された複数の車両制御機能のうち、車両ユーザによって予め選択されたいずれか1つ以上の車両制御機能に関するインターフェイスを投射する。ここで、予め設定された複数の車両制御機能は、車両の複数のドアを制御する機能、及び車両の移動を遠隔制御する機能を含む。しかしながら、これに限定されず、多様な車両制御機能が追加で含まれてよい。例えば、車両の始動がかかるように制御する機能などが追加で含まれてよい。
【0033】
プロセッサ130は、カメラ110が獲得した映像から車両ユーザを識別する。具体的に、プロセッサ130は、カメラ110の第1カメラが獲得した映像に基づいて車両ユーザが、予め保存されている複数の該当車両のユーザのうちのどのユーザであるかを識別する。
【0034】
プロセッサ130は、カメラ110が獲得した映像から車両ユーザの特徴を抽出し、予め保存された複数の該当車両ユーザに関する特徴と比較して一致するユーザを識別する。
【0035】
抽出された特徴に基づいて車両ユーザが識別されると、プロセッサ130は、当該車両ユーザについてのユーザ識別情報を獲得する。ここで、ユーザ識別情報は、予め保存された複数の車両ユーザに関する情報である。例えば、ユーザ識別情報は、映像から当該ユーザを識別することができる特徴に関する情報、予め設定されたユーザ別イメージに関する情報、及び車両制御機能に関するインターフェイスの設定情報のうちの少なくとも1つを含む。
【0036】
プロセッサ130は、ユーザ識別情報に基づいてプロジェクタ120に予め設定されたユーザ別イメージに関する情報及び車両制御機能に関するインターフェイスの設定情報を伝送ssする。
【0037】
プロセッサ130は、カメラ110が獲得したイメージ、具体的には第2のカメラが獲得したイメージからユーザ入力があるか否かを認識する。
【0038】
プロセッサ130は、カメラ110が獲得した映像からユーザ入力で設定された車両ユーザの特定動作があるか否かを判断する。ここで、ユーザ入力で設定された動作は、地面に投射されたインターフェイスの領域を車両ユーザが予め設定された時間の間に足で踏む動作及び、車両ユーザが地面に投射されたインターフェイスの領域上に予め設定された時間の間に立っている動作のうちの少なくとも1つの動作で設定されてよい。予め設定された時間は、例えば2秒程度の時間であってよい。
【0039】
プロセッサ130は、ユーザ入力が認識されると、ユーザ入力があったインターフェイスに対応する車両制御を実行する。例えば、プロセッサ130は、左側前方ドアを開放する制御機能に関するインターフェイス領域にてユーザ入力に該当する動作が認識されると、車両の左側前方ドアが開放されるように車両制御を行う。
【0040】
別の例として、プロセッサ130は、車両の移動を遠隔制御する機能に関するインターフェイス領域にてユーザ入力が認識されると、車両が車両ユーザ位置に向かって移動するように車両制御を実行する。それと同時に、プロセッサ130は、プロジェクタ120が車両制御に関する情報を含むイメージを車両が位置する地面に追加で投射するようにする制御信号をプロジェクタ120に伝送することができる。ここで、車両制御に関する情報を含むイメージは、例えば、車両が現在移動している方向に関する情報を含むイメージであってよい。
【0041】
プロセッサ130は、多様な映像処理アルゴリズムを用いてユーザを識別することができる。例えば、プロセッサ130は、映像内で動いている人に関する少なくとも1つ以上の関心領域ROIを設定し、関心領域内のイメージから車両ユーザの特徴を抽出する。
【0042】
プロセッサ130は、ディープラーニングアルゴリズムを用いて予め学習された車両ユーザ識別モデルを使用して車両ユーザを識別する。例えば、ディープラーニングアルゴリズムには、畳み込みニューラルネットワーク(Convolutional Neural Network、CNN)が含まれる。車両ユーザ識別モデルは、畳み込みニューラルネットワークの他にも、回帰型ニューラルネットワーク(Recurrent Neural Network、RNN)と組み合わせて学習された結果に従って生成されてもよい。
【0043】
メモリ140は、ユーザインターフェイス提供装置100によって用いられるか又はそれによって出力される情報を保存するための揮発性メモリ、永久、仮想、又は他の種類のメモリを含む。例えば、メモリ140は、ランダムアクセスメモリ(random access memory、RAM)又はダイナミックラム(dynamic RAM、DRAM)を含む。
【0044】
メモリ140は、プロセッサ130の処理又は制御のためのプログラム及びユーザインターフェイス提供装置100の動作のための多様なデータを保存することができる。例えば、メモリ140には、ユーザ識別情報は、カメラ110が撮影した映像から車両ユーザを識別するために用いられる特徴に関する情報、予め設定されたユーザ別イメージに関する設定情報、及び車両制御機能に関するインターフェイスの設定情報のうちの少なくとも1つを含むユーザ識別情報が保存される。
【0045】
図2は、本発明の一実施例に係るユーザインターフェイス装置がユーザ識別情報に基づいてユーザ別イメージを投射する過程を示す図である。
【0046】
図2を参照すると、ユーザインターフェイス装置が車両200に接近する車両ユーザを識別すると、車両200が位置する地面に予め設定されたユーザ別イメージ210を投射する。
【0047】
ユーザ別イメージ210が投射される位置は、車両200が位置する地面にて車両ユーザの位置によって決定されてよい。例えば、車両の正面方向から車両のユーザが接近している場合には、車両前方の地面にユーザ別イメージ210が投射され、車両の背面方向から車両のユーザが接近している場合には車両後方の地面にユーザ別イメージ210が投射される。
【0048】
ユーザ別イメージ210が投射される位置は、車両の周辺に障害物があるかどうかによって異なってよい。例えば、車両ユーザが車両の背面方向から接近している場合、車両の後方に他の車両などの障害物が存在し、ユーザ別イメージ210を投射する地上の空間が確保されにくい場合、ユーザインターフェイス提供装置は、ユーザ別イメージ210を車両200の左側後方及び右側後方のうちのいずれかの方向の地面に投射する。
【0049】
ユーザ別イメージ210は、識別された車両ユーザによってそれぞれ異なる形状のイメージであってよい。ユーザ別イメージ210は、車両ユーザそれぞれが予め選択したイメージであってよいが、ユーザインターフェイス装置が複数のイメージの中から車両ユーザによって任意に指定したイメージであってよい。
【0050】
車両ユーザは、地面に投射されたユーザ別イメージ210を認識し、車両200を認識することができ、その後、車両制御のためのインターフェイスが投射される地面上の位置を認識することができる。
【0051】
図3は、本発明の一実施例に係るユーザインターフェイス装置が投射した車両制御機能に関するインターフェイスを示す図である。
【0052】
図3を参照すると、ユーザインターフェイス提供装置は、車両300の前方地面及び後方地面のうちの少なくとも1つの地面に複数の車両機能を実行することができるインターフェイスを投射する。
【0053】
車両ユーザの位置が車両300の前方の位置と感知された場合、車両前方の地面に車両300のドアを制御する機能に関するインターフェイスが投射される。ここで、車両300のドアを制御する機能に関するインターフェイスは、左側前方ドア330を自動的に開放するための左側前方ドアインターフェイス331、右側前方ドア340を自動的に開放するための右側前方ドアインターフェイス341、左側後方ドア350を自動的に開放するための左側後方ドアインターフェイス351、及び右側後方ドア360を自動的に開放するための右側後方ドアインターフェイス361を含む。
【0054】
車両ユーザが車両の前方にいる場合、車両前部分のボンネット310を自動的に開放できるボンネットインターフェイス311が追加で投射される。
【0055】
一方、車両ユーザの位置が車両300の後方と感知された場合、車両後方地面に車両300のドアを制御する機能に関するインターフェイスが投射される。ここで、車両300のドアを制御する機能に関するインターフェイスは、車両前方地面に投射されたインターフェイスと同様に、それぞれ対応されるドア330、340、350、360を自動的に開放するための複数のドアインターフェイス332、342、352、362を含む。
【0056】
車両ユーザが車両の後方にいる場合、車両の後ろ部分のテールゲート320を自動的に開放できるテールゲートインターフェイス322が追加で投射される。
【0057】
車両ユーザインターフェイス提供装置は、車両300のドアを制御する機能に関するインターフェイスと共に、車両の移動を遠隔制御する機能に関するインターフェイス301、302を投射する。ここで、車両の移動を遠隔制御する機能は、駐車されている車両を遠隔制御して車両ユーザの位置に移動させる機能に設定される。
【0058】
車両ユーザが車両の前方にいる場合には、車両の移動を遠隔制御する機能に関するインターフェイス301が車両の前方地面に投射され、車両ユーザが車両の後方にいる場合には、車両の移動を遠隔制御する機能に関するインターフェイス302が車両の後方地面に投射される。ここで、車両の移動を遠隔制御する機能に関するインターフェイス301、302は、一緒に投射された他のインターフェイスと比べて相対的に最も車両のユーザに近い位置に投射されてよい。
【0059】
車両ユーザインターフェイス提供装置は、車両ユーザによって予め設定されたインターフェイスを投射する。例えば、車両に接近する車両のユーザが第1のユーザと識別された場合、ユーザインターフェイス提供装置は、第1のユーザに対するユーザ識別情報に含まれるインターフェイス設定情報に基づいて複数のドアインターフェイスの中から、一部のドアに関するインターフェイス、例えば、左側前方ドアインターフェイスと右側前方ドアインターフェイスのみを投射することができる。別の例として、車両に接近する車両ユーザが第2のユーザと識別された場合、ユーザインターフェイス提供装置は第2のユーザに関するユーザ識別情報に含まれるインターフェイス設定情報に基づいて車両の移動を遠隔制御する機能に関するインターフェイスのみを投射することができる。
【0060】
車両ユーザインターフェイス提供装置は、車両ユーザによって予め設定された形態のインターフェイスを投射する。地面に投射されるインターフェイスは、その種類及び投射されるインターフェイスの数だけでなく、インターフェイスの投射位置、インターフェイスの形状、及びインターフェイスの色彩のうちの少なくとも1つ以上が車両ユーザによって予め設定されてよい。
【0061】
図4は、本発明の一実施例に係るユーザインターフェイス装置のユーザ入力動作を説明するための図である。
【0062】
図4(a)を参照すると、車両400が位置する地面に車両400の制御機能に関する複数のインターフェイス420が投射される。ここで、ユーザ410は車両の後方に位置しているので、ユーザインターフェイス提供装置はユーザの位置に応じて車両の後方地面にインターフェイス420を投射する。
【0063】
車両ユーザインターフェイス提供装置は、インターフェイス420にユーザ410のユーザ入力があるかどうかをモニタリングする。例えば、ユーザインターフェイス提供装置は、投射されたインターフェイス420を含む領域を撮影し、撮影された映像からユーザ入力に該当するユーザの動作が認識されると、ユーザ入力があることと決定する。ユーザインターフェイス提供装置は、ユーザ入力があるかどうかをモニタリングするために、インターフェイス420が投射された領域を撮影する少なくとも1つのカメラを用いる。しかしながら、これに限定されず、超音波センサ及びレーダのような多様なセンサを用いてユーザ410の動作をモニタリングすることができる。
【0064】
図4(b)を参照すると、ユーザ412は、インターフェイス420に対応される車両制御のためにインターフェイス420に予め設定されたユーザ入力動作を行う。ここで、ユーザ入力に設定された動作は、地面に投射されたインターフェイスの領域を車両ユーザが予め設定された時間、例えば2秒間足で踏む動作に設定される。
【0065】
車両ユーザインターフェイス提供装置は、カメラの映像にユーザ412がインターフェイス420を2秒間足で踏む動作が撮影されると、インターフェイス420にユーザ入力があることと決定し、インターフェイス420に対応する車両制御を行う。例えば、インターフェイス420が車両400のいずれかのドアを開放するためのインターフェイスである場合には、当該ドアが自動的に開放される。
【0066】
図5は、本発明の一実施例に係る車両を制御する過程を説明するための図である。
【0067】
図5(a)を参照すると、車両ユーザ510が同乗者511と共に車両500に接近する。ここで、車両ユーザ510及び同乗者511は、車両500の後方から接近している。
【0068】
車両ユーザインターフェイス提供装置は、車両ユーザ510の接近を感知する。車両ユーザ510が所持したスマートキーは、車両500がブロードキャストする信号を受信し、それに対する応答信号を送信する。車両500が応答信号を受信すると、ユーザインターフェイス提供装置は、車両ユーザ510が接近していることを感知することができる。
【0069】
車両ユーザ510の接近が感知されると、ユーザインターフェイス提供装置はカメラを用いて車両ユーザ510を撮影する。
【0070】
ユーザインターフェイス提供装置は、車両ユーザ510の映像から車両ユーザ510の特徴を抽出し、抽出された特徴と予め保存されている複数のユーザに関する特徴に基づいて車両ユーザ510を識別する。
【0071】
車両ユーザ510が識別されると、ユーザインターフェイス提供装置は、車両ユーザ510に対応するユーザ識別情報に基づいて車両500の後方地面にユーザ別イメージ531を投射する。
【0072】
図5(b)を参照すると、ユーザインターフェイス提供装置は、車両制御機能に関するインターフェイスを投射する。ここで、車両制御機能に関するインターフェイスは、車両500の後方地面に投射される。
【0073】
車両ユーザ510は、同乗者511が搭乗する座席のドアを開放するために、右側後方ドアインターフェイス532を片足で踏む動作を行う。ユーザインターフェイス提供装置は、車両ユーザ510の動作から右側後方ドアインターフェイス532に対するユーザ入力を認識し、右側後方ドア502が開放されるように車両を制御する。同乗者511は、自動的に開放された右側後方ドア502を介して車両500に搭乗することができる。
【0074】
図5(c)を参照すると、車両ユーザ510は、例えば、車両の後ろ部分の収納空間に手荷物等を積載するために車両500のテールゲート503を開放しなければならない場合、テールゲートインターフェイス533を片足で踏む動作を行う。ユーザインターフェイス提供装置は、車両ユーザ510の動作からテールゲートインターフェイス533に対するユーザ入力を認識し、テールゲート503が開放されるように車両を制御する。車両ユーザ510は、自動的に開放されたテールゲート503を介して車両500に手荷物等を積載することができる。
【0075】
図5(d)を参照すると、車両ユーザ510は、車両の左側前方に位置する運転席に搭乗するために、左側前方ドアインターフェイス534を片足で踏む動作を行う。ユーザインターフェイス提供装置は、左側前方ドアインターフェイス534に対するユーザ入力を認識し、左側前方ドア504が自動的に開放されるように車両を制御する。車両ユーザ510は、開放された左側前方ドア504を介して車両500に搭乗することができる。
【0076】
図6は、本発明の他の実施例に係る車両を制御する過程を説明するための図である。
【0077】
図6(a)を参照すると、車両ユーザ610が車両600に接近する。ユーザインターフェイス提供装置は、車両ユーザ610の接近が検知されると、車両ユーザ車両600の予め設定された位置に設置されたカメラを用いて撮影した車両ユーザ610の映像から特徴を抽出して車両ユーザ610 )を識別し、車両ユーザ610に関するユーザ識別情報を獲得する。
【0078】
車両ユーザ610に関するユーザ識別情報は、予め保存された複数のユーザ識別情報のうちの、現在車両600に接近中の車両ユーザ610に関するいずれかの情報であってよい。例えば、ユーザ識別情報は、車両ユーザ610について予め設定されたユーザ別イメージに関する設定情報を含んでよい。
【0079】
ユーザインターフェイス提供装置は、ユーザ識別情報に基づいて車両600の前方地面に車両ユーザ610に対するユーザ別イメージを投射する。
【0080】
車両600は、左側及び右側に駐車された他の車両により左右空間が狭くなり、車両ユーザ610がドアを開けて車両600に搭乗するための空間を確保しにくい状況の場合がある。したがって、車両ユーザ610は、駐車中の車両600を遠隔制御し、所望の位置に車両600を移動させなければならない。
【0081】
図6(b)を参照すると、ユーザインターフェイス提供装置は、車両制御機能に関するインターフェイスを車両600の前方の地面に投射する。車両制御機能に関するインターフェイスは、車両の移動を遠隔制御する機能に関するインターフェイス、例えば、駐車中の車両600を遠隔制御して車両ユーザ610の位置に移動させる機能に関する遠隔制御インターフェイス620を含む。
【0082】
車両ユーザ610は、遠隔制御インターフェイス620を片足で踏む動作を行う。ユーザインターフェイス提供装置は、車両ユーザ610の銅作からユーザ入力を認識し、駐車された車両600の移動制御を行う。
【0083】
図6(c)を参照すると、車両ユーザ610は、遠隔制御インターフェイス620に対するユーザ入力の動作後に所望の位置まで退避する。ユーザインターフェイス提供装置は、車両600が車両ユーザ610との距離を予め設定された距離に維持し、車両ユーザ610に向かって移動するように制御する。ここで、予め設定された距離は、車両600から車両制御機能に関するインターフェイスが投射されるように設定された領域以外の任意の地点までの距離に設定されてよい。
【0084】
車両ユーザインターフェイス提供装置は、車両ユーザ610の位置に車両600が移動していることを示すために、車両の移動方向に関する情報を含むイメージを車両前方の地面に投射することができる。車両の移動方向情報を含むイメージは、遠隔制御インターフェイス620が投射された位置に投射されてもよいが、これに限定されない。例えば、ユーザインターフェイス提供装置は、遠隔制御インターフェイス620が、車両600が移動する方向に任意の周期で繰り返して動くアニメーション形態のイメージを投射することができる。
【0085】
図6(d)を参照すると、車両600が、車両ユーザ610が望む位置まで移動し、車両ユーザ610と車両600との間の距離が予め設定された距離631に到達すると、ユーザインターフェイス提供装置は車両600を停止するように制御する。
【0086】
車両ユーザインターフェイス提供装置は、車両制御機能に関するインターフェイスが投射されるように設定された領域632内に車両ユーザ610が予め設定された時間の間に留まっていると、車両600の遠隔制御を終了する。ここで、予め設定された時間は、例えば3秒に設定されてよい。
【0087】
図6(e)を参照すると、車両ユーザ610は、車両600の左側前方に位置する運転席に搭乗するために、左側前方ドアインターフェイス622を片足で踏む動作を行う。ユーザインターフェイス提供装置は、左側前方ドアインターフェイス622に対するユーザ入力を認識し、左側前方ドア602が自動的に開放されるように車両600を制御する。
【0088】
図7は、本発明の一実施例に係るユーザインターフェイス方法を説明するためのフローチャートである。
【0089】
図7を参照すると、ユーザインターフェイス提供装置は、車両ユーザの接近が感知されると、カメラを用いて車両ユーザに関するユーザ識別情報を獲得する(S700)。
【0090】
車両ユーザインターフェイス提供装置は、車両に接近する車両ユーザを識別するために、車両の予め設定された位置に搭載された少なくとも1つのカメラを用いて車両ユーザに関する映像を撮影する。ここで、車両ユーザの接近の感知は、車両と車両ユーザが所持しているユーザ端末機との間の送受信信号を用いて行うことができる。
【0091】
車両ユーザインターフェイス提供装置は、カメラを用いて撮影した映像に基づき、車両ユーザが当該車両の予め保存された複数のユーザの中からどのユーザであるかを識別する。ユーザインターフェイス提供装置は、映像から車両ユーザの特徴を抽出し、該当車両の予め保存された複数のユーザに関する特徴と比較して一致する特徴を有する車両ユーザを識別する。
【0092】
車両ユーザインターフェイス提供装置は、多様な映像処理アルゴリズムを用いて車両ユーザの特徴を抽出し、ユーザを識別することができる。例えば、ディープラーニングアルゴリズムによって予め学習された車両ユーザ識別モデルを用いて車両ユーザを識別することができる。ここで、ディープラーニングアルゴリズムには、畳み込みニューラルネットワーク(Convolutional Neural Network、CNN)などが含まれてよい。
【0093】
抽出された特徴に基づいて車両ユーザが識別されると、ユーザインターフェイス提供装置は当該車両ユーザに関するユーザ識別情報を獲得する。ここで、ユーザ識別情報は、車両に対して予め保存された複数の車両ユーザに関する設定情報である。例えば、ユーザ識別情報は、映像から当該ユーザを識別することができる特徴に関する情報、予め設定されたユーザ別イメージに関する情報、及び車両制御機能に関するインターフェイスの設定情報のうちの少なくとも1つを含む。
【0094】
車両ユーザインターフェイス提供装置は、獲得した識別情報に基づいて車両制御機能に関するインターフェイスを投射する(S710)。
【0095】
車両ユーザインターフェイス提供装置は、車両前方及び後方外部の予め設定された少なくとも1つの位置に設けられたプロジェクタを用いて車両が位置する地面上の予め設定された領域に車両制御機能に関するインターフェイスを投射する。ここで、予め設定された領域は、車両の前方又は後方の地面上であってよいが、これに限定されず、車両の前方又は後方に他の車両や障害物が検出された場合には、左側方又は右側方の地面上の、他の車両や障害物が存在しない領域に設定される。
【0096】
車両ユーザインターフェイス提供装置は、車両ユーザのユーザ識別情報に基づいて車両制御機能に関するインターフェイスを投射する。ここで、インターフェイスは、予め設定された複数の車両制御機能のうち、車両のユーザによって予め選択されたいずれか1つ以上の車両制御機能に関するインターフェイスを含む。ここで、車両ユーザのユーザ識別情報は、車両ユーザによって設定された、車両制御機能に関するインターフェイスの設定情報を含む。
【0097】
車両ユーザインターフェイス提供装置は、車両制御機能に関するインターフェイスを投射する前に、車両ユーザの識別情報に基づいてユーザ別イメージを車両の前方又は後方地面に投射することができる。ここで、ユーザ別イメージとは、車両のユーザによってそれぞれ異なるように設定された任意のイメージである。ユーザ別イメージは、予めユーザによって選択されたイメージであってよいが、これに限定されず、ユーザインターフェイス提供装置が任意に設定したイメージであってよい。
【0098】
車両ユーザインターフェイス提供装置は、インターフェイスに対するユーザ入力を認識する(S720)。
【0099】
車両ユーザインターフェイス提供装置は、インターフェイスに対するユーザ入力を認識するために車両の外部に配置された複数のカメラを含む。ここで、複数のカメラは、インターフェイスが投射された地面上の領域を撮影するように車両の外部に配置される。
【0100】
カメラが撮影した映像に車両ユーザのユーザ入力で予め設定された動作がある場合、ユーザインターフェイス提供装置は当該インターフェイスにユーザ入力があることを認識する。ここで、ユーザ入力によって予め設定された動作は、地面に投射されたインターフェイスの領域を車両ユーザが予め設定された時間の間に足で踏む動作及び、車両ユーザが地面に投射されたインターフェイスの領域の上に予め設定された時間の間に立つ動作のうちの少なくとも1つの動作に設定される。
【0101】
車両ユーザインターフェイス提供装置は、ユーザ入力が認識されたインターフェイスに対応する車両制御を行う(S730)。
【0102】
例えば、ユーザ入力が認識されたインターフェイスが車両のいずれかのドアを開放する機能に関するインターフェイスである場合、ユーザインターフェイス提供装置は、車両の該当ドアが自動的に開放されるように車両を制御する。ユーザ入力が認識されたインターフェイスが車両の移動を遠隔制御する機能に関するインターフェイスである場合には、ユーザインターフェイス提供装置は、車両が車両ユーザの位置に向かって移動するように制御する。
【0103】
本明細書に説明されるシステム及び技法の多様な実施例は、デジタル電子回路、集積回路、FPGA(field programmable gate array)、ASIC(application specific integrated circuit)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又は、それらの組み合わせで実現される。このような多様な具現例は、プログラマブルシステム上で実行可能な1つ以上のコンピュータプログラムで具現されることを含む。プログラマブルシステムは、ストレージシステム、少なくとも1つの入力デバイス、そして、少なくとも1つの出力デバイスからデータ及び命令を受信し、これらにデータ及び命令を伝送するように結合される少なくとも1つのプログラマブルプロセッサ(これは特殊目的プロセッサであるか、あるいは汎用プロセッサである)を含む。コンピュータプログラム(これはまた、プログラム、ソフトウェア、ソフトウェアアプリケーション、あるいはコードとして知られている)は、プログラマブルプロセッサに対する命令語を含み、「コンピュータ可読記録媒体」に保存される。
【0104】
本明細書のフローチャート/タイミング図では、各過程を順次実行するものとして記載しているが、これは、本発明の一実施例の技術思想を例示的に説明したに過ぎない。言い換えれば、本発明の一実施例が属する技術分野にて通常の知識を有する者であれば、本発明の一実施例の本質的な特性から逸脱しない範囲でフローチャート/タイミング図に記載された順序を変更して実行するか、又は各過程のうちの1つ以上の過程を並列に実行することにより様々に修正及び変形して適用可能であるので、フローチャート/タイミング図は時系列的な順序に限定されるものではない。
【0105】
以上の説明は、本実施例の技術思想を例示的に説明したものに過ぎず、本実施例が属する技術分野で通常の知識を有する者であれば、本実施例の本質的な特性から逸脱しない範囲で様々な修正及び変形が可能であるだろう。したがって、本実施例は、本実施例の技術思想を限定するものではなく説明するためのものであり、このような実施例によって本実施例の技術思想の範囲が限定されるものではない。本実施例の保護範囲は、特許請求の範囲によって解釈されるべきであり、それと同等の範囲内にあるすべての技術思想は、本実施例の権利範囲に含まれるものと解釈されるべきである。
【符号の説明】
【0106】
100 ユーザインターフェイス提供装置
110 カメラ
120 プロジェクタ
130 プロセッサ
140 メモリ
150 バス
200 車両
210 ユーザ別イメージ
300 車両
301 インターフェイス
302 インターフェイス
310 ボンネット
311 ボンネットインターフェイス
320 テールゲート
322 テールゲートインターフェイス
330 ドア
331 左側前方ドアインターフェイス
332 ドアインターフェイス
340 ドア
341 右側前方ドアインターフェイス
342 ドアインターフェイス
350 ドア
351 左側後方ドアインターフェイス
352 ドアインターフェイス
360 ドア
361 右側後方ドアインターフェイス
362 ドアインターフェイス
400 車両
410 ユーザ
412 ユーザ
420 インターフェイス
500 車両
502 右側後方ドア
503 テールゲート
504 左側前方ドア
510 車両ユーザ
511 同乗者
531 ユーザ別イメージ
533 テールゲートインターフェイス
534 左側前方ドアインターフェイス
図1
図2
図3
図4
図5
図6
図7