(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025106401
(43)【公開日】2025-07-15
(54)【発明の名称】電子メガネ
(51)【国際特許分類】
G02C 7/06 20060101AFI20250708BHJP
G02B 3/14 20060101ALI20250708BHJP
G02C 7/08 20060101ALI20250708BHJP
G01S 17/89 20200101ALN20250708BHJP
【FI】
G02C7/06
G02B3/14
G02C7/08
G01S17/89
【審査請求】有
【請求項の数】3
【出願形態】OL
(21)【出願番号】P 2025062254
(22)【出願日】2025-04-04
(62)【分割の表示】P 2022567969の分割
【原出願日】2020-12-10
(71)【出願人】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】川前 治
(72)【発明者】
【氏名】中出 眞弓
(72)【発明者】
【氏名】秋山 仁
(57)【要約】
【課題】機器の利用シーンによらず、幅広い範囲の距離を高精度に計測可能な技術を提供する。
【解決手段】電圧を印加することにより、遠視用屈折率から近視用屈折率に屈折率が変更される可変焦点レンズを備える電子メガネであって、可変焦点レンズに対する電圧の印加を制御する制御装置と、可変焦点レンズからの距離が予め定めた閾値未満の近距離範囲を測距し、当該近距離範囲内に含まれる対象物までの距離を測距値として出力する近距離センサと、を備え、制御装置は、近距離センサが測距値を出力した場合、可変焦点レンズに電圧を印加する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
電圧を印加することにより、遠視用屈折率から近視用屈折率に屈折率が変更される可変焦点レンズを備える電子メガネであって、
前記可変焦点レンズに対する電圧の印加を制御する制御装置と、
前記可変焦点レンズからの距離が予め定めた閾値未満の近距離範囲を測距し、当該近距離範囲内に含まれる対象物までの距離を測距値として出力する近距離センサと、を備え、
前記制御装置は、前記近距離センサが前記測距値を出力した場合、前記可変焦点レンズに電圧を印加すること
を特徴とする電子メガネ。
【請求項2】
請求項1に記載の電子メガネであって、
前記近距離センサは、その測距方向が前記電子メガネの正面方向に対し所定角度下方になるように設置されており、
前記制御装置は、前記近距離センサが前記測距値を出力した場合、前記測距値に応じて前記可変焦点レンズに電圧を印加すること
を特徴とする電子メガネ。
【請求項3】
請求項2に記載の電子メガネであって、
前記可変焦点レンズは、電圧を印加した場合、屈折率が小さくなり、電圧を印加しない場合、屈折率が大きくなるよう設定されること
を特徴とする電子メガネ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、測距センサを備えた電子メガネに関する。
【背景技術】
【0002】
スマートフォンに代表される携帯型の情報処理端末(携帯情報処理端末、携帯端末)には、同じ面に複数のカメラを搭載するものがある。例えば、広角カメラと超広角カメラとである。各カメラで撮影された画像を用いて、現実世界に視覚情報を重畳表示させるAR(Augmented Reality;拡張現実)処理等がなされる。このようなAR処理には、高精度な距離測定が必須である。
【0003】
測距センサには、TOF(Time Of Flight)やLiDAR(Light Detection and Ranging)と呼ばれる技術がある。例えば、特許文献1には、自動車等の乗り物に、複数の同種のLiDARを搭載する技術が開示されている。
【0004】
また、携帯端末において、測距センサは、ジェスチャ指示を認識するためにも用いられる。例えば、特許文献2には、頭部装着型の画像表示装置において、眼鏡部分の中央部に測距センサを設置し、測距する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2018-072322号公報
【特許文献2】特開2019-129327号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に開示の技術では、複数の同種のLIDARを備える。しかしながら、LIDARは、使用するセンサや方式等により、測定範囲が限定される。自動車等のような、測距範囲や、得られた距離値の利用シーンが略限られる場合は問題ない。しかしながら、携帯端末等では、ユーザの用い方が千差万別である。このような場合、対象物までの距離によっては、正確な計測ができない。さらに、携帯端末等では、装置のサイズ、重量に制約があり、複雑な構成のセンサや大型のセンサは搭載できない。
【0007】
本発明は上記の点を鑑みてなされたものであり、その目的は、機器の利用シーンによらず、幅広い範囲の距離を高精度に計測する技術を提供することにある。
【課題を解決するための手段】
【0008】
本発明は、電圧を印加することにより、遠視用屈折率から近視用屈折率に屈折率が変更される可変焦点レンズを備える電子メガネであって、前記可変焦点レンズに対する電圧の印加を制御する制御装置と、前記可変焦点レンズからの距離が予め定めた閾値未満の近距離範囲を測距し、当該近距離範囲内に含まれる対象物までの距離を測距値として出力する近距離センサと、を備え、前記制御装置は、前記近距離センサが前記測距値を出力した場合、前記可変焦点レンズに電圧を印加することを特徴とする。
【発明の効果】
【0009】
本発明によれば、機器の利用シーンによらず、幅広い範囲の距離を高精度に計測できる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0010】
【
図1】(a)~(c)は、それぞれ、第一実施形態のスマートフォンの裏面図、正面図、および側面図である。
【
図2】第一実施形態のスマートフォンのハードウェア構成図である。
【
図3】第一実施形態のスマートフォンの機能ブロック図である。
【
図4】(a)~(d)は、第一実施形態の距離センサの測距範囲および測距領域と、カメラの撮影距離および撮影視野との関係を説明するための説明図である。
【
図5】(a)および(b)は、それぞれ、ダイレクトTOF方式およびインダイレクトTOF方式を説明するための説明図である。
【
図6】(a)~(d)は、MEMS素子を用いるLiDARの測距原理を説明するための説明図である。
【
図7】第一実施形態の測距処理のフローチャートである。
【
図8】第一実施形態の変形例の測距処理のフローチャートである。
【
図9】(a)は、第一実施形態の変形例のスマートフォンの側面図であり、(b)および(c)は、それぞれ、第一実施形態の他の変形例のスマートフォンの裏面図および側面図である。
【
図10】パターン発光方式のLiDARの原理を説明するための説明図である。
【
図11】(a)および(b)は、第一実施形態の変形例を説明するための説明図である。
【
図12】(a)~(c)は、第一実施形態の変形例を説明するための説明図である。
【
図13】(a)および(b)は、第一実施形態の変形例を説明するための説明図である。
【
図14】(a)および(b)は、それぞれ、第二実施形態のスマートフォンの裏面図、および側面図である。
【
図15】第二実施形態のスマートフォンのハードウェア構成図である。
【
図16】第二実施形態のスマートフォンの機能ブロック図である。
【
図17】(a)および(b)は、第二実施形態の走査範囲を説明するための説明図である。
【
図18】第二実施形態の測距処理のフローチャートである。
【
図19】(a)および(b)は、第一実施形態および第二実施形態の変形例を説明するための説明図である。
【
図20】(a)および(b)は、第一実施形態および第二実施形態の変形例を説明するための説明図である。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら、本発明の実施形態について説明する。なお、図中で用いる符号は同一符号のものは同一機能や処理を示すものである。本実施例では、以下に示すような技術を提供することにより、高精度な距離測定を可能にする。この測距技術により、国連の提唱する持続可能な開発目標(SDGs:Sustainable Development Goals)の「9.産業と技術革新の基盤をつくろう」に貢献する。
【0012】
<<第一実施形態>>
本発明の第一実施形態を説明する。本実施形態では、同一面に、撮影距離の異なる複数のカメラを備える携帯端末を例にあげて説明する。以下、本実施形態では、携帯端末としてスマートフォンを例にあげて説明する。本実施形態のスマートフォンは、複数のカメラを備える面と同じ面に、測距可能な距離範囲(測距範囲)の異なる複数の距離センサを備える。そして、測距対象までの距離に応じて、これらの距離センサを使い分ける。
【0013】
まず、本実施形態の概要と、スマートフォン100の外観を説明する。
図1(a)は、スマートフォン100の裏面(背面)図であり、
図1(b)は、前面(正面)図であり、
図1(c)は、側面図である。ここでは、本実施形態に関連する構成に主眼をおいて説明する。
【0014】
スマートフォン100は、スマートフォン100の各部を内部に納めるケース109を備える。なお、以下の説明において、上下方向、左右方向は、図示する通りである。
【0015】
図1(a)に示すように、スマートフォン100は、裏面側に、第一カメラ135と、第二カメラ136と、第一距離センサ155と、第二距離センサ156と、を備える。また、
図1(b)に示すように、表面側に、ディスプレイ131と、操作キー121等を備える。ここでは、第一カメラ135の撮影範囲(撮影視野135v)を、破線で示す。
【0016】
なお、ディスプレイ131は、液晶パネル等の表示装置とタッチパッド等の位置入力装置を組み合わせたタッチスクリーンである。また、第一カメラ135および第二カメラ136のファインダとしても機能する。
【0017】
また、本実施形態では、
図1(a)に示すように、第一距離センサ155は、第一カメラ135と、第二距離センサ156は、第二カメラ136と、それぞれ、略スマートフォン100の長手方向(上下方向)の同じ位置に配置される。
【0018】
第一距離センサ155は、中距離を測距範囲とする中距離センサである。また、第二距離センサ156は、近距離を測距範囲とする近距離センサである。
図1(c)を用いて、第一距離センサ155および第二距離センサ156の測距範囲を説明する。
【0019】
本図に示すように、本実施形態の中距離センサ(第一距離センサ155)の測距中心の方向(測距方向155c)は、第一カメラ135の光軸方向と、近距離センサ(第二距離センサ156)の測距方向156cは、第二カメラ136の光軸方向と、それぞれ同方向に設置される。これにより、各カメラで取得した画像内の対象物までの距離を精度よく取得できる。
【0020】
[ハードウェア構成]
次に、本実施形態のスマートフォン100のハードウェア構成を説明する。
図2は、本実施形態のスマートフォン100のハードウェア構成図である。
【0021】
本図に示すように、スマートフォン100は、メインプロセッサ101と、システムバス102と、記憶装置110と、操作装置120と、画像処理装置130と、音声処理装置140と、センサ150と、通信装置160と、拡張インタフェース(I/F)170と、タイマ180と、を備える。
【0022】
メインプロセッサ101は、所定のプログラムに従ってスマートフォン100全体を制御する主制御部である。メインプロセッサ101は、CPU(Centoral Processor Unit)またはマイクロプロセッサユニット(MPU)で実現される。メインプロセッサ101は、タイマ180が計測し、出力するクロック信号に従って、処理を行う。
【0023】
システムバス102は、メインプロセッサ101とスマートフォン100内の各部との間でデータ送受信を行うためのデータ通信路である。
【0024】
記憶装置110は、メインプロセッサ101による処理に必要なデータ、処理により生成されたデータ等を記憶する。記憶装置110は、RAM103とROM104とフラッシュメモリ105とを備える。
【0025】
RAM103は、基本動作プログラムやその他のアプリケーションプログラム実行時のプログラム領域である。また、RAM103は、各種アプリケーションプログラム実行時に、必要に応じてデータを一時的に保持する一時記憶領域である。RAM103は、メインプロセッサ101と一体構成であっても良い。
【0026】
ROM104およびフラッシュメモリ105は、スマートフォン100の各動作設定値やスマートフォン100の使用者の情報等を記憶する。これらは、スマートフォン100で撮影した静止画像データや動画像データ等を記憶してもよい。また、スマートフォン100は、アプリケーションサーバから、インターネットを介して、新規アプリケーションプログラムをダウンロードすることにより、機能拡張が可能であるものとする。この際、ダウンロードした新規アプリケーションプログラムは、これらに記憶される。メインプロセッサ101が、これらに記憶された新規アプリケーションプログラムをRAM103に展開し、実行することにより、スマートフォン100は、多種の機能を実現できる。なお、これらの代わりにSSD(Solid State Drive)、HDD(Hard Disc Drive)等のデバイスが用いられてもよい。
【0027】
操作装置120は、スマートフォン100に対する操作指示の入力を受け付ける。本実施形態では、電源キー、音量キー、ホームキー等の操作キー121を備える。また、タッチパッドによる操作指示を受け付けるタッチセンサ122を備える。このタッチセンサ122は、タッチパネルとして後述のディスプレイ131に重ねて配置される。なお、本実施形態のスマートフォン100は、必ずしも、これらの全ての操作装置120を備えなくてもよい。電源キーは、例えば、ケース109の上面、側面等に配置されてもよい。
【0028】
また、後述の拡張インタフェース170に接続したキーボード等を介して指示の入力を受け付けてもよい。また、有線通信または無線通信により接続された別体の情報処理端末機器を介してスマートフォン100の操作を受け付けてもよい。
【0029】
画像処理装置130は、イメージ(ビデオ)プロセッサを備え、ディスプレイ131と、第一画像取得部である第一カメラ135と、第二画像取得部である第二カメラ136と、第三カメラ137と、を備える。第三カメラ137は、表面側に設けられる。
【0030】
ディスプレイ131は、例えば液晶パネル等の表示デバイスであり、イメージプロセッサで処理された画像データをスマートフォン100の使用者に提示する。なお、携帯端末がヘッドマウントディスプレイ(HMD;head mounted display)である場合、ディスプレイ131は、透過型であってもよい。
【0031】
第一カメラ135、第二カメラ136および第三カメラ137で取得された画像は、イメージ(ビデオ)シグナルプロセッサまたはメインプロセッサ101で処理され、さらに、メインプロセッサ101等により生成されたオブジェクトが重畳され、ディスプレイ131に出力される。
【0032】
第一カメラ135および第二カメラ136は、スマートフォン100の周囲の画像を取得する、背面カメラ(アウトカメラ)である。一方、第三カメラ137は、第一カメラ135および第二カメラ136とは異なる方向の画像を取得する。例えば、ユーザの顔や眼を撮影する、前面カメラ(インカメラ)である。なお、携帯端末が、HMDの場合、第三カメラ137は、例えば、視線検出センサとして機能する。
【0033】
音声処理装置140は、音声を処理するオーディオシグナルプロセッサを備え、音声出力部であるスピーカ141と、音声入力部であるマイク143と、を備える。スピーカ141は、例えば、ケース109の前面の、ディスプレイ131の上方中央および背面下部に配置される。ケース109の前面上部に配置されるスピーカ141は、モノラルスピーカであって、音声通話時に使用される。ケース109の背面下部に配置されるスピーカ141は、ステレオスピーカであって、動画再生時等に使用される。さらに、マイク143は、例えば、ケース109の下面に配置される。
【0034】
センサ150は、スマートフォン100の状態を検出するためのセンサ群である。本実施形態では、上述の2つのセンサ(第一距離センサ155および第二距離センサ156)を含む距離センサ159と、GPS(Global Positioning System)受信部151と、ジャイロセンサ152と、地磁気センサ153と、加速度センサ154と、を備える。これらのセンサ群により、スマートフォン100の位置、動き、傾き、方角等を検出する。また、距離センサ159は、深度センサであり、スマートフォン100から対象物までの距離情報を取得する測距装置である。以下、本明細書において、第一距離センサ155および第二距離センサ156を特に区別する必要がない場合は、距離センサ159で代表する。また、距離センサ159の詳細は、後述する。なお、その他のセンサを、さらに、備えていても良い。
【0035】
通信装置160は、通信処理を行うコミュニケーションプロセッサである。例えば、LAN(Local Area Network)通信部161、電話網通信部162と、BT(Bluetooth(登録商標))通信部163と、を備える。LAN通信部161はインターネットの無線通信用アクセスポイントと無線通信により接続してデータの送受信を行う。電話網通信部162は移動体電話通信網の基地局との無線通信により、電話通信(通話)およびデータの送受信を行う。BT通信部163は、Bluetooth規格により外部装置と通信を行うためのインタフェースである。LAN通信部161、電話網通信部162、BT通信部163は、それぞれ符号化回路や復号回路、アンテナ等を備える。通信装置160は、さらに、赤外線通信部等を備えていても良い。
【0036】
拡張インタフェース170は、スマートフォン100の機能を拡張するためのインタフェース群であり、本実施形態では、充電端子、映像/音声インタフェース、USB(Universal Serial Bus)インタフェース、メモリインタフェース等を備える。映像/音声インタフェースは、外部映像/音声出力機器からの映像信号/音声信号の入力、外部映像/音声入力機器への映像信号/音声信号の出力、等を行う。USBインタフェースはキーボードやその他のUSB機器の接続を行う。メモリインタフェースはメモリカードやその他のメモリ媒体を接続してデータの送受信を行う。USBインタフェースは、例えば、ケース109の下面に配置される。
【0037】
その他、ケース109の背面に配置される指紋センサ、ケース109の前面、ディスプレイ131上方に配置されるLED等を備えていてもよい。
【0038】
なお、
図2に示すスマートフォン100の構成例は、本実施形態に必須ではない構成も多数含んでいるが、これらが備えられていない構成であっても本実施形態の効果を損なうことはない。
【0039】
[機能ブロック]
次に、本実施形態のスマートフォン100の機能構成について説明する。本実施形態のスマートフォン100は、測距対象の距離に応じて、使用する距離センサ159を変える。本実施形態のスマートフォン100の機能構成について、本実施形態に関連する構成に主眼をおいて説明する。
【0040】
図3は、本実施形態のスマートフォン100の機能ブロック図である。本図に示すように、スマートフォン100は、全体制御部211と、測距制御部212と、表示制御部218と、距離値データベース(DB)219と、を備える。測距制御部212は、距離センサ起動部213と、距離信号処理部214と、を備える。各機能は、メインプロセッサ101が、記憶装置110に記憶されたプログラムをRAM103にロードして実行することにより実現される。また、距離値DB219は、記憶装置110に記憶される。
【0041】
全体制御部211は、スマートフォン100全体の動作を制御する。また、表示制御部218は、ディスプレイ131への表示を制御する。本実施形態では、測距制御部212の制御により得られる後述の距離値を用いて、表示を制御する。
【0042】
測距制御部212は、距離センサ159による測距を制御する。本実施形態では、第一距離センサ155および第二距離センサ156の起動および駆動を制御し、対象物までの距離として、距離値(測距値)を取得する。本実施形態では、距離センサ起動部213および距離信号処理部214を制御することにより、これを実現する。
【0043】
距離センサ起動部213は、第一距離センサ155および第二距離センサ156を起動させる。本実施形態では、スマートフォン100の起動、あるいは、距離センサを起動させる指示をユーザから受け付けると、まず、中距離センサである第一距離センサ155を動作させる。そして、第一距離センサ155からNG信号を受信した場合、第二距離センサ156を動作させる。NG信号については、後述する。
【0044】
距離信号処理部214は、第一距離センサ155または第二距離センサ156から受信したセンサ信号(距離値)が、NG信号でない場合、当該センサ信号を距離センサ159の測距値として出力する。また、距離信号処理部214は、距離値を、例えば、測定時間および2次元位置に対応づけて記憶装置110の距離値DB219に記憶する。
【0045】
[距離センサ]
ここで、第一距離センサ155および第二距離センサ156についてさらに説明する。本実施形態では、
図4(a)に示すように、第一距離センサ155は、第一カメラ135の撮影距離135dを測距可能な範囲(第一測距範囲155d)とする。撮影距離、測距範囲には無限遠を含む。また、
図4(b)に示すように、第一カメラ135の撮影視野135vを含む第一測距領域155vを測距可能とする。
図4(c)に示すように、第二距離センサ156は、第二カメラ136の撮影距離136dを測距可能な範囲(第二測距範囲156d)とする。また、
図4(d)に示すように、第二カメラ136の撮影視野136vを含む第二測距領域156vを測距可能とする。
【0046】
第一カメラ135の撮影視野135vと、第一距離センサ155の第一測距領域155vとは、予め対応付けられ、記憶装置110に記憶される。これにより、第一カメラ135の各画素位置に対応する対象物の距離値を算出できる。第二カメラ136と第二距離センサ156とについても同様である。
【0047】
これらを実現するため、本実施形態では、第一距離センサ155および第二距離センサ156として、TOF方式のLiDARを用いる。TOF方式のLiDARは、レーザ光源からレーザ光を出射し、対象物に反射した光を用いて、センサから対象物までの距離を測定する。
【0048】
第一距離センサ155の第一測距範囲155dは、スマートフォン100から中程度の距離であり、例えば、スマートフォン100から30cmから5mの範囲である。第一距離センサ155は、対象物が第一測距範囲155d内の場合、第一距離センサ155と対象物との間の距離値を測距値として出力する。一方、対象物が第一測距範囲155dより近距離で計測できなかった場合、NG値を出力する。第一測距範囲155dより遠距離の場合は、5m以上として計測できたとする。
【0049】
第一距離センサ155は、例えば、ダイレクトTOF(Time Of Flight)方式のLiDAR(Light Detection And Ranging)で実現される。ダイレクトTOF方式は、パルスレーザ光を照射し、反射にかかった時間を観測する方式である。ダイレクトTOF方式によれば、屋内でも屋外でも通常5m程度先の物体まで距離を測ることができる。
【0050】
図5(a)に、第一距離センサ155の概要を示す。本図に示すように、第一距離センサ155は、レーザ光を出射するレーザ光源を備える出射部310と、対象物329に反射したレーザ光を受光する受光素子を備える受光部340と、を備える。出射部310は、パルスレーザ光351を照射し、受光部340の受光素子で、対象物329による反射光352を受信する。第一距離センサ155では、このパルスの時間差から、パルスレーザ光が、往復に要する時間を算出し、距離を推定する。
【0051】
第二距離センサ156の第二測距範囲156dは、スマートフォン100の周囲の近距離の範囲であり、例えば、スマートフォン100から30cm以内の範囲である。第二距離センサ156は、対象物が第二測距範囲156d内の場合、第二距離センサ156と対象物との間の距離値を測距値として出力する。一方、対象物が第二測距範囲156d外の場合、NG値を出力する。
【0052】
第二距離センサ156は、例えば、インダイレクトTOF方式のLiDARで実現される。インダイレクトTOF方式は、光の周波数の位相差を時間差に変換し、速度をかけ対象までの距離を計算する方式である。
【0053】
図5(b)に第二距離センサ156の概要を示す。本図に示すように、第二距離センサ156は、レーザ光を出射する出射部310と、対象物329に反射したレーザ光を受光する受光部340と、を備える。第二距離センサ156では、出射部310から周期的なパルスを有するレーザ光(出射光353)を照射し、受光部340で反射光354を受信する。第二距離センサ156では、この出射光353と、反射光354との位相差から、距離を推定する。
【0054】
なお、第一距離センサ155、第二距離センサ156は、これらに限定されない。例えば、ミリ波レーダやカメラ画像から被写体の大きさを機械学習して距離を求める等、予め定めた測距範囲を測距可能な距離センサであればよい。
【0055】
上述のように、第一距離センサ155および第二距離センサ156は、それぞれ、予め定めた2次元の測距領域である第一測距領域155vおよび第二測距領域156vを測距する。以下、第一距離センサ155および第二距離センサ156として用いられるLiDARの、2次元の測距領域の測距手法の一例を
図6(a)~
図6(d)を用いて説明する。
【0056】
図6(a)に示すように、LiDARの出射部310は、レーザ光源311と、コリメートレンズ312と、集光レンズ313と、MEMS(Micro Electro Mechanical Systems)素子314と、を備える。受光側の素子及び光学部品は省略する。
【0057】
LiDARは、レーザ光源311から出射される光を、コリメートレンズ312で平行光にし、集光レンズ313で集光する。その後、MEMSミラー331にて第一軸と、第一軸に直交する方向に走査することにより、2次元の測距領域320の範囲内にある物体(対象物329)までの距離を検出する。
【0058】
MEMS素子314の構成を、
図6(b)を用いて説明する。MEMS素子314は、光を反射するMEMSミラー331と、MEMSミラー331の外周に配置された内側コイル332と、内側トーションバー333と、外側コイル334と、外側トーションバー335と、を備える。
【0059】
外部に磁界をかけ、内側コイル332に電流を流すと、MEMSミラー331を、図中のAA方向に回転させるトルク(ローレンツ力)とともに、内側トーションバー333によるねじりばねの弾性力が反対方向に働き、MEMSミラー331は、所定の角度範囲でAA方向に振動する。また、外側コイル334に電流を流すと、内側コイル332とMEMSミラー331とを図中BB方向に回転させるトルクとともに、外側トーションバー335による弾性力が反対方向に働き、MEMSミラー331は、所定の角度範囲でBB方向に振動する。
【0060】
これにより、LiDARは、
図6(c)に示すように、所定範囲の水平スキャン(図中AA方向)と所定範囲の垂直スキャン(図中BB方向)とを実現する。この間、所定の時間間隔で、距離値を算出することにより、
図6(d)に示すように、2次元の測距領域320に対応する範囲の各単位領域の距離値を得る。
【0061】
距離値の検出単位を、第一カメラ135および第二カメラ136の画素位置に対応づけておくことにより、これらの撮影装置で撮影した画像処理時に測距結果を効果的に用いることができる。
【0062】
この場合、例えば、第一カメラ135の撮影視野135vと第一測距領域155vとを対応づける第一データと、第二カメラ136の撮影視野136vと第二測距領域156vとを対応づける第二データとを予め記憶装置110に記憶しておく。そして、距離信号処理部214は、必要に応じて、第一カメラ135の各画素位置に対応する領域の距離値を算出し、第一カメラ135で取得した画像の、画素毎の距離値を得る。第二カメラ136で取得した画像についても同様とする。
【0063】
[処理の流れ]
次に、本実施形態の測距制御部212による測距処理の流れを説明する。
図7は、本実施形態の測距処理の処理フローである。本処理は、例えば、ユーザから測距開始の指示を受け付けたこと、あるいは、スマートフォン100が起動されたことを契機に開始される。また、本実施形態では、測距結果は、各カメラによる撮影結果とともに使用される。したがって、測距処理は、例えば、第一カメラ135または第二カメラ136の起動を契機に開始されてもよい。
【0064】
そして、本処理は、所定の時間間隔で繰り返し行われる。この時間間隔は、少なくとも測距領域320を1回走査する時間以上とする。
【0065】
以下、本実施形態では、中距離センサである第一距離センサ155を優先的に動作させる場合を例にあげて説明する。
【0066】
距離センサ起動部213は、第一距離センサ155の動作を開始させる(ステップS1101)。これにより、第一距離センサ155による測距が行われる(ステップS1102)。
【0067】
距離信号処理部214は、第一距離センサ155で距離を計測できたかを判別する(ステップS1103)。ここでは、第一距離センサ155から受信したセンサ信号が距離値であるかNG信号であるかを判別する。本実施形態では、第一測距領域155vの測距が行われる。例えば、第一測距領域155vの、例えば中心の所定範囲等、予め定めた領域(判別領域)の測距結果を示すセンサ信号で判別する。例えば、この判別領域のセンサ信号が全てNG値である場合、計測できないと判別する。判別基準は、予め定め、記憶装置110等に記憶しておく。
【0068】
計測できたと判別された場合(S1103;Yes)、距離信号処理部214は、センサ信号である距離値を取得時刻に対応づけて保存し(ステップS1104)、処理を終了する。なお、MEMS素子314の走査機構により、取得時刻から、第一測距領域155vの位置を特定する情報(位置情報)を特定できる。このため、第一測距領域の位置情報に対応づけて保存してもよい。
【0069】
一方、計測できていない場合(S1103;No)、距離センサ起動部213は、第一距離センサ155の動作を停止し、第二距離センサ156の動作を開始させる(ステップS1105)。これにより、第二距離センサ156による測距が行われる(ステップS1106)。
【0070】
距離信号処理部214は、第二距離センサ156で計測できたかを判別する(ステップS1107)。判別手法は、第一距離センサ155の場合と同様である。
【0071】
計測できたと判別された場合(S1107;Yes)は、ステップS1104へ移行する。一方、計測できていない場合(S1107;No)、測距制御部212は、NG処理を行い(ステップS1108)、処理を終了する。なお、NG処理は、例えば、距離値計測不可を意味するメッセージ等をディスプレイ131に表示する、スピーカ141から予め定めた音声を出力する、等である。
【0072】
以上説明したように、本実施形態のスマートフォン100は、第一測距範囲155dと、第一測距範囲155dとは異なる第二測距範囲156dとを測距可能な測距装置(距離センサ159)と、距離センサ159の測距結果から、対象物までの距離を決定し、測距値として出力する処理部(距離信号処理部214)と、を備える。
【0073】
これにより、スマートフォン100のように、多様な使用の仕方が想定される機器において、一つの測距範囲によらず、機器の周囲を高精度に測距できる。すなわち、スマートフォン100がどのような利用のされ方をしたとしても、精度よく、スマートフォン100のカメラの撮影範囲の距離値を得ることができる。勿論、距離センサの切り替えに合わせて、第一カメラ135と第二カメラ136を切り替えてもよい。また、ユーザが使用するカメラを選択した場合には、その操作に応じて、第一距離センサ155と第二距離センサ156を切り替えても良い。
【0074】
また、第一測距範囲155dは、第一カメラ135の撮影距離135dを含み、第二測距範囲156dは、第二カメラ136の撮影距離136dを含む。したがって、本実施形態によれば、距離センサ159が搭載される機器(スマートフォン100)が備えるカメラの全撮影範囲を、高精度に測距できる。
【0075】
そして、スマートフォン100では、この得られた距離値を用いて、各種の処理を行うことができる。例えば、カメラ撮影時のフォーカス合わせを正確に行うことができ、また仮想現実表示を行うにあたり、現実空間の物体と仮想オブジェクトの前後関係を把握するオクルージョンを精度よく実行することができ、より自然な仮想現実表示を実現できる。本実施形態では、例えば、表示制御部218は、現実空間の物体と仮想オブジェクトとの前後関係を、前記距離値を用いて判定し、オクルージョン領域を特定して表示を行う。
【0076】
また、本実施形態のスマートフォン100の距離センサ159は、第一測距範囲155dを測距し、測距値を得る第一距離センサ155と、第二測距範囲156dを測距し、測距値を得る第二距離センサ156と、を備える。そして、第一距離センサ155による測距値が得られない場合、第二距離センサ156を起動させる距離センサ起動部213、を備える。
【0077】
このように、本実施形態では、最初に、中距離センサである第一距離センサ155を起動させ、第一距離センサ155の測距範囲(第一測距範囲155d)でない場合、第二距離センサ156を起動させる。スマートフォン100の場合、一般に中距離センサの使用頻度が高いため、このように構成することで、不要な距離センサ159の発光装置等の無駄な使用を抑えられ、バッテリの消費を抑えることができる。
【0078】
また、本実施形態では、対応するカメラの光軸方向と、距離センサ159の測距方向とを合致させている。このため、距離センサ159で取得した距離値を、精度よく各カメラで取得した画素値と対応づけることができる。これにより、拡張現実の処理等の精度を高めることができる。
【0079】
なお、上記実施形態では、第一距離センサ155と第二距離センサ156とを、それぞれソフトウェアにより起動させることで、使用する距離センサを切り替えているが、これに限定されない。例えば、ハードウェア的に切り替えスイッチを備え、ソフトウェアにより当該切り替えスイッチに切り替え指示を出力することにより使用する距離センサを切り替えるよう構成してもよい。
【0080】
<変形例1>
上記実施形態では、まず、中距離センサである第一距離センサ155を起動させているが、これに限定されない。例えば、使用環境に応じて、近距離センサである第二距離センサ156を優先的に起動させてもよい。さらに、いずれを優先的に起動させるか、ユーザが決定可能な構成としてもよい。
【0081】
さらに、両距離センサを同時に起動させてもよい。この場合の処理フローを
図8に示す。本処理の契機、実行頻度は、上記実施形態の測距処理と同様である。
【0082】
距離センサ起動部213は、第一距離センサ155および第二距離センサ156を起動させる(ステップS1201)。これにより、両距離センサにおいて、測距が行われる(ステップS1202)。
【0083】
距離信号処理部214は、いずれの距離センサの距離値を採用するかを決定する(ステップS1203)。ここでは、両距離センサから取得した、判別領域のセンサ信号で判別する。すなわち、判別領域のセンサ信号がNG信号でない方の距離値を採用する。
【0084】
距離信号処理部214は、採用すると決定した方の距離センサから取得した距離値を、取得時刻に対応づけて保存し(ステップS1204)、処理を終了する。
【0085】
このように両センサを起動させ、処理を行うことにより、いずれの距離センサの測距結果を採用するかを決定する時点で既に両センサからセンサ信号を取得しているため、処理速度が速まる。
【0086】
<変形例2>
また、上記実施形態では、近距離センサである第二距離センサ156の測距方向156cを、第二カメラ136の光軸方向に合わせている。しかし、第二距離センサ156の測距方向156cは、これに限定されない。例えば、
図9(a)に示すように、第二距離センサ156の測距方向156cを、下方に向けてもよい。すなわち、第二距離センサ156を、その測距方向156cが、鉛直方向に対し、所定角度θを有する方向に配置してもよい。
【0087】
携帯端末がスマートフォン100である場合、近距離センサである第二距離センサ156で測距する範囲は、手元等、スマートフォン100の下方であることが多い。また、近距離を撮影する第二カメラ136では、QRコード(登録商標)を撮影することなどが多く、このQRコードを読み取るためには、最初にスマートフォン100の中央部にQRコードを合わせてしまうことが多い。このため、第二距離センサ156の測距方向156cを下方に向けることにより、まずQRコードの距離を計測し、スマートフォン100の上部に装着されたカメラの位置を合わせることで、精度よく近距離を測距できる。
【0088】
スマートフォン100では、まず、距離センサ159で撮影対象までの距離を計測し、その結果に応じて、中距離を撮影する第一カメラ135を起動させるか、近距離を撮影する第二カメラ136を起動させるか決定することがある。本変形例のように構成することで、このような場合、スマートフォン100を、略垂直な態様で保持した状態で、中距離、近距離を精度よく計測できる。そして、高精度な計測結果に基づいて、起動するカメラを決定できる。その結果、所望のカメラが起動する確率が高まり、スマートフォン100の使い勝手が向上する。
【0089】
<変形例3>
また、第二距離センサ156の配置は、上記実施形態の位置に限定されない。例えば、
図9(b)に示すように、スマートフォン100の下方に配置してもよい。本図では、スマートフォン100の下部中央に配置する例を示す。上記のように、近距離センサで測距する範囲は、下方であることが多いため、より合理的である。
【0090】
さらに、このとき、
図9(c)に示すように、第二距離センサ156の測距方向156cは、下方に向けられてもよい。上記同様の理由で、使い勝手が向上する。
【0091】
<変形例4>
なお、上記実施形態では、距離センサ159に、MEMS方式のLiDARを用いる場合を例にあげて説明した。しかし、距離センサ159は、この方式に限定されない。例えば、パターン発光方式であってもよい。
【0092】
パターン発光方式の場合の距離センサ159の構成を
図10に示す。パターン発光方式の場合、距離センサ159は、レーザ光源311と、回折格子361と、を備える。コリメートレンズ等の部品は省略する。本方式の場合、回折格子361で、回折格子361に入射したレーザ光を回折し、様々な形状や照射パターン363に変える。そして、受光素子を有する受光部340では、発光した光が戻るまでの時間と照射パターン363のゆがみから、測距領域320の各点の距離を算出する。(図示しない)レンズや回折格子の位置の移動により照射パターンの広がり角度や、照射するレーザのパワーを切り替えることで、計測範囲を切り替えることが可能である。
【0093】
<変形例5>
なお、上記実施形態では、携帯端末がスマートフォン100である場合を例に説明したが、携帯端末は、これに限定されない。例えば、HMD100hであってもよい。
【0094】
この場合の、第一距離センサ155および第二距離センサ156の配置例を、
図11(a)に示す。本図に示すように、例えば、第一距離センサ155は、レンズ(ディスプレイ)の上部フレームの、幅方向の端部に設置される。また、第二距離センサ156は、上部フレームの中央に設置される。
【0095】
この場合、第一距離センサ155の測距方向155cと、第二距離センサ156の測距方向156cとは同じであってもよい。また、
図11(b)に示すように、第二距離センサ156の測距方向156cは、鉛直方向から所定角度傾いた、下方であってもよい。
【0096】
HMD100hの場合、測距方向は、略ユーザの視線方向となる。近距離を見る場合、ユーザの視線方向は下方となることが多い。このため、第二距離センサ156の測距方向156cを下方とすることで、より、ユーザの視線方向に沿った方向の距離を検出できる。
【0097】
なお、HMD100hであり、かつ、
図11(b)に示すように第二距離センサ156の測距方向を下方に配置する構成の場合、ユーザの視線方向を検出し、それに応じて、使用する距離センサ159を決定または変更してもよい。
【0098】
視線検出には、例えば、インカメラである第三カメラ137の撮影結果を用いる。第三カメラ137でユーザの眼を撮影し、その画像を、従来手法で解析することにより、ユーザの視線方向を検出する。そして、ユーザの視線方向が第二距離センサ156の測距方向156cと、予め定めた範囲で合致する場合、第二距離センサ156の測距結果を測定値(距離値)として使用する。
【0099】
<変形例6>
なお、携帯端末がHMD100hの場合、近距離センサである第二距離センサ156は、眼鏡のツル(テンプル)108に配置してもよい。この場合の配置態様を、
図12(a)および
図12(b)に示す。これは、ジェスチャによる指示を検出するためである。
【0100】
例えば、
図12(c)に示すように、ジェスチャ操作のxyz座標系を定義し、第二距離センサ156にて、第二測距領域156v内の各単位領域の距離値を計測し、ジェスチャ操作を検出する。
【0101】
この場合のメニュー表示例を、
図13(a)および
図13(b)に示す。ここでは、奥行き方向(x軸方向)に表示されているかの如く、メニューが表示される。また、例えば、顔の横方向の前後(x軸方向)に手を動かすことにより、メニューをスクロールすることができる。メニュー表示は、表示制御部218により制御される。
【0102】
例えば、ユーザの頭部横の中心位置に配置されたメニューが選択され、表示態様(例えば、色)が変わる。ユーザは、Z軸の方向に手を近づける動作や、HMD100hが備えるタッチセンサに触れることで、選択することができる。HMD100hは、ユーザから選択の指示を受け付けると、その時点で頭部横の中心位置に表示されているメニューが選択されたものと判断し、処理を行う。
【0103】
これにより、HMD100hの操作としてのジェスチャを、側面で行うことができ、ジェスチャにより、視野を妨げることがなく、使い勝手を向上させることができる。また、上述のようなメニュー表示を新たなユーザインタフェースとして設けることにより、手の動きとの関連性の高い表示を実現でき、操作性が向上する。
【0104】
このとき、先の変形例のように、さらに、前方中央上部に近距離センサである第二距離センサ156を配置してもよい。
【0105】
<<第二実施形態>>
次に本発明の第二実施形態を説明する。第一実施形態のスマートフォン100は、測距範囲の異なる複数の距離センサ159を備える。一方、本実施形態のスマートフォン100は、測距範囲を可変な距離センサを備え、対象までの距離に応じて、測距範囲を切り替えて使用する。
【0106】
以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。
【0107】
図14(a)は、スマートフォン100aの裏面(背面)図であり、
図1(b)は、側面図である。ここでは、本実施形態に関連する構成に主眼をおいて説明する。
【0108】
図14(a)に示すように、スマートフォン100aは、裏面側に、第一カメラ135と、第二カメラ136と、可変距離センサ157と、を備える。その他の外観構成は、第一実施形態と同様である。
【0109】
また、本実施形態では、
図14(a)に示すように、可変距離センサ157は、第一カメラ135と第二カメラ136との、スマートフォン100aの長手方向(上下方向)の中間位置に配置される。また、
図14(b)に示すように、可変距離センサ157の測距方向157cは、カメラの光軸方向と同方向である。
【0110】
本実施形態のスマートフォン100aのハードウェア構成を
図15に示す。本図において、第一の実施形態と同じ構成については、同じ符号を付す。本図に示すように、本実施形態のスマートフォン100aは、第一距離センサ155と第二距離センサ156との代わりに、距離センサ159として、可変距離センサ157を備える。
【0111】
可変距離センサ157は、メインプロセッサ101からの指示より、測距範囲を変更可能な距離センサである。本実施形態では、中距離を測距範囲(走査範囲を、
図14(b)の157mで示す。)とする中距離センシング設定と、近距離を測距範囲(走査範囲を
図14(b)の157sで示す。)とする近距離センシング設定との間で切り替え可能とする。中距離、近距離は、例えば、第一の実施形態同様、それぞれ、30cm以上5m以下、30cm未満、とする。
【0112】
各設定において、可変距離センサ157は、対象物までの距離が設定された測距範囲内である場合、距離値を出力する。一方、対象物までの距離が設定範囲外である場合、距離値の代わりにNG信号を出力する。
【0113】
図16は、本実施形態のスマートフォン100aの、本実施形態に関連する機能の機能ブロック図である。本図に示すように、本実施形態のスマートフォン100aは、全体制御部211と、測距制御部212と、表示制御部218と、を備え、測距制御部212は、距離センサ起動部213と、測距範囲切替部215と、距離信号処理部214と、を備える。また、取得した距離値を記憶する距離値DB219を備える。第一実施形態と同名の構成は、第一実施形態と同じ機能を有するため、ここでは、説明を省略する。
【0114】
ただし、本実施形態の距離センサ起動部213は、可変距離センサ157を起動する。
【0115】
測距範囲切替部215は、可変距離センサ157の測距範囲を切り替える指示を、可変距離センサ157に対して出力する。
【0116】
本実施形態では、第一実施形態の距離センサ159同様、例えば、MEMS方式のLiDARを利用する。測距範囲は、例えば、レーザ光源311から出力するレーザ光のパワーを変更することにより切り替える。具体的には、近距離をセンシングする場合、中距離をセンシングする場合より、発光パワーを抑える。これは、近距離をセンシングする場合、光量が大きくなり、受光素子が飽和するためである。中距離をセンシングする際の発光パワーと、近距離をセンシングする際の発光パワーとは、予め定め、記憶装置110に記憶しておく。そして、測距範囲切替部215は、いずれかの発光パワーで発光するよう、可変距離センサ157(レーザ光源311)に出力指示を出す。
【0117】
なお、測距範囲は、例えば、走査範囲(157m、1157s)を変更することにより切り替えてもよい。具体的には、
図17(a)および
図17(b)に示すように、近距離をセンシングする場合、中距離をセンシングする場合より、走査範囲を広くする。具体的には、走査角(θm、θs)を変化させる。近距離では、対象物が大きく見えるため、できるだけ、走査範囲を広くする。上述のように、走査範囲は、MEMS素子314の内側コイル332および外側コイル334に流す電流の大きさにより変化する。中距離をセンシングする際の電流の大きさと、近距離をセンシングする際の電流の大きさを予め定めておく。そして、測距範囲切替部215は、いずれかの電流を流すよう、可変距離センサ157に指示を出す。
【0118】
次に、本実施形態の測距制御部212による測距処理の流れを説明する。
図18は、本実施形態の測距処理の処理フローである。本処理は、第一の実施形態と同じ契機で開始される。また、繰り返しの頻度も第一の実施形態と同様である。
【0119】
以下、本実施形態では、可変距離センサ157は、初期的に中距離センシング設定に設定されているものとする。
【0120】
距離センサ起動部213は、可変距離センサ157を起動し、動作を開始させる(ステップS2101)。これにより、中距離の距離計測(測距)が行われる(ステップS2102)。
【0121】
距離信号処理部214は、中距離センシング設定で距離を計測できたかを判別する(ステップS2103)。判別要領は、第一実施形態同様、測距領域320の所定範囲のセンサ信号が距離値であるかNG値であるか否かで判別する。
【0122】
計測ができたと判別された場合(ステップS2103)、得られた距離値を保存し(ステップS2104)、処理を終了する。ここでは、第一実施形態同様、距離値と、取得時刻(または、測距領域320の位置情報)とに対応づけて保存する。
【0123】
一方、計測ができなかったと判別された場合(S2103;No)、測距範囲切替部215は、可変距離センサ157の測距範囲を切り替える。本実施形態では、近距離センシング設定に切り替える(ステップS2105)。これにより、近距離センシング設定で測距が行われる(ステップS2106)。
【0124】
そして、距離信号処理部214は、近距離センシング設定で距離を計測できたかを判別する(ステップS2107)。計測できていれば、測距範囲を中距離センシング設定に戻し(ステップS2109)、ステップS2104へ移行する。
【0125】
一方、計測できていない場合は、距離信号処理部214は、第一実施形態同様、NG処理を行い(ステップS2108)、処理を終了する。
【0126】
なお、上記実施形態では、近距離センシング設定で計測後、中距離センシング設定に戻しているが、この処理は行わなくてもよい。この場合、次回の計測は、近距離センシング設定で開始される。そして、上記ステップS2103でNG値を得た場合、ステップS2105において、中距離センシング設定に切り替える。
【0127】
例えば、繰り返し間隔が短い場合等、測距対象は大きく変更されない。このような場合、前回と同じ測距範囲である可能性が高く、効率的に処理ができる。
【0128】
以上説明したように、本実施形態のスマートフォン100aは、第一の実施形態同様、スマートフォン100aの周囲を幅広く測距可能な距離センサ159を備える。また、その距離センサ159は、スマートフォン100aが備えるカメラの撮影距離、撮影視野に対応づけられた範囲、領域を測距可能である。このため、第一実施形態と同様の効果が得られる。
【0129】
さらに、本実施形態のスマートフォン100aの距離センサ159は、測距範囲を第一測距範囲155dと第二測距範囲156dとの間で切り替え可能な可変距離センサ157と、可変距離センサ157の測距範囲を切り替える測距範囲切替部215と、を備える。そして、測距範囲切替部215は、可変距離センサ157の測距範囲を第一測距範囲155dに設定して測距値が得られない場合、可変距離センサ157の測距範囲を第二測距範囲156dに切り替える。ここでは、中距離と近距離の2つのモードの切り替えで説明したが、より多段階で測距範囲を切り替えるようにしても良い。
【0130】
このように、本実施形態では、複数の測距範囲を計測可能な可変距離センサ157を備える。このため、本実施形態では、距離センサが1つでよいため、コストを抑えられる。また、スマートフォン100a内での距離センサ159の配置の制約が少ない。
【0131】
本実施形態においても、第一実施形態同様、パターン発光方式のLiDARを用いてもよい。
【0132】
<変形例7>
なお、上記各実施形態および変形例において、同じ測距範囲で、解像度を変更してもよい。解像度は、発光パルスの速度を変えずに、MEMSミラー331の回転速度を制御することで変化させることができる。例えば、
図19(a)は、通常の解像度のスキャンの様子を示し、
図19(b)は、高解像度スキャンの様子を示す。これらの図に示すように、MEMSミラー331の回転速度(振動速度)を遅くすればするほど、濃密なスキャンを行うことができ、高解像度化(高精細化)できる。
【0133】
例えば、対象物の凹凸が細かい時や、対象物が面形状ではなく、細い棒状のパーツで構成されたものである場合等は、測距制御部212は、高精細な走査、センシングを行うよう設定し、距離センサ159の動作を制御する。
【0134】
<変形例8>
なお、上記各実施形態および変形例では、距離センサ159は、測距範囲以外の場合は、NG値を出力することを前提としている。しかしながら、これに限定されない。例えば、測距範囲外の場合、測距範囲外であることを示すために、測距範囲の限界値を示すようにしてもよい。なお、各距離センサ159について、精度よく測距できる範囲を、測距範囲として予め定め、記憶装置等に記憶しておく。
【0135】
この場合、例えば、第一実施形態の例では、測距処理のステップS1103において、第一距離センサ155で得られた距離値が、第一距離センサ155の測距範囲の値であるか否かを判別する。そして、第一距離センサ155の測距範囲の値であれば、ステップS1104へ移行する。一方、第一距離センサ155の測距範囲外の値であれば、ステップS1105へ移行する。
【0136】
<変形例9>
また、上記各実施形態および変形例の距離センサ159は、可変焦点レンズを有する眼鏡(電子メガネ)に適用されてもよい。可変焦点レンズ530を有する電子メガネ500は、例えば、国際公開2013/088630号(特許文献3)に記載されているように、レンズの一部に回折を行うための液晶パネル510と、液晶パネル510に印加する電圧を制御する制御装置520と、を備える。電子メガネの外観図を
図20(a)に示す。
【0137】
可変焦点レンズ530は、印加される電圧に応じて、屈折率が変わるレンズである。例えば、電圧を印加した場合、近視用屈折率(屈折率小)になり、電圧を印加しない場合、遠視用屈折率(屈折率大)となるよう設定される。
【0138】
図20(b)に示すように、この電子メガネ500に上記実施形態または変形例の距離センサ159を取り付ける。距離センサ159は、例えば、電子メガネ500のフレームの、可変焦点レンズ530の上部中央等に取り付ける。
【0139】
なお、第一実施形態の距離センサ159の場合、第一距離センサ155は、その測距方向を、電子メガネ500の正面方向に向けて設置し、近距離を計測する第二距離センサ156は、その測距方向を、電子メガネ500の正面方向に対し所定角度下方に向けて設置してもよい。
【0140】
制御装置520は、距離センサ159からの距離値に応じて、可変焦点レンズ530に印加する電圧を制御する。具体的には、予め定めた閾値未満の近距離範囲の距離値を受信した場合、可変焦点レンズ530に電圧を印加する。これにより、可変焦点レンズ530は、近視用屈折率になる。
【0141】
すなわち、距離センサ159により、ユーザの視線方向(距離センサ159の測距方向)の対象物までの距離を算出し、距離に応じて可変焦点レンズ530の屈折率を変化させる。
【0142】
上記特許文献3に開示の例では、各種のセンサを用いて、ユーザの頭部の傾きを検出し、例えば、本を読むために下を向いたことが検知された場合、電圧を印加し、近視用屈折率にする。従って、頭を傾けずに、近距離のものを見たりする場合は、近視用屈折率にはならない。逆に、階段を下りたりする際、頭を傾けて下を見ると、本来、遠視用屈折率であることが望ましい状況であっても、近視用屈折率に変更されてしまう。
【0143】
本変形例によれば、ユーザの視線方向にある対象物までの距離に応じて可変焦点レンズに電圧が印加されるため、このような不具合を回避でき、より、利便性が高い電子メガネ500を提供できる。なお、AR表示機能等、上記変形例5のHMD100hと同様の機能を、さらに、この電子メガネ500に搭載してもよい。
【0144】
<変形例10>
なお、上記各実施形態および変形例では、測距範囲が、中距離と近距離の2種である場合を例にあげて説明した。しかし、これに限定されない。3種以上の測距範囲であってもよい。この場合、第一実施形態では、測距範囲の段階数に応じた数の距離センサ159を備える。また、第二実施形態では、測距範囲の数に応じた段階で、測距範囲を変更可能とする。
【0145】
また、上記各実施形態および変形例では、距離センサ159の測距範囲および測距領域は、携帯端末が備えるカメラの撮影距離および撮影視野と対応づけられているが、これに限定されない。距離センサ159の測距範囲および測距領域は、カメラの撮影距離や撮影視野とは全く独立していてもよい。
【0146】
本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0147】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ部や、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
【0148】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0149】
100:スマートフォン、100a:スマートフォン、100h:HMD、101:メインプロセッサ、102:システムバス、103:RAM、104:ROM、105:フラッシュメモリ、109:ケース、110:記憶装置、120:操作装置、121:操作キー、122:タッチセンサ、130:画像処理装置、131:ディスプレイ、135:第一カメラ、135d:撮影距離、135v:撮影視野、136:第二カメラ、136d:撮影距離、136v:撮影視野、137:第三カメラ、140:音声処理装置、141:スピーカ、143:マイク、150:センサ、151:GPS受信部、152:ジャイロセンサ、153:地磁気センサ、154:加速度センサ、155:第一距離センサ、155c:測距方向、155d:第一測距範囲、155v:第一測距領域、156:第二距離センサ、156c:測距方向、156d:第二測距範囲、156v:第二測距領域、157:可変距離センサ、157c:測距方向、159:距離センサ、160:通信装置、161:LAN通信部、162:電話網通信部、163:BT通信部、170:拡張インタフェース、180:タイマ、
211:全体制御部、212:測距制御部、213:距離センサ起動部、214:距離信号処理部、215:測距範囲切替部、218:表示制御部、219:距離値DB、
310:出射部、311:レーザ光源、312:コリメートレンズ、313:集光レンズ、314:MEMS素子、320:測距領域、329:対象物、331:MEMSミラー、332:内側コイル、333:内側トーションバー、334:外側コイル、335:外側トーションバー、340:受光部、351:パルスレーザ光、352:反射光、353:出射光、354:反射光、361:回折格子、363:照射パターン、
500:電子メガネ、510:液晶パネル、520:制御装置、530:可変焦点レンズ