IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 小派科技(上海)有限責任公司の特許一覧

特開2024-18887インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法
<>
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図1
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図2
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図3
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図4
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図5
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図6
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図7
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図8
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図9
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図10
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図11
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図12
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図13
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図14
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図15
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図16
  • 特開-インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024018887
(43)【公開日】2024-02-08
(54)【発明の名称】インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法
(51)【国際特許分類】
   G06F 3/0346 20130101AFI20240201BHJP
   G06T 7/70 20170101ALI20240201BHJP
【FI】
G06F3/0346 421
G06T7/70
G06F3/0346 424
【審査請求】有
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2023019232
(22)【出願日】2023-02-10
(31)【優先権主張番号】202210907490.8
(32)【優先日】2022-07-29
(33)【優先権主張国・地域又は機関】CN
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.JAVA
(71)【出願人】
【識別番号】520027176
【氏名又は名称】小派科技(上海)有限責任公司
【氏名又は名称原語表記】Pimax Technology (Shanghai) CO., LTD
【住所又は居所原語表記】Room 406-C, Building A, Block 1, No.3000 Longdong Avenue, Pilot Free Trade Zone, Shanghai, CHINA
(74)【代理人】
【識別番号】110002262
【氏名又は名称】TRY国際弁理士法人
(72)【発明者】
【氏名】翁 志彬
(72)【発明者】
【氏名】周 克
(72)【発明者】
【氏名】陳 磊
【テーマコード(参考)】
5B087
5L096
【Fターム(参考)】
5B087AA07
5B087BC05
5B087BC32
5B087CC01
5B087CC33
5B087DD03
5L096CA05
5L096DA02
5L096EA12
5L096FA67
5L096FA69
(57)【要約】      (修正有)
【課題】インテリジェント端末、ハンドヘルドデバイス(中国語:掌机)、仮想システム及びインテリジェント端末の空間位置決め方法を提供する。
【解決手段】仮想頭部装着ディスプレイ機器に着脱可能に接続するインテリジェント端末において、インテリジェント端末の機能を仮想頭部装着ディスプレイ機能からハンドヘルドデバイス機能に切り替える主制御チップは、インテリジェント端末が仮想頭部装着ディスプレイ機器に取り付けられると、インテリジェント端末の機能をハンドヘルドデバイス機能から仮想頭部装着ディスプレイ機能に切り替える。主制御チップはまた、第1撮像装置によって撮影されたインテリジェント端末の環境情報と、第1慣性センサによって検出されたインテリジェント端末のIMUデータとに基づいて、インテリジェント端末の空間位置決め情報を確定し、インテリジェント端末の正確な位置決めを実現する。
【選択図】図3
【特許請求の範囲】
【請求項1】
インテリジェント端末であって、
仮想頭部装着ディスプレイ機器又は手持ち機器に着脱可能に取り付けることができるインテリジェント端末本体と、
前記インテリジェント端末本体の第1側面に配置された表示スクリーンと、
前記インテリジェント端末本体内に配置され、仮想頭部装着ディスプレイ機能とハンドヘルドデバイス機能との間の前記インテリジェント端末の切り替えを制御するための機能切り替えモジュールと、
前記インテリジェント端末本体内に配置され、前記機能切り替えモジュールに通信接続された主制御チップと、
前記インテリジェント端末本体の第2側面上に配置された第1撮像装置であって、前記第1側面と前記第2側面は対向する面である第1撮像装置と、
前記インテリジェント端末本体に配置され、前記インテリジェント端末本体のIMUデータを検出するための第1慣性センサと、を含み、
前記第1撮像装置及び前記第1慣性センサはそれぞれ前記主制御チップに通信接続される、ことを特徴とするインテリジェント端末。
【請求項2】
前記インテリジェント端末本体内に配置された輝度コントローラーをさらに含み、
前記輝度コントローラーは、前記主制御チップ及び前記表示スクリーンにそれぞれ通信接続され、
前記インテリジェント端末が前記ハンドヘルドデバイス機能から前記仮想頭部装着ディスプレイ機能に切り替えられると、前記輝度コントローラーは、前記ディスプレイの表示輝度を低下させ、
前記インテリジェント端末が前記仮想頭部装着ディスプレイ機能から前記ハンドヘルドデバイス機能に切り替えられると、前記輝度コントローラーは、前記ディスプレイの表示輝度を向上させる。
【請求項3】
前記インテリジェント端末本体内に配置された画像プロセッサをさらに含み、
前記画像プロセッサは、前記主制御チップに通信接続され、
前記画像プロセッサは、前記表示スクリーン上に表示された画像情報に対して非同期スペースワープ、非同期タイムワープ処理及び画像レンダリング処理を行うために使用される、ことを特徴とする請求項1に記載のインテリジェント端末。
【請求項4】
前記インテリジェント端末本体の前記第1側面上に配置された第2撮像装置をさらに含み、
前記第2撮像装置は、前記主制御チップに通信接続される、ことを特徴とする請求項1に記載のインテリジェント端末。
【請求項5】
前記第1撮像装置の数は4つであり、4つの前記第1撮像装置は2組の撮像装置組に分けられ、各組の撮像装置組における2つの前記第1撮像装置は、前記インテリジェント端末本体の中心について対称である、ことを特徴とする請求項1に記載のインテリジェント端末。
【請求項6】
ハンドヘルドデバイスであって、
請求項1に記載のインテリジェント端末と、
前記インテリジェント端末に接続されたハンドヘルドデバイスハンドルと、を含み、
前記ハンドヘルドデバイスハンドルには、第1赤外線センサ及び第2慣性センサが設けられ、前記第2慣性センサは、前記ハンドヘルドデバイスハンドルのIMUデータを検出するために使用され、
前記第2慣性センサは、前記インテリジェント端末における前記主制御チップに通信接続される、ことを特徴とするハンドヘルドデバイス。
【請求項7】
前記主制御チップは、第1制御ユニットと、第1計算ユニットと、を含み、
前記第1制御ユニットは、前記機能切り替えモジュール、前記第1撮像装置及び前記第1慣性センサにそれぞれ通信接続され、前記第1制御ユニットは、前記第1撮像装置を制御して前記インテリジェント端末の位置する周囲環境の第1画像を撮影し、前記第1慣性センサを制御して前記インテリジェント端末のIMUデータを検出するために使用され、
前記第1計算ユニットは、前記第1制御ユニット、前記第1撮像装置、前記第1赤外線センサ、前記第1慣性センサ及び前記第2慣性センサにそれぞれ通信接続され、前記第1計算ユニットは、前記第1画像及び前記インテリジェント端末本体のIMUデータを取得し、前記インテリジェント端末本体のIMUデータ及び前記第1画像を計算して、前記インテリジェント端末の空間位置決め情報を生成するために使用される、ことを特徴とする請求項6に記載のハンドヘルドデバイス。
【請求項8】
前記主制御チップは、第2制御ユニットと、第2計算ユニットと、をさらに含み、
前記第2制御ユニットは、前記機能切り替えモジュール、前記第1撮像装置及び前記第2慣性センサにそれぞれ通信接続され、前記第2制御ユニットは、前記機能切り替えモジュールが前記インテリジェント端末をハンドヘルドデバイス機能に切り替えたとき、前記第1撮像装置を制御して前記ハンドヘルドデバイスハンドルに位置する第1赤外線センサを撮影し、前記ハンドヘルドデバイスハンドルに位置する第2慣性センサを制御して前記ハンドヘルドデバイスハンドルのIMUデータを検出するために使用され、
前記第2計算ユニットは、前記第1計算ユニット、前記第2制御ユニット、前記第1撮像装置及び前記第2慣性センサにそれぞれ通信接続され、前記第2計算ユニットは、前記第1撮像装置によって伝送された前記第1赤外線センサの第1光点画像、及び前記第2慣性センサによって伝送された前記ハンドヘルドデバイスハンドルのIMUデータを取得し、前記第1光点画像、前記ハンドヘルドデバイスハンドルのIMUデータ及び前記インテリジェント端末の空間位置決め情報を計算して、前記ハンドヘルドデバイスハンドルの空間位置決め情報を生成するために使用される、ことを特徴とする請求項7に記載のハンドヘルドデバイス。
【請求項9】
コネクタと、多機能押しボタンと、多機能プロセッサと、をさらに含み、
前記コネクタは、前記ハンドヘルドデバイスハンドル及び前記インテリジェント端末にそれぞれ通信接続され、
前記多機能押しボタンは、前記ハンドヘルドデバイスハンドルに配置され、
前記多機能プロセッサは、前記多機能押しボタン及び前記インテリジェント端末の主制御チップにそれぞれ接続され、前記多機能プロセッサは、ユーザーが前記多機能押しボタンを介して入力した操作命令を受信し、前記操作命令を前記操作命令に前記主制御チップに送信するために使用される、ことを特徴とする請求項6に記載のハンドヘルドデバイス。
【請求項10】
仮想システムであって、
請求項1に記載のインテリジェント端末と、
仮想頭部搭載表示機器であって、前記インテリジェント端末が前記仮想頭部搭載表示機器本体に着脱可能に取り付けられる仮想頭部搭載表示機器と、
仮想頭部装着ディスプレイハンドルと、を含み、
前記仮想頭部装着ディスプレイハンドルは、
制御ハンドルと、
前記制御ハンドルに配置された第2赤外線センサと、
前記制御ハンドルに配置され、前記制御ハンドルのIMUデータを測定するための第3慣性センサと、を含み、
前記制御ハンドル及び前記第3慣性センサはそれぞれ前記主制御チップに通信接続される、ことを特徴とする仮想システム。
【請求項11】
前記仮想頭部装着ディスプレイハンドルは、ハンドルケーシングをさらに含み、
前記ハンドルケーシングは、環形部及び把握部を含み、前記把握部の中央には、前記制御ハンドルを収容し固定するために凹部が設けられる、ことを特徴とする請求項10に記載の仮想システム。
【請求項12】
前記主制御チップは、第3制御ユニットと、第3計算ユニットと、を含み、
前記第3制御ユニットは、前記機能切り替えモジュール、前記第1撮像装置及び前記第1慣性センサにそれぞれ通信接続され、前記第3制御ユニットは、前記第1撮像装置を制御して前記インテリジェント端末の位置する周囲環境の第1画像を撮影し、前記第1慣性センサを制御して前記インテリジェント端末のIMUデータを検出するために使用され、
前記第3計算ユニットは、前記第3制御ユニット、前記第1撮像装置、前記第1赤外線センサ及び前記第1慣性センサにそれぞれ通信接続され、前記第3計算ユニットは、前記第1画像及び前記インテリジェント端末本体のIMUデータを取得し、前記インテリジェント端末本体のIMUデータ及び前記第1画像を計算して、前記インテリジェント端末の空間位置決め情報を生成するために使用される、ことを特徴とする請求項10に記載の仮想システム。
【請求項13】
前記主制御チップは、第4制御ユニットと、第4計算ユニットと、をさらに含み、
前記第4制御ユニットは、前記機能切り替えモジュール、前記第1撮像装置、前記第2赤外線センサ及び前記第3慣性センサにそれぞれ通信接続され、前記第4制御ユニットは、前記機能切り替えモジュールが前記インテリジェント端末を仮想頭部装着ディスプレイ機能に切り替えたとき、前記第1撮像装置を制御して前記仮想操作ハンドルに位置する第2赤外線センサを撮影し、前記仮想操作ハンドルに位置する第3慣性センサを制御して前記仮想操作ハンドルのIMUデータを検出するために使用され、
前記第4計算ユニットは、前記第3計算ユニット、前記第1撮像装置及び前記第3慣性センサにそれぞれ通信接続され、前記第4計算ユニットは、前記第1撮像装置によって伝送された前記第2赤外線センサの第2光点画像、及び第3慣性センサによって伝送された前記仮想操作ハンドルのIMUデータを取得し、前記インテリジェント端末の空間位置決め情報、前記第2光点画像及び前記仮想操作ハンドルのIMUデータを計算して、前記仮想操作ハンドルの空間位置決め情報を生成するために使用される、ことを特徴とする請求項12に記載の仮想システム。
【請求項14】
請求項1に記載のインテリジェント端末を位置決めするためのインテリジェント端末の空間位置決め方法であって、
前記主制御チップが、前記インテリジェント端末に位置する前記第1撮像装置を制御して前記インテリジェント端末の位置する周囲環境の第1画像を撮影し、前記第1慣性センサを制御して前記インテリジェント端末のIMUデータを検出するステップと、
前記主制御チップが、前記第1撮像装置によって撮影された前記インテリジェント端末の位置する周囲環境の第1画像を取得するステップと、
前記主制御チップが、前記第1慣性センサによって検出された前記インテリジェント端末本体のIMUデータを取得するステップと、
前記主制御チップが、前記インテリジェント端末本体のIMUデータ及び前記第1画像を計算して、前記インテリジェント端末の空間位置決め情報を生成するステップと、を含むことを特徴とするインテリジェント端末の空間位置決め方法。
【請求項15】
前記インテリジェント端末がハンドヘルドデバイスハンドルに通信接続された場合、前記インテリジェント端末の空間位置決め方法は、
前記機能切り替えモジュールが、前記インテリジェント端末をハンドヘルドデバイス機能に切り替えるステップと、
前記主制御チップが、前記第1撮像装置を制御して前記ハンドヘルドデバイスハンドルに位置する第1赤外線センサを撮影し、前記ハンドヘルドデバイスハンドルに位置する第2慣性センサを制御して前記ハンドヘルドデバイスハンドルのIMUデータを検出するステップと、
前記主制御チップが、前記第1撮像装置によって伝送された前記第1赤外線センサの第1光点画像、及び前記第2慣性センサによって伝送された前記ハンドヘルドデバイスハンドルのIMUデータを取得し、前記インテリジェント端末の空間位置決め情報、前記第1光点画像及び前記ハンドヘルドデバイスハンドルのIMUデータを計算して、前記ハンドヘルドデバイスハンドルの空間位置決め情報を生成するステップと、さらに含むことを特徴とする請求項14に記載のインテリジェント端末的空間位置決め方法。
【請求項16】
前記インテリジェント端末が仮想頭部装着ディスプレイ機器に取り付けられ、前記インテリジェント端末が仮想操作ハンドルに通信接続された場合、前記インテリジェント端末の空間位置決め方法は、
前記機能切り替えモジュールが、前記インテリジェント端末を仮想頭部装着ディスプレイ機能に切り替えるステップと、
前記制御チップが、前記第1撮像装置を制御して前記仮想操作ハンドルに位置する第2赤外線センサを撮影し、前記仮想操作ハンドルに位置する第3慣性センサを制御して前記仮想操作ハンドルのIMUデータを検出するステップと、
前記主制御チップが、前記第1撮像装置によって伝送された前記第2赤外線センサの第2光点画像、及び第2慣性センサによって伝送された前記仮想操作ハンドルのIMUデータを取得し、前記インテリジェント端末の空間位置決め情報、前記第2光点画像及び前記仮想操作ハンドルのIMUデータを計算して、前記仮想操作ハンドルの空間位置決め情報を生成するステップと、をさらに含むことを特徴とする請求項14に記載のインテリジェント端末の空間位置決め方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、モバイル機器技術の分野に関し、具体的には、インテリジェント端末、ハンドヘルドデバイス(中国語:掌机)、仮想システム及びインテリジェント端末の空間位置決め方法に関する。
【背景技術】
【0002】
現在、VRボックスと移動端末からなる新型の仮想現実(Virtual Reality、VR)頭部装着ディスプレイ機器が市場に多数登場している。このような新型のVR頭部装着ディスプレイ機器の性能は、主に移動端末の性能によって決まり、その性能は従来のコンピュータ-VR頭部装着ディスプレイ機器、又はVRオールインワンに比べてはるかに劣っている。コンピュータ-VR頭部装着ディスプレイ機器、又はVRオールインワンのディスプレイ装置とVR仮想頭部装着ディスプレイ機器は、一般に不可分であり、セットでしか使えないため、利便性が限られている。
【0003】
一方、ハンドヘルドデバイスなどのゲーム機用携帯機器では、現在、ホストとハンドルを備え、ゲーム体験のためにハンドルを通じて命令入力を実現する製品があるが、このときのハンドヘルドデバイスには、仮想没入感を体験する機能がない。
【0004】
そこで、ユーザーが1つの製品を購入するだけで2つの異なる製品機能を体験できるという目的を満たすために、仮想ボックスの分離可能な特徴を有しハンドヘルドデバイスの機能を体現できる新型の複合式インテリジェント端末機器を提供する必要がある。
【0005】
また、従来技術では、移動端末の動作モードを変更した場合、例えば、ハンドヘルドデバイス機能から仮想頭部装着ディスプレイ機能に切り替えた場合、移動端末、制御ハンドルに対して正確な再位置決めを実現することができない。
【発明の概要】
【0006】
これに鑑みて、本発明は、インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法を提供しており、1つの移動端末だけで仮想及びハンドヘルドデバイスの2種類の製品の機能を体験できず、移動端末の動作モードを変更した場合、移動端末の空間に正確に位置決めできないという従来技術における技術的問題を解決する。
【0007】
本発明の一態様によれば、本発明はインテリジェント端末を提供する。このインテリジェント端末は、仮想頭部装着ディスプレイ機器又は手持ち機器に着脱可能に取り付けることができるインテリジェント端末本体と、前記インテリジェント端末本体の第1側面に配置された表示スクリーンと、前記インテリジェント端末本体内に配置され、仮想頭部装着ディスプレイ機能とハンドヘルドデバイス機能との間の前記インテリジェント端末の切り替えを制御するための機能切り替えモジュールと、前記インテリジェント端末本体内に配置され、前記機能切り替えモジュールに通信接続された主制御チップと、前記インテリジェント端末本体の第2側面上に配置された第1撮像装置であって、前記第1側面と前記第2側面は対向する面である第1撮像装置と、前記インテリジェント端末本体に配置され、前記インテリジェント端末本体のIMUデータを検出するための第1慣性センサと、を含み、前記第1撮像装置及び前記第1慣性センサはそれぞれ前記主制御チップに通信接続される。
【0008】
本発明の一実施例では、前記インテリジェント端末は、前記インテリジェント端末本体内に配置された輝度コントローラーをさらに含み、前記輝度コントローラーは、前記主制御チップ及び前記表示スクリーンにそれぞれ通信接続され、前記インテリジェント端末が前記ハンドヘルドデバイス機能から前記仮想頭部装着ディスプレイ機能に切り替えられると、前記輝度コントローラーは、前記ディスプレイの表示輝度を低下させ、前記インテリジェント端末が前記仮想頭部装着ディスプレイ機能から前記ハンドヘルドデバイス機能に切り替えられると、前記輝度コントローラーは、前記ディスプレイの表示輝度を向上させる。
【0009】
本発明の一実施例では、前記インテリジェント端末は、前記インテリジェント端末本体内に配置された画像プロセッサをさらに含み、前記画像プロセッサは、前記主制御チップに通信接続され、前記画像プロセッサは、前記表示スクリーン上に表示された画像情報に対して非同期スペースワープ、非同期タイムワープ処理及び画像レンダリング処理を行うために使用される。
【0010】
本発明の一実施例では、前記インテリジェント端末は、前記インテリジェント端末本体の前記第1側面上に配置された第2撮像装置をさらに含み、前記第2撮像装置は、前記主制御チップに通信接続される。
【0011】
本発明の一実施例では、前記第1撮像装置の数は4つであり、4つの前記第1撮像装置は2組の撮像装置組に分けられ、各組の撮像装置組における2つの前記第1撮像装置は、前記インテリジェント端末本体の中心について対称である。
【0012】
本発明の第2態様として、本発明はまた、ハンドヘルドデバイスを提供する。このハンドヘルドデバイスは、上記のインテリジェント端末と、前記インテリジェント端末に接続されたハンドヘルドデバイスハンドルと、を含み、前記ハンドヘルドデバイスハンドルには、第1赤外線センサ及び第2慣性センサが設けられ、前記第2慣性センサは、前記ハンドヘルドデバイスハンドルのIMUデータを検出するために使用され、前記第2慣性センサは、前記インテリジェント端末における前記主制御チップに通信接続される。
【0013】
本発明の一実施例では、前記主制御チップは、第1制御ユニットと、第1計算ユニットと、を含み、前記第1制御ユニットは、前記機能切り替えモジュール、前記第1撮像装置及び前記第1慣性センサにそれぞれ通信接続され、前記第1制御ユニットは、前記第1撮像装置を制御して前記インテリジェント端末の位置する周囲環境の第1画像を撮影し、前記第1慣性センサを制御して前記インテリジェント端末のIMUデータを検出するために使用され、前記第1計算ユニットは、前記第1制御ユニット、前記第1撮像装置、前記第1赤外線センサ、前記第1慣性センサ及び前記第2慣性センサにそれぞれ通信接続され、前記第1計算ユニットは、前記第1画像及び前記インテリジェント端末本体のIMUデータを取得し、前記インテリジェント端末本体のIMUデータ及び前記第1画像を計算して、前記インテリジェント端末の空間位置決め情報を生成するために使用される。
【0014】
本発明の一実施例では、前記主制御チップは、第2制御ユニットと、第2計算ユニットと、をさらに含み、前記第2制御ユニットは、前記機能切り替えモジュール、前記第1撮像装置及び前記第2慣性センサにそれぞれ通信接続され、前記第2制御ユニットは、前記機能切り替えモジュールが前記インテリジェント端末をハンドヘルドデバイス機能に切り替えたとき、前記第1撮像装置を制御して前記ハンドヘルドデバイスハンドルに位置する第1赤外線センサを撮影し、前記ハンドヘルドデバイスハンドルに位置する第2慣性センサを制御して前記ハンドヘルドデバイスハンドルのIMUデータを検出するために使用され、前記第2計算ユニットは、前記第1計算ユニット、前記第2制御ユニット、前記第1撮像装置及び前記第2慣性センサにそれぞれ通信接続され、前記第2計算ユニットは、前記第1撮像装置によって伝送された前記第1赤外線センサの第1光点画像、及び前記第2慣性センサによって伝送された前記ハンドヘルドデバイスハンドルのIMUデータを取得し、前記第1光点画像、前記ハンドヘルドデバイスハンドルのIMUデータ及び前記インテリジェント端末の空間位置決め情報を計算して、前記ハンドヘルドデバイスハンドルの空間位置決め情報を生成するために使用される。
【0015】
本発明の一実施例では、前記ハンドヘルドデバイスは、コネクタと、多機能押しボタンと、多機能プロセッサと、をさらに含み、前記コネクタは、前記ハンドヘルドデバイスハンドル及び前記インテリジェント端末にそれぞれ通信接続され、前記多機能押しボタンは、前記ハンドヘルドデバイスハンドルに配置され、前記多機能プロセッサは、前記多機能押しボタン及び前記インテリジェント端末の主制御チップにそれぞれ接続され、前記多機能プロセッサは、ユーザーが前記多機能押しボタンを介して入力した操作命令を受信し、前記操作命令を前記操作命令に前記主制御チップに送信するために使用される。
【0016】
本発明の第3態様として、本発明はまた、仮想システムを提供する。この仮想システムは、上記のインテリジェント端末と、仮想頭部装着ディスプレイ機器であって、前記インテリジェント端末が前記仮想頭部装着ディスプレイ機器本体に着脱可能に取り付けられる仮想頭部装着ディスプレイ機器と、仮想頭部装着ディスプレイハンドルと、を含み、前記仮想頭部装着ディスプレイハンドルは、制御ハンドルと、前記制御ハンドルに配置された第2赤外線センサと、前記制御ハンドルに配置され、前記制御ハンドルのIMUデータを測定するための第3慣性センサと、を含み、前記制御ハンドル及び前記第3慣性センサはそれぞれ前記主制御チップに通信接続される。
【0017】
本発明の一実施例では、前記仮想頭部装着ディスプレイハンドルは、ハンドルケーシングをさらに含み、前記ハンドルケーシングは、環形部及び把握部を含み、前記把握部の中央には、前記制御ハンドルを収容し固定するために凹部が設けられる。
【0018】
本発明の一実施例では、前記主制御チップは、第3制御ユニットと第3計算ユニットを含み、前記第3制御ユニットは、前記機能切り替えモジュール、前記第1撮像装置及び前記第1慣性センサにそれぞれ通信接続され、前記第3制御ユニットは、前記第1撮像装置を制御して前記インテリジェント端末の位置する周囲環境の第1画像を撮影し、前記第1慣性センサを制御して前記インテリジェント端末のIMUデータを検出するために使用され、前記第3計算ユニットは、前記第3制御ユニット、前記第1撮像装置、前記第1赤外線センサ及び前記第1慣性センサにそれぞれ通信接続され、前記第3計算ユニットは、前記第1画像及び前記インテリジェント端末本体のIMUデータを取得し、前記インテリジェント端末本体のIMUデータ及び前記第1画像を計算して、前記インテリジェント端末の空間位置決め情報を生成するために使用される。
【0019】
本発明の一実施例では、前記主制御チップは、第4制御ユニットと第4計算ユニットをさらに含み、前記第4制御ユニットは、前記機能切り替えモジュール、前記第1撮像装置、前記第2赤外線センサ及び前記第3慣性センサにそれぞれ通信接続され、前記第4制御ユニットは、前記機能切り替えモジュールが前記インテリジェント端末を仮想頭部装着ディスプレイ機能に切り替えたとき、前記第1撮像装置を制御して前記仮想操作ハンドルに位置する第2赤外線センサを撮影し、前記仮想操作ハンドルに位置する第3慣性センサを制御して前記仮想操作ハンドルのIMUデータを検出するために使用され、前記第4計算ユニットは、前記第3計算ユニット、前記第1撮像装置及び前記第3慣性センサにそれぞれ通信接続され、前記第4計算ユニットは、前記第1撮像装置によって伝送された前記第2赤外線センサの第2光点画像、及び第3慣性センサによって伝送された前記仮想操作ハンドルのIMUデータを取得し、前記インテリジェント端末の空間位置決め情報、前記第2光点画像及び前記仮想操作ハンドルのIMUデータを計算して、前記仮想操作ハンドルの空間位置決め情報を生成するために使用される。
【0020】
本発明の第4態様として、本発明はまた、上記のインテリジェント端末を位置決めするためのインテリジェント端末の空間位置決め方法を提供する。前記インテリジェント端末の空間位置決め方法は、前記主制御チップが、前記インテリジェント端末に位置する前記第1撮像装置を制御して前記インテリジェント端末の位置する周囲環境の第1画像を撮影し、前記第1慣性センサを制御して前記インテリジェント端末のIMUデータを検出するステップと、前記主制御チップが、前記第1撮像装置によって撮影された前記インテリジェント端末の位置する周囲環境の第1画像を取得するステップと、前記主制御チップが、前記第1慣性センサによって検出された前記インテリジェント端末本体のIMUデータを取得するステップと、前記主制御チップが、前記インテリジェント端末本体のIMUデータ及び前記第1画像を計算して、前記インテリジェント端末の空間位置決め情報を生成するステップと、を含む。
【0021】
本発明の一実施例では、前記インテリジェント端末がハンドヘルドデバイスハンドルに通信接続された場合、前記インテリジェント端末の空間位置決め方法は、前記機能切り替えモジュールが前記インテリジェント端末をハンドヘルドデバイス機能に切り替えるステップと、前記主制御チップが、前記第1撮像装置を制御して前記ハンドヘルドデバイスハンドルに位置する第1赤外線センサを撮影し、前記ハンドヘルドデバイスハンドルに位置する第2慣性センサを制御して前記ハンドヘルドデバイスハンドルのIMUデータを検出するステップと、前記主制御チップが、前記第1撮像装置によって伝送された前記第1赤外線センサの第1光点画像、及び前記第2慣性センサによって伝送された前記ハンドヘルドデバイスハンドルのIMUデータを取得し、前記インテリジェント端末の空間位置決め情報、前記第1光点画像及び前記ハンドヘルドデバイスハンドルのIMUデータを計算して、前記ハンドヘルドデバイスハンドルの空間位置決め情報を生成するステップと、さらに含む。
【0022】
本発明の一実施例では、前記インテリジェント端末が仮想頭部装着ディスプレイ機器に取り付けられ、前記インテリジェント端末が仮想操作ハンドルに通信接続された場合、前記インテリジェント端末の空間位置決め方法は、
前記機能切り替えモジュールが、前記インテリジェント端末を仮想頭部装着ディスプレイ機能に切り替えるステップと、前記制御チップが、前記第1撮像装置を制御して前記仮想操作ハンドルに位置する第2赤外線センサを撮影し、前記仮想操作ハンドルに位置する第3慣性センサを制御して前記仮想操作ハンドルのIMUデータを検出するステップと、前記主制御チップが、前記第1撮像装置によって伝送された前記第2赤外線センサの第2光点画像、及び第2慣性センサによって伝送された前記仮想操作ハンドルのIMUデータを取得し、前記インテリジェント端末の空間位置決め情報、前記第2光点画像及び前記仮想操作ハンドルのIMUデータを計算して、前記仮想操作ハンドルの空間位置決め情報を生成するステップと、をさらに含む。
【0023】
本発明によって提供されるインテリジェント端末は、仮想頭部装着ディスプレイ機器に着脱可能に接続することができる。即ち、仮想システムを分離式仮想システムにすることができる。即ち、インテリジェント端末と仮想頭部装着ディスプレイ機器は分離可能に設置される。インテリジェント端末が仮想頭部装着ディスプレイ機器から分離されると、インテリジェント端末は、ハンドヘルドデバイスハンドルと通信接続を確立することができ、インテリジェント端末における主制御チップは、インテリジェント端末の機能を仮想頭部装着ディスプレイ機能からハンドヘルドデバイス機能に切り替え、それにより、インテリジェント端末とハンドヘルドデバイスハンドルは、ハンドヘルドデバイスを構成する。インテリジェント端末が仮想頭部装着ディスプレイ機器に取り付けられると、インテリジェント端末における主制御チップは、インテリジェント端末の機能をハンドヘルドデバイス機能から仮想頭部装着ディスプレイ機能に切り替え、それにより、インテリジェント端末、仮想ハンドヘルドデバイス及び仮想頭部装着ディスプレイ機器は仮想システムを構成する。その結果、インテリジェント端末は2つの機能を持つことができ、ユーザーは、1つのインテリジェント端末を通じて仮想システム及びハンドヘルドデバイスの2種類の製品の機能を体験することができる。また、インテリジェント端末には第1慣性センサ及び第1撮像装置が設けられ、主制御チップは、第1撮像装置によって撮影されたインテリジェント端末の環境情報、及び第1慣性センサによって検出されたインテリジェント端末のIMUデータに基づいて、インテリジェント端末の空間位置決め情報、即ち、6DOFデータを確定することができ、それにより、インテリジェント端末の正確な位置決めが実現される。
【図面の簡単な説明】
【0024】
図面を参照しながら、本発明の実施例をより詳細に説明することによって、本発明の上記及び他の目的、特徴及び利点は、より明らかになる。図面は、本発明の実施例を更に理解させ、本明細書の一部を構成し、本発明の実施例と共に本発明を説明するためのものであり、本発明を制限するものではない。図面では、同じ参照番号は、通常、同じの部品又はステップを表す。
図1】本発明の一実施例によって提供されるインテリジェント端末の正面図を示す。
図2】本発明の一実施例によって提供されるインテリジェント端末の背面図を示す。
図3】本発明の一実施例によって提供されるインテリジェント端末の動作原理図を示す。
図4】本発明の別の実施例によって提供されるインテリジェント端末の動作原理図を示す。
図5】本発明の別の実施例によって提供されるインテリジェント端末の動作原理図を示す。
図6】本発明の一実施例によって提供されるハンドヘルドデバイスの動作原理図を示す。
図7】本発明の別の実施例によって提供されるハンドヘルドデバイスの動作原理図を示す。
図8図7に示されるハンドヘルドデバイスのインテリジェント端末の空間位置決め方法のフローチャートを示す。
図9】本発明の別の実施例によって提供されるハンドヘルドデバイスの動作原理図を示す。
図10図9に示されるハンドヘルドデバイスのインテリジェント端末の空間位置決め方法のフローチャートを示す。
図11】本発明の一実施例によって提供される仮想システムの動作原理図を示す。
図12】本発明の別の実施例によって提供される仮想システムの動作原理図を示す。
図13図12に示される仮想システムのインテリジェント端末の空間位置決め方法のフローチャートを示す。
図14】本発明の別の実施例によって提供される仮想システムの動作原理図を示す。
図15図14に示される仮想システムのインテリジェント端末の空間位置決め方法のフローチャートを示す。
図16】本発明の別の実施例によって提供される仮想操作ハンドルの構造模式図を示す。
図17】本発明の一実施例によって提供される電子機器の動作原理図を示す。
【発明を実施するための形態】
【0025】
本発明の説明において、「複数」は、他に特に定義されない限り、少なくとも2つ、例えば、3つなどを意味する。本出願の実施例におけるすべての方向指示(上、下、左、右、前、後、頂、底、……など)は、ある特定の姿勢(図に示す)での各部材間の相対的な位置関係、運動状況などを説明するためにのみ使用される。前記特定の姿勢が変化する場合、前記方向指示もそれに応じて変化する。また、「含む」や「有する」という用語及びそれらの任意の変形は、非排他的な包含をカーバすることを意図する。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、挙げられたステップ又はユニットに限定されず、任意選択で、挙げられていないステップ又はユニットを更に含み、又はこれらのプロセス、方法、製品又は機器に固有の他のステップ又はユニットを更に含む。
【0026】
また、本明細書における「実施例」への言及は、実施例に関して説明される特定の特徴、構造又は特性が、本発明の少なくとも1つの実施例に含まれ得ることを意味する。明細書の様々なところで出現する該用語は、必ずしも同じ実施例を指すわけではなく、他の実施例と相互に排他的な独立した又は代替の実施例でもない。当業者は、本明細書に記載の実施例が他の実施例と組み合わせることができることを明確かつ暗黙的に理解している。
【0027】
以下は、本発明の実施形態に係る添付図面を参照しながら、本発明の実施形態に係る技術的解決手段を明確かつ詳細に説明する。当然ながら、ここで説明する実施形態は本発明の諸実施形態の全てではなく一部にすぎない。当業者が創造的な作業なしに本発明の実施例に基づいて得られる他の全ての実施例は、本発明の保護範囲に含まれるべきである。
【0028】
図1は、本発明によって提供されるインテリジェント端末1の正面図を示し、図2は、本発明によって提供されるインテリジェント端末1の背面図を示し、図3は、本発明によって提供されるインテリジェント端末1の動作原理図を示す。図1図2及び図3に示すように、このインテリジェント端末1は、インテリジェント端末本体100と、表示スクリーン200と、機能切り替えモジュール601と、主制御チップ600と、第1撮像装置400と、第1慣性センサ700と、を含む。
インテリジェント端末本体100は、仮想頭部装着ディスプレイ機器31、又はハンドヘルドデバイスなどの手持機器に着脱可能に取り付けることができる。
表示スクリーン200は、インテリジェント端末本体100の第1側面101上に配置され、正常な表示機能を有し、ビデオ情報や画像情報などを表示することができる。
機能切り替えモジュール601は、インテリジェント端末本体100内に配置され、即ち、機能切り替えモジュール601は、仮想頭部装着ディスプレイ機能とハンドヘルドデバイス機能との間のインテリジェント端末1の切り替えを制御することができる。例えば、インテリジェント端末1が仮想頭部装着ディスプレイに取り付けられると、インテリジェント端末1と仮想頭部装着ディスプレイは仮想システム、例えば、仮想現実システム(以下、VRシステムと略称)又は拡張現実システム(以下、ARシステムと略称)を構成する。この場合、機能切り替えモジュール601は、インテリジェント端末1が仮想頭部装着ディスプレイに取り付けられたという情報を受信し、受信した情報に応じて仮想頭部装着ディスプレイ機能をオンにして、インテリジェント端末1が仮想頭部装着ディスプレイ機能を実行するようにすることができる。
主制御チップ600は、インテリジェント端末本体100内に配置され、機能切り替えモジュール601に通信接続される。
第1撮像装置400は、インテリジェント端末本体100の第2側面102上に配置され、第1側面101と第2側面102は対向する面である。
第1撮像装置400は、赤外線ランプを撮影するために使用することができる。インテリジェント端末1が仮想頭部装着ディスプレイ機器31に取り付けられると、インテリジェント端末1、仮想操作ハンドル32及び仮想頭部装着ディスプレイ機器31は仮想システムを構成する。この場合、インテリジェント端末1は、仮想操作ハンドル32と通信接続を確立する必要がある。仮想操作ハンドル32には赤外線ランプが取り付けられる。このとき、インテリジェント端末1の主制御チップ600は、第1撮像装置400をオンにするように制御することができる。それにより、第1撮像装置400は、仮想操作ハンドル32に位置する赤外線ランプを撮影し、仮想操作ハンドル32に位置する赤外線ランプの光点画像を撮影した後、光点画像を主制御チップ600に伝送する。
第1撮像装置400は、また、インテリジェント端末1が位置する周囲環境を撮影するために使用することができる。インテリジェント端末1が仮想頭部装着ディスプレイ機能とハンドヘルドデバイス機能のどちらを実行する場合でも、インテリジェント端末1を位置決めする必要がある。例えば、インテリジェント端末1とハンドヘルドデバイスハンドル2が組み合わせられてハンドヘルドデバイスを構成する場合、インテリジェント端末1とハンドヘルドデバイスハンドル2を位置決めする必要がある。インテリジェント端末1が仮想頭部装着ディスプレイ機器31に取り付けられ、仮想操作ハンドル32と仮想システムを構成する場合、インテリジェント端末1及び仮想操作ハンドル32も位置決めする必要がある。第1撮像装置400は、インテリジェント端末1が位置する周囲環境を撮影することで、周囲環境を反映できる画像情報又はビデオ情報を形成し、画像情報及びビデオ情報を主制御チップ600に送信することができる。主制御チップ600は、画像情報又はビデオ情報に基づいて、インテリジェント端末1の位置情報を得ることができる。
第1慣性センサ700は、インテリジェント端末本体100に配置され、インテリジェント端末本体100のIMUデータを検出するために使用される。第1慣性センサ700は、インテリジェント端末1のIMUデータを検出した後、IMUデータを主制御チップ600に伝送する。主制御チップ600は、IMUデータ、及び第1撮像装置400によって撮影されたインテリジェント端末1の位置する環境の画像情報又はビデオ情報に基づいて、インテリジェント端末1の空間位置決め情報、つまり、インテリジェント端末1の6DOFデータを確定することができる、即ち、平行移動自由度及び回転自由度に基づいて、6つの角度の自由度を取得することができる。
【0029】
具体的には、慣性センサ(Inertial Measurement Unit、IMUと略称)は、物体の3軸姿勢角(又は角速度)及び加速度を測定する装置である。一般に、IMUは、3つの単軸加速度計及び3つの単軸ジャイロスコープを含む。加速度計は、キャリア座標系の独立した3軸の物体の加速度信号を検出し、ジャイロスコープは、ナビゲーション座標系に対するキャリアの角速度信号を検出するため、慣性センサは、3次元空間内の物体の角速度と加速度を測定し、それに基づいて、物体の回転自由度など、物体の姿勢を解くことができる。回転自由度とは、上下、前後、左右の3つの位置に関する自由度を意味する。IMUデータは、慣性センサによって検出された物体の結果データ、即ち、慣性センサによって検出された3次元空間内の物体の角速度及び加速度である。従って、第1慣性センサ700は、インテリジェント端末本体100を検出するIMUデータを検出することができ、インテリジェント端末本体100を検出するIMUデータに基づいて、インテリジェント端末本体100の姿勢、例えば、インテリジェント端末本体100の回転自由度を解くことができる。回転自由度とは、上下、前後、左右の3つの位置に関する自由度を意味する。
【0030】
本発明によって提供されるインテリジェント端末1は、仮想頭部装着ディスプレイ機器31に着脱可能に接続することができる。即ち、仮想システムを分離式仮想システムにすることができる。即ち、インテリジェント端末1と仮想頭部装着ディスプレイ機器31は分離可能に設置される。インテリジェント端末1が仮想頭部装着ディスプレイ機器31から分離されると、インテリジェント端末1は、ハンドヘルドデバイスハンドル2と通信接続を確立することができ、インテリジェント端末1における主制御チップ600は、インテリジェント端末1の機能を仮想頭部装着ディスプレイ機能からハンドヘルドデバイス機能に切り替え、それにより、インテリジェント端末1とハンドヘルドデバイスハンドル2は、ハンドヘルドデバイスを構成する。インテリジェント端末1が仮想頭部装着ディスプレイ機器31に取り付けられると、インテリジェント端末1における主制御チップ600は、インテリジェント端末1の機能をハンドヘルドデバイス機能から仮想頭部装着ディスプレイ機能に切り替え、それにより、インテリジェント端末1、仮想ハンドヘルドデバイス及び仮想頭部装着ディスプレイ機器31は仮想システムを構成する。その結果、インテリジェント端末1は2つの機能を持つことができ、ユーザーは、1つのインテリジェント端末1を通じて仮想システム及びハンドヘルドデバイスの2種類の製品の機能を体験することができる。また、インテリジェント端末1には第1慣性センサ700及び第1撮像装置400が設けられる。主制御チップ600は、第1撮像装置400によって撮影されたインテリジェント端末1の環境情報、及び第1慣性センサ700によって検出されたインテリジェント端末1のIMUデータに基づいて、インテリジェント端末1の空間位置決め情報、即ち、6DOFデータを確定することができ、それにより、インテリジェント端末1の正確な位置決めが実現される。
【0031】
オプションで、図1に示すように、インテリジェント端末1は、インテリジェント端末本体100の第2側面102上に配置された第3撮像装置300をさらに含む。第3撮像装置300は、深度撮像装置であり、インテリジェント端末1が位置する周囲環境を撮影することができる。深度撮像装置は、インテリジェント端末1が位置する周囲環境の平面画像に加えて、インテリジェント端末1が位置する周囲環境の深度情報、即ち、インテリジェント端末1が位置する周囲環境の3次元の位置とサイズの情報を取得することができ、距離情報を通じて物体間のより豊かな位置関係を取得することができるので、主制御チップ600は、インテリジェント端末1に対して空間位置決めを行う際に、第1撮像装置400によって撮影された環境情報、第3撮像装置300によって撮影された環境の深度情報及びインテリジェント端末1のIMUデータに基づいて、インテリジェント端末1の空間位置決め情報を確定することができる。インテリジェント端末1の空間位置決めの精度が向上する。
【0032】
オプションで、第1撮像装置400の数は4つであり、4つの第1撮像装置400は2組の撮像装置組に分けられ、各組の撮像装置組における2つの第1撮像装置400は、インテリジェント端末本体100の中心について対称である。例えば、インテリジェント端末本体100が四方体である場合、即ち、インテリジェント端末本体100上の第2側面102が四辺形である場合、4つの第1撮像装置400は、四辺形の4つの角の位置に分布することができる。このようにして、第1撮像装置400の位置を最大化し、赤外線センサの光点画像と、インテリジェント端末1が位置する周囲環境とを撮影することができる。
【0033】
本発明の一実施例では、図4は、本発明の別の実施例によって提供されるインテリジェント端末1の動作原理図を示す。図4に示すように、このインテリジェント端末は、インテリジェント端末本体内に配置された輝度コントローラー201をさらに含む。輝度コントローラー201は、主制御チップ600及び表示スクリーン200にそれぞれ通信接続される。インテリジェント端末1が仮想頭部装着ディスプレイに取り付けられた場合、機能切り替えモジュール601は、インテリジェント端末1の機能を仮想頭部装着ディスプレイ機能に切り替え、輝度コントローラー201は、表示スクリーン200の輝度を低下させる。表示スクリーン200の輝度は低下するため、表示スクリーン200に1フレームの画像を表示する際の表示画素の点灯時間の長さも短くなる。即ち、1フレームの表示画像を短くすると、画素を点灯させるための時間の長さが短くなり、それに伴って、残光時間も短くなる。従って、スミア現象による表示スクリーン200の表示画面の鮮明度の低下が軽減され、ユーザーの体験感が向上する。インテリジェント端末1がハンドヘルドデバイス機器に取り付けられた場合、機能切り替えモジュール601は、インテリジェント端末1の機能をハンドヘルドデバイス機能に切り替え、輝度コントローラー201は、表示スクリーン200の輝度を向上させる。
【0034】
本発明の一実施例では、図5は、本発明の別の実施例によって提供されるインテリジェント端末1の動作原理図を示す。図5に示すように、このインテリジェント端末1は、インテリジェント端末本体100内に配置された画像プロセッサ800をさらに含む。画像プロセッサ800は主制御チップ600に通信接続される。インテリジェント端末1が仮想頭部装着ディスプレイ機器31に取り付けられた場合、主制御チップ600内の機能切り替えモジュール601は、インテリジェント端末1の機能を仮想頭部装着ディスプレイ機能に切り替え、主制御チップ600は、インテリジェント端末1を仮想頭部装着ディスプレイ機能に切り替えたという情報を画像プロセッサ800に伝送する。画像プロセッサ800は、この情報に基づいて動作を開始するので、表示スクリーン200に表示される画像情報に対して非同期スペースワープ、非同期タイムワープ処理及び画像レンダリング処理を行って、画面の鮮明度を向上させることができる。
【0035】
本発明の一実施例では、図1に示すように、インテリジェント端末1は、インテリジェント端末本体100の第1側面101上に配置された第2撮像装置500をさらに含む。第2撮像装置500は、インテリジェント端末1のユーザーを撮影するために使用される。第2撮像装置500は、主制御チップ600に通信接続される。第2撮像装置500は、ユーザーを撮影することができ、即ち、ユーザーの自撮りを実現することができる。主制御チップ600は、ユーザーの画像情報を取得することができるので、ユーザーの画像情報に基づいて、ユーザーの認証を実現するか、又はユーザーの仮想プロフィール画像などを生成することができる。
【0036】
本発明の第2態様によれば、本発明は、ハンドヘルドデバイスをさらに提供する。図6は、本発明の一実施例によって提供されるハンドヘルドデバイスの動作原理図を示す。図6に示すように、このハンドヘルドデバイスは、上記のインテリジェント端末1と、インテリジェント端末1に接続されたハンドヘルドデバイスハンドル2と、を含む。ハンドヘルドデバイスハンドル2には、第1赤外線センサ22及び第2慣性センサ23が設けられる。第2慣性センサ23は、ハンドヘルドデバイスハンドル2のIMUデータを検出するために使用される。第2慣性センサ23は、インテリジェント端末1における主制御チップ600に通信接続される。インテリジェント端末1上の第1撮像装置400は、第1赤外線センサ22と、インテリジェント端末1が位置する周囲環境を撮影するために使用される。ハンドヘルドデバイスハンドル2がインテリジェント端末1に通信接続されると、機能切り替えモジュール601は、インテリジェント端末1の機能をハンドヘルドデバイス機能に切り替える。このとき、インテリジェント端末1とハンドヘルドデバイスハンドル2はハンドヘルドデバイスを構成する。
【0037】
オプションで、図6に示すように、ハンドヘルドデバイスは、コネクタ24と、多機能押しボタン25と、機能プロセッサ26とをさらに含む。コネクタ24は、ハンドヘルドデバイスハンドル2及びインテリジェント端末1にそれぞれ通信接続される。コネクタ24は、ハンドヘルドデバイスハンドル2とインテリジェント端末1との通信接続を実現することができる。多機能押しボタン25はハンドヘルドデバイスハンドル2に配置される。機能プロセッサ26は、多機能押しボタン25と、インテリジェント端末1の主制御チップ600とにそれぞれ接続される。機能プロセッサ26は、ユーザーが多機能押しボタン25を介して入力した操作命令を受信し、操作命令を主制御チップ600に送信するために使用される。
【0038】
本発明の一実施例では、インテリジェント端末1とハンドヘルドデバイスハンドル2がハンドヘルドデバイスを構成した後、ユーザーがハンドヘルドデバイスを操作する過程中において、インテリジェント端末1及びハンドヘルドデバイスハンドル2の両方に対して空間位置決めを行う必要がある。図7は、本発明の別の実施例によって提供されるハンドヘルドデバイスの動作原理図を示す。図7に示すように、主制御チップ600は、第1制御ユニット602と第1計算ユニット603を含む。
第1制御ユニット602は、機能切り替えモジュール601、第1撮像装置400及び第1慣性センサ700にそれぞれ通信接続される。第1制御ユニット602は、第1撮像装置400を制御してインテリジェント端末1の位置する周囲環境の第1画像を撮影し、第1慣性センサ700を制御してインテリジェント端末1のIMUデータを検出するために使用される。
第1計算ユニット603は、第1制御ユニット602、第1撮像装置400、第1赤外線センサ22、第1慣性センサ700及び第2慣性センサ23にそれぞれ通信接続される。第1計算ユニット603は、第1画像とインテリジェント端末本体のIMUデータを取得し、インテリジェント端末本体のIMUデータ及び第1画像を計算して、インテリジェント端末の空間位置決め情報を生成するために使用される。
【0039】
具体的には、図8は、図7に示されるハンドヘルドデバイスのインテリジェント端末1の空間位置決め方法のフローチャートを示す。即ち、図7に示されるハンドヘルドデバイスのインテリジェント端末の空間位置決め時の位置決め方法は、図8に示される。インテリジェント端末1の空間位置決め方法は、以下のステップS101~ステップS103を含む。
ステップS101では、機能切り替えモジュール601は、インテリジェント端末1がハンドヘルドデバイスハンドル2に通信接続されたという接続情報を受信し、接続情報に基づいて、インテリジェント端末1の機能をハンドヘルドデバイス機能に切り替える。
ステップS102では、機能切り替えモジュール601がインテリジェント端末1をハンドヘルドデバイス機能に切り替えることに成功すると、第1制御ユニット602は、インテリジェント端末1に位置する第1撮像装置400を制御してインテリジェント端末1の位置する周囲環境の第1画像を撮影し、第1慣性センサ700を制御してインテリジェント端末1のIMUデータを検出する。
第1撮像装置400は、第1制御ユニット602の制御下で、インテリジェント端末1が位置する周囲環境を撮影して第1画像を形成し、第1画像を第1計算ユニット603に伝送する。第1慣性センサ700は、第1制御ユニット602の制御下で、インテリジェント端末1のIMUデータを検出し、インテリジェント端末1のIMUデータを第1計算ユニット603に伝送する。
ステップS103では、第1計算ユニット603が第1撮像装置400によって伝送された第1画像、及び第1慣性センサ700によって伝送されたインテリジェント端末1のIMUデータを受信した後、第1計算ユニット603は、インテリジェント端末本体100のIMUデータ及び第1画像を計算して、インテリジェント端末1の空間位置決め情報を生成する。
【0040】
第1慣性センサ700は、インテリジェント端末本体100のIMUデータを検出するために使用される。IMUデータとは、3つの回転角度の自由度を意味する。第1慣性センサ700は、インテリジェント端末1のIMUデータを検出した後、IMUデータを第1計算ユニット603に伝送する。第1計算ユニット603は、IMUデータ、及び第1撮像装置400によって撮影されたインテリジェント端末1の位置する環境の画像情報又はビデオ情報に基づいて、インテリジェント端末1の空間位置決め情報、つまりインテリジェント端末1の6DOFデータ(以下、6DOFデータと略称)を確定することができる、即ち、平行移動自由度と回転自由度に基づいて、6つの角度の自由度を取得することができる。
【0041】
ステップS101~ステップS103によって、インテリジェント端末1の空間位置決めを実現することができる。即ち、インテリジェント端末1に配置された第1慣性センサ700及び第1撮像装置400によって、インテリジェント端末1の空間位置決めを実現することができる。
【0042】
さらに、図9に示すように、主制御チップ600は、第2制御ユニット604と第2計算ユニット605をさらに含む。
第2制御ユニット604は、機能切り替えモジュール601、第1撮像装置400及び第2慣性センサ23にそれぞれ通信接続される。第2制御ユニット604は、機能切り替えモジュール601がインテリジェント端末をハンドヘルドデバイス機能に切り替えた場合、第1撮像装置400を制御してハンドヘルドデバイスハンドルに位置する第1赤外線センサ22を撮影し、ハンドヘルドデバイスハンドルに位置する第2慣性センサ23を制御してハンドヘルドデバイスハンドルのIMUデータを検出するために使用される。
第2計算ユニット605は、第1計算ユニット603、第2制御ユニット604、第1撮像装置400及び第2慣性センサ23にそれぞれ通信接続される。第2計算ユニット604は、第1計算ユニット603によって伝送されたインテリジェント端末1の空間位置決め情報、第1撮像装置400によって伝送された第1赤外線センサ22の第1光点画像、及び第2慣性センサ23によって伝送されたハンドヘルドデバイスハンドルのIMUデータを取得し、インテリジェント端末1の空間位置決め情報、第1光点画像及びハンドヘルドデバイスハンドルのIMUデータを計算して、ハンドヘルドデバイスハンドルの空間位置決め情報を生成するために使用される。
【0043】
具体的には、図10は、インテリジェント端末1の空間位置決め方法のフローチャートを示す。即ち、図9に示されるハンドヘルドデバイスにおけるインテリジェント端末の空間位置決め時の位置決め方法は、図10に示される。インテリジェント端末1の空間位置決め方法は、以下のステップS104~ステップS105をさらに含む。
ステップS104では、第2制御ユニット604は、第1撮像装置400を制御してハンドヘルドデバイスハンドル2に位置する第1赤外線センサ22を撮影し、ハンドヘルドデバイスハンドル2に位置する第2慣性センサ23を制御してハンドヘルドデバイスハンドル2のIMUデータを検出する。
第1撮像装置400は、第2制御ユニット604の制御下で、ハンドヘルドデバイスハンドル2の第1赤外線センサ22を撮影して、第1赤外線センサ22の第1光点画像を形成する。第2慣性センサ23は、第2制御ユニット604の制御下で、ハンドヘルドデバイスハンドル2のIMUデータを検出し、ハンドヘルドデバイスハンドル2のIMUデータを第1空間位置決めユニット606に伝送する。
【0044】
ステップS105では、第2計算ユニット605は、第1計算ユニット603によって伝送されたインテリジェント端末1の空間位置決め情報、第1撮像装置400によって伝送された第1赤外線センサ22の第1光点画像、及び第2慣性センサ23によって伝送されたハンドヘルドデバイスハンドル2のIMUデータを取得し、インテリジェント端末1の空間位置決め情報、第1光点画像及びハンドヘルドデバイスハンドル2のIMUデータを計算して、ハンドヘルドデバイスハンドル2の空間位置決め情報を生成する。つまり、ハンドヘルドデバイスハンドル2の6DOFデータ(以下、6DOFデータを略称)、即ち、平行移動自由度及び回転自由度に基づいて、6つの角度の自由度を取得することができる。
【0045】
ステップS104~ステップS105により、ハンドヘルドデバイスハンドル2の空間位置決めを実現することができる。即ち、インテリジェント端末1上の第1撮像装置400によって撮影されたハンドヘルドデバイスハンドル2上の第1赤外線センサ22の第1光点画像、及びハンドヘルドデバイスハンドル2に位置する第2慣性センサ23によって検出されたハンドヘルドデバイスハンドル2のIMUデータに基づいて、ハンドヘルドデバイスハンドル2の空間位置決め情報を確定することができる。
【0046】
例示的な仮想システム
本発明の第3態様として、本発明はまた、仮想システムを提供する。図11は、本発明の一実施例によって提供されるハンドヘルドデバイスの動作原理図を示す。図11に示すように、この仮想システムは、上記のインテリジェント端末1と、仮想頭部装着ディスプレイ機器31であって、インテリジェント端末1が仮想頭部装着ディスプレイ機器31本体に着脱可能に取り付けられる仮想頭部装着ディスプレイ機器31と、仮想操作ハンドル32と、を含む。仮想操作ハンドル32は、制御ハンドル33と、制御ハンドル33に配置された第2赤外線センサ34と、制御ハンドル33に配置され、制御ハンドル33のIMUデータを測定するための第3慣性センサ35と、を含む。制御ハンドル33及び第3慣性センサ35はそれぞれ主制御チップ600に通信接続される。
【0047】
インテリジェント端末1が仮想頭部装着ディスプレイ機器31に取り付けられると、機能切り替えモジュール601は、インテリジェント端末1の機能を仮想頭部装着ディスプレイ機能に切り替える。このとき、インテリジェント端末1、仮想頭部装着ディスプレイ機器31及び仮想操作ハンドル32は仮想システムを構成する。例えば、インテリジェント端末1、VRヘッドセット及びVRハンドルはVRシステムを構成する。
【0048】
インテリジェント端末1が仮想頭部装着ディスプレイ機器31に取り付けられた後、ユーザーが仮想システムを操作する過程において、インテリジェント端末1及び仮想操作ハンドル32の両方に対して空間位置決めを行う必要がある。図12は、本発明の別の実施例によって提供される仮想システムの動作原理図を示す。図12に示すように、主制御チップ600は、第3制御ユニット607と第3計算ユニット408を含む。
第3制御ユニット607は、機能切り替えモジュール601、第1撮像装置400及び第1慣性センサ700にそれぞれ通信接続される。第3制御ユニット607は、第1撮像装置400を制御してインテリジェント端末の位置する周囲環境の第1画像を撮影し、第1慣性センサ700を制御してインテリジェント端末のIMUデータを検出するために使用される。
第3計算ユニット408は、第3制御ユニット407、第1撮像装置400、第1赤外線センサ22及び第1慣性センサ700にそれぞれ通信接続される。第3計算ユニット408は、第1画像及びインテリジェント端末本体のIMUデータを取得し、インテリジェント端末本体のIMUデータ及び第1画像を計算して、インテリジェント端末の空間位置決め情報を生成するために使用される。
【0049】
具体的には、図13は、仮想システムにおけるインテリジェント端末の空間位置決め方法のフローチャートを示す。即ち、図13は、仮想システムにおけるインテリジェント端末の空間位置決め時の位置決め方法を示す。図13に示すように、
インテリジェント端末1の空間位置決め方法は、以下のステップS201~ステップS203を含む。
ステップS201では、機能切り替えモジュール601は、インテリジェント端末1が仮想頭部装着ディスプレイ機器31に取り付けられたという取付情報を受信した後、この取付情報に基づいて、インテリジェント端末1の機能を仮想頭部装着ディスプレイ機能に切り替える。
ステップS202では、機能切り替えモジュール601がインテリジェント端末1を仮想頭部装着ディスプレイ機能に切り替えることに成功すると、第3制御ユニット607は、インテリジェント端末1に位置する第1撮像装置400を制御してインテリジェント端末1の位置する周囲環境の第1画像を撮影し、第1慣性センサ700を制御してインテリジェント端末1のIMUデータを検出する。
第1撮像装置は、第3制御ユニット607の制御下で、インテリジェント端末1が位置する周囲環境を撮影して第1画像を形成し、第1画像を第3計算ユニット608に伝送する。第1慣性センサ700は、第3制御ユニット607の制御下で、インテリジェント端末1のIMUデータを検出し、インテリジェント端末1のIMUデータを第3計算ユニット608に伝送する。
ステップS203では、第3計算ユニット608が第1撮像装置400によって伝送された第1画像、及び第1慣性センサ700によって伝送されたインテリジェント端末1のIMUデータを受信した後、第3計算ユニット608は、インテリジェント端末本体100のIMUデータ及び第1画像を計算して、インテリジェント端末1の空間位置決め情報を生成する。
【0050】
第1慣性センサ700は、インテリジェント端末本体100のIMUデータを検出するために使用される。IMUデータとは、3つの回転角度の自由度を意味する。第1慣性センサ700は、インテリジェント端末本体100のIMUデータを検出した後、IMUデータを第3計算ユニット608に伝送する。第3計算ユニット608は、IMUデータ、及び第1撮像装置400によって撮影されたインテリジェント端末1の位置する環境の画像情報又はビデオ情報に基づいて、インテリジェント端末1の空間位置決め情報、つまりインテリジェント端末1の6DOFデータ(以下、6DOFデータと略称)を確定することができる、即ち、平行移動自由度と回転自由度に基づいて、6つの角度の自由度を取得することができる。
【0051】
ステップS201~ステップS203によって、インテリジェント端末1の空間位置決めを実現することができる。即ち、インテリジェント端末1に配置された第1慣性センサ700及び第1撮像装置400によって、インテリジェント端末1の空間位置決めを実現することができる。
【0052】
さらに、図14は、本発明の別の実施例によって提供される仮想システムの動作原理図を示す。図14に示すように、主制御チップ600は、第4制御ユニット609と第4計算ユニット6091をさらに含む。
第4制御ユニット609は、機能切り替えモジュール601、第1撮像装置400、第2赤外線センサ34及び第3慣性センサ35にそれぞれ通信接続される。第4制御ユニット609は、機能切り替えモジュール601がインテリジェント端末を仮想頭部装着ディスプレイ機能に切り替えたとき、第1撮像装置400を制御して仮想操作ハンドルに位置する第2赤外線センサ34を撮影し、仮想操作ハンドルに位置する第3慣性センサ35を制御して仮想操作ハンドルのIMUデータを検出するために使用される。
第4計算ユニット6091は、第3計算ユニット608、第1撮像装置400及び第3慣性センサ35にそれぞれ通信接続される。第4計算ユニット4091は、第3計算ユニット608によって算出されたインテリジェント端末1の空間位置決め情報、第1撮像装置400によって伝送された第2赤外線センサ34の第2光点画像、及び第3慣性センサ35によって伝送された仮想操作ハンドルのIMUデータを取得し、インテリジェント端末1の空間位置決め情報、第2光点画像及び仮想操作ハンドルのIMUデータを計算して、仮想操作ハンドルの空間位置決め情報を生成するために使用される。
【0053】
具体的には、図15は、図14に示される仮想システムのインテリジェント端末の空間位置決め方法のフローチャートを示す。即ち、図15は、仮想システムのインテリジェント端末の空間位置決め時の位置決め方法を示す。図15に示すように、インテリジェント端末1の空間位置決め方法は以下のステップS204~ステップS205を含む。
ステップS204では、第4制御ユニット609は、第1撮像装置400を制御して仮想操作ハンドル32に位置する第2赤外線センサ34を撮影し、仮想操作ハンドル32に位置する第3慣性センサ35を制御して仮想操作ハンドル32のIMUデータを検出する。
ステップS205では、第4計算ユニット6091は、第3計算ユニット608によって算出されたインテリジェント端末1の空間位置決め情報、第1撮像装置400によって伝送された第2赤外線センサ34の第2光点画像、及び第2慣性センサ23によって伝送された仮想操作ハンドル32のIMUデータを取得し、インテリジェント端末1の空間位置決め情報、第2光点画像及び仮想操作ハンドル32のIMUデータを計算して、仮想操作ハンドル32の空間位置決め情報を生成する。つまり、仮想操作ハンドル32の6DOFデータ(以下、6DOFデータと略称)、即ち、平行移動自由度及び回転自由度に基づいて、6つの角度の自由度を取得することができる。
【0054】
ステップS204~ステップS205により、仮想操作ハンドル32の空間位置決めを実現することができる。即ち、インテリジェント端末1上の第1撮像装置400によって撮影された仮想操作ハンドル32上の第2赤外線センサ34の第2光点画像、及び仮想操作ハンドル32に位置する第3慣性センサ35によって検出されたハンドヘルドデバイスハンドル2のIMUデータに基づいて、仮想操作ハンドル32の空間位置決め情報を確定することができる。
【0055】
オプションで、図16は、本発明の別の実施例によって提供される仮想操作ハンドル32の構造模式図を示す。図16に示すように、仮想操作ハンドル32は、ハンドルケーシング36をさらに含む。ハンドルケーシング36は、環形部361及び把握部362を含む。把握部362の中央には、制御ハンドル33を収容し固定するために凹部が設けられる。
【0056】
以下、図17を参照しながら、本発明の実施例による電子機器を説明する。図17は、本発明の一実施例による電子機器の構造模式図を示す。
【0057】
図17に示すように、電子機器900は、1つ又は複数のプロセッサ901及びメモリ902を含む。
【0058】
プロセッサ901は、中央処理装置(CPU)、あるいはデータ処理能力及び/又は情報実行能力を持つ他の形式の処理装置であってもよく、電子機器900における他の構成要素を制御して所望の機能を実行することができる。
【0059】
メモリ901は、1つ又は複数のコンピュータプログラム製品を含んでもよい。前記コンピュータプログラム製品は、例えば、揮発性メモリ及び/又は不揮発性メモリなど、様々な形式のコンピュータ読取可能な記憶媒体を含んでもよい。前記揮発性メモリは、例えば、ランダムアクセスメモリ(RAM)及び/又はキャッシュメモリ(cache)などを含んでもよい。前記不揮発性メモリは、例えば、読み取り専用メモリ(ROM)、ハードディスク、フラッシュメモリなどを含んでもよい。前記コンピュータ読取可能な記憶媒体には、1つ又は複数のコンピュータプログラム情報が記憶されてもよい。プロセッサ901は、前記プログラム情報を実行して、上述した本発明の各実施例のインテリジェント端末の空間位置決め方法又は他の所望の機能を実現することができる。
【0060】
一例では、電子機器900はまた、入力装置903と出力装置904を含んでもよい。これらの構成要素は、バスシステム及び/又は他の形式の接続機構(図示せず)を介して互いに接続される。
【0061】
この入力装置903は、例えば、キーボード、マウスなどを含んでもよい。
【0062】
この出力装置904は、外部に様々な情報を出力することができる。この出力装置904は、例えば、ディスプレイ、通信ネットワーク及びそれが接続される遠隔出力機器などを含んでもよい。
【0063】
当然のことながら、簡単化のために、図17は、電子機器900における本発明に関連する構成要素の一部のみを示し、バス、入力/出力インターフェースなどの構成要素を省略している。これに加えて、具体的な応用状況に応じて、電子機器900は、任意の他の適切な構成要素を含んでもよい。
【0064】
上記の方法及び機器に加えて、本発明の実施例は、コンピュータプログラム情報を含むコンピュータプログラム製品であってもよい。前記コンピュータプログラム情報は、プロセッサによって実行されると、本明細書に記載の本発明の様々な実施例によるインテリジェント端末の空間位置決め方法のステップを前記プロセッサに実行させる。
【0065】
前記コンピュータプログラム製品は、1種又は多種のプログラムプログラミング言語の任意の組み合わせで、本発明の実施例の操作を実行するためのプログラムコードを編集することができる。前記プログラミング言語は、Java、C++などのオブジェクト指向プログラミング言語を含み、また、「C」言語又は類似のプログラミング言語などの手続き型プログラミング言語を含む。プログラムコードは、ユーザー計算機器で完全に実行することができ、ユーザー機器で部分的に実行することができ、独立したソフトウェアパッケージとして実行することができ、一部はユーザー計算機器で一部は遠隔計算機器で実行することができ、あるいは遠隔計算機器又はサーバーで完全に実行することができる。
【0066】
さらに、本発明の実施例は、コンピュータプログラム情報が記憶されたコンピュータ読取可能な記憶媒体であってもよい。前記コンピュータプログラム情報は、プロセッサによって実行されると、前記プロセッサに、本明細書における本発明の様々な実施例によるインテリジェント端末の空間位置決め方法のステップを実行させる。
【0067】
前記コンピュータ読取可能な記憶媒体は、1つ又は複数の読取可能な媒体の任意の組み合わせを採用してもよい。読取可能な媒体は、読取可能な信号媒体又は読取可能な記憶媒体であってもよい。読取可能な記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、又は半導体のシステム、装置若しくはデバイス、又は上記の任意の組み合わせを含んでもよいが、これらに限定されない。読取可能な記憶媒体のより具体的な例(非網羅的なリスト)は、1つ又は複数のリード線を有する通信接続、携帯型ディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能なプログラム可能な読み取り専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、携帯型コンパクトディスク読み取り専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、又は上記の任意の組み合わせを含む。
【0068】
以上、本発明の基本原理を具体的な実施例と併せて説明したが、本発明で述べた利点、長所、効果などは例示に過ぎず、限定的なものではなく、これらの利点、長所、効果などは、本発明の各実施例に必要なものと考えるべきではないことに留意されたい。また、上記に開示された具体的な詳細は、例示的な目的及び理解を容易にする目的のためのものであって限定するものではなく、上記の詳細は、上記の具体的な詳細を用いて本発明を実施しなければならないことを限定するものではない。
【0069】
本発明に関わるデバイス、装置、機器、システムのブロック図は、例示的な例に過ぎず、ブロック図に示されるように接続、布置、配置されなければならないことを要求又は暗示することを意図するものではない。当業者が理解するように、これらのデバイス、装置、機器、システムは、任意の方式で接続、布置、配置することができる。「含む」、「包含する」、「有する」などの用語は、「含むが、これに限定されない」という意味の開放式の用語であり、それと互換的に使用することができる。ここで使用される「又は」と「及び」という用語は、文脈上明らかにそうではないことが示されない限り、「及び/又は」という用語を意味し、それと互換的に使用することができる。ここで使用される「など」という用語は、「などであるがそれに限定されない」という語句を意味し、それと互換的に使用することができる。
【0070】
なお、本発明の装置、機器及び方法では、各部材又は各ステップは、分解及び/又は再結合することができる。これらの分解及び/又は再結合は、本発明の等価物とみなされるべきである。
【0071】
当業者が本発明を作成又は使用できるように、開示される態様の以上の説明は提供される。これらの態様に対する様々な修正は、当業者には非常に明らかであり、ここで定義された一般的な原理は、本発明の範囲から逸脱することなく他の側面に適用することができる。従って、本発明は、ここで示される態様に限定されることを意図するものではなく、本発明の原理と新規な特徴と一致する最も広い範囲に従うものである。
【0072】
上述は本発明創造の好適な実施例に過ぎず、本発明創造を限定するものでなく、本発明創造の精神及び原則内に属する限り、行われるすべての修正、同等の置き換えなどは、いずれも本発明創造の保護範囲内に含まれるべきである。
【符号の説明】
【0073】
1-インテリジェント端末;100-インテリジェント端末本体;101-第1側面;102-第2側面;200-表示スクリーン;300-第3撮像装置;400-第1撮像装置;500-第2撮像装置;600-主制御チップ;601-機能切り替えモジュール;700-第1慣性センサ;800-画像プロセッサ;201-輝度コントローラー;602-第1制御ユニット;603-第1計算ユニット;第2制御ユニット604;第2計算ユニット605;第3制御ユニット607;第3計算ユニット608;第4制御ユニット609;第4計算ユニット6091;
2-ハンドヘルドデバイスハンドル;22-第1赤外線センサ;23-第2慣性センサ;24-コネクタ;25-多機能押しボタン;26-機能プロセッサ;31-仮想頭部装着ディスプレイ機器;32-仮想操作ハンドル;33-制御ハンドル;34-第2赤外線センサ;35-第3慣性センサ;36-ハンドルケーシング;361-環形部;362-把持部;37-第3赤外線センサ;38-第4慣性センサ;900-電子機器;901-プロセッサ902-メモリ903-入力装置;904-出力装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17