IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アントゥネス,ヌーノの特許一覧

特許7075404マルチメディア取得、登録及び管理システム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-17
(45)【発行日】2022-05-25
(54)【発明の名称】マルチメディア取得、登録及び管理システム及び方法
(51)【国際特許分類】
   G11B 27/00 20060101AFI20220518BHJP
   G03B 15/00 20210101ALI20220518BHJP
   G03B 17/56 20210101ALI20220518BHJP
   G11B 20/10 20060101ALI20220518BHJP
   G02C 11/00 20060101ALI20220518BHJP
【FI】
G11B27/00 D
G03B15/00 P
G03B17/56 A
G11B20/10 321Z
G02C11/00
【請求項の数】 15
(21)【出願番号】P 2019533194
(86)(22)【出願日】2018-01-14
(65)【公表番号】
(43)【公表日】2020-03-26
(86)【国際出願番号】 IB2018050226
(87)【国際公開番号】W WO2018130995
(87)【国際公開日】2018-07-19
【審査請求日】2020-11-19
(31)【優先権主張番号】109855
(32)【優先日】2017-01-13
(33)【優先権主張国・地域又は機関】PT
(31)【優先権主張番号】1702664.2
(32)【優先日】2017-02-19
(33)【優先権主張国・地域又は機関】GB
(73)【特許権者】
【識別番号】519215832
【氏名又は名称】アントゥネス,ヌーノ
【氏名又は名称原語表記】ANTUNES,Nuno
【住所又は居所原語表記】Avenida Republica,856,4o Esq-Trz.,4450-240 Matosinhos Portugal
(74)【代理人】
【識別番号】100142804
【弁理士】
【氏名又は名称】大上 寛
(72)【発明者】
【氏名】アントゥネス,ヌーノ
(72)【発明者】
【氏名】マルケス,ルーベン
(72)【発明者】
【氏名】アントゥネス,ジョセ
【審査官】中野 和彦
(56)【参考文献】
【文献】特表2017-524159(JP,A)
【文献】米国特許出願公開第2016/0025972(US,A1)
【文献】米国特許出願公開第2015/0084841(US,A1)
【文献】米国特許出願公開第2016/0286115(US,A1)
【文献】特表2014-511512(JP,A)
【文献】特開2014-165706(JP,A)
【文献】特開2016-212320(JP,A)
【文献】特表2018-508805(JP,A)
【文献】特開2016-134668(JP,A)
【文献】特開2007-049592(JP,A)
【文献】特開2008-139733(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G11B 27/00
G03B 15/00
G03B 17/56
G11B 20/10
G02C 11/00
(57)【特許請求の範囲】
【請求項1】
マルチメディア取得、登録及び管理するためのマルチメディアシステムであって、マルチメディアデータ取得のための少なくとも一つのデータ取得モジュール(A)、少なくとも一つのモジュール(A)で取得したマルチメディアデータを記録、保存、管理及び/または共有、伝送及び/またはストリーミングする機能を制御するための少なくとも一つのコンピュータモジュール(B)、及び前記マルチメディアデータ取得モジュール(A)を前記コンピュータモジュール(B)及び/または少なくとも一つのマルチメディアデータ処理モジュール(D)、及び/または少なくとも一つの周辺装置(P)に連結する少なくとも一つの接続モジュール(C1)を含み、
ここで前記データ取得モジュール(A)はマルチメディア眼鏡装置であって、この装置は:
- フレーム(1)とレンズ(10、11);
- 静止及び/または動的イメージをキャプチャすることができ、多様な記録モードを認知するカメラ(6)であって、前記カメラは前記眼鏡フレーム(1)とレンズ(10、11)に対するカメラの角度及びユーザの視点に合わせてカメラの視点を変更するか、ユーザのジェスチャ-或は音声-コマンドに応答してモーションピクチャ(動画)のキャプチャ及びイメージ(写真)キャプチャを開始、中止及び再開するように信号を発生するか、またはブックマークを追加する操作を可能とする少なくとも一つのモータ(8)に取り付けられているものであるカメラ;
- 光信号装置から放出する光の焦点角度を変更し、カメラの視野をズームイン(拡大)及びズームアウト(縮小)することができる光学機構;
- ユーザの音声をキャプチャする骨トランスデューサ(2)形態のマイクとスピーカを含み、また記録位置、例えば、記録モードの開始と中止に関する指示を出し、カメラの視点を信号で表す照明装置をオンまたはオフし、ビデオに音声ハイライト(highlight)を追加することにより、ユーザがコンピュータモジュール(B)を介してスマート眼鏡装置と相互疎通することができるようにするオーディオシステムであって、ここで前記スピーカは、マイクを介して受けた指示に応じてコンピュータモジュール(B)からユーザにフィードバックを提供し、追ってどのようなコマンドが実行されるか確認するものであるオーディオシステム;
- ユーザの頭の位置を確認して利用可能な眼鏡モード間の自動転換がなされるようにする少なくとも一つの慣性センサ;
- カメラ(6)の記録状態に対する信号を発生する第1照明装置(5)及び記録視点の確認のための第2照明装置;
- 接続モジュール(C1)を含み;及び
- データ取得モジュール(A)で取得したデータを記録、保存、管理及び/または共有、伝送及び/またはストリーミングする機能を制御するデータ処理ユニットを含むコンピュータモジュール(B)であって、このモジュール(B)は:
- データ取得モジュール(A)及び/またはこのモジュールのタッチスクリーン及び/またはキーボードを介してユーザが提供する指示に応答することができ、またネットワークを介して認証者が遠隔で制御することができ;
- 少なくとも一つのデータ取得モジュール(A)の機能、特に、動画キャプチャ及びイメージ(写真)キャプチャを開始、中止及び再開するか、関心視点をブックマークする機能を制御し;及び
前記モジュール(B)はまた:
- 記録に先立って、確認可能な人物に関連した機密データのキャプチャを避け、また検出された顔面をリアルタイムでカバー(保護)するために人物確認を防止或は遮断する機能がある顔面検出システム用コンピュータ映像アルゴリズムを含み;及び
- 前記コンピュータモジュール(B)をマルチメディアデータ取得モジュール(A)に連結する少なくとも一つの接続モジュール(C1)、前記コンピュータモジュール(B)を少なくとも一つのマルチメディアデータ処理モジュール(D)及び/または少なくとも一つの周辺装置(P)に連結する接続モジュール(C2)を具備するものである、マルチメディアシステム。
【請求項2】
マルチメディアデータを保存、記録、処理、編集、管理及び/または共有、伝送及び/またはストリーミングする少なくとも一つのマルチメディアデータ処理モジュール(D)をさらに含むものである、請求項1に記載のマルチメディアシステム。
【請求項3】
少なくとも一つの周辺装置(P)をさらに含むものである、請求項1または2に記載のマルチメディアシステム。
【請求項4】
前記モジュール(A)はレンズを取り外し及び交換するためのシステムを含むものである、請求項1に記載のマルチメディアシステム。
【請求項5】
前記モジュール(A)は耐水性コーティング或は遮水コーティングを含むものである、請求項1に記載のマルチメディアシステム。
【請求項6】
前記モジュール(A)は、眼鏡の保護レンズの後に装着された内部レンズを有する防雲機構を含み、この防雲機構は防曇レンズの縁に接着材料を用いて形成したものであって、保護レンズと防曇レンズとの間に含有された薄い空気層を有するものである、請求項1に記載のマルチメディアシステム。
【請求項7】
前記モジュール(A)とモジュール(B)との間の接続モジュール(C1)はY型ケーブル接続である、請求項1に記載のマルチメディアシステム。
【請求項8】
前記コンピュータモジュール(B)は自律的なエネルギ源を含む携帯型或は移動型装置である、請求項1に記載のマルチメディアシステム。
【請求項9】
前記エネルギ源がバッテリである、請求項に記載のマルチメディアシステム。
【請求項10】
前記コンピュータモジュール(B)はタッチスクリーンを含むものである、請求項1に記載のマルチメディアシステム。
【請求項11】
前記処理モジュール(D)は、マルチメディアデータを保存、記録、処理、編集、管理及び/または共有、伝送及び/またはストリーミングするデータ処理ユニット、前記マルチメディアデータ処理モジュール(D)を少なくとも一つのコンピュータモジュール(B)に連結する接続モジュール(C2)及び/または前記処理モジュール(D)を少なくとも一つの周辺装置(P)に連結する接続モジュール(C3)、またマルチメディア取得、登録及び/または管理方法を実行するコンピュータプログラムを含み、ここで前記方法は:
(a)少なくとも一つのデータ取得モジュール(A)からマルチメディアデータを取得し;
(b)少なくとも一つのモジュール(A)で取得したデータを接続モジュール(C1)を介して少なくとも一つのコンピュータモジュール(B)に送信、伝送及び/またはストリーミングし;
(c)接続モジュール(C2)を介して少なくとも一つのコンピュータモジュール(B)から少なくとも一つの処理モジュール(D)にデータを送信、共有、伝送及び/またはストリーミングし;
(d)受信されたマルチメディアデータを少なくとも一つの処理モジュール(D)及び/または、例えば、フロッピーディスク、DVD、ブルーレイ(Blu-Ray)、CD、ROM、PROM、EPROM、EEPROM或はフラッシュメモリなどのように、プログラム可能なコンピュータシステムと協働することができる電子式の読み取り可能な制御信号を有する少なくとも一つのデータ保存ユニットに保存、登録、処理、編集及び/または管理し;
(e)選択的に、前記マルチメディアデータを接続モジュール(C3)を介して少なくとも一つの周辺装置(P)及び/または少なくとも一つの他の処理モジュール(D)に共有、伝送及び/またはストリーミングし;及び
(f)選択的に、マルチメディアデータライブラリ(ML)を創出するステップを含む、請求項2に記載のマルチメディアシステム。
【請求項12】
前記マルチメディアデータ処理モジュール(D)は、フロッピーディスク、DVD、ブルーレイ(Blu-Ray)、CD、ROM、PROM、EPROM、EEPROM或はフラッシュメモリなどのように、プログラム可能なコンピュータシステム及び/またはマルチメディアデータ処理機と協働することができる電子式の読み取り可能な制御信号を有するデータ保存ユニットに記録されたマルチメディアデータを具備したマルチメディアライブラリ(ML)を含み、ここで前記マルチメディアデータは少なくとも一つのマルチメディアデータ取得モジュール(A)、好ましくは本発明のマルチメディア眼鏡によりマルチメディアイベント記録から好ましく収得されたものである、請求項に記載のマルチメディアシステム。
【請求項13】
マルチメディア取得、登録及び/または管理方法であって、
(a)少なくとも一つのコンピュータモジュール(B)により制御されるマルチメディア眼鏡形態の少なくとも一つのデータ取得モジュール(A)からマルチメディアデータを取得し;
(b)少なくとも一つのモジュール(A)で取得した前記データを少なくとも一つの接続モジュール(C1)を介して少なくとも一つのコンピュータモジュール(B)に送信、伝送及び/またはストリーミングし;
(c)選択的に、少なくとも一つの接続モジュール(C2)を介して少なくとも一つのコンピュータモジュール(B)から少なくとも一つの処理モジュール(D)に前記データを送信、共有、伝送及び/またはストリーミングし;
(d)選択的に、受信されたマルチメディアデータを少なくとも一つの処理モジュール(D)及び/または、例えば、フロッピーディスク、DVD、ブルーレイ(Blu-Ray)、CD、ROM、PROM、EPROM、EEPROM或はフラッシュメモリなどのように、プログラム可能なコンピュータシステムと協働することができる電子式の読み取り可能な制御信号を有する少なくとも一つのデータ保存ユニットに登録、処理、編集及び/または管理し;
(e)選択的に、前記マルチメディアデータを少なくとも一つのモジュール(D)から接続モジュール(C3)を介して少なくとも一つの周辺装置(P)及び/または少なくとも一つの他の処理モジュール(D)に共有、伝送及び/またはストリーミングし;及び/または
(f)選択的に、マルチメディアデータライブラリ(ML)を創出するステップを含むものである方法。
【請求項14】
前記(f)のステップのマルチメディアライブラリ(ML)はアクセスが制限されており、デジタルフォーマットされているものである、請求項13に記載の方法。
【請求項15】
マルチメディア眼鏡装置(A)であって、この装置は:
- フレーム(1)及びレンズ(10、11);
- 静止及び/または動的イメージをキャプチャすることができ、多様な記録モードを認知するカメラ(6)であって、前記カメラは前記眼鏡フレーム(1)及びレンズ(10、11)に対するカメラの角度及びユーザの視点に合わせてカメラの視点を変更するか、ユーザのジェスチャ-或は音声-コマンドに応答してモーションピクチャ(動画)のキャプチャ及びイメージ(写真)キャプチャを開始、中止及び再開するように信号発生するか、またはブックマークを追加する操作を可能とする少なくとも一つのモータ(8)に取り付けられているものであるカメラ;
- 光信号装置から放出する光の焦点角度を変更し、カメラの視野をズームイン(拡大)及びズームアウト(縮小)することができる光学機構;
- ユーザの音声をキャプチャする骨トランスデューサ(2)形態のマイクとスピーカを含み、また記録位置、例えば、記録モードの開始と中止に関する指示を出し、カメラの視点を信号で表す照明装置をオンまたはオフし、ビデオに音声ハイライト(highlight)を追加することにより、ユーザがコンピュータモジュール(B)を介してスマート眼鏡装置と相互疎通することができるようにするオーディオシステムであって、ここで前記スピーカは、マイクを介して受けた指示に応じてコンピュータモジュール(B)からユーザにフィードバックを提供し、追ってどのようなコマンドが実行されるか確認するものであるオーディオシステム;
- ユーザの頭の位置を確認して利用可能な眼鏡モード間の自動転換がなされるようにする少なくとも一つの慣性センサ;
- カメラ(6)の記録状態に対する信号を発生する第1照明装置(5)及び記録視点の確認のための第2照明装置;及び
- 接続モジュール(C1)を含むものである装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はマルチメディア取得、登録及び管理のためのシステム及び方法に関する。マルチメディア装置分野の一部であって、本発明は専門的或はレクリエーション領域においてマニュアル詳細化作業を記録する必要がある場合、及び記録することにより技術伝播に有益なコンテンツに有用に適用することができる。これは、医学、教育、社会保障、軍事、エンジニアリング及び工芸活動などの分野に特に重点を置くことができる。従って、本発明は新規の記録、管理及び学習方法を創出するのに有用である。
【背景技術】
【0002】
従来技術において、既存のマルチメディア取得、登録及び/または管理システムを専門的或はレクリエーション側面で用いることができるという点は公知の事実である。眼鏡(またスマート眼鏡としても知られた)で構成されたマルチメディアシステムは、例えば、US2016/0286115、WO2014/197109、US2015/009309及びCN203551883などに開示されたように既に公知されている。
【0003】
このようなシステムの殆どは、内蔵型イメージキャプチャカメラが具備されたものであって、特定の機能性を発揮するのに特化されたスマート眼鏡、及び取得したイメージを投射機に伝送する伝送機を含む。
【0004】
US2016/0286115は、前方の視野からイメージをキャプチャするカメラ、前記イメージをモバイル機器のモニタに伝送する手段として前記モニタのウィンドウの一部にイメージがディスプレイされる手段、及びモバイル機器或はユーザの頭や目の各方向の位置と関係ない方式で、均衡錘やある作動メカニズムを実行して前記カメラを前方視野に配置する構成要素を含むマルチメディアシステムを開示している。また、イヤホンやスピーカが具備されたオーディオシステムをここに統合することも言及している。一方、カメラがイメージキャプチャを開始するか終了すること、または対象体に焦点を合わせるように自動コマンド、或はユーザが入力するコマンド形式は開示されていない。また、魚眼レンズを用いることと記録用(通常的に「録画または録音」)スクリーンの一部を選択することも開示されている。このような選択は、イメージの中心距離に応じて解像度が変化するという限界点がある。これはモータを用いる代わりに、記録されたイメージの領域全体が詳細事項の記録に有用ではないということを意味する。要約すれば、前記文献は、装置の概念的特徴のみを述べたものに過ぎず、即ち、前述の複数の構成要素が装置内に統合される方式や、または眼鏡の製作に関連する技術的難点、言わば、腹腔鏡手術、外科医者と滅菌装備間の相互疎通など、医学的分野で用いるためにキャプチャしたイメージの精度に関連した諸問題を解決する方案などに対しては開示していない。さらに、カメラがキャプチャしたイメージを前記システムがスクリーンに供給するため、ユーザはディスプレイされたイメージを見ることに過ぎない。即ち、ユーザが装置のスクリーンを見つめるようになるため、前記公知のシステムを本発明と同じ方式で用いることはできない。
【0005】
公知の文献WO2014/197109は、赤外線イメージを透明ディスプレイスクリーン上に投射する眼鏡を開示している。前記眼鏡は、少なくとも2つのチャンバを含み、このそれぞれのチャンバが好ましくは周辺環境から赤外線イメージをキャプチャするものである立体ビデオカメラ機器及び投射システムで構成され、この時の投射システムは、(i)左目の視野の中で透明部上に第1赤外線イメージ;及び(ii)右目の視野の中で透明部上に第2赤外線イメージをそれぞれ投射する。この眼鏡は、夜間視野のように照度の低い条件でも自然視野を保持しながらユーザが周辺環境を見ることができる。このために、手動調整または電気力学的調整システムを介して配置されることができるカメラを提案する。このカメラは、2つのチャンバの収束性或は発散性を変化させて、キャプチャイメージをスクリーンの透明ビューファインダ上に投射する時、深さが変化する3次元的効果及びそれぞれ異なる距離にある事物に向かう目の移動と類似した効果を提供する。しかしながら、イメージをキャプチャするために垂直方向に調整することに対する言及はない。さらに、音声制御機構は提供していない。従って、このシステムは本発明と非常に異なり、同じ目的で用いることができない。
【0006】
US2014/221785(Google Tec. Holdings LLC)では、スマート眼鏡をメッセージ装置として用いることができることを開示しており、これは、手や指の動きを検出してソーシャルメディア方式で入力することによりユーザを認証し、音声メッセージをソーシャルメディアの文字メッセージに転換する機能をする。従って、この装置は、動きを感知する機構、マイク、音声メッセージをディスプレイ上に文字メッセージに変換させる応用プログラム(アプリケーション)で構成される。前記文献では、マルチメディアデータを取得するための、音声により制御される調整可能なビデオカメラに対しては開示していない。言い換えれば、前記装置は本発明とは非常に異なり、従って、同じ目的で用いることができない。
【0007】
US2013/437854(GoPro Inc.)は、少なくとも2台のカメラから得た2D-イメージからビデオ用3D-イメージを生成するシステム及び方法に対して開示している。このシステムは、本発明の装置とスマート眼鏡にカメラが具備された特徴を共有することに過ぎない。
【0008】
医療の目的で使用可能な眼鏡を含むマルチメディアシステムは、WO2016/195401 A1、WO2016/190607 A1及びWP2016/182090 A1に開示されている。
【0009】
前記文献のうちWO2016/195401 A1は、ヘッド装着型光学ディスプレイ(HMD)及びデータをHMDに無線で伝送するために、患者の体内或は表面に装着する少なくとも3つのセンサからなるシステムを開示している。HMDは、眼鏡の内部に組み込まれたおり、患者の体に対する外科的視野を前記センサ群から取得した3Dデータと併用して手術の際に医者をサポートすることができる。
【0010】
WO2016/190607 A1文献では、イメージディスプレイ装置、イメージ処理モジュール、イメージキャプチャ用カメラ、取得されたイメージをイメージ処理モジュールに伝送する通信ユニット、近赤外線(NIR)分光モジュール、及びNIRでキャプチャしたイメージをイメージ処理モジュールに伝送する通信モジュールを具備した眼鏡を含むマルチメディアシステムを開示している。このシステムは、蛍光イメージを発生させて外科医が手術対象部位の蛍光イメージをリアルタイムで監督することができるようにし、従って、手術をする間リアルタイムで病理状態を確認することができる。
【0011】
WO2016/182090文献では、眼鏡型ターミナル、映像ディスプレイユニット、写真撮影カメラ、外部環境に対するユーザの目をキャプチャするセンサユニット、及び物体を特定するためにユーザの目を分析する制御ユニットからなるマルチメディアシステムを開示している。
【0012】
現在、イメージ取得の柔軟性、ユーザとの相互疎通の容易性、データ伝送及び自律性の側面から最も機能性の高いマルチメディア眼鏡やスマート眼鏡は、PivotheadR社で市販する製品である。これらは、視点が固定されて鼻梁に置かれるビデオカメラを含む。ユーザと装置間の相互疎通はタッチ方式及び眼鏡フレームの後面に位置したLEDを介した状態表示により行われる。
【0013】
このような公知のマルチメディア眼鏡はいずれも、ユーザの音声に応答して調整することができ、行われた作業を正確かつ精密に記録するために、ユーザの視点に合わせてカメラの視点を能動的に変更する試みがない。
【0014】
前述のような公知のスマート眼鏡は、ユーザの要求に応じる、例えば、手動記録モード及び風景モードなどに適合した多様な記録モードを自動的に認知する機能がない。
【0015】
また、従来技術の公知されたマルチメディア眼鏡は、記録に先立って顔面を検出及びこれをリアルタイムでカバー(保護)する検閲機構を具備するものがない。
【0016】
また他の側面から、既存装置の中では、映像領域や視点領域をリアルタイム信号化(或は信号発生)する機構を具備するものがない。
【0017】
さらに、従来技術によるマルチメディア眼鏡は、カメラの視点の調整、モーションピクチャ(動画)のキャプチャ及びイメージ(写真)キャプチャの開始、中止及び再開、またはブックマークの追加などに関するユーザの音声或はジェスチャコマンドに応答しない。
【0018】
従って、専門的或はレクリエーション環境で使用可能なマルチメディアデータの取得、登録及び管理システム及び方法の開発が求められる。
【発明の概要】
【発明が解決しようとする課題】
【0019】
本発明は、マルチメディア取得、登録及び管理のためのシステム及び方法に関する。
【0020】
本発明のマルチメディアシステムは、データ取得モジュール、好ましくは、マルチメディアデータ取得のためのマルチメディア眼鏡である所謂スマート眼鏡、取得されたマルチメディアデータを記録、保存、管理及び/または共有する機能を制御するためのデータ処理ユニットを含むコンピュータモジュール、及び前記データ取得モジュールをコンピュータモジュールに連結し、またマルチメディアデータを共有、伝送及び/またはストリーミングする少なくとも一つの接続モジュールを含む。
【0021】
選択的に、このマルチメディアシステムは、マルチメディアデータを保存、記録、処理、編集、管理、共有、伝送及び/またはストリーミングするマルチメディアデータ処理モジュール、及びデータ取得モジュール及び/またはコンピュータモジュールに連結する少なくとも一つの更なる接続モジュールをさらに含むことができる。
【0022】
本発明のマルチメディアシステムは、マルチメディアデータライブラリをさらに含むことができる。
【課題を解決するための手段】
【0023】
従って、第1の態様において、本発明は、特許請求の範囲の請求項1によるマルチメディア取得、登録及び管理システムに関する。
【0024】
データ取得モジュールAは、眼鏡フレームに処理機能とエネルギ保存機能が統合されている既存の代案と比較する時、さらに優れた性能と自律性を有したものであって、非局在化したコンピュータモジュールBと連携してユーザの視点に合わせてカメラの視点を変更する機能を有するマルチメディア眼鏡であり、これを用いれば、高い処理能力及び自律性が裏付けられる高い差別性のマルチメディア記録が可能である。この記録は、また編集、管理、カタログ化及びマルチメディアデータ処理モジュールDに保存されて、アクセス容易性の向上と記録の諮問、個別及び共有メディアライブラリの創出に繋がる。
(そのような記録へのアクセスおよび相談がより容易になり、個別の共有可能なメディアライブラリが作成される)
【0025】
タッチ式インタフェースなしで及び調整可能な視点を伴って操作することができる前記眼鏡は、この装置の多才多能性をさらに増大させて周辺環境の多様な要求に適切に対応することができる。照明装置を撮影領域の信号発生機構として選好的に用いることにより、関連する記録領域の境界を決定することができる。
【0026】
人体工学性を低下させずに、機能性及び自律性をさらに向上するために、全てのコンピュータ入力及びエネルギ保存はさらに大きい体積を利用することができる眼鏡フレームの外部で行われる。
【0027】
本発明はまた、請求項2によるデータ処理モジュールDを含むマルチメディアシステムに関するものであって、このシステムは、マルチメディアライブラリMLを保存することができ、及び/または請求項3による少なくとも一つの周辺装置Pを含む。
【0028】
例えば、コンピュータに内蔵されたマルチメディアデータ処理モジュールを利用すれば、大規模のデータを管理、保存及び共有することができ、処理ユニットよりさらに優れた性能及び更なる容易性を達成する。
【0029】
マルチメディアライブラリが存在すれば、ユーザはカスタマイズすることができ、また保存されたコンテンツに、より迅速且つ容易にアクセスすることができ、このようなコンテンツは個人化された方式でタグ及びカタログ化されている。
【0030】
最後に、本発明は請求項15によるマルチメディア取得、登録及び管理方法に関する。
【発明の効果】
【0031】
本発明のマルチメディアデータ取得及び記録方法は、登録の正確性を高め、マルチメディア情報が意志に反して損失されることを最小化するために、ユーザの視点に合わせた所定の動的(dynamic)視点でイメージをキャプチャすることができる。さらに、取得されたマルチメディアデータの記録、保存、管理及び/または共有などの機能を制御するデータ処理ユニットを含むコンピュータモジュール、及び/またはデータを選択的に及び客観的に保存、管理、編集及び共有することができるようにするマルチメディアデータ処理モジュールに前記データを選択的に伝達することができる。
【図面の簡単な説明】
【0032】
図1】本発明のマルチメディアシステムの概路図であって、ここで(A)は少なくとも一つのデータ取得モジュール、(B)は少なくとも一つのコンピュータモジュール、及び(C1)は前記少なくとも一つのモジュールAとモジュールBの間の少なくとも一つの接続モジュールを示す。
図2】本発明の好ましい具現例の概路図であって、ここで(A)はデータ取得モジュール、(B)はコンピュータモジュール、(C1)は前記モジュールAとモジュールBの間の接続モジュール、(D)は少なくとも一つのマルチメディアデータ処理モジュール、(C2)は前記少なくとも一つのモジュールBと少なくとも一つのモジュールDの間の少なくとも一つの接続モジュール、(P)は例えば、互いに同一または異なるようにモニタ、プリンタ、また他のモジュールD及び/または遠隔制御装置などの少なくとも一つの周辺装置、及び(ML)は少なくとも一つのマルチメディアライブラリを示す。
図3】本発明の好ましい具現例を示しており、ここでマルチメディアデータ取得モジュールAはマルチメディア眼鏡装置であって、ここで:(1)は眼鏡のフレーム;(2)は音響フィードバックシステムであって例えば骨トランスデューサ;及び(3)はマルチメディア眼鏡のテンプル部をそれぞれ示す。
図4】本発明の好ましい具現例によるマルチメディア眼鏡の構成要素のうち一部を示しており、ここで:(1)はフレーム;(4)は前方部のカバー;(5)は記録状態の信号発生機構;(6)はカメラ及びカメラの視点を確認する照明機構が具備されたモータ駆動プラットフォーム;(7)は眼鏡体の後方壁;(8)はプラットフォームドッキングモータ;(9)はプラットフォームの回転軸と同期するヒンジ機構;(10)は眼鏡の左側レンズ;(11)は眼鏡の右側レンズ;(12)は眼鏡の左側鼻梁;(13)は眼鏡の右側鼻梁;及び(14)はカメラ保護カバーを示す。
図5図5.1~図5.6に区分され、本発明の好ましい具現例の中の一つによるマルチメディアライブラリのインタフェースの一部を示す。
【発明を実施するための形態】
【0033】
第1の態様において、本発明は、マルチメディア取得、登録及び管理のためのマルチメディアシステムに関する。
【0034】
1.マルチメディアシステム
本発明のマルチメディアシステム(図1参照)は、マルチメディアデータ取得のための少なくとも一つのデータ取得モジュールA、データ処理ユニットを具備し、少なくとも一つのモジュールAで取得したマルチメディアデータを記録、保存、管理及び/または共有、伝送及び/またはストリーミングする機能を制御するための少なくとも一つのコンピュータモジュールB、及び少なくとも一つのマルチメディアデータ取得モジュールAを前記少なくとも一つのコンピュータモジュールBに連結する少なくとも一つの接続モジュールC1を含む。
【0035】
選択的に、図2に示すように、前記システムはマルチメディアデータを保存、記録、処理、編集、管理及び/または共有するための少なくとも一つのマルチメディアデータ処理モジュールD、及び前記少なくとも一つのマルチメディアデータ処理モジュールDを少なくとも一つのコンピュータモジュールBに連結する一つ以上の接続モジュールC2をさらに含むことができる。
【0036】
選択的に、また図2に示すように、前記システムは一つ以上の周辺装置P、及び前記一つ以上の周辺装置Pを少なくとも一つのコンピュータモジュールB及び/または少なくとも一つのマルチメディアデータ処理モジュールDに連結する少なくとも一つの接続モジュールC3をさらに含むことができる。
【0037】
本発明の範囲において、前記周辺装置Pは、例えば、互いに同一または異なるようにモニタ、キーボード、プリンタ、遠隔制御装置及び/または遠隔サーバなどであってもよい。
【0038】
好ましい一具現例において、本発明のマルチメディアシステムは:
- マルチメディアデータ取得のための少なくとも一つのデータ取得モジュールA;
- データ処理ユニットを具備し、少なくとも一つのデータ取得モジュールAで取得したマルチメディアデータを記録、保存、管理及び/または共有、伝送及び/またはストリーミングする機能を制御する少なくとも一つのコンピュータモジュールB;
- 少なくとも一つのマルチメディアデータ取得モジュールAを少なくとも一つのコンピュータモジュールBに連結する少なくとも一つの接続モジュールC1;
- マルチメディアデータを保存、記録、処理、編集及び管理、及び/または共有するための少なくとも一つのマルチメディアデータ処理モジュールD;
- 少なくとも一つのモジュールDを少なくとも一つのコンピュータモジュールBに連結する少なくとも一つの接続モジュールC2;及び/または
- モニタ、キーボード、プリンタ及び/または遠隔制御装置などの一つ以上の周辺装置P;
- 前記一つ以上の周辺装置Pを接続モジュールC3を介して少なくとも一つのコンピュータモジュールB及び/または少なくとも一つのマルチメディアデータ処理モジュールDに連結するための少なくとも一つの更なる接続モジュールC3を含む。
【0039】
さらに好ましい一具現例において、本発明のマルチメディアシステムは:
- マルチメディアデータ取得のためのデータ取得モジュールAとしての本発明の少なくとも一つのマルチメディア眼鏡;及び/または
- データ処理ユニットを具備し、少なくとも一つのモジュールAで取得したマルチメディアデータを記録、保存、管理及び/または共有、伝送及び/またはストリーミングする機能を制御する少なくとも一つのコンピュータモジュールBであって、このモジュールBはタッチスクリーン及び電源としてバッテリを含み、前記データ処理ユニットは人物確認を遮断及び/または防止する機能のコンピュータ映像アルゴリズムを含むものである、コンピュータモジュール;及び
- 少なくとも一つのマルチメディアデータ取得モジュールAを少なくとも一つのコンピュータモジュールBに連結する少なくとも一つの接続モジュールC1であって、この接続C1はY型ケーブル接続である接続モジュールを含む。
【0040】
その他のさらに好ましい一具現例において、本発明のマルチメディアシステムは:
- マルチメディアデータ取得のためのデータ取得モジュールAとしての本発明の少なくとも一つのマルチメディア眼鏡;及び/または
- データ処理ユニットを具備し、少なくとも一つのデータ取得モジュールAで取得したマルチメディアデータを記録、保存、管理及び/または共有、伝送及び/またはストリーミングする機能を制御する少なくとも一つのコンピュータモジュールBであって、このモジュールBはタッチスクリーン及び電源としてバッテリを含み、前記データ処理ユニットは人物確認を遮断及び/または防止する機能のコンピュータ映像アルゴリズムを含むものである、コンピュータモジュール;
- 少なくとも一つのマルチメディアデータ取得モジュールAを少なくとも一つのコンピュータモジュールBに連結する少なくとも一つの接続モジュールC1であって、この接続C1はY型ケーブル接続であるものである接続モジュール;
- マルチメディアデータを保存、記録、処理、編集及び管理、及び/または共有するための少なくとも一つのマルチメディアデータ処理モジュールDと、またフロッピーディスク、DVD、ブルーレイ(Blu-Ray)、CD、ROM、PROM、EPROM、EEPROM及び/またはフラッシュ(FLASH)メモリなどのように、プログラム可能なコンピュータシステムと協働することができる電子式の読み取り可能な制御信号を有する少なくとも一つのデータ保存ユニットであるものである、前記データ処理モジュール及びデータ保存ユニット;
- 少なくとも一つのコンピュータモジュールBを少なくとも一つのモジュールDに連結する少なくとも一つの接続モジュールC2;及び/または
- モニタ、キーボード、プリンタ、遠隔制御装置及び/または遠隔サーバなどの一つ以上の周辺装置P;及び
- 少なくとも一つのコンピュータモジュールB及び/または少なくとも一つのマルチメディアデータ処理モジュールDを前記一つ以上の周辺装置Pに連結する少なくとも一つの接続モジュールC3を含む。
【0041】
最も好ましい一具現例において、本発明のマルチメディアシステムは:
- マルチメディアデータ取得のためのデータ取得モジュールAとしての本発明の少なくとも一つのマルチメディア眼鏡;
- データ処理ユニットを具備し、少なくとも一つのデータ取得モジュールAで取得したマルチメディアデータを記録、保存、管理及び/または共有、伝送及び/またはストリーミングする機能を制御する少なくとも一つのコンピュータモジュールBであって、このモジュールBはタッチスクリーン及び電源としてバッテリを含み、前記データ処理ユニットは人物確認を遮断及び/または防止する機能のコンピュータ映像アルゴリズムを含むものである、コンピュータモジュール;
- 少なくとも一つのマルチメディアデータ取得モジュールAを少なくとも一つのコンピュータモジュールBに連結する少なくとも一つの接続モジュールC1であって、この接続C1はY型ケーブル接続であるものである接続モジュール;及び
- マルチメディアデータを保存、記録、処理、編集及び管理、及び/または共有するための少なくとも一つのマルチメディアデータ処理モジュールDと、またフロッピーディスク、DVD、ブルーレイ(Blu-Ray)、CD、ROM、PROM、EPROM、EEPROM及び/またはフラッシュ(FLASH)メモリなどのように、プログラム可能なコンピュータシステムと協働することができる電子式の読み取り可能な制御信号を有する少なくとも一つのデータ保存ユニットである、前記データ処理モジュール及びデータ保存ユニット;
- 少なくとも一つのコンピュータモジュールBを少なくとも一つのモジュールDに連結する少なくとも一つの接続モジュールC2;及び/または
- モニタ、キーボード、プリンタ及び/または遠隔制御装置などの一つ以上の周辺装置P;及び
- 前記一つ以上の周辺装置Pを少なくとも一つのコンピュータモジュールB及び/または少なくとも一つのマルチメディアデータ処理モジュールDに連結する少なくとも一つの接続モジュールC3を含む。
【0042】
前述のように具体的に開示されていないが、下記で詳細に述べるシステムのモジュール間のまた他の組み合わせも本発明の範囲に含まれる。
【0043】
2.データ取得モジュールA
データ取得モジュールAは、第1例示の場合、記録用コンピュータモジュールBに伝送或はストリーミングされるイメージ及び音響などのマルチメディアデータを取得するためのものである。本発明において、データ取得モジュールAは高い差別性のマルチメディア記録物をキャプチャすることができる。
【0044】
本発明の好ましい一具現例において、前記データ取得モジュールAはカメラ、スピーカ及びマイクが一体化されたマルチメディア眼鏡である。
【0045】
さらに好ましい一具現例において、前記データ取得モジュールAは、例えば、図3に示されたような本発明によるマルチメディア眼鏡である。このようなマルチメディア眼鏡やスマート眼鏡は、フレーム1とレンズ10、11以外に、静止イメージ及び/または動的イメージをキャプチャすることができる少なくとも一つのカメラであって、前記カメラはフレーム及びレンズに対するカメラの位置角度を変更可能とする一つ以上のモータを具備するものであるカメラ;
少なくとも一つのスピーカとマイクを具備したオーディオシステム;
少なくとも一つの慣性センサ;
カメラの記録状態5に対して信号を発生するか、及び/またはカメラの視点を確認するための少なくとも一つの照明装置;
少なくとも一つの接続モジュールC1;及び何れの電源を含む。
【0046】
その他のさらに好ましい本発明の一具現例において、マルチメディア眼鏡は少なくとも一つのカメラ、少なくとも一つのモータ8及び移動式プラットフォーム6上に位置した少なくとも一つの照明装置を含み、前記プラットフォームはコンピュータモジュールBに連結時、カメラの位置角度を手動または自動で調節することができる。
【0047】
最も好ましい一具現例において、マルチメディア眼鏡は、骨トランスデューサ型スピーカ2が具備されたオーディオシステムをさらに含む。
【0048】
また他の好ましい一具現例において、マルチメディア眼鏡は、前述のプラットフォームの内部或はその外部に組み込まれたものであって、記録状態に対して信号を発生する少なくとも一つの光信号装置5及び6、例えば、LED、及び/またはカメラの視点を確認するための照明装置をさらに含む。
【0049】
その他の更なる好ましい一具現例において、マルチメディア眼鏡は前述のプラットフォームの内部或はその外部に組み込まれたものであって、光信号装置から放出される光の焦点角度を変更することができ、またカメラの視野をズームイン及びズームアウト(拡大/縮小)することができる光学機構をさらに含む。
【0050】
その他に更なる好ましい一具現例において、マルチメディア眼鏡は、眼鏡の保護レンズの後に装着された内部レンズが具備された防曇機構をさらに含む。保護レンズと前記防曇レンズとの間には薄い空気層が含有されており、このためにレンズの縁に接着材料を用いる。このような機構を利用すれば、保護レンズに排出水蒸気が凝結されることを遅延するか完全に防止することができ、これは保護レンズの後に装着された防曇レンズがより暖かいからである。
【0051】
従って、最も好ましい具現例において、本発明のマルチメディア眼鏡は:
- 静止イメージや動的イメージをキャプチャするためにビデオカメラ(図示せず)が具備された配向性及びモータ駆動式プラットフォーム6、設定位置を調整するモータ8、ユーザの利用時に眼鏡の方向を決めてカメラの視点を予め定義したパラメータで自動的に調整する慣性センサ(図示せず);
- 光信号装置から放出する光の焦点角度を変更することができ、またカメラの視野をズームイン及びズームアウトすることができる光学機構;
- マイク(図4に図示せず)が具備され、ユーザの音声をキャプチャしてユーザが記録位置に関する指示、例えば、記録モードを開始及び中止する指示を出し、カメラの視点を示す照明装置をオン又はオフし、音声ハイライトをビデオに付加することによりコンピュータモジュールBを介してスマート眼鏡装置と相互疎通可能とするオーディオシステム;
- 防雲機構を具備したものであって、排出水蒸気がレンズに凝結することを防止してユーザに鮮やかな視野を提供するレンズ;及び
- 取得されたマルチメディアデータをコンピュータモジュールBに伝送する少なくとも一つの接続モジュールを含む。
【0052】
オーディオシステムの一部であるスピーカ型機構は、マイクを介して受けた指示に応じてコンピュータモジュールBからユーザにフィードバックを提供し、偶発的及び不適切なコマンドが実行されることを防止するために、追ってどのようなコマンドが遂行されるか確認する。好ましくは、マイクと骨トランスデューサ型スピーカ2を利用するオーディオシステムは口頭連絡方式を創出することができる。
【0053】
2.1 マルチメディア眼鏡:
例えば、図3に示すように、前述で既に部分的に述べた通り、データ取得モジュールAの役割をする本発明のマルチメディア眼鏡は、マルチメディアデータを取得し、これをコンピュータモジュールBに伝送することができる。
【0054】
好ましくは、長期間用いることができるように軽量材質で製作され、人体工学的に設計されたこの眼鏡は、マルチメディア、ビデオ及びオーディオ記録装置を鼻梁部に組み込ませる。また、眼鏡の一部を耐水性或は防水性フィルムでコーティングすることもできる。
【0055】
好ましくは、テンプル部3の末端に小型スピーカ2を設置して眼鏡をかけるユーザの側頭骨の骨突起と接触の際、好ましくは骨伝導経路を利用してコンピュータモジュールBの情報を伝送する。
【0056】
また、慣性センサをマルチメディア眼鏡、好ましくはテンプル部3の末端に設置する。このセンサは、ユーザの頭の位置を確認してマルチメディア眼鏡の利用可能なモード、例えば、手動記録モード及び風景記録モードなどを自動的に転換するためのものである。
【0057】
例えば、前記マルチメディア眼鏡をコンピュータモジュールBに連結するために、接続ケーブルのためのサポート形態及び/または通過経路を眼鏡フレームに提供することができる。
【0058】
さらに、マルチメディア眼鏡は、例えば、LEDなど一つ以上の照明装置を起動するのに十分なエネルギを供給するために、バッテリをさらに含むことができる。
【0059】
マルチメディア眼鏡はまた、マルチメディアデータ取得構成要素をサポート或は組み込むために及び/またはユーザとコンピュータモジュールBとの間の相互疎通を容易にするためにプラットフォーム6をさらに含むことができる。
【0060】
2.2 レンズ:
マルチメディア眼鏡のレンズ10、11は、課題を実施する際に、マルチメディアデータの取得だけでなく視力保護及び視力欠乏の矯正用途として前記マルチメディア眼鏡Aを用いるために矯正レンズを必要とするユーザに合わせてカスタマイズすることができる。このレンズ10、11はマルチメディア眼鏡のフレーム1上の固定された位置に配置されることが好ましい。内部レンズを具備した防雲機構は、眼鏡の保護レンズの後に装着されることができる。前記内部レンズの縁に接着材料を用いることにより薄い空気層が保護レンズと防曇レンズとの間に含有される。
【0061】
2.3 カメラ:
ビデオカメラは、好ましくは鼻梁に位置し、理想的には移動式プラットフォーム6上の照明装置と同様に配向され、カメラの各位置を垂直傾斜などに変更する機能性モータ8に依存する。
【0062】
カメラ位置は音声コマンド及び/またはジェスチャで調整することができ、ユーザがカメラの視点を自分の視点に合わせて調整する。このようなコマンドを通じて、タッチ動作なしでコンピュータモジュールBとの相互疎通が可能であり、多様な指示を出してカメラの全ての機能を分析することができる。
【0063】
2.4 プラットフォーム:
マルチメディアデータキャプチャ装置、即ち眼鏡の鼻梁部に、モータ8が内部に組み込まれているので、移動可能なプラットフォーム6を設置することが好ましい。このプラットフォームはまたビデオカメラ及び少なくとも一つの照明装置、例えば、LEDをさらに含むことができる。好ましくは、光信号装置から放出する光の焦点角度を変更することができ、またカメラの視野をズームイン及びズームアウトすることができる光学機構が前記プラットフォームに配置される。
【0064】
2.5 照明装置:
マルチメディア眼鏡は一つ以上の照明装置を含むことができる。これらは、眼鏡フレーム1の内部及び/またはプラットフォーム6上に組み込まれることができる。
【0065】
好ましく、照明装置の中の一つは同一のプラットフォーム6にカメラと同じ角度で装着されたLEDであり、カメラの視点を確認する機能がある。即ち、スポットライトは動画/写真撮影領域の位置を指す。
本発明のまた他の好ましい具現例は、眼鏡フレーム1の側面及び前面にある鮮かな可視的な光信号装置5、好ましくはLEDの位置であって、この装置は記録モード及びマルチメディアデータの取得が進行中であることを信号で示す機能がある。
【0066】
本発明の最も好ましい具現例において、スマート眼鏡は前述の照明装置の中の少なくとも一つを含む。
【0067】
2.6 モータ:
モータ8は、好ましくは眼鏡の鼻梁部に配置され、カメラ及び照明装置と共にプラットフォーム6に結合され、マルチメディアデータ記録群の方向性を決定する。このモータは、モジュール(プラットフォーム、カメラ及び照明装置で構成された)に移動力を付与し、音声指示及び/またはジェスチャ指示により制御されるので手動調整が必要ではない。しかし、手動調整ももちろん可能である。
【0068】
2.7 マイク:
好ましく、マイクはマルチメディア眼鏡Aの鼻梁部及び鼻骨部と近い部位に配置される。マイクは適切なフィルム膜でコーティングすることができ、それにより、防水性或は耐湿性となり得る。マイクは、ユーザの音声指示をコンピュータモジュールに伝送して、必要に応じて眼鏡の機能性及び/または設定を調整することができる。また、口頭通信方式を創出することができる。
【0069】
2.8 スピーカ:
好ましく、スピーカ2は側頭骨の突起と接触し、コンピュータモジュールからユーザに情報を伝送するために音響骨伝導経路(骨伝導)を用いる。また、口頭通信方式を容易に用いる。
【0070】
2.9.慣性センサ:
このセンサは、好ましくは眼鏡のテンプル部3の一箇所に装着してユーザの頭の位置を確認することができるようにする。用いられる検閲法を適用する度に調整するデータキャプチャ群(プラットフォーム、カメラ及び照明装置)の予め設定された使用モードを、好ましくは自動的に交代させて機密データのキャプチャを制限する。イメージ安定化システムを創出することにも用いることができる。
【0071】
2.10 接続モジュールC1:
データ取得モジュールAは、マルチメディアデータを受信、保存、記録、管理、共有、伝送及び/または受信されたマルチメディアデータをストリーミングするデータ処理機に対する少なくとも一つの形態の接続を含まなければならない。
【0072】
この接続は、ケーブル、Wi-Fi、ブルートゥース、赤外線及び/またはデータ取得モジュールAで取得したマルチメディアデータをデータ処理機、例えば、コンピュータモジュールBのデータ処理ユニットに送信、共有、伝送及び/またはストリーミングすることができるようにする、その他の方式の接続形態からなることができる。
【0073】
本発明の好ましい一具現例において、接続モジュールCはコンピュータモジュールBに対する接続C1を含む。より好ましい一具現例において、このようなコンピュータモジュールBは本発明のコンピュータモジュールBである。眼鏡AとコンピュータモジュールBとの間の接続は、ケーブルを介して実行されて接続セキュリティ及びデータ機密性を向上することができる。電子ケーブルは眼鏡のテンプル部3を通過することが好ましい。
【0074】
好ましくは、2つのケーブル群がフレームから始まって眼鏡の各テンプル部4の末端に配置され、ケーブルはテンプル部3の出口から所定の距離でY形態に再統合される(Y型ケーブル接続)。さらに、ユーザは、Y型ケーブルに沿ってスライド装置を調整することにより、テンプル部から抜け出た二つのケーブルが互いに接触する距離を減少させることができる。これは突然動く時、ユーザの頭に、或は眼鏡を落としやすい位置に眼鏡を置いた時の安全性が増加するという長所を提供する。
【0075】
3.コンピュータモジュールB
3.1 処理ユニット:
コンピュータモジュールBは、少なくとも一つのデータ取得モジュールAの機能、即ち、データ取得モジュールAで取得したマルチメディアデータを記録、保存、管理及び/または共有、伝送及び/またはストリーミングする機能を制御するデータ処理ユニット、タッチスクリーン及び/またはキーボード、及び電源及び/または電源接続部を含む。
【0076】
前記コンピュータモジュールBは、データ取得モジュールA及び/またはこのタッチスクリーン及び/またはキーボードを介してユーザが入力した指示に対応することができ、また認証者によりネットワーク、例えば、イントラネット及び/またはインターネットを介して遠隔で制御されることができる。
【0077】
コンピュータモジュールBはまた、少なくとも一つのマルチメディアデータ取得モジュールAに連結させる少なくとも一つの接続モジュールC1を含む。
【0078】
コンピュータモジュールBはまた、前記コンピュータモジュールBを少なくとも一つのマルチメディアデータ処理モジュールBに連結する少なくとも一つの接続モジュールC2、及び/またはコンピュータモジュールBを少なくとも一つ或はその以上の周辺装置Pに連結する少なくとも一つの接続モジュールC3をさらに含むことができる。
【0079】
コンピュータモジュールBは、好ましくは電源として前記コンピュータモジュールBと、また好ましくはデータ取得モジュールAに電力を供給するバッテリを含む。バッテリは充電型であり、また電源ソケットに連結した状態で電力を供給することができるので、コンピュータモジュールBを携帯或は移動させることができる。
【0080】
コンピュータモジュールBのデータ処理ユニットを介して少なくとも一つのデータ取得モジュールAの機能、特に、動画キャプチャ及びイメージ(写真)キャプチャの開始、中断及び再開或は関心対象位置をブックマークする機能を制御することができる。
【0081】
本発明の好ましい一具現例において、コンピュータモジュールBのデータ処理ユニットはコンピュータ映像アルゴリズム、例えば、人物確認を防止或は遮断する機能を備えた顔面検出装置を含むことにより、確認人物に関する機密データをキャプチャすることを避けることになる。
【0082】
3.2 スクリーン:
コンピュータモジュールBはまた、ユーザとこのデータ処理ユニットとの間の手動インタフェースモードを創出する好ましい機能があり、キャプチャしたマルチメディアコンテンツを鑑賞することができるスクリーンをさらに含むことができる。
【0083】
このスクリーンは、好ましくは接触式或はタッチスクリーンであり、コンピュータモジュールBの前面に配置されることができる。本発明のまた他の具現例において、このスクリーンは接触式ではなく、代案として、ユーザの指示をコンピュータモジュールBに組み込まれたキーボードを介して入力することができるか、或は遠隔でユーザの指示入力を行うこともできる。
【0084】
また他の好ましい具現例において、コンピュータモジュールBはタッチスクリーンを含み、かつ遠隔で操作することもできる。コンピュータモジュールBはまた、ケース或はフィルムでコーティングすることができ、これは、好ましくは耐水性或は水密性である。コンピュータモジュールBはまた、セキュリティ及び/またはプライバシー保護目的のシール(seal)をさらに含むこともできる。
【0085】
3.3 接続モジュールC1、C2、C3:
コンピュータモジュールBは、データ取得モジュールAに対する少なくとも一つの形態の接続、例えば、接続モジュールC1、また受信されたマルチメディアデータを前記マルチメディアデータ処理モジュールDが保存、記録、管理、共有、伝送及び/またはストリーミングすることができるようにするための少なくともマルチメディアデータ処理モジュールDに対する接続、例えば、接続モジュールC2を具備する必要がある。また、少なくとも一つの周辺装置Pに連結するための接続、例えば、接続モジュールC3を含む。
【0086】
接続モジュールC1の形態(C1型接続)は前述した通りである。C2型接続及びC3型接続は、C1型接続と同様にケーブル、Wi-Fi、ブルートゥース、赤外線及び/またはその他の接続形態で遂行されることができる。C2型接続は少なくともデータ取得モジュールAが取得して少なくともコンピュータモジュールBに含有されたマルチメディアデータをコンピュータモジュールBが少なくとも一つのマルチメディアデータ処理モジュールD及び/または少なくとも一つの周辺装置Pに送信することができるようにする。
【0087】
接続モジュールC3は、コンピュータモジュールBがマルチメディアデータを少なくとも一つのマルチメディアデータ処理モジュールD及び/または少なくとも一つの周辺装置Pに送信及び/または受信、共有、伝送及び/またはストリーミングすることができるようにする。
【0088】
選択的に、コンピュータモジュールBは、外部コンピュータ、モニタ、プリンタ及び/または他のマルチメディアデータ処理モジュールDなどの一つ以上の周辺装置Pに一つ以上の接続モジュールC3を含むことができる。
【0089】
好ましく、C2型接続及びC3型接続は、Wi-Fi、赤外線及び/またはブルートゥースのような無線通信により行われる。
【0090】
4.接続モジュールC
本発明のシステムは、少なくとも一つのデータ取得モジュールAと少なくとも一つのコンピュータ化モジュールBとを連結する少なくとも一つの形態、例えば、C1型接続を含む必要がある。
【0091】
好ましく、本発明のシステムは二種類の接続、即ち:(i)C1型接続であって、データ取得モジュールAとコンピュータモジュールBとの間のマルチメディアデータ伝送のための接続;及び(ii)C2型接続であって、コンピュータモジュールBとマルチメディア処理モジュールDとの間のマルチメディアデータの共有、伝送及び/またはストリーミングのためのまた他の接続を含む。
【0092】
選択的に、本発明のシステムは、また他の接続、例えば、(iii)C3型接続であって、前記モジュールの中のいずれか(A、B或はD)と少なくとも一つ以上の周辺装置P、例えば、外部モニタ、遠隔制御装置、プリンタ、遠隔サーバなどの間のマルチメディアの共有、伝送及び/またはストリーミングを可能とする接続を含む。
【0093】
本発明の範囲において、マルチメディアデータの伝送とは、また前記データを受信、送信、共有及び/またはストリーミングすることを意味する。
【0094】
これらの接続は、ケーブル、Wi-Fi、ブルートゥース、赤外線或は前記モジュールの間でマルチメディアデータを送信及び受信、伝送、共有及び/またはストリーミングすることができるようにする形態のその他の接続を介してなされることができる。
【0095】
5.マルチメディアデータ処理モジュールD
処理モジュールDは、マルチメディアデータの保存、記録、処理、編集、管理及び/または共有のためのデータ処理ユニットを含む。本発明の範囲において、前記マルチメディアデータ処理モジュールDは、例えば、遠隔サーバ、コンピュータ、携帯型或は移動型コンピュータ、ラップトップ、ノートパンコン、タブレット或はマルチメディアデータを保存、処理、管理、編集及び/または共有することができるその他の装置であってもよい。
【0096】
マルチメディアデータ処理モジュールDはまた、前記マルチメディアデータ処理モジュールDを少なくとも一つのコンピュータモジュールBに連結するためのコンピュータモジュールBに対する少なくとも一つの形態の接続モジュールC2、及び/または前記マルチメディアデータ処理モジュールDを少なくとも一つの周辺装置P、例えば、モニタ、キーボード、遠隔制御装置、プリンタ、遠隔サーバなどに連結する少なくとも一つの接続モジュールC3を含む。
【0097】
また、マルチメディアデータ処理モジュールDは、マルチメディア取得、登録及び/または管理方法を行うためのコンピュータプログラムを含み、この方法は:
(a)少なくとも一つのデータ取得モジュールAからマルチメディアデータを取得し;
(b)少なくとも一つのモジュールAで取得したデータを接続モジュールC1を介して少なくとも一つのコンピュータモジュールBに送信、伝送及び/またはストリーミングし;
(c)接続モジュールC2を介して少なくとも一つのコンピュータモジュールBから少なくとも一つの処理モジュールDにデータを送信、共有、伝送及び/またはストリーミングし;
(d)受信されたマルチメディアデータを少なくとも一つの処理モジュールD及び/または、例えば、フロッピーディスク、DVD、ブルーレイ(Blu-Ray)、CD、ROM、PROM、EPROM、EEPROM或はフラッシュメモリなどのように、プログラム可能なコンピュータシステムと協働することができる電子式の読み取り可能な制御信号を有する少なくとも一つのデータ保存ユニットに保存、登録、処理、編集及び/または管理し;
(e)選択的に、前記マルチメディアデータを接続モジュールC3を介して少なくとも一つの周辺装置P及び/または少なくとも一つの他の処理モジュールDに共有、伝送及び/またはストリーミングし;
(f)選択的に、マルチメディアデータライブラリMLを創出するステップを含む。
【0098】
マルチメディアデータ処理モジュールDは、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROM及び/またはフラッシュメモリなどのように、プログラム可能なコンピュータシステムと協働することができる電子式の読み取り可能な制御信号を有する少なくとも一つのデータ保存ユニットをさらに含むことができる。
【0099】
選択的に、マルチメディアデータ処理モジュールDは、少なくとも一つのデータ取得モジュールAにより優先的に取得したマルチメディアデータを有するマルチメディアデータライブラリMLをさらに含む。
【0100】
6.マルチメディアデータライブラリML
本発明のマルチメディアデータライブラリMLは、従来のサポート及び/またはデジタルサポートを受けることができる、例えば、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROM及び/またはフラッシュメモリなどのように読み取り機及び/またはマルチメディアデータプロセッサが電子読み取り可能なデータ保存ユニットに記録されることができるマルチメディアデータを含み、このようなマルチメディアデータは、好ましくはマルチメディアデータ取得モジュールA、好ましくは本発明のマルチメディア眼鏡を利用してマルチメディアイベント記録から収得したものである。
【0101】
本発明の好ましい一具現例において、マルチメディアデータは、介入対象の確認を防止及び/または遮断、顔面確認の防止及び/または遮断、音声確認の防止及び/または遮断などを含む確認遮断の処理対象となる。
【0102】
また他の好ましい具現例において、マルチメディアデータライブラリMLは、公知の手段、例えば、ユーザのパスワード及び/またはサーバのパスワード及び/または接続を制限するためにライブラリに導入されたメタデータの類似-仮名化などの方法でセキュリティされている。
【0103】
現在、マルチメディアデータライブラリMLのコンテンツ全体或は選択された一部をネットワーク上の1人以上の会員或は前記ライブラリMLに対するアクセス権限を有した予め定義されたコミュニティと共有することができる。
【0104】
7.マルチメディア取得、登録及び管理方法
本発明によるマルチメディア取得、登録及び/または管理方法は次のようなステップ、即ち:
(a)少なくとも一つのコンピュータモジュールBにより制御されるマルチメディア眼鏡形態のデータ取得モジュールAからマルチメディアデータを取得し;
(b)少なくとも一つのモジュールAで取得した前記データを接続モジュールC1を介して少なくとも一つのコンピュータモジュールBに送信、伝送及び/またはストリーミングし;
(c)選択的に、少なくとも一つの接続モジュールC2を介して少なくとも一つのコンピュータモジュールBから少なくとも一つの処理モジュールDに前記データを送信、共有、伝送及び/またはストリーミングし;
(d)選択的に、受信されたマルチメディアデータを少なくとも一つの処理モジュールD及び/または、例えば、フロッピーディスク、DVD、ブルーレイ(Blu-Ray)、CD、ROM、PROM、EPROM、EEPROM或はフラッシュメモリなどのように、プログラム可能なコンピュータシステムと協働することができる電子式の読み取り可能な制御信号を有する少なくとも一つのデータ保存ユニットに保存、登録、処理、編集及び/または管理し;
(e)選択的に、前記マルチメディアデータを少なくとも一つのモジュールDから接続モジュールC3を介して少なくとも一つの周辺装置P及び/または少なくとも一つの他の処理モジュールDに共有、伝送及び/またはストリーミングし;及び/または
(f)選択的に、マルチメディアデータライブラリMLを創出するステップを含む。
【0105】
本発明の好ましい一具現例において、データ取得モジュールAは、セクション2.で述べたようなマルチメディア眼鏡である。また他の好ましい具現例において、コンピュータモジュールBは、セクション3.で述べた通りである。
【0106】
本発明のまた他の好ましい具現例において、接続モジュールC1、C2及び/またはC3は、セクション.4で述べた通りである。
【0107】
また他の好ましい具現例において、マルチメディアデータ処理モジュールDは、セクション5.で述べた通りである。
【0108】
また他の好ましい具現例において、マルチメディアデータライブラリMLは、セクション6.で述べた通りである。
【0109】
最も好ましい具現例において、本発明の方法は前述の好ましい具現例の中の二つ以上の組み合わせを含む。
【0110】
実施例
実施例1:腹腔鏡検査におけるマルチメディアデータ取得及び登録方法
この実施例において、本発明のマルチメディアシステムは図3に示すように、データ取得モジュールAとしてスマート眼鏡ユニット、コンピュータモジュールB及びマルチメディアデータ処理モジュールDを含む。
【0111】
頭に装着したデータ取得モジュールAを利用して、ユーザは:
1.次を利用して記録を開始し、即ち、
a.予め定義及び個人化された活性化表現で開始する音声コマンドと次いで記録を開始するように指示する適切なコマンド、及び/または
b.コンピュータモジュールBに配置されたタッチスクリーンインタフェースを利用して記録を開始し;
2.既に活性状態の場合、即ち、腹腔鏡検査中であれば、頭を中立位置において腹腔鏡スクリーンを見つめることにより、予め設定された記録モードを簡単に変更し、データ取得モジュールAに搭載された慣性センサを利用してコンピュータモジュールBが頭の傾斜に対する情報を取得することができ、所定時間の後、予想される外科医の視点に合わせてカメラの方向を変更し;
3.記録中にブックマークを追加することにより、前記処理モジュールDが記録データの観点を自動に確認することができる。これらのブックマークは、予め定義及び個人化された活性化表現を利用する音声コマンドと次いでブックマーク及びその番号を追加するように指示する適切なコマンドに応じて追加されることができ;
4.音声コマンドが活性化される度にコンピュータモジュールBからのオーディオフィードバックがユーザに付与され、フィードバック後に実行するコマンドに対する情報をユーザに提供することによりコマンド後の誤解を防止する。
【0112】
腹腔鏡検査中に効果的に登録される関心領域には、腹腔鏡モニタPが含まれなければならない。イメージの境界部はモニタPのみが含まれたデジタルズームを利用して暗く処理するか、完全に消去することができる。
【0113】
コンピュータ映像アルゴリズムは、ユーザが首の筋肉を弛緩し、カメラの視点を意図せずに変更する時、慣性センサを介して敏感なデータ、例えば、顔面部が含まれている領域を検閲するのに役立てることができる。
【0114】
機密データが含まれた環境で記録作業を行う時、本実施例の場合のように、予め定義及び個人化された活性化コード或は表現を利用する音声コマンドと次いで前記記録作業を終了するように指示する適切なコマンドを介して前記記録作業を終了させなければならない。
【0115】
実施例2:腹腔鏡検査におけるマルチメディアデータ取得及び登録方法
この実施例において、マルチメディアシステムは前述したものと同じモジュールを含む。
【0116】
頭に装着したデータ取得モジュールAを利用して、ユーザは:
1.次を利用して記録を開始する;即ち、
a.予め定義及び個人化された活性化文章による音声コマンドと次いで記録を開始するコマンド、及び/または
b.コンピュータモジュールBに具備されたタッチスクリーンインタフェースを利用して記録を開始し;
2.既に活性状態の場合、即ち、腹腔鏡検査中であれば、頭を手術部位の方に下げて予め設定された記録モードを簡単に変更する。眼鏡に組み立て配置された慣性センサを利用してコンピュータモジュールBが頭の方向に対する情報を取得することができ、所定時間の後、例えば5秒後、外科医の視線に沿ってカメラを下向き傾斜移動し;
3.記録中に、マルチメディアデータ処理モジュールDのビデオエディターが追って読み取ることができて、ブックマークを追加することにより、記録された場面で最も密接な関連部分をさらに容易に探し出すことができる。これらの標識は、予め定義及び個人化された活性化文章を利用する音声コマンドと次いでブックマーク及び関連番号を創出するように指示する特定のコマンドに応じて追加されることができ;
4.音声コマンドが活性化される度にコンピュータモジュールBからのオーディオフィードバックがユーザに付与され、フィードバック後に実行するコマンドに対する情報をユーザに提供することによりコマンド後の誤解を防止する。
【0117】
このような予め設定された操作モードにおいて、カメラの記録領域の中に顔面が存在し得る。このような場合、顔面検出アルゴリズムでこれを検閲して手術の際、カメラに見える顔及び手術室にいるスタッフのプライバシーを保護する。記録が終了すると、外科医は予め定義及び個人化された活性化コード或は表現を利用する音声コマンドと次いで記録を中止するコマンドを登録することができる。
【0118】
実施例3:工芸作業、修理或はその他の手作業時におけるマルチメディアデータ取得及び登録方法
ユーザの頭に装着した眼鏡を利用して、ユーザは:
1.次を利用して、即ち、
a.予め定義及び個人化された活性化文章を介した音声コマンドと次いで記録を開始するコマンド、及び/または
b.コンピュータモジュールBに配置されたタッチスクリーンインタフェースを利用して記録を開始し;
2.次を利用して、即ち:
a.予め定義及び個人化された活性化文章を利用する音声コマンドと次いで所望の移動を指示するコマンドを利用し;及び/または
b.コンピュータモジュールBに配置されたタッチスクリーンインタフェースを利用して、作業領域が焦点の中に入るように範囲を拡大しながらカメラの方向を変更する。
ユーザはコンピュータモジュールBに配置されたスクリーンを見つめるか、或は照明機構の照明を受けた領域を確認することにより、焦点に合わせた領域に対するフィードバックを受けることができる。
3.後続のステップでビデオエディターが読み取り可能なブックマークをビデオ記録に追加することにより、ビデオの最も密接な関連部分を適時にさらに容易に探し出すことができる。これらの標識(marker)は:
a.予め定義及び個人化された活性化コード或は表現を利用する音声コマンドと次いで特定のコマンドを利用し、及び/または
b.コンピュータモジュールBに具備されたタッチスクリーンインタフェースを利用して挿入することができる。
【0119】
ユーザは予め定義及び個人化された活性化文章を介した音声コマンドと次いで特定のコマンドを利用するか、或はタッチスクリーンインタフェースを利用して記録作業を終了する。
【0120】
実施例4:前述の実施例と同様に遠隔位置にコンテンツを無線伝送(ストリーミング)する方法
ユーザは次を利用してコンテンツを無線伝送することができる。即ち:
1.コンテンツを企業内のネットワークにおいてリアルタイムで共有する会議に最適なものであって、コンピュータモジュールBにより創出及び管理される無線ネットワークを利用する。このような機能を利用するために、ユーザはコンピュータモジュールBのスクリーンに表示されたネットワークの名称とパスワードを知っていなければならない。
及び/または
2.インターネットを介して遠隔位置に伝送する。この特徴を実現するために、ユーザはコンピュータモジュールBに連結されたネットワーク管理者と連絡して関心対象人物と共有するための公開チャンネル(Public address)を設けなければならず、それによりストリーミングされたコンテンツを読み取るために具備されたマルチメディアクライアントに前記コンテンツを可視的に示すことができる。場合によって、ユーザは放送コンテンツを映像化するために認証手順を必要とすることもできる。
【0121】
実施例5:マルチメディアデータライブラリMLの創出、編集及び管理方法
ビデオ処理ソフトウェア(図5.4)を利用すれば、ユーザが最も高い関連性のある記録部分を選択することができるが、この作業は記録時に挿入されたブックマークを利用すれば容易であり、また認証後にのみアクセスすることができる類似-仮名化及び暗号化されたフォーマットで挿入されたメタデータと共に保存される。
【0122】
ユーザはパスワード及び理想的にはモバイルフォンで受信した暗号コードを利用する二重認証によって認証手順を経りながら作業を開始する。医者が医療手術法を記録するためにカード読み取り機と共に使用時、自分の医療診断書で認証することもできる。
【0123】
マルチメディアデータ処理モジュールDに連結されたコンピュータモジュールBを利用すると、ユーザは認証後:
1.a.一つ以上の関連メタデータ(図5.5)で記録を調査し;及び/または
b.保存された全てのメタデータを収集したデータに対して問い合わせることにより構築された記録物ライブラリを検索し、
2.新たな記録をライブラリに入力して(図5.2)これに関連するメタデータを特定化することができる(図5.3)。外科手術の登録範囲において、このようなメタデータは患者名、手術手順、手術日付、場所、観察研究などを含むことができる。
【0124】
実施例6:手術室で用いるための理想的なスマート眼鏡システムを具備したマルチメディアシステム
眼鏡フレーム(図3)を含んで頭に装着することができる装置(モジュールA)は、ユーザの後頭側で互いに結合された一対のY型ケーブル組立体を介してコンピュータモジュール(モジュールB)に連結され、この装置を用いる間さらに高い安定性と安全性を付与する。次のような小段落は前記眼鏡の特別な特徴について述べたものである:
6.1:モジュールAは、回転式プラットフォーム6に装着された鼻梁部に配置されたカメラを具備する。
6.2:モジュールAは、カメラと同様に同じプラットフォーム6に装着されたLED光源を具備して視野を照明し、記録対象領域に対してユーザにフィードバックを提供する。
6.3:モジュールAは、カメラと光源が装着されたプラットフォームの後方に配置されて垂直及び水平にプラットフォームを回転させるモータ装置8を具備する。
6.4:モジュールAは、LEDから放出される光の焦点角度を変更し、カメラの視野をズームイン及びズームアウトする光学機構を具備する。
6.5:モジュールAは、前記眼鏡フレーム本体の正面において左側或は右側の末端に装着された状態確認LED5を具備して他人に装置の記録状態に対してフィードバックすることができる。
6.6:モジュールAは、フレーム2の右側アームの背面部に配置された骨トランスデューサ(BCT)を具備して右側耳の裏側で側頭骨の突起と接触する。従って、外耳道が自由であり、通常のスピーカを用いる場合に守れなかったプライバシーを保護保持することができる。このような機構により、本装置を用いる間、手術室内部の通信は妨害されない。
6.7:モジュールAは、カメラ、LED及びモータ組立体の右側或は左側に装着されたマイクを具備し、それによりユーザはオーディオを録音することができ、また装置に音声コマンドを出すことができる。
6.8:モジュールAは、前面部のマイクの隣に配置された慣性センサを具備して眼鏡フレームの傾斜度及び結果的にはユーザの頭の傾斜度を検出することができる。
6.9:モジュールAはユーザの目の前面部に保護レンズ10、11を具備する。ユーザの視力矯正が必要な場合、これらのレンズが自体的に行う。
6.10:モジュールAは保護レンズの後に装着した防曇レンズを具備する。
6.11:モジュールBは、ユーザが設定、記録開始及び中断、プレビューなどのように装置と相互疎通するために用いることができるタッチスクリーンを具備する。
6.12:モジュールBは、装置の全てのシステムに最大12時間まで電源を供給するためのバッテリを具備する。
6.13:モジュールBは、記録されたメディアの保存及び処理を担当し、装置内の多数のハードウェアの下位システムを制御するための処理ユニットを具備する。
6.14:モジュールBは、記録対象メディアをストリーミングするためにWi-Fiネットワーク及び/またはブルートゥース技術を利用して他の装置と連結されることができる。
【0125】
実施例7:外部電源を用いるスマート眼鏡搭載のマルチメディアシステム
実施例6に述べられたものと同じ一般的特徴を有する前記装置は、モジュールB及び電気プラグや発電機のような電源に連結された電気線を介して電力が供給される。前記のような電源の電力を用いることができれば、前記装置の通常的な自律性は制限されない。
【0126】
実施例8:腰に装着する小型スマート眼鏡搭載のマルチメディアシステム
実施例6に述べられたものと同じであり、モジュールBの処理ユニットはモジュールAの眼鏡フレームの両側アームの中の一つに移動配置され、またモジュールBのタッチスクリーンは省略する。また前記フレームのそれぞれのアームから抜け出た2つのケーブルは、過去にはモジュールBがあった場所に配置されたバッテリから電力を伝達することにより、結果的にモジュールBの重量及び大きさを減少させることができ、また、この装置のフレームから抜け出たケーブルの重量及び厚さも減少させることができる。
【0127】
実施例9:外部電源を具備し、腰に装着する必要のないスマート眼鏡搭載のマルチメディアシステム
実施例8に述べられたものと同じ一般的な特徴を有し、前記バッテリをまた他の電源、例えば、電気プラグや発電機で代替する。前記のような電源の電力を用いることができれば、前記装置の通常的な自律性は制限されず、モジュールBは全く必要でない。
【0128】
実施例10:口の近くにマイクを具備したスマート眼鏡搭載のマルチメディアシステム
実施例6に述べられたものと同じ一般的な特徴を有し、マイクが口の近くに配置され、調整及び着脱可能な支持台(beam)上に装着されて記録及び認知のためのより優れた品質の音声をキャプチャすることができるが、ユーザが必要とするある種類のマスク及びその他の顔面保護物とは併用することができないという短所がある。
【0129】
実施例10:BCTの代わりにイヤホンを用いるスマート眼鏡搭載のマルチメディアシステム
実施例6に述べられたものと同じ一般的な特徴を有し、BCTをイヤホンで代替するのでユーザの作業に外耳道が重要でなくなる。
【0130】
実施例11:光学ズームが含まれないスマート眼鏡搭載のマルチメディアシステム
実施例6に述べられたものと同じ一般的な特徴を有し、光学機構が存在せず、従ってLEDから放出される光の焦点角度が固定され、カメラズームの操作はデジタル方式で行われる。
【0131】
実施例11:防雲視力矯正レンズを有するスマート眼鏡搭載のマルチメディアシステム
実施例6に述べられたものと同じ一般的な特徴を有し、保護レンズの代わりに防曇レンズを利用して視力矯正を行う。
【0132】
実施例12:カメラ及びLEDプラットフォームを垂直にのみ作動させるスマート眼鏡搭載のマルチメディアシステム
実施例6に述べられたものと同じ一般的な特徴を有し、カメラ及びLEDプラットフォーム後方のモータ装置がプラットフォームを垂直にのみ回転させることができる。
【0133】
実施例13:カメラ及びLEDプラットフォームを水平にのみ作動させるスマート眼鏡搭載のマルチメディアシステム
実施例6に述べられたものと同じ一般的な特徴を有し、カメラ及びLEDプラットフォーム後方のモータ装置がプラットフォームを水平にのみ回転させることができる。
図1
図2
図3
図4
図5.1】
図5.2】
図5.3】
図5.4】
図5.5】
図5.6】