特許 6017592 携帯型ビデオ通信システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6017592

(24)【登録日】2016年10月7日

(45)【発行日】2016年11月2日

(54)【発明の名称】携帯型ビデオ通信システム

(51)【国際特許分類】

   H04N 7/14 20060101AFI20161020BHJP

   H04M 11/00 20060101ALI20161020BHJP

   H04M 1/00 20060101ALI20161020BHJP

【ＦＩ】

   H04N7/14

   H04M11/00 302

   H04M1/00 R

【請求項の数】4

【全頁数】25

(21)【出願番号】特願2015-1215(P2015-1215)

(22)【出願日】2015年1月7日

(62)【分割の表示】特願2010-510297(P2010-510297)の分割

【原出願日】2008年5月22日

(65)【公開番号】特開2015-100117(P2015-100117A)

(43)【公開日】2015年5月28日

【審査請求日】2015年1月7日

(31)【優先権主張番号】11/755,192

(32)【優先日】2007年5月30日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】513077243

【氏名又は名称】インテレクチュアル ベンチャーズ ファンド ８３ エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ボーダー，ジョン ノーボルド

(72)【発明者】

【氏名】コーク，ロナルド スティーブン

(72)【発明者】

【氏名】エンゲ，エイミー ダウン

(72)【発明者】

【氏名】クルツ，アンドリュー エフ．

(72)【発明者】

【氏名】マニコ，ジョセフ アンソニー

(72)【発明者】

【氏名】シリング−ベンツ，リン

(72)【発明者】

【氏名】スタブラー，ピーター オー．

(72)【発明者】

【氏名】ウィリアムズ，フランシス チャーリ

【審査官】 古川 哲也

(56)【参考文献】

【文献】 国際公開第２００６／００３０６６（ＷＯ，Ａ１）

【文献】 特開２００４−１１２８２０（ＪＰ，Ａ）

【文献】 特開２００５−０９２６５７（ＪＰ，Ａ）

【文献】 特開２００２−２８８６７０（ＪＰ，Ａ）

【文献】 特開２０００−３２２５６１（ＪＰ，Ａ）

【文献】 特開平１１−１６１７９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１４ − ７／１５

Ｈ０４Ｍ １／００

Ｈ０４Ｍ １１／００ − １１／１０

Ｇ０６Ｔ ７／００ − ７／６０

Ａ６１Ｂ ５／１１７１

(57)【特許請求の範囲】

【請求項1】

ａ．デジタルビデオ画像及び／又はデジタル静止画像を捕捉するデジタル画像捕捉機器と、
ｂ．通信ネットワークによるデジタルビデオ画像及び／又はデジタル静止画像の無線通信を送受信する機器と、
ｃ．前記デジタル画像捕捉機器によってある捕捉角で捕捉されることにより歪んだデジタル画像の画像捕捉状態を補償して、前記通信ネットワークによって送信する修正画像を作成する画像補償機器と、を有し、
前記修正画像は、良好な角度で捕捉された標準的な顔画像の鼻の大きさ及び形状と整合するように前記デジタル画像を調整するデジタル画像処理を使用して修正された画像であり、前記鼻の大きさ及び形状は、鼻の長さ、幅、鼻孔、及び隔壁を含む、
携帯型無線表示及びデジタル捕捉機器。

【請求項2】

捕捉角を検知する手段をさらに有する請求項１に記載の携帯型無線表示及びデジタル捕捉機器。

【請求項3】

当該携帯型無線表示及びデジタル捕捉機器の使用をユーザに許可するか否かを決定するセキュリティ手段をさらに有する請求項２に記載の携帯型無線表示及びデジタル捕捉機器。

【請求項4】

携帯型無線表示及びデジタル捕捉機器の表示画像を改変する方法であって、
ａ．ユーザのデジタルビデオ画像及び／又はデジタル静止画像をある捕捉角で捕捉するステップと、
ｂ．前記携帯型無線表示及びデジタル捕捉機器によって前記捕捉角で捕捉された画像の画像捕捉状態に応じて歪んだ捕捉デジタル画像を調整して、修正捕捉デジタル画像を作成するステップと、
ｃ．第２の携帯型無線表示及びデジタル捕捉機器に無線通信ネットワークによって前記修正捕捉デジタル画像を送信するステップと、を有し、
前記修正捕捉デジタル画像は、良好な角度で捕捉された標準的な顔画像の鼻の大きさ及び形状と整合するように前記捕捉デジタル画像を調整するデジタル画像処理を使用して修正された画像であり、前記鼻の大きさ及び形状は、鼻の長さ、幅、鼻孔、及び隔壁を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、双方向ビデオ通信システムに関する。より詳細には、ポータブル双方向ビデオ通信機器となるように構成される携帯型双方向ビデオ通信システムに関する。

【背景技術】

【0002】

ビデオ画像及び音声を異なる２箇所間で通信できる通信チャネルによって接続される２つの場所のそれぞれに表示部とカメラとを有する双方向ビデオシステムが入手可能である。従来は、このようなシステムは、離れた場面を表示するそれぞれの場所におけるビデオモニタと、音声を捕捉するマイク及び音声を流すスピーカと一緒にビデオモニタの端部、又は端部に近接して配置され、近くの場面を捕捉する別々のビデオカメラとの設定によって、２つの場所の間に双方向のビデオ及び音声通信システムを提供する。一般的に、従来のシステムは、大きくて、場所に固定されており、場面の焦点の変更に対処する能力が限定的であり、そして必ずしも自然な通信を提供するとはいえない。さらに、従来の配置は、携帯電話及び類似するコンパクト機器で見られるような利用可能な携帯型表示及び捕捉システムを活用してない。

【0003】

図１を参照すると、先行技術である一般的な双方向ビデオ通信システムが示される。ここで、第１の場所にいる第１のユーザ２０ａは、第１の表示機器１４ａを見ている。デジタルカメラとすることができる第１の画像捕捉機器１０ａは、第１の視聴者２０ａの画像を捕捉する。画像がデジタル静止画像である場合、読み出す（retrieval）ために第１のデジタル静止画像メモリ３０ａに記憶される。そして、デジタル静止画像メモリ３０ａから読み出された静止画像、又は第１の画像捕捉機器１０ａから直接捕捉されたビデオ画像は、第１の通信チャネル６０を使用して第２の表示部１４ｂに送信されて、第２のユーザ２０ｂは、表示部１４ｂで単数又は複数の捕捉画像を見ることができる。同様に、デジタルカメラとすることができる第２の捕捉機器１０ｂは、第１の場所から離れた第２の場所で第２の視聴者２０ｂの画像を捕捉する。捕捉画像のデータは、第１の視聴者２０ａが見るために第２の通信チャネル６２を使用して第１の表示部１４ａに送信される。また、捕捉画像のデータは、読み出しのために第２のデジタル静止画像メモリ３０ｂに記憶される。第１の通信チャネル６０は、第２の通信チャネル６２と同一にできる。

【0004】

この双方向ビデオ通信システムは、高性能のテレビ会議システム、及び他の双方向ビデオ通信の応用に生産され、使用されてきた。けれども、携帯型及びコンパクトなビデオ通信システムに取り込むためには、実際上の重要な障害がいくつかある。コンパクトなビデオ通信システムの使い勝手と品質との拡大につれて、双方向ビデオ通信をより簡単に提供するための多くの解決方法が提案され、最近の研究の焦点になっている。しかしながら、画質、使いやすさ、セキュリティ、及びプライバシのようなコンパクトの環境に特徴的な多くの問題が存在し続け、未だ十分に対処されていない。

【0005】

コンパクト通信機器に関連性がある１つの問題には、観察者の動き又は振動、質の悪い画像捕捉角、及び視界の変化を補償することができないことである。

【0006】

名称を「デジタルカメラの携帯電話への人間学的統合機構（Mechanism for Ergonomic Integration of a Digital Camera into a Mobile Phone）」というCarpenterに特許された米国特許第７０５８４３３号は、ビデオ通信間のカメラの捕捉用設定を良好にできるように、画像機器の表示部とカメラ部との間に提供される回転軸を開示する。Yuによって出願され、名称を「携帯通信端末のビデオ会議機能（Video Conference Feature for a Mobile Communication Terminal）」という米国特許出願２００６／０１４８５１７号は、傾けることができる表示部と、ビデオ通信の間によく見えるように反転する画像とを開示する。しかし、CarpenterとYuとのいずれも、携帯電話カメラ、又は他のコンパクトな携帯型画像及び表示機器を見るときに人が良く使用する手の位置（図１２参照）が低いことによって生じる質の悪い捕捉角の問題に対処していない。

【0007】

Boberによって出願され、名称を「ビデオ画像送信方法及び装置（Method and Apparatus for Transmitting a Video Image）」という米国特許出願２００４／００７０６６６は、捕捉画像における第１の参加者の顔の位置を検出し、捕捉した画像を第２の参加者に送信する前に切り取って、第２の参加者が見る画像の中心に顔が位置し続ける顔検出（face detection）の使用を開示する。この方法は、質の悪い捕捉角、又はユーザが動きながら片手で携帯型画像化及び表示機器を動作するときによく遭遇する手のジッタによって生じる画像の揺れに対処していない。さらにBoberが開示する方法は、背景を修正して、プライバシを改良し、又はデータ送信レートを減らすことは提案されていない。

【0008】

プライバシの問題は、一方の環境から他方の環境に運ばれるときに携帯型画像化機器に特に関連する。Girishによって出願された名称を「ビデオ会議装置及び方法（Video Conferencing Apparatus and Method）」という米国特許出願２００４／０２５７４３１は、ビデオ捕捉機能を無効にする目視確認を画像化機器に提供するアイリス形状のカバーを開示する。同様にGirishは、ビデオ捕捉及び音声捕捉が有効であることを表示する信号灯を開示する。しかしながら、この方法は、ビデオ通信の間に周りの背景を見せることなしにユーザが顔を見せたいときや、画像の受信者により適し且つ異なる背景をユーザが選択したいときに、十分に用途が広い方法を提供していない。

【0009】

カメラが組み込まれた携帯電話のようなコンパクトな通信機器における画像捕捉、画像処理、及び無線通信機能の組み合わせると、画像及び音声に基づく携帯型セキュリティシステムとしての使用に良く適合する。高性能画像処理システムとの画像比較に基づいた顔認証アルゴリズムは、「ロバストリアルタイム顔検出（Robust Real-Time Face Detection）」（「International Journal of Computer Vision」57巻、No.２、（2004年５月）,137ページ〜154ページ）において、P. ViolaとM.J. Jonesとによって教示される。ビデオ画像の顔認証技術を説明する優れた論文は、２００４年８月２３日〜２６日に英国のケンブリッジで開催されたProc. of the International Conference on Pattern Recognitionにおいてなされた、G. Aggarwalと、A. Chowdhuryと、R. Chellappaとによる「ビデオに基づく顔認証システム認識方法（A System Identification Approach for Video-Based Face Recognition）」と題される論文に含まれる。

【0010】

さらに、セキュリティ専用システムにおける生体情報の使用は、同様に周知であり、Kyleに特許された米国特許第６８５３７３９号は、捕捉した生体情報（顔、指紋、手、虹彩（iris））の使用に基づくシステムを開示する。捕捉した生体情報は、多くの個人の顔認証を含む生体情報の組のデータベースと比較され、個人のグループからユーザの身分証明を検証する。Kyleが開示するシステムは、コンピュータネットワーク上の遠隔の中央処理装置を利用して、捕捉した生体情報と、個人のグループから多くの個人の生体情報の組とを比較するデータ解析を実行する。したがって、Kyleが開示するシステムは、生体捕捉機器を設定して中央演算装置と通信する必要があるセキュリティ専用システムであり、捕捉した生体情報は、アルゴリズムによってデータベースと比較され、ユーザの身分証明に関して決定をする。

【0011】

同様に、米国特許第６７２４９１９号において、Akiyamaは、コンピュータシステム上の顔認証アルゴリズムを使用してユーザの身分証明を検証し、新たなユーザが検出された場合は、初期化処理を実行して新たなユーザが要求するコンピュータ設定に変更するシステムについての方法を開示する。これによって、Akiyamaは、顔認証システムを使用してコンピュータ単体の動作を改良することを教示するが、携帯型個人用セキュリティシステムは、予見していない。

【0012】

KyleとAkiyamaとの双方は、ユーザの身分証明を検証する有用な技術を開示するが、KyleとAkiyamaとはいずれも、コンパクトな通信機器で実行可能な簡易化された技術を教示していない。さらにKyleとAkiyamaとは、用途が広い内蔵型個人セキュリティシステムとして携帯型画像及び表示機器を使用することは教示していない。

【0013】

携帯型画像及び表示機器又はシステムは、小型化、制限される機能、固有の問題、及び高い機動性に起因して特別な解決法が必要になる。従来の解決法は、携帯型画像化機器の片手動作によって引き起こされる振動及び捕捉角の問題に対処しておらず、また、これらの解決法は、プライバシの問題、背景の適合性、又は、効率的な通信の安全性に十分に対処していない。さらに、ユーザの身分証明を検証でき、身分証明情報を他の機器に無線通信できる携帯型個人セキュリティシステムは、開示されていない。

【発明の概要】

【発明が解決しようとする課題】

【0014】

本発明の目的は、改良されたビデオの質を提供し且つ携帯型機器の使用に適当なビデオ通信のための改良された装置を提供することである。

【課題を解決するための手段】

【0015】

本発明の１つの態様に従うと、
ａ．デジタルビデオ画像及び／又はデジタル静止画像を捕捉するデジタル画像捕捉機器と、
ｂ．デジタルビデオ画像及び／又はデジタル静止画像の通信ネットワークによる無線通信を送受信する機器と、
ｃ．画像捕捉機器によって捕捉されたデジタル画像の質の悪い画像捕捉状態を補償して、通信ネットワークによって送信する修正画像を作成する画像補償機器と、
を有する携帯型無線表示及びデジタル捕捉機器を提供する。

【0016】

他の本発明の態様に従うと、携帯型無線表示及びデジタル捕捉機器の表示画像を改変する方法であって、
ａ．ユーザのデジタルビデオ画像及び／又はデジタル静止画像を捕捉するステップと、
ｂ．画像捕捉機器によって捕捉される画像において、捕捉されたデジタル画像の質の悪い画像捕捉状態に応じて調整して、修正した捕捉画像を作成するステップと、
ｃ．第２の携帯型無線表示及びデジタル捕捉機器に無線通信ネットワークによって修正した捕捉画像を送信するステップと、
を有する方法を提供する。

【0017】

さらに他の本発明の態様に従うと、通信ネットワークによってデジタル画像を送受信する携帯型無線表示及びデジタル捕捉機器の表示画像を改変する方法であって、
ａ．携帯型無線表示及びデジタル捕捉機器を有するユーザの画像を捕捉するステップと、
ｂ．ユーザのデジタル画像の背景を調整して、送信される修正した捕捉画像を作成するステップと、
ｃ．第２の携帯型無線表示及びデジタル捕捉機器に無線通信ネットワークによって修正した捕捉画像を送信するステップと、
を有する方法を提供する。

【0018】

またさらに他の本発明の態様に従うと、通信ネットワークによってデジタル画像を送受信する携帯型無線表示及びデジタル捕捉機器の表示画像を改変する方法であって、
ａ．携帯型無線表示及びデジタル捕捉機器によってデジタルビデオ画像及び／又はデジタル静止画像を捕捉するステップと、
ｂ．第２の携帯型無線表示及びデジタル捕捉機器から無線通信ネットワークによって受信する指示によって、携帯型無線表示及びデジタル捕捉機器がどんな画像を捕捉するかを制御するステップと、
ｃ．携帯型無線表示及びデジタル捕捉機器からの捕捉画像を第２の携帯型無線表示及びデジタル捕捉機器に無線通信ネットワークによって送信するステップと、
を有する方法を提供する。

【0019】

また他の本発明の態様に従うと、携帯型無線表示及びデジタル捕捉機器の表示画像を改変する方法であって、
ａ．携帯型無線表示及びデジタル捕捉機器によってデジタルビデオ画像及び／又はデジタル静止画像を捕捉するステップと、
ｂ．捕捉されるデジタル画像の画質に影響を及ぼす携帯型無線表示及びデジタル捕捉機器の動作を検出して、検出した動作に応じてデジタル捕捉画像を自動的に調整するステップと、
ｃ．携帯型無線表示及びデジタル捕捉機器からの捕捉し、調整したデジタル捕捉画像を第２の携帯型無線表示及びデジタル捕捉機器に無線通信ネットワークによって送信するステップと、
を有する方法を提供する。

【0020】

本発明は、先行技術に関する問題を解決及び／又は最小化することを目的とし、本発明は、本明細書に列挙されていないさらなる利点を提供できることが理解される。

【0021】

本発明の詳細な説明が提示される以下において、添付図面が参照される。

【図面の簡単な説明】

【0022】

【図1】従来の遠隔通信システムを示す図である。

【図2】本発明に係るコンパクトな通信システムを示す図である。

【図3A】図２のシステムに使用する本発明に従って製造される携帯型通信機器の平面図である。

【図3B】方向を変えられる（directable）画像捕捉レンズを有する本発明に従って製造される修正されたコンパクトな通信機器の平面図である。

【図4A】本発明に係るシステムにおけるポインタの使用を示す図である。

【図4B】本発明に係るシステムにおけるポインタの使用を示す図である。

【図5】他の参加者によって遠隔制御され、方向を変えられる捕捉を使用する本発明に従って製造されるコンパクトな通信機器の他の実施形態を示す図である。

【図6】電話会議の応用において、本発明に従って製造される携帯型通信機器の使用を示す図である。

【図7A】背景の削除を説明する、受信者が見る画像の典型的なシーケンスを示す図である。

【図7B】背景の削除を説明する、受信者が見る画像の典型的なシーケンスを示す図である。

【図8】背景の削除を説明する、コンパクトな機器に受信者によって作成される画像を示す図である。

【図9】本発明に従って形成されるコンパクトな通信から送信される画像を示すウィンドウを有する表示部を示す図である。

【図10】本発明に従って製造されるコンパクトな通信機器の画面ユーザ制御を示す図である。

【図11】本発明に従って製造されるコンパクトな通信機器のプライバシオプションを示す図である。

【図12】本発明に従って製造される携帯型通信機器を歩きながら使用するユーザを示す図である。

【図13A】質の悪い捕捉角で作成される画像の歪みを示す図である。

【図13B】図１３Ａの歪んだ画像の補正画像を示す図である。

【図14】一般的ないくつかの身体的特徴を有する、先に記憶された顔の画像を示す図である。

【図15A】質の悪い捕捉角を説明する捕捉画像を示す図である。

【図15B】記憶された画像の一部を使用する、図１５Ａの捕捉画像の一部の交換を示す図である。

【発明を実施するための形態】

【0023】

図２を参照すると、第１の場所１１２で、本発明に従って製造される携帯型無線表示及びデジタル捕捉機器１００を使用するユーザ８０ａと、第１の場所から離れた第２の場所１１４で、本発明に従って製造される携帯型無線表示及びデジタル捕捉機器１００を使用するユーザ８０ｂとの間の無線通信のためのコンパクトな携帯型機器のための双方向通信システム１１０が示される。図２に示される実施形態において、携帯型無線表示及びデジタル捕捉機器１００は、携帯電話を構成する。しかしながら、本発明は、これに限定されない。携帯型無線表示及びデジタル捕捉機器１００は、画像を捕捉し表示でき且つ手に持って操作できる無線通信可能な機器を構成するが、デジタルカメラ及び携帯情報端末（ＰＤＡ）に限定されない。携帯型無線表示及びデジタル捕捉機器１００の無線通信は、携帯電話技術に限定されず、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または無線機などの適当な無線技術を使用できるが、これに限定されない。破線１０４は、携帯型無線表示及びデジタル捕捉機器１００の一部として提供されるいくつかの構成要素を示す。

【0024】

無線ネットワーク９４は、２つの場所１１２及び１１４を接続する。携帯型無線表示及びデジタル捕捉機器１００は、ビデオ及び静止画像を捕捉する１つ又は２つ以上のデジタル画像捕捉機器４０を有する表示部５を有する。また、画像プロセッサ１２０と制御器１２２との制御を連係させて、表示部ドライバと画像捕捉制御機能とを提供する制御論理プロセッサ（ＣＰＵ）１１６が提供される。制御器１２２は、視野角、焦点、又は他の特性を制御する命令をデジタル画像捕捉機器４０（デジタルカメラなど）に提供できる。記憶機器３０は、携帯型無線表示及びデジタル捕捉機器１００が捕捉したデジタル画像データを記憶するために提供される。通信制御装置１２４は、無線、又は有線ネットワークチャネルのような通信チャネルとのインタフェースとして作動して、一方の場所から他方の場所に画像及び他のデータを送信する。

【0025】

図２に示す実施形態において、ユーザ８０ａ及び８０ｂはそれぞれ、他方の場所のユーザに表示部５で見られ、人的交流を向上し、コミュニケーション能力を改良する。画像処理電子機器１２０は、双方向通信を容易にする多くの機能を提供する。これには、画像捕捉の質の改良、現地の表示部５に表示される画質の改良、及び遠隔通信のデータ処理が含まれる。本発明の範囲において、質の悪い捕捉角、微小光、カメラの動き、場面内の動き、又は明暗領域のような、質の悪い画像捕捉状態が検知されると、捕捉画像は、修正されて、第１のデジタル捕捉機器１００から第２のデジタル機器に送信される。

【0026】

なお、図２は、この特定の実施形態を供給する構成要素の一般的な配置を示すが、当業者には明らかなように多くの変形が考えられる。デジタル画像捕捉機器４０と表示部５とは、携帯型無線表示及びデジタル捕捉機器１００に双方とも組み入れられる。画像プロセッサ１２０、制御器１２２、ＣＰＵ１１６、及び通信制御１２４のような、場所１１２又は１１４における他の構成要素もまた、携帯型無線表示及びデジタル捕捉機器１００に組み入れることができる。音声捕捉及び生成部品１３０と、他の支援構成要素は、音声／ビデオ通信技術の当業者に周知の構成要素で提供される。

【0027】

図２に示す特定のハードウェアに限定されず、大きく変形できることが理解されるだろう。例えば、画像捕捉機器４０は、携帯型無線表示及びデジタル捕捉機器１００から分離でき、画像捕捉機器４０は、参照することにより本明細書に包含される米国特許出願のKodak Docket_92778JUNEに説明されるように表示部５の背後に組み込むことができる。デジタル捕捉機器を表示部に組み込むことにより、画像捕捉及び表示機器の全体の大きさを小さくでき、ビデオ通信における参加者間のアイコンタクトを良好にできる。

【0028】

図３Ａを参照すると、図２の携帯型無線表示及びデジタル捕捉機器１００が示される。携帯型無線表示及びデジタル捕捉機器１００は、表示部５を有し、機器１００と、画像を捕捉するレンズを有するデジタル画像捕捉機器４０（図２参照）とが受信又は捕捉した画像を表示する。デジタル画像捕捉機器４０のレンズは、ユーザ又はユーザが要求する他の場面に向けることができる。また、携帯型無線表示及びデジタル捕捉機器１００は、マイク４５、スピーカ４６、及びユーザ制御１４２を有し、すべては、音声を捕捉し、音声を再生し、携帯型無線表示及びデジタル捕捉機器１００の動作を制御する単一のコンパクトな機器にそれぞれ組み込まれる。図示されない他の実施形態では、携帯型無線表示及びデジタル捕捉機器１００は、２つの画像捕捉機器４０を有し、一方の画像捕捉機器４０のレンズは、ユーザに向けられ、他方のレンズは、ユーザから離れた周りの環境に向けられる。双方の画像は、分割画面モードなどで受信機に表示される。２つより多いカメラを有し、（指紋によるセキュリティ目的のために）クローズアップ、又は他の視角のズーム機能などを提供できることは明らかである。図３ａ及び３ｂに示す実施形態では、携帯型無線表示及びデジタル捕捉機器１００は、ヒンジ４８によって第２の本体部１３６に回転して搭載される第１の本体部１３４を有する。ヒンジ４８を有しない、又はタッチスクリーンである表示部に組み込まれる他の構造を理解することが可能である。また、画像捕捉機器４０を使用して視聴者８０ａの身振りを検出して、携帯型無線表示及びデジタル捕捉機器１００への制御入力を提供できるが、これは、制御１４２を介して提供される入力と同様である。

【0029】

図３Ｂは、これまで説明と同様な部分及び動作を表示する同等の符号番号を有する携帯型無線表示及びデジタル捕捉機器１００の変形を示す。携帯型無線表示及びデジタル捕捉機器１００のこの実施形態では、画像捕捉機器４０（又は画像捕捉機器４０のレンズ)は、部分１３４において移動可能な回転架台４７に配置される。回転架台４７にある画像捕捉機器４０をユーザが方向を変えられるように、図示されない駆動モータを提供できる。回転架台４７は、ユーザ４０が手動で動作又は制御でき、第２のユーザ８０ｂが遠方で動作又は制御でき、若しくは機器１００と通信するコンピュータのような他の機器によって自動的に動作又は制御できる。

【0030】

〔ユーザ／操作者インタフェース〕
これまで説明したように、ユーザインタフェース１４２は、ユーザ入力を提供する。ビデオ通信の間、表示部５の画像を見るユーザ８０ａ及び８０ｂは、画像の一部の見る領域を変更し、又は画像の一部を拡大したいと思うことがあり得る。これは、本発明の範囲内のいくつかの異なる方法で達成できる。

【0031】

ユーザ８０ａ及び８０ｂが見る領域を制御又は変更できるいくつかの方法がある。ユーザ８０ａ及び８０ｂは、（ボタン、マウス、スライダ（slider）、又はサムホイール（thumb wheel）のような）ユーザ制御１４２によって、タッチスクリーンによって、画像捕捉機器４０によって捕捉され画像プロセッサ１２０を介するユーザの身振りによって、又は視標追跡によって、見る領域に所望の変更を入力できる。これらの技術のすべては、周知であり、本発明において使用できる。

【0032】

図４Ａ及び４Ｂを参照すると、本発明に係るシステムにおけるポインタの使用が示される。ここで、ユーザ８０ａは、ポインタ装置２８を有して提供される。ポインタ装置２８を使用して、図４Ａの位置Ｂに示すような表示部上の対象となる位置を指示できる。説明と理解とを簡単にするために、表示部５は、ユーザ８６ａに対して実際の大きさよりも大きく示される。対象となる領域を検出するために、別のプロンプト検知が提供される。示される実施形態において、表示部５は、鉛筆、ボールペン、レーザポインタ、又は他の機器のような光学ポインタ、若しくはタッチスクリーン表示部５と接触する指のようなポインタを検出できるタッチスクリーンである。ポインタ２８の位置によって提供されるプロンプトに基づいて、プロンプト検出装置１２６は、制御論理プロセッサ１１６と併せて機能して、第２の場所１１４の画像捕捉装置にネットワーク９４によって指示を提供する。

【0033】

図４Ｂに示すように、ポインタ装置２８からのプロンプトに応答して、離れた場所１１４にある画像捕捉機器４０は、対応する位置Ｂ´に視角を向けて調整する。これによって、離れた場所に対して、ユーザ８０ｂの近くの表示を遠隔制御できる。

【0034】

ポインタ装置２８の遠隔制御の他の手段は、ジョイスティック、トラックボール、又はマウスのようなカーソル操作機器、遠隔制御機器、又は、表示部５に表示された画像の部分を指示する他のいくつかの機構などを含む。タッチスクリーンのオーバレイ（overlay）を使用して視聴者のプロンプトを受信できる。説明される実施形態において、表示部５上のポインタ装置２８の位置は、画像捕捉機器によって検出される。画像捕捉機器は、表示部に組み込まれることによって、携帯型表示及びデジタル捕捉装置１００のユーザインタフェースに必要な全体的な空間を削減する。また、可聴式のプロンプトを含む、他の形式のプロンプトとすることができる。第１の場所１１２で生成される音声信号を監視するアルゴリムによって、音声プロンプトを検出できる。クリック音又は拍手の音、声の大きさ、声のパターン、キーワード、又は他の可聴式の標識などがプロンプトとして供給される。また、プロンプトの他の方法として、姿勢、頭の動き、手信号、又は身振り、若しくは表情などの解析に基づくことができる。

【0035】

双方向ビデオ通信に関する本発明に係る装置及び方法の有利な点は、すぐに理解できる。例えば、図５を参照すると、第１の場所において携帯型通信機器１４０を使用するユーザ８０ａは、視野角を変えるだけでなく、ズームイン、ズームアウト、焦点調整、画像切り取り（image cropping）、画像固定（freezing the image）を使用し、又は対象の領域を外れた部分の焦点をぼかす手段など画像機能に含まれる他の機能によって、第２の場所１１４にいる視聴者８０ｂと通信するときに広範囲の視界を楽しむことができる。さらに、照明のレベルを変え、音量を上げ下げし、又は、低音／高音の音色感度を変えるような他の機能も、この形式のプロンプト／応答シーケンスを使用して取得できる。また、先に説明したように、方向を変えられる捕捉を有する携帯型画像通信機器１４１が有する遠隔視界制御を提供できる。この場合、例えば、画像捕捉機器４０（又は画像捕捉機器のレンズ）が方向を変えられるように、画像捕捉機器４０は、回転架台４７に設置できる。また当業者は、方向を変えられる捕捉を有する携帯型通信機器は、レーザポインタのような方向を変えられるポインタを有してユーザ８０ａと８０ｂとの間に可能な情報伝達レベルを支援することを理解するであろう。

【0036】

図６のテレビ会議の応用が示すように、第１の場所にいるユーザ８０ａは、他の人達に個々に又は数人に呼びかけるために、必要に応じてズームイン、ズームアウト、パニングをしながら、第２の場所１１４にいるユーザ達８０ｂと交流できる。また、ユーザ８０ａは、複数の表示部５とデジタル捕捉装置１００とを有して、第２の場所１１４にある複数の捕捉機器４０からの場所の画像などを一度に見ることも可能である。

【0037】

〔プライバシ〕
場所１１２にある第１の携帯型無線表示及びデジタル捕捉機器１００に画像を送信する前に、場所１１４において、第２の携帯型無線表示及びデジタル捕捉機器１００によって捕捉画像の一部を削除することが望ましい場合に、画像捕捉を限定する方法は、携帯型画像及び表示機器に特に重要になる。例えば、ロッカ室、又はプライバシに関するものが存在する他の環境のような、拘束なく画像を捕捉することが好ましくない場所、又は状況にユーザ８０ｂがいる場合、許容できる画像捕捉領域を制限でき、又はユーザ８０ｂの画像の周りの背景画像を置き換えて修正された画像を形成できる。そして、場所１１２にある第１の携帯型無線表示及びデジタル捕捉機器１００に送信する。図７Ａ及び７Ｂは、背景交換の一実施例を示す。

【0038】

１つのプライバシの実施形態では、画像捕捉領域は、ユーザ及び／又は参加者の顔１４６だけに制限され、背景画像は、灰色のような均一の中間色の背景にする。そして、図８に示すように、第１の参加者の顔４６のみを修正画像に残して、第２の携帯型無線表示及びデジタル捕捉機器１００に送信する。この場合、参加者の顔を検出して修正画像に保存する一方、修正画像の他のすべての部分は、均一の中間色に置き換えられる。肌の色、コントラストの変化、目及び口の識別と、一般的な顔の形状による顔検出は、当業者に周知である（顔認証ソフトウェアは、ニュージャージー州ジャージーシティーにあるVisionics Corporationから取得でき、米国特許第６１１１５１７号で説明される）。

【0039】

他のプライバシの実施形態において、背景画像は、異なる背景画像と置き換えられ、第１の参加者が他の場所にいるという錯覚を起こさせる。この場合、顔が検出され（他の実施形態では、ユーザの体が同様に検出され）、他のすべての部分は、異なる画像に置き換えられ、修正画像を形成する。ここで、背景画像は、携帯型無線表示及びデジタル捕捉機器１００に先に取得された画像、他の画像捕捉機器４０によって捕捉された画像、又は他の出所から取得された画像である。本発明によると、任意の種類の画像を使用できる。例えば、静止画像、又はビデオ画像を背景画像に使用できるが、これは本発明を限定するものではない。しかしながら、携帯型無線表示及びデジタル捕捉機器１００に特有である画像記憶装置３０の限定された空間と、限定された画像処理機能とを考慮すると、本発明は、記憶装置３０の画像ライブラリから選択され、通信期間の開始時に特定の場所の環境で捕捉し、又は参加者の一人が要求したときに特定の場所の環境で捕捉することによって、静止画像を背景に使用することが考えられる。修正画像の背景に静止画像を使用することのさらなる有利な点は、静止画像の送信が１回だけなので、データ送信レートが低くなることである。この場合、第１の機器から第２の機器に背景画像が送信され、第２の機器に記憶される。そして引き続き、第１の機器から第２の機器に通信期間中に顔の画像が送信される。そして引き続き、背景画面上の顔の画像を示す修正画像は、第２の機器内部に構成され、第２の機器上に表示される。代替的に、又は付加的には、静止画像を使用して背景画像の送信レートを低くすることによって、高い分解能を有する第１のユーザ８０ａの顔を、帯域幅の制限を問題にすることなく、第１の機器から第２の機器に送信できる。また、受信機器上にすでにある画像又はビデオを背景に使用することによって、画像の一部を送信する必要をまったく無くすことができる。

【0040】

図９に示すように、さらなる本発明のプライバシの実施形態において、分割した画面構造に画像の一部を使用することによって、表示画像の一部に構成されるウィンドウ１４８内部に第２のユーザに送信した修正画像からなる検証画像を、第１のユーザが見ることができる。検証画像によって、顔の場所、背景、ズーム、明るさ、位置調整、及びプライバシ機能のような画像の内容に関して第２の参加者に送信された画像がどのように見えるかを第１のユーザが視覚的に検証できる。また、当業者は、第２の場所１１４から通信期間中に受信する画像とともに第１の場所１１２の検証画像を表示部５に代替的な方法で表示できることを理解することになるであろう。代替的な方法では、自動的に、又はユーザが要求したときに、検証画像を表示できる。図１０は、１つの実施形態において、プライバシ設定のユーザコマンドに対応するオンスクリーン制御１８を示す図である。

【0041】

またさらなるプライバシの実施形態において、不透明な画面が提供され、第１の参加者と領域内の他の者とが画像捕捉が無効になっていることを検証することを容易にするように画像捕捉を覆う。図１１は、離れた場所１１２において表示される画像捕捉を場所１１４にいる第２のユーザ８０ｂがスクリーンカバー１１６を使用して無効にできることを示す図である。図１１に示すように、カバー１６６は、画像捕捉機器４０を覆い隠す。より一般的な場合には、場所又は場所の一部において表示機能及び画像捕捉機能のいずれか一方又は双方を無効にする、不透明なカバーの使用、位置回転画像捕捉機器４７を含む多くの方法を提供できる。ここで、画像捕捉機器４０のレンズは、妨害され（blocked）、又はソフトウェアで制御される。また、送信する携帯型無線表示及びデジタル捕捉機器１００は、画像捕捉機器４０と単に分離することができる。

【0042】

〔画像安定化〕
図１２に示すように、一般的な使用において、視聴者８０ａは、歩きながら、あるいは移動しながら、携帯型通信機器１４０を片手に持っているため、携帯型無線表示及びデジタル捕捉機器１００から取得する画像には他の多くの問題とともに多くのジッタが生じる。結果として、携帯型無線表示及びデジタル捕捉機器１００から捕捉されるビデオ画像に「跳びはね（jumpy）」、あるいは不安定さが現れる。この種の状況の補償するために、本発明は、ビデオ通信の間に捕捉される画像に適用できる随意的な画像安定化を提供する。

【0043】

ジッタは、連続する捕捉ビデオ画像フレームの解析、又は携帯型無線表示及びデジタル捕捉機器１００の使用のいずれかの多くの方法により検出できる。光学的構成素子自体により実現される光学的な画像安定化、又は捕捉直後に画像処理によって実行されるデジタル画像安定化のような当業者に公知な様々な画像安定化技術を使用できる。加速度計、ジャイロスコープ、又は一連のデジタル画像の解析によって検知できる。デジタル画像安定化の１つの適当な実施形態は、米国特許出願第２００６／０２７４１５６号で説明される。

【0044】

〔画像歪み補償〕
図１２を参照すると、歩きながら携帯型無線表示及びデジタル捕捉機器１００を使用するユーザとともに、本発明に従って製造される個人用通信機器１０を使用するユーザ８０が示される。示される実施形態では、携帯型無線表示及びデジタル捕捉機器１００は、携帯電話を有する。携帯電話を使用する一般的な技術では、携帯電話は、歩きながら低い角度で片手に持たれる可能性がある。画像捕捉機器４０のレンズは、表示部に近接する（又は組み込まれる）ので、低い角度によって質の悪い画像捕捉が生じて、ユーザの顔を下から見た歪んだ画像を作成する。図１３Ａは、この質の悪い画像捕捉角の問題を示す。図１３Ａは、質の悪い画像捕捉角から生じる画像を示し、図１３Ｂは、歪んでいない画像を示す。様々な方法を使用して、質の悪い画像捕捉角を補償して、ユーザのより正面からの良好な画像捕捉角で捕捉しているように見える改良画像を生成する。

【0045】

第１の画像補償方法においては、補償画像は、角度計算を使用して生成される。捕捉装置の角度方向は、（Michael Puccioによる傾斜センサの論文「電子的傾斜センサ及び傾斜計（Electrolytic Tilt Sensors and Inclinometers）」（２００４年９月、Sensor Technology and Design）において説明されるような）周知技術である傾斜角検知器（図示せず）によって検知され、捕捉角１５２を決定するために使用できる。また、傾斜角は、鼻１５０の相対的な大きさ及び形状によって決定できる。これは、画像中の人の鼻の幅、長さ、鼻孔、隔壁を含むが、これには限定されない。図１３Ａ及び１３Ｂから直ちに理解できるように、鼻１５０の大きさ及び形状は、捕捉角を決定するために検知される標識である。ユーザの捕捉画像は、良好な捕捉角で捕捉され且つ記憶されたユーザの画像と比較されるか、又は、データベースの標準的な顔と比較されて、鼻１５０の相対的な大きさ及び形状に基づいて捕捉角を決定できる。捕捉角１５２は、デジタル捕捉画像の指示方向とユーザの顔の指示方向との間の角度として規定され、良好な捕捉角は、１０度よりも小さくなるように規定される。１つの方法では、鼻の相対的な長さＤ３は、デジタル画像処理を使用して、画像中の目の間の間隔Ｄ１（又は顔の幅）と比較され、又は良好な捕捉角を有する記憶された画像と比較される。鼻の相対的な長さＤ３を使用して捕捉角１５２を測定する（図１４参照）。他方の方法では、デジタル画像処理を使用して良好な捕捉角を有する記憶された画像と比較される捕捉画像の鼻孔の大きさ（図１３Ａ及び１３Ｂ参照）を使用して捕捉角１５２を測定する。

【0046】

第１の画像補償方法において、捕捉角１５２を測定した後に、捕捉画像は、１つ又は２つ以上の方向に適宜引き伸ばされて、質の悪い捕捉画像を補償し、良好な捕捉角から捕捉されている画像に類似する画像を生成する。引き伸ばされる方向は、長手方向、横手方向、及び斜め方向を含む。ここで、画像の端部は、下端よりも上端が横手方向により引き伸ばされる。改良画像は、顔の寸法のデータベースを使用して、画像補償処理を誘導できる。顔の寸法のデータベースは、標準的な顔のデータベースから取得できる。標準的な顔のデータベースは、目の間の間隔Ｄ１、及び目と口との間隔Ｄ２、又は目と鼻との間隔Ｄ３、及び鼻と１つの目との間隔Ｄ４、又は鼻の幅の距離Ｄ５などのような図１４に示すような、参加者の顔１６４上の識別形状の間の相対的な寸法についてのデータを含むことができる。そして、質の悪い角度で捕捉された画像の相対的な寸法は、垂直方向及び水平方向に調整されて、データベースの標準的な顔と整合する相対的な寸法を有する補償画像を作成する。

【0047】

第２の画像補償方法において、補償画像は、質の悪い画像捕捉角で捕捉された画像を調整して、先に捕捉し且つ保存されたユーザのベンチマーク画像の相対的な寸法と整合することによって生成される。図１４に示すように、良好な捕捉角で捕捉されたユーザ８０ｂの画像と先に説明したＤ１、Ｄ２、Ｄ３、Ｄ４、及びＤ５のような様々な寸法とが示される。これらの寸法は、この画像から捕捉して保存できる。鼻１５０の相対的な大きさ及び形状のようなＤ１、Ｄ２、Ｄ３、Ｄ４、及びＤ５以外の、又はこれらに加えられた他の相対的な寸法を使用して、捕捉画像と記憶されたベンチマーク画像とを比較し、捕捉画像を補償できる。

【0048】

第３の画像補償方法において、補償画像は、質の悪い捕捉角で捕捉した画像を調整して、良好な画像捕捉角で捕捉され且つ先に捕捉し記憶した参加者のベンチマーク画像（静止画像又はビデオのいずれか）の相対的な寸法と整合することによって取得される。そして、捕捉画像の１つ又は２つ以上の部分９６は、先に捕捉し、記憶されたベンチマーク画像（図１４）の対応する部分に置き換えられて、図１５ｂに示されるような修正された補償画像を形成する。図１５ａ及び１５ｂに示すように、喪失し、ピンボケし、又は歪んだ１つ又は２つ以上の部分の一部を置き換えることによって、顔の改良画像を生成する。図１５ａに示すように、視聴者８０ｂの顔、及び口の領域の歪んだ部分は、質の悪いカメラ角度から生じる。部分９６は、ユーザ、又は識別された他の参加者の記憶された画像データ（図１４）と置き換えられる。

【0049】

さらなる画像補償方法においては、先に捕捉し、又は構成された参加者の顔の３次元モデルを質の悪い捕捉角で捕捉した画像とともに使用して回転した顔の画像を生成して質の悪い画像捕捉角を補正する。３次元モデルによって、顔の形状は、３次元モデルから決定でき、肌の色合いのような顔の色と他の特徴は、質の悪い画像捕捉角で捕捉した画像から決定できる。画像化された場面の３次元モデルを取得する典型的な方法は、Yahavによる米国特許第６１００５１７号に説明される。

【0050】

またさらなる画像補正方法においては、先に捕捉された良好な画像捕捉角を有するユーザ８０ｂの画像は、具現（avatar）のための基本画像として使用される。具現の顔の動きは、質の悪い画像捕捉角で捕捉されたビデオ画像の顔の変化から提供される。そして、具現は、良好な画像捕捉角で捕捉されているように見える改良画像を提供する。

【0051】

当業者は、さらに他の画像補償は、画像回転、写真の切り取り、明るい領域又は暗い領域のゲイン調整、コントラスト又は明るさの自動調整などを包含することを理解することになるであろう。

【0052】

〔セキュリティと身分証明〕
生態情報を使用して人物の身分証明を検証することは、周知の技術である。先に説明したようにKyleとAkiyamaの双方は、顔、指紋、及び声のような生態情報を集めて、捕捉した情報とデータベースとを比較することによってユーザの身分証明を検証する。本明細書に記載される本発明は、システムに内蔵される携帯型無線表示及びデジタル捕捉機器を使用して、ユーザの身分証明を検証するために使用でき、セキュリティ情報を他の機器に無線送信して他の機器へのアクセスを制御する携帯型個人用セキュリティ機器を形成することを教示する。本発明は、生物測定の捕捉及び比較をいくつか改良することを教示する。これにより、全体的な特徴を身分照明の検証に使用して必要な信号処理を単純化するとともに又は別々に、携帯型無線表示及びデジタル捕捉機器で実行することにより適当なユーザ検証を形成する。

【0053】

第１のセキュリティの実施形態において、認証されるユーザの先に捕捉されたセキュリティ画像は、画像及び表示機器の現在のユーザの画像と比較される。認証されるユーザの先に捕捉されたセキュリティ画像のいずれとも現在のユーザの顔が整合しない場合は、セキュリティ警報が始動する。セキュリティ警報が始動したとき、通信は、送信、リダイレクト（redirected）、又は監視できる。遠方の中央処理装置を使用する顔認証は、周知の技術であるが、さらに本発明は、（舌を出す、口を大きく開ける、ウィンクするというような）大げさな顔の表情を含んで選択して、それらのセキュリティ画像を擬人化し（personalize）、セキュリティの程度をさらに高めることができる。このように、携帯型無線表示及びデジタル捕捉機器の動作をユーザが始めるとき、セキュリティ許可されたユーザの先に捕捉されたセキュリティ画像と整合するセキュリティ画像を捕捉し、動作を始動する間に、ユーザは、セキュリティ画像を捕捉する間に大げさな顔の表情をいくつか提供する必要がある。コンパクトな機器に共通するような単純化された画像プロセッサを使用して、より全体的な顔の形状が簡単に識別されるので、大げさな顔の表情に加えることによって、ユーザの検証は単純化される。

【0054】

第２のセキュリティの実施形態では、ユーザの指紋の一部の画像を指紋画像として捕捉できるように、ユーザは、携帯型通信機器１４０の画像捕捉機器４０の上に親指又は他の指を置く。指紋画像は、記憶され、携帯型通信機器１４０の許可されたユーザの先に捕捉された指紋画像のデータベースと比較される。セキュリティ許可された指紋画像のデータベースの先に捕捉された指紋画像のいずれにも指紋画像が整合しない場合は、セキュリティ警報が始動し、通信機器は、無効になり、リダイレクトされ、又は監視できる。セキュリティに基づく指紋画像は、組み込まれた画像捕捉及び表示機器として表示部５に組み込まれた画像捕捉機器４０を有する携帯型通信機器１４０に特によく適合する。画像捕捉機器を使用して、レンズ上を覆う親指の画像を捕捉できるように、本発明は、広範な集束範囲（focal range）を有する焦点システムを使用して、レンズ又はガラス上のレンズの指紋を画像化する狭い集束範囲を提供することを教示する。

【0055】

第３のセキュリティの実施形態では、携帯型無線表示及びデジタル捕捉機器１００にあるマイク４０を使用して、話されたフレーズを捕捉して、先に話されたセキュリティフレーズと比較して、話されたフレーズと、操作者／ユーザの音声の特徴とに基づいてユーザの身分証明を検証する。本発明は、話されるフレーズがユーザによって選択されて、セキュリティフレーズを擬人化でき、またユーザの検証に必要な信号処理のレベルを単純化できる。

【0056】

好適な実施形態では、セキュリティの実施形態の１つ又は２つ以上を一緒に使用して、ユーザの身分証明をさらに検証する。例えば、先に捕捉したセキュリティ画像とユーザの画像とを比較でき、そしてユーザは、フレーズを話さなければならず、フレーズは、そのフレーズと音声の特徴とがセキュリティフレーズと比較される。ユーザがセキュリティ画像とセキュリティフレーズとに最終的に識別された場合のみ、ユーザは、許可されて、動作を開始する。

【0057】

また、ユーザの身分証明に関係するセキュリティを使用して、携帯型無線表示及びデジタル捕捉機器１００の動作特性を条件付けることができる。１つの実施形態では、携帯型無線表示及びデジタル捕捉機器１００が、特定のユーザの選択に従って応答するように、ロジックを制御する動作的な選択形状が提供される。

【0058】

当業者は、携帯型機器のセキュリティ機能を使用して、携帯型無線表示及びデジタル捕捉機器１００の動作をユーザが許可されることを検証し、携帯型無線表示及びデジタル捕捉機器１００とリンクする他の機器の使用を許可されることを検証できることを理解できるであろう。このように、携帯型無線表示及びデジタル捕捉機器１００を多目的携帯型セキュリティ検証システムとして使用して、無線システム、赤外線システム、携帯型機器、無線通信システム、又は電話システムのいずれかを介して携帯型機器とリンクする他の機器のユーザの身分証明に関係するセキュリティ機能を提供できる。ここで、ユーザの身分証明に基づいてアクセスが制御される個人用携帯型セキュリティシステムから恩恵を受ける他の機器は、家庭、オフィス、自動車、ボート、銀行、電子購買システム、及びセキュリティ上安全な装置が含まれるが、これに限定されない。このような場合において、携帯型通信機器を使用して、ユーザの身分証明を検証して、そして、リンクした機器に情報を送信し、ユーザの既知の身分証明と調和した方法で動作する。この承認処理は、リンクする機器の動作の承認上の制限の供与、金融取引を行うための承認の供与、セキュリティ安全情報へのアクセスの供与、場所への物理的なアクセスの供与、及び車両の操作の許可などを含むが、これには限定されない。例えば、携帯型無線表示及びデジタル捕捉機器１００を使用して、車のドアを開くことができる。ここで、携帯型無線表示及びデジタル捕捉機器１００は、ユーザの画像を最初に捕捉して、ユーザの身分証明を検証する。そして、車のドアを開くことをユーザが許可された場合に、携帯型無線表示及びデジタル捕捉機器１００は、暗号化されたアクセスコードを車に無線送信して、ドアを開く。この場合、無線アクセスコードは、一般に現在の車に提供される電子キーによって提供されることと同じであり、車のドアを開くことが可能になる前にユーザの身分証明が検証されるという更なる利点を有している。

【0059】

なお、携帯型無線表示及びデジタル捕捉機器１００を個人用携帯型セキュリティシステムに使用することについて、携帯型無線表示及びデジタル捕捉機器１００を設定して、制御したアクセスが所望される、異なる多くの私物品、又は私的な空間にセキュリティ上安全なアクセスを提供できることは重要である。私物品が紛失又は窃盗された場合、携帯型機器に組み合わされたセキュリティ上の安全な特徴により、携帯型無線表示及びデジタル捕捉機器１００を他人が操作して、個人用携帯型セキュリティシステムが設定されている私物品又は指摘空間へのアクセスを得ることを難しくする。さらに、携帯型無線表示及びデジタル捕捉機器１００とリンクする機器に送信される情報は、ユーザの身分証明に関係する情報の組を含み、この情報の組は、リンクした機器の過去のユーザの記録としてリンクした機器とともに記憶される。ここで、この情報の組は、画像、指紋、又は音声の少なくとも１つを含む。このように、過去のユーザの記録は、機器とともに最新の日がチェックできるアクセスの記録として記憶される。

【0060】

〔互換性〕
なお、第１の場所１１２又は第２の場所１１４においてすべての制御機能を開始する必要がないことは、有益である。その代わりに、制御機能は、ネットワークで接続される第３の場所などを含む任意の場所から開始できる。その結果として、携帯型無線表示及びデジタル捕捉機器１００を使用して、より高度化した機器と通信するときに、携帯型無線表示及びデジタル捕捉機器１００の機能を超える機能を入力することにより、異なる種類の画像捕捉機能、異なるデジタル画像処理機能、異なる音声機能、異なるデジタル信号処理機能、異なる送受信機能、及び異なる表示機能を利用することができる。例えば、携帯型画像化及び表示機器１４０において、表示及び画像捕捉の解像度を制限でき、デジタル信号プロセッサを制限することにより手の身振り又は身体の動きの検出が不可能になる一方、音声コマンド機能及び動き検出のような機能をより迅速にユーザが利用可能にできる。その一方、図６に示す表示及びデジタル捕捉装置１００のようなビデオ通信が搭載された大きな壁は、手の身振り、音声コマンド、及び身体の動きのような入力を有するユーザインタフェースを可能にするように、強力なデジタル信号プロセッサを有する高解像度の表示器と高解像度の画像捕捉機器を有することができる。本発明の１つの実施形態では、携帯型通信機器１４０は、画像化優先プロトコルを適用して、異なる種類のデバイスの間の双方向ビデオ通信を可能にする。

【0061】

また、当業者は、本発明に係る双方向通信システム１１０は、静止画像、テキスト、表計算ソフト（spreadsheet）、音声録音、及び二人又は三人以上の会話の間に共有できる画像の他の形式のような双方向通信間の他の形式の媒体を含むことができる。

【0062】

本発明は、本発明のある好適な実施形態を特に参照して詳細に説明されてきた。しかし、本発明の範囲内で変化及び変形を行うことができることが理解されるであろう。本発明の開示において提供された様々な図は、本発明の説明を意図したであり、適当な縮尺を示すことを意図したものではないことを理解すべきである。

【0063】

上記の実施形態につき以下の付記を残しておく。
（付記１）
ａ．デジタルビデオ画像及び／又はデジタル静止画像を捕捉するデジタル画像捕捉機器と、
ｂ．通信ネットワークによるデジタルビデオ画像及び／又はデジタル静止画像の無線通信を送受信する機器と、
ｃ．前記画像捕捉機器によって捕捉されたデジタル画像の質の悪い画像捕捉状態を補償して、前記通信ネットワークによって送信する修正画像を作成する画像補償機器と、
を有する携帯型無線表示及びデジタル捕捉機器。
（付記２）
前記質の悪い画像捕捉状態は、質の悪い捕捉角、微小光、カメラの動き、場面内の動き、又は明暗領域を含む、請求項１に記載の携帯型無線表示及びデジタル捕捉機器。
（付記３）
捕捉角検知手段をさらに有する請求項２に記載の携帯型無線表示及びデジタル捕捉機器。
（付記４）
前記捕捉角検知手段は、人の捕捉画像の鼻の相対的な大きさ及び形状と、良好な捕捉角で捕捉された人の記憶された画像とを比較するデジタル画像処理を含む、請求項３に記載の携帯型無線表示及びデジタル捕捉機器。
（付記５）
前記捕捉角検知手段は、傾斜センサ、又は傾斜計を含む、請求項３に記載の携帯型無線表示及びデジタル捕捉機器。
（付記６）
前記修正画像は、捕捉画像の少なくとも１つの物理的寸法を識別し、記憶された値と比較するデジタル画像処理を使用して修正される、請求項１に記載の携帯型無線表示及びデジタル捕捉機器。
（付記７）
前記少なくとも１つの物理的寸法は、２つ又は３つ以上の物理的寸法を有する、請求項６に記載の携帯型無線表示及びデジタル捕捉機器。
（付記８）
前記捕捉されたデジタル画像は、前記捕捉されたデジタル画像の一部のみが修正される、請求項１に記載の携帯型無線表示及びデジタル捕捉機器。
（付記９）
前記修正されたデジタル画像は、記憶された画像の一部を使用して構成される、請求項１に記載の携帯型無線表示及びデジタル捕捉機器。
（付記１０）
前記修正されたデジタル画像は、ユーザの顔の３次元モデルを使用して構成される、請求項１に記載の携帯型無線表示及びデジタル捕捉機器。
（付記１１）
前記修正画像は、前記表示部の一部に表示される一方、通信ネットワークによって受信される前記デジタルビデオ又は静止画像は、前記表示部の残りに表示される、請求項１に記載の携帯型無線表示及びデジタル捕捉機器。
（付記１２）
前記修正画像は、通信ネットワークによって受信される前記デジタル画像と交互に表示される、請求項１に記載の携帯型無線表示及びデジタル捕捉機器。
（付記１３）
音声信号を取得する音声記録機器と、音声を生成するオーディオサウンド機器とをさらに有する、請求項１に記載の携帯型無線表示及びデジタル捕捉機器。
（付記１４）
前記音声信号は、第２の携帯型無線表示及びデジタル捕捉機器に無線通信ネットワークによって送信される、請求項１３に記載の携帯型無線表示及びデジタル捕捉機器。
（付記１５）
前記携帯型無線表示及びデジタル捕捉機器の使用をユーザに許可するか否かを決定するセキュリティ手段をさらに有する、請求項１３に記載の携帯型無線表示及びデジタル捕捉機器。
（付記１６）
前記セキュリティ手段は、ユーザの前記画像と記憶された画像との比較を有する、請求項１５に記載の携帯型無線表示及びデジタル捕捉機器。
（付記１７）
前記セキュリティ手段は、前記ユーザの指紋の検証、又は前記ユーザの音声の検証をさらに有する、請求項１６に記載の携帯型無線表示及びデジタル捕捉機器。
（付記１８）
前記セキュリティ手段は、前記携帯型無線表示及びデジタル捕捉機器とネットワークを介してリンクされる他の機器の使用を前記ユーザに許可するか否かを決定するために使用される、請求項１５に記載の携帯型無線表示及びデジタル捕捉機器。
（付記１９）
前記他の機器の使用を前記ユーザに許可することを前記セキュリティ手段が決定した後に、暗号化されたアクセスコードが、前記他の機器に送信される、請求項１８に記載の携帯型無線表示及びデジタル捕捉機器。
（付記２０）
前記ユーザの前記記憶された画像は、前記ユーザによって選択された大げさな顔の表情を含む、請求項１６に記載の携帯型無線表示及びデジタル捕捉機器。
（付記２１）
携帯型無線表示及びデジタル捕捉機器の表示画像を改変する方法であって、
ａ．ユーザのデジタルビデオ画像及び／又はデジタル静止画像を捕捉するステップと、
ｂ．前記画像捕捉機器による画像捕捉の質の悪い画像捕捉状態に応じて前記デジタル捕捉画像を調整して、修正した捕捉画像を作成するステップと、
ｃ．第２の携帯型無線表示及びデジタル捕捉機器に無線通信ネットワークによって前記修正したデジタル捕捉画像を送信するステップと、
を有する方法。
（付記２２）
前記質の悪い画像捕捉状態は、質の悪い捕捉角、微小光、カメラの動き、場面内の動き、又は明暗領域を含む、請求項２１に記載の方法。
（付記２３）
前記携帯型無線表示及びデジタル捕捉機器は、捕捉角検知手段を有する請求項２１に記載の方法。
（付記２４）
前記捕捉角検知手段は、人の捕捉画像の鼻の相対的な大きさ及び形状と、良好な捕捉角で捕捉された人の記憶された画像とを比較する、デジタル画像を処理するステップを含む、請求項２３に記載の方法。
（付記２５）
前記捕捉角検知手段は、傾斜センサ、又は傾斜計を含む、請求項２３に記載の方法。
（付記２６）
前記修正画像は、捕捉画像の少なくとも１つの物理的寸法を識別し、記憶された値と比較するデジタル画像処理を使用して修正される、請求項２１に記載の方法。
（付記２７）
前記少なくとも１つの物理的寸法は、２つ又は３つ以上の物理的寸法を有する、請求項２１に記載の方法。
（付記２８）
前記捕捉されたデジタル画像は、前記捕捉されたデジタル画像の一部のみが修正される、請求項２１に記載の方法。
（付記２９）
前記修正されたデジタル画像は、記憶された画像の一部を使用して構成される、請求項２１に記載の方法。
（付記３０）
前記修正されたデジタル画像は、ユーザの顔の３次元モデルを使用して構成される、請求項２１に記載の方法。
（付記３１）
前記修正画像は、前記表示部の一部に表示される一方、通信ネットワークによって受信される前記デジタルビデオ又は静止画像は、前記表示部の残りに表示される、請求項２１に記載の方法。
（付記３２）
前記修正画像は、通信ネットワークによって受信される前記デジタル画像と交互に表示される、請求項２１に記載の方法。
（付記３３）
音声信号を取得するステップと、音声を生成するオーディオサウンド機器とをさらに有する、請求項２１に記載の方法。
（付記３４）
前記音声信号は、第２の携帯型無線表示及びデジタル捕捉機器に無線通信ネットワークによって送信される、請求項３３に記載の方法。
（付記３５）
前記携帯型無線表示及びデジタル捕捉機器の使用をユーザに許可するか否かを決定するステップをさらに有する、請求項３３に記載の方法。
（付記３６）
前記携帯型無線表示及びデジタル捕捉機器の使用をユーザに許可するか否かを決定するステップは、前記ユーザの前記画像と記憶された画像とを比較するステップを有する、請求項３５に記載の方法。
（付記３７）
前記携帯型無線表示及びデジタル捕捉機器の使用をユーザに許可するか否かを決定するステップは、前記ユーザの指紋を検証するステップ、又は前記ユーザの音声を検証するステップを有する、請求項３５に記載の方法。
（付記３８）
前記携帯型無線表示及びデジタル捕捉機器の使用をユーザに許可するか否かを決定するステップは、前記携帯型無線表示及びデジタル捕捉機器とネットワークを介してリンクされる他の機器の使用を前記ユーザに許可するか否かを決定するステップをさらに有する、請求項３５に記載の方法。
（付記３９）
前記携帯型無線表示及びデジタル捕捉機器の使用をユーザに許可するか否かを決定するステップは、前記他の機器の使用を前記ユーザに許可することを前記セキュリティ手段が決定した後に、暗号化されたコードが、前記他の機器に送信されるステップを有する、請求項３８に記載の方法。
（付記４０）
通信ネットワークによってデジタル画像を送受信する携帯型無線表示及びデジタル捕捉機器の表示画像を改変する方法であって、
ａ．前記携帯型無線表示及びデジタル捕捉機器を有するユーザのデジタル画像を捕捉するステップと、
ｂ．前記ユーザの前記デジタル画像の背景を調整して、送信される修正した捕捉画像を作成するステップと、
ｃ．第２の携帯型無線表示及びデジタル捕捉機器に無線通信ネットワークによって修正した捕捉画像を送信するステップと、
を有する方法。
（付記４１）
前記表示された画像の少なくとも一部は、前記受信したデジタル画像からなり、一部は、少なくとも前記時間の一部で前記送信されたデジタル画像からなる、請求項４０に記載の方法。
（付記４２）
前記表示画像は、前記受信したデジタル画像と前記送信したデジタル画像との間を期間に亘って交互に行う、請求項４１に記載の方法。
（付記４３）
前記ユーザは、前記受信したデジタル画像、又は前記送信したデジタル画像に前記表示画像を選択できる、請求項４０に記載の方法。
（付記４４）
前記背景を前記調整するステップは、前記背景を他の画像に置換するステップを有する、請求項４０に記載の方法。
（付記４５）
前記第２の画像は、静止画像である、請求項４４に記載の方法。
（付記４６）
前記第２の画像は、ビデオ画像である、請求項４４に記載の方法。
（付記４７）
前記第２の画像は、前記第２の携帯型無線表示及びデジタル捕捉機器に別々に送信されるか、又は前記第２の携帯型無線表示及びデジタル捕捉機器に内在する、請求項４４に記載の方法。
（付記４８）
通信ネットワークによってデジタル画像を送受信する携帯型無線表示及びデジタル捕捉機器の表示画像を改変する方法であって、
ａ．前記携帯型無線表示及びデジタル捕捉機器によってデジタルビデオ画像及び／又はデジタル静止画像を捕捉するステップと、
ｂ．第２の携帯型無線表示及びデジタル捕捉機器から前記無線通信ネットワークによって受信する指示によって、前記携帯型無線表示及びデジタル捕捉機器がどんな画像を捕捉するかを制御するステップと、
ｃ．前記携帯型無線表示及びデジタル捕捉機器からの前記捕捉画像を前記第２の携帯型無線表示及びデジタル捕捉機器に無線通信ネットワークによって送信するステップと、
を有する方法。
（付記４９）
音声信号を取得するステップと、音声を生成するオーディオサウンド機器とをさらに有する、請求項４８に記載の方法。
（付記５０）
前記音声信号は、第２の携帯型無線表示及びデジタル捕捉機器に無線通信ネットワークによって送信される、請求項４９に記載の方法。
（付記５１）
前記携帯型無線表示及びデジタル捕捉機器の使用をユーザに許可するか否かを決定するステップをさらに有する、請求項４８に記載の方法。
（付記５２）
前記携帯型無線表示及びデジタル捕捉機器の使用をユーザに許可するか否かを決定するステップは、前記ユーザの前記画像と記憶された画像との比較するステップを有する、請求項５１に記載の方法。
（付記５３）
前記携帯型無線表示及びデジタル捕捉機器の使用をユーザに許可するか否かを決定するステップは、前記ユーザの指紋を検証するステップ、又は前記ユーザの音声を検証するステップを有する、請求項５１に記載の方法。
（付記５４）
前記携帯型無線表示及びデジタル捕捉機器の使用をユーザに許可するか否かを決定するステップは、前記携帯型無線表示及びデジタル捕捉機器とネットワークを介してリンクされる他の機器を使用することを含む、請求項５１に記載の方法。
（付記５５）
前記携帯型無線表示及びデジタル捕捉機器の使用をユーザに許可するか否かを決定するステップは、前記他の機器の使用を前記ユーザに許可することを前記セキュリティ手段が決定した後に、暗号化されたコードが、前記他の機器に送信されるステップを有する、請求項５１に記載の方法。
（付記５６）
前記指示は、前記第２の携帯型無線表示及びデジタル捕捉機器から生じる、請求項４７に記載の方法。
（付記５７）
前記指示は、前記携帯型無線表示及びデジタル捕捉機器から前記無線通信ネットワークによって受信する画像を解析することによって取得される、請求項４７に記載の方法。
（付記５８）
携帯型無線表示及びデジタル捕捉機器の表示画像を改変する方法であって、
ａ．前記携帯型無線表示及びデジタル捕捉機器によってデジタルビデオ画像及び／又はデジタル静止画像を捕捉するステップと、
ｂ．前記捕捉されるデジタル画像の画質に影響を及ぼす前記携帯型無線表示及びデジタル捕捉機器の動作を検出して、前記検出した動作に応じて前記デジタル捕捉画像を自動的に調整するステップと、
ｃ．前記携帯型無線表示及びデジタル捕捉機器からの前記調整した捕捉デジタル画像を第２の携帯型無線表示及びデジタル捕捉機器に無線通信ネットワークによって送信するステップと、
を有する方法。
（付記５９）
前記動作検出は、ジッタを有する、請求項５８に記載の方法。

【符号の説明】

【0064】

５ 表示部
１０a、１０ｂ 画像捕捉機器
１４a、１４ｂ 表示部
２０a、２０ｂ ユーザ
２８ ポインタ装置
３０a、３０ｂ メモリ
４０ 画像捕捉機器
４５ マイク
４６ スピーカ
４７ 画像捕捉機器用回転架台
４８ ヒンジ
８０a、８０ｂ ユーザ
６０、６２ 通信チャネル
９４ ネットワーク
９６ 歪んだ部分
１００ 表示及びデジタル捕捉装置
１１０ 双方向通信システム
１１２、１１４ 場所
１２０ 画像プロセッサ
１２２ 制御器
１２４ 通信制御装置
１２６ プロンプト検出装置
１３０ 捕捉及び放送用音声構成素子
１４０ 個人用通信機器
１４１ 指示可能捕捉を有する個人用通信機器
１４２ 制御
１４４ 背景
１４６ 顔
１４８ ウィンドウ
１５０ 鼻
１６４ 測定
１６６ スクリーンカバー
１６８ 制御

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図14】

【図15A】

【図15B】