特許 6441581 フレキシブルディスプレイの曲げモーションに対する光検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6441581

(24)【登録日】2018年11月30日

(45)【発行日】2018年12月19日

(54)【発明の名称】フレキシブルディスプレイの曲げモーションに対する光検出

(51)【国際特許分類】

   G01B 11/26 20060101AFI20181210BHJP

   G01B 11/16 20060101ALI20181210BHJP

   H04N 5/70 20060101ALI20181210BHJP

   G09G 5/00 20060101ALI20181210BHJP

   G09F 9/30 20060101ALI20181210BHJP

【ＦＩ】

   G01B11/26 H

   G01B11/16 H

   H04N5/70 B

   G09G5/00 550C

   G09F9/30 308Z

   G09F9/30 373

【請求項の数】19

【外国語出願】

【全頁数】21

(21)【出願番号】特願2014-75286(P2014-75286)

(22)【出願日】2014年4月1日

(65)【公開番号】特開2014-232100(P2014-232100A)

(43)【公開日】2014年12月11日

【審査請求日】2017年3月31日

(31)【優先権主張番号】14/229,668

(32)【優先日】2014年3月28日

(33)【優先権主張国】US

(31)【優先権主張番号】61/807,669

(32)【優先日】2013年4月2日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】512187343

【氏名又は名称】三星ディスプレイ株式會社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(72)【発明者】

【氏名】ウェイ，ション

【審査官】 小野寺 麻美子

(56)【参考文献】

【文献】 特開２００５−２４９４３２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０２３５８９３（ＵＳ，Ａ１）

【文献】 特開２０１１−０９５３７０（ＪＰ，Ａ）

【文献】 特表２０１２−５３２８０４（ＪＰ，Ａ）

【文献】 特開２００３−１３０６４２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００ − Ｇ０１Ｂ １１／３０

Ｇ０６Ｔ １／００ − Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ３／００ − Ｇ０６Ｔ ５／５０

Ｇ０６Ｔ ９／００ − Ｇ０６Ｔ ９／４０

Ｇ０９Ｆ ９／３０ − Ｇ０９Ｆ ９／４６

Ｇ０９Ｇ ５／００ − Ｇ０９Ｇ ５／４０

Ｈ０４Ｎ ５／６６ − Ｈ０４Ｎ ５／７４

(57)【特許請求の範囲】

【請求項1】

フレキシブルディスプレイの検出デバイスであって、
イメージをキャプチャするように構成されたイメージセンサ「Ａ」及びイメージセンサ「Ｂ」と、
前記イメージセンサによってキャプチャされた前記イメージをプロセシングするように構成されたプロセッサと、
前記プロセッサによって実行されるとき、前記イメージを比較することによって前記フレキシブルディスプレイの前面平面の曲げ角度を計算する命令が保存されたメモリと、
を含み、
前記プロセッサは、
いずれもが前記イメージセンサ「Ａ」によってキャプチャされ、第１時間にキャプチャされたファースト−イン−タイムイメージのイメージセンサＡイメージ及び前記第１時間より後の第２時間にキャプチャされたセカンド−イン−タイムイメージのイメージセンサＡイメージ、並びに、いずれもが前記イメージセンサ「Ｂ」によってキャプチャされ、前記第１時間にキャプチャされたファースト−イン−タイムイメージのイメージセンサＢイメージ及び前記第２時間にキャプチャされたセカンド−イン−タイムイメージのイメージセンサＢイメージのいずれにも共通に発見される複数の特有の特徴を位置確認し、
前記セカンド−イン−タイムイメージそれぞれでの前記特有の特徴それぞれに対する第２座標のセットをマーキングし、
前記ファースト−イン−タイムイメージそれぞれでの前記特有の特徴それぞれに対する第１座標のセットをマーキングすることによって、
前記ファースト−イン−タイムイメージを前記セカンド−イン−タイムイメージと比較するように構成される、検出デバイス。

【請求項2】

いずれもが前記イメージセンサ「Ａ」によってキャプチャされる前記ファースト−イン−タイムイメージのイメージセンサＡイメージ及び前記セカンド−イン−タイムイメージのイメージセンサＡイメージ、並びに、いずれもが前記イメージセンサ「Ｂ」によってキャプチャされる前記ファースト−イン−タイムイメージのイメージセンサＢイメージ及び前記セカンド−イン−タイムイメージのイメージセンサＢイメージを保持するように構成されるバッファをさらに含む、請求項１に記載の検出デバイス。

【請求項3】

フレキシブルディスプレイの検出デバイスであって、
イメージをキャプチャするように構成されたイメージセンサ「Ａ」及びイメージセンサ「Ｂ」と、
前記イメージセンサによってキャプチャされた前記イメージをプロセシングするように構成されたプロセッサと、
前記プロセッサによって実行されるとき、前記イメージを比較することによって前記フレキシブルディスプレイの前面平面の曲げ角度を計算する命令が保存されたメモリと、
を含み、
前記イメージセンサは前記フレキシブルディスプレイの周縁部に位置する、検出デバイス。

【請求項4】

算出ユニットをさらに含み、
この算出ユニットは、
前記イメージセンサＡイメージの前記特有の特徴のそれぞれに対して、前記イメージセンサＡイメージの前記第１座標セットのうちの一つから前記イメージセンサＡイメージの第２座標の対応するセットまでの第１距離及び方向に対応する第１イメージセンサモーションベクトルを計算し、
前記イメージセンサＢイメージの前記特有の特徴のそれぞれに対して、前記イメージセンサＢイメージの前記第１座標セットのうちの一つから前記イメージセンサＢイメージの第２座標の対応するセットまでの第２距離及び方向に対応する第２イメージセンサモーションベクトルを計算するように構成された、請求項１または２に記載の検出デバイス。

【請求項5】

前記算出ユニットは、さらに、
前記第１イメージセンサモーションベクトルのベスト−フィット（ｂｅｓｔ−ｆｉｔ）に対応する最小平均二乗誤差（ＭＭＳＥ）を有する第１イメージセンサＭＭＳＥモーションベクトルを計算し、
前記第２イメージセンサモーションベクトルのベスト−フィットに対応する最小平均二乗誤差（ＭＭＳＥ）を有する第２イメージセンサＭＭＳＥモーションベクトルを計算するように構成された、請求項４に記載の検出デバイス。

【請求項6】

前記第１イメージセンサＭＭＳＥモーションベクトル及び前記第２イメージセンサＭＭＳＥモーションベクトルを受信し、
前記第１イメージセンサＭＭＳＥモーションベクトル及び前記第２イメージセンサＭＭＳＥモーションベクトルの算術平均を計算し、
前記算術平均を前記第１イメージセンサＭＭＳＥモーションベクトルから減算して第１イメージセンサ差動モーションベクトルを生成し、
前記算術平均を前記第２イメージセンサＭＭＳＥモーションベクトルから減算して第２イメージセンサ差動モーションベクトルを生成するように構成された算術ユニットをさらに含む、請求項５に記載の検出デバイス。

【請求項7】

前記差動モーションベクトルの生成は、前記特有の特徴に対応した周囲領域に対する前記イメージセンサの共通移動を無効（ｎｅｇａｔｅ）にする、請求項６に記載の検出デバイス。

【請求項8】

前記算術ユニットから前記差動モーションベクトルを受信し、
前記各差動モーションベクトルの長さに対応するピクセルの数を測定し;
前記測定されたピクセルの数を、前記フレキシブルディスプレイの前面の法線に対する、前記各イメージセンサからの視線についての対応する偏向角度に変換し、
前記偏向角度を時間の関数としてマッピングし、
前記偏向角度を前記フレキシブルディスプレイの前面平面の曲げ角度に変換するように構成された幾何学的ユニットをさらに含む、請求項６に記載の検出デバイス。

【請求項9】

前記プロセッサによって実行されるとき、メモリに保存された命令は、前記プロセッサが前記曲げ角度の結果としての情報をプロセシングするようにし、
前記角度は、Ｘ軸に対して測定されたＸ軸角度、及びＹ軸に対して測定されたＹ軸角度に対応する、請求項８に記載の検出デバイス。

【請求項10】

検出デバイスであって、
イメージをキャプチャするように構成された一つ以上のイメージセンサと、
前記一つ以上のイメージセンサによってそれぞれキャプチャされた前記イメージを分析することによって、フレキシブルディスプレイの曲げまたは移動を検出するように構成されたプロセッサと、
前記一つ以上のイメージセンサによってそれぞれ第１時間にキャプチャされたファースト−イン−タイムイメージを保存し、前記第１時間より後の第２時間に前記一つ以上のイメージセンサによってそれぞれキャプチャされたセカンド−イン−タイムイメージを保存するバッファとを含み、
前記プロセッサは、前記一つ以上のイメージセンサによって得られたイメージについて、同一のイメージセンサによってキャプチャされた、対応するセカンド−イン−タイムイメージと、前記ファースト−イン−タイムイメージとを比較して、前記一つ以上のイメージセンサがレファレンスポイントに対して移動した角度を決定することによって、前記検出された曲げの程度を計算するように構成される検出デバイス。

【請求項11】

フレキシブルディスプレイの前方のイメージを複数のイメージセンサによりキャプチャすることで、フレキシブルディスプレイの曲げを検出する方法であって、
複数のイメージセンサを用いて、第１時間にそれぞれ複数のファースト−イン−タイムイメージをキャプチャする段階と、
前記複数のイメージセンサを用いて、前記第１時間より後の第２時間にそれぞれ複数のセカンド−イン−タイムイメージをキャプチャする段階と、
前記ファースト−イン−タイムイメージを、対応するイメージセンサによる前記セカンド−イン−タイムイメージと比較する段階と、
を含む、曲げの検出方法。

【請求項12】

前記セカンド−イン−タイムイメージに対する前記ファースト−イン−タイムイメージの前記比較により、前記第１時間から前記第２時間までに前記複数のイメージセンサのうちの一つから前記フレキシブルディスプレイのレファレンスポイントへの視線に生ずる変化に対応する角度を決定する段階と、
前記視線に生ずる変化に対応する偏向角度を計算する段階と、をさらに含む、請求項１１に記載の曲げの検出方法。

【請求項13】

寿命ストレス診断（ｌｉｆｅｔｉｍｅ ｓｔｒｅｓｓ ｄｉａｇｎｏｓｔｉｃｓ）を決定するために、経時的に複数の、計算された偏向角度をマッピングする段階をさらに含む、請求項１２に記載の曲げの検出方法。

【請求項14】

前記フレキシブルディスプレイが前記フレキシブルディスプレイの前面法線に対して曲がる程度に対応する曲げ角度に、前記偏向角度を変換する段階をさらに含む、請求項１３に記載の曲げの検出方法。

【請求項15】

前記ファースト−イン−タイムイメージを前記セカンド−イン−タイムイメージと比較する段階は、プロセッサを用いて、メモリに保存された命令を実行する段階を含む、請求項１１に記載の曲げの検出方法。

【請求項16】

前記ファースト−イン−タイムイメージを前記セカンド−イン−タイムイメージと比較する段階は、
前記ファースト−イン−タイムイメージ及び前記セカンド−イン−タイムイメージから共通に発見される一つ以上の特有の特徴を位置確認する段階と、
前記セカンド−イン−タイムイメージにおける前記一つ以上の特有の特徴のそれぞれに対する第２座標のセットをマーキングする段階と、
前記ファースト−イン−タイムイメージにおける前記一つ以上の特有の特徴のそれぞれに対する第１座標のセットをマーキングする段階と、
前記各イメージセンサによるイメージにおける前記特有の特徴のそれぞれに対して、前記第１座標の各セットと前記第２座標の各セットとの間の距離に対応するモーションベクトルを計算する段階と、
を含む、請求項１５に記載の曲げの検出方法。

【請求項17】

複数のモーションベクトルが計算され、
前記ファースト−イン−タイムイメージを前記セカンド−イン−タイムイメージと比較する段階は、前記各イメージセンサに対して、前記モーションベクトルのベスト−フィットベクトルを示す最小平均二乗誤差（ＭＭＳＥ）を有するものとしてのＭＭＳＥモーションベクトルを計算する段階をさらに含む、請求項１６に記載の曲げの検出方法。

【請求項18】

前記ファースト−イン−タイムイメージを前記セカンド−イン−タイムイメージと比較する段階は、
全ての前記ＭＭＳＥモーションベクトルについての算術平均を計算する段階と、
前記算術平均を、それぞれの前記ＭＭＳＥモーションベクトルから減算して、前記各イメージセンサに対する差動モーションベクトルを生成し、前記イメージセンサの共通移動を無効にする段階と、をさらに含む、請求項１７に記載の曲げの検出方法。

【請求項19】

前記各差動モーションベクトルの長さに対応する一つ以上の軸でピクセルの数を測定し、
前記各イメージセンサの視野における角度あたりの前記ピクセルの数に基づいて、前記一つ以上の軸におけるピクセルの数を、前記各イメージセンサからの視線についての一つ以上の偏向角度に変換し、
前記偏向角度を時間の関数としてマッピングし、
前記フレキシブルディスプレイの前面平面に対する前記フレキシブルディスプレイの曲げの程度に対応する曲げ角度に、前記偏向角度を変換することによって、
前記フレキシブルディスプレイの前記前面平面についての一つ以上の曲げ角度を計算する段階をさらに含む、請求項１８に記載の曲げの検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願に対する相互参照
本特許出願は、全体の内容が参照でここに統合されるＯｐｔｉｃａｌ Ｄｅｔｅｃｔｉｏｎｏｆ Ｂｅｎｄｉｎｇ Ｍｏｔｉｏｎｓ ｏｆ Ｆｌｅｘｉｂｌｅ Ｄｉｓｐｌａｙ名称で、２０１３年４月２日付けで出願された米国仮出願第６１／８０７、６６９号に対する優先権を主張して、その利益を請求する。

【0002】

本発明の実施形態の様態は、一般にフレキシブルディスプレイの曲げモーションの検出、及び時間による曲げ角度の測定に関するものである。

【背景技術】

【0003】

フレキシブル有機発光ダイオードディスプレイのようなフレキシブルディスプレイは、ディスプレイ技術で次世代の先端分野である。フレキシブルディスプレイの新しいフォーム−ファクタ（ｆｏｒｍ−ｆａｃｔｏｒ）は、ねじれベース（ｔｗｉｓｔ−ｂａｓｅｄ）のユーザ入力のような多数の新たな使用の場合及びアプリケーションを生成する。しかし、このような動作を効率的に行うためには、ディスプレイの曲げまたはねじれの範囲、量、及び／または程度を計算するのが、フレキシブルディスプレイのシステムに対して有用である。また、ベンディング量に対する情報はフレキシブルディスプレイの寿命ストレス診断（ｌｉｆｅ−ｔｉｍｅ ｓｔｒｅｓｓ ｄｉａｇｎｏｓｔｉｃｓ）のために活用可能である。

【発明の概要】

【課題を解決するための手段】

【0004】

フレキシブルディスプレイのＸ軸及びＹ軸によるベンディング量を測定するために、デバイスは、フレキシブルディスプレイのレファレンス条件（例えば、フレキシブルディスプレイのレファレンス条件は、フレキシブルディスプレイが扁平であるか、または曲がらない場合である）と、フレキシブルディスプレイの動的条件（例えば、フレキシブルディスプレイが曲がったり屈曲したとき）の間の区別ファクタを識別することもできる。本発明の例示的な実施例は、フレキシブルディスプレイが扁平であるか、または曲がらない状態としてレファレンス条件を称するが、本発明の他の実施例は、レファレンス条件はフレキシブルディスプレイが曲がる場合であることを許す。したがって、レファレンス条件及び動的条件は、２つの条件のうちの一つが曲がらない状況を含む、フレキシブルディスプレイが異なっているように曲がる任意の２つの条件であってもよい。動的条件からレファレンス条件を区別するために考慮しうる可能なファクタは、例えば、フレキシブルディスプレイのコンポーネントが受ける機械的ストレス、フレキシブルディスプレイの表面圧力、ジャイロスコープを用いたモーションの検出、フレキシブルディスプレイの一つ以上の部分の加速度の測定値、及び／またはフレキシブルディスプレイによる光吸収またはそれによって認知された光における変化を含むこともできる。

【0005】

上述した技術は、フレキシブルディスプレイの曲げの程度を測定できるフレキシブルディスプレイを提供する。

【0006】

本発明の実施例は、フレキシブルディスプレイ内に、またはその近くに内蔵された検出デバイスの一部として多重のイメージセンサを活用する。フレキシブルディスプレイが曲がるとき、イメージセンサの可視線（ｌｉｎｅｓ ｏｆ ｓｉｇｈｔ）が変化する。周囲環境のイメージをキャプチャするためにイメージセンサを用いることによって、そして検出デバイスのプロセッサ／コンピューティングデバイスを用いて時間を通じてイメージの特有な特徴を比較することによって、本発明の実施例のシステムはイメージセンサの可視線における角度変化を測定することができ、その後にフレキシブルディスプレイの変化する形状を外挿、推定（ｅｘｔｒａｐｏｌａｔｅ）することができる。

【0007】

本発明の一実施例によれば、フレキシブルディスプレイの検出デバイスが提供されて、この検出デバイスは、イメージをキャプチャするように構成されたイメージセンサ「Ａ」及び「Ｂ」と、イメージセンサによってキャプチャされたイメージをプロセシングするように構成されたプロセッサと、プロセッサによって実行されるとき、イメージを比較することによってフレキシブルディスプレイの曲げ角度を計算する命令が保存されたメモリと、を含む。

【0008】

検出デバイスは、イメージセンサによってキャプチャされたイメージを保存するように構成され、第１時間にキャプチャされたイメージのファースト−イン−タイムイメージ（ｆｉｒｓｔ−ｉｎ−ｔｉｍｅ ｉｍａｇｅｓ）及び第１時間以後の第２時間でキャプチャされたイメージのセカンド−イン−タイムイメージ（ｓｅｃｏｎｄ−ｉｎ−ｔｉｍｅ ｉｍａｇｅｓ）をプロセッサに提供するように構成されたバッファをさらに含むこともでき、プロセッサは、メモリにおける命令を実行することによって、曲げ角を計算するために、ファースト−イン−タイムイメージをセカンド−イン−タイムイメージと比較するようにさらに構成されることもできる。

【0009】

プロセッサは、イメージセンサ「Ａ」によって全てキャプチャされるファースト−イン−タイムイメージのイメージ−センサ−Ａイメージ及びセカンド−イン−タイムイメージのイメージ−センサ−Ａイメージそれぞれと、イメージセンサ「Ｂ」によって全てキャプチャされるファースト−イン−タイムイメージのイメージ−センサ−Ｂイメージ及びセカンド−イン−タイムイメージのイメージ−センサ−Ｂイメージそれぞれから、共通で発見される特有な特徴を位置確認して、セカンド−イン−タイムイメージそれぞれに対する特有な特徴の第２座標のセットをマーキングし、ファースト−イン−タイムイメージそれぞれに対する特有な特徴の第１座標のセットをマーキングし、イメージ−センサ−Ａイメージの第１座標のセットからイメージ−センサ−Ａイメージの第２座標のセットまでの第１距離及び方向に対応する第１ベクトルを計算し、イメージ−センサ−Ｂイメージの第１座標のセットからイメージ−センサ−Ｂイメージの第２座標のセットまでの第２距離及び方向に対応する第２ベクトルを計算することによって、ファースト−イン−タイムイメージをセカンド−イン−タイムイメージと比較するように構成されることもできる。

【0010】

座標それぞれはＸ−Ｙ座標系に対応することもできる。

【0011】

プロセッサは、イメージセンサ「Ａ」によって全てキャプチャされるファースト−イン−タイムイメージのイメージ−センサ−Ａイメージ及びセカンド−イン−タイムイメージのイメージ−センサ−Ａイメージそれぞれと、イメージセンサ「Ｂ」によって全てキャプチャされるファースト−イン−タイムイメージのイメージ−センサ−Ｂイメージ及びセカンド−イン−タイムイメージのイメージ−センサ−Ｂイメージそれぞれから、共通で発見される複数の特有な特徴を位置確認して、セカンド−イン−タイムイメージそれぞれにおける特有な特徴それぞれに第２座標のセットをマーキングし、ファースト−イン−タイムイメージそれぞれにおける特有な特徴それぞれに対する第１座標のセットをマーキングし、イメージ−センサ−Ａイメージの特有な特徴それぞれに対して、イメージ−センサ−Ａイメージの第１座標のセットのうちの一つからイメージ−センサ−Ａイメージの第２座標の対応するセットまでの第１距離及び方向に対応する第１イメージセンサモーションベクトルを計算し、イメージ−センサ−Ｂイメージの特有な特徴それぞれに対して、イメージ−センサ−Ｂイメージの第１座標のセットのうちの一つからイメージ−センサ−Ｂイメージの第２座標の対応するセットまでの第２距離及び方向に対応する第２イメージセンサモーションベクトルを計算し、第１イメージセンサモーションベクトルの二次ベスト−フィット（ｑｕａｄｒａｔｉｃ ｂｅｓｔ−ｆｉｔ）に対応する最小平均二乗誤差（ＭＭＳＥ）を有する第１イメージセンサＭＭＳＥモーションベクトルを計算し、第２イメージセンサモーションベクトルの二次ベスト−フィットに対応する最小平均二乗誤差を有する第２イメージセンサＭＭＳＥモーションベクトルを計算することによって、ファースト−イン−タイムイメージをセカンド−イン−タイムイメージと比較するように構成されてもよい。

【0012】

検出デバイスは、第１イメージセンサＭＭＳＥモーションベクトル及び第２イメージセンサＭＭＳＥモーションベクトルを受信し、第１イメージセンサＭＭＳＥモーションベクトル及び第２イメージセンサＭＭＳＥモーションベクトルの算術平均を計算し、第１イメージセンサＭＭＳＥモーションベクトルから算術平均を減算して第１イメージセンサ差動モーションベクトルを生成し、第２イメージセンサＭＭＳＥモーションベクトルから算術平均を減算して第２イメージセンサ差動モーションベクトルを生成するように構成された算術ユニットをさらに含むことができる。

【0013】

差動モーションベクトルを生成することは、特有の特徴に対応する周囲領域に関するイメージセンサの共通移動を無効にすることもできる。共通移動は、例えば、フレキシブルディスプレイの側面移動（ｌａｔｅｒａｌ ｍｏｖｅｍｅｎｔ）を含むこともできる。

【0014】

検出デバイスは、算術ユニットから差動モーションベクトルを受信して、差動モーションベクトルそれぞれの長さに対応するピクセルの数を測定、測定されたピクセルの数をフレキシブルディスプレイの前面法線（ｆｒｏｎｔ−ｓｕｒｆａｃｅ ｎｏｒｍａｌ）に関してイメージセンサそれぞれの可視線の偏向の対応する角度で変換し、偏向の角度を時間の関数としてマッピングするように構成された幾何学的ユニットをさらに含むことができる。幾何学的ユニットは、時間の関数としてフレキシブルディスプレイのＸ軸及びＹ軸に沿った曲げの角度を獲得することにおいて、フレキシブルディスプレイの前面平面上の偏向の角度の投影（ｐｒｏｊｅｃｔｉｏｎ）を計算することもできる。

【0015】

プロセッサによって実行されるとき、メモリに保存された命令は、マッピングされた角度の結果として情報をプロセッサによってプロセシングすることもでき、角度はＸ軸に関して測定されたＸ角度及びＹ軸に関して測定されたＹ角度に対応することもできる。

【0016】

イメージセンサはフレキシブルディスプレイの周りに位置することもできる。

【0017】

本発明の他の実施例によれば、イメージをキャプチャするように構成された一つ以上のイメージセンサを含む検出デバイスが提供され、ここで、検出デバイスは一つ以上のイメージセンサによってキャプチャされたイメージを分析することによって、フレキシブルディスプレイの曲げまたは移動を検出するように構成される。

【0018】

検出デバイスは、第１時間にキャプチャされたイメージのファースト−イン−タイムイメージを保存し、第１時間以後の第２時間でキャプチャされたイメージのセカンド−イン−タイムイメージを保存し、イメージセンサのうちの一つ以上のものがレファレンスポイントに関して移動した角度を決定するために、イメージセンサのうちの同一のイメージセンサによってキャプチャされたセカンド−イン−タイムイメージのうちのそれぞれのセカンド−イン−タイムイメージにファースト−イン−タイムイメージを比較することによって、検出された曲げの程度を計算するように構成されることもできる。

【0019】

本発明の他の実施例によれば、フレキシブルディスプレイの曲げを検出する方法が提供され、この方法は、複数のイメージセンサを用いて第１時間に複数のファースト−イン−タイムイメージをキャプチャする段階と、複数のイメージセンサを用いて第２時間に複数のセカンド−イン−タイムイメージをキャプチャする段階−第２時間は第１時間以後である−と、ファースト−イン−タイムイメージをイメージセンサのうちの対応するイメージセンサのセカンド−イン−タイムイメージと比較する段階と、を含む。

【0020】

ファースト−イン−タイムイメージをセカンド−イン−タイムイメージと比較する段階は、メモリに保存された命令を、プロセッサを用いて実行する段階を含むことができる。

【0021】

方法は、セカンド−イン−タイムイメージに対するファースト−イン−タイムイメージの比較によって、第１時間から第２時間までフレキシブルディスプレイのレファレンスポイントに対するイメージセンサのうちの一つの可視線における変化に対応する角度を決定する段階と、可視線における変化に対応するフレキシブルディスプレイの曲げ角度を計算する段階と、をさらに含むことができる。

【0022】

方法は、寿命ストレス診断を決定するために、時間を通じて複数の計算された曲げ角度をマッピングする段階をさらに含むことができる。

【0023】

ファースト−イン−タイムイメージをセカンド−イン−タイムイメージと比較する段階は、ファースト−イン−タイムイメージ及びセカンド−イン−タイムイメージで共通に発見される一つ以上の特有の特徴を位置確認する段階と、セカンド−イン−タイムイメージにおける一つ以上の特有の特徴それぞれに対する第２座標のセットをマーキングする段階と、ファースト−イン−タイムイメージにおける一つ以上の特有の特徴それぞれに対する第１座標のセットをマーキングする段階と、イメージセンサそれぞれのイメージの特有の特徴それぞれに対して、第１座標の各セットと第２座標の各セットの間の距離に対応するモーションベクトルを計算する段階と、を含むことができる。

【0024】

複数のモーションベクトルが計算されることもでき、ファースト−イン−タイムイメージをセカンド−イン−タイムイメージと比較する段階は、イメージセンサそれぞれに対して、モーションベクトルの二次ベスト−フィットを示す最小平均二乗誤差（ＭＭＳＥ）を有するＭＭＳＥモーションベクトルを計算する段階をさらに含むことができる。

【0025】

ファースト−イン−タイムイメージをセカンド−イン−タイムイメージと比較する段階は、ＭＭＳＥモーションベクトルの全ての算術平均を計算する段階と、イメージセンサそれぞれに対する差動モーションベクトルを生成するために、ＭＭＳＥモーションベクトルそれぞれから算術平均を減算してイメージセンサの共通移動を無効にする段階と、をさらに含むことができる。

【0026】

方法は、差動モーションベクトルそれぞれの長さに対応する一つ以上の軸でピクセルの数を測定し、一つ以上の軸におけるピクセルの数を、イメージセンサそれぞれの視野角度毎にピクセル数に基づいて偏向の一つ以上の角度に変換し、偏向の角度を時間の関数としてマッピングすることによって、フレキシブルディスプレイの前面法線に関してイメージセンサの可視線における偏向の一つ以上の角度を計算する段階をさらに含むことができる。方法は、時間の関数としてフレキシブルディスプレイのＸ軸及びＹ軸による曲げの角度を獲得することにおいて、フレキシブルディスプレイの前面平面上の偏向角度の投影（ｐｒｏｊｅｃｔｉｏｎ）を計算することもできる。

【発明の効果】

【0027】

したがって、本発明の種々の実施例は、フレキシブルディスプレイのＸ軸及びＹ軸に沿った曲げ量（例えば、Ｘ次元の曲げ及びＹ次元の曲げ）を測定することができる。

【図面の簡単な説明】

【0028】

【図1】本発明の実施例による、フレキシブルディスプレイの検出デバイスの多様なコンポーネントを示すブロック図である。

【図2a】本発明の実施例による扁平で曲がらない状態で示されたフレキシブルディスプレイを示す概念図であり、ここで、客体の多様なイメージが検出デバイスの対応するイメージセンサによってキャプチャされる。

【図2b】本発明の実施例による曲がって湾曲した状態で示されたフレキシブルディスプレイを示す概念図であり、ここで、客体の多様なイメージが検出システムの対応するイメージセンサによってキャプチャされる。

【図3】本発明の実施例による、３個の異なる時間で一対のイメージセンサそれぞれによってキャプチャされたイメージ、及びイメージの情報がフレキシブルディスプレイの曲げ角度を計算するために検出デバイスの多様なコンポーネントによってどのように使用されるのかを示す。

【発明を実施するための形態】

【0029】

以下、当業者が本発明の実施例を行うように、本発明の例示的な実施例が添付した図面を参照して詳細に説明する。図面及び説明は制約的なものというよりは、事実上例示的なものとして見なされなければならない。同一の参照符号が明細書の全般にわたって同一のエレメントを示している。

【0030】

当業者が実現するとき、説明した実施例は本発明の思想または範囲を全て逸脱しないで多様な方式に変更されることができる。つまり、本発明の説明した実施例は異なる形態で実施されることもでき、ここに説明した実施例に制限されるものとして解釈されてはならない。むしろ、これら実施例は、本開示物が完全でかつ完ぺきなものであり、例示的な実施例の範囲を当業者に完全に伝達するように提供される。

【0031】

図面において、サイズは例示の明確化のために誇張されることがある。エレメントが２つのエレメントの「間」にあるというとき、これは２つのエレメントの間の唯一のエレメントであることもあり、または一つ以上の介在するエレメントが存在しうることである。同一の参照符号は全般的に同一のエレメントを称する。

【0032】

また、第１エレメントが第２エレメントにカップリングされたことと説明されるとき、第１エレメントは第２エレメントに直接的にカップリングされるか、または一つ以上の他のエレメントを通じて第２エレメントに間接的にカップリングされることもある。また、本発明の完ぺきな理解にために必須的でないエレメントのうちの一部が明確化のために省略される。また、同一の参照符号は全般的に同一のエレメントを称する。

【0033】

また、本発明の実施例を説明するとき「することもできる」の使用は、「本発明の一つ以上の実施例」を称する。類似する方式として、本発明の実施例を説明するとき「例えば」、「のような」、及び「例を挙げると」のような例示的な言葉の使用は、リストされた対応するアイテムそれぞれに対する「本発明の一つ以上の実施例」を称する。また、本発明の実施例を説明するとき「または」のような代案の言葉の使用は、リストされた各対応するアイテムに対する「本発明の一つ以上の実施例」を称するが、「及び／または」はリストされた対応するアイテムのうちの一つ以上のものの全ての組み合わせに対する「本発明の一つ以上の実施例」を称する。

【0034】

上述のように、フレキシブルディスプレイにおける検出デバイスは、レファレンス条件を動的条件と比較することによって、フレキシブルディスプレイが曲がる方向を含んで、フレキシブルディスプレイが曲がる程度を計算したり推定することができる。本発明の実施例は周囲環境をイメージングすることによって動的条件からレファレンス条件を区別する。

【0035】

つまり、本発明の実施例は、フレキシブルディスプレイが第１条件（例えば、レファレンス条件）にある間に、フレキシブルディスプレイ近くの環境（例えば、周囲環境）を視覚的に検出した後、第１条件に後続する第２条件（例えば、動的条件）の間に、フレキシブルディスプレイ近くの環境を視覚的に検出した後、フレキシブルディスプレイのＸ軸及びＹ軸に沿った曲がり量を計算するために相異なる検出結果を比較する。環境の視覚的検出はイメージセンサによってキャプチャされた環境の特有な特徴を検出することによって行われることもできる。

【0036】

本発明の実施例のデバイスのフレキシブルディスプレイの曲げ角度（例えば、フレキシブルディスプレイのディスプレイスクリーンまたは前面平面の曲げ角度）を検出することによって、曲げの程度に関する情報は検出デバイスがアクションを取るように用いることができる。

【0037】

例えば、曲げの程度を検出するときに、検出デバイスは、グレア（ｇｌａｒｅ）を相殺するためにディスプレイの輝度を調節することができる。他の例として、フレキシブルディスプレイが大略的な回数で曲がるか、または特定程度で大略的な回数で曲がった以降に、フレキシブルディスプレイの発光エレメントは平均的に低下することもでき、低下したピクセルが低下していないピクセルと同一の輝度の光を発光するようにするためには、異なる量の電流が要求されることもできる。フレキシブルディスプレイの曲げに関する情報をトラッキングして保存することによって、（例えば、さらに高い程度に低下したピクセルを有することと予想されるフレキシブルディスプレイの領域に、さらに大きい電流を提供することによって）ストレスを受けた領域を補償するための補償方式が導入されることができる。したがって、本発明の実施例による検出デバイスは寿命ストレス診断をしてもよい。

【0038】

したがって、モーションベース（motion-based）またはツイストベース（twist-based）のコマンドが本実施例の検出デバイスによって測定されることができ、これはユーザがこのようなコマンドを使用することによって、フレキシブルディスプレイ上に提供された情報と相互作用（やりとり）できるようにする。このような相互作用は、電子ブックまたは記事でページを前進させること、以前のウェッブページに戻ること、またはフレキシブルディスプレイ上に現れたビデオゲームに対応する多様なユーザコマンドを含むこともできる。

【0039】

したがって、本発明の実施例は周囲環境をイメージングすることによって、フレキシブルディスプレイの曲げの位置、程度、量、及び／または方向を測定することができる。

【0040】

図１は、本発明の実施例による、フレキシブルディスプレイの検出デバイスの多様なコンポーネントを示すブロック図である。本発明の実施例において、検出デバイスはフレキシブルディスプレイ内に常駐することもでき、フレキシブルディスプレイの多様な回路及び／または内部コンポーネントと集積されてもよく、集積されなくてもよい。図１を参照すれば、本実施例の検出デバイス１１は次のコンポーネントを含む：
１）フレキシブルディスプレイ１０内に内蔵されることもでき、周囲環境のイメージ１４をそれぞれキャプチャする一つ以上のイメージセンサ１２（例えば、各イメージセンサ１２は環境の一部を取得したイメージをキャプチャすることができる）。本実施例において、イメージセンサ１２は正規間隔で分離され、フレキシブルディスプレイ１０の周りに沿って内蔵されるが、イメージセンサ１２は本発明の他の実施例では異なるように位置することもできる。

【0041】

２）多様なイメージを保存するためのバッファ１６。本実施例を説明するための目的で、第１時間で（例えば、時間ｔ＝０で）取得されたイメージ１４はイメージ１４ｔ０（図２ａ参照）であり、後の第２時間で（例えば、時間ｔ＝１で）取得されたイメージはイメージ１４ｔ１（図２ｂ参照）である。キャプチャされたイメージ１４は人間１７であってもよい。例えば、図２ａ及び図２ｂに示されているように、イメージ１４はイメージセンサ１２の正面にある人間１７であり、他の実施例がレファレンスポイントとして他の構造等及びイメージを使用することもできるが、イメージ１４はまた、周囲環境のレファレンスポイント（例えば、客体１７の目）として検出デバイス１１によって使用されたランドマーク／特有の特徴１８を含む。;
３）各イメージセンサ１２に対する第１及び第２時間のイメージ１４それぞれに存在する一つ以上の特有の特徴１８を識別して、特有の特徴１８、各イメージセンサ１２、及び各時間に対して、Ｘ−Ｙ座標２０（図３参照）の対応するセットをマーキングするプロセッサ１９。プロセッサ１９は、また、イメージセンサ１２それぞれに対する各特有の特徴１８に対するモーションベクトル２２を計算するために使用され、モーションベクトル２２は、ファースト−イン−タイムイメージ１４ｔ０のＸ−Ｙ座標２０のそれぞれの座標と、セカンド−イン−タイムイメージ１４ｔ１のＸ−Ｙ座標２０の座標との間の距離に対応する。追加的に、プロセッサ１９は、計算されたモーションベクトル２２の全てのベスト−フィットベクトル（例えば、二次ベスト−フィットベクトル）を示すために、最小平均二乗誤差（ＭＭＳＥ）を有するＭＭＳＥモーションベクトル２４を計算するために使用される。;
４）イメージセンサ１２から計算されたＭＭＳＥモーションベクトル２４の全ての算術平均を計算し、ＭＭＳＥモーションベクトル２４それぞれから算術平均を減算して（例えば、２つの時間の間の特有の特徴１８に対して一括的に移動するイメージセンサ１２の全ての影響を除去するために）ファースト−イン−タイムイメージ１４ｔ０がキャプチャされた時間と、セカンド−イン−タイムイメージ１４ｔ１がキャプチャされた時間との間のフレキシブルディスプレイの任意の側面移動を無効にし、ＭＭＳＥモーションベクトル２４それぞれに対する差動モーションベクトル２５を生成するための算術ユニット２６;及び
５）客体／環境１７の特有の特徴１８が、対応するファースト−イン−タイムイメージ１４ｔ０から、対応するセカンド−イン−タイムイメージ１４ｔ１に移動したピクセルの数に対応する、イメージセンサ１２の視野の角度当りのピクセルの数に基づいた、差動モーションベクトル２５のＸ及びＹ軸のピクセルの数を測定し、差動モーションベクトル２５のＸ及びＹ軸におけるピクセルの数を、曲がらないフレキシブルディスプレイ１０の前面平面１５に垂直な前面法線１６に関してイメージセンサ１２の偏向角度（例えば、図３に示された角度θ_Ａｙ１、θ_Ａｙ２、θ_Ｂｙ１、及びθ_Ｂｙ２）に変換し（図３参照）、偏向角度を時間の関数として、対応するイメージセンサ１２の位置にマッピングするための幾何学的ユニット２８（説明の便宜のために、イメージセンサは多重の方向で偏向を受けることもできるが、図３は一方向の偏向のみを示すということに留意する）。本実施例において、計算された角度がフレキシブルディスプレイ１０の前面法線に関するイメージセンサ１２の可視線における変化に対応するが、ディスプレイのレファレンスポイントに関するイメージセンサ１２の可視線における変化に対応する角度、またはイメージセンサ１２のうちの他のイメージセンサに関するイメージセンサ１２のうちの一つのイメージセンサの可視線における変化に対応する角度のような他の角度が、本発明の他の実施例によって計算されることもできる。

【0042】

本実施例においては、プロセッサ１９が算術ユニット２６及び幾何学的ユニット２８から個別的にリストされたが、本発明の他の実施例においては、算術ユニット及び幾何学的ユニットはプロセッサの一部またはサブユニットとして考慮されてもよい。また、本発明の実施例の検出デバイス１１のプロセッサ及び他の多様なコンポーネントは、プロセッサ、算術ユニット、幾何学的ユニットなどによって実行される命令またはソフトウェアコードを有するメモリを使用することによって動作することもできる。

【0043】

偏向角度（例えば、図３に示された角度θ_Ａｙ１、θ_Ａｙ２、θ_Ｂｙ１、及び_θＢｙ２）は、イメージセンサ１２の可視線に関するフレキシブルディスプレイ１０の曲げを示す。したがって、十分な数のイメージセンサ１２及び十分な数の適切にキャプチャされたイメージ１４で、本発明の実施例は時間を通じてフレキシブルディスプレイ１０の変化する形状を測定したり推定することができる。

【0044】

図２ａは、本発明の実施例による扁平で曲がらない状態で示されたフレキシブルディスプレイ１０を示す概念図であり、ここで、客体／環境のイメージが検出デバイス１１の対応するイメージセンサによって検出される。図２ｂは、図２ａに示された実施例による曲がって／屈曲した状態で示されたフレキシブルディスプレイ１０を示す概念図であり、ここで、客体／環境のイメージが検出デバイス１１の対応するイメージセンサによって検出される。本実施例の説明において、本実施例のフレキシブルディスプレイの扁平で曲がらない状態がレファレンス条件として言及され、本発明のフレキシブルディスプレイの曲げ状態が動的条件として言及される。

【0045】

図２ａを参照すれば、フレキシブルディスプレイ１０が平らな状態（例えば、レファレンス条件）にあるとき、フレキシブルディスプレイ１０で曲げ角度はない。つまり、フレキシブルディスプレイの前面法線１６に関するイメージセンサ１２の可視線における偏向角度（例えば、図３に示された角度θ_Ａｙ１、θ_Ａｙ２、θ_Ｂｙ１、及びθ_Ｂｙ２）はほぼ０度と同一である。本実施例において、偏向角度は、イメージセンサ１２のそれぞれの可視線と、曲がらないフレキシブルディスプレイ１０の前面法線１６との間で形成されて、偏向角度はフレキシブルディスプレイ１０が扁平で曲がらない状態にあるときほぼ０度である。本実施例を説明するために、平らな状態のフレキシブルディスプレイ１０は、ファースト−イン−タイムイメージ１４ｔ０をキャプチャするイメージセンサ１２の例を提供する。また、図２ａ及び図２ｂのイメージセンサ１２は、客体１７に最も近接したフレキシブルディスプレイ１０の側面上に位置する（例えば、イメージセンサ１２は参照文字１２の多様なバージョンによって参照される地点の他の側面の直上にある。

【0046】

フレキシブルディスプレイ１０が平らな状態にあり、イメージセンサ１２それぞれの可視線が互いに実質的に平行であるため、イメージセンサ１２と客体１７との間に十分な距離があるとき、イメージセンサ１２によってキャプチャされた客体１７の多様なイメージ１４は相対的に同一である。つまり、イメージ１４それぞれのフレーム内の客体のイメージの位置は、イメージセンサ１２それぞれに対して相対的に同一である。また、一つ以上の特有の特徴１８（例えば、客体１７の目）は、イメージセンサ１２によってキャプチャされたイメージ１４それぞれに対応するほぼ同一のＸ及びＹ座標２０に位置する。本発明の本実施例が座標２０をマッピングするためにＸ−Ｙ座標系を使用するが、本発明の他の実施例は、例えば、デカルト座標系、または極座標系のような他の座標系を使用してもよい。

【0047】

図２ａ及び図２ｂに示されているように、本実施例において、フレキシブルディスプレイ１０は１２個のイメージセンサ１２を含む。したがって、１２個のイメージ１４がイメージセンサ１２それぞれによってキャプチャされたイメージ１４それぞれの表現を提供するために、１２個のイメージセンサ１２の配列と類似する配列に示されている。本実施例が１２個のイメージセンサ１２を示すが、本発明の他の実施例はたった一つのイメージセンサまたは１２個より多いイメージセンサを含むこともできる。また、本実施例が長方形フレキシブルディスプレイ１０を示すが、フレキシブルディスプレイ１０の形状はこれに制限されず、他の実施例のフレキシブルディスプレイは他の適した形状を有することもできる。

【0048】

本実施例において、イメージセンサ１２はフレキシブルディスプレイ１０の周りに、またはその近くにあることが示されている。本発明の他の実施例が周囲に／周囲の近くにイメージセンサ１２を有することによって、異なるように位置する（例えば、イメージセンサ１２はフレキシブルディスプレイ１０のスクリーン内にあり得る）イメージセンサ１２を含むこともできるが、フレキシブルディスプレイ１０における曲げはフレキシブルディスプレイ１０の中心からの距離によってイメージセンサ１２の可視線のさらに大きい変化を発生させて、フレキシブルディスプレイ１０の曲げ角度のさらに正確な計算を可能にする。つまり、イメージセンサ１２の隣接したイメージセンサの間の空間的分離が大きいほど、曲げ角度検出の分解能が大きい。

【0049】

客体１７は、ファースト−イン−タイムイメージ１４ｔ０それぞれ及びセカンド−イン−タイムイメージ１４ｔ１それぞれから発見される特有の特徴１８を含み、特有の特徴１８の位置は、曲げ角度θ（例えば、図３に示されたフレキシブルディスプレイのＹ軸による偏向角度θ_Ａｙ１、θ_Ａｙ２、θ_Ｂｙ１、及びθ_Ｂｙ２）の相対的変化を決定するために比較される。

【0050】

また、分析されるランドマークまたは特有の特徴１８は、ファースト−イン−タイムイメージ１４ｔ０の時間（例えば、図３で時間ｔ＝０）、及びセカンド−イン−タイムイメージ１４ｔ１の時間（例えば、図３で時間ｔ＝１）両方で、イメージセンサ１２によって可視的でなければならない。本実施例において、曲げ角度のさらに正確な計算は、イメージセンサ１２のうちの異なるイメージセンサが共通の特有な特徴／特徴のセットとして異なるランドマーク／特有の特徴１８を分析するときに計算におけるエラーが発生し得るため、特有の特徴１８がイメージセンサ１２それぞれに対するイメージ１４それぞれに存在する場合に達成される。

【0051】

また、各イメージセンサ１２は２次元平面で測定する（つまり、各イメージセンサ１２自体が、深さを正確に測定できない３次元環境を表現する２次元イメージ１４をキャプチャする）。したがって、共通レファレンスポイント（例えば、分析された特有の特徴１８）が、一括的にキャプチャされたイメージ１４に３次元の意味を付与することができる。

【0052】

また、当業者にとって公知になっているように、公式及びアルゴリズムは計算されたベクトルを角度に変換するために使用されてもよい。このような公式及びアルゴリズムはイメージセンサ１２によってキャプチャされたイメージ１４を変換して、特有の特徴１８からイメージセンサ１２までの距離に対応する情報を生成するために本発明の実施例で使用されることができる。

【0053】

図２ｂを参照すれば、本実施例のフレキシブルディスプレイ１０は、本実施例を説明するために動的条件と言及される曲げ状態で示されている。フレキシブルディスプレイ１０が曲げ状態にあるとき、イメージセンサ１２の多様な可視線は平らな状態（図３）でのフレキシブルディスプレイ１０の前面法線１６に対する角度（例えば、計算された角度θに対応する角度）を形成することもできる。

【0054】

イメージセンサ１２のうち、他のイメージセンサに対するイメージセンサ１２のうちの異なるイメージセンサの可視線は、フレキシブルディスプレイ１０の曲げ位置に対応する。可視線における相対的な変化によって、客体１７に対して可視線が変化したイメージセンサ１２のうちのイメージセンサは、レファレンス条件に対応するイメージ１４（例えば、図２ａに示されたイメージ１４ｔ０）と比較するとき、イメージ１４のフレームに異なるように位置したこととして客体１７を認知する。

【0055】

例えば、図２ｂにおいて、フレキシブルディスプレイ１０の上部左側コーナ１０ａ及び下部左側コーナ１０ｂは、客体１７から離れて曲がったものとして示されている（例えば、上部及び下部左側コーナ１０ａ及び１０ｂは、曲がらない状態でのディスプレイ１０の前面平面１５に垂直な前面法線１６に対してプルバック（ｐｕｌｌ ｂａｃｋ）されている）。

【0056】

したがって、上部左側及び下部左側コーナ１０ａ及び１０ｂの近くにそれぞれ位置するイメージセンサ１２ａ及び１２ｂによってキャプチャされたセカンド−イン−タイムイメージ１４ｔ１は、これらイメージセンサ１２ａ及び１２ｂによってキャプチャされたファースト−イン−タイムイメージ１４ｔ０と比較するとき、下部右側コーナ及び上部右側コーナそれぞれに向かって移動することとして認知される。同様に、上部左側及び下部左側コーナ１０ａ及び１０ｂの近くのイメージセンサ１２ａ及び１２ｂのすぐ右側にそれぞれ位置するイメージセンサ１２ｉ及び１２ｊは、上部左側及び下部左側コーナ１０ａ及び１０ｂの近くのイメージセンサ１２ａ及び１２ｂによってキャプチャされたイメージ１４の客体１７ほど多くではないが、これらイメージセンサ１２によってキャプチャされたファースト−イン−タイムイメージ１４ｔ０と比較すれば、イメージ１４の下部右側コーナ及び上部右側コーナそれぞれに向かって移動することとしてそれぞれのイメージ１４の客体１７をまた認知する。これは、フレキシブルディスプレイ１０の前面法線１６からの偏向角度がフレキシブルディスプレイ１０の中心から遠いイメージセンサ１２に対して大きいためである。

【0057】

つまり、キャプチャされたイメージ１４において、客体１７の座標における変化の不一致は、曲がったフレキシブルディスプレイ１０の末端でのイメージセンサ１２（例えば、上部左側及び下部左側コーナ１０ａ及び１０ｂの近くのイメージセンサ１２）が、ディスプレイ１０の中心が（図２ａ及び図２ｂに示されているように）客体１７に対して移動しないか、または傾かないと仮定するとき、ディスプレイ１０の中心にさらに近接したイメージセンサ１２（例えば、上部左側及び下部左側コーナ１０ａ及び１０ｂの近くのイメージセンサ１２の直ちに右側のイメージセンサ１２）よりは、可視線の角度においてさらに大きい変化を有するという事実による。

【0058】

例えば、上部中間イメージセンサ１２ｅ、底部中間イメージセンサ１２ｆ、左側中間イメージセンサ１２ｇ、及び右側中間イメージセンサ１２ｈそれぞれに対応するイメージ１４における客体１７は、図２ａ及び図２ｂ両方でキャプチャされたイメージ１４の中心に示されて、ディスプレイ１０のコーナが図２ｂで曲がっているが、フレキシブルディスプレイ１０の側面は相対的に曲がっていないということを示す。したがって、イメージセンサ１２ｅ、１２ｆ、１２ｇ、及び１２ｈの可視線は、図２ａに対応する時間ｔ＝０から図２ｂに対応する時間ｔ＝１まで比較的に変化しない。

【0059】

上部左側コーナ１０ａ及び下部左側コーナ１０ｂとは異なって、フレキシブルディスプレイ１０の上部右側コーナ１０ｃ及び下部右側コーナ１０ｄは客体１７に向かって曲がる。したがって、上部右側及び下部右側コーナ１０ｃ及び１０ｄの近くにそれぞれ位置するイメージセンサ１２ｃ及び１２ｄによってキャプチャされたセカンド−イン−タイムイメージ１４ｔ１における客体１７は、これらイメージセンサ１２によってキャプチャされたファースト−イン−タイムイメージ１４ｔ０と比較するとき、それぞれ、上側及び右側に移動し、下側及び右側に移動する。フレキシブルディスプレイ１０の上部右側及び下部右側コーナ１０ｃ及び１０ｄの近くのイメージセンサ１２の直ちに左側にそれぞれ位置するイメージセンサ１２ｋ及び１２ｌによってキャプチャされたセカンド−イン−タイムイメージ１４ｔ１は、コーナ１０ｃ及び１０ｄでイメージセンサによってキャプチャされたイメージ１４と比較するとき、さらに少ない程度であるが、以前にキャプチャされたイメージ１４０ｔ０（例えば、時間上、先にキャプチャされたイメージまたはファースト−イン−タイムイメージ）と比較するとき類似するように移動する。

【0060】

ファースト−イン−タイム及びセカンド−イン−タイムイメージ１４がイメージセンサ１２によってキャプチャされると、本実施例の検出デバイス１１のバッファ１６は、プロセッサ１９によるプロセシングのために、ファースト−イン−タイム及びセカンド−イン−タイムイメージ１４を保存する。プロセッサ１９は、イメージセンサ１２それぞれに対するファースト−イン−タイム及びセカンド−イン−タイムイメージ１４をプロセシングすることができる。しかし、便宜のために、本実施例のプロセッサ１９によるプロセシングはイメージセンサのうちの２つ（つまり、図３のイメージセンサ１２Ａ及び１２Ｂ）に関して説明される。

【0061】

図３は、３つの時間（例えば、ファースト−イン−タイムイメージ、セカンド−イン−タイムイメージ、サード−イン−タイムイメージにそれぞれ対応する時間ｔ＝０、ｔ＝１、及びｔ＝２）におけるイメージのキャプチャリングを説明し、時間ｔ＝０でキャプチャされたイメージ１４を時間ｔ＝１でキャプチャされたイメージ１４と比較するとき、そして時間ｔ＝１でキャプチャされたイメージ１４を時間ｔ＝２でキャプチャされたイメージ１４と比較するときプロセッサ１９、算術ユニット２６、及び幾何学的ユニット２８によって行われたアクションを説明する。したがって、図３は本発明の実施例により、イメージ１４の情報がフレキシブルディスプレイ１０の偏向角度θを計算するためにどのように使用されるかを示す。

【0062】

本実施例を説明するために、イメージ１４Ａ０は、時間ｔ＝０でイメージセンサ１２Ａによってキャプチャされたイメージを称し、イメージ１４Ｂ０は、時間ｔ＝０でイメージセンサ１２Ｂによってキャプチャされたイメージを称し、イメージ１４Ａ１は、時間ｔ＝１でイメージセンサ１２Ａによってキャプチャされたイメージを称し、イメージ１４Ｂ１は時間ｔ＝１でイメージセンサ１２Ｂによってキャプチャされたイメージを称し、イメージ１４Ａ２は、時間ｔ＝２でイメージセンサ１２Ａによってキャプチャされたイメージを称し、イメージ１４Ｂ２は時間ｔ＝２でイメージセンサ１２Ｂによってキャプチャされたイメージを称する。

【0063】

バッファ１６が多様なイメージ１４をキャプチャした以降に、プロセッサ１９は十分な特有の特徴１８が現在及びファースト−イン−タイムイメージ１４それぞれでキャプチャされ、イメージセンサ１２それぞれによってキャプチャされた環境及び／または客体１７で発見されるかを決定する。本実施例のプロセッサ１９は、当業者にとって公知の方法のうちのいずれか一つによって特有の特徴１８を検出することができる。例えば、本実施例のプロセッサ１９にはイメージ認識ソフトウェアが搭載されることもできる。つまり、プロセッサ１９はイメージ認識に対応し、プロセッサ１９にカップリングされたメモリに保存されたソフトウェア命令及び／またはコンピュータコードのセットをプロセシングすることもできる。イメージ認識ソフトウェアは（客体１７、または客体１７の特有の特徴１８のような）ランドマークと隣接する領域の間のコントラスト（例えば、カラーコントラスト）を検出しようとすることもでき、そして／または特有の特徴１８を取り囲んでいる領域を検出しようとすることもできる。例えば、人間の顔のイメージをキャプチャリングすれば、人の目はそれ以外の人の顔と比較するとき、さらに高いコントラストを有して、人の目を客体１７の効果的な特有の特徴１８にする。イメージ認識の他の方法は、レファレンスポイント／特有の特徴１８のカラーでのコントラストを使用する。特有の特徴のカラー及び相対的な位置が変化しないことを仮定すれば、ソフトウェアはこれをランドマーク／レファレンスポイント／特有の特徴１８として認識することができる。

【0064】

プロセッサ１９がキャプチャされたイメージ１４において、環境及び／または客体１７の特有の特徴を識別すれば、プロセッサはＸ−Ｙ座標値２０（例えば、Ｘ及びＹ座標のセット）を現在及びファースト−イン−タイムイメージ１４両方のフレームにおける特有の特徴１８の位置に割り当てる。本実施例において、Ｘ−Ｙ座標値２０はイメージセンサ１２によってキャプチャされた特有の特徴１８の位置に対応する（例えば、イメージセンサ１２によってキャプチャされたイメージ１４がディスプレイされた場合に、座標値２０はディスプレイの中心に関する特有の特徴１８の座標関係に対応する。図３を参照して本実施例を説明することにおいて、多様な時間で多様なイメージセンサ１２によってキャプチャされた多様な座標２０は、多様なイメージ１４Ａ０、１４Ａ１、及び１４Ａ２（例えば、イメージセンサＡイメージ）及び１４Ｂ０、１４Ｂ１、及び１４Ｂ２（例えば、イメージセンサＢイメージ）の説明と類似する方式で説明される。つまり、座標値２０Ａ０はイメージ１４Ａ０の特有の特徴１８の座標値に対応し、座標値２０Ｂ２はイメージ１４Ｂ２の特有の特徴１８の座標値に対応する。

【0065】

プロセッサがファースト−イン−タイム及びセカンド−イン−タイムイメージ１４の特有の特徴１８の多様なＸ−Ｙ座標値２０を割り当てれば、プロセッサは、イメージセンサ１２それぞれによってキャプチャされたファースト−イン−タイムイメージ１４における特有の特徴１８のＸ−Ｙ座標値２０と、イメージセンサ１２のうちの同一のイメージセンサによってキャプチャされたセカンド−イン−タイムイメージ１４における特有の特徴１８のＸ−Ｙ座標値２０との間の差に対応するモーションベクトル２２を計算する。相異なるモーションベクトル２２は、一つの時間から次の時間への異なる座標値２０の変化に対応する。本実施例の説明において、モーションベクトル２２Ｂ０−１は、座標値２０Ｂ０及び２０Ｂ１の間の距離に対応し、これは時間ｔ＝０及びｔ＝１それぞれでイメージセンサ１２Ｂによってキャプチャされた特有の特徴１８Ｂ０乃至１８Ｂ１の位置での変化に対応する。

【0066】

本実施例において、プロセッサ１９は、ファースト−イン−タイム及びセカンド−イン−タイムイメージ１４それぞれでイメージセンサ１２それぞれによってキャプチャされた２つの特有の特徴１８（例えば、客体１７の目１８）を識別したので、２つのモーションベクトル２２が各イメージセンサ１２に対して計算される（例えば、特有の特徴１８として左眼の認知された移動に対応する第１モーションベクトルまたは左側モーションベクトル２２、及び他の特有の特徴１８として右眼の認知された移動に対応する第２モーションベクトルまたは右側モーションベクトル２２）。

【0067】

プロセッサ１９が、ファースト−イン−タイムイメージに対応する以前のＸ−Ｙ座標２０Ａ０、２０Ｂ０とセカンド−イン−タイムイメージに対応する現在のＸ−Ｙ座標２０Ａ１、２０Ｂ１のうちのそれぞれのＸ−Ｙ座標の間の差からモーションベクトル２２（例えば、イメージセンサ「Ａ」１２Ａに対するイメージセンサＡモーションベクトル２２Ａ０−１、及びイメージセンサ「Ｂ」１２Ｂに対するイメージセンサＢモーションベクトル２２Ｂ０−１）を計算すれば、プロセッサ１９は、各単一イメージセンサ１２に対するモーションベクトル２２（例えば、イメージセンサ１２Ｂによってキャプチャされたイメージ１４Ｂ０及び１４Ｂ１における特有のイメージ１８それぞれに対応する２つのモーションベクトル２２Ｂ０−１のベスト−フィット（例えば、二次ベスト−フィット）に対応するイメージセンサＢ最小平均二乗誤差（ＭＭＳＥ）モーションベクトル２４Ｂ０−１、及び同様に計算されたイメージセンサＡ最小平均二乗誤差（ＭＭＳＥ）モーションベクトル２４Ａ０−１）の全てのベスト−フィット（例えば、二次ベスト−フィット）に対応する最小平均二乗誤差（ＭＭＳＥ）モーションベクトル２４を計算する。ＭＭＳＥモーションベクトル２４を計算することによって、プロセッサ１９は、特有の特徴１８を有する客体１７に関してイメージセンサ１２の相対的モーションをさらに正確に計算することができる。

【0068】

本実施例において、２つの特有の特徴１８が互いに同一の距離を移動したので、それぞれの時間及びイメージセンサ１２の左側及び右側モーションベクトル２２は同一であり、これによって同一の平均を有する。したがって、対応するＭＭＳＥモーションベクトル２４は左側及び右側モーションベクトル２２それぞれに対して同一である。

【0069】

しかし、本発明の他の実施例において、異なるようにサイジングされたモーションベクトル２２は、異なるように計算されたＭＭＳＥモーションベクトル２４を発生させることもできる。例えば、本実施例において、客体１７がファースト−イン−タイムである以前時間（ｔ＝０）からセカンド−イン−タイムの現在時間（ｔ＝１）までイメージセンサ１２に関してその頭を回転した場合に、２つの目／特有の特徴１８に対応する２つのモーションベクトル２２Ｂ０−１は同一でないこともあり、対応するＭＭＳＥモーションベクトル２４Ｂ０−１は２つの別個のモーションベクトル２２Ｂ０−１のベスト−フィット（例えば、二次ベストフィット）に対応する。

【0070】

複数のモーションベクトル２２が本実施例の説明された例で分析されるが、本発明の他の実施例においては、各イメージセンサ１２は、イメージセンサ１２の可視線がファースト−イン−タイムイメージ１４からセカンド−イン−タイムイメージ１４まで客体１７の特有の特徴１８に関して変化した程度に順次に対応する単一モーションベクトル２２に対応することもできる（例えば、２つの代わりに、単一の特有の特徴１８が分析されることもできる）。このような実施例において、ＭＭＳＥモーションベクトル２４はモーションベクトル２２と同一である。

【0071】

本発明が説明したＭＭＳＥモーションベクトル２４を計算することに制限されないことにまた留意しなければならない。本発明の他の実施例は、モーションベクトル２２のような多重のベクトルを一つのベクトルに組み合わせるために一つ以上の他の推定方法を使用することもできる。このような推定方法は、例えば、当業者が理解する通り、平均化、最小変動推定、及び線状回帰（ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ）を含むこともできる。

【0072】

プロセッサ１９がＭＭＳＥモーションベクトル２４を計算すれば、ＭＭＳＥモーションベクトル２４それぞれに関する情報／データが算術ユニット２６に伝達される。その後、算術ユニット２６は、分析されたイメージセンサ１２の全てのＭＭＳＥモーションベクトル２４の算術平均を計算する。その後、算術ユニット２６はＭＭＳＥモーションベクトル２４の算術平均を減算して、客体１７の特有の特徴１８に対するフレキシブルディスプレイ１０の側面移動を無効にして、ＭＭＳＥモーションベクトル２４それぞれに対する差動モーションベクトル２５を生成する。

【0073】

本実施例の算術ユニット２６がＭＭＳＥモーションベクトル２４の算術平均を計算するが、本発明の他の実施例は、側面移動を除去するか、または無効にする他の方法を活用することもできる。このような方法は当業者にとって公知のような、切り捨て（ｔｒｕｎｃａｔｉｏｎ）（つまり、２つのデータセットの間で共通値を除去すること）、または微分（つまり、２つのデータセットの導関数を取ること）を含むこともできるが、これに制限されない。

【0074】

全てのＭＭＳＥモーションベクトル２４の算術平均は、客体１７の特有の特徴１８に関するイメージセンサ１２の共通モーション（例えば、側面モーション）に対応する。例えば、全体フレキシブルディスプレイ１０が、また、左側に水平移動するか、または回転しながら、フレキシブルディスプレイ１０がファースト−イン−タイム／以前時間からセカンド−イン−タイム／現在時間まで（例えば、ｔ＝０からｔ＝１まで）曲がった場合に、イメージセンサ１２によってキャプチャされたセカンド−イン−タイムイメージ１４の特有の特徴１８は、フレキシブルディスプレイ１０が左側に水平移動せずに維持される場合に、特有の特徴１８が認知されるであろうよりも、イメージ１４のさらに右側にプロセッサによって認知される。全てのイメージセンサ１２に対するＭＭＳＥモーションベクトル２４の算術平均を計算し、ＭＭＳＥモーションベクトル２４の算術平均をＭＭＳＥモーションベクトル２４それぞれから減算することによって、算術ユニット２６は以前時間から現在時間までの共通モーション（例えば、側面モーション）を無効にすることができる。

【0075】

例えば、図３から分かるように、ＭＭＳＥモーションベクトル２４Ａ０−１及び２４Ｂ０−１は、対応する差動モーションベクトル２５Ａ０−１（例えば、第１イメージセンサ差動モーションベクトル）及び２５Ｂ０−１（例えば、第２イメージセンサ差動モーションベクトル）より大きい量のpositive ｘ−値を有する。これはＭＭＳＥモーションベクトル２４Ａ０−１及び２４Ｂ０−１両方が垂直鎖線の右側にある（例えば、Ｘ−Ｙグラフの第２象限及び第３象限それぞれにある）ＭＭＳＥモーションベクトル２４Ａ０−１及び２４Ｂ０−１によって説明される。つまり、ＭＭＳＥモーションベクトル２４Ａ０−１及び２４Ｂ０−１は、イメージセンサ１２両方によってキャプチャされた特有の特徴１８が、時間ｔ＝０から時間ｔ＝１までのイメージ１４でこれらの比較モーションに対する右側コンポーネントを有するという事実により、対応する差動モーションベクトル２５Ａ０−１及び２５Ｂ０−１よりさらに右側をポインティングする。イメージセンサ１２Ａ及び１２Ｂの両方が経験する認知された右側モーションのコンポーネントを除去することによって、算術ユニット２６は差動モーションベクトル２５を計算するとき、モーションの共通コンポーネントを無効にすることができて、ディスプレイ１０の前面法線に対するイメージセンサ１２の曲げ角度における変化をさらに正確に計算することができる。

【0076】

図３から分かるように、時間ｔ＝１から時間ｔ＝２までの時間における変化に対応するＭＭＳＥモーションベクトル２４Ａ１−２及び２４Ｂ１−２と、対応する差動モーションベクトル２５Ａ１−２及び２４Ｂ１−２は、それぞれ同一である。これは、時間ｔ＝１から時間ｔ＝２までのイメージセンサ１２によってキャプチャされた特有の特徴１８のモーションの共通コンポーネントの不足による。算術ユニット２６によって除去されるモーションの共通コンポーネントがないため、ＭＭＳＥモーションベクトル２４の算術平均は０（ｎｉｌ）であり、差動モーションベクトル２５はそれらに対応するＭＭＳＥモーションベクトル２４それぞれと同一である。

【0077】

算術ユニット２６が特有の特徴１８に対するフレキシブルディスプレイ１０の共通移動を無効にするためにＭＭＳＥモーションベクトル２４の平均を用いた以降に、差動モーションベクトル２５に対応する情報（つまり、ＭＭＳＥモーションベクトル２４の平均をＭＭＳＥモーションベクトル２４それぞれから減算することによって発生したベクトル２５）が幾何学的ユニット２８に伝送される。

【0078】

その後、幾何学的ユニット２８は差動モーションベクトルの長さを決定するために差動モーションベクトル２５Ａ０−１、２５Ｂ０−１、２５Ａ１−２、及び２５Ｂ１−２それぞれのＸ軸及びＹ軸でピクセルの数を測定する。イメージセンサ１２の視野の角度ごとに測定されたピクセルの数に基づいて、幾何学的ユニット２８は、その後、時間シーケンスそれぞれに対して、ディスプレイの前面法線１６に対するイメージセンサ１２Ａ及び１２Ｂそれぞれに対する偏向角度θ_Ａｙ１、θ_Ａｙ２、θ_Ｂｙ１、及びθ_Ｂｙ２（例えば、イメージセンサ１２Ｂに対する対応する時間シーケンスに対するθ_Ｂｙ１及びθ_Ｂｙ２をまた計算しながら、時間ｔ＝０からｔ＝１までのイメージセンサ１２Ａの角度θ_Ａｙ１での相対的な変化及び、時間ｔ＝１からｔ＝２までのイメージセンサ１２Ａの角度θ_Ａｙ２での相対的な変化）を計算する。曲げの個別角度は、前面法線１６に対する偏向角度をフレキシブルディスプレイの前面平面上に投影し、イメージセンサ１２の曲げのＸ角度を得るためにＸ軸に沿って、そしてイメージセンサ１２の曲げのＹ角度を得るためにＹ軸に沿って、偏向角度の部分を決定することによって計算されることもできる。図３に示した本実施例において、イメージセンサ１２Ａ及び１２Ｂがｔ＝０からｔ＝１までＸ軸に沿った偏向を受けるが、対応する偏向角度θ_Ａｘ１及びθ_Ｂｘ１は、これらの計算のための方法が上述したことと類似しており、当業者が理解するはずなので議論しない。

【0079】

多様な時間に対する多様な偏向角度及び／または曲げの角度を計算した以降に、幾何学的ユニット２８は角度を時間の関数としてこれらの対応するイメージセンサ１２の位置にマッピングする。複数のイメージセンサ１２それぞれに対するこれら計算を完了することによって、デバイスは時間を通じてディスプレイの変化する形状を測定でき、これはディスプレイの曲げの方向及び角度に関係する。

【0080】

例示的な実施例を本願で議論しており、特定の用語が利用されたが、これらは単に一般に説明的な概念として使用されて解釈されなければならず、制限を目的で使用されたり解釈されてはならない。一部の場合において、本出願の出願時に当業者に明らかなように、特定の実施例と関連して説明した特性、特徴及び／またはエレメントは単独でまたは具体的に異なるように示さなければ、他の実施例と関連して説明した特性、特徴及び／またはエレメントと組み合わせて使用されることもできる。したがって、当業者は形態及び細部事項での多様な変更が、下記の特許請求の範囲及びこれらの等価物で説明した通り本発明の思想及び範囲を逸脱せずに行われることもできるということを了承するはずである。

【図1】

【図2a】

【図2b】

【図3】