特開2021-99799(P2021-99799A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ スタンレー電気株式会社の特許一覧
特開2021-99799空間的および時間的変調を用いる後方散乱除去装置およびその方法
<>
  • 特開2021099799-空間的および時間的変調を用いる後方散乱除去装置およびその方法 図000003
  • 特開2021099799-空間的および時間的変調を用いる後方散乱除去装置およびその方法 図000004
  • 特開2021099799-空間的および時間的変調を用いる後方散乱除去装置およびその方法 図000005
  • 特開2021099799-空間的および時間的変調を用いる後方散乱除去装置およびその方法 図000006
  • 特開2021099799-空間的および時間的変調を用いる後方散乱除去装置およびその方法 図000007
  • 特開2021099799-空間的および時間的変調を用いる後方散乱除去装置およびその方法 図000008
  • 特開2021099799-空間的および時間的変調を用いる後方散乱除去装置およびその方法 図000009
  • 特開2021099799-空間的および時間的変調を用いる後方散乱除去装置およびその方法 図000010
  • 特開2021099799-空間的および時間的変調を用いる後方散乱除去装置およびその方法 図000011
  • 特開2021099799-空間的および時間的変調を用いる後方散乱除去装置およびその方法 図000012
  • 特開2021099799-空間的および時間的変調を用いる後方散乱除去装置およびその方法 図000013
  • 特開2021099799-空間的および時間的変調を用いる後方散乱除去装置およびその方法 図000014
  • 特開2021099799-空間的および時間的変調を用いる後方散乱除去装置およびその方法 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-99799(P2021-99799A)
(43)【公開日】2021年7月1日
(54)【発明の名称】空間的および時間的変調を用いる後方散乱除去装置およびその方法
(51)【国際特許分類】
   G06T 5/00 20060101AFI20210604BHJP
   G02F 1/01 20060101ALN20210604BHJP
【FI】
   G06T5/00 705
   G02F1/01 B
【審査請求】未請求
【請求項の数】15
【出願形態】OL
【外国語出願】
【全頁数】21
(21)【出願番号】特願2020-204558(P2020-204558)
(22)【出願日】2020年12月9日
(31)【優先権主張番号】16/708,641
(32)【優先日】2019年12月10日
(33)【優先権主張国】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.SOLARIS
2.Linux
3.BLUETOOTH
(71)【出願人】
【識別番号】000002303
【氏名又は名称】スタンレー電気株式会社
(71)【出願人】
【識別番号】520486627
【氏名又は名称】リンオプテクス・エルエルシー
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100179833
【弁理士】
【氏名又は名称】松本 将尚
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】リン・パン
(72)【発明者】
【氏名】山室 智文
【テーマコード(参考)】
2K102
5B057
【Fターム(参考)】
2K102AA21
2K102BA05
2K102BB01
2K102BB04
2K102BC04
2K102BD09
2K102DD02
2K102EA21
2K102EB02
2K102EB10
2K102EB20
2K102EB22
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE02
5B057DB02
5B057DB09
(57)【要約】      (修正有)
【課題】霧(又は同様の条件)からの後方散乱グレアを除去又は抑制し、入射光を空間的及び時間的に変調することにより、霧によって遮られた対象を明らかにすることで、霧の中及び/又は霧を通る対象物体の高品質画像を生成する撮像装置及び方法を提供する。
【解決手段】散乱処理システム100において、光源と、光源から対象225に照射された光を変調する変調器と、対象物体の画像を1つ以上撮像して画像データを生成する撮像部と、処理回路とを含む。処理回路は、第1パターンを照射する第1変調信号によって変調器を駆動し、第2パターンを照射する第2変調信号により変調器を駆動し、第1パターン及び第2パターンを交互に照射し、反射光を検出し、交互に照射される第1パターン及び第2パターンに基づいて、後方散乱光を除去し、複数の集光点の反射光からの画像データからなる画像を生成する。
【選択図】図2
【特許請求の範囲】
【請求項1】
光源と、
前記光源から対象物体に照射された光を変調する変調器と、
前記対象物体の画像を1つ以上撮像して画像データを生成する撮像部と、
処理回路と、を備える撮像装置であって、
前記処理回路は、
前記対象物体上に1つ以上の集光点を生成するための第1パターンを照射するための第1変調信号によって、前記変調器を駆動し、
前記第1パターンとは異なる第2パターンを照射するための第2変調信号によって、前記変調器を駆動し、前記第1パターンおよび前記第2パターンは交互に照射され、
反射光を検出し、
交互に照射される前記第1パターンおよび前記第2パターンに基づいて、後方散乱光を除去し、
前記集光点の前記反射光からの画像データからなる画像を生成する、
撮像装置。
【請求項2】
前記第2パターンは、前記対象物体上に集光点を生成しない、
請求項1に記載の撮像装置。
【請求項3】
前記第2パターンは、ランダムなスペックル照明を生成する、
請求項2に記載の撮像装置。
【請求項4】
前記検出部は、ロックイン検出部であり、
前記ロックイン検出部は、ロックイン増幅部を備え、
前記ロックイン増幅部は、
前記ロックイン検出部からの感知信号の入力を受信し、
前記第1変調信号に基づいて前記対象物体の反射光を検出し、
前記対象物体の前記画像を生成するための前記集光点を1つ以上出力する、
請求項1から3のいずれか一項に記載の撮像装置。
【請求項5】
前記1つ以上の集光点を生成する前記第1パターンの第1の積分強度は、前記第2パターンの第2の積分強度と同一である、
請求項1から4のいずれか一項に記載の撮像装置。
【請求項6】
前記1つ以上の集光点を生成する前記第1パターンの第1の積分強度は、前記第2パターンの第2の積分強度とは異なり、前記第2パターンの前記第2の積分強度は、ランダムである、
請求項1から4のいずれか一項に記載の撮像装置。
【請求項7】
前記第1パターンおよび前記第2パターンは、時系列入射パターンに適用される、
請求項1から6のいずれか一項に記載の撮像装置。
【請求項8】
処理回路を用いて、対象物体上に1つ以上の集光点を生成するための第1パターンを照射する第1変調信号によって、変調器を駆動することと、
前記処理回路を用いて、前記第1パターンとは異なる第2パターンを照射する第2変調信号によって、前記変調器を駆動し、前記第1パターンおよび前記第2パターンは交互に照射することと、
反射光を検出部で検出することと、
前記処理回路を用いて、前記1つ以上の集光点の前記反射光からの画像データからなる画像を生成すること、を含む
方法。
【請求項9】
前記第2パターンは、前記対象物体上に集光点を生成しない、
請求項8に記載の方法。
【請求項10】
前記第2パターンは、ランダムなスペックル照明を生成する、
請求項9に記載の方法。
【請求項11】
ロックイン検出部である前記検出部からの感知信号の入力を受信することと、
前記第1変調信号に基づいて前記対象物体の反射光を変調することと、
前記対象物体の画像を生成する前記1つ以上の集光点を出力することと、を含む、
請求項8から10のいずれか一項に記載の方法。
【請求項12】
前記1つ以上の集光点を生成する前記第1パターンの第1の積分強度が前記第2パターンの第2の積分強度と同一になるように、前記変調器を駆動することを含む、
請求項8から11のいずれか一項に記載の方法。
【請求項13】
前記1つ以上の集光点を生成する前記第1パターンの第1の積分強度は、前記第2パターンの第2の積分強度とは異なるように、前記変調器を駆動することを含み、前記第2パターンの前記第2の積分強度はランダムである、
請求項8から12のいずれか一項に記載の方法。
【請求項14】
前記第1パターンおよび前記第2パターンを時系列入射パターンに適用することを含む、
請求項8から13のいずれか一項に記載の方法。
【請求項15】
交互に照射される前記第1パターンおよび前記第2パターンに基づいて、後方散乱光を除去することを含む、
請求項8から14のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2019年1月28日に出願された米国仮出願第62/797,363号に優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。また、関連出願として、13060US01、13061US01、および13241WO01は、参照によりその全体が本明細書に組み込まれる。
【背景技術】
【0002】
濃霧の中で運転すると、様々な交通情報が明確に見えにくい。例えば、道路標識、路面線、運転者の先行車両などの視認性は、霧によって制限される可能性がある。制限された視認性により、運転者はハイビームヘッドランプをオンにすることが多く、状況をさらに悪化させる。霧の粒子からの後方散乱光によって運転者の前に明るい光が生じる。運転者がハイビームヘッドランプを使用せず、安全機能として一部の車に備え付けられているフォグランプのようなものに頼った場合であっても、霧(または雨、雪、大気汚染、ほこりなどの他の散乱媒体)の中での視認性は、以前として限られている。
【0003】
ここに記載される「背景技術」の記載内容は、開示内容の概要を示すことを目的としている。本願において名前が挙げられている発明者による研究は、この「背景技術」部分で説明されている範囲において、出願時において先行技術としての基準を満たすものでない「背景技術」部分の内容と同様に、本開示内容に対する先行技術として、明示または黙示を問わず、認められない。
【発明の概要】
【課題を解決するための手段】
【0004】
開示される技術的特徴の態様によると、撮像装置は、光源と、光源から対象物体に照射された光を変調する変調器と、対象物体の画像を1つ以上撮像して画像データを生成する撮像部と、処理回路とを含む。処理回路は、第1パターンを照射するための第1変調信号によって変調器を駆動し、第2パターンを照射するための第2変調信号により変調器を駆動し、第1パターンおよび第2パターンは交互に照射され、反射光を検出し、交互に照射される第1パターンおよび第2パターンに基づいて、後方散乱光を除去し、複数の集光点の反射光からの画像データからなる画像を生成するように構成される。
【0005】
上述した段落は一般的な導入として与えられたものであり、以下の特許請求の範囲の態様を制限するものではない。さらなる効果を伴う本願に記載された実施形態は、添付する図面と併せて以下の詳細な説明を参照することで最もよく理解されるであろう。
【図面の簡単な説明】
【0006】
後述する発明の詳細な説明を参照し、添付の図面を考慮することで、本願の開示内容のより詳細な理解と数多くの効果についてより容易に得られるであろう。
【0007】
図1】開示される技術的特徴の1つ以上の態様に係る散乱処理システムの例示的なブロック図を示す。
【0008】
図2】開示される技術的特徴の1つ以上の態様に係る例示的な実装における散乱処理システムの例示的な概略図を示す。
【0009】
図3】開示される技術的特徴の1つ以上の態様に係る、散乱媒体おける対象物体を画像化する方法のアルゴリズムフローチャートである。
【0010】
図4A】開示される技術的特徴の1つ以上の態様に係る集光点を形成する例示的な空間変調パターンを示す。
【0011】
図4B】開示される技術的特徴の1つ以上の態様に係るランダムスペックル照明を形成する、図4Aの空間変調パターンと同一入射パワーを有する例示的な空間変調パターンを示す。
【0012】
図5】開示される技術的特徴の1つ以上の態様に係る、対象からの反射と、集光点を用いた霧からの後方散乱光との間の検出比較を例示的に示す概略図である。
【0013】
図6】開示される技術的特徴の1つ以上の態様に係る、対象からの反射と、拡散照明を用いる霧からの後方散乱光との間の検出比較を例示的に示す概略図である。
【0014】
図7】開示される技術的特徴の1つ以上の態様に係る、対象上の集光点の空間変調パターンおよび拡散照明の空間変調から構成される時系列における入射空間変調を示す。
【0015】
図8】開示される技術的特徴の1つ以上の態様に係る時系列の入射光学パターンに対応する、経時的に異なる位置でのパワーレベルの例示的なグラフを示す。
【0016】
図9】拡散照明の入射パワーが、開示される技術的特徴の1つ以上の態様に係る集光点の入射パワーよりも高いまたは低い所定量内にあってもよいことを示す例示的なグラフを示す。
【0017】
図10】開示される技術的特徴の1つ以上の態様に係る時系列の入射光学パターンに対応する、経時的に異なる位置でのパワーレベルの例示的なグラフを示す。
【0018】
図11】開示される技術的特徴の1つ以上の態様に係る対象物体の画像を生成する方法のアルゴリズムフローチャートである。
【0019】
図12】開示される技術的特徴の1つ以上の例示的な態様に係るサーバのハードウェアブロック図である。
【発明を実施するための形態】
【0020】
添付された図面と関連付けて下記で記述される説明は、開示された技術的特徴の様々な実施形態を説明することを意図するが、必ずしもその実施形態のみを表現することを意図しない。特定の例において、開示される技術的特徴の理解を目的として、特定の詳細を含んで説明する。しかし、当業者には、この実施形態がこれらの特定の詳細なしで実施され得ることは明らかである。場合によっては、開示される技術的特徴の概念が曖昧になることを回避するために、周知の構造および構成要素をブロック図で示す。
【0021】
明細書と通じて「一実施形態(one embodiment)」または「ある実施形態(an embodiment)」への参照に関しては、実施形態に関連して説明された特定の機能、構造、特徴、動作、または作用が、開示される主題の少なくとも1つの実施形態に含まれることを意味する。従って、本明細書において「一実施形態において」又は「ある実施形態において」という語句の表現が、同じ実施形態を参照するとは限らない。また、特定の機能、構造、特徴、動作、または作用は、1つ以上の実施形態において、あらゆる適切な方法で組み合わせることができる。さらに、開示された技術的特徴の実施形態は、記載される実施形態の修正および変形を網羅することを意味する。
【0022】
明細書および添付の特許請求の範囲において用いられるところの、単数形「1つの(a)、(an)」および「前記(the)」には、文脈により別の意味が明示されない限り、複数の指示対象が含まれることに注意しなければならない。すなわち、特に明記しない限り、「a」および「an」などの単語を本明細書で使用する場合、「1つ以上」の意味を有する。また、「左」、「右」、「上」、「下」、「前」、「後」、「側」、「高さ」、「長さ」、「幅」、「上部」、「下部」、「内部」、「外部」、「内」、「外」などの用語が本明細書で使用される場合、単に参照部分を説明するものであり、必ずしも開示される技術的特徴の実施形態を特定の方向または構成に限定するものではないことを理解されたい。さらに、「第1」、「第2」、「第3」などの用語は、本明細書に記載される部、構成要素、参照部分、動作および/または機能の1つを単に識別するものであり、同様に、必ずしも開示される技術的特徴の実施形態を特定の構成または方向に限定するものではない。
【0023】
図面を参照する場合、同様の参照番号は、いくつかの図全体で同一または対応する部分を示す。
【0024】
以下では、照明および/または画像化システム、および適応照明と明視化の向上に関連する方法について説明する。一例として、以下の開示の多くは、車両ヘッドランプシステムおよび乗り物(例えば、自動車、トラック、ボート、飛行機など)での使用に関連する、照明システムおよびそれに関連する方法を説明する。以下の開示は、様々な運転条件で車道および/または周辺環境を照明する車両ヘッドランプシステムおよび関連する方法について説明するが、本明細書に記載されるものに加え、他の用途および他の実施形態も本技術の範囲内に含まれる。例えば、当業者は、本技術の少なくともいくつかの実施形態が、他の用途において、車両の尾灯、光検出および測距(Lidar)システム、信号機、街灯、灯台、および道路標識に有用であることを容易に認識するであろう。以下により詳細に説明するように、本技術の実施形態に係る方法および/またはシステムは、照明および/または画像化システムに反射および/または後方散乱された照明を使用し、霧中または霧を通して対象物体の画像を生成するように構成される。
【0025】
特定の大気条件(例えば、霧、雨、雪、ほこり、大気汚染、および/または他の散乱媒体)の場合、第1方向に投射された照明は、一般に第1方向とは反対する第2方向を含むいくつかの方向に散乱され、後方散乱ノイズを生成する。この散乱により、(i)物体に到達する投射された照明の量、および(ii)物体で反射し、照明および/または画像化システムの検出部に戻る照明の量が減少される。そのため、後方散乱ノイズおよび/または他の信号(グレアなど)が存在する場合の反射信号の強度とその信号対ノイズ比が大幅に低下し、大気条件全体および/または撮像された画像内での物体の輝度およびコントラストを低下させる。さらに、不均一で大量の散乱は、物体に向かう途中の投射された照明と、照明および/または画像化システムの検出部に戻る途中の反射された照明との両方を歪める。これにより、大気条件および/または撮像された画像内での物体の解像度が低下する。
【0026】
例として従来の車両ヘッドランプシステムを使用すると、従来のヘッドランプから投射された照明が運転者の目の方向を含めていくつかの方向に散乱するため、濃霧、雨、雪、ほこり、および/または大気汚染が存在する場合、ロービーム設定もハイビーム設定も適切な前方および/または横方向の照明は提供されない。散乱により、車道に到達する照明が少なくなり、霧、雨、雪、ほこり、大気汚染、および/または他の運転条件での後方散乱光によって運転者の目に発光が入るため、車道および/または周辺環境の視認性が悪くなる。さらに、これらの運転条件は、車道および/または周辺環境の物体から反射された後、運転者の目に戻る照明を歪める。
【0027】
この問題に対処するために、多くの車両はフォグランプも備えている。フォグランプは通常、車両の低い位置に配置され、上記の運転条件で運転者の目に向かう散乱を最小限に抑えるために、フラットで広い照明分布を提供するように特別に構成されている。しかし、照明の分布は調整できず、照明の一部が他の道路利用者の目に向けられる。このため、多くの管轄区域では、非常に霧の濃い運転条件以外でフォグランプを使用することは違法である。さらに、フォグランプは通常、別個の照明源として提供され、車両の従来のヘッドランプの代わりに、またはそれに加えて使用されることが多い。
【0028】
図1は、開示される技術的特徴の1つ以上の態様に係る散乱処理システム100(ここでは、システム100ともいう)の例示的なブロック図を示す。後でより詳細に説明するように、開示される技術的特徴の様々な実施形態に係る1つ以上の方法は、システム100またはシステム100が含む部を用いて実施することができる。言い換えれば、システム100またはシステム100が含む部は、その様々な方法または部(プログラムが実行されるとき、コンピュータを構成するか、またはコンピュータが上記の方法またはその部を実行するかあるいはコンピュータにそれを実行させるプログラムを記憶する非一時的なコンピュータ読み取り可能な媒体を使用して実装されるものを含む)に関して本明細書に記載される機能や動作を行うことができる。
【0029】
システム100は、光源105と、変調器110と、検出部115と、処理回路130(内部および/または外部メモリを含んでもよい)とを備えてもよい。開示される技術的特徴の1つ以上の態様において、光源105、変調器110、検出部115、および処理回路130を装置102に実装してもよい。装置102は、散乱媒体を通して画像化を行う様々な装置を代表してもよい。例えば、装置102は、ヘッドライトが散乱処理システム100を使用して霧(および/または他の散乱媒体)に適応できる自律走行車両であってもよい。あるいは、またはさらに、装置102は、システム100の構成要素がヘッドランプに含まれ、および/またはヘッドランプに接続される車両のヘッドライトであってもよい。その結果、車両(または、自律走行機能を備える車両)は、霧の中および霧を通して前方の道路をより明確に画像化でき、これにより、散乱媒体における運転者の視認性および/または自律走行能力が改善される。さらに、前述の構成要素は、例えば、図1によって図示するように、互いに電気的に接続、または電気的あるいは電子的な通信を行うことができる。
【0030】
光源105は、システム100内の1つ以上の光源を表してもよい。例えば、光源105は、車両のヘッドランプの発光部であってもよい。
【0031】
変調器110は、システム100内の1つ以上の変調器を表してもよい。変調器110は、空間光変調器(SLM)であってもよい。例えば、変調器110は、マトリックスに配列された複数のマイクロミラーを含んでもよいデジタルマイクロミラー装置(DMD)であってもよい。
【0032】
検出部115は、システム100内の1つ以上の検出部を表してもよい。開示される技術的特徴の1つ以上の態様において、検出部115は画像化装置であってもよい。例えば、画像化装置は、ロックイン検出を採用する電荷結合素子(CCD)であってもよい。他の種類の検出部を考慮してもよいが、本明細書では、画像化装置、検出部、ロックイン検出部、CMOS画像センサ、フォトダイオードアレイ、アバランシェフォトダイオードアレイおよびCCDを互換的に使用することができる。検出部115は、霧の中または霧を通して対象の画像を撮像するために使用することができる。運転および/または自律走行のシナリオの例において、対象は、霧のような散乱媒体に対して改善された明視化によって受益がある道路標識(例えば、一時停止標識)、車線、車両などに対応することができる。一実施形態において、装置102が自律走行車両である場合、検出部115は、車両の自律的動作に使用される1つ以上の画像化装置を表すことができる。同一プロセスは、部分的、限定的、または自律機能がない車両においても、検出部115によって撮像された情報を用いて、車両を取り巻く環境を識別し、例えば表示、警告などを用いて運転者を支援する場合にも使用可能である。従って、システム100は、画像化装置を使用し、様々な散乱媒体での動作を改善できる。
【0033】
処理回路130は、システム100の様々な機能、動作、ステップ、またはプロセスの実行またはそれを実行させる指令を指示することができる。言い換えれば、プロセッサや処理回路130は、システム100内の1つ以上の他の構成要素から出力を受信し、かつ指令を送信することで、システム100が様々な散乱媒体を通して明視化を向上するようにシステム100を動作させることができる。
【0034】
レンズ120は、システム100内の1つ以上のレンズを表してもよい。例えば、システム100は、コリメーションレンズ、結像レンズ、変調器からの出力と一直線に配置されたレンズなどを含んでもよい。
【0035】
ミラー125は、システム100内の1つ以上のミラーを表してもよい。例えば、ミラー125は、システム100内で必要に応じて光を方向付けるために使用してもよい。一例において、ミラー125は、コリメートされた光を光源105から変調器110に方向付けてもよい。
【0036】
一般に、システム100は、霧(または同様の条件)からの後方散乱グレアを除去または抑制し、入射光を空間的および時間的に変調することにより、霧によって遮られた対象を明らかにすることで、霧の中および/または霧を通る対象物体の高品質画像を達成するように構成することができる。これは、霧の動的散乱特性、対象に集光点と拡散照明を形成するための空間光変調、および後方散乱光をなくすまたは除去するためのロックイン検出を利用する。ここで、ロックイン検出とは、ロックイン検出装置をセンサとして使用することを指してもよいが、DMDパターンの時間的な切り替えの変調(発振)周波数に追従して対象からの信号を検出することを指してもよい。
【0037】
より具体的に、システム100は、対象物体からの信号を振動させるための時間的に一連の照明を生成しながら、集光点を用いて信号対ノイズ比を増加させるように構成してもよく、それにより、霧からの周期的には振動しない後方散乱光を区別する。このようにして、霧からの後方散乱光は直流(DC)情報として設定することができ、一方で、対象からの信号は交流(AC)情報として設定することができ、これはロックイン検出によって抑制または除去することができる。
【0038】
言い換えれば、変調器110を介した空間変調から生じる集光点は、より多くの光を対象に照射し、これにより、より高い信号対ノイズ比でより多くの光が対象から反射される。同時に、ランダムな空間変調から生じる拡散照明は、集光点を形成しない。代わりに、拡散照明が対象にランダムに照明を分散する。スペックル照明パターンも、霧の中の粒子の動きによってランダムに変化する。本願において、集光点とは、(仮想の)対象物体上における、光強度が高められた領域(あるいは点)を示す。あるいは、集光そのものを集光点と示す場合もある。集光および集光点は、照射光が干渉によって強め合うことにより形成される。対象物体において、集光点の光強度は最大であることが好ましい。ある最適化された入射パターンにおいて、集光点は単数または複数であってもよい。
【0039】
集光点(または集中照明)および拡散照明を繰り返すために空間的に変調された光を時間的に切り替えることで、対象点に周期的に変調された照射をし、検出における同一応答を生成することができる。集光点パターンおよび拡散照明パターンの照射の切替えに応じて検出器で検知することで、集光点パターンにおける信号と拡散照明パターンにおける信号を分離することができる。照明パターンの周波数は、周期的なパターンとして固定または時間変化に応じて変化するものとしてもよく、これには、ロックイン検出に関連する検出計画が必要となる。
【0040】
空間変調は、散乱媒体を用いずにシステムを評価することで決定することができる。その評価には、透過マトリックスの評価を含む様々なアプローチを用いることができる。例えば、遺伝的アルゴリズム、パーティションアルゴリズム、または段階的検索方法を含む他の最適化アルゴリズムを使用し、対象に集光点を形成してもよい。さらに、集光点および拡散照明を対象上に形成する際の変調器からの入射光パワーはそれぞれ同一にして、その光を空間的に変調することができる。あるいは、拡散照明の空間変調は、集光点のそれと異なる出力光パワーを有してもよい。
【0041】
図2は、開示される技術的特徴の1つ以上の態様に係る例示的な実装におけるシステム100の例示的な概略図を示す。一実施形態において、システム100は、コリメーションレンズ205およびミラー(例えば、ミラー125)と一直線に配置された光源105を含んでもよい。コリメーションレンズ205は、光源105からの光をコリメートしてもよく、コリメートされた光は、ミラー125で反射されて変調器(例えば、変調器110)に送られる。変調器110は、例えば、デジタルマイクロミラー装置(DMD)であってもよい。変調器110は、例えば、処理回路130からの入力に基づいて、光(例えば、変調光215)を変調することができる。言い換えれば、変調光215は、散乱システムに入射してもよく、変調光215は、時間的変動を含んでもよい。入射光の時間的変動は、本明細書でさらに説明されるように、対象上に集光点および拡散照明を形成する空間変調光の時系列における空間変調分布を含んでもよい。
【0042】
変調された光215は、散乱媒体(例えば、霧220)に入る前にレンズ210を通過してもよい。変調された光215の一部は、システム100に向かって後方散乱され(例えば、後方散乱光245)、変調された光215の一部は、霧220内、および/または霧220を通して対象225に移動する。霧220から後方散乱された変調光は、結像レンズ235を通過し、ロックイン検出部240によって受信されてもよい(例えば、ロックイン検出部240は、図1の検出部115に対応してもよい)。対象から反射された光(例えば、反射光230)は、霧220を通過し、結像レンズ235を通過して戻り、ロックイン検出部240によって受けられる。ロックイン検出部240は、処理回路130とも通信することができる。例えば、ロックイン検出部240は、後方散乱光および対象からの反射光に対応する情報を処理回路130に出力することができる。また、ロックイン検出部240は、処理回路130から指令を受信することができる。集光点および拡散照明に対応する空間変調は、散乱システムへの入射光パワーの入射光パワーを有するように設定されてもよい(例えば、霧および霧の中および/または霧を通る対象)。その結果、霧からの後方散乱光は、集光点および拡散照明の両方で同一になる。コリメーションレンズ205、レンズ210、および結像レンズ235は、図1のレンズ120によって表される1つ以上のレンズに対応してもよい。
【0043】
空間変調パターンは、散乱システムに入射する時系列で生成されてもよい(例えば、霧および霧の中および/または霧を通る対象)。例えば、処理回路130は、時系列で空間変調パターンを生成するように変調器110に指示することができる。対象点からの光信号は時間変調されてもよいが、霧からの後方散乱光は時間変調に追従しない。その結果、後方散乱光を除去しながら、対象からの信号を検出および増幅することにより、対象からの光と霧からの後方散乱光とを区別するために、ロックイン検出技術を使用してもよい。
【0044】
図3は、開示される技術的特徴の1つ以上の態様に係る、散乱媒体内および/または散乱媒体を通して対象物体を画像化する方法のアルゴリズムフローチャートである。
【0045】
S305において、システム100は、散乱媒体がない状態で、システム100の透過マトリックスを評価することができる。変調器110から処理回路130を介して一連の入射パターンを送信し、式を解き、検出部上の対応する強度分布を検出しながら、変調器上の入力パターンと検出部上の対応する出力とを相関させることで、システムの透過マトリックスは、散乱媒体が存在しない状態で評価することができる。他の散乱媒体を考慮してもよいが、以下の説明の散乱媒体は霧である。言い換えれば、システムの透過マトリックスは霧なしで評価してもよい。
【0046】
S310において、システム100は、S305で評価された透過マトリックスに基づいて、各集光点のフィールド空間変調パターンを規定することができる。
【0047】
S315において、システム100は、集光点のフィールドパターンと、同一入射パワーを有するランダムパターンとからなる時系列入射パターンを規定することができる。言い換えれば、各集光点について、集光点の空間変調および拡散照明の空間変調からなる時系列が確立される。
【0048】
S320において、システム100は、霧の存在下において変調器110上で、S315で規定された時系列入射パターンを適用することができる。また、集光点のパターンとランダムパターンとを交互に適用してもよい。
【0049】
S325において、システム100は、S320の変調器に適用される時間的入射パターンによって規定されるロックイン周波数で、対象の画像の強度を測定することができる。言い換えれば、霧からの後方散乱光を除去しながら、集光点からの情報を取得することにロックイン検出を適用する。
【0050】
S330において、システム100は、測定するべき集光点がさらにあるかどうかを判定することができる。物体対象上でスキャンする必要がある集光点がさらにあると判断された場合、プロセスはS315に戻り、集光点の他のフィールドパターンおよび同一入射パワーのランダムパターンで構成される時系列入射パターンを、物体対象上のこのエリアに対して規定することができる。言い換えれば、時系列の長さは、検出システムによって増幅され得るロックイン検出信号によって判定される。次に、次の集光点(つまり、対象上の次の点)について、選択した全ての点が局所的に照明され、時系列ロックイン検出によって検出されるまで、S315〜S325を繰り返す。しかし、残されている集光点がなくなったと判断された場合、プロセスはS335で共焦点画像処理を続行してもよい。
【0051】
S335において、システム100は、集光点の取得した画像の共焦点画像処理を実行することができる。言い換えれば、全ての局所的に照らされた点の画像は、共焦点画像処理に基づいて処理され、対象の明るく高コントラストの画像を取得する。
【0052】
S340において、システム100は、対象の画像を表示することができる。例えば、対象の画像を表示することで、運転者は霧を通して対象をより明確に観測し、それに応じて車両を操作できる。一態様において、S335の共焦点画像処理を使用して画像を取得してもよい。画像は、例えば、車両のディスプレイに表示されてもよい。あるいは、またはさらに、画像がシステム100に使用され、車両の操作に使用できる対象に関する情報を自動的に判定してもよい(例えば、対象が一時停止標識であると判定された場合、少なくともいくつかの自律機能を備える車両に、停止するように指示してもよい)。一態様において、例えば、自律システムが画像のデータだけを利用し、車両の動作を判断および制御してもよいので、車両の運転者の便益のために画像を表示する必要がない場合がある。道路標識、車線、霧の中および霧を通る他の車両などを識別することと、車両(例えば、自律走行可能車両)の動作を調整することを含む、その他の同様な状況も考慮され得る。対象の画像が表示された後、プロセスを終了してもよい。
【0053】
図4Aおよび図4Bは、同一入射パワーを有する空間変調パターンを示す。図4Aは、開示される技術的特徴の1つ以上の態様に係る、集光点410を形成するための例示的な空間変調パターン405を示す。図4Bは、開示される技術的特徴の1つ以上の態様に係る、ランダムスペックル照明420を形成するための図4Aの空間変調パターンと同一入射パワーを有する例示的な空間変調パターン415を示す。まず、図3のS305に関して本明細書で説明したように、システム100は、霧なしで透過マトリックスを評価することができる。透過マトリックスを計算する際に、対象上に集光点を形成するための空間変調パターンを取得してもよい。言い換えれば、入射光の空間分布は、図4Aに示すように、対象上の規定された場所に集光点を生成するために、そのフィールド(光学位相または振幅)に関して規定されてもよい。次に、図4Bに示すように、対象上に拡散照明を有する空間分布が決定されてもよい。例えば、スペックルパターンは決定された空間分布であってもよい。また、スペックルパターンの空間分布は、集光点と同一の、霧に入射される光パワーを有してもよい。
【0054】
振幅変調構成として、透過マトリックスで評価された空間変調は、対象上に集光点を形成することができるが、同一数の要素が「オン」に設定された空間変調は、対象上に統計的に均一に分布した照明のスペックルを形成する。従って、対象上の点は、システムに入射するこれら2つの空間変調パターンとは劇的に異なるパワー差を有する。検出側において、対象と検出部との共役関係により、検出部は同一効果を確認する。対象は、光学画像システムによって検出部(例えば、電荷結合素子(CCD))上で画像化される。図4Aおよび図4Bの上記の2つの場合について、霧から後方散乱された光は、図5および図6に示すように、検出部上のほぼ同一のパワーに対応することができる。
【0055】
図5および図6は、対象225からの反射と霧220からの後方散乱光との間の検出比較の例示的な概略図を示す。より具体的に、図5は、開示される技術的特徴の1つ以上の態様に係る、対象225からの反射と、集光点505を用いた霧220からの後方散乱光との間の検出比較を例示的に示す概略図である。図6は、開示される技術的特徴の1つ以上の態様に係る、対象225からの反射と、拡散照明605を用いる霧220からの後方散乱光との間の検出比較を例示的に示す概略図である。
【0056】
図5に示すように、散乱システム(例えば、霧220および対象225)へ入射される光の空間変調(変調器110を介する)は、変調パターン520を使用し、対象225上に集光点505を生成する。対象225から反射された光(例えば、反射光230)は、カメラ(例えば、ロックイン検出部240)上の照明510の画像を形成する一方、霧220から後方散乱された光(例えば、後方散乱光245)は、グレア515をロックイン検出部240上に形成する。図6に示すように、入射変調パターンが拡散変調パターン620に切り替わり、対象225上に拡散スペックルパターン605を生成すると、ロックイン検出部240上の画像は、同様の拡散分布610を与える。言い換えれば、対象225から後方散乱された光は、検出部(例えば、ロックイン検出部240)上にグレアを生成し、これは、図5に示された散乱システム上で同じ入射照明で集光点が対象225上に形成されたときに検出器上で受けられる光と統計的に同じである。従って、散乱システム(例えば、霧220および対象225)に入射する集光点パターン520および拡散変調パターン620の異なる空間変調で、対象225からの情報を反映する信号は、異なる空間変調の差異を示す一方、霧から後方散乱された光は、異なる空間変調に対し顕著な差異を示さない。
【0057】
ロックイン検出を使用し、集光点(例えば、図5)および拡散照明(例えば、図6)の空間変調を時系列で測定することにより、DC成分としての霧からの後方散乱光(すなわち、グレア)を完全に除去することができる。入射光の空間変調および時間的(すなわち、時系列)変調が行われる集光点の組み合わせは、集光点による対象225からの全体的な信号対ノイズ比を増加させるだけでなく、ロックイン検出による霧からの後方散乱光も抑制する。
【0058】
図7は、開示される技術的特徴の1つ以上の態様に係る、対象上の集光点の空間変調パターンおよび拡散照明の空間変調パターンから構成される時系列における入射空間変調を示す。図3のS315に記載されているように、集光点の空間変調パターンと対象上の拡散照明の空間変調パターンから構成される時系列の入射空間変調は、図7に示すように規定され、各空間変調パターンは同一入射パワーレベルを散乱システムに与える。図7は、光入射パワーレベル705および時系列710における入射空間変調のグラフを含む。時系列710における入射空間変調については、空間変調パターン715が集光点を形成する。次に、時系列は、ランダムスペックルパターンを形成する空間変調パターン720を含み、空間変調パターン720は、空間変調パターン715と同一入射パワーを有する。図7の開示に従って、空間変調パターンは交互になる。この時系列において、集光点の空間パターンを同一に保ってもよく、時系列の拡散照明の空間変調は、散乱システムに対して同一の光入射パワーを有してもよい。拡散照明の空間変調パターンは、図7で同様に見えるが、それらが同一光パワーを有する限り、それらは異なっていてもよい。あるいは、時系列で拡散照明の空間変調は、光パワーの50%の差を有してもよい。拡散照明の空間変調パターンは、図7で同様に見えるが、それらが同一光パワーを有する限り、それらは異なっていてもよい。
【0059】
図8は、開示される技術的特徴の1つ以上の態様に係る時系列710の入射光学パターンに対応する、経時的な異なる位置でのパワーレベルの例示的なグラフを示す。空間変調からの時系列の光パワーは、図7および図8に示される光パワーレベルに対応することができる。図8は、図7に示されるような時系列710の入射光パターンを含めて、霧の入射光パワー(805)、局所対象点のパワー(810)、検出部上の対象点の測定パワー(815)、対象のない霧からの検出部上の測定パワー(820)を示す。霧の背後の対象点に入射する光パワー(810)は、時間が経過すると同一光パワーを有しない。代わりに、図7は、対象点に入射する光パワーが空間変調パターンに基づいて変化することを示す。例えば、対象に入射する光パワー(810)は、拡散照明と比較して、集光点の方がより高い。照明源と同一の側に配置された検出部(例えば、カメラ)上で、集光点が起こる対象点の画像の検出部上で測定されたパワー(815)は、集光点および拡散照明に対応する周期的応答を示す。検出部によって検出された霧から後方散乱された光(820)(検出部へ対象からのいずれの反射光も入射を避けるために、霧の背後から対象を除いた)は、照明から霧への同一レベルの入射パワーのため、周期的な応答のサインは示さない。拡散照明の入射パワーは集光点の入射パワーと同一ではなかったとしても、霧の動的散乱特性は、周期的なトレースのない統計的にランダム化された応答を提供し、これは、時系列の照明での対象からの周期的な応答とは完全に区別可能である。従って、ロックイン検出を採用すると、霧からの後方散乱光を検出信号から完全に除去できる。言い換えれば、検出部は、照らされた対象点からの周期的な応答を感知することができる。周期照明のみを使用することを意味しないことに注意されたい。例えば、線形変化時間周波数、チャープ周波数変調などを含む他の時間変調も適用してもよい。また、変調周波数は、変調器(例えば、デジタルマイクロミラー装置(DMD)または空間光変調器(SLM))および検出部(例えば、CCD)の仕様、および/または周囲騒音を回避するための条件または環境に従って変化させてもよいことに留意されたい。
【0060】
ロックイン検出の検出部信号は、予め設定された増幅係数で増幅され、信号対ノイズ比を増加させてもよい。次に、全ての画像化された対象点に共焦点画像処理を適用する前に、全ての集光点を継続するようにプロセスが構成される。共焦点画像処理は、図3のS335で説明されているように対象の全体的な画像を形成し、続いて図3のS340の画像を表示する(または自律動作用に画像データを利用する)。
【0061】
対象上の異なる照明パターンで霧に同一入射パワーを生成することについて、液晶ベースの空間光変調器を使用する場合、全ての入射パターンが同一光パワーを有すると期待される。22kHz(60HzのSLMよりも速い変調周波数)に達することが可能であるとともに、集光点を形成するパターンに対応する変調パターンと同一数の画素が「オン」位置に切り替えられているデジタルマイクロミラー装置(DMD)を使用する場合、散乱システムに対して同一の入射光パワーが生成される。また、一態様において、霧の動的散乱特性により、DMD変調構成における拡散照明の入射パワーは、集光点よりも50%高いかまたは低くてもよい。
【0062】
図9は、拡散照明の入射パワーが集光点の入射パワーよりも高いかまたは低い所定量内にあってもよいことを示す例示的なグラフを示す。図9は、時系列905における入射空間変調および対応する光入射パワーレベル910を含む。時系列において、拡散照明905の空間変調は、散乱システムへの異なるレベルの入射パワーを伴う異なる変調であってもよいが、集光点の変調の数は、集光点の数と同一数であってもよい。あるいは、集光点の変調は、入射照明時間が延長された1つの局所変調であってもよい。
【0063】
図10は、開示される技術的特徴の1つ以上の態様に係る時系列905の入射光学パターンに対応する、経時的に異なる位置でのパワーレベルの例示的なグラフを示す。拡散照明のための霧への光パワー(1005)は、異なる変調によって変化されてもよい。しかし、霧の背後にある対象(1010)に入射するパワーは、時間または変調の観点から周期的であってもよい。拡散照明の入射光パワーの変化により、対象点の検出(1015)は、同一パワーレベルではなくてもよいが、拡散照明と集光点間の全体的な周期性は維持される。霧からの後方散乱光(1020)は、霧の動的散乱特徴により、周期性を示さないであろう。これは、ここでロックイン検出部240を介したロックイン検出を採用し、霧からの後方散乱光を除去することもできることを意味する。
【0064】
図11は、開示される技術的特徴の1つ以上の態様に係る対象物体の画像を生成する方法のアルゴリズムフローチャートである。
【0065】
S1105において、システム100は、第1変調信号によって空間光変調器(例えば、変調器110)を駆動することができる。第1変調信号は、第1パターンを照射するためのものであってもよい。第1パターンは、対象物体(例えば、対象物体225)上に複数の集光点を生成することに対応することができる。
【0066】
S1110において、システム100は、第2変調信号によって空間光変調器を駆動することができる。第2変調信号は、第2パターンを照射するためのものであってもよい。第2パターンは、パターンまたはランダム参照光に対応してもよい。例えば、第2パターンは、ランダムスペックルパターンに対応することができる(例えば、図4Bを参照)。さらに、第1パターンおよび第2パターンを交互に照射することができる。また、システム100は、第1パターンの積分強度が第2パターンの積分強度と同様になるように空間光変調器(例えば、変調器110)および/または光源(例えば、光源105)を駆動することができる。言い換えれば、第1パターンおよび第2パターンは、時系列入射パターンで照射することができ、各パターンは同一の積分強度とし、これは、本明細書で述べる霧からの後方散乱光を除去することを支援できる。あるいは、第1パターンの強度および第2パターンの強度は異なるものとすることもできる。例えば、第2パターンの強度はランダムであってもよい。
【0067】
S1115において、システム100は、受信した変調信号(例えば、第1変調信号)に応答し、対象物体225からの反射光を検出することができる。ロックイン検出部(例えば、ロックイン検出部240)で反射光を検出でき、反射光は、複数の集光点を生成する第1照射パターンによって生成される。第1パターンによる集光点パターンおよび第2パターンによる拡散照明パターンの照射の切替えに応じて検出器で検知することで、集光点パターンにおける信号と拡散照明パターンにおける信号を分離することができる。ロックイン検出部は、ロックイン検出部からの感知信号(例えば、第1変調信号)の入力を受信し、対象物体からの反射光を検出し、対象物体225の画像を生成するために使用される複数の集光点を出力するロックイン増幅部を含んでもよい。また、霧からの後方散乱光は、ロックイン検出を用いて、時系列で集光点と拡散照明の間の空間変調を交互に使用することで除去可能である。あるいは、散乱媒体(例えば、霧)からの後方散乱光は、検出部としてカメラを使用し、高速フーリエ変換(FFT)技術と組み合わせて除去してもよい。例えば、対象物体上の各集光点に特定の時系列を適用し、入力画像の時系列に対応する一連のデータ(画像)を取得し、データにフーリエ変換を適用すると、時系列の周波数応答の変調が明らかになり、周波数での強度値は、集光点の値になる。
【0068】
S1120において、システム100は、反射光からの画像データから構成される対象物体225の画像を生成することができる。より具体的に、対象物体の画像は、複数の集光点のそれぞれから反射される光に基づいて、複数の集光点を構成することで生成される。対象物体の画像を生成した後、プロセスを終了してもよい。
【0069】
システム100は、霧、雨、雪、大気汚染などを含む様々な気象条件における明視化を改善することを含めて多様な効果を含む。例えば、ロックイン検出を採用し、霧の全体的な後方散乱からの異なる応答および霧の背後および/または霧の中の対象からの直接反射光に基づいて、動的散乱媒体(例えば、霧)から後方散乱光を除去してもよい。二重変調アプローチは、同様の機能を有するので、他の分野でも採用してもよい。例えば、超音波、ミリ波フィールドなどのスペクトル波長、偏光、強度、周波数などの変調が挙げられる。
【0070】
また、一実施形態において、システム100は、生物学的in−vivo画像化において、信号対ノイズ比を増加させてもよい。
【0071】
上記の図3及び図11の説明において、フローチャート内のいずれのプロセス、説明、またはブロックは、プロセス内の特定のロジカル機能またはステップを実装するための1つ以上の実行可能な指令を含むモジュール、セグメント、またはコードの一部分を表すものとして理解してもよく、若しくは、当業者にとって理解されるように、例示的な実施形態の範囲内に関連する機能に応じて、実質的に同時にまたは逆の順序を含み、示されたまたは議論された機能が異なる順序で実行される代替的な実装が含まれる。本明細書に記載の様々な要素、特徴、およびプロセスは、互いに独立して使用してもよく、または様々な方法で組み合わせることができる。全ての可能な組み合わせおよび下位組み合わせは、本開示の範囲内に入ることが意図されている。
【0072】
次に、例示的な実施形態に係る処理回路130のハードウェアの説明に関して図12を参照し、説明する。本明細書で説明されるハードウェアの説明は、処理回路のハードウェアの説明でもあってもよい。図12において、処理回路130は、上記および下記の1つ以上のプロセスを実行するCPU1200を含む。プロセスデータおよび指令は、メモリ1202に記憶されてもよい。これらのプロセスおよび指令はまた、ハードドライブ(HDD)または携帯型記憶媒体などの記憶媒体ディスク1204に記憶されてもよく、または遠隔に記憶されてもよい。さらに、請求された効果は、本発明のプロセスの指示が記憶されているコンピュータ読み取り可能な媒体の形態によって制限されない。例えば、指令は、CD、DVD、フラッシュメモリ、RAM、ROM、PROM、EPROM、EEPROM、ハードディスク、またはサーバやコンピュータなどの処理回路130と通信する他の任意の情報処理装置に記憶されてもよい。
【0073】
さらに、請求された効果は、CPU1200と、Microsoft Windows、UNIX(登録商標)、Solaris、LINUX、apple MAC−OSおよび当業者に知られている他のシステムなどのオペレーティングシステムとを連携して実行する、ユーティリティアプリケーション、バックグラウンドデーモン、またはオペレーティングシステムの構成要素、あるいはそれらの組み合わせとして提供してもよい。
【0074】
処理回路130を達成するハードウェア要素は、様々な回路要素によって実現されてもよい。さらに、上記の実施形態の各機能は、1つ以上の処理回路を含む回路によって実装してもよい。処理回路は、図12に示すように、特別にプログラムされたプロセッサ、例えば、プロセッサ(CPU)1200を含む。処理回路はまた、特定用途向けの集積回路(ASIC)および列挙された機能を実行するように配列された従来の回路構成要素などの装置を含む。
【0075】
図12において、処理回路130は、上記のプロセスを実行するCPU1200を含む。処理回路130は、汎用コンピュータまたは特定の専用機械であってもよい。一実施形態において、プロセッサ1200が、空間的変調および時間的変調(特に、図3および図11を参照して説明されるいずれかの処理)を介して霧からの後方散乱の除外を行うようにプログラムされると、処理回路130は、特定の専用機械となる。
【0076】
あるいは、またはそれに加え、CPU1200は、当業者であれば認識できるように、FPGA、ASIC、PLDで実装されるか、またはディスクリート論理回路を使用して実装されてもよい。さらに、CPU1200は、上記本発明のプロセスの指令を実行するために並行して動作する複数のプロセッサとして実装されてもよい。
【0077】
図12の処理回路130はまた、ネットワーク1228とインターフェースするための、Intel Corporation of AmericaからのIntel Ethernet PROネットワークインターフェースカードなどのネットワークコントローラ1206を含む。ネットワーク1228は、インターネットなどの公共ネットワーク、またはLANまたはWANネットワークなどの私的ネットワーク、あるいはそれらの任意の組み合わせであってもよく、また、PSTNまたはISDNサブネットワークを含んでもよい。ネットワーク1228はまた、イーサネットネットワークのように有線であってもよく、またはEDGE、3Gおよび4G無線セルラーシステムを含むセルラーネットワークなどの無線であってもよい。無線ネットワークは、Wi−Fi、Bluetooth、またはその他の既知の無線形式の通信であってもよい。
【0078】
処理回路130は、モニタなどのディスプレイ1210とインターフェースするためのグラフィックカードまたはグラフィックアダプタなどのディスプレイコントローラ1208をさらに含む。汎用I/Oインターフェース1212は、キーボードおよび/またはマウス1214、ならびにディスプレイ1210上のまたはディスプレイ1210とは別のタッチスクリーンパネル1216とインターフェースする。汎用I/Oインターフェースはまた、プリンタおよびスキャナを含む様々な周辺機器1218に接続する。
【0079】
サウンドコントローラ1220はまた、スピーカまたはマイクロフォン1222とインターフェースするために処理回路130に提供され、それによって音および/または音楽が提供される。
【0080】
汎用ストレージコントローラ1224は、記憶媒体ディスク1204を、処理回路130の全ての構成要素を相互接続するためのISA、EISA、VESA、PCIなどの通信バス1226に接続する。ディスプレイ1210、キーボードおよび/またはマウス1214、ならびにディスプレイコントローラ1208、ストレージコントローラ1224、ネットワークコントローラ1206、サウンドコントローラ1220、および汎用I/Oインターフェース1212の一般的な特徴および機能の説明は、これらの機能が知られているので、簡潔にするために省略する。
【0081】
本開示の文脈で説明される例示的な回路要素は、他の要素で置き換えられてもよく、本明細書に提供される例とは異なって構造化されてもよい。さらに、本明細書に記載の特徴を実行する回路は、複数の回路ユニット(例えば、チップ)に実装されてもよく、またはそれらの特徴が、単一のチップセット上の回路で組み合わされてもよい。
【0082】
本明細書で説明される機能および特徴はまた、システムの様々な分散構成要素によって実行されてもよい。例えば、1つ以上のプロセッサは、これらのシステム機能を実行してもよく、プロセッサは、ネットワーク内で通信する複数の構成要素に分散されている。分散構成要素には、様々なヒューマンインターフェイスおよび通信装置(ディスプレイモニタ、スマートフォン、タブレット、携帯情報端末(PDA)など)に加えて、処理を共有してもよい1つ以上のクライアントマシンおよびサーバマシンが含まれてもよい。ネットワークは、LANやWANなどの私的ネットワークでもよく、インターネットなどの公共ネットワークでもよい。システムへの入力は、ユーザーの直接入力を通して受信し、リアルタイムまたはバッチプロセスのいずれかで遠隔に受信してもよい。また、いくつの実装は、説明されているものとは異なるモジュールまたはハードウェアで実行してもよい。従って、他の実装は、請求される範囲内である。
【0083】
ここで開示される技術的特徴の実施形態の説明において、前述のものは単なる例示に過ぎず、限定するものではなく、例としてのみ提示されたことは当業者にとって明らかであるであろう。従って、特定の構成が本明細書で論じられていたが、他の構成も採用してもよい。多数の変更および他の実施形態(例えば、組み合わせ、再配置など)は、本開示によって可能であり、当業者が行える範囲内のものであり、開示された技術的特徴および任意の同等物の範囲内にあると考えられる。開示された実施形態の特徴は、本発明の範囲内で組み合わされ、再配置され、省略されるなどで、追加の実施形態を生成してもよい。さらに、特定の機能は、他の機能に対応して使用せず、有利に使用されてもよい。従って、出願人は、開示された技術的特徴の要旨および範囲内にある全ての代替案、修正、同等物、および変形を網羅することを意図する。
図1
図2
図3
図4A
図4B
図5
図6
図7
図8
図9
図10
図11
図12
【外国語明細書】
2021099799000001.pdf