特開 2024-76529 表示システム、電子機器、および、制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024076529

(43)【公開日】2024-06-06

(54)【発明の名称】表示システム、電子機器、および、制御方法

(51)【国際特許分類】

   G09G 5/10 20060101AFI20240530BHJP

   G09G 5/00 20060101ALI20240530BHJP

   G09G 5/36 20060101ALI20240530BHJP

   H04N 5/66 20060101ALI20240530BHJP

【ＦＩ】

G09G5/10 B

G09G5/00 550C

G09G5/36 520P

G09G5/36 520B

G09G5/00 530D

H04N5/66 B

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022188099

(22)【出願日】2022-11-25

(11)【特許番号】

(45)【特許公報発行日】2024-04-24

(71)【出願人】

【識別番号】505205731

【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100206081

【弁理士】

【氏名又は名称】片岡 央

(72)【発明者】

【氏名】肖 利民

(72)【発明者】

【氏名】土橋 守幸

(72)【発明者】

【氏名】森 英俊

【テーマコード（参考）】

5C058

5C182

【Ｆターム（参考）】

5C058AA05

5C058BA35

5C182AA02

5C182AB08

5C182BA14

5C182CA01

5C182CB44

5C182CB47

5C182CC01

(57)【要約】

【課題】画素を点灯させない非表示領域の大きさを必要最小限に定める。
【解決手段】カメラには複数の画素が配置された表示パネルの一部である透過領域を透過した光が入射し、制御部は、撮影される画像の全体である撮影画像領域のうち前記表示パネルに表示させる部分である実効視野領域を特定し、透過領域のうち実効視野領域に対応する部分を、前記カメラにより撮影された画像の表示を主目的とするとき画素を点灯させない非表示領域として定める。本実施形態は、表示システム、電子機器および制御方法のいずれの形態でも実現することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の画素が配置された表示パネルと、カメラと、制御部と、を備え、
前記カメラには前記表示パネルの一部である透過領域を透過した光が入射し、
前記制御部は、
撮影される画像の全体である撮影画像領域のうち前記表示パネルに表示させる部分である実効視野領域を特定し、
前記透過領域のうち前記実効視野領域に対応する部分を前記カメラにより撮影された画像の表示を主目的とするとき画素を点灯させない非表示領域として定める
表示システム。

【請求項2】

前記制御部は、
前記実効視野領域の変化を検出するとき、
変化した実効視野領域に基づいて前記非表示領域を更新する
請求項１に記載の表示システム。

【請求項3】

前記カメラが撮影した画像の一部領域を前記実効視野領域として抽出する撮影処理部を備える
請求項２に記載の表示システム。

【請求項4】

前記撮影処理部は、
前記カメラが撮影した画像から、予め設定されたアスペクト比を有する部分を前記実効視野領域として抽出する
請求項３に記載の表示システム。

【請求項5】

前記撮影処理部は、
前記カメラが撮影した画像から、特定の被写体を表す部分を前記実効視野領域として抽出する
請求項３に記載の表示システム。

【請求項6】

前記撮影処理部は、
前記特定の被写体を表す部分が前記撮影画像領域に含まれるように前記被写体を追跡する
請求項５に記載の表示システム。

【請求項7】

請求項１に記載の表示システムを備える
電子機器。

【請求項8】

複数の画素が配置された表示パネルと、カメラと、制御部と、を備え、
前記カメラには前記表示パネルの一部である透過領域を透過した光が入射する表示システムの制御方法であって、
前記制御部が、
前記カメラが撮影した画像の全体である全画像領域のうち前記表示パネルに表示させる部分である実効視野領域を特定するステップと、
前記透過領域のうち前記実効視野領域に対応する部分を、前記カメラにより撮影された画像の表示を主目的とするとき画素を点灯させない非表示領域として定めるステップと、
を実行する制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、表示システム、電子機器、および、制御方法、例えば、カメラが設置された表示システムに関する。

【背景技術】

【0002】

表示装置には、カメラを備えるものがある。カメラは、表示面の一部の領域をなす透過領域の裏面に設置されることがある。これら複数の画素を用いて画像が表示される。透過領域では、個々の画素の間隙から被写体から投影される光の一部が透過される。かかる表示装置は、ＣＵＤ（Camera Under Display）システムと呼ばれることがある。透過領域は、少なくともカメラの視野（ＦＯＶ：Field of View）内に入射される光を透過する部分を含む。

【0003】

例えば、特許文献１には、第１の表示領域と第２表示領域とを含むＯＬＥＤアレイ基板、表示パネルおよび表示装置について記載されている。第１の表示領域は、第２の表示領域に隣接し、アレイ状に配列された第１のＯＬＥＤ画素を含む。第２の表示領域は、アレイ状に配列された第２のＯＬＥＤ画素を含む。第２のＯＬＥＤ画素の画素密度は、第１のＯＬＥＤ画素の画素密度よりも小さい。第２の表示領域の背面には画像撮像用のカメラが配置される。

【0004】

ＣＵＤシステムにおいて、カメラを動作させる場合、透過領域に配置された画素を消灯し、画像を表示させない。画像を表示させない領域は、非表示領域（black-out area）とも呼ばれる。非表示とすることでカメラへの画素から放射される光の入射が防止される。画素が発光した光がカメラに入射されると鮮明な画像が得られないためである。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２２－２１６４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ＣＵＤシステムを備える情報機器では、非表示領域のサイズを小さくすることが期待されることがある。非表示領域を小さくすることは、主に次のような場合に期待される。例えば、一度に複数のウィンドウ（multiple windows）が表示される場合、ランドスケープウィンドウ（landscape window）が用いられる場合、ユーザインタフェース（ＵＩ：User Interface）の設計がＯＳ（Operating System）の制約に拘束される場合、などである。なお、ランドスケープウィンドウとは、縦長のポートレートウィンドウ（portrait window）とは異なり、水平方向よりも垂直方向の高さの方が短い横長のウィンドウを指す。

【0007】

通例、非表示領域の大きさはディスプレイ上のカメラの視野に対応する領域よりも大きい。しかしながら、現実にディスプレイに表示される表示画像として、カメラにより撮影された画像の一部が用いられ、その他の部分が削除されることがある。その場合には、カメラの光学系の視野よりも小さい部分を通じて入射される光が利用され、その他の部分は利用されない。撮影された画像の一部が用いられる事例として、表示される画像のアスペクト比が撮影された画像のアスペクト比と異なる場合がある。撮影された画像よりも表示される画像の方が縦長の形状を有するとき、撮影された画像の左右側方が削除され、残された部分が表示されることがある。その他、オートフレーミング（auto-framing）または自動追跡（auto-tracking）が実行される場合には、撮影された画像のうち特定の被写体を表す部分が抽出され、抽出された部分が表示される。
撮影された画像全体の領域はカメラの視野に対応するため、非表示領域のうち抽出されなかった部分に対応する領域は無用となる。

【課題を解決するための手段】

【0008】

本開示は上記の課題を解決するためになされたものであり、第１態様に係る表示システムは、複数の画素が配置された表示パネルと、カメラと、制御部と、を備え、前記カメラには前記表示パネルの一部である透過領域を透過した光が入射し、前記制御部は、撮影される画像の全体である撮影画像領域のうち前記表示パネルに表示させる部分である実効視野領域を特定し、前記透過領域のうち前記実効視野領域に対応する部分を、前記カメラにより撮影された画像の表示を主目的とするとき画素を点灯させない非表示領域として定める。

【0009】

上記の表示システムにおいて、前記制御部は、前記実効視野領域の変化を検出するとき、変化した実効視野領域に基づいて前記非表示領域を更新してもよい。

【0010】

上記の表示システムは、前記カメラが撮影した画像の一部領域を前記実効視野領域として抽出する撮影処理部を備えてもよい。

【0011】

上記の表示システムにおいて、前記撮影処理部は、前記カメラが撮影した画像から、予め設定されたアスペクト比を有する部分を前記実効視野領域として抽出してもよい。

【0012】

上記の表示システムにおいて、前記撮影処理部は、前記カメラが撮影した画像から、特定の被写体を表す部分を前記実効視野領域として抽出してもよい。

【0013】

上記の表示システムにおいて、前記撮影処理部は、前記特定の被写体を表す部分が前記撮影画像領域に含まれるように前記被写体を追跡してもよい。

【0014】

第２態様に係る電子機器は、上記の表示システムを備えてもよい。

【0015】

第３態様に係る制御方法は、複数の画素が配置された表示パネルと、カメラと、制御部と、を備え、前記カメラには前記表示パネルの一部である透過領域を透過した光が入射する表示システムの制御方法であって、前記制御部が、前記カメラが撮影した画像の全体である全画像領域のうち前記表示パネルに表示させる部分である実効視野領域を特定するステップと、前記透過領域のうち前記実効視野領域に対応する部分を、前記カメラにより撮影された画像の表示を主目的とするとき画素を点灯させない非表示領域として定めるステップと、を実行する。

【発明の効果】

【0016】

本実施形態によれば、画素を点灯させない非表示領域の大きさを必要最小限に定めることができる。

【図面の簡単な説明】

【0017】

【図1】本実施形態に係る電子機器の外観構成例を示す正面図である。

【図2】本実施形態に係る電子機器の内部構成例を示す断面図である。

【図3】本実施形態に係る電子機器のハードウェア構成例を示す概略ブロック図である。

【図4】本実施形態に係る電子機器の機能構成例を示す概略ブロック図である。

【図5】撮像画像の一例を示す図である。

【図6】実効視野領域の第１設定例を示す説明図である。

【図7】実効視野領域の第２設定例を示す説明図である。

【図8】撮影画像における実効視野領域を例示する説明図である。

【図9】投影視野領域における実効投影視野領域を例示する説明図である。

【図10】本実施形態に係る非表示領域の設定処理を例示するフローチャートである。

【発明を実施するための形態】

【0018】

以下、本開示の実施形態について、図面を参照して説明する。図１は、本実施形態に係る電子機器１の外観構成例を示す正面図である。図１に例示される電子機器１は、ノートブック型パーソナルコンピュータ（ノートＰＣ：Personal Computer）として構成されている。電子機器１は、表示システム１ｄを備える。表示システム１ｄは、表示パネル１４、カメラモジュール３５および制御部１００（後述）を備える。制御部１００は、筐体ＢＤ０１またはＢＤ０３に内蔵され、図１には表れていない。

【0019】

表示パネル１４は、ほぼ平板の形状を有する表示デバイスである。表示パネル１４には、複数の画素と基板を有し、基板の主面の大部分をなす表示領域において複数の画素が一定間隔で二次元配列されている。表示領域の一部には、透過領域ＣＡが設けられている。透過領域ＣＡでは、その周囲の領域である標準領域とは異なり画素間に間隙が設けられている。透過領域ＣＡに到来する光は、画素間の間隙を通過し、その一部がカメラモジュール３５に入射される。透過領域ＣＡは、カメラ設置表示領域（ＣＵＤ：Camera Under Display area）とも呼ばれる。

【0020】

カメラモジュール３５には、透過領域ＣＡを通過した光が入射され、入射された光が撮像面に投影されてなる画像が撮影される。透過領域ＣＡの一部には、非表示領域（Black-out Area）ＢＡが設けられる。カメラモジュール３５により撮影された画像の表示を主目的とするとき非表示領域ＢＡに配置された画素を点灯させない。その場合には、非表示領域ＢＡでは、カメラモジュール３５が撮影した画像は表示されない。非表示領域ＢＡに配置された画素が消灯することで、画素から放射される光がカメラモジュール３５に入射される事象が防止される。図５に例示される非表示領域ＢＡを設けずに撮影される画像（図５参照）のようにコントラストが低く被写体の輪郭が不明瞭にならずに済む。

【0021】

透過領域ＣＡは、通例、カメラモジュール３５の視野に対応する範囲（以下の説明では、「投影視野領域」（projected FOV）と呼ぶことがある）よりも大きくなるように設定されている。表示パネル１４とカメラモジュール３５とのわずかな位置関係の変動が生じても、近接する画素からの光がカメラモジュール３５に入射される可能性があるためである。図２に例示されるように、カメラモジュール３５は、表示パネル１４の背面に接着剤３５ａを用いて付着され、表示パネル１４ともに治具３５ｊの側面に支持される。表示パネル１４の表面は、保護膜１４ｇに覆われる。保護膜１４ｇは、例えば、ガラスなどの透明な素材からなる。但し、治具３５ｊの表面には、さらにマスクプリント１４ｍが施されている。マスクプリント１４ｍにより治具３５ｊを覆い隠すためである。図２の例では、マスクプリント１４ｍは、黒色に塗付されている。

【0022】

比較例では、透過領域ＣＡの全体が非表示領域ＢＡとして設定されることがあった。非表示領域ＢＡは、透過領域ＣＡのうち、カメラモジュール３５の光学中心ＯＣから光軸ＯＡを中心とする視野ＦＯＶ（Field of View）で画定される投影視野領域ＭＢＡ（Minimum Black-out Area、最小限領域）を含んでいれば十分である。また、表示システム１ｄまたは電子機器１のアプリケーションプログラムによっては、撮影された画像の一部領域（以下の説明では、「実効視野領域」（active FOV）と呼ぶことがある）が用いられ、残りの領域が用いられずに棄却される場合がある。その場合、透過領域ＣＡのうち、実効視野領域に対応する領域（以下の説明では、「実効投影視野領域」（projected active FOV）と呼ぶことがある）が含まれれば十分であり、残りの領域に対応する部分が含まれなくてもよい。
視野ＦＯＶは、カメラモジュール３５の光学系に透過領域ＣＡからの透過光が入射される範囲に相当する。そのため、非表示領域ＢＡの大きさは必要最小限の大きさよりも大きくなりがちである。非表示領域ＢＡは、いかなる画像も表示しないうえ、黒色の斑点状の外観を呈する。これに対し、本実施形態では、制御部１００が後述の手順を実行し実効投影視野領域を非表示領域ＢＡとして定める。

【0023】

次に、本実施形態に係る電子機器１のハードウェア構成例について説明する。図３は、本実施形態に係る電子機器１のハードウェア構成例を示す概略ブロック図である。電子機器１は、ＣＰＵ１１、メインメモリ１２、ビデオサブシステム１３、表示パネル１４、チップセット２１、ＢＩＯＳ（Basic Input Output System、基本入出力システム）メモリ２２、ＳＳＤ（Solid State Drive）２３、ＵＳＢ（Universal Serial Bus）コネクタ２４、オーディオシステム２５、ネットワークカード２６、ＲＴＣ（Real Time Clock）２７、エンベデッドコントローラ（ＥＣ：Embedded Controller）３０、電源回路３１、バッテリ３３、入力Ｉ／Ｆ（Interface）３４、および、カメラモジュール３５を備える。

【0024】

ＣＰＵ１１は、電子機器１の各部の機能を制御する中核となる演算処理装置である。ＣＰＵ１１は、メインメモリ１２に展開されたプログラムに記述された指令で指示される処理を実行し、その機能を実現する。なお、本願では、プログラムに記述された指令で指示される処理を実行することを、「プログラムの実行」または「プログラムを実行する」などと呼ぶことがある。

【0025】

メインメモリ１２は、ＣＰＵ１１により実行される各種のプログラムの読み込み領域を有する。メインメモリ１２は、ＣＰＵ１１により取得された各種のデータ、ＣＰＵ１１により実行される処理に用いられる各種のデータを記憶するための作業領域を有する。ＣＰＵ１１により実行されるプログラムには、例えば、ＯＳ（Operating System、オペレーティングシステム）、周辺機器を操作するための各種ドライバ、各種サービス／ユーティリティ、アプリケーションプログラム（本願では、「アプリ」と呼ぶことがある）などがある。また、ＣＰＵ１１とメインメモリ１２は、電子機器１のコンピュータシステムをなすシステムデバイスに相当する。

【0026】

ビデオサブシステム１３は、ＣＰＵ１１からの制御に従い描画処理を行って各種の表示データを生成し、表示パネル１４に出力する。ビデオサブシステム１３は、例えば、ビデオコントローラとビデオメモリを備える。ビデオコントローラは、ＣＰＵ１１から入力される描画指令に従って描画情報を生成し、生成した描画情報をビデオメモリに書き込む。ビデオコントローラは、ビデオメモリから描画情報を読み出し、読み出した描画情報を示す表示データを表示パネルに出力する。
表示パネル１４は、ビデオサブシステムから入力される表示データで指示される表示画面を表示する。

【0027】

チップセット２１には、各種のデバイスが接続され、個々のデバイスの動作または入出力を制御する。チップセット２１は、各種のデータバスのコントローラを備える。チップセット２１は、例えば、ＵＳＢ（Universal Serial Bus）、シリアルＡＴＡ（AT Attachment）、ＳＰＩ（Serial Peripheral Interface）バス、ＰＣＩ（Peripheral Component Interconnect）バス、ＰＣＩ－Ｅｘｐｒｅｓｓバス、ＬＰＣ（Low Pin Connect）バスなどを有する。図３の例では、チップセット２１には、ＢＩＯＳメモリ２２、ＳＳＤ２３、ＵＳＢコネクタ２４、オーディオシステム２５、ネットワークカード２６、ＲＴＣ２７、エンベデッドコントローラ３０およびカメラモジュール３５が接続されている。

【0028】

ＢＩＯＳメモリ２２は、ＢＩＯＳ、エンベデッドコントローラ３０などの各種デバイスの制御に用いられるシステムファームウェアなどが記憶される。ＢＩＯＳメモリ２２は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭなど、電気的に書き換え可能な不揮発性メモリを含んで構成される。
ＳＳＤ２３は、補助記憶装置の一例である。ＳＳＤ２３には、ＯＳ、各種ドライバ、各種サービス／ユーティリティ、アプリ、などのプログラムの他、各種のデータを記憶する。電子機器１には、ＳＳＤ２３に代えて、または、ＳＳＤ２３とともに、ＨＤＤ（Hard Disk Drive）などの他の種類の補助記憶装置が備わってもよい。

【0029】

オーディオシステム２５は、各種の音声データの記録、符号化、復号、入出力などを行う。
ネットワークカード２６は、無線または有線でネットワークに接続し、データ通信を行う。ネットワークカード２６は、例えば、無線ＬＡＮ（Local Area Network）を経由して、直接または他のネットワークを経由して他の機器と接続する。
ＲＴＣ２７は、その時点における日時を計測する。ＲＴＣ２７は、バックアップ用バッテリ（図示せず）から供給される電力を消費する。バックアップ用バッテリは、バッテリ３３とは別個に設けられる。よって、ＲＴＣ２７は、電子機器１のシャットダウンにより電源回路３１から電力の供給が停止されても定常的に日時を計測することができる。

【0030】

エンベデッドコントローラ３０は、電源回路３１を制御する電源管理機能と、入力Ｉ／Ｆ３４からの入力データの入力制御機能を有する。エンベデッドコントローラ３０は電源管理機能として、システムデバイスから通知される動作状態に基づいて電源回路３１を制御し、ＣＰＵ１１を含む各デバイスに供給する電力を制御する。エンベデッドコントローラ３０は、入力制御機能として、入力Ｉ／Ｆ３４からの入力データの入力の要否を制御する。エンベデッドコントローラ３０は、ＣＰＵ１１とメインメモリ１２とは別個のＣＰＵとメインメモリを有するマイクロコンピュータである。エンベデッドコントローラ３０は、ＣＰＵ１１とメインメモリ１２の動作状態に関わらず定常的に動作可能とする。

【0031】

電源回路３１は、エンベデッドコントローラ３０の制御に従って、各デバイスへの電力の供給を制御する。電源回路３１は、例えば、ＤＣ（Direct Current）／ＤＣコンバータ、充放電ユニット、ＡＣ（Alternating Current）／ＤＣアダプタなどを含んで構成される。ＤＣ／ＤＣコンバータは、充放電ユニットから供給される直流電力の電圧を、各デバイスで要求される電圧に変換し、変換した電圧を有する電力を当該デバイスに供給する。充放電ユニットは、ＡＣ／ＤＣアダプタから供給される電力のバッテリ３３への充電またはバッテリ３３からの放電を制御する。充放電ユニットは、例えば、ＡＣ／ＤＣアダプタから供給される電力の一部または全部をＤＣ／ＤＣコンバータに供給する。充放電ユニットは、ＡＣ／ＤＣアダプタから供給される電力のうち消費されずに余った電力をバッテリ３３に充電する。充放電ユニットは、ＡＣ／ＤＣアダプタから電力が供給されないとき、またはＡＣ／ＤＣアダプタからの電力が不足するとき、バッテリ３３から放電される電力をＤＣ／ＤＣコンバータに供給する。ＡＣ／ＤＣアダプタは、外部の商用電源から供給される交流電力を直流電力に変換し、変換された直流電力を充放電ユニットに供給する。

【0032】

バッテリ３３は、電源回路３１から供給される電力を充電可能とし、または、充電された電力を電源回路３１の制御に従って放電する蓄電池である。
入力Ｉ／Ｆ３４は、ユーザの操作を受け付け、受け付けた操作に応じて操作データを取得する入力デバイスを備える。図１に例示されるキーボード３４ｋとタッチセンサ３４ｔは、入力Ｉ／Ｆ３４の一部を構成する。入力Ｉ／Ｆ３４は、タッチセンサ３４ｔとは別個に、または、タッチセンサ３４ｔに代えて、別個のタッチセンサを備えてもよい。別個のタッチセンサは、表示パネル１４と重なり合うように一体化し、タッチパネルとして構成されてもよい。

【0033】

カメラモジュール３５は、光学系に入射される光で表される画像を撮影する。カメラモジュール３５は、撮影した画像を示す画像データをＣＰＵ１１にチップセット２１を経由して出力する。本実施形態では、カメラモジュール３５の光学系には、透過領域ＣＡの一部を透過した光が入射される。

【0034】

次に、本実施形態に係る電子機器１の機能構成例について説明する。図４は、本実施形態に係る電子機器１の機能構成例を示す概略ブロック図である。電子機器１は、制御部１００と、記憶部２００と、表示パネル１４と、カメラモジュール３５とを有する。
制御部１００は、表示パネル１４に非表示領域ＢＡを設定する。制御部１００の機能は、グラフィックコントローラ、ビデオサブシステム１３、ＣＰＵ１１のいずれか１個またはいずれかのコントローラの組み合わせにより実現される。グラフィックコントローラは、表示パネル１４に付随し、表示パネル１４への画像の輝度、色調、タイミングなどの制御を主目的とするものであってもよい。

【0035】

記憶部２００には、制御部１００により実行されるプログラム、制御部１００で用いられるデータ、制御部１００により生成されるデータなどが記憶される。記憶部２００は、制御部１００の機能の実行主体となるコントローラに備わる記憶媒体（メモリ）を用いて実現される。ＣＰＵ１１が実行主体となる場合には、メインメモリ１２またはＳＳＤ２３などの補助記憶媒体により記憶部２００の機能が実現されてもよい。

【0036】

制御部１００は、撮影処理部１０２と、設定処理部１０４と、表示処理部１０６と、を備える。撮影処理部１０２の機能は、所定のアプリケーションプログラムをＣＰＵ１１が実行して実現されてもよい。このとき、ＣＰＵ１１は、カメラモジュール３５に専用のデバイスドライバ１を実行してカメラモジュール３５と協働してもよい。
設定処理部１０４と表示処理部１０６の機能の一部または全部は、グラフィックコントローラまたはビデオサブシステム１３が所定のプログラムを実行して実現される。設定処理部１０４と表示処理部１０６の他の一部の機能は、グラフィックコントローラまたはビデオサブシステム１３に専用のデバイスドライバ２をＣＰＵ１１が実行して実現されてもよい。

【0037】

撮影処理部１０２は、カメラモジュール３５により撮影された画像である撮影画像に対する処理を実行する。撮影処理部１０２は、カメラモジュール３５から入力される画像データに示される撮影画像の全体である撮影画像領域の一部を実効視野領域として抽出する。撮影処理部１０２は、抽出した実効視野領域内の画像を表示用画像として示す表示データを表示処理部１０６に出力する。撮影処理部１０２は、実効視野領域を示す実効視野領域情報を設定処理部１０４に出力する。

【0038】

表示用画像のアスペクト比（以下、「第２アスペクト比」と呼ぶ）として、撮影画像のアスペクト比（以下、「第１アスペクト比」と呼ぶ）とは異なる値が設定されることがある。その場合、撮影処理部１０２は、例えば、撮影画像領域のうちアスペクト比が第２アスペクト比と等しくなる最大の領域を実効視野領域として定め、実効視野領域内の画像を表示用画像として抽出してもよい。

【0039】

アスペクト比とは、画像の高さに対する幅の比を指す。アスペクト比は、「縦横比」とも呼ばれる。第２アスペクト比が第１アスペクト比よりも大きい場合、撮影処理部１０２は、撮影画像の重心を通る水平方向の直線に対して線対称となるように上下両端の一部を削除し、残された部分を表示用画像として採用する。第２アスペクト比が第１アスペクト比よりも小さい場合、撮影処理部１０２は、撮影画像の重心を通る垂直方向の直線に対して線対称となるように左右両端の一部を削除し、残された部分を表示用画像として採用する。

【0040】

図６は、実効視野領域の第１設定例を示す説明図である。図６において、横長の長方形の領域は、撮影画像領域ＦＦを示す。撮影画像領域ＦＦのうち塗りつぶされていない領域が実効視野領域ＡＦを示す。この例では、第２アスペクト比が第１アスペクト比よりも小さいため、撮影画像領域ＦＦから左右両端の塗りつぶしの領域で示される一部の領域が削除され、実効視野領域ＡＦが抽出される。

【0041】

撮影処理部１０２は、自動フレーミング（auto-framing）機能を有していてもよい。撮影処理部１０２は、例えば、カメラモジュール３５からの撮影画像に対して公知の画像認識処理を実行して所定の被写体（例えば、人物の顔）が表される被写体領域を特定し、被写体領域を内接する矩形の領域を目標領域として定める。撮影処理部１０２は、カメラモジュール３５に対して特定した目標領域に表された被写体を目標物として合焦させる（自動焦点制御（auto-focusing））。

【0042】

カメラモジュール３５は、撮影処理部１０２からの指令に応じて、目標領域における合焦度が最も高くなるようにレンズと撮影素子との間隔を調整する。合焦度は、撮影画像のピントが合っている度合いを示す指標値である。合焦度として、例えば、目標領域における低域成分のパワーに対する高域成分のパワーの比を用いることができる。低域成分は、所定のカットオフ周波数よりも低い空間周波数成分を指す。高域成分は、所定のカットオフ周波数よりも高い空間周波数成分を指す。撮影処理部１０２は、特定した目標領域が中央に配置され、その上下左右の一定の周縁領域（マージン（margin））を含む矩形の領域を実効視野領域として定めることができる。

【0043】

図７は、実効視野領域の第２設定例を示す説明図である。図７において、撮影画像領域ＦＦには被写体として２名の人物と１個のテーブルが例示される。テーブルは撮影画像領域ＦＦの底部に表わされ、人物よりもカメラモジュール３５に近接していることを示す。２名の人物の頭部が撮影画像領域ＦＦのほぼ中央部において左右に並列されている。実効視野領域ＡＦとして、２名のうち右方の人物の頭部の全体を表す領域が設定される。

【0044】

撮影処理部１０２は、自動追跡（auto-tracking）機能を有していてもよい。自動追跡機能とは、移動する被写体を表す被写体領域が撮影画像領域に含まれるようにカメラモジュール３５の撮影方向を調整して、その被写体を追跡することを指す。自動追跡機能を実現するため、カメラモジュール３５は、例えば、自動フレーミング処理を逐次に繰り返す。そのため、被写体が移動しても撮影される画像に被写体の形態が表れる。カメラモジュール３５は、電子機器１のその他の部材とは別体であってもよい。その場合、カメラモジュール３５は、雲台（camera platform）を備えてもよい。雲台は、光学系を支持する基台ならびに治具と、光学系の光軸方向を機械的に変更する回転機構を備える。カメラモジュール３５は、撮影処理部１０２からの自動追跡機能の指令に応じ、被写体領域の中心が撮影画像領域の中心に配置されるように光軸の方向を機械的に変更可能とする。

【0045】

撮影処理部１０２は、例えば、カメラモジュール３５から撮影画像を取得し、一定時間（例えば、フレーム間隔）ごとに上記の手法により目標領域を定め、カメラモジュール３５に対して目標領域に表された目標物として合焦させる。撮影処理部１０２は、直前の撮影画像に対する目標領域から最新の撮影画像に対する目標領域への変位量と合焦により得られる焦点距離に基づいて変位量が０に近似するように（最小化）、カメラモジュール３５の光学系の方位を調整する。撮影処理部１０２は、上記の手法により一定時間ごとに定めた目標領域に基づいて実効視野領域を定めることができる。

【0046】

設定処理部１０４には、撮影処理部１０２から実効視野領域情報が入力される。設定処理部１０４は、表示パネル１４に設定される透過領域ＣＡのうち、入力された実効視野領域情報で示される実効視野領域ＡＦに対応する部分を非表示領域ＢＡとして定める。設定処理部１０４は、予め設定された撮影画像領域ＦＦに対する投影視野領域ＭＢＡとの幾何的関係を用い、実効視野領域ＡＦに対して得られる実効投影視野領域（projected active FOV）を非表示領域ＢＡとして定める。設定処理部１０４は、定めた非表示領域ＢＡを示す非表示領域情報を表示処理部１０６に出力する。

【0047】

より具体的には、図８、図９に例示されるように、設定処理部１０４には、予め設定された撮影画像領域ＦＦの幅ｗ０、高さｈ０および重心の座標（ｘ０，ｙ０）と投影視野領域ＭＢＡの幅Ｗ０、高さＨ０および重心の座標（Ｘ０，Ｙ０）を設定しておく。設定処理部１０４は、撮影画像領域ＦＦと投影視野領域ＭＢＡとの関係を用いて、実効視野領域ＡＦの幅ｗ１、高さｈ１および重心の座標（ｘ１，ｙ１）から非表示領域ＢＡとする実効投影視野領域の幅Ｗ１、高さＨ１および重心の座標（Ｘ１，Ｙ１）を、それぞれ
ｗ１・Ｗ０／ｗ０、ｈ１・Ｈ０／ｈ０、（ｘ０＋Δｘ・Ｗ０／ｗ０，ｙ０＋Δｙ・Ｈ０／ｈ０）
と定めることができる。ここで、（Δｘ，Δｙ）は、撮影画像領域ＦＦの重心から実効視野領域ＡＦの重心までの変位を示す。

【0048】

即ち、設定処理部１０４は、実効視野領域の幅ｗ１に、撮影画像領域ＦＦの幅ｗ０に対する投影視野領域ＭＢＡの幅Ｗ０の比Ｗ０／ｗ０を乗じて非表示領域ＢＡの幅ｗ１を算出し、実効視野領域の高さｈ１に、撮影画像領域ＦＦの高さｈ０に対する投影視野領域ＭＢＡの高さＨ０の比Ｈ０／ｈ０を乗じて非表示領域ＢＡの高さｈ１を算出する。設定処理部１０４は、撮影画像領域ＦＦの重心の座標（ｘ０，ｙ０）に、水平方向、垂直方法それぞれの変位（Δｘ，Δｙ）に比（Ｗ０／ｗ０，Ｈ０／ｈ０）を乗じて得られる積（Δｘ・Ｗ０／ｗ０，ＹΔｙ・Ｈ０／ｈ０）を加算して非表示領域ＢＡの重心の座標（Ｘ１，Ｙ１）を定める。
なお、設定処理部１０８は、非表示領域ＢＡを定める際、カメラモジュール３５におけるレンズの歪み補正、レンズの焦点距離、などの要件を、さらに考慮した手法を用いてもよい。実効視野領域は可変であるため、設定処理部１０４は、実効視野領域の変化が検出される都度、変化後の実効視野領域に対して非表示領域ＢＡを更新すればよい。

【0049】

表示処理部１０６には、設定処理部１０４から非表示領域ＢＡを示す非表示領域情報が入力される。表示処理部１０６は、ビデオサブシステム１３により取得される表示画像のうち非表示領域ＢＡ内の部分を表示パネル１４に表示させず、残りの部分を表示パネル１４に表示させる。表示処理部１０６は、例えば、表示画像のうち非表示領域ＢＡ内に配置される画素ごとに消灯に相当する輝度値（例えば、０）を設定し、それ以外の画素ごとの輝度値を変更せずに維持する。表示処理部１０６は、画素ごとの輝度値を示す表示データを表示パネル１４に出力する。表示処理部１０６は、表示パネル１４の表示領域に配置された画素のうち、非表示領域ＢＡ内に配置された画素に対する電力の供給を停止して消灯させてもよい。その場合、表示処理部１０６は、非表示領域ＢＡの画素に対する輝度値の設定を要しない。

【0050】

次に、本実施形態に係る非表示領域ＢＡの設定処理の例について説明する。図１０は、本実施形態に係る非表示領域ＢＡの設定処理を例示するフローチャートである。
（ステップＳ１０２）設定処理部１０４は、予め記憶部２００に記憶された投影視野領域情報と撮影画像領域情報を読み出し、投影視野領域（Ｘ０，Ｙ０，Ｗ０，Ｈ０）と撮影画像領域（ｘ０，ｙ０，ｗ０，ｈ０）を特定する。
（ステップＳ１０４）設定処理部１０４は、撮影処理部１０２から実効視野領域情報を取得し、実効視野領域（ｘ１，ｙ１，ｗ１，ｈ１）を特定する。

【0051】

（ステップＳ１０６）設定処理部１０４は、撮影画像領域（ｘ０，ｙ０，ｗ０，ｈ０）と投影視野領域（Ｘ０，Ｙ０，Ｗ０，Ｈ０）との関係に基づいて、実効視野領域（ｘ１，ｙ１，ｗ１，ｈ１）から実効投影視野領域（Ｘ１，Ｙ１，Ｗ１，Ｈ１）を算出する。
（ステップＳ１０８）設定処理部１０４は、算出した実効投影視野領域（Ｘ１，Ｙ１，Ｗ１，Ｈ１）を非表示領域として定める。設定処理部１０４は、定めた非表示領域を示す非表示領域情報を表示処理部１０６に出力する。
（ステップＳ１１０）設定処理部１０４は、撮影処理部１０２から通知される実効視野領域が変化したか否かを判定する。変化したと判定するとき（ステップＳ１１０ ＹＥＳ）、ステップＳ１０６の処理に進む。変化していないと判定するとき（ステップＳ１１０ ＮＯ）、ステップＳ１１０の処理を繰り返す。

【0052】

また、電子機器１は、ノートＰＣに限られず、タブレット端末装置、携帯電話機、など、他の形態の情報機器として構成されてもよい。また、表示システム１ｄは、表示パネル１４、カメラモジュール３５およびグラフィックコントローラが一体化した表示装置として構成されてもよい。また、表示システム１ｄにおいて、その一部であるコントローラが、表示パネル１４とカメラモジュール３５と別体に構成されてもよい。
また、上記の説明では、撮影処理部１０２が制御部１００の一部である場合を例にしたが、これには限られない。表示システム１ｄにおいて撮影処理部１０２は制御部１００とは別個に備わり、制御部１００において省略されてもよい。撮影処理部１０２の機能は、ＣＰＵ１１に限られず、その他の演算回路により実現されてもよい。

【0053】

以上に説明したように、上記の実施形態に係る表示システム１ｄは、複数の画素が配置された表示パネル１４と、カメラ（例えば、カメラモジュール３５）と、制御部１００と、を備える。カメラには表示パネルの一部である透過領域ＣＡを透過した光が入射する。制御部１００は、撮影される画像の全体である撮影画像領域のうち表示パネル１４に表示させる部分である実効視野領域を特定し、透過領域ＣＡのうち実効視野領域に対応する部分を、前記カメラにより撮影された画像の表示を主目的とするとき画素を点灯させない非表示領域ＢＡとして定める。
この構成により、撮影画像領域のうち表示パネル１４に表示させる実効視野領域に対応する部分が非表示領域ＢＡとして定まる。非表示領域ＢＡは、撮影画像領域に対応する投影視野領域ＭＢＡよりも小さくなる。そのため、画像の表示による画質の劣化の防止に必要最小限の非表示領域を定めることができる。

【0054】

制御部１００は、実効視野領域の変化を検出するとき、変化した実効視野領域に基づいて非表示領域ＢＡを更新してもよい。
この構成により、実効視野領域の変化に追従して非表示領域ＢＡが変化する。そのため、実効視野領域の変化に関わらず、画像の表示による画質の劣化の防止に必要最小限の非表示領域を定めることができる。

【0055】

表示システム１ｄは、カメラが撮影した画像の一部領域を実効視野領域として抽出する撮影処理部１０２を備えてもよい。
この構成により、カメラが撮影した撮影画像の一部領域である実効視野領域に基づいて、画像の表示による画質の劣化の防止に必要最小限の非表示領域を定めることができる。

【0056】

撮影処理部１０２は、カメラが撮影した画像から、予め設定されたアスペクト比を有する部分を実効視野領域として抽出してもよい。
この構成により、カメラが撮影した撮影画像のうち所定のアスペクト比を有する実効視野領域に基づいて、画像の表示による画質の劣化の防止に必要最小限の非表示領域を定めることができる。

【0057】

撮影処理部１０２は、カメラが撮影した撮影画像のうちカメラが撮影した画像から、特定の被写体を表す部分を実効視野領域として抽出してもよい。
この構成により、カメラが撮影した撮影画像のうち特定の被写体を表す部分を含む実効視野領域に基づいて、画像の表示による画質の劣化の防止に必要最小限の非表示領域を定めることができる。

【0058】

撮影処理部１０２は、特定の被写体を表す部分が撮影画像領域に含まれるように被写体を追跡してもよい。
この構成により、カメラが撮影した撮影画像のうち特定の被写体を表す部分が継続して含まれるように変動する実効視野領域に基づいて、画像の表示による画質の劣化の防止に必要最小限の非表示領域を定めることができる。

【0059】

本実施形態は、制御部１００の機能を有するグラフィックコントローラと、複数の画素が配置された表示パネル１４を備える表示装置として構成されてもよい。表示装置は、透過領域ＣＡの裏面にカメラモジュール３５を備えてもよい。

【0060】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。上述の実施形態において説明した各構成は、任意に組み合わせることができる。

【符号の説明】

【0061】

１…電子機器、１ｄ…表示システム、１２…メインメモリ、１３…ビデオサブシステム、１４…表示パネル、２１…チップセット、２２…ＢＩＯＳメモリ、２３…ＳＳＤ、２４…ＵＳＢコネクタ、２５…オーディオシステム、２６…ネットワークカード、２７…ＲＴＣ、３０…エンベデッドコントローラ、３１…電源回路、３３…バッテリ、３４…入力Ｉ／Ｆ、３５…カメラモジュール、１００…制御部、１０２…撮影処理部、１０４…設定処理部、１０６…表示処理部、２００…記憶部、ＣＡ…透過領域、ＢＡ…非表示領域、ＭＢＡ…投影視野領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2024-03-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

複数の画素が配置された表示パネルと、カメラと、制御部と、を備え、
前記カメラには前記表示パネルの一部である透過領域を透過した光が入射し、
前記制御部は、
撮影される画像の全体である撮影画像領域のうち前記表示パネルに表示させる部分である実効視野領域を特定し、
前記透過領域のうち前記実効視野領域に対応する部分を、画素を点灯させない非表示領域として定め、前記カメラにより撮影された画像を前記表示パネルに表示させる
表示システム。

【請求項2】

前記制御部は、
前記実効視野領域の変化を検出するとき、
変化した実効視野領域に基づいて前記非表示領域を更新する
請求項１に記載の表示システム。

【請求項3】

前記カメラが撮影した画像の一部領域を前記実効視野領域として抽出する撮影処理部を備える
請求項２に記載の表示システム。

【請求項4】

前記撮影処理部は、
前記カメラが撮影した画像から、予め設定されたアスペクト比を有する部分を前記実効視野領域として抽出する
請求項３に記載の表示システム。

【請求項5】

前記撮影処理部は、
前記カメラが撮影した画像から、特定の被写体を表す部分を前記実効視野領域として抽出する
請求項３に記載の表示システム。

【請求項6】

前記撮影処理部は、
前記特定の被写体を表す部分が前記撮影画像領域に含まれるように前記被写体を追跡する
請求項５に記載の表示システム。

【請求項7】

請求項１に記載の表示システムを備える
電子機器。

【請求項8】

複数の画素が配置された表示パネルと、カメラと、制御部と、を備え、
前記カメラには前記表示パネルの一部である透過領域を透過した光が入射する表示システムの制御方法であって、
前記制御部が、
前記カメラが撮影した画像の全体である全画像領域のうち前記表示パネルに表示させる部分である実効視野領域を特定するステップと、
前記透過領域のうち前記実効視野領域に対応する部分を、画素を点灯させない非表示領域として定め、前記カメラにより撮影された画像を前記表示パネルに表示させるステップと、
を実行する制御方法。