特開 2024-76526 表示システム、電子機器、および、校正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024076526

(43)【公開日】2024-06-06

(54)【発明の名称】表示システム、電子機器、および、校正方法

(51)【国際特許分類】

   G09G 5/10 20060101AFI20240530BHJP

   G09G 5/00 20060101ALI20240530BHJP

   G09G 5/36 20060101ALI20240530BHJP

   G09G 5/02 20060101ALI20240530BHJP

【ＦＩ】

G09G5/10 B

G09G5/00 550C

G09G5/10 D

G09G5/36 520P

G09G5/36 520B

G09G5/00 530D

G09G5/02 B

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022188093

(22)【出願日】2022-11-25

(11)【特許番号】

(45)【特許公報発行日】2024-04-24

(71)【出願人】

【識別番号】505205731

【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100206081

【弁理士】

【氏名又は名称】片岡 央

(72)【発明者】

【氏名】肖 利民

(72)【発明者】

【氏名】楊 学雍

(72)【発明者】

【氏名】土橋 守幸

(72)【発明者】

【氏名】森 英俊

【テーマコード（参考）】

5C182

【Ｆターム（参考）】

5C182AA02

5C182AB08

5C182BA14

5C182CA21

5C182CA54

5C182CB44

5C182CB47

5C182CC01

(57)【要約】

【課題】画素を点灯させない非表示領域の大きさを必要最小限に定める。
【解決手段】カメラには複数の画素が配置された表示パネルの一部である透過領域を透過した光が入射する。制御部は、透過領域の一部分である点滅領域に配置された第１画素を発光させ、前記透過領域の他の部分である非点滅領域に配置された第２画素を発光させずにカメラに第１画像を撮影させ、第１画素と前記第２画素を発光させずにカメラに第２画像を撮影させ、撮影される画像全体の領域である撮影画像領域のうち、前記第１画像と前記第２画像に有意差が生じる領域である差分領域を検出し、差分領域と点滅領域との対応関係に基づいて、撮影画像領域に対応する透過領域内の領域を、前記カメラにより撮影された画像の表示を主目的とするとき画素を点灯させない非表示領域として定める。
【選択図】図１０

【特許請求の範囲】

【請求項1】

複数の画素が配置された表示パネルと、カメラと、制御部と、を備え、
前記カメラには前記表示パネルの一部である透過領域を透過した光が入射し、
前記制御部は、
前記透過領域の一部分である点滅領域に配置された第１画素を発光させ、前記透過領域の他の部分である非点滅領域に配置された第２画素を発光させずに前記カメラに第１画像を撮影させ、
前記第１画素と前記第２画素を発光させずに前記カメラに第２画像を撮影させ、
撮影される画像全体の領域である撮影画像領域のうち、前記第１画像と前記第２画像に有意差が生じる領域である差分領域を検出し、
前記差分領域と前記点滅領域との対応関係に基づいて、前記撮影画像領域に対応する前記透過領域内の領域を、前記カメラにより撮影された画像の表示を主目的とするとき画素を点灯させない非表示領域として定める
表示システム。

【請求項2】

前記制御部は、
前記点滅領域に配置された画素のうち所定の色を発光可能な画素を前記第１画素として発光させ、
前記所定の色の信号値に有意差が生じる画素が配置される領域を前記差分領域として定める
請求項１に記載の表示システム。

【請求項3】

前記制御部は、
前記カメラに前記第１画像と前記第２画像を複数回撮影させ、
前記第１画像と前記第２画像との差分を累積して累積差分を算出し、
前記累積差分の絶対値が所定の差分の閾値を超える画素が配置される領域を前記差分領域として定める
請求項１に記載の表示システム。

【請求項4】

前記制御部は、
前記有意差が生じない領域である非差分領域と前記差分領域との境界で画定される画像の領域である部分画像領域を検出し、
前記部分画像領域の重心から前記撮影画像領域の重心への変位、および、
前記部分画像領域の径に対する前記非点滅領域の径の比を算出し、
前記非点滅領域から前記変位および前記比に基づいて、前記非表示領域を定める
請求項１に記載の表示システム。

【請求項5】

前記点滅領域の形状は、前記非点滅領域の外縁を囲む環状である
請求項４に記載の表示システム。

【請求項6】

前記非点滅領域の外縁の形状は、長方形である
請求項４に記載の表示システム。

【請求項7】

請求項１に記載の表示システムを備える
電子機器。

【請求項8】

複数の画素が配置された表示パネルと、カメラと、を備え、
前記カメラには前記表示パネルの一部である透過領域を透過した光が入射する表示システムにおける校正方法であって、
前記表示システムは、
前記透過領域の一部分である点滅領域に配置された第１画素を発光させ、前記透過領域の他の部分である非点滅領域に配置された第２画素を発光させずに前記カメラに第１画像を撮影させるステップと、
前記第１画素と前記第２画素を発光させずに前記カメラに第２画像を撮影させるステップと、
撮影される画像全体の領域である撮影画像領域のうち、前記第１画像と前記第２画像とに有意差が生じる領域である差分領域を検出するステップと、
前記差分領域と前記点滅領域との対応関係に基づいて、前記撮影画像領域に対応する前記透過領域内の領域を、前記カメラにより撮影された画像の表示を主目的とするとき画素を点灯させない非表示領域として定めるステップと、を実行する
校正方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、表示システム、電子機器、および、校正方法、例えば、カメラが設置された表示装置に関する。

【背景技術】

【0002】

表示装置には、カメラを備えるものがある。カメラは、表示面の一部の領域をなす透過領域の裏面に設置されることがある。これら複数の画素を用いて画像が表示される。透過領域では、個々の画素の間隙から被写体から投影される光の一部が透過される。かかる表示装置は、ＣＵＤ（Camera Under Display）システムと呼ばれることがある。透過領域は、少なくともカメラの視野（ＦＯＶ：Field of View）内に入射される光を透過する部分を含む。

【0003】

例えば、特許文献１には、第１の表示領域と第２表示領域とを含むＯＬＥＤアレイ基板、表示パネルおよび表示装置について記載されている。第１の表示領域は、第２の表示領域に隣接し、アレイ状に配列された第１のＯＬＥＤ画素を含む。第２の表示領域は、アレイ状に配列された第２のＯＬＥＤ画素を含む。第２のＯＬＥＤ画素の画素密度は、第１のＯＬＥＤ画素の画素密度よりも小さい。第２の表示領域の背面には画像撮像用のカメラが配置される。

【0004】

ＣＵＤシステムにおいて、カメラを動作させる場合、透過領域に配置された画素を消灯し、画像を表示させない。画像を表示させない領域は、非表示領域（black-out area）とも呼ばれる。非表示とすることでカメラへの画素から放射される光の入射が防止される。画素が発光した光がカメラに入射されると鮮明な画像が得られないためである。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２２－２１６４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ＣＵＤシステムを備える情報機器では、非表示領域のサイズを小さくすることが期待されることがある。非表示領域を小さくすることは、主に次のような場合に期待される。例えば、一度に複数のウィンドウ（multiple windows）が表示される場合、ランドスケープウィンドウ（landscape window）が用いられる場合、ユーザインタフェース（ＵＩ：User Interface）の設計がＯＳ（Operating System）の制約に拘束される場合、などである。なお、ランドスケープウィンドウとは、縦長のポートレートウィンドウ（portrait window）とは異なり、水平方向よりも垂直方向の高さの方が短い横長のウィンドウを指す。

【課題を解決するための手段】

【0007】

本開示は上記の課題を解決するためになされたものであり、第１態様に係る表示システムは、複数の画素が配置された表示パネルと、カメラと、制御部と、を備え、前記カメラには前記表示パネルの一部である透過領域を透過した光が入射し、前記制御部は、前記透過領域の一部分である点滅領域に配置された第１画素を発光させ、前記透過領域の他の部分である非点滅領域に配置された第２画素を発光させずに前記カメラに第１画像を撮影させ、前記第１画素と前記第２画素を発光させずに前記カメラに第２画像を撮影させ、撮影される画像全体の領域である撮影画像領域のうち、前記第１画像と前記第２画像に有意差が生じる領域である差分領域を検出し、前記差分領域と前記点滅領域との対応関係に基づいて、前記撮影画像領域に対応する前記透過領域内の領域を、前記カメラにより撮影された画像の表示を主目的とするとき画素を点灯させない非表示領域として定める。

【0008】

上記の表示システムにおいて、前記制御部は、前記点滅領域に配置された画素のうち所定の色を発光可能な画素を前記第１画素として発光させ、前記所定の色の信号値に有意差が生じる画素が配置される領域を前記差分領域として定めてもよい。

【0009】

上記の表示システムにおいて、前記制御部は、前記カメラに前記第１画像と前記第２画像を複数回撮影させ、前記第１画像と前記第２画像との画素ごとの差分を累積して累積差分を算出し、前記累積差分の絶対値が所定の差分の閾値を超える画素が配置される領域を前記差分領域として定めるとして定めてもよい。

【0010】

上記の表示システムにおいて、前記制御部は、前記有意差が生じない領域である非差分領域と前記差分領域との境界で画定される画像の領域である部分画像領域を検出し、前記部分画像領域の重心から前記撮影画像領域の重心への変位、および、前記部分画像領域の径に対する前記非点滅領域の径の比を算出し、前記非点滅領域から前記変位および前記比に基づいて、前記非表示領域を定めてもよい。

【0011】

上記の表示システムにおいて、前記点滅領域の形状は、前記非点滅領域の外縁を囲む環状であってもよい。

【0012】

上記の表示システムにおいて、前記非点滅領域の外縁の形状は、長方形であってもよい。

【0013】

第２態様に係る電子機器は、上記の表示システムを備えていてもよい。

【0014】

第３態様に係る校正方法は、複数の画素が配置された表示パネルと、カメラと、を備え、前記カメラには前記表示パネルの一部である透過領域を透過した光が入射する表示システムにおける校正方法であって、前記表示システムは、前記透過領域の一部分である点滅領域に配置された第１画素を発光させ、前記透過領域の他の部分である非点滅領域に配置された第２画素を発光させずに前記カメラに第１画像を撮影させるステップと、前記第１画素と前記第２画素を発光させずに前記カメラに第２画像を撮影させるステップと、撮影される画像全体の領域である撮影画像領域のうち、前記第１画像と前記第２画像とに有意差が生じる領域である差分領域を検出するステップと、前記差分領域と前記点滅領域との対応関係に基づいて、前記撮影画像領域に対応する前記透過領域内の領域を、前記カメラにより撮影された画像の表示を主目的とするとき画素を点灯させない非表示領域として定めるステップと、を実行する。

【発明の効果】

【0015】

本実施形態によれば、画素を点灯させない非表示領域の大きさを必要最小限に定めることができる。

【図面の簡単な説明】

【0016】

【図1】本実施形態に係る電子機器の外観構成例を示す正面図である。

【図2】本実施形態に係る電子機器の内部構成例を示す断面図である。

【図3】本実施形態に係る電子機器のハードウェア構成例を示す概略ブロック図である。

【図4】本実施形態に係る電子機器の機能構成例を示す概略ブロック図である。

【図5】撮像画像の一例を示す図である。

【図6】本実施形態に係る点滅領域と非点滅領域の設定例を示す図である。

【図7】本実施形態に係る第１画像と第２画像を例示する図である。

【図8】本実施形態に係る点滅領域と非点滅領域の他の設定例を示す図である。

【図9】本実施形態に係る非表示領域の設定方法を説明するための説明図である。

【図10】本実施形態に係る非表示領域の校正処理を例示するフローチャートである。

【発明を実施するための形態】

【0017】

以下、本開示の実施形態について、図面を参照して説明する。図１は、本実施形態に係る電子機器１の外観構成例を示す正面図である。図１に例示される電子機器１は、ノートブック型パーソナルコンピュータ（ノートＰＣ：Personal Computer）として構成されている。電子機器１は、表示システム１ｄを備える。表示システム１ｄは、表示パネル１４、カメラモジュール３５および制御部１００（後述）を備える。制御部１００は、筐体ＢＤ０１またはＢＤ０３に内蔵され、図１には表れていない。

【0018】

筐体ＢＤ０１の主面には、表示パネル１４が設置される。カメラモジュール３５は、表示パネル１４の背面に設置される。筐体ＢＤ０３の主面には、キーボード３４ｋと、タッチセンサ３４ｔが設置されている。筐体ＢＤ０１、ＢＤ０３それぞれの一辺は、ヒンジ機構１２１ａ、１２１ｂを用いて結合される。その一辺を回転軸として、筐体ＢＤ０１、ＢＤ０３の一方は、他方に対して回動可能としている。

【0019】

表示パネル１４は、ほぼ平板の形状を有する表示デバイスである。表示パネル１４には、複数の画素と基板を有し、基板の主面の大部分をなす表示領域において複数の画素が一定間隔で二次元配列されている。表示領域の一部には、透過領域ＣＡが設けられている。透過領域ＣＡでは、その周囲の領域である標準領域とは異なり画素間に間隙が設けられている。透過領域ＣＡに到来する光は、画素間の間隙を通過し、その一部がカメラモジュール３５に入射される。透過領域ＣＡは、カメラ設置表示領域（ＣＵＤ：Camera Under Display area）とも呼ばれる。

【0020】

カメラモジュール３５には、透過領域ＣＡを通過した光が入射され、入射された光が撮像面に投影されてなる画像が撮影される。透過領域ＣＡの一部には、非表示領域（Black-out Area）ＢＡが設けられる。カメラモジュール３５により撮影された画像の表示を主目的とするとき非表示領域ＢＡに配置された画素を点灯させない。その場合には、非表示領域ＢＡでは、カメラモジュール３５が撮影した画像は表示されない。非表示領域ＢＡに配置された画素が消灯することで、画素から放射される光がカメラモジュール３５に入射される事象が防止される。非表示領域ＢＡを設けずに撮影される画像（図５参照）のようにコントラストが低く被写体の輪郭が不明瞭にならずに済む。なお、「撮影された画像の表示を主目的とするとき」とは、その画像の表示を本来の目的とする場合を意味し、後述するように最小限領域ＭＢＡを非表示領域ＢＡとして設定する場合を含まない。

【0021】

透過領域ＣＡは、通例、カメラモジュール３５の視野に対応する範囲（以下の説明では、「投影視野領域」（projected FOV）と呼ぶことがある）よりも大きくなるように設定されている。表示パネル１４とカメラモジュール３５とのわずかな位置関係の変動が生じても、近接する画素からの光がカメラモジュール３５に入射される可能性があるためである。図２に例示されるように、カメラモジュール３５は、表示パネル１４の背面に接着剤３５ａを用いて付着され、表示パネル１４ともに治具３５ｊの側面に支持される。表示パネル１４の表面は、保護膜１４ｇに覆われる。保護膜１４ｇは、例えば、ガラスなどの透明な素材からなる。但し、治具３５ｊの表面には、さらにマスクプリント１４ｍが施されている。マスクプリント１４ｍにより治具３５ｊを覆い隠すためである。図２の例では、マスクプリント１４ｍは、黒色に塗付されている。

【0022】

比較例では、透過領域ＣＡの全体を非表示領域ＢＡとして設定されることがあった。非表示領域ＢＡは、表示領域のうち、カメラモジュール３５の光学中心ＯＣから光軸ＯＡを中心とする視野ＦＯＶ（Field of View）で画定される領域ＭＢＡ（投影視野領域に相当、以下の説明では、「最小限領域（Minimum Black-out Area）」と呼ぶことがある）を少なくとも含んでいれば十分である。視野ＦＯＶは、カメラモジュール３５の光学系に透過領域ＣＡからの透過光が入射される範囲に相当する。そのため、非表示領域ＢＡの大きさが必要最小限の大きさよりも大きくなりがちである。非表示領域ＢＡは、いかなる画像も表示しないうえ、黒色の斑点状の外観を呈する。これに対し、本実施形態では、制御部１００が後述の手順を実行して最小限領域ＭＢＡを非表示領域ＢＡとして定める。

【0023】

次に、本実施形態に係る電子機器１のハードウェア構成例について説明する。図３は、本実施形態に係る電子機器１のハードウェア構成例を示す概略ブロック図である。電子機器１は、ＣＰＵ１１、メインメモリ１２、ビデオサブシステム１３、表示パネル１４、チップセット２１、ＢＩＯＳ（Basic Input Output System、基本入出力システム）メモリ２２、ＳＳＤ（Solid State Drive）２３、ＵＳＢ（Universal Serial Bus）コネクタ２４、オーディオシステム２５、ネットワークカード２６、ＲＴＣ（Real Time Clock）２７、エンベデッドコントローラ（ＥＣ：Embedded Controller）３０、電源回路３１、バッテリ３３、入力Ｉ／Ｆ（Interface）３４、および、カメラモジュール３５を備える。

【0024】

ＣＰＵ１１は、電子機器１の各部の機能を制御する中核となる演算処理装置である。ＣＰＵ１１は、メインメモリ１２に展開されたプログラムに記述された指令で指示される処理を実行し、その機能を実現する。なお、本願では、プログラムに記述された指令で指示される処理を実行することを、「プログラムの実行」または「プログラムを実行する」などと呼ぶことがある。

【0025】

メインメモリ１２は、ＣＰＵ１１により実行される各種のプログラムの読み込み領域を有する。メインメモリ１２は、ＣＰＵ１１により取得された各種のデータ、ＣＰＵ１１により実行される処理に用いられる各種のデータを記憶するための作業領域を有する。ＣＰＵ１１により実行されるプログラムには、例えば、ＯＳ（Operating System、オペレーティングシステム）、周辺機器を操作するための各種ドライバ、各種サービス／ユーティリティ、アプリケーションプログラム（本願では、「アプリ」と呼ぶことがある）などがある。また、ＣＰＵ１１とメインメモリ１２は、電子機器１のコンピュータシステムをなすシステムデバイスに相当する。

【0026】

ビデオサブシステム１３は、ＣＰＵ１１からの制御に従い描画処理を行って各種の表示データを生成し、表示パネル１４に出力する。ビデオサブシステム１３は、例えば、ビデオコントローラとビデオメモリを備える。ビデオコントローラは、ＣＰＵ１１から入力される描画指令に従って描画情報を生成し、生成した描画情報をビデオメモリに書き込む。ビデオコントローラは、ビデオメモリから描画情報を読み出し、読み出した描画情報を示す表示データを表示パネルに出力する。
表示パネル１４は、ビデオサブシステムから入力される表示データで指示される表示画面を表示する。

【0027】

チップセット２１には、各種のデバイスが接続され、個々のデバイスの動作または入出力を制御する。チップセット２１は、各種のデータバスのコントローラを備える。チップセット２１は、例えば、ＵＳＢ（Universal Serial Bus）、シリアルＡＴＡ（AT Attachment）、ＳＰＩ（Serial Peripheral Interface）バス、ＰＣＩ（Peripheral Component Interconnect）バス、ＰＣＩ－Ｅｘｐｒｅｓｓバス、ＬＰＣ（Low Pin Connect）バスなどを有する。図３の例では、チップセット２１には、ＢＩＯＳメモリ２２、ＳＳＤ２３、ＵＳＢコネクタ２４、オーディオシステム２５、ネットワークカード２６、ＲＴＣ２７、エンベデッドコントローラ３０およびカメラモジュール３５が接続されている。

【0028】

ＢＩＯＳメモリ２２は、ＢＩＯＳ、エンベデッドコントローラ３０などの各種デバイスの制御に用いられるシステムファームウェアなどが記憶される。ＢＩＯＳメモリ２２は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭなど、電気的に書き換え可能な不揮発性メモリを含んで構成される。
ＳＳＤ２３は、補助記憶装置の一例である。ＳＳＤ２３には、ＯＳ、各種ドライバ、各種サービス／ユーティリティ、アプリ、などのプログラムの他、各種のデータを記憶する。電子機器１には、ＳＳＤ２３に代えて、または、ＳＳＤ２３とともに、ＨＤＤ（Hard Disk Drive）などの他の種類の補助記憶装置が備わってもよい。

【0029】

オーディオシステム２５は、各種の音声データの記録、符号化、復号、入出力などを行う。
ネットワークカード２６は、無線または有線でネットワークに接続し、データ通信を行う。ネットワークカード２６は、例えば、無線ＬＡＮ（Local Area Network）を経由して、直接または他のネットワークを経由して他の機器と接続する。
ＲＴＣ２７は、その時点における日時を計測する。ＲＴＣ２７は、バックアップ用バッテリ（図示せず）から供給される電力を消費する。バックアップ用バッテリは、バッテリ３３とは別個に設けられる。よって、ＲＴＣ２７は、電子機器１のシャットダウンにより電源回路３１から電力の供給が停止されても定常的に日時を計測することができる。

【0030】

エンベデッドコントローラ３０は、電源回路３１を制御する電源管理機能と、入力Ｉ／Ｆ３４からの入力データの入力制御機能を有する。エンベデッドコントローラ３０は電源管理機能として、システムデバイスから通知される動作状態に基づいて電源回路３１を制御し、ＣＰＵ１１を含む各デバイスに供給する電力を制御する。エンベデッドコントローラ３０は、入力制御機能として、入力Ｉ／Ｆ３４からの入力データの入力の要否を制御する。エンベデッドコントローラ３０は、ＣＰＵ１１とメインメモリ１２とは別個のＣＰＵとメインメモリを有するマイクロコンピュータである。エンベデッドコントローラ３０は、ＣＰＵ１１とメインメモリ１２の動作状態に関わらず定常的に動作可能とする。

【0031】

電源回路３１は、エンベデッドコントローラ３０の制御に従って、各デバイスへの電力の供給を制御する。電源回路３１は、例えば、ＤＣ（Direct Current）／ＤＣコンバータ、充放電ユニット、ＡＣ（Alternating Current）／ＤＣアダプタなどを含んで構成される。ＤＣ／ＤＣコンバータは、充放電ユニットから供給される直流電力の電圧を、各デバイスで要求される電圧に変換し、変換した電圧を有する電力を当該デバイスに供給する。充放電ユニットは、ＡＣ／ＤＣアダプタから供給される電力のバッテリ３３への充電またはバッテリ３３からの放電を制御する。充放電ユニットは、例えば、ＡＣ／ＤＣアダプタから供給される電力の一部または全部をＤＣ／ＤＣコンバータに供給する。充放電ユニットは、ＡＣ／ＤＣアダプタから供給される電力のうち消費されずに余った電力をバッテリ３３に充電する。充放電ユニットは、ＡＣ／ＤＣアダプタから電力が供給されないとき、またはＡＣ／ＤＣアダプタからの電力が不足するとき、バッテリ３３から放電される電力をＤＣ／ＤＣコンバータに供給する。ＡＣ／ＤＣアダプタは、外部の商用電源から供給される交流電力を直流電力に変換し、変換された直流電力を充放電ユニットに供給する。

【0032】

バッテリ３３は、電源回路３１から供給される電力を充電可能とし、または、充電された電力を電源回路３１の制御に従って放電する蓄電池である。
入力Ｉ／Ｆ３４は、ユーザの操作を受け付け、受け付けた操作に応じて操作データを取得する入力デバイスを備える。図１に例示されるキーボード３４ｋとタッチセンサ３４ｔは、入力Ｉ／Ｆ３４の一部を構成する。入力Ｉ／Ｆ３４は、タッチセンサ３４ｔとは別個に、または、タッチセンサ３４ｔに代えて、別個のタッチセンサを備えてもよい。別個のタッチセンサは、表示パネル１４と重なり合うように一体化し、タッチパネルとして構成されてもよい。

【0033】

カメラモジュール３５は、光学系に入射される光で表される画像を撮影する。カメラモジュール３５は、撮影した画像を示す画像データをＣＰＵ１１にチップセット２１を経由して出力する。本実施形態では、カメラモジュール３５の光学系には、透過領域ＣＡの一部を透過した光が入射される。

【0034】

次に、本実施形態に係る電子機器１の機能構成例について説明する。図４は、本実施形態に係る電子機器１の機能構成例を示す概略ブロック図である。電子機器１は、制御部１００と、記憶部２００と、表示パネル１４と、カメラモジュール３５とを有する。
制御部１００は、表示パネル１４に非表示領域ＢＡを設定する。制御部１００の機能は、グラフィックコントローラ、ビデオサブシステム１３、ＣＰＵ１１のいずれか１個またはいずれかのコントローラの組み合わせにより実現される。グラフィックコントローラは、表示パネル１４に付随し、表示パネル１４への画像の輝度、色調、タイミングなどの制御を主目的とするものであってもよい。
制御部１００の機能の一部または全部は、グラフィックコントローラまたはビデオサブシステム１３が所定のプログラムを実行して実現される。制御部１００の一部または全部は、グラフィックコントローラもしくはビデオサブシステム１３に専用のデバイスドライバまたは所定のアプリケーションプログラムをＣＰＵ１１が実行して実現されてもよい。

【0035】

記憶部２００には、制御部１００により実行されるプログラム、制御部１００で用いられるデータ、制御部１００により生成されるデータなどが記憶される。記憶部２００は、制御部１００の機能の実行主体となるコントローラに備わる記憶媒体（メモリ）を用いて実現される。ＣＰＵ１１が実行主体となる場合には、メインメモリ１２またはＳＳＤ２３などの補助記憶媒体により記憶部２００の機能が実現されてもよい。

【0036】

制御部１００は、表示制御部１０２と、撮影制御部１０４と、画像分析部１０６と、設定処理部１０８とを備える。
表示制御部１０２は、表示パネル１４の表示領域のうち、点滅領域ＢＬに配置された画素を点滅させる。表示制御部１０２は、画素の点滅において点灯期間と消灯期間を繰り返す。点灯期間と消灯期間として、それぞれ１フレームの画像の撮影に十分な期間（例えば、０．１～１．０秒）を予め表示制御部１０２に設定しておく。表示制御部１０２には、点滅領域ＢＬとして透過領域ＣＡの一部の領域を予め設定しておく。非点滅領域ＴＡは、透過領域ＣＡのうち点滅領域ＢＬ以外の領域に相当する。表示制御部１０２は、現時刻が点灯期間内の時刻であるか消灯期間内の時刻であるかに関わらず非点滅領域ＴＡにおける画素を消灯したままにする。

【0037】

撮影制御部１０４は、点灯期間においてカメラモジュール３５に画像を撮影させ、撮影させた画像を第１画像として示す第１画像データを取得する。撮影制御部１０４は、消灯期間においてカメラモジュール３５に画像を撮影させ、撮影させた画像を第２画像として示す第２画像データを取得する。撮影制御部１０４は、点灯期間と消灯期間からなる制御周期ごとに第１画像データと第２画像データを取得する処理を繰り返してもよい。撮影制御部１０４は、取得した第１画像データと第２画像データを記憶部２００に記憶する。

【0038】

画像分析部１０６は、記憶部２００に記憶された第１画像データと第２画像データを読み出す。画像分析部１０６は、読み出した第１画像データに示される第１画像の輝度と第２画像データに示される第２画像の輝度に有意差が生じる領域を差分領域として検出する。画像分析部１０６は、第１画像を表す輝度値と第２画像を表す輝度値との差分を画素ごとに算出し、算出した差分の絶対値が所定の差分の閾値以上となる画素を有する領域を差分領域として検出することができる。

【0039】

第１画像は点灯期間内に撮影された画像であり、第２画像は消灯期間内に撮影された画像であるため、カメラモジュール３５の視野ＦＯＶのうち点滅領域ＢＬに対応する部分が差分領域として検出される。他方、カメラモジュール３５の視野ＦＯＶのうち非点滅領域ＴＡに対応する部分において、第１画像と第２画像の間で輝度の有意差は生じない。画像分析部１０６は、検出した差分領域を示す差分領域データを記憶部２００に記憶する。

【0040】

設定処理部１０８は、記憶部２００に記憶された差分領域データを読み出し、読み出した差分領域データに示される差分領域を特定する。設定処理部１０８は、特定した差分領域と予め設定された点滅領域ＢＬとの幾何的関係に基づいて、第１画像または第２画像の全体をなす撮影画像領域に対応する透過領域ＣＡ内の領域を非表示領域ＢＡとして定める。表示パネル１４は、非表示領域ＢＡに配置された画素を消灯し、ビデオサブシステム１３から入力される表示データに示される表示画像を表示しない。設定処理部１０８は、例えば、定めた非表示領域ＢＡを示す非表示領域情報を表示制御部１０２に出力する。表示制御部１０２は、表示画像のうち非表示領域情報で指示される非表示領域ＢＡ内に配置される画素ごとに消灯に相当する輝度値（例えば、０）を設定し、それ以外の画素ごとの輝度値を変更せずに維持する。表示制御部１０２は、画素ごとの輝度値を示す表示データを表示パネル１４に出力する。設定処理部１０８は、表示パネル１４の表示領域に配置された画素のうち、非表示領域ＢＡ内に配置された画素に対する電力の供給を停止して、消灯させてもよい。その場合、設定処理部１０８は、表示制御部１０２に対する非表示領域ＢＡの画素に対する輝度値の設定を要しない。

【0041】

次に、本実施形態に係る点滅領域ＢＬと非点滅領域ＴＡの設定例について説明する。図６は、本実施形態に係る点滅領域ＢＬと非点滅領域ＴＡの一設定例を示す図である。点滅領域ＢＬは、その一部または全部と、非点滅領域ＴＡの一部または全部とがカメラモジュール３５の既知の視野ＦＯＶに対応する領域に含まれるように表示制御部１０２に予め設定しておく。図６の例では、点滅領域ＢＬの形状は非点滅領域ＴＡの外縁を囲む環状である。点滅領域ＢＬと非点滅領域ＴＡそれぞれの外縁の形状は、それぞれ矩形である。点滅領域ＢＬの外縁は視野ＦＯＶに対応する領域を含み、点滅領域ＢＬの内縁もしくは非点滅領域ＴＡの外縁は視野ＦＯＶに対応する領域に含まれる。この配置によりカメラモジュール３５により撮影される画像には、点滅領域ＢＬに対応する領域と非点滅領域ＴＡに対応する領域が含まれる。

【0042】

次に、本実施形態に係る第１画像と第２画像の例について説明する。図７（ａ）、（ｂ）は、それぞれ第１画像、第２画像を例示する。図示される第１画像と第２画像は、共通の被写体および背景を示す。第１画像は点滅領域ＢＬにおける画素の発光期間において撮影されている。そのため、点滅領域ＢＬに対応する部分において第１画像と第２画像との間で輝度に有意差が生じる。これに対し、非点滅領域ＴＡに対応する部分では第１画像と第２画像との間で輝度に有意差は生じない。従って、輝度に有意差が生じる差分領域と視野ＦＯＶ内の点滅領域ＢＬとの幾何的関係に基づいて、第１画像もしくは第２画像の全体である撮影画像領域に対応する透過領域ＣＡ内の領域を最小限領域ＭＢＡとして定まる。この最小限領域ＭＢＡを非表示領域ＢＡとして採用することで、非表示領域ＢＡの大きさが必要最小限となる。

【0043】

次に、点滅領域ＢＬと非点滅領域ＴＡの他の設定例について説明する。図８は、本実施形態に係る点滅領域ＢＬと非点滅領域ＴＡの他の設定例を示す図である。図８に例示される非点滅領域ＴＡは、表示パネル１４の表示領域のうち視野ＦＯＶに対応する最小限領域ＭＢＡに相当する。カメラモジュール３５から取得される第１画像もしくは第２画像の全体である撮影画像領域が非点滅領域ＴＡに対応する。この例では、非点滅領域ＴＡが非表示領域ＢＡに対応するので、非点滅領域ＴＡの周囲に設定される点滅領域ＢＬに対応する差分領域が検出されない。しかしながら、非点滅領域ＴＡが非表示領域ＢＡより大きい場合も差分領域が検出されない。そのため、設定処理部１０８は、差分領域を検出できないことをもって、直ちに非点滅領域ＴＡを非表示領域ＢＡとして定めることはできない。そこで、設定処理部１０８は、差分領域を検出できない場合には、より小さい非点滅領域ＴＡを設定する。そして、画像分析部１０６は、非点滅領域ＴＡの設定後に撮影された第１画像と第２画像から差分領域が検出されるか否かを判定する。設定処理部１０８は、差分領域の検出に成功するとき、検出した差分領域に基づいて非表示領域ＢＡを定めればよい。

【0044】

次に、本実施形態に係る非表示領域ＢＡの設定方法の具体例について説明する。図９は、本実施形態に係る非表示領域ＢＡの設定方法を説明するための説明図である。図９の例では、非点滅領域ＴＡに対応する部分画像領域の幅、高さがそれぞれｗ１、ｈ１、撮影画像領域の幅、高さがそれぞれｗ２、ｈ２、部分画像領域の重心から撮影画像領域の重心までの変位が（Δｘ，Δｙ）、その時点における非点滅領域ＴＡの幅、高さ、重心の座標がそれぞれＷ、Ｈ、（Ｘ，Ｙ）である場合を仮定する。
その場合、設定処理部１０８は、非表示領域ＢＡの幅、高さ、中心を、それぞれ
Ｗ・ｗ２／ｗ１、Ｈ・ｈ２／ｈ１、（Ｘ＋Δｘ・Ｗ／ｗ１，Ｙ＋Δｙ・Ｈ／ｈ１）
と定めることができる。部分画像領域は、撮影画像領域のうち、差分領域と輝度に有意差が生じない非差分領域との境界で画定される領域に相当する。

【0045】

即ち、非表示領域ＢＡの幅は、部分画像領域の幅に対する撮影画像領域の幅の比を非点滅領域ＴＡの幅に乗じて得られる。非表示領域ＢＡの高さは、部分画像領域の高さに対する撮影画像領域の高さの比を非点滅領域ＴＡの高さに対して乗じて得られる。非表示領域ＢＡの中心座標は、部分画像領域の中心座標から撮影画像領域の中心までの変位を換算して得られる透過領域ＣＡ上の変位を加算して得られる。透過領域ＣＡ上の変位は、部分画像領域の中心から撮影画像領域の中心までの水平方向、垂直方向それぞれの変位に対して、部分画像領域の幅に対する非点滅領域ＴＡの幅の比と部分画像領域の高さに対する非点滅領域ＴＡの高さの比を乗じて得られる。なお、設定処理部１０８は、非表示領域ＢＡを定める際、カメラモジュール３５におけるレンズの歪み補正、レンズの焦点距離、などの要件を、さらに考慮した手法を用いてもよい。

【0046】

次に、本実施形態に係る非表示領域ＢＡの校正処理（calibration）の例について説明する。図１０は、本実施形態に係る非表示領域ＢＡの校正処理を例示するフローチャートである。
（ステップＳ１０２）表示制御部１０２は、点灯期間において点滅領域ＢＬに配置された画素を点灯させる。
（ステップＳ１０４）撮影制御部１０４は、点灯期間においてカメラモジュール３５に第１画像を撮影させる。

【0047】

（ステップＳ１０６）表示制御部１０２は、消灯期間において点滅領域ＢＬに配置された画素を消灯させる。
（ステップＳ１０８）撮影制御部１０４は、消灯期間においてカメラモジュール３５に第２画像を撮影させる。

【0048】

（ステップＳ１１０）表示制御部１０２は、点滅領域ＢＬに対する点滅の繰り返し回数に１加算し、その繰り返し回数を計数する。表示制御部１０２には、図１０の処理の開始前に、繰り返し回数の初期値として０を設定しておく。
表示制御部１０２は、計数した繰り返し回数が所定の繰り返し回数の基準値（例えば、５～１０回）に達したか否かを判定する。達したと判定するとき（ステップＳ１１０ ＹＥＳ）、ステップＳ１１２の処理に進む。達していないと判定するとき（ステップＳ１１０ ＮＯ）、ステップＳ１０２の処理に戻る。

【0049】

（ステップＳ１１２）画像分析部１０６は、第１画像の輝度値から第２画像の輝度値を差し引いて得られる差分を点滅の繰り返し間で累積して累積差分を算出する。画像分析部１０６は、累積差分の絶対値が所定の差分の閾値を超える画素を特定し、特定した画素を含む領域を差分領域として検出する。
（ステップＳ１１４）画像分析部１０６は、検出した差分領域と点滅領域との対応関係に基づいて、撮影画像領域に対する透過領域ＣＡ内の領域を非表示領域ＢＡとして定める。その後、図１０の処理を終了する。

【0050】

なお、上記の説明では、点滅領域ＢＬに含まれる全ての画素を一斉に点滅させることを前提としたが、これには限られない。表示パネル１４に複数の色の光を発光する画素が配列されている場合には、表示制御部１０２は、特定の色の光を発光可能な画素を点滅させ、他の色の光を発光可能な画素を消灯したままにしてもよい。撮影される画像において用いられる可能性が少ない色（例えば、赤）を画素の点滅対象とする色として設定しておくことで、点滅による輝度に有意差が生じる差分領域を的確に検出することができる。

【0051】

また、電子機器１は、ノートＰＣに限られず、タブレット端末装置、携帯電話機、など、他の形態の情報機器として構成されてもよい。また、表示システム１ｄは、表示パネル１４、カメラモジュール３５およびグラフィックコントローラが一体化した表示装置として構成されてもよい。また、表示システム１ｄにおいて、その一部であるコントローラが、表示パネル１４とカメラモジュール３５と別体に構成されてもよい。

【0052】

上記の説明では、点滅領域ＢＬの形状が非点滅領域ＴＡを囲む環状である場合を例にしたが、これには限られない。カメラモジュール３５の視野ＦＯＶ内に点滅領域ＢＬの少なくとも一部と非点滅領域ＴＡの少なくとも一部が含まれ、第１画像と第２画像から得られる差分画像と点滅領域ＢＬとの幾何的関係を導出できれば、点滅領域ＢＬ、非点滅領域ＴＡそれぞれの形状、大きさ、位置、個数、および、点滅領域ＢＬの非点滅領域ＴＡに対する包含関係の有無などは任意である。例えば、カメラモジュール３５の視野内の三角形の頂点のそれぞれに１画素からなる点滅領域ＢＬが設定され、その他の領域が非点滅領域ＴＡとして設定されてもよい。

【0053】

以上に説明したように、本実施形態に係る表示システム１ｄは、複数の画素が配置された表示パネル１４と、カメラ（例えば、カメラモジュール３５）と、制御部１００と、を備える。カメラには表示パネル１４の一部である透過領域ＣＡを透過した光が入射する。制御部１００は、透過領域ＣＡの一部分である点滅領域ＢＬに配置された第１画素を発光させ、透過領域ＣＡの他の部分である非点滅領域ＴＡに配置された第２画素を発光させずカメラに第１画像を撮影させ、第１画素と第２画素を発光させずにカメラに第２画像を撮影させ、撮影される画像全体の領域である撮影画像領域のうち、第１画像と第２画像に有意差が生じる領域である差分領域を検出し、差分領域と点滅領域との対応関係に基づいて、撮影画像領域に対応する透過領域内の領域を、前記カメラにより撮影された画像の表示を主目的とするとき画素を点灯させない非表示領域ＢＡとして定める。
この構成によれば、点滅領域ＢＬに配置された第１画素の点滅により輝度に有意差が生じる差分領域と既知の点滅領域ＢＬとの関係を用い、透過領域ＣＡのうち撮影画像領域に対応するカメラの視野内の領域を非表示領域ＢＡとして定めることができる。そのため、非表示領域ＢＡを画素からカメラへの入射光の防止に必要最小限の大きさに限定することができる。

【0054】

また、制御部１００は、点滅領域ＢＬに配置された画素のうち所定の色（例えば、赤）を発光可能な画素を第１画素として発光させ、所定の色の信号値に有意差が生じる画素が配置される領域を差分領域として定めてもよい。
この構成によれば、第１画像と第２画像との間で所定の色に生じる輝度の差異に基づいて差分領域が定まる。そのため、第２画像で用いられる可能性が少ない色を所定の色として採用することで、差分領域を的確に検出することができる。

【0055】

また、制御部１００は、カメラに第１画像と第２画像を複数回撮影させ、第１画像と第２画像との画素ごとの差分を累積して累積差分を算出し、累積差分の絶対値が所定の差分の閾値を超える画素が配置される領域を差分領域として定めてもよい。
この構成によれば、複数回撮影された第１画像と第２画像との差分を累積して得られた累積差分が著しい領域が差分領域として得られる。累積差分において各回の撮影で生じうるノイズ成分が信号成分に対して相対的に低減するため、差分領域を的確に検出することができる。

【0056】

また、制御部１００は、第１画像と第２画像の有意差が生じない領域である非差分領域と差分領域との境界で画定される画像の領域である部分画像領域を検出し、部分画像領域の重心から撮影画像領域の重心への変位、および、部分画像領域の径に対する非点滅領域の径の比を算出し、算出した変位および比に基づいて、非点滅領域から非表示領域ＢＡを定めてもよい。
この構成によれば、部分画像領域の重心から撮影画像領域の重心への変位と部分画像領域の径に対する非点滅領域ＴＡの径の比を用いて、簡素な演算により非表示領域ＢＡを定めることができる。

【0057】

また、点滅領域ＢＬの形状は、非点滅領域ＴＡの外縁を囲む環状であってもよい。
この構成によれば、点滅領域ＢＬの少なくとも一部と非点滅領域ＴＡの全体を含むようにカメラの視野を設定することができる。そのため、部分画像領域と非点滅領域ＴＡに基づいて非表示領域ＢＡを容易に設定することができる。

【0058】

非点滅領域の外縁の形状は、長方形（例えば、矩形）であってもよい。
この構成によれば、部分画像領域の径、非表示領域の径として、それぞれ幅と高さを用いることができる。そのため、簡素な演算により非表示領域ＢＡを定めることができる。

【0059】

本実施形態は、制御部１００の機能を有するグラフィックコントローラと、第１画素と第２画素を配置した表示パネル１４を備える表示装置として構成されてもよい。表示装置は、透過領域ＣＡの裏面にカメラモジュール３５を備えてもよい。

【0060】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。上述の実施形態において説明した各構成は、任意に組み合わせることができる。

【符号の説明】

【0061】

１…電子機器、１ｄ…表示システム、１２…メインメモリ、１３…ビデオサブシステム、１４…表示パネル、２１…チップセット、２２…ＢＩＯＳメモリ、２３…ＳＳＤ、２４…ＵＳＢコネクタ、２５…オーディオシステム、２６…ネットワークカード、２７…ＲＴＣ、３０…エンベデッドコントローラ、３１…電源回路、３３…バッテリ、３４…入力Ｉ／Ｆ、３５…カメラモジュール、１００…制御部、１０２…表示制御部、１０４…撮影制御部、１０６…画像分析部、１０８…設定処理部、２００…記憶部、ＣＡ…透過領域、ＢＡ…非表示領域、ＢＬ…点滅領域、ＴＡ…非点滅領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2024-03-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

複数の画素が配置された表示パネルと、カメラと、制御部と、を備え、
前記カメラには前記表示パネルの一部である透過領域を透過した光が入射し、
前記制御部は、
前記透過領域の一部分である点滅領域に配置された第１画素を発光させ、前記透過領域の他の部分である非点滅領域に配置された第２画素を発光させずに前記カメラに第１画像を撮影させ、
前記第１画素と前記第２画素を発光させずに前記カメラに第２画像を撮影させ、
撮影される画像全体の領域である撮影画像領域のうち、前記第１画像と前記第２画像に有意差が生じる領域である差分領域を検出し、
前記差分領域と前記点滅領域との対応関係に基づいて、前記撮影画像領域に対応する前記透過領域内の領域を、画素を点灯させない非表示領域として定め、前記カメラにより撮影された画像を前記表示パネルに表示させる
表示システム。

【請求項2】

前記制御部は、
前記点滅領域に配置された画素のうち所定の色を発光可能な画素を前記第１画素として発光させ、
前記所定の色の信号値に有意差が生じる画素が配置される領域を前記差分領域として定める
請求項１に記載の表示システム。

【請求項3】

前記制御部は、
前記カメラに前記第１画像と前記第２画像を複数回撮影させ、
前記第１画像と前記第２画像との差分を累積して累積差分を算出し、
前記累積差分の絶対値が所定の差分の閾値を超える画素が配置される領域を前記差分領域として定める
請求項１に記載の表示システム。

【請求項4】

前記制御部は、
前記有意差が生じない領域である非差分領域と前記差分領域との境界で画定される画像の領域である部分画像領域を検出し、
前記部分画像領域の重心から前記撮影画像領域の重心への変位、および、
前記部分画像領域の径に対する前記非点滅領域の径の比を算出し、
前記非点滅領域から前記変位および前記比に基づいて、前記非表示領域を定める
請求項１に記載の表示システム。

【請求項5】

前記点滅領域の形状は、前記非点滅領域の外縁を囲む環状である
請求項４に記載の表示システム。

【請求項6】

前記非点滅領域の外縁の形状は、長方形である
請求項４に記載の表示システム。

【請求項7】

請求項１に記載の表示システムを備える
電子機器。

【請求項8】

複数の画素が配置された表示パネルと、カメラと、を備え、
前記カメラには前記表示パネルの一部である透過領域を透過した光が入射する表示システムにおける校正方法であって、
前記表示システムは、
前記透過領域の一部分である点滅領域に配置された第１画素を発光させ、前記透過領域の他の部分である非点滅領域に配置された第２画素を発光させずに前記カメラに第１画像を撮影させるステップと、
前記第１画素と前記第２画素を発光させずに前記カメラに第２画像を撮影させるステップと、
撮影される画像全体の領域である撮影画像領域のうち、前記第１画像と前記第２画像とに有意差が生じる領域である差分領域を検出するステップと、
前記差分領域と前記点滅領域との対応関係に基づいて、前記撮影画像領域に対応する前記透過領域内の領域を、画素を点灯させない非表示領域として定め、前記カメラにより撮影された画像を前記表示パネルに表示させるステップと、を実行する
校正方法。