特開 2024-130685 表示方法、表示処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024130685

(43)【公開日】2024-09-30

(54)【発明の名称】表示方法、表示処理装置およびプログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20240920BHJP

   G09G 5/00 20060101ALI20240920BHJP

   G09G 5/37 20060101ALI20240920BHJP

   G09G 5/377 20060101ALI20240920BHJP

   H04N 21/431 20110101ALI20240920BHJP

   H04N 7/18 20060101ALI20240920BHJP

   G06T 19/00 20110101ALI20240920BHJP

【ＦＩ】

H04N7/15

G09G5/00 510A

G09G5/00 550C

G09G5/37 320

G09G5/37 600

G09G5/377 100

H04N21/431

H04N7/18 U

G06T19/00 600

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023040546

(22)【出願日】2023-03-15

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】鵜飼 訓史

【テーマコード（参考）】

5B050

5C054

5C164

5C182

【Ｆターム（参考）】

5B050AA10

5B050BA11

5B050DA04

5B050EA09

5B050EA19

5B050EA27

5B050FA05

5C054CC02

5C054CF06

5C054EA01

5C054EA05

5C054FC12

5C054FC15

5C054FE12

5C054FE18

5C054FF03

5C054HA25

5C164FA10

5C164UB88P

5C164VA07P

5C182AB04

5C182AC03

5C182AC39

5C182AC43

5C182BA03

5C182BA04

5C182BA06

5C182BA14

5C182BA27

5C182BA35

5C182BA54

5C182BC16

5C182CB04

5C182CB45

5C182CB47

5C182CB54

5C182DA32

(57)【要約】

【課題】ある空間において、イベントの使用範囲が容易に理解できる表示方法を提供する。
【解決手段】表示方法は、カメラ映像を受け付けて、イベントの使用領域を示す領域情報を受け付けて、前記領域情報に対応する、ある水平面上の境界画像を前記カメラ映像に重畳して表示する。
【選択図】図５

【特許請求の範囲】

【請求項1】

カメラ映像を受け付けて、
イベントの使用領域を示す領域情報を受け付けて、
前記領域情報に対応する、ある水平面上の境界画像を前記カメラ映像に重畳して表示する、
表示方法。

【請求項2】

前記水平面は、床面を含む、
請求項１に記載の表示方法。

【請求項3】

前記使用領域は、マイクの収音範囲に対応する
請求項１または請求項２に記載の表示方法。

【請求項4】

前記カメラ映像から人物を認識し、
認識した人物のうち、前記使用領域に属する人物と、属さない人物とを異なる態様で表示する、
請求項１または請求項２に記載の表示方法。

【請求項5】

前記カメラ映像のうち、前記使用領域の外をマスクする、
請求項１または請求項２に記載の表示方法。

【請求項6】

前記使用領域は、所定の平面図形により指定される、
請求項１または請求項２に記載の表示方法。

【請求項7】

前記平面図形における、奥行き、角度または幅を指定する
請求項６に記載の表示方法。

【請求項8】

前記水平面は、床面、天井面、または顔の高さの面を示す境界線で表される、
請求項１または請求項２に記載の表示方法。

【請求項9】

カメラ映像を受け付けて、
イベントの使用領域を示す領域情報を受け付けて、
前記領域情報に対応する、ある水平面上の境界画像を前記カメラ映像に重畳して表示器に表示する、
プロセッサを備えた表示処理装置。

【請求項10】

前記水平面は、床面を含む、
請求項９に記載の表示処理装置。

【請求項11】

前記使用領域は、マイクの収音範囲に対応する
請求項９または請求項１０に記載の表示処理装置。

【請求項12】

前記プロセッサは、
前記カメラ映像から人物を認識し、
認識した人物のうち、前記使用領域に属する人物と、属さない人物とを異なる態様で表示する、
請求項９または請求項１０に記載の表示処理装置。

【請求項13】

前記プロセッサは、前記カメラ映像のうち、前記使用領域の外をマスクする、
請求項９または請求項１０に記載の表示処理装置。

【請求項14】

前記使用領域は、所定の平面図形により指定される、
請求項９または請求項１０に記載の表示処理装置。

【請求項15】

カメラ映像を受け付けて、
イベントの使用領域を示す領域情報を受け付けて、
前記領域情報に対応する、ある水平面上の境界画像を前記カメラ映像に重畳して表示器に表示する、
処理を情報処理装置に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一実施形態は、表示方法、表示処理装置およびプログラムに関する。

【背景技術】

【0002】

特許文献１には、表示装置にアイコンを表示して話者位置を表示することで、話者の位置を可視化するカーオーディオが開示されている。

【0003】

特許文献２には、マイクロフォン１７Ａ及び１７Ｂにて車内で話者の音声を収音し、入力音圧レベルを表す画像データと２つのマイクロフォン１７Ａ及び１７Ｂによる指向性を表す画像データをデータメモリ１４から読み出して、それらの画像データからドット展開した表示データを生成してディスプレイ１５上に表示する車載収音装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６－１２６４２４号公報

【特許文献2】特開２００６－２０１２８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の技術は、使用範囲を表示するものではない。

【0006】

本開示のひとつの態様は、ある空間において、イベントの使用範囲が容易に理解できる表示方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

表示方法は、カメラ映像を受け付けて、イベントの使用領域を示す領域情報を受け付けて、前記領域情報に対応する、ある水平面上の境界画像を前記カメラ映像に重畳して表示する。

【発明の効果】

【0008】

本発明の一実施形態によれば、イベントの使用範囲が容易に理解できる。

【図面の簡単な説明】

【0009】

【図1】表示処理装置１の構成を示すブロック図である。

【図2】本実施形態の表示方法によりＯＳＤで表示器５に表示される映像の一例である。

【図3】表示方法の動作を示すフローチャートである。

【図4】本実施形態の表示方法によりＯＳＤで表示器５に表示される映像の一例である。

【図5】本実施形態の表示方法によりＯＳＤで表示器５に表示される映像の一例である。

【図6】変形例１に係る表示器５に表示される映像の一例である。

【図7】変形例２に係る表示器５に表示される映像の一例である。

【図8】変形例３に係る表示器５に表示される映像の一例である。

【図9】変形例４に係る表示器５に表示される映像の一例である。

【図10】変形例５に係る表示器５に表示される映像の一例である。

【発明を実施するための形態】

【0010】

図１は、表示処理装置１の構成を示すブロック図である。表示処理装置１は、パーソナルコンピュータ（ＰＣ）３および表示器５に接続される。表示処理装置１およびＰＣ３は、例えばＵＳＢケーブルを介して接続される。表示処理装置１および表示器５は、例えばＨＤＭＩ（登録商標）ケーブルを介して接続される。

【0011】

ＰＣ３は、汎用の情報処理装置であり、例えば、映像信号および音信号を送受信する遠隔会議用アプリケーションプログラムを実行する。なお、本実施形態において、信号とはデジタル信号を意味する。

【0012】

表示器５は、ＬＣＤまたはＯＬＥＤ等の表示装置からなる。表示器５は、ＰＣ３で実行される上記遠隔会議用アプリケーションプログラムに関する映像を表示する。

【0013】

表示処理装置１は、カメラ１１、プロセッサ１２、フラッシュメモリ１４、ＲＡＭ１５、ユーザインタフェース（Ｉ／Ｆ）１６、スピーカ１７、６個のマイク１８Ａ～１８Ｆ、および通信Ｉ／Ｆ１９を備えている。

【0014】

カメラ１１、スピーカ１７、およびマイク１８Ａ～１８Ｆは、例えば表示器５の上または下に配置される。カメラ１１は、表示器５の前に居る利用者を撮影したカメラ映像を取得する。マイク１８Ａ～１８Ｆは、表示器５の前に居る利用者の音声を取得する。スピーカ１７は、表示器５の前に居る利用者に対して、音声を出力する。なお、マイクの数は６個に限らない。マイクは、１つのマイクであってもよい。本実施形態のマイクの数は６個であり、アレイマイクを構成する。プロセッサ１２は、マイク１８Ａ～１８Ｆで取得した音信号にビームフォーミング処理を施す。

【0015】

プロセッサ１２は、フラッシュメモリ１４から動作用のプログラムをＲＡＭ１５に読み出すことにより、表示処理装置１の動作を統括的に制御する制御部として機能する。例えば、フラッシュメモリ１４は、プログラム１４１を記憶している。プロセッサ１２は、プログラム１４１により、本発明の表示方法を実行する。なお、プログラム１４１は自装置のフラッシュメモリ１４に記憶しておく必要はない。プロセッサ１２は、例えばサーバ等から都度プログラム１４１をダウンロードしてＲＡＭ１５に読み出してもよい。

【0016】

プロセッサ１２は、ＵＳＢケーブルを介してＰＣ３から映像信号を受信する。当該映像信号は、上記遠隔会議用アプリケーションプログラムに関する映像である。プロセッサ１２は、受信した映像信号を、ＨＤＭＩ（登録商標）ケーブルを介して表示器５に転送する。また、プロセッサ１２は、カメラ１１から取得したカメラ映像を、上記遠隔会議用アプリケーションプログラムに関する映像に重畳し、表示器５上にＯＳＤ（Ｏｎ－Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）で表示する。また、プロセッサ１２は、カメラ１１から取得したカメラ映像に係る映像信号を通信Ｉ／Ｆ１９を介してＰＣ３に出力する。プロセッサ１２は、マイク１８Ａ～１８Ｆで取得した音信号にビームフォーミング処理を施し、ビームフォーミング処理後の音信号を通信Ｉ／Ｆ１９に出力する。

【0017】

プロセッサ１２は、ビームフォーミング処理等の指向性処理を施すことで、イベントの使用領域外の音声を収音しないようにマスク処理を施す。ビームフォーミングは、例として、それぞれの会議参加者の方向に向けた遅延和型収音ビーム出力を加算する処理、それぞれの会議参加者の方向に利得が一定の拘束を付けて全体パワーを最小化する最小分散（ＭｉｎｉｍｕｍＶａｒｉａｎｃｅ）処理、会議参加者の方向に向けた遅延和型収音ビーム出力の加算と会議参加者の方向に死角を形成するブロッキング行列（Ｂｌｏｃｋ Ｍａｔｒｉｘ，ＢＭ）の出力とを利用するサイドローブキャンセラ（Ｇｅｎｅｒａｌｉｚｅｄ Ｓｉｄｅｌｏｂｅ Ｃａｎｃｅｌｌｅｒ， ＧＳＣ）処理、帯域ごとに分割された遅延和型収音ビーム出力とマイク装置の出力とのパワーを比較し、分割された遅延和型収音ビーム出力の方が一定以上小さい時のみその分割された遅延和型収音ビーム出力を減衰し、分割された遅延和型収音ビーム出力を再統合するバイナリマスク処理、独立成分分析（ＩＣＡ）等の音源分離方法で収音信号から音源を分離し、分離された各音源信号の到来方向を逆射影法（ＰｒｏｊｅｃｔｉｏｎＢａｃｋ）で判定し、会議参加者の方向から来た音源信号のみをミックスする処理等が挙げられる。

【0018】

通信Ｉ／Ｆ１９は、ＰＣ３に映像信号および音信号を出力する。ＰＣ３の遠隔会議用アプリケーションプログラムは、通信Ｉ／Ｆ１９から出力された映像信号および音信号を、他の装置に送信する。また、ＰＣ３の遠隔会議用アプリケーションプログラムは、他の装置から映像信号および音信号を受信する。ＰＣ３は、受信した映像信号および音信号を通信Ｉ／Ｆ１９に出力する。

【0019】

プロセッサ１２は、通信Ｉ／Ｆ１９から受信した映像信号を、ＨＤＭＩ（登録商標）ケーブルを介して表示器５に転送する。また、プロセッサ１２は、通信Ｉ／Ｆ１９から受信した音信号をスピーカ１７に出力する。これにより、表示処理装置１は、遠隔地との音声会話を行うためのコミュニケーションシステムとして機能する。

【0020】

図２は、本実施形態の表示方法によりＯＳＤで表示器５に表示される映像の一例である。図３は、本実施形態の表示方法の動作を示すフローチャートである。

【0021】

プロセッサ１２は、まずカメラ１１からカメラ映像を受け付ける（Ｓ１１）。図２の例では、カメラ１１は、机の長手方向（奥行き方向）に沿って居る複数の人物の顔画像を撮影している。カメラ１１は、机を短手方向に挟んで左側および右側に居る４人の人物Ａ１～Ａ３およびA5、および机よりも遠い位置に居る人物Ａ４を撮影している。

【0022】

次に、プロセッサ１２は、イベントの使用領域を示す領域情報を受け付ける（Ｓ１２）。図４は、表示器５に表示されるＧＵＩの一例を示す図である。プロセッサ１２は、ＯＳＤで、表示器５に図４の様なＧＵＩを表示する。図４の例では、プロセッサ１２は、カメラ映像の下に使用領域を受け付けるためのインタフェースを表示し、右下の位置に、室内を模した２次元平面画像を表示している。また、プロセッサ１２は、机および人物を模した平面画像も表示している。

【0023】

プロセッサ１２は、ユーザＩ／Ｆ１６を介して、イベントの使用領域を受け付ける。ユーザＩ／Ｆ１６は、マウス、キーボード、あるいは表示器５に重畳されたタッチパネルからなる。ユーザは、図４の例では、奥行き（Ｍａｘ ｄｉｓｔａｎｃｅ）、左方向の幅（Ｌｅｆｔ）、右方向の幅（Ｒｉｇｈｔ）を数値で指定することで、イベントの使用領域を入力する。また、ユーザは、ユーザＩ／Ｆ１６を用いて、図４に示す２次元平面画像において所定の平面図形を描画指定することで、イベントの使用領域を入力してもよい。

【0024】

プロセッサ１２は、受け付けた領域情報に基づいて、使用領域外の音声を収音しないようにビームフォーミング処理を施す（Ｓ１３）。これにより、プロセッサ１２は、指定された使用領域内で収音された音声に係る音信号をＰＣ３に出力する。

【0025】

プロセッサ１２は、受け付けた領域情報に対応する、ある水平面上の境界画像をカメラ映像に重畳する（Ｓ１４）。図５は、本実施形態の表示方法によりＯＳＤで表示器５に表示される映像の一例である。図５の例では、プロセッサ１２は、使用領域と、床面および天井面と、の境界を示す境界線を表示している。

【0026】

水平面は、カメラ１１の高さ（Ｃａｍｅｒａ Ｈｅｉｇｈｔ）、仰角（Ｃａｍｅｒａ Ａｎｇｌｅ）に基づいて求められる。図４，図５の例では、カメラ映像の下に使用領域を受け付けるためのインタフェースを表示している。ユーザは、ユーザＩ／Ｆ１６を介して、カメラ１１の高さおよび仰角の数値を入力する。あるいは、カメラ１１は、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等の測距センサ、およびジャイロセンサ等の角度センサにより、カメラ１１の高さおよび仰角を自動検出してもよい。

【0027】

プロセッサ１２は、受け付けたカメラ１１の仰角に基づいて、カメラ映像の消失点を求める。例えば、仰角０°である場合、カメラ映像内の中央に消失点が求められる。仰角が小さくなる（マイナス）方向では、カメラ映像内の消失点が上方向になり、仰角が大きくなる（プラス）方向では、カメラ映像内の消失点が下方向になる。当該消失点から放射状に引かれる直線は、床面または天井面等の、実空間内の水平面に平行する直線になる。プロセッサ１２は、受け付けたカメラ１１の高さに応じて、床面および天井面の高さに対応する直線を選択して、使用領域との境界画像として表示する。

【0028】

また、プロセッサ１２は、受け付けた距離、左方向の幅、および右方向の幅に基づいて、使用領域のうち奥行き方向の境界画像を長方形で表示する。これにより、図５に示す様に、使用領域に対応する仮想的な直方体の面を示す様な境界画像が構成される。

【0029】

そのため、利用者は、オープンスペース等の同じ空間内で会議の使用領域と非使用領域が混在する場合でも、ＯＳＤで表示器５に表示される映像を見ることで、自身が使用領域（この場合、マイクの収音範囲）に属するか否か、容易に判断することができる。特に、会議の開催者等の管理者が使用範囲を設定した場合、管理者以外の利用者でも使用領域を容易に判断することができるという新たな顧客体験を得ることができる。

【0030】

なお、図５の例では、プロセッサ１２は、カメラ映像から人物を認識し、認識した人物のうち、使用領域に属する人物と、属さない人物とを異なる態様で表示している。図５の例では、人物Ａ１、人物Ａ２、および人物Ａ５は、使用領域に属し、人物Ａ３および人物Ａ４は、使用領域に属さない。したがって、プロセッサ１２は、人物Ａ１、人物Ａ２、および人物Ａ５に境界画像の直線を被せない様に表示し、人物Ａ３および人物Ａ４には、境界画像の直線を被せて表示している。これにより、利用者は、表示器５に表示される映像を見ることで、自身が使用領域（この場合、マイクの収音範囲）に属するか否か、さらに容易に判断することができる。

【0031】

この場合、プロセッサ１２は、まずカメラ映像に人物が含まれるか否かを判定する。プロセッサ１２は、例えば画像セグメンテーション処理を行なうことにより、１つの人物を描画している複数のピクセルを特定する。画像セグメンテーション処理は、例えばニューラルネットワーク等を用いた所定のアルゴリズムを用いることにより、人物と背景の境界を認識する処理である。例えば図５の例では、プロセッサ１２は、５人の人物Ａ１～Ａ５を認識する。プロセッサ１２は、認識した人物の画像の大きさに基づいて各人物との距離を求める。フラッシュメモリ１４には、予め人物の画像の大きさと距離との関係を示したテーブルまたは関数等が記憶されている。プロセッサ１２は、認識した人物の画像の大きさと、フラッシュメモリ１４に記憶されているテーブルを比較し、人物との距離を求める。

【0032】

また、距離の推定手法は、上記例に限らない。例えば、カメラ１１がステレオカメラである（２つ以上のカメラを備える）場合、プロセッサ１２は、２つのカメラの距離および２つの画像の視差に基づいて、各人物の距離を求めることができる。また、プロセッサ１２は、ＬｉＤＡＲ等の測距センサを用いて各人物の距離を求めてもよい。

【0033】

プロセッサ１２は、求めた距離が使用領域内である場合、当該人物に境界画像の直線を被せない様に表示する。プロセッサ１２は、求めた距離が使用領域外である場合、当該人物には、境界画像の直線を被せて表示する。

【0034】

（変形例１）
図６は、変形例１に係る表示器５に表示される映像の一例である。変形例１では、プロセッサ１２は、図６に示す様に、使用領域に属さない人物の画像にマスク処理を施してもよい。マスク処理は、例えば、ぼかし、塗りつぶし、あるいは別画像への置換等の処理を含む。

【0035】

これにより、プロセッサ１２は、会議参加者以外の人物の画像を出力しないようにでき、非参加者のプライバシーを保ちながら違和感の無い画像を出力することができる。

【0036】

（変形例２）
図７は、変形例２に係る表示器５に表示される映像の一例である。変形例２では、プロセッサ１２は、図７に示す様に、カメラ映像のうち、使用領域の外をマスクする。マスク処理は、例えば、ぼかし、塗りつぶし、あるいは別画像への置換等の処理を含む。プロセッサ１２は、使用領域に対応する仮想的な直方体の面を、例えば図７に示す様に塗りつぶす処理を行う。

【0037】

これにより、利用者は、使用領域に対応する仮想的な直方体の面を容易に認識することができ、自身が使用領域（この場合、マイクの収音範囲）に属するか否か、さらに容易に判断することができる。また、利用者は、仮想的な室内で会議を行っている様に知覚することができる。さらに、プロセッサ１２は、会議参加者以外の人物の画像を出力しないようにでき、非参加者のプライバシーを保ちながら違和感の無い画像を出力することができる。

【0038】

（変形例３）
図８は、変形例３に係る表示器５に表示される映像の一例である。変形例３では、プロセッサ１２は、床面および天井面の高さに加えて、さらに顔の高さに対応する直線を、使用領域との境界画像として表示する。一般に、顔の高さは、０．６～１．８ｍ程度の高さである。顔の高さは、利用者からユーザＩ／Ｆ１６を介して受け付けてもよいし、例えば１．２ｍ程度に予め決定しておいてもよい。

【0039】

これにより、利用者は、表示器５に表示される映像を見ることで、自身が使用領域（この場合、マイクの収音範囲）に属するか否か、さらに容易に判断することができる。

【0040】

（変形例４）
図９は、変形例４に係る表示器５に表示される映像の一例である。変形例４では、プロセッサ１２は、床面に対応する直線のみ、使用領域との境界画像として表示する。この様に、水平面として床面との境界画像を表示するだけでも、利用者は、表示器５に表示される映像を見ることで、自身が使用領域（この場合、マイクの収音範囲）に属するか否か、容易に判断することができる。

【0041】

（変形例５）
図１０は、変形例５に係る表示器５に表示される映像の一例である。上記実施形態では、使用領域は、平面視して矩形状であったが、変形例５の使用領域は平面視して扇形状である。

【0042】

ユーザは、図１０の例では、奥行き（Ｍａｘ ｄｉｓｔａｎｃｅ）、左方向の角度（Ｌｅｆｔ Ａｎｇｌｅ）、および右方向の角度（Ｒｉｇｈｔ Ａｎｇｌｅ）を指定することで、イベントの使用領域を入力する。あるいは、ユーザは、ユーザＩ／Ｆ１６を用いて、図１０に示す２次元平面画像において扇形の平面図形を描画指定することで、イベントの使用領域を入力してもよい。

【0043】

変形例５においても、プロセッサ１２は、床面および天井面と、使用領域との境界画像をカメラ映像に重畳して表示する。プロセッサ１２は、受け付けた距離、左方向の角度、および右方向の角度に基づいて、使用領域のうち奥行き方向の境界画像を曲線で表示し、左右方向の境界画像を直線で表示する。これにより、図１０に示す様に、使用領域に対応する仮想的な柱状体の境界画像が構成される。

【0044】

この場合も、利用者は、表示器５に表示される映像を見ることで、自身が使用領域（この場合、マイクの収音範囲）に属するか否か、容易に判断することができる。

【0045】

本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。

【0046】

例えば、本発明においてビームフォーミング処理は必須ではない。使用領域とは、マイクの収音範囲に限らない。図６および図７で示した様な、画像がマスクされる領域も使用領域の一例である。また、イベントとは会議に限らない。イベントは、例えばゲームあるいは遠隔地間で行う合奏等も含む。また、イベントは、ホームシアターを含む。ホームシアターは、指向性の強い音声ビームを出力する場合がある。この場合、使用領域は、当該音声ビームの到達範囲に対応する。

【符号の説明】

【0047】

１ ：表示処理装置
５ ：表示器
１１ ：カメラ
１２ ：プロセッサ
１４ ：フラッシュメモリ
１５ ：ＲＡＭ
１６ ：ユーザＩ／Ｆ
１７ ：スピーカ
１８Ａ ：マイク
１８Ｂ ：マイク
１８Ｃ ：マイク
１８Ｄ ：マイク
１８Ｅ ：マイク
１８Ｆ ：マイク
１９ ：通信Ｉ／Ｆ
１４１ ：プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】