特開 2022-36991 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022036991

(43)【公開日】2022-03-08

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220301BHJP

   G09G 5/36 20060101ALI20220301BHJP

   G09G 5/00 20060101ALI20220301BHJP

   G09G 5/377 20060101ALI20220301BHJP

   G09G 5/02 20060101ALI20220301BHJP

   G06T 7/254 20170101ALI20220301BHJP

   G06T 7/00 20170101ALI20220301BHJP

   G06T 1/00 20060101ALI20220301BHJP

   G06T 5/50 20060101ALI20220301BHJP

   H04N 5/232 20060101ALI20220301BHJP

【ＦＩ】

H04N7/18 U

G09G5/36 520P

G09G5/00 550C

G09G5/36 520M

G09G5/02 B

G09G5/00 520V

H04N7/18 K

G06T7/254 B

G06T7/00 660A

G06T1/00 340A

G06T5/50

H04N5/232 290

H04N5/232 930

【審査請求】有

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2021189810

(22)【出願日】2021-11-24

(62)【分割の表示】P 2019504531の分割

【原出願日】2018-03-01

(31)【優先権主張番号】P 2017043471

(32)【優先日】2017-03-08

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100093241

【弁理士】

【氏名又は名称】宮田 正昭

(74)【代理人】

【識別番号】100101801

【弁理士】

【氏名又は名称】山田 英治

(74)【代理人】

【識別番号】100095496

【弁理士】

【氏名又は名称】佐々木 榮二

(74)【代理人】

【識別番号】100086531

【弁理士】

【氏名又は名称】澤田 俊夫

(74)【代理人】

【識別番号】110000763

【氏名又は名称】特許業務法人大同特許事務所

(72)【発明者】

【氏名】高梨 省吾

(57)【要約】

【課題】記述者によって隠される記述部上の記述の視認性を記述者と記述部上の記述との位置関係を保った状態で確保する。
【解決手段】記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する。記述部分と判断された各部分を記述として表示する表示データを発生して動画像データに重畳する。例えば、現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、この差分値が閾値以上である画素が連続する纏まりを把握し、この纏まり毎に記述部分であるか否かを判断する。
【選択図】図３

【特許請求の範囲】

【請求項1】

記述者が記述している記述部分を決定する記述決定部と、
前記記述者の状態を検知する状態検知部と、
前記状態検知部によって検知された前記記述者の状態に基づいて、前記記述部分に対応する表示データを生成し、前記記述者を撮像して得られた画像データに重畳する重畳部を備える
画像処理装置。

【請求項2】

前記記述決定部は、前記記述者を撮像して得られた画像データから前記記述部分を決定する
請求項１に記載の画像処理装置。

【請求項3】

前記状態検知部は、前記記述者を撮像して得られた画像データから前記記述者の状態を検知する
請求項１または２に記載の画像処理装置。

【請求項4】

前記重畳部は、前記記述者が所定の状態にあるか否かに基づいて、前記表示データを前記画像データに重畳するかしないかを決定する
請求項１から３のいずれかに記載の画像処理装置。

【請求項5】

前記重畳部は、前記記述者が前記所定の状態にある場合、前記表示データを前記画像データに重畳しない
請求項４に記載の画像処理装置。

【請求項6】

前記所定の状態は、前記記述者が特定の人と話している状態である
請求項５に記載の画像処理装置。

【請求項7】

前記所定の状態は、前記記述者が特定の方向を向いている状態である
請求項５に記載の画像処理装置。

【請求項8】

前記重畳部は、前記記述者が正面を向いている状態にある場合、前記表示データを前記画像データに重畳しない
請求項１から３のいずれかに記載の画像処理装置。

【請求項9】

前記重畳部は、前記記述部分と決定された各部分を記述として表示する前記表示データを前記画像データに重畳する
請求項１から８のいずれかに記載の画像処理装置。

【請求項10】

前記重畳部は、前記表示データを前記画像データに重畳する際に、記述の視認性を高めるための処理をする
請求項１から９のいずれかに記載の画像処理装置。

【請求項11】

前記重畳部は、前記画像データの解像度を低下させる処理を行った後に、該画像データに前記表示データを重畳する
請求項１から９のいずれかに記載の画像処理装置。

【請求項12】

前記重畳部は、前記記述部分と判断された各部分が縁取りされて表示されるように前記表示データを処理した後に、該表示データを前記画像データに重畳する
請求項１から９のいずれかに記載の画像処理装置。

【請求項13】

前記重畳部は、前記記述部分と判断された各部分の色が背景画像の色と異なるように前記画像データの色情報に基づいて前記表示データを処理した後に、該表示データを前記画像データに重畳する
請求項１から９のいずれかに記載の画像処理装置。

【請求項14】

前記記述者の顔を認識する顔認識部をさらに備え、
前記状態検知部は、前記顔認識部による顔認識結果に基づいて、前記記述者の状態を検知する
請求項１から１３のいずれかに記載の画像処理装置。

【請求項15】

前記画像データは、前記記述部分が記述される領域の少なくとも一部を含む
請求項１から１４のいずれかに記載の画像処理装置。

【請求項16】

前記記述部分は、文字、図形、マークの少なくとも一つを含む
請求項１から１５のいずれかに記載の画像処理装置。

【請求項17】

記述決定部が、記述者が記述している記述部分を決定する記述決定ステップと、
状態検知部が、前記記述者の状態を検知する状態検知ステップと、
重畳部が、前記状態検知ステップで検知された前記記述者の状態に基づいて、前記記述部分に対応する表示データを生成し、前記記述者を撮像して得られた画像データに重畳する重畳ステップを有する
画像処理方法。

【請求項18】

記述決定部が、記述者が記述している記述部分を決定する記述決定ステップと、
状態検知部が、前記記述者の状態を検知する状態検知ステップと、
重畳部が、前記状態検知ステップで検知された前記記述者の状態に基づいて、前記記述部分に対応する表示データを生成し、前記記述者を撮像して得られた画像データに重畳する重畳ステップを有する画像処理方法を
コンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、画像処理装置、画像処理方法およびプログラムに関し、詳しくは、記述者が記述部に記述している状態を撮像して得られた動画像データを処理する画像処理装置などに関する。

【背景技術】

【0002】

従来から画像配信における画像の表示手法において、文字部分等の視認性を向上させる提案はいくつかなされている。例えば、特許文献１には、画像中の文字部分を抽出し、その部分だけ高解像度または文字認識したテキスト結果を重畳することにより視認性を高める手法が示されている。これは低ビットレートでの画像配信を想定したものであり、文字部分の情報は視認性を向上させる必要があることが述べられている。

【0003】

また、特許文献２には、画像中の文字を認識し文字色や背景色を特定した上で、文字色や背景色を調整して表示する手法が示されている。これも文字の視認性を向上させる手法の一つといえる。

【0004】

特許文献１、２に示される手法は、あくまでも、低ビットレートや背景と文字色の似た色など、画像上に常に映ってはいるものの視認性の低い部分に対する手法であって、本質的に文字部分等が隠れてしまうために視認性が低下する場合には有効ではない。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００３－１７９８８８号公報

【特許文献2】特開２０１５－０６９２３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本技術の目的は、記述者によって隠される記述部上の記述の視認性を記述者と記述部上の記述との位置関係を保った状態で確保することにある。

【課題を解決するための手段】

【0007】

本技術の概念は、
記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する記述判断処理部と、
上記記述部分と判断された各部分を記述として表示する表示データを発生して上記動画像データに重畳する記述重畳処理部を備える
画像処理装置にある。

【0008】

本技術において、記述判断処理部により、記述者が記述部に記述している状態を撮像して得られた動画像データが処理されて、記述部分が判断される。例えば、記述判断処理部は、現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、この差分値が閾値以上である画素が連続する纏まりを把握し、この纏まり毎に記述部分であるか否かを判断する、ようにされてもよい。

【0009】

この場合、例えば、記述判断処理部は、纏まり毎に、形状評価値、抽出時間評価値および静止時間評価値を用いて記述部分であるか否かを判断し、記述判断処理部は、形状評価値を、纏まりを包含する最小四角形と上記纏まりの内部に包含される最大四角形の縦横比に基づいて求め、抽出時間評価値を、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける基準フレーム画像との間の差分値に基づいて求め、静止時間評価値を、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける１フレーム前のフレーム画像との間の差分値に基づいて求める、ようにされてもよい。

【0010】

記述重畳処理部により、記述部分と判断された各部分を記述として表示する表示データが発生されて動画像データに重畳される。例えば、記述重畳処理部は、表示データを動画像データに重畳する際に、記述の視認性を高めるための処理をする、ようにされてもよい。

【0011】

この場合、例えば、記述重畳処理部は、動画像データの解像度を低下させる処理を行った後に、この動画像データに表示データを重畳する、ようにされてもよい。また、この場合、例えば、記述重畳処理部は、記述部分と判断された各部分が縁取りされて表示されるように表示データを処理した後に、この表示データを動画像データに重畳する、ようにされてもよい。また、この場合、例えば、記述重畳処理部は、記述部分と判断された各部分の色が背景画像の色と異なるように動画像データの色情報に基づいて表示データを処理した後に、この表示データを動画像データに重畳する、ようにされてもよい。

【0012】

このように本技術においては、記述部分と判断された各部分を記述として表示する表示データを発生して動画像データに重畳するものである。そのため、記述者によって隠される記述部上の記述の視認性を記述者と記述部上の記述との位置関係を保った状態で確保することが可能となる。

【0013】

なお、本技術において、動画像データに基づいて記述者の顔が正面を向いている状態が検知されるとき、動画像データに表示データを重畳しないように記述重畳処理部を制御する記述重畳制御部をさらに備える、ようにされてもよい。記述者が手を止めて口頭による説明や解説を始めた場合、情報として重要になるのは記述よりも記述者の表情や身振り手振りの様子であると考えられるが、それを記述の重畳表示に邪魔されずに表示することが可能となる。

【0014】

また、本技術において、例えば、記述者が記述部に記述している状態を撮像する撮像部と、この撮像部で得られた撮像信号を処理して動画像データを得る撮像信号処理部をさらに備える、ようにされてもよい。また、本技術において、例えば、記述重畳処理部で得られた動画像データを外部機器に送信する送信部をさらに備える、ようにされてもよい。

【発明の効果】

【0015】

本技術によれば、記述者によって隠される記述部上の記述の視認性を記述者と記述との位置関係を保った状態で確保することが可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

【図面の簡単な説明】

【0016】

【図1】実施の形態としての画像処理システムの構成例を示すブロック図である。

【図2】カメラによるあるフレームの撮像画像の一例を示す図である。

【図3】画像処理装置の構成例を示すブロック図である。

【図4】記述判断処理部における処理を説明するためのフローチャートである。

【図5】形状評価の値の求め方を説明するための図である。

【図6】表示装置のディスプレイに表示される表示画像の一例を示す図である。

【図7】画像処理装置の他の構成例を示すブロック図である。

【図8】記述者が正面を向いている状態にあるときに表示装置のディスプレイに表示される表示画像の一例を示す図である。

【図9】カメラの構成例を示すブロック図である。

【発明を実施するための形態】

【0017】

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例

【0018】

＜１．実施の形態＞
［画像処理システムの構成例］
図１は、実施の形態としての画像処理システム１０の構成例を示している。この画像処理システム１０は、カメラ１０１と、画像処理装置１０２と、所定数の表示装置１０３-1～１０３-Nを有している。

【0019】

カメラ１０１は、記述者２０１が記述部２０２に記述２０３を加えながら説明している状態を撮像して動画像データを得る。図２は、カメラ１０１によるあるフレームの撮像画像の一例を示している。この撮像画像においては、記述部２０２の上に記述２０３が存在し、その前側に記述者２０１が存在している。記述者２０１が移動や身振りや手振りをすることで、このフレームでは記述者２０１で隠されている記述２０３の部分も、この後のフレームにおいてカメラ１０１で撮像できる。

【0020】

記述者２０１としては、例えば、大学の講義室で学生に講義を行う教授などの講義者、会社の会議室で他の社員にプレゼンテーションを行う社員などが想定される。記述部２０２は、ホワイトボードや黒板などの記述可能な部分であり、講義室や会議室の記述可能な壁部であってもよい。

【0021】

画像処理装置１０２は、カメラ１０１で得られた動画像データを処理して記述部分を判断し、記述部分と判断された各部分を記述として表示する表示データを発生し、この表示データを動画像データに重畳し、表示データが重畳された動画像データを、表示装置１０３-1～１０３-Nに配信する。配信は、無線あるいは有線により行われる。

【0022】

表示装置１０３-1～１０３-Nは、画像処理装置１０２から上述の表示データが重畳された動画像データを受け取り、当該動画像データに基づいて画像表示をする。この場合、ディスプレイに表示される画像は、記述が重畳されたものとなる。そのため、記述者２０１によって隠される記述部２０２上の記述２０３の視認性が、記述者２０１と記述２０３との位置関係を保った状態で確保される。

【0023】

表示装置１０３-1～１０３-Nの配置位置としては、記述者２０１が今説明を行っている講義室や会議室などの室内、あるいは他の講義室や会議室、さらには遠隔地などであってもよい。表示装置１０３-1～１０３-Nの配置位置が画像処理装置１０２から比較的近い場合にはＷｉ－Ｆｉなどの無線ＬＡＮを使用できる。一方、表示装置１０３-1～１０３-Nの配置位置が遠隔地である場合には、インターネットによる配信などが考えられる。

【0024】

画像処理装置１０２から表示装置１０３-1～１０３-Nへの動画像データの配信は必ずしもライブで行われる必要はない。例えば、画像処理装置１０２で得られた動画像データを記録部に記録保存しておき、適宜なタイミングで再生して表示装置１０３-1～１０３-Nに配信することも考えられる。

【0025】

画像処理装置１０２の詳細を説明する。画像処理装置１０２は、現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、この差分値が閾値以上である画素が連続する纏まりを把握し、この纏まり毎に記述部分であるか否かを判断する。具体的には、画像処理装置１０２は、纏まり毎に、形状評価値、抽出時間評価値および静止時間評価値を用いて記述部分であるか否かを判断する。

【0026】

画像処理装置１０２は、形状評価値を、纏まりを包含する最小四角形と纏まりの内部に包含される最大四角形の縦横比の関係性から求める。また、画像処理装置１０２は、抽出時間評価値を、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける基準フレーム画像との間の差分値に基づいて求める。また、画像処理装置１０２は、静止時間評価値を、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける１フレーム前のフレーム画像との間の差分値に基づいて求める。

【0027】

また、画像処理装置１０２は、表示データを動画像データに重畳する際に、記述の視認性を高めるための処理をする。例えば、画像処理装置１０２は、動画像データの解像度を低下させる処理を行った後に、この動画像データに表示データを重畳する。また、例えば、画像処理装置１０２は、記述部分と判断された各部分が縁取りされて表示されるように表示データを処理した後に、この表示データを動画像データに重畳する。また、例えば、画像処理装置１０２は、記述部分と判断された各部分の色が背景画像の色と異なるように動画像データの色情報に基づいて表示データを処理した後に、この表示データを動画像データに重畳する。

【0028】

図３は、画像処理装置１０２の構成例を示している。この画像処理装置１０２は、制御部１２１と、画像データ入力部１２２と、記述判断処理部１２３と、表示データ発生部１２４と、重畳部１２５と、画像圧縮処理部１２６と、ネットワークインタフェース１２７と、記録部１２８を有している。

【0029】

制御部１２１は、画像処理装置１０２の各部の動作を制御する。画像データ入力部１２２は、カメラ１０１で得られた動画像データを入力する部分である。例えば、この画像データ入力部１２２は、カメラ１０１との間を接続するケーブルコネクト部であってもよい。また、例えば、この画像データ入力部１２２は、カメラ１０１との間を通信で接続する場合には、無線あるいは有線の通信インタフェースであってもよい。

【0030】

記述判断処理部１２３は、画像データ入力部１２２に入力された動画像データを処理して記述部分を判断する。この記述判断処理部１２３は、フレーム毎に、図４のフローチャートのスタートからエンドまでの処理を、例えばプログラムに基づいてソフトウェアで実行する。

【0031】

まず、記述判断処理部１２３は、ステップＳＴ１において、あるフレームで、そのフレームの画像と基準フレーム画像（最初は記述部２０２に記述が行われる前の状態のフレーム画像）との間で画素毎の差分を抽出し、その差分抽出結果から、画素値差分の大きな画素、つまり基準フレーム画像の状態から変化が生じた画素を抽出し、そのような画素が連続する纏まり（所定数）を把握する。

【0032】

このようにステップＳＴ１で把握される纏まりには、記述２０３の部分が含まれるが、その他に記述者２０１等の部分も含まれる。以下のステップでは、纏まり毎に、記述２０３の部分であるか否かを判断する。この判断には、形状評価、抽出時間評価および静止時間評価の値を用いる。

【0033】

次に、記述判断処理部１２３は、ステップＳＴ２において、形状評価の値αを求める。記述判断処理部１２３は、この値αを、纏まりを包含する最小四角形（外部四角形）と纏まりの内部に包含される最大四角形（内部四角形）の縦横比の関係性に基づいて求める。図５（ａ）は、記述２０３の部分に対応した纏まりの一例を示しており、矢印Ｐｏで示す四角形が外部四角形であり、矢印Ｐｉで示す四角形が内部四角形である。また、図５（ｂ）は、記述者２０１の部分に対応した纏まりの一例を示しており、矢印Ｑｏで示す四角形が外部四角形であり、矢印Ｑｉで示す四角形が内部四角形である。

【0034】

記述２０３の部分に対応した纏まりの場合、外部四角形（Ｐｏ）に比べて内部四角形（Ｐｉ）は小さくなることから、形状評価の値αは高くなる。一方、記述者２０１の部分に対応した纏まりの場合、記述２０３の部分に対応した纏まりに比べて大きな纏まりとなることから、外部四角形（Ｑｏ）に比べて内部四角形（Ｑｉ）も一定の大きさを持つ。そのため、形状評価の値αは低くなる。

【0035】

次に、記述判断処理部１２３は、ステップＳＴ３において、抽出時間評価の値βを求める。記述判断処理部１２３は、この値βを、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける基準フレーム画像との間の差分値に基づいて求めるものであり、差分値が大きなフレームが多くあるほどその値は高くなる。

【0036】

例えば、記述判断処理部１２３は、纏まりに含まれる画素（全部の画素あるいは一部の画素）について、基準フレーム画像からの差分が大きかったフレーム（差分抽出フレーム）か否かの結果を蓄積していき、連続した差分抽出フレーム数（この評価が複数画素で行われるときは例えば平均値）を評価値βとする。

【0037】

記述２０３の部分のような場合、記述された後に大きな差分が抽出され続けるので、評価値βは高くなる。一方、移動している記述者２０１の部分のような場合、記述者２０１が通過しきると大きな差分の抽出が途切れるので、評価値βは低くなる。ただし、記述者２０１が移動せずに止まる場合、記述者２０１の部分であるにも関わらず評価値βが高くなることがある。

【0038】

次に、記述判断処理部１２３は、ステップＳＴ４において、静止状態評価の値γを求める。記述判断処理部１２３は、この値γを、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける１フレーム前のフレーム画像との間の差分値に基づいて求めるものであり、差分値が大きなフレームが多くあるほどその値は低くなる。

【0039】

例えば、記述判断処理部１２３は、纏まりに含まれる画素（全部の画素あるいは一部の画素）について、１フレーム前との画素差分を蓄積していき、その差分値の大きさの逆数（この評価が複数画素で行われるときは例えば平均値）を評価値γとする。

【0040】

記述２０３の部分のような場合、１フレーム前の画像との間の画素差分値はゼロとなるか、あるいは小さいため、評価値γは高くなる。一方、移動や身振り手振りする記述者２０１の部分のような場合、１フレーム前の画像との間の画素差分値が大きくなるため、評価値γは低くなる。

【0041】

次に、記述判断処理部１２３は、ステップＳＴ５において、ステップＳＴ２からステップＳＴ４で求めた各評価の値α、β、γを評価関数Ｅ（α、β、γ）に代入して、記述か否かを判断するための評価値を得る。そして、記述判断処理部１２３は、このステップＳＴ５において、さらに、評価値が閾値ＴＨｒより大きいとき、纏まりは、記述部分（記述２０３の部分）であると判断する。

【0042】

次に、記述判断処理部１２３は、ステップＳＴ６において、ステップＳＴ５で記述部分と判断された纏まりに含まれる各画素に関しては、基本的には、記述部分の画素として追加保持する。しかし、このように記述部分と判断された纏まりに含まれる各画素が、以前に記述部分として保持されている画素であるときは、それはその後に消去された部分に当たるので、記述部分の画素としての保持から削除する。

【0043】

ここで、保持するとは、例えば、記述部分と判断された纏まりに含まれる各画素の値をフレームメモリの対応画素位置に書き込んで保持しておくことである。なお、記述部分と判断された纏まりに含まれる各画素の値そのものをフレームメモリの対応画素位置に書き込んでおく代わりに、記述部分と判断された纏まりに含まれる各画素の画素位置の情報のみを保持しておく構成であってもよい。

【0044】

次に、記述判断処理部１２３は、ステップＳＴ７において、ステップＳＴ６での保持または削除の結果に基づいて、現時点で記述部分として保持されている各画素の値を記述２０３に対応した値としたフレーム画像を生成し、当該フレーム画像を新たな基準フレーム画像とする。次のフレームにおける記述判断処理では、このように更新された基準フレーム画像が用いられることとなる。

【0045】

図３に戻って、表示データ発生部１２４は、各フレームにおいて、記述判断処理部１２３で保持や削除の処理がされて更新された記述部分の画素情報に基づいて、各画素を記述部分として表示する表示データを発生する。

【0046】

重畳部１２５は、画像データ入力部１２２に入力された動画像データに、表示データ発生部１２４で発生された表示データを重畳する。これにより、記述部２０２の上に記述された記述２０３を動画像データによる画像の上に重畳して表示することが可能となる。

【0047】

この場合、重畳部１２５は、画像上に重畳表示される記述２０３の視認性を高めるために、例えば以下の処理の一部あるいは全部をする。

【0048】

例えば、重畳部１２５は、動画像データの解像度を低下させる処理、例えば空間的なローパスフィルタを使用した高周波成分除去処理などを行った後に、この動画像データに表示データを重畳する。これにより、動画像データによる画像はぼけた状態となり、当該画像に重畳表示される記述２０３の視認性を高めることができる。

【0049】

また、例えば、重畳部１２５は、記述部分と判断された各部分が縁取りされて表示されるように表示データを処理した後に、この表示データを動画像データに重畳する。なお、この縁取りの処理は、表示データ発生部１２４で行ってもよい。

【0050】

例えば、記述部分の元々の色が黒色であれば白色による縁取り処理がされ、逆に記述部分の元々の色が白色であれば黒色による縁取り処理がされる。縁取りの色については、これに限定されるものではない。このように縁取りがされることで、例えば、記述部分の元々の色が記述者２０１の洋服の色に似通っていた場合に、動画像データによる画像に重畳表示される記述２０３の視認性を高めることができる。

【0051】

また、例えば、重畳部１２５は、記述部分と判断された各部分の色が背景画像（動画像データによる画像）の色と異なるように動画像データの色情報に基づいて表示データの色変更処理をした後に、この表示データを動画像データに重畳する。なお、この色変更処理は、表示データ発生部１２４で行ってもよい。このように表示データの色変更処理がされることで、例えば、記述部分の元々の色が記述者２０１の洋服の色に似通っていた場合に、動画像データによる画像に重畳表示される記述２０３の視認性を高めることができる。

【0052】

画像圧縮処理部１２６は、重畳部１２５で表示データが重畳された動画像データに対して、例えば、ＭＰＥＧ方式によりデータ圧縮符号化処理を行って、符号化画像データを生成する。ネットワークインタフェース１２７は、画像圧縮処理部１２６で生成された符号化画像データを、無線あるいは有線のネットワークを介して、表示装置１０３-1～１０３-Nに送信する。なお、画像圧縮処理部１２６で生成された符号化画像データを記録部１２８に一時的に記録しておき、ネットワークインタフェース１２７は、適宜なタイミングで記録部１２８から符号化画像データを読み出し、表示装置１０３-1～１０３-Nに送信することも可能とされる。

【0053】

図１に示す画像処理システム１０の動作を簡単に説明する。カメラ１０１では、記述者２０１が記述部２０２に記述２０３を加えながら説明している状態が撮像されて、動画像データが得られる。この動画像データは、画像処理装置１０２に供給される。

【0054】

画像処理装置１０２では、カメラ１０１からの動画像データが処理されて記述部分が判断され、記述部分と判断された各部分を記述として表示する表示データが発生され、この表示データが動画像データに重畳される。そして、画像処理装置１０２から表示装置１０３-1～１０３-Nに、無線あるいは有線のネットワークを通じて、表示データが重畳された動画像データ（符号化画像データ）が配信される。

【0055】

表示装置１０３-1～１０３-Nでは、画像処理装置１０２から受信された動画像データに基づいて、画像表示が行われる。この場合、ディスプレイに表示される画像は、動画像データによる画像の上に記述が重畳表示されたものとなる。

【0056】

次に、図３に示す画像処理装置１０２の動作を簡単に説明する。画像データ入力部１２２に、カメラ１０１で撮像して得られた動画像データが入力される。この動画像データは、重畳部１２５および記述判断処理部１２３に供給される。

【0057】

記述判断部１２３では、動画像データが処理され、フレーム毎に記述部分が判断されて、記述部分の画素として保持されていく。記述部分か否かの判断は、現在のフレーム画像と基準フレーム画像との間で画素毎の差分値が抽出され、この差分値が閾値以上である画素が連続する纏まり毎に、形状評価、抽出時間評価および静止時間評価の値を用いて行われる。

【0058】

この場合、ある期間では記述者２０１で隠れている状態の記述２０３の部分も、記述者２０１が移動や身振りや手振りをすることで、他の期間では記述者２０１で隠れていない状態となるので、ある程度の時間経過により、記述部２０２に記述された記述２０３の部分のほとんどが記述部分の画素として保持されることとなる。

【0059】

記述判断処理部１２３でフレーム毎に更新される記述部分の画素情報は表示データ発生部１２４に送られる。表示データ発生部１２４では、各フレームにおいて、当該記述部分の画素情報に基づいて、各画素を記述部分として表示する表示データが発生される。この表示データは、重畳部１２５に供給される。

【0060】

重畳部１２５では、画像データ入力部１２２に入力された動画像データに、表示データ発生部１２４で発生された表示データが重畳される。この場合、重畳部１２５では、画像上に重畳表示される記述２０３の視認性を高めるための処理、例えば、動画像データの解像度を低下させる処理、記述部分と判断された各部分が縁取りされて表示されるように表示データを処理する処理、記述部分と判断された各部分の色が背景画像（動画像データによる画像）の色と異なるように表示データの色変更をする処理などが行われる。

【0061】

表示データが重畳された動画像データは、重畳部１２５から画像圧縮処理部１２６に供給される。画像圧縮処理部１２６では、表示データが重畳された動画像データに対して、例えば、ＭＰＥＧ方式によりデータ圧縮符号化処理が行われ、符号化画像データが生成される。

【0062】

この符号化画像データは、ネットワークインタフェース１２７に直接供給されるか、あるいは一旦記録部１２８に記録され、適宜なタイミングで再生されてネットワークインタフェース１２７に供給される。ネットワークインタフェース１２７により、符号化画像データが、無線あるいは有線のネットワークを通じて、表示装置１０３-1～１０３-Nに送信される。

【0063】

図６は、表示装置１０３-1～１０３-Nのディスプレイに表示される表示画像の一例を示している。この表示画像においては、記述部２０２の前側に記述者２０１が存在する動画像データによる画像の上に、表示データによる記述２０３が重畳表示されている。また、この例においては、記述２０３の部分が縁取りされて示されている。そのため、記述者２０１で隠される記述部２０２上の記述２０３の視認性が、記述者２０１と記述部２０２上の記述２０３との位置関係を保った状態で確保されている。

【0064】

上述したように、図１に示す画像処理システム１０において、画像処理装置１０２では、記述部分と判断された各部分を記述として表示する表示データを発生して動画像データに重畳している。そのため、記述者２０１によって隠される記述部２０２上の記述２０３の視認性を記述者２０１と記述部２０２上の記述２０３との位置関係を保った状態で確保することができる。

【0065】

また、図１に示す画像処理システム１０において、画像処理装置１０２では、動画像データに表示データを重畳する際に、画像上に重畳表示される記述２０３の視認性を高めるための処理、例えば、動画像データの解像度を低下させる処理、記述部分と判断された各部分が縁取りされて表示されるように表示データを処理する処理、記述部分と判断された各部分の色が背景画像（動画像データによる画像）の色と異なるように表示データの色変更をする処理などを行っている。そのため、画像上に重畳表示される記述２０３の視認性を高めことができる。

【0066】

＜２．変形例＞
なお、上述実施の形態においては、記述者２０１の状態によらず、常に動画像データによる画像上に記述２０３を重畳表示する例を示した。しかし、記述者２０１が例えば正面を向いて話し始めた状態では、講義出席者や会議主席者は、当該記述者２０１の一挙手一投足に注目すべきものとも考えられ、その場合には動画像データによる画像上に記述２０３が重畳表示されないようにしてもよい。

【0067】

図７は、その場合における画像処理装置１０２の構成例を示している。この図７において、図３と対応する部分には同一符号を付し、その詳細説明は省略する。顔認識処理部１２９は、画像データ入力部１２２に入力された動画像データを処理して記述者２０１の顔を認識し、記述者２０１が正面を向いている状態にあるか否かを検知し、その検知結果を制御部１２１に送る。

【0068】

制御部１２１は、記述者２０１が正面を向いている状態にないときは、上述実施例におけると同様に、記述判断処理部１２３、表示データ発生部１２４および重畳部１２５を動作させる。一方、制御部１２１は、記述者２０１が正面を向いている状態にあるときは、記述判断処理部１２３および表示データ発生部１２４の動作を一時的に停止させ、重畳部１２５では、画像データ入力部１２２に入力された動画像データをそのまま出力とさせる。なお、記述者２０１が正面を向いている状態にあっても、記述判断処理部１２３の動作は継続されていてもよい。

【0069】

図７に示す画像処理装置１０２のその他の構成および動作は、上述した図３に示す画像処理装置１０２と同様である。

【0070】

図８は、記述者２０１が正面を向いている状態にあるときに表示装置１０３-1～１０３-Nのディスプレイに表示される表示画像の一例を示している。この表示画像においては、記述部２０２の前側に記述者２０１が存在する動画像データによる画像の上に、表示データによる記述２０３は重畳表示されていない。これにより、講義出席者や会議主席者は、ディスプレイ画面を通じて記述者２０１の一挙手一投足により注目することが可能となる。

【0071】

なお、動画像データによる画像上に記述２０３が重畳表示されないようにすることは、記述者２０１が正面を向いている状態にあるときに限定されるものではなく、その他の場合であってもよい。また、図７の画像処理装置１０２では記述者２０１が正面を向いている状態にあるか否かを顔認識処理部１２９で検知し、その検知結果に基づいて画像データによる画像上に記述２０３が重畳表示されないようにしている。しかし、動画像データによる画像上に記述２０３を重畳表示するか否かの判断を人為的に行うことも考えられる。

【0072】

また、上述実施の形態においては、画像処理装置１０２は、カメラ１０１とは別個に設けられている。しかし、カメラ１０１の内部に、画像処理装置１０２の機能を備える構成も考えられる。

【0073】

図９は、その場合におけるカメラ１０１の構成例を示している。このカメラ１０１は、制御部１１１と、撮像部１１２と、撮像信号処理部１１３と、画像データ出力部１１４を有している。制御部１１１は、カメラ１０１の各部の動作を制御する。撮像部１１２は、図示しない撮像レンズおよび撮像素子を有しており、画像を撮像し、撮像信号を出力する。撮像素子は、ＣＣＤ(Charged Coupled Device)、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)等の撮像素子である。

【0074】

撮像信号処理部１１３は、撮像部１１２から出力される撮像信号（アナログ信号）に対して、サンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、動画像データ（撮像画像データ）を生成する。画像データ出力部１１４は、撮像信号処理部１１３で生成された動画像データを外部機器に出力する、例えば、この画像データ出力部１１４は、例えば外部機器と接続するためのケーブルを接続するコネクタである。また、例えば、この画像データ出力部１１４は、動画像データを外部機器に有線または無線のネットワークで送信するネットワークインタフェースである。

【0075】

また、このカメラ１０１は、さらに、記述判断処理部１２３と、表示データ発生部１２４と、重畳部１２５と、画像圧縮処理部１２６と、ネットワークインタフェース１２７と、記録部１２８を有している。これらについては、上述の画像処理装置１０２（図３参照）で説明した通りであるので、ここではその説明を省略する。

【0076】

また、上述実施の形態においては、記述者２０１が記述部２０２、例えばホワイトボード、黒板などに記述２０３を加えながら説明している状態を撮像して得られた動画像データを処理するものであったが、その他の同様の動画像データを処理することもできる。例えば、記述者が机上で紙に記述を加えながら説明している状態を撮像して得られた動画像データを同様に処理して、記述の視認性を高めることも可能である。

【0077】

また、記述部２０２上の記述は、文字だけに限定されるものではなく、図形やマークであってもよく、また、筆記によるものだけでなく、記述部２０２上に掲示されたものであってもよい。

【0078】

また、本技術は、以下のような構成を取ることもできる。
（１）記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する記述判断処理部と、
上記記述部分と判断された各部分を記述として表示する表示データを発生して上記動画像データに重畳する記述重畳処理部を備える
画像処理装置。
（２）上記記述判断処理部は、
現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、該差分値が閾値以上である画素が連続する纏まりを把握し、該纏まり毎に上記記述部分であるか否かを判断する
前記（１）に記載の画像処理装置。
（３）上記記述判断処理部は、
上記纏まり毎に、形状評価値、抽出時間評価値および静止時間評価値を用いて上記記述部分であるか否かを判断し、
上記記述判断処理部は、
上記形状評価値を、上記纏まりを包含する最小四角形と上記纏まりの内部に包含される最大四角形の縦横比の関係性から求め、
上記抽出時間評価値を、上記纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける上記基準フレーム画像との間の差分値に基づいて求め、
上記静止時間評価値を、上記纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける１フレーム前のフレーム画像との間の差分値に基づいて求める
前記（２）に記載の画像処理装置。
（４）上記記述重畳処理部は、上記表示データを上記動画像データに重畳する際に、記述の視認性を高めるための処理をする
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）上記記述重畳処理部は、
上記動画像データの解像度を低下させる処理を行った後に、該動画像データに上記表示データを重畳する
前記（４）に記載の画像処理装置。
（６）上記記述重畳処理部は、
上記記述部分と判断された各部分が縁取りされて表示されるように上記表示データを処理した後に、該表示データを上記動画像データに重畳する
前記（４）または（５）に記載の画像処理装置。
（７）上記記述重畳処理部は、
上記記述部分と判断された各部分の色が背景画像の色と異なるように上記動画像データの色情報に基づいて上記表示データを処理した後に、該表示データを上記動画像データに重畳する
前記（４）から（６）のいずれかに記載の画像処理装置。
（８）上記動画像データに基づいて上記記述者の顔が正面を向いている状態が検知されるとき、上記動画像データに上記表示データを重畳しないように上記記述重畳処理部を制御する記述重畳制御部をさらに備える
前記（１）から（７）のいずれかに記載の画像処理装置。
（９）上記記述者が記述部に記述している状態を撮像する撮像部と、
上記撮像部で得られた撮像信号を処理して上記動画像データを得る撮像信号処理部をさらに備える
前記（１）から（８）のいずれかに記載の画像処理装置。
（１０）上記記述重畳処理部で得られた動画像データを外部機器に送信する送信部をさらに備える
前記（１）から（９）のいずれかに記載の画像処理装置。
（１１）記述判断処理部が、記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する記述判断処理ステップと、
記述重畳処理部が、上記記述部分と判断された各部分を記述として表示する表示データを発生して上記動画像データに重畳する記述重畳処理ステップを有する
画像処理方法。

【符号の説明】

【0079】

１０・・・画像処理システム
１０１・・・カメラ
１０２・・・画像処理装置
１０３-1～１０３-N・・・表示装置
１１１・・・制御部
１１２・・・撮像部
１１３・・・撮像信号処理部
１１４・・・画像データ出力部
１２１・・・制御部
１２２・・・画像データ入力部
１２３・・・記述判断処理部
１２４・・・表示データ発生部
１２５・・・重畳部
１２６・・・画像圧縮処理部
１２７・・・ネットワークインタフェース
１２８・・・記録部
１２９・・・顔認識処理部
２０１・・・記述者
２０２・・・記述部
２０３・・・記述

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】