特開 2020-160341 動画出力システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-160341(P2020-160341A)

(43)【公開日】2020年10月1日

(54)【発明の名称】動画出力システム

(51)【国際特許分類】

   G10L 21/003 20130101AFI20200904BHJP

   G10L 15/10 20060101ALI20200904BHJP

   G06T 13/20 20110101ALI20200904BHJP

【ＦＩ】

   G10L21/003

   G10L15/10 500T

   G06T13/20 500

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

【全頁数】25

(21)【出願番号】特願2019-61491(P2019-61491)

(22)【出願日】2019年3月27日

(11)【特許番号】特許第6656447号(P6656447)

(45)【特許公報発行日】2020年3月4日

(71)【出願人】

【識別番号】000108937

【氏名又は名称】ダイコク電機株式会社

(74)【代理人】

【識別番号】100129654

【弁理士】

【氏名又は名称】大池 達也

(72)【発明者】

【氏名】扇間 敬幸

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA09

5B050BA08

5B050BA12

5B050EA06

5B050EA13

5B050EA30

5B050FA02

5B050FA10

(57)【要約】

【課題】情報入手が難しい人物であっても、見る側がより身近に感じられるように表現できる動画出力システムを提供すること。
【解決手段】デジタルポートレート１は、人の顔の撮像画像である静止画に画像処理を施して目のまばたきや口の開閉や表情の変化等を伴う動画を生成する動画生成部と、外部マイクで入力された音声を加工して声色を変える音声変換部と、を含んでおり、動画生成部が音声に同期して変化するように生成した動画を音声と共に出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

人の顔が撮像された静止画に画像処理を施すことにより、顔の表情の変化、目のまばたき、口の動き、及び顔の向きの変化のうちの少なくともいずれかを含む動画を生成する動画生成部と、
音を電気信号に変換する集音マイクを介して入力された音声を加工し、声色及び話し方のうちの少なくともいずれかが異なる音声に変換する音声変換部と、
前記動画生成部により生成された動画、及び前記音声変換部により変換された音声を出力する出力装置と、を含み、
前記動画生成部は、前記出力装置によって出力する音声に同期して変化する動画を生成する動画出力システム。

【請求項2】

声色を特定可能な話者情報を記憶する話者情報記憶部を含み、前記音声変換部は、前記話者情報記憶部が記憶する話者情報によって特定される声色に音声を変換するように構成されている請求項１に記載の動画出力システム。

【請求項3】

話し方を特定可能な話者情報を記憶する話者情報記憶部を含み、前記音声変換部は、前記話者情報によって特定される話し方に音声を変換するように構成されている請求項１又は２に記載の動画出力システム。

【請求項4】

集音マイクを介して入力された問掛け音声との対話を実現するための音声パターンを予め記憶する音声パターン記憶部と、問掛け音声の意味内容を特定する音声認識部と、を含み、
前記音声変換部は、前記音声パターンに係る音声を加工し、
前記出力装置は、前記音声認識部が特定した問掛け音声の意味内容に対応すると共に加工された音声パターンに係る音声を出力するように構成されている請求項１〜３のいずれか１項に記載の動画出力システム。

【請求項5】

前記静止画を取得するための静止画取得部を含み、
該静止画取得部により取得された静止画は、該静止画を元にした動画の出力先の出力装置の識別情報を対応付けて前記動画生成部に送信され、
該動画生成部により生成された動画は、元になった静止画に対応付けられた識別情報に係る出力装置に送信される請求項１〜４のいずれか１項に記載の動画出力システム。

【請求項6】

前記動画生成部が生成した動画を立体的に表示する立体表示部を備えている請求項１〜５のいずれか１項に記載の動画出力システム。

【請求項7】

前記立体表示部は、動画の立体的な表示である立体像の背面側に位置する光源を含めて構成されている請求項６に記載の動画出力システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画出力システムに関する。

【背景技術】

【0002】

身近な人物であれば実際にコミュニケーションをとることが可能である一方、故人や有名人等が対象である場合、実際のコミュニケーションをとることは難しい。例えば下記の特許文献１には、故人や有名人など実際のコミュニケーションが困難な対象人物に関する情報をホームページサーバに登録しておき、人物毎のホームページの閲覧により対象人物に関する情報をインターネット上で閲覧可能とする技術的思想が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−１８７５１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、例えば対象人物が故人であれば生前に得た情報しか入手できず、有名人であれば一般に公開されている写真などの汎用的な情報以外は入手が難しいため、ホームページで閲覧可能な情報が限られた情報のみとなり、対象人物を身近に感じることが難しいという問題がある。

【0005】

本案は上記事情に鑑み、情報入手が難しい人物であっても、見る側がより身近に感じられるように表現できる動画出力システムを提供することを目的とするものである。

【課題を解決するための手段】

【0006】

本発明の動画出力システムは、集音マイクを介して入力された音声を加工し、声色及び話し方の少なくともいずれかが異なる音声に変換して出力可能である。さらに、この動画出力システムは、人の顔が撮像された静止画を元にして音声に同期した動画を生成し、音声と共に動画を出力可能である。

【0007】

本発明の動画出力システムによれば、入力する音声次第で、多様な意味内容の音声を出力可能である。したがって、この動画出力システムによれば、限られた情報しか入手できない人物であっても、多様な情報を含む音声を動画と共に出力可能である。このように動画と共に音声を出力すれば、見る側にとって、その人物をより身近に感じられるようになる。

【0008】

このように本発明の動画出力システムは、情報入手が難しい人物であっても、見る側がより身近に感じられるように表現できる優れた特性の動画出力システムである。

【図面の簡単な説明】

【0009】

【図1】実施例１における、デジタルポートレート（動画出力システム）の斜視図。

【図2】実施例１における、デジタルポートレートの運用状況の説明図。

【図3】実施例１における、デジタルポートレートの電気的構成を示すブロック図。

【図4】実施例１における、特徴点抽出処理の説明図。

【図5】実施例１における、故人をモデル化する手順を示すフロー図。

【図6】実施例１における、話者情報抽出処理の流れを示すフロー図。

【図7】実施例１における、動画生成処理、音声変換処理の流れを示すフロー図。

【図8】実施例２における、話者情報抽出処理の流れを示すフロー図。

【図9】実施例２における、音声変換処理の流れを示すフロー図。

【図10】実施例４における、動画出力システムの説明図。

【図11】実施例５における、動画出力システムの説明図。

【図12】実施例６における、動画生成処理の流れを示すフロー図。

【図13】実施例７における、立体表示部の説明図。

【図14】実施例７における、立体像を例示する説明図。

【図15】実施例７における、他の立体表示部の説明図。

【図16】実施例７における、立体像を例示する説明図。

【図17】実施例８における、デジタルポートレートを示す図。

【図18】実施例８における、立体表示部の構造の説明図。

【図19】実施例８における、他のデジタルポートレートを示す図。

【発明を実施するための形態】

【0010】

本発明の実施の形態につき、以下の実施例を用いて具体的に説明する。
（実施例１）
本例は、音声と共に動画を出力可能なデジタルポートレート１に関する例である。この内容について、図１〜図７を用いて説明する。
動画出力システムの一例をなすデジタルポートレート１は、音声付の動画による故人の遺影として利用される。デジタルポートレート１は、遺影の故人が参列者の問掛けに受け答えする高機能の出力装置として機能する。

【0011】

デジタルポートレート１（図１）は、漆塗の黒色のフレーム１Ｆを有し、フレーム１Ｆの内側に液晶ディスプレイ２１（図３参照。）の表示画面２１０が配置されている。デジタルポートレート１の背面側には、フレーム１Ｆよりもひと回り小さい筐体１３が設けられ、電気的な構成の収容スペースが確保されている。

【0012】

筐体１３（図１及び図２）の外周では、内蔵スピーカ２２３が左右両側の側面に設けられているほか、電源スイッチ１３１や、外部端子１３２〜１３５などが配設されている。外部端子としては、スピーカ端子１３４や、マイク端子１３５や、ＵＳＢ端子１３３や、外部モニタ端子１３２などがある。また、フレーム１Ｆの前面には、内蔵カメラ２２１、内蔵マイク２２２が埋設されている。内蔵マイク２２２は、例えば葬儀の参列者等が個人に問掛ける音声を取得するための集音マイクである。内蔵カメラ２２１は、故人に向かって問掛ける参列者を撮像するための撮像カメラである。

【0013】

ＵＳＢ端子１３３には、ＵＳＢ規格のキーボードやマウスなどを接続可能である。キーボードやマウスを接続すれば、一般的なＰＣと同様にデジタルポートレート１を操作でき、各種の設定操作が可能である。設定操作の際には、黒塗りのフレーム１Ｆに囲まれた表示画面２１０をモニタとして利用することも可能である。さらに、ＵＳＢ端子１３３には、一般的なＵＳＢメモリ等の外付メモリ３９（図３）を装着可能である。ＵＳＢメモリなどの記憶媒体を利用すれば、動画の元になる故人の静止画の画像データや、故人の音声データや、デジタルポートレート１の機能を高めるためのソフトウェアなどの転送が可能である。

【0014】

マイク端子１３５には、外部マイク（集音マイク）３１を接続可能である。外部マイク３１を利用すれば、バックヤードに控えたオペレータ３００が音声を入力可能である。マイク端子１３５を複数系統設けることも良い。この場合には、参列者が音声を入力するための外部マイクを接続できる。祭壇に飾られた遺影の間近に参列者が近づけない場合であっても、参列者用の外部マイクがあれば、問掛け音声を確実性高く入力できる。

【0015】

スピーカ端子１３４には、外部スピーカ３２を接続可能である。例えば、参列者の問掛け音声に対応するオペレータ３００が控えるバックヤードに外部スピーカ３２を設置すると良い。問掛け音声を出力する外部スピーカ３２を設定すれば、問掛け音声に対応するオペレータ３００が控えるバックヤードの設置自由度が高くなる。

【0016】

外部モニタ端子１３２には、汎用のＰＣモニタを接続可能である。例えば、オペレータ３００が控えるバックヤードに外部モニタ３３を設置し、内蔵カメラ２２１による参列者の撮像画像を表示することも良い。参列者を表示する外部モニタ３３をバックヤードに設置すれば、オペレータ３００が参列者の表情やしぐさを確認しながら、参列者の問掛けに対してより的確に対応できる。また例えば、デジタルポートレート１の設定操作を実施する際、例えばオペレータ３００が作業する机上に、キーボード、マウス、外部モニタが揃っていれば、デジタルポートレート１の各種の設定操作や機能の切替操作などをバックヤードから実施できる。また、バックヤードに２台目の外部モニタを設置することも良い。参列者の問掛け音声に対する対応作業と並行して、デジタルポートレート１の設定操作等を実施できる。

【0017】

なお、外部端子の機能は、全て、Bluetooth（登録商標）やワイヤレスディスプレイなど、無線技術によって代替可能である。無線技術によれば、設定操作や、問掛け音声に応答するオペレータ３００が控えるバックヤードの設置自由度を格段に向上できる。オペレータ３００が控えるバックヤードを遠隔地に設けることも可能である。例えばインターネットを利用すれば、遠隔地のオペレータ３００が問掛け音声に対応可能である。

【0018】

筐体１３には、図３のごとく、動画生成部２０２や音声変換部２０４等としての機能を実現するメイン基板２や、液晶ディスプレイ２１を制御する表示制御基板２１１や、ハードディスク（ＨＤ）２４などの記憶装置や、内蔵スピーカ２２３や内蔵マイク２２２のアンプ基板２２や、内蔵カメラ２２１、図示しない電源回路などが収容されている。

【0019】

メイン基板２は、各種の演算処理を実行するＣＰＵ（Central Processing Unit）２０、ＲＯＭ２０７やＲＡＭ２０８などの記憶素子や、入出力を制御するＩ／Ｏコントローラ２０９などが実装された電子基板である。デジタルポートレート１は、ディスプレイ一体型のＰＣ（Personal Computer）と同様のハードウェア構成を備えている。デジタルポートレート１には、ウィンドウズ（登録商標）やＬｉｎｕｘ（登録商標）などの汎用ＯＳ（Operating System）を組込みしても良く、独自のＯＳを組込みしても良い。

【0020】

ハードディスク２４は、メイン基板２のＣＰＵ２０が読み出し可能な記憶領域をなし、故人情報記憶部２４０としての機能を備えている。故人情報記憶部２４０は、故人の静止画及び音声データのほか、故人に関わる各種の情報を記憶するための記憶領域をなしている。

【0021】

ＣＰＵ２０は、ハードディスク２４に格納されたソフトウェアプログラムを実行することで、故人の３次元モデルを生成する故人モデル化部２０１、故人の動画を生成する動画生成部２０２、故人の声色情報（話者情報の一例）を抽出する話者情報抽出部２０３、オペレータの返答音声の声色を変換する音声変換部２０４、音声認識部２０５等としての各種の機能を実現する。

【0022】

次に、（１）故人情報記憶部２４０、（２）故人モデル化部２０１、（３）動画生成部２０２、（４）話者情報抽出部２０３、（５）音声変換部２０４、（６）音声認識部２０５の各機能について説明する。

【0023】

（１）故人情報記憶部（話者情報記憶部）
故人情報記憶部２４０は、例えば、故人に関わる以下の各情報を記憶している。
（１．１）故人の静止画：予め撮影された故人の静止画。
（１．２）故人の音声データ：予め録音された故人の音声データ。
（１．３）故人の声色情報：故人の声色を特定する声色情報。
（１．４）故人の３次元モデルデータ：故人の静止画に基づく３次元モデル（ワイヤフレームモデル）のデータ。
（１．５）故人の情報：故人の趣味や好物や交友関係や姻戚関係等の情報。故人と交友関係や姻戚関係を有する人物の顔画像や個人情報などを、故人の情報に含めることも良い。なお、故人の情報は、オペレータによる操作に応じて適宜、参照可能に構成しておくと良い。故人の情報があれば、オペレータが参列者の問掛けに対してより的確に対応できる。

【0024】

（２）故人モデル化部
故人モデル化部２０１は、顔の特徴点を抽出する特徴点抽出部、３次元モデル生成部により構成されている。
（２．１）特徴点抽出部
特徴点抽出部は、故人の静止画の顔領域について、目、鼻、唇、眉などの特徴点ＦＰ（図４参照。）を抽出する特徴点抽出処理（画像処理の一例）を実行する。例えば目については、目頭、目尻、黒目、目の輪郭をなす点などが特徴点ＦＰとして抽出される。例えば口については、口角、上唇の輪郭をなす点、下唇の輪郭をなす点などが特徴点ＦＰとして抽出される。
（２．２）３次元モデル生成部
３次元モデル生成部は、故人の３次元モデルを生成する３次元モデル生成処理を実行する。画像処理の一例をなす３次元モデル生成処理は、標準的な顔（標準顔）の３次元的な形状を表すワイヤフレームモデルである標準３次元モデルを故人に適合するように変形させることで、故人の３次元モデルを生成する処理である。

【0025】

標準３次元モデルは、例えば、目、鼻、唇、眉などに対応する特徴点が、頂点あるいは交点として規定されたワイヤフレームモデルである。３次元モデル生成処理では、故人の静止画から抽出された特徴点と、標準３次元モデルの特徴点と、の対応付けが行われる。故人に係る特徴点の位置関係に合致するように標準３次元モデルを変形することで、故人の３次元モデルを生成できる。故人の３次元モデルをなすワイヤフレームモデルの各サーフェスには、静止画の対応領域の色やテクスチャーを割り付けると良い。

【0026】

（３）動画生成部
動画生成部２０２は、故人の３次元モデルを変形させて動きを生み出す動画生成処理を実行する。この動画生成処理では、３次元モデルをなすワイヤフレームモデルを局所的あるいは全体的に変形させる処理が行われる。例えば、瞼を閉じる動作を実現する際には、目を構成する特徴点などワイヤフレームモデルの頂点あるいは交点を変位させると良い。例えば、口を開く動作を実現する際には、口を構成する特徴点を変位させる処理が行われる。さらに例えば、頷く動作を実現する際には、故人の３次元モデルをなすワイヤフレームモデルの局所的な変形に代えて、軽く前回りさせるようにワイヤフレームモデル全体を回転変位させた後、すぐに元の位置に戻す処理が行われる。さらに、怒りの表情を故人に行わせる際には、眉や目尻を吊り上げるようなワイヤフレームモデルの変形処理が行われる。例えば故人の発話中では、目のまばたきや、口の開閉や、頷きなどを適宜組み合わせることで、故人の自然な発話動作を再現できる。

【0027】

（４）話者情報抽出部
話者情報抽出部２０３は、予め録音された故人の音声データから声色情報を分離、抽出する話者情報抽出処理を実行する。音声データに信号処理を施すと、声帯の振動に由来する音源情報と、話者のあごの骨格や口腔形状等が反映された声色情報に分解できる。音源情報は、音の強弱や音程など、音源から発生する音の特性を表す情報である。声色情報は、音源から生じた音が伝達される経路の特性を表す情報である。声色情報は、声質を表す情報であり、声帯の振動が伝わる口腔の形状などが反映される情報である。話者情報抽出部２０３によって抽出された声色情報は、故人の声色の特徴を表す情報として、故人情報記憶部２４０としてのハードディスク２４に保存される。

【0028】

（５）音声変換部
音声変換部２０４は、バックヤードに控えるオペレータの返答音声の声色を変換（加工）する音声変換処理を実行する。音声変換部２０４は、返答音声の音声データから音源情報を抽出する音源情報抽出部、音源情報に対して故人に係る声色情報を組み合わせる音声合成部、を含んで構成される。
（５．１）音源情報抽出部
音源情報抽出部は、外部マイク３１を利用して入力されたオペレータの音声データ（返答音声）から音源情報を分離、抽出する音源情報抽出処理を実行する。この音源情報抽出部は、上記の話者情報抽出部２０３と構成が似通っている。音源情報抽出部は、音声データを音源情報と声色情報とに分解する点において、話者情報抽出部２０３と同様の技術的構成を備えている。話者情報抽出部２０３が声色情報を分離、抽出するのに対して、音源情報抽出部は、音源情報を分離、抽出する点が相違している。
（５．２）音声合成部
音声合成部は、音源情報抽出部によって抽出された音源情報に対して、故人に係る声色情報を組み合わせて新たな音声を生成する音声合成処理を実行する。音声合成部によって合成された音声データは、内蔵スピーカ２２３から出力される。

【0029】

（６）音声認識部
音声認識部２０５は、参列者の問掛け音声及びオペレータの返答音声の意味内容を特定するための音声認識処理を実行する。本例の音声認識部２０５は、音声の意味内容を厳密に特定するものではなく、穏やかなものか、ユーモラスなものか、シリアスなものか、悲しみを含むものか、等を特定するものである。本例の音声認識処理では、例えば、音韻論で分析される最小の音韻的単位である音素の単位時間当たりの個数（発話速度）、音声の音程や、音声の音量、笑い声の有無、等によって、上記のような意味内容が特定される。

【0030】

以上のような構成のデジタルポートレート１は、例えば、故人の葬儀が執り行われる祭場において、祭壇の遺影とは別に、故人を偲ぶための遺影として活用される。デジタルポートレート１は、例えば、故人を偲ぶために設けられたスペースの壁面に取り付けられ、参列者は、デジタルポートレート１の故人との対話が可能である。デジタルポートレート１による音声は、バックヤードに控えるオペレータ３００（図２参照。）の音声が故人の声色に変換されたものである。参列者にとっては、生前の故人と対話するように感じられ、故人を懐かしむことが可能である。

【0031】

次に、このようなデジタルポートレート１の運用を可能とするための（ａ）準備作業、（ｂ）運用について、順番に説明する。
（ａ）準備作業
デジタルポートレート１を運用する際には、故人の静止画及び音声データを予め、故人情報記憶部２４０としてのハードディスク２４に保存しておく必要がある。例えば、故人の静止画及び音声データを保存したＵＳＢメモリ等の外付メモリ３９を利用すれば、静止画等のデータをデジタルポートレート１に容易に転送できる。なお、精度の高い声色情報を抽出するためには、故人の存命中に、所定パターンの会話文を音読させて記録しておくと良い。所定パターンの会話文には、声色情報を精度高く抽出可能な会話のパターンを設定すると良い。

【0032】

さらに、故人情報記憶部２４０としてのハードディスク２４には、上記の（１．５）故人の情報を保存しておくと良い。故人の情報は、参列者の問掛け音声にオペレータが返答する際の参考情報として有用である。なお、上記の通り、故人情報記憶部２４０に記憶させる故人に係る情報（静止画、音声データ、故人の情報）は、例えばＵＳＢメモリを利用してデジタルポートレート１に転送可能である。ＵＳＢメモリ等に代えて、フラッシュＲＯＭを内蔵するＳＤカードを利用することも良い。さらに、デジタルポートレート１がＷｉＦｉ（登録商標）などの無線通信機能を備えていれば、別体のＰＣ装置から無線でデータ転送することも良い。さらにデジタルポートレート１がＷｉＦｉ（登録商標）等を介してインターネットに接続可能であれば、インターネットを介してデジタルポートレート１と接続可能な別体のＰＣ装置あるいはサーバ装置からデータ転送することも良い。

【0033】

デジタルポートレート１を運用可能な状態に設定するためには、ハードディスク２４に保存されたスタンバイプログラムによる所定のスタンバイ処理の実行が必要である。このスタンバイ処理は、上記の特徴点抽出処理、３次元モデル生成処理、及び話者情報抽出処理を含む処理である。スタンバイ処理の内容について図５及び図６を参照して説明する。

【0034】

スタンバイ処理では、図５のごとく、メイン基板２のＣＰＵ２０が、まず、故人情報記憶部２４０としてのハードディスク２４から故人の静止画の画像データを読み込む（Ｓ１０１）。そして、故人の静止画について特徴点ＦＰを抽出する特徴点抽出処理を実行する（Ｓ１０２、図４参照。）。

【0035】

メイン基板２のＣＰＵ２０は、抽出された故人の特徴点ＦＰによって標準３次元モデルを変形する処理を実行し、故人の３次元モデルを生成する（Ｓ１０３、３次元モデル生成処理）。ＣＰＵ２０は、故人情報記憶部２４０としてのハードディスク２４に故人の３次元モデルを書き込む（Ｓ１０４）。これにより、デジタルポートレート１の運用中に、ＣＰＵ２０が故人の３次元モデルを利用可能になる。

【0036】

さらにスタンバイ処理では、図６のごとく、メイン基板２のＣＰＵ２０が、故人情報記憶部２４０としてのハードディスク２４から故人の音声データを読み込む（Ｓ２０１）。そして、ＣＰＵ２０は、故人の音声データから声色情報を分離、抽出する話者情報抽出処理を実行する（Ｓ２０２）。ＣＰＵ２０は、故人情報記憶部２４０としてのハードディスク２４に故人の声色情報を書き込む（Ｓ２０３）。これにより、デジタルポートレート１の運用中に、ＣＰＵ２０が故人の声色情報を利用可能になる。

【0037】

（ｂ）運用
デジタルポートレート１は、所定の運用プログラムの実行によって運用される。デジタルポートレート１の運用中では、故人の動画が表示画面２１０に表示され、対話も可能である。デジタルポートレート１の故人は、まばたきや、時折、頭を傾けたり、顔の向きを変えるといった動作を行う。特に、会話中の故人は、発話に合わせて口を開閉したり、話の内容に応じて軽く頷くといった様々な動作を行う。

【0038】

デジタルポートレート１の故人に対面する参列者は、フレーム１Ｆに埋設された内蔵カメラ２２１によって撮像されてバックヤードの外部モニタ３３に表示される。また、その参列者が故人に問掛けた音声は、フレーム１Ｆに埋設された内蔵マイク２２２によって電気信号に変換され、デジタルポートレート１を経由して、バックヤードの外部スピーカ３２から出力される。

【0039】

参列者に応対するオペレータが控えるバックヤードには、上記のごとく、外部スピーカ３２のほかに、オペレータの音声を電気信号に変換する外部マイク３１や、参列者の撮像画像を表示する外部モニタ３３等が設置されている。オペレータは、外部モニタ３３に表示された参列者を視認しながら、問掛け音声に対して適宜、返答できる。オペレータによる返答音声は、音声合成により故人の声色に変換されて内蔵スピーカ２２３から出力される。

【0040】

上記のようなデジタルポートレート１の動作の流れを、図７のフロー図を参照して説明する。メイン基板２のＣＰＵ２０は、デジタルポートレート１の運用開始時に、まず、故人情報記憶部２４０としてのハードディスク２４から故人の３次元モデル及び声色情報を読み込む（Ｓ３０１）。

【0041】

続いてＣＰＵ２０は、参列者の音声あるいはオペレータの音声の有無、すなわち音声の入力状態であるか否かを判断する（Ｓ３０２）。音声としては、参列者の問掛け音声、問掛け音声に対するオペレータの返答音声、オペレータの挨拶音声等がある。挨拶音声は、定型文の読み上げ音声などである。定型文としては、例えば「本日は、私の葬儀に御列席頂き、まことにありがとうございます。・・・・」等の挨拶文などがある。

【0042】

いずれかの音声が有る場合には（Ｓ３０２：有）、ＣＰＵ２０は、その音声の音声データの取込を実行する（Ｓ３０３）。ＣＰＵ２０は、音声の発話元がオペレータであるか参列者であるかを判断する（Ｓ３０４）。バックヤードのオペレータが発話元であるとき、ＣＰＵ２０は、音声データに対して上記の音源情報抽出処理を適用して、オペレータの音声から音源情報を分離、抽出する（Ｓ３０４：ＹＥＳ→Ｓ３０５）。そして、ＣＰＵ２０は、オペレータの音声から抽出された音源情報に対して、故人の声色情報を組み合わせる音声合成を実行する（Ｓ３０６）。一方、音声の発話元がオペレータではなく参列者であったとき（Ｓ３０４：ＮＯ）、ＣＰＵ２０は、故人の声を音声合成によって再現するための上記のＳ３０５、Ｓ３０６の処理を迂回する。

【0043】

ＣＰＵ２０は、音声の発話元がオペレータであるか参列者であるかに関わらず、上記のＳ３０３で取り込みした音声に対して音声認識処理を適用し、音声の意味内容を特定する（Ｓ３０７）。なお上記の通り、このときの音声認識は、音声の意味内容を厳密に特定するものではない。例えば、単位時間当たりの音素の数（発話速度）、音声の音程や、音声の音量、笑い声の有無、等によって、音声の意味内容が、穏やかか、ユーモラスか、シリアスか、悲しみを含むものか、等の意味内容を特定するのみである。

【0044】

続いてＣＰＵ２０は、デジタルポートレート１に表示された故人に動きを与えるために、上記のＳ３０１で読み込んだ故人の３次元モデルを適宜、変形させる処理を実行する（Ｓ３０８）。上記のごとく、３次元モデルの変形態様としては、目のまばたきや、口の開閉や、頷きや、顔の向きの変更や、顔の表情の変化などがある。

【0045】

参列者の音声もオペレータの音声も入力されていない場合（Ｓ３０２：無）、故人の動作は、目のまばたき、辺りを見まわすような顔の向きの変更などが主体的になる。参列者の問掛け音声の入力中（Ｓ３０２：有→Ｓ３０４：ＮＯ）における故人の動作は、問掛け音声の時間的な間や区切り等に応じた頷き、問掛け音声の意味内容に応じた故人の表情変化などがある。また、オペレータの発話中（Ｓ３０２：有→・・・→Ｓ３０４：ＹＥＳ）における故人の動作は、返答音声の発話に応じた口の開閉や、返答音声の意味内容に応じた表情変化などがある。

【0046】

例えば、発話に合わせて口を開閉させる際には、例えば、返答音声を構成する音源データの強弱や音源情報の種別（母音か子音か等）に応じて口を開閉させるための変形処理を故人の３次元モデルに適用すると良い。変形処理は、３次元モデルをなすワイヤフレームモデルの頂点あるいは交点の一部または全部を変位させる処理である。例えば、口を開閉させる際には、ＣＰＵ２０は、口の輪郭を形成するワイヤフレームモデルの頂点あるいは交点を適宜、変位させることで、口の開閉動作を実現する。

【0047】

ＣＰＵ２０は、故人の３次元モデルを正面から見た２次元画像に随時、変換し、表示画面２１０の故人の画像を更新する。これにより、デジタルポートレート１に故人の動画を表示できる（Ｓ３０９）。オペレータが発話中のとき、ＣＰＵ２０は、故人の動画と同期して、上記のＳ３０６で音声合成した故人の音声を内蔵スピーカ２２３から出力する。故人の音声としては、参列者の問掛け音声に対する返答音声と、定型の挨拶文の読み上げ音声等がある。

【0048】

以上のように構成されたデジタルポートレート１は、デジタル技術を利用して故人を動画で表示すると共に、故人との対話が可能な高機能の遺影である。このデジタルポートレート１を活用すれば、故人との対話を通じて故人を偲び懐かしむことができる。故人との対話中では、参列者からの問掛けに応じて故人が頷いたり、話の内容に応じて故人の表情が変わることもある。問掛ける側の参列者にとっては、自分の問掛けに応じて故人が反応を示すように感じられ、故人を身近に感じることができる。

【0049】

さらに参列者は、故人に問掛けたとき、故人の声色で返答を受けることができる。さらに、デジタルポートレート１の故人は、返答する際に口を開閉させたり、返答の内容によって笑ったり怒ったり等、様々な表情を見せる。参列者にとっては、自分の問掛けに応じて故人が生前と同様、誠実に返答してくれるように感じられ、故人に対して親しみを感じることができる。

【0050】

なお、内蔵カメラ２２１による撮像画像に画像処理を施し、デジタルポートレート１の前を通り過ぎる参列者や、立ち止まる参列者を検出することも良い。通り過ぎる参列者を目で追うような動きをデジタルポートレート１の故人に行わせることも良く、前を通る参列者に対して会釈する動作を故人に行わせることも良い。

【0051】

メイン基板２のＣＰＵ２０の機能として、参列者を特定するための人物特定処理を実行する人物特定部としての機能を追加することも良い。この人物特定部は、例えば、内蔵カメラ２２１による参列者の撮像画像から顔領域を切り出し、故人に縁のある人物の顔画像等を故人の情報として記憶するハードディスク２４の記憶領域を参照することで、参列者を特定する。参列者を特定したとき、メイン基板２のＣＰＵ２０が、その参列者に関する情報をハードディスク２４から読み出してオペレータに提示すると良い。提示方法としては、参列者の撮像画像を表示する外部モニタ３３の表示画面の一部を占有する表示窓を設け、参列者に関する情報を表示することも良い。この場合には、バックヤードのオペレータは、参列者の様子を視認すると共に、参列者に関する情報を把握した上で、参列者の問掛けに対して適切に返答できる。参列者と故人との関係や参列者の情報等を把握していれば、問掛け音声に対してオペレータが的確に返答可能である。なお、オペレータの操作に応じて、表示窓の表示内容が外部モニタ３３の表示画面に大きく表示されるように切り替えることも良い。参列者を特定できたとき、参列者に関する情報が有る旨をオペレータに報知する手段を設けることも良い。この場合、参列者の情報を求めるオペレータの切替操作に応じて、外部モニタ３３の表示画面を参列者に関する情報の表示画面に切り替えると良い。

【0052】

本例では、予め故人の音声データをハードディスク２４等に保存しておき、スタンバイ処理の実行により故人の声色情報（話者情報の一例）を生成してハードディスク２４に保存している。これに代えて、故人の音声データを取得したとき、直ちにその声色情報を分離、抽出しておくことも良い。そして、故人情報記憶部２４０としてのハードディスク２４に、故人の声色情報を保存しておくことも良い。

【0053】

本例では、故人の存命中に所定パターンの会話文を音読させることで音声データを収集する例を説明している。これに代えて、生前の故人が撮影されたビデオ画像等の中から故人の音声データを切り出し、声色情報を抽出することも可能である。あるいは、兄弟や親子など声質の似た親族に所定パターンの会話文を音読させ、声色情報を抽出することも良い。近親者の場合、声質を左右する口腔形状や骨格の形状が似通っていることが多いため、故人の声色情報として利用できる可能性がある。

【0054】

また、本例では、予め故人の静止画をハードディスク２４等に保存しておき、スタンバイ処理の実行により、故人の３次元モデルを生成してハードディスク２４に保存する例を説明している。これに代えて、静止画に基づく故人の３次元モデルを予め生成しておき、ハードディスク２４に保存しておくことも良い。

【0055】

本例では、参列者による問掛け音声に対してオペレータが考えて返答する構成を例示している。さらに、オペレータを補助する機能として、参列者の撮像画像を外部モニタ３３に表示する機能や、参列者に関する情報や、故人の情報などのテキスト表示を外部モニタ３３に表示する機能等を例示している。これに代えて、メイン基板２のＣＰＵ２０が返答テキストを生成し、外部モニタ３３にテキスト表示する構成を採用しても良い。メイン基板２のＣＰＵ２０が返答のテキストを生成するための構成としては、例えば、問掛け音声の意味内容を音声認識によって特定し、その認識結果に応じて返答例を生成する構成がある。このときの音声認識により特定する意味内容としては、問掛け音声に対する対話が可能なレベルであると良い。対話可能なレベルまで問掛け音声の意味内容を特定できた場合、メイン基板２のＣＰＵ２０が、ハードディスク２４に保存された故人の情報の中から、問掛け音声の意味内容に対応する情報を選択的に取得できる。問掛け音声の意味内容に対応する故人の情報を取得できれば、その情報を反映させた返答例のテキストを生成できる。なお、問掛け音声の意味内容の特定（音声認識）、故人の情報の選択的な取得、故人の情報に基づく返答例のテキスト生成、などの各処理については、例えば機械学習を利用する人工知能的なアプローチを適用できる。人工知能の技術を活用すれば、これらの処理を効率的、かつ精度高く実行できる。

【0056】

故人の音声データから音声合成に必要な音素を切り出し、故人の音素データとしてハードディスク２４に保存しておくことも良い。この場合には、故人の音素データに基づく音声合成により、予め用意された挨拶文等のテキストや、メイン基板２のＣＰＵ２０が生成した返答のテキスト等を、故人の声色で読み上げできる。オペレータが返答テキストを打ち込み、ＣＰＵ２０がそのテキストを音声合成する態様を採用することも良い。

【0057】

なお、本例では、参列者の問掛け音声に対して故人が返答するデジタルポートレート１を例示しているが、デジタルポートレート１の故人が返答せず、微笑むだけといったように音声出力しないようにしても良いし、あるいは定型の挨拶を行うだけの態様であっても良い。故人が微笑む表情を行う動作は、周囲の音に反応して実行しても良く、一定時間毎に実行しても良く、前を通過する人の検出を契機として実行しても良く、参列者の問掛け音声の入力を契機として実行しても良い。

【0058】

本例は、デジタルポートレート１を遺影として利用する例である。動画出力システム１Ｓの一例であるデジタルポートレート１は、遺影のほか、芸能人や文化人などの有名人のポートレートや、会社や店の経営者のポートレートや、デパートや会社の受付嬢のポートレート等として幅広く活用できる。例えば、会社等の受付嬢のポートレートとして活用する場合であれば、インターネットを利用してバックヤードを遠隔地に設け、一人のオペレータが複数の会社の受付業務を兼業することも可能である。

【0059】

本例では、音声に合わせた動画を生成する構成を例示したが、例えば笑った表情や悲しい表情等の表情のパターンを指定することで、その指定された表情のパターンにて動画生成しても良く、この場合、音声に合わせて指定された表情での動画としても良い。
また、本例では、例えば遺影への適用において、遺影となる１枚の静止画に基づいて動画を生成する構成を例示している。この場合、遺影となる静止画としては、故人に対する親しみを感じられるよう、亡くなるよりも少し前の故人の撮像画像が選ばれることが多い。亡くなるよりも少し前の故人の静止画に基づく動画生成に加えて、例えば、故人の１０代の頃の静止画や、２０代の頃の静止画や、３０代の頃の静止画などに基づき、若い年代の頃の故人の動画を生成することも良い。この場合には、遺影だけでなく故人の人生を年代別に顧みたり、思い出深い年代における故人を偲んだりすることが可能となる。このような運用は、遺影だけでなく、上述した有名人のような他のポートレートを対象とした運用においても有用である。

【0060】

（実施例２）
本例は、実施例１のデジタルポートレートに基づいて、故人の話し方を話者情報に含めた例である。本例の構成のうち、故人の音声データから話者情報を抽出する話者情報抽出部、及びオペレータの音声を変換する音声変換部の構成が実施例１とは相違している。本例の内容について、図８及び図９を参照して説明する。図８は、話者情報抽出部による処理の流れを示すフロー図である。図９は、音声変換部による処理の流れを示すフロー図である。

【0061】

実施例１では、故人の話者情報として、故人の声色を特定可能な声色情報を例示している。これに対して、本例は、声色情報に加えて、故人の話し方を特定可能な話し方情報を話者情報に含める構成例である。本例の話し方情報は、標準語を含めて秋田弁や熊本弁や名古屋弁などの話し方の種別情報である。

【0062】

次に、図８を参照して話者情報抽出部が話者情報を抽出する手順を説明する。話者情報抽出部は、まず、所定パターンの会話文の音読による故人の音声データを読み込む（Ｓ４０１）。そして、故人の音声データに話者情報抽出処理を適用することで、声色情報、話し方情報を抽出する（Ｓ４０２）。

【0063】

話者情報抽出部は、音声データを音素に分解して音声認識処理を施すことで、音声をテキスト化する。そして、特定の単語をなす音素列や、特定の文節をなす音素列を切り出し、そのイントネーションから方言の種別を特定する。例えば、地名である「なごや」に対応する音素列について、１文字目の「な」にアクセントがあったり、「あんたぁなにいっとるの」の音素列のなかで３文字目の「た」と最後から３文字目の「と」にアクセントがある等の音声データについては、名古屋弁に分類できる。

【0064】

話者情報抽出部は、実施例１と同様、声色情報及び話し方情報を、話者情報としてハードディスクに書き込む（Ｓ４０３）。例えば、名古屋弁に分類された音声データについては、声色情報に加えて、名古屋弁を表す話し方の種別情報を含む話者情報がハードディスクに保存される。

【0065】

次に、図９を参照して本例の音声変換部が音声を変換する手順を説明する。音声変換部は、実施例１と同様、まず、オペレータの音声を取り込み（Ｓ５０１）、音源情報を分離、抽出する（Ｓ５０２）。そして、抽出された音源情報に対して、故人の声色情報を組み合わせる音声合成を実行すると共に（Ｓ５０３）、話し方の変換処理を実行する（Ｓ５０４）。

【0066】

なお、Ｓ５０４の話し方の変換処理では、オペレータの音声を音素に分解して音声認識処理を施すことで、音声をテキスト化する。そして、特定の単語や特定の文節等が現れたとき、その単語に所定パターンのイントネーションを割り当てる。例えば、「あんた、なにいってるの」という文節に対しては、３文字目の「た」と、最後から３文字目の「て」にアクセントを付けると良い。さらに、「た」を「たぁ」と音を伸ばすと共に、「て」の発音を（ｔｅ）から（ｔｏ）に近づけるように変更すると、名古屋弁らしくなる。なお、イントネーションを変更する対象の上記の特定の単語あるいは文節は、話し方情報が表す話し方の種別（方言の種類）に応じて異なる。話し方の種別によって、特徴ある単語や文節が相違するからである。

【0067】

本例のデジタルポートレート（動画出力システム）は、オペレータの音声の声色を変換すると共に話し方も変換する。このデジタルポートレートによれば、出力する音声を故人の音声により近づけることで、生前の故人の再現性を向上できる。

【0068】

なお、話者情報として、故人の話し方のうちの特徴あるイントネーションのパターンを音声データから抽出しておき、話者情報としてハードディスクに保存しておくことも良い。さらに、イントネーションのパターンには、テキストを対応付けておくと良い。音声変換部は、オペレータの音声を処理して得られたテキストを元にして、音声合成によりオペレータの音声を故人の音声に変換すると良い。テキストのうち、イントネーションのパターンに該当しない部分については、標準語に近いイントネーションを割り当てると良い。一方、イントネーションのパターンに係るテキストに該当する部分については、話者情報をなすイントネーションのパターンを割り当てると良い。
なお、その他の構成及び作用効果については実施例１と同様である。

【0069】

（実施例３）
本例は、実施例１のデジタルポートレート（動画出力システム）に基づいて、バックヤードのオペレータを必要としない構成例である。
本例の構成では、デジタルポートレートのハードディスクが、音声パターンを記憶する音声パターン記憶部としての機能を備えている。音声パターン記憶部としてのハードディスクには、故人が自発的に発話するパターン（自発パターン）や、問掛けに対する返答パターンなどの音声パターンが記録されている。デジタルポートレートは、音声パターンの音源情報に対して故人の声色情報を組み合わせる（加工）ことで、故人の音声を生成する。なお、音声パターンは、予め録音されたアナウンサーなどの音声でも良く、音声から分離、抽出された音源情報であっても良い。

【0070】

自発パターンとしては、例えば、「おはようございます。」、「ようこそお越し頂きました。」等の挨拶のパターンなどがある。自発パターンに基づく故人の音声は、所定の時刻になったときなどに出力しても良く、デジタルポートレートの前を誰かが横切ったときに出力しても良い。誰かが前を横切ったときの挨拶のパターンは、朝であれば「おはようございます。」、昼であれば「こんにちは。」等、時間帯に応じて変えると良い。デジタルポートレートは、選択された自発パターンの音源情報に対して、故人の声色情報を組み合わせることで故人の音声を生成し、出力する。

【0071】

返答パターンとしては、参列者との間で想定される問答に対応するパターンが用意される。デジタルポートレートは、参列者の問掛け音声の意味内容を特定し（音声認識処理）、対応する返答パターンを選択する。そして、返答パターンの音源情報に対して故人の声色情報を組み合わせることで返答パターンの故人の返答音声を生成し、出力する。

【0072】

本例のデジタルポートレートでは、オペレータが音声を入力しなくても、故人の声による発話、対話が可能である。
なお、自発パターンや返答パターンは、テキストであっても良い。故人の声色情報を利用し、故人の声色でテキストを読み上げることで故人の音声を生成できる。
自発パターンや返答パターンに係る故人の音声は、発話する際に音声合成等により生成しても良いが、各パターンを予め故人の音声に変換しておき、音声パターン記憶部としてのハードディスクに保存しておくことも良い。この場合には、各パターンが必要になったとき、ハードディスクから読み出して直ちに出力可能できる。故人の音声への変換処理は、デジタルポートレート本体で行っても良いが、別体のＰＣ装置で変換した音声をデジタルポートレートに転送しても良い。音声の転送は、例えばＵＳＢメモリなどの記録媒体を利用しても良く、ＷｉＦｉ（登録商標）等の無線通信を利用して転送しても良い。インターネットを経由して遠隔地のサーバ装置等から故人の音声をデジタルポートレートに転送しても良い。
なお、その他の構成及び作用効果については実施例１と同様である。

【0073】

（実施例４）
本例は、実施例１に基づいて、別体のＰＣ装置１００にて生成された動画をデジタルポートレート１が表示するように構成された動画出力システム１Ｓの例である。本例の内容について、図１０を参照して説明する。
本例のデジタルポートレート１は、業者が利用者に提供して運用されるレンタル機器である。デジタルポートレート１の利用者は、故人の静止画等を保存したＵＳＢメモリ３９１等を一旦、業者に送るか引き渡すと、別体のＰＣ装置１００で生成された動画等が保存されたＵＳＢメモリ３９１の返却を受けることができる。ＵＳＢメモリ３９１を利用してやり取りする情報には、動画に加えて、音声を含めても良い。

【0074】

デジタルポートレート１を利用するに当たって、利用者は、デジタルポートレート１のＵＳＢ端子に、業者から返却されたＵＳＢメモリ３９１を装着するだけで良い。ＵＳＢメモリ３９１に保存された動画等は、出力装置としてのデジタルポートレート１のＣＰＵによって自動的に読み出され、出力可能な状態になる。

【0075】

業者が予め用意する動画としては、目のまばたきのパターン、口の開閉パターン、微笑みのパターン、頷きのパターンなど、各種の動作パターンがある。デジタルポートレート１は、問掛け音声や、故人が発話する音声等の内容や、周囲の状況に応じて、動作パターンを組み合わせることで、故人を動画で表示する。

【0076】

本例は、デジタルポートレート１と別体のＰＣ装置１００との組み合わせにより動画出力システム１Ｓを構成した例である。本例の構成では、故人の静止画から３次元モデルを生成する故人モデル化部、故人の動画を生成する動画生成部などの機能を、外部のＰＣ装置１００に持たせている。本例の動画出力システム１Ｓでは、デジタルポートレート１の処理負担を軽減でき、製品コストを低減できる。

【0077】

なお、本例の構成では、デジタルポートレート１、及び外部のＰＣ装置１００の双方が、データのやり取りを実現するための構成を備えている必要がある。ＵＳＢメモリ３９１等の記録媒体を利用してデータをやり取りする場合であれば、双方がＵＳＢメモリ等の記録媒体から直接的あるいは間接的にデータを読み取るための構成が必要である。

【0078】

本例では、静止画や動画等のデータの記録媒体としてＵＳＢメモリ３９１を例示しているが、記録媒体はＵＳＢメモリ３９１に限定されず、ＳＤカード、ＣＤ−Ｒなど様々な記録媒体を利用できる。

【0079】

利用者から業者への静止画等のデータ供給、及び業者から利用者への動画等のデータ供給のうちの少なくともいずれか一方については、ＵＳＢメモリ３９１等の記録媒体を利用する態様に代えて、インターネットを利用する通信による態様により実現することも良い。

【0080】

デジタルポートレート１がＷｉＦｉあるいは有線ＬＡＮ等の通信機能を備えており、インターネットに接続された状態であっても良い。この場合には、静止画あるいは音声のデータを保存するＵＳＢメモリ３９１がＵＳＢ端子に装着されたとき、静止画等を自動的に読み出し、インターネット経由で業者が運用する専用サイトに静止画等のデータを送信すると良い。専用サイトにて、静止画に基づく動画等を生成して、送信元のデジタルポートレート１に返信するように構成すると良い。デジタルポートレート１では、専用サイトから受信した動画や音声を出力できる。この場合には、故人の静止画や故人の音声データを保存するＵＳＢメモリ３９１をＵＳＢ端子に装着するだけで、デジタルポートレート１が故人の動画や音声を出力できるようになる。

【0081】

なお、静止画に基づいて動画を生成するアプリケーションソフト、あるいはそのアプリケーションソフトがインストールされたＰＣ装置を、販売、貸与等により利用者に提供することも良い。この場合には、デジタルポートレート１の利用者が、自分のＰＣ装置あるいは提供を受けたＰＣ装置を利用して動画等を生成できる。生成した動画は、デジタルポートレート１にて出力可能である。

【0082】

なお、本例では、各種の動画パターンを保存したＵＳＢメモリ３９１を利用者に返却しているが、動画生成に必要な故人の３次元モデルを保存したＵＳＢメモリを利用者に返却することも良い。この場合には、デジタルポートレート１側で３次元モデルを適宜、変形させる処理を実行することで、故人の動画を生成できる。
なお、その他の構成及び作用効果については実施例１と同様である。

【0083】

（実施例５）
本例は、実施例１のデジタルポートレートに基づいて、インターネット１０１を介在してデジタルポートレート１を運用する動画出力システム１Ｓの例である。この内容について、図１１を参照して説明する。

【0084】

本例の動画出力システム１Ｓでは、故人の動画や音声を出力する出力装置であるデジタルポートレート１と、動画や音声を生成するサーバ装置１００と、が別の場所に設置され、両者がインターネット１０１を介して通信可能に接続されている。オペレータ３００は、サーバ装置１００と通信可能に接続されたＰＣ装置（図示略）を利用して、参列者の問掛け音声に対する返答が可能である。

【0085】

なお、オペレータ３００のＰＣ装置は、サーバ装置１００とは別の場所に設置することも良い。インターネット１０１を利用すれば、サーバ装置１００とＰＣ装置との間でのデータ通信が可能になる。オペレータ３００のＰＣ装置を省略し、サーバ装置１００に外部マイク３１や外部モニタ３３や外部スピーカ３２等を設けることも良い。

【0086】

動画出力システム１Ｓでは、デジタルポートレート１にサーバ装置１００が管理する専用サイトが登録されている。デジタルポートレート１は、例えばＵＳＢメモリ３９１等の記録媒体から故人の静止画や、故人の音声データや、故人の情報等を読み込むと、上記の専用サイトに自動的にアクセスするアクセス手段を備えている。サーバ装置１００が管理する専用サイトへの自動アクセスに応じて、ＵＳＢメモリ３９１等の記録媒体に保存された故人の静止画や、故人の音声データや、故人の情報等が、サーバ装置１００にアップロードされる。

【0087】

また、参列者がデジタルポートレート１の故人に問い掛けると、その問掛け音声や、参列者の撮像画像等がサーバ装置１００にアップロードされ、オペレータ３００のＰＣ装置に転送される。また、オペレータの音声は、サーバ装置１００に送信され、故人の音声に変換された上でデジタルポートレート１に送信される。デジタルポートレート１は、このようにサーバ装置１００から受信した音声や動画を出力する。本例の動画出力システム１Ｓにおけるデジタルポートレート１は、参列者の問掛け音声や撮像画像をアップロードし、インターネット１０１を介して受信する動画や故人の音声等を出力するのみの端末となる。

【0088】

サーバ装置１００は、故人情報記憶部、故人モデル化部、動画生成部、話者情報抽出部、音声変換部、音声認識部、としての機能を備えている。サーバ装置１００は、参列者の問掛け音声の意味内容の特定、故人の３次元モデルの生成、故人の動画生成、オペレータの返答音声の変換等の処理を実行する。特に、故人の動画の生成に当たっては、音声の意味内容に応じた動作あるいは表情を実現できるように故人の動画を生成する。

【0089】

本例の構成では、例えば、故人の静止画や音声や情報を保存したＵＳＢメモリ３９１等の記録媒体をデジタルポートレート１に装着したとき、インターネット経由で故人の静止画等がサーバ装置に送信されると良い。この構成では、ＵＳＢ端子、ＵＳＢメモリからデータを読み取るＣＰＵ等が、故人の静止画を取得するための静止画取得部を構成している。この静止画取得部によって取得された静止画等は、デジタルポートレート１の識別情報を対応付けて、動画生成部としてのサーバ装置１００にアップロードすると良い。サーバ装置１００側では、動画生成部が生成する動画に対して、元データである静止画に係る識別情報を対応付けると良い。出力装置であるデジタルポートレート１の識別情報が動画に対応付けされていれば、対応するデジタルポートレート１に確実に動画を送信できる。

【0090】

なお、デジタルポートレート１から故人の静止画等が自動的あるい半自動的にサーバ装置１００にアップロードされる構成に代えて、デジタルポートレート１の操作によりサーバ装置が管理する専用サイトにアクセスし、故人の静止画や音声をアップロードする構成を採用しても良い。故人の静止画等のアップロードの際、対応するデジタルポートレート１の識別情報を対応付けると良い。
なお、その他の構成及び作用効果については実施例１と同様である。

【0091】

（実施例６）
本例は、実施例１を元にして、動画の生成方法を変更した構成例である。この内容について、図１２を参照して説明する。

【0092】

本例の動画出力システムをなすデジタルポートレートには、バックヤードのオペレータを撮像する外部カメラが接続されている。デジタルポートレートは、オペレータの撮像画像を利用して、故人の動画を生成する構成を備えている。

【0093】

本例のデジタルポートレートが動画を生成する動作について、図１２のフロー図を参照して説明する。同図は、故人の３次元データを読み込み済みであることを前提とした処理の流れを説明するためのフロー図である。ここでは、デジタルポートレートが備えるメイン基板のＣＰＵ（図３中の符号２０）を主体として処理の内容を説明する。

【0094】

メイン基板のＣＰＵは、バックヤードのオペレータの撮像画像を取り込み（Ｓ６０１）、撮像画像から顔領域の切り出しを実行する（Ｓ６０２）。そして、ＣＰＵは、オペレータの顔の特徴点を抽出し（Ｓ６０３）、故人の特徴点と、の対応付けを実行する（Ｓ６０４）。特徴点の対応付けは、例えば、オペレータの口元と故人の口元との対応付け、オペレータの目と故人の目との対応付け等、対応する部位の特徴点が対応付けられる。

【0095】

このような特徴点の対応付けがなされた状態で、ＣＰＵは、オペレータの撮像画像（動画）について、特徴点の動きを検出する（Ｓ６０５）。そしてＣＰＵは、オペレータに係る各特徴点の動きの情報に基づき、故人に係る各特徴点に同様の動きが生じるように故人の３次元モデルを変形させる（Ｓ６０６）。そして、この３次元モデルに基づく動画を表示する（Ｓ６０７）。

【0096】

本例の構成によれば、オペレータと同様の表情および動作を、デジタルポートレートの中の故人に行わせることが可能である。例えば、参列者との会話中にオペレータが微笑めば、デジタルポートレートの故人も微笑むことになる。また、例えば、参列者との会話中にオペレータが頷けば、デジタルポートレートの故人が同様に頷くことになる。
なお、その他の構成及び作用効果については実施例１と同様である。

【0097】

（実施例７）
本例は、実施例１のデジタルポートレートに基づいて、動画の立体表示を可能とした構成例である。この内容について、図１３〜図１６を参照して説明する。
本例は、故人を立体的に表示するための立体表示部５が組み込まれたデジタルポートレートの例である。
立体表示部５（図１３）は、ハーフミラー５０を利用して故人５１１を立体的に表示させるように構成されている。さらに、この立体表示部５では、立体的に表示された故人５１１と重ねて像５３１が表示される。

【0098】

立体表示部５は、参列者等の観者に対面して配設される透明なガラスパネル５００の内側に、ハーフミラー５０が斜めに配設された空間を有している。この空間の底面には、ハーフミラー５０に対して斜めに対面するように液晶ディスプレイ５１が配設されている。観者の視線は、ハーフミラー５０によって曲げられて液晶ディスプレイ５１に向かう。

【0099】

ハーフミラー５０を介して観者と対面する空間の奥側の壁面５３には、各種の像５３１が描かれている。本例では、仏様の背景に描かれることが多い蓮、鳥などの像５３１が壁面５３に描かれている。観者は、ハーフミラー５０を透して像５３１を見込むことが可能である。

【0100】

本例の立体表示部５では、ガラスパネル５００の内側を見込む観者の視線の一部がハーフミラー５０によって曲げられ、空間の底面に沿うように配設された液晶ディスプレイ５１の故人５１１に向かう。一方、観者の視線の一部は、ハーフミラー５０を通過して壁面５３に向かっている。このとき、ガラスパネル５００に対面している観者の目には、故人の立体像５１１Ａと像５３１とが重なって視認される（図１４）。

【0101】

壁面５３の奥行き方向の位置を調整することで、図１４のように観者に視認される像に奥行感を持たせることも可能である。例えば、壁面５３を奥側に移動させれば、像５３１に対して故人５１１が飛び出しているように観者に感じさせることができる。
空間の底面に配設される液晶ディスプレイ５１に代えて、液晶プロジェクターと映像を映し出すスクリーンとの組み合わせを採用することもできる。この場合、液晶ディスプレイ５１に代えてスクリーンを配置すると共に、スクリーンと対面する空間の天井に液晶プロジェクターを配設すれば良い。

【0102】

本例では、壁面５３として、像５３１を描いた壁面を例示しているが、これに代えて、液晶ディスプレイを壁面に設けることも良い。液晶ディスプレイを壁面に設ければ、故人の立体像５１１Ａの背景の像の変更表示が可能である。

【0103】

本例に代えて、図１５の立体表示部５を採用しても良い。同図の立体表示部５では、ハーフミラー５０の斜めの角度が変更されており、故人５１１を表示する液晶ディスプレイ５１が空間の天井に沿って配設されている。また、観者と対面する壁面には、表示パネル５３が配設されている。同図の表示パネル５３は、光源となるＬＥＤがちりばめて配置された光源パネルである。この表示パネル５３では、一部または全部のＬＥＤを選択的に点灯できる。

【0104】

さらに、図１５の立体表示部５では、ハーフミラー５０が配設された空間が奥行き方向に延長されている。この立体表示部５では、故人５１１の立体像５１１Ａの背面側に光源となるＬＥＤが位置している。それ故、この立体表示部５では、故人５１１の立体像５１１Ａが、表示パネル５３の手前側に結像する。

【0105】

図１５の立体表示部５では、観者が、背面側に光源であるＬＥＤ５３８が位置する状態で、故人５１１の立体像５１１Ａを視認できる（図１６）。観者側から見て、立体像５１１Ａよりも離れた位置で点灯するＬＥＤ５３８は、立体像５１１Ａに一層の奥行感を与えるという効果を生じさせる。例えば、図１６のＬＥＤ５３８を結ぶ多角形状の相似形を維持したまま、多角形状の大きさが次第に小さくなるように点灯状態のＬＥＤを切り替えることも良い。この場合には、背景が遠ざかるのに相対して、立体像５１１Ａが手前側にせり出すように観者に感じさせることができる。なお、ＬＥＤ５３８をちりばめた表示パネル５３に代えて、液晶ディスプレイを採用することも良い。
なお、その他の構成及び作用効果については実施例１と同様である。

【0106】

（実施例８）
本例は、実施例７のデジタルポートレートに基づいて、故人の全身表示の動画を立体的に表示可能に構成した例である。この内容について、図１７及び図１８を参照して説明する。本例のデジタルポートレート１は、図１７のように故人の全身表示が可能であるうえ、故人を立体的に表示可能である。

【0107】

デジタルポートレート１が備える立体表示部５の構造について、図１７中のＡ−Ａ矢視断面の構造を示す図１８の断面図を参照して説明する。立体表示部５は、参列者等の観者に対面して配設される透明なガラスパネル５００の内側に、ハーフミラー５０が斜めに配設された空間を有している。この空間の側面には、ハーフミラー５０に対して斜めに対面するように故人５１１の全身を動画表示する液晶ディスプレイ５１が配設されている。

【0108】

この立体表示部５によれば、ハーフミラー５０の裏側に結像する立体像５１１Ａを観者に視認させることができる。このデジタルポートレート１は、例えば、葬儀会場のエントランス等への設置に好適である。

【0109】

本例に代えて、透明スクリーン５２と、下方から斜め上方に向けて透明スクリーン５２に像を投影するプロジェクタ５２１と、を備える図１９のデジタルポートレート１を採用することも良い。このデジタルポートレート１では、透明スクリーン５２に、故人の像５２１Ａを結像できる。観者にとっては、故人の像５２１Ａが空間に浮かぶ立体像として視認できる。
なお、その他の構成及び作用効果については実施例７と同様である。

【0110】

以上、実施例のごとく本発明の具体例を詳細に説明したが、これらの具体例は、特許請求の範囲に包含される技術の一例を開示しているにすぎない。言うまでもなく、具体例の構成や数値等によって、特許請求の範囲が限定的に解釈されるべきではない。特許請求の範囲は、公知技術や当業者の知識等を利用して前記具体例を多様に変形、変更あるいは適宜組み合わせた技術を包含している。

【符号の説明】

【0111】

１ デジタルポートレート（出力装置）
１Ｓ 動画出力システム
１３ 筐体
１３３ ＵＳＢ端子
２０１ 故人モデル化部
２０２ 動画生成部
２０３ 話者情報抽出部
２０４ 音声変換部
２０５ 音声認識部
２１ 液晶ディスプレイ
２１０ 表示画面
２２１ 内蔵カメラ
２２２ 内蔵マイク
２２３ 内蔵スピーカ
２４ ハードディスク（ＨＤ）
２４０ 故人情報記憶部
３００ オペレータ
３１ 外部マイク（集音マイク）
３２ 外部スピーカ
３３ 外部モニタ
３９ 外付メモリ
３９１ ＵＳＢメモリ
５ 立体表示部
５０ ハーフミラー
５１１Ａ、５２１Ａ 立体像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【手続補正書】

【提出日】2019年10月24日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

音を電気信号に変換する集音マイクを介して入力された音声を加工し、声色及び話し方のうちの少なくともいずれかが異なる音声に変換する音声変換部と、
年代の異なる同一の人物の顔が撮像された複数の静止画に対して画像処理を施すことにより、顔の表情の変化、目のまばたき、口の動き、及び顔の向きの変化のうちの少なくともいずれかを含む動画を年代別に生成する動画生成部と、
前記動画生成部により生成された動画、及び前記音声変換部により変換された音声を出力する出力装置と、を含み、
前記動画生成部は、前記出力装置によって出力される音声に同期して変化する動画であって、同一人物の年代別の動画を生成する動画出力システム。

【請求項2】

音声の意味内容を特定する音声認識部を含み、
前記動画生成部は、集音マイクを介して問掛け音声入力された場合に、前記音声変換部により変換された音声に同期して変化させることで返答する第１の動画と、前記音声認識部により特定される当該問掛け音声の意味内容に応じた表情変化により反応する第２の動画と、を生成可能であるように構成されている請求項１に記載の動画出力システム。

【請求項3】

前記動画生成部は、予め設けられる複数の表情のパターンの内から指定された表情のパターンで前記出力装置によって出力される音声に同期して変化する動画を生成するように構成されている請求項１又は２に記載の動画出力システム。

【請求項4】

前記動画生成部による動画の生成対象となる人物の趣味、好物、交友関係、或いは姻戚関係を示す個人情報を記憶する情報記憶部と、
前記出力装置は、前記音声変換部の変換対象となる音声を入力するオペレータに対して前記個人情報を提示するように構成されている請求項１〜３のいずれか１項に記載の動画出力システム。

【請求項5】

前記静止画における顔の特徴点を抽出する特徴点抽出部を含み、
前記動画生成部は、前記特徴点抽出部により抽出された特徴点を変位させることで、前記音声変換部により変換された音声に同期して変化する動画を生成するように構成されている請求項１〜４のいずれか１項に記載の動画出力システム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００６

【補正方法】変更

【補正の内容】

【0006】

本発明の動画出力システムは、集音マイクを介して入力された音声を加工し、声色及び話し方の少なくともいずれかが異なる音声に変換して出力可能である。さらに、この動画出力システムは、年代の異なる同一の人物の顔が撮像された複数の静止画を元にして、音声に同期して変化する同一人物の年代別の動画を生成する。この動画出力システムによれば、同一人物の年代別の動画を音声と共に出力可能である。

【手続補正書】

【提出日】2019年12月18日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】請求項４

【補正方法】変更

【補正の内容】

【請求項4】

前記動画生成部による動画の生成対象となる人物の趣味、好物、交友関係、或いは姻戚関係を示す個人情報を記憶する情報記憶部を含み、
前記出力装置は、前記音声変換部の変換対象となる音声を入力するオペレータに対して前記個人情報を提示するように構成されている請求項１〜３のいずれか１項に記載の動画出力システム。