特開 2024-93150 システム、プログラム、及び映像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024093150

(43)【公開日】2024-07-09

(54)【発明の名称】システム、プログラム、及び映像表示方法

(51)【国際特許分類】

   G05B 19/418 20060101AFI20240702BHJP

【ＦＩ】

G05B19/418 Z

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022209341

(22)【出願日】2022-12-27

(71)【出願人】

【識別番号】591057522

【氏名又は名称】旭化成ファインケム株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】松永 次男

(72)【発明者】

【氏名】中島 志朗

(72)【発明者】

【氏名】上ノ下 修一

(72)【発明者】

【氏名】中尾 真也

【テーマコード（参考）】

3C100

【Ｆターム（参考）】

3C100AA29

3C100AA38

3C100AA56

3C100BB13

3C100BB15

3C100BB34

3C100EE11

(57)【要約】      （修正有）

【課題】変化特定部と画像表示部を備えるシステムを提供する。
【解決手段】製品の生産工程の少なくとも一部を撮影した映像に基づいて、生産工程中の変化を示す変化点を特定する変化特定部と、映像とともに変化点と関連する情報と共に複数の端末に表示させる画像表示部と、を備え、コンピュータにより実行され、コンピュータを上記のシステムとして機能させる、プログラムと、更に上記システムが、製品の生産工程の少なくとも一部を撮影した映像に基づいて、生産工程中の変化を示す変化点を特定する変化特定段階と、映像とともに変化点と関連する情報と共に複数の端末に表示させる画像表示段階と、を実行する映像表示方法を提供する。
【選択図】図１

【特許請求の範囲】

【請求項1】

製品の生産工程の少なくとも一部を撮影した映像に基づいて、生産工程中の変化を示す変化点を特定する変化特定部と、
前記映像とともに前記変化点と関連する情報を端末に表示させる画像表示部と、
を備えるシステム。

【請求項2】

前記変化特定部は、時間の経過により前記映像に生じた変化を検出し、映像の変化の生じた時点を変化点として特定する、
請求項１に記載のシステム。

【請求項3】

前記変化特定部は、前記生産工程中にセンサーから出力されるセンサーデータに生じた変化を検出し、センサーデータの変化の生じた時点を変化点として特定する、
請求項１に記載のシステム。

【請求項4】

前記変化特定部は、ユーザからの前記映像中の時点の指定を入力し、指定された時点を変化点として特定する、
請求項１に記載のシステム。

【請求項5】

前記変化特定部は、変化点の候補である変化点候補を出力し、前記変化点候補の中からユーザに指定されたものを変化点として特定する、
請求項１に記載のシステム。

【請求項6】

前記画像表示部は、前記映像と共に、前記生産工程の時間経過を示すシークバーを表示し、
前記変化点を前記シークバー上に表示する、
請求項１に記載のシステム。

【請求項7】

ユーザから前記シークバー上に表示された変化点の指定を入力する入力部を更に備え、
前記画像表示部は、前記指定された変化点に対応する時点の映像を表示する、
請求項６に記載のシステム。

【請求項8】

ユーザから前記変化点に対応するテキストを入力する入力部を更に備え、
前記画像表示部は、前記映像と共に、前記変化点に対応する前記テキストを表示する、
請求項１に記載のシステム。

【請求項9】

前記画像表示部は、前記映像と共に、前記生産工程中にセンサーから出力されるセンサーデータを表示する、
請求項１に記載のシステム。

【請求項10】

生産工程に関する情報及び／又は生産工程の映像に基づいて、類似する前記生産工程を検出する対比部を更に備え、
前記画像表示部は、表示中の映像に係る生産工程と類似する別の生産工程の映像を併せて表示するか、又は、当該別の生産工程の映像に表示を切り替える、
請求項１に記載のシステム。

【請求項11】

生産工程に関する情報及び／又は生産工程の映像に基づいて、生産工程の相違点を抽出する対比部を更に備え、
前記画像表示部は、前記生産工程の相違点を表示する、
請求項１に記載のシステム。

【請求項12】

前記変化点と関連する情報をレポートとして出力するレポート出力部を更に備える、
請求項１に記載のシステム。

【請求項13】

前記レポート出力部は、生産工程の実行結果をレポートに含めて出力する、
請求項１２に記載のシステム。

【請求項14】

複数の前記端末の間でメッセージの通信を実行する通信部を更に備え、
前記画像表示部は、前記メッセージを表示する、
請求項１に記載のシステム。

【請求項15】

コンピュータにより実行され、前記コンピュータを、
請求項１から１４のいずれか１項に記載のシステムとして機能させる、
プログラム。

【請求項16】

請求項１から１４のいずれか１項に記載のシステムが、
製品の生産工程の少なくとも一部を撮影した映像に基づいて、生産工程中の変化を示す変化点を特定する変化特定段階と、
前記映像とともに前記変化点と関連する情報と共に複数の端末に表示させる画像表示段階と、
を実行する映像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、システム、プログラム、及び映像表示方法に関する。

【背景技術】

【0002】

特許文献１には、「バイオ医薬製品の製造のための装備および／または製造のための配置および／または製造後の解体を監視するための方法(10)であって、前記バイオ医薬製品の前記製造のための装備を含むシーンの少なくとも1つの画像を処理するステップ(S2、S3、S4)を含み、前記少なくとも1つの画像を処理する前記ステップが、前記少なくとも1つの画像に対して、前記画像内の第1の対象物を分類するための第1のプロセスを実行するステップ(S2)であって、前記第1の対象物が、クランプ、ポンプ、弁、および／もしくはセンサーのようなデバイス、ならびに／またはシングルユースバッグおよび／もしくは他の任意のバイオ処理装置であり、前記第1のプロセスが、前記画像内の前記第1の対象物を識別、位置特定、および分類するステップ(S23、S24)を含む、ステップ(S2)と、前記少なくとも1つの画像に対して、前記画像内の接続部を識別および位置特定するための第2のプロセスを実行するステップ(S3)であって、前記第2のプロセスが、関連する第2の対象物分類器を用いて各画素を分類するステップ(S33)であって、前記第2の対象物分類器が、前記第1の対象物および前記接続部からなる群から選択される第2の対象物のための分類器である、ステップ(S33)、前記接続部に関連する画素をセグメント化するステップ(S34)、ならびに前記第1の対象物との接続部マッピングを識別するステップ(S35)を含む、ステップ(S3)と、前記第2のプロセスから取得された前記識別された接続部マッピングおよび前記第1のプロセスによって識別された前記第1の対象物に関係する情報を含む集約情報を形成するステップ(S4)とを含む、方法」を備えることが記載されている（請求項１）。
特許文献２には、「医療現場における術者の医療行為を記録する医療行為記録システムにおいて、医療行為を行う術者の処置を撮影するカメラと、上記カメラで撮影された医療行為の時系列画像群と共に、外部からの指示に応じて所定の補助情報を記録するよう構成された記録手段と、術者と該術者を補助する補助者との間を検出領域に含み、当該検出領域内の状態の変化を検出する検出手段と、上記検出手段の検出した結果に基づいて上記補助情報を作成し、その補助情報の記録を上記記録手段に指示する制御手段と、を具備することを特徴とする医療行為記録システム。」を備えることが記載されている（請求項１）。
特許文献３には、「製品の製造情報、前記製品の運搬情報、および前記製品の使用情報のうち少なくとも１つの情報からなる製品情報と、前記製品の品質評価結果を示す評価結果情報とを関連付けて蓄積した蓄積データから前記製品情報および前記評価結果情報を取得する取得部と、前記取得部が取得した前記製品情報および前記評価結果情報に基づいて、前記品質評価結果に影響を与える要因を抽出する抽出部と、前記抽出部による抽出結果を出力する出力部とを備える品質管理装置。」を備えることが記載されている（請求項１）。
［先行技術文献］
［特許文献］
［特許文献１］特表２０２２－５０７５６８号公報
［特許文献２］特開２００５－３４８７９７公報
［特許文献３］ＷＯ２０２０／１５８５８１号公報

【発明の概要】

【0003】

本発明の第１の態様においては、変化特定部と画像表示部を備えるシステムを提供する。変化特定部は製品の生産工程の少なくとも一部を撮影した映像に基づいて、生産工程中の変化を示す変化点を特定してよい。画像表示部は、映像とともに変化点と関連する情報を端末に表示させてよい。

【0004】

上記において、変化特定部は、時間の経過により映像に生じた変化を検出し、映像の変化の生じた時点を変化点として特定してよい。

【0005】

上記において、変化特定部は、生産工程中にセンサーから出力されるセンサーデータに生じた変化を検出し、センサーデータの変化の生じた時点を変化点として特定してよい。

【0006】

上記において、変化特定部は、ユーザからの映像中の時点の指定を入力し、指定された時点を変化点として特定してよい。

【0007】

上記において、変化特定部は、変化点の候補である変化点候補を出力し、変化点候補の中からユーザに指定されたものを変化点として特定してよい。

【0008】

上記において、画像表示部は、映像と共に、生産工程の時間経過を示すシークバーを表示してよい。画像表示部は、変化点をシークバー上に表示してよい。

【0009】

上記において、システムは、ユーザからシークバー上に表示された変化点の指定を入力する入力部を更に備えてよい。画像表示部は、指定された変化点に対応する時点の映像を表示してよい。

【0010】

上記において、システムは、ユーザから変化点に対応するテキストを入力する入力部を更に備えてよい。画像表示部は、映像と共に、変化点に対応するテキストを表示してよい。

【0011】

上記において、画像表示部は、映像と共に、生産工程中にセンサーから出力されるセンサーデータを表示してよい。

【0012】

上記において、システムは、生産工程に関する情報及び／又は生産工程の映像に基づいて、類似する生産工程を検出する対比部を更に備えてよい。画像表示部は、表示中の映像に係る生産工程と類似する別の生産工程の映像を併せて表示するか、又は、当該別の生産工程の映像に表示を切り替えてよい。

【0013】

上記において、システムは、生産工程に関する情報及び／又は生産工程の映像に基づいて、生産工程の相違点を抽出する対比部を更に備えてよい。画像表示部は、生産工程の相違点を表示してよい。

【0014】

上記において、システムは、変化点と関連する情報をレポートとして出力するレポート出力部を更に備えてよい。

【0015】

上記において、レポート出力部は、生産工程の実行結果をレポートに含めて出力してよい。

【0016】

上記において、システムは、複数の端末の間でメッセージの通信を実行する通信部を更に備えてよい。画像表示部は、メッセージを表示してよい。

【0017】

本発明の第２の態様においては、コンピュータにより実行され、コンピュータを、上記第１の態様のシステムとして機能させる、プログラムを提供する。

【0018】

本発明の第３の態様においては、上記第１の態様のシステムが実行する映像表示方法を提供する。映像表示方法は、製品の生産工程の少なくとも一部を撮影した映像に基づいて、生産工程中の変化を示す変化点を特定する変化特定段階と、映像とともに変化点と関連する情報と共に複数の端末に表示させる画像表示段階と、を実行する映像表示方法を含んでよい。

【0019】

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0020】

【図1】本実施形態に係るシステム１０の構成を示す。

【図2】本実施形態に係るシステム１０による生産工程の映像表示のフローを示す。

【図3】本実施形態に係る製造手順の一例を示す。

【図4】図２のＳ２００のサブフローの一例を示す。

【図5A】本実施形態に係る変化点フラグの入力画面５００の一例を示す。

【図5B】本実施形態に係る変化点フラグのデータの一例を示す。

【図6】本実施形態に係る変化点候補の一例を示す。

【図7】本実施形態に係る変化点の一例を示す。

【図8】本実施形態において画像表示部１４０が表示する表示画面８００の一例を示す。

【図9】変化点に関する情報の表示の一例を示す。

【図10】センサーデータの詳細表示の一例を示す。

【図11】類似工程表示画面１１００の一例を示す。

【図12】本実施形態において画像表示部１４０が表示する表示画面１２００の別の一例を示す。

【図13】本実施形態において画像表示部１４０が表示する表示画面１３００の別の一例を示す。

【図14】レポート出力部１５０が出力するレポート１４００の一例を示す。

【図15】レポート出力部１５０が出力するレポート１５００の一例を示す。

【図16】本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。

【発明を実施するための形態】

【0021】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0022】

図１は、本実施形態に係るシステム１０の構成を示す。システム１０は、製品の生産工程３０における変化点を特定し、生産工程３０の映像とともに１又は複数の端末に変化点を表示させる。

【0023】

生産工程３０とは、製品を生産する際に実行する工程であり、製品の一部又は完成品を製造する工程、及び／又は、完成品に至る途中の物（部品または中間体等）を製造する工程であってよい。例えば、生産工程とは、製品の完成品、最終化合物、原料、部品、中間体等を生産するために実行する工程であってよい。また、例えば、生産工程３０とは、製品には直接含まれないが、製品の製造に必要な物（例えば、触媒、溶媒、冷媒及び／又は包装材等）を生産する工程であってよい。生産工程３０は、プラント等で大規模に製品を生産する工程のみならず、実験室等で小規模に製品を生産又は試作する工程を含んでよい。

【0024】

システム１０は、センサー４０、撮影装置５０、端末６０Ａ、端末６０Ｂ、及び、表示装置１００を備える。

【0025】

センサー４０は、生産工程３０中に、生産工程３０の物理的状態及び／又は化学的状態等を測定した測定結果、又は、測定結果に基づく計算結果を含むセンサーデータを生成し、当該センサーデータを表示装置１００に出力する。センサー４０は、温度計、ｐＨ計測器、濃度計、圧力計、重量計、又は導電率測定器等であってよいが、これらに限られない。センサー４０は、生成工程３０において用いられる装置自体（例えば、反応装置、滴下装置、マグネットスターラー等）であってよい。この場合、センサーデータは装置から取得される信号（例えば、制御電流量、滴下量、又はスターラーの回転数等）であってよい。センサー４０は、生産工程３０中に常時設置されているものであっても、そうでなくてもよい。例えば、生産者等の人が、生産工程３０中にセンサー４０を導入して、随時センサーデータを取得してもよい。

【0026】

測定結果に基づく計算結果は、測定結果に計算処理等を加えて得られたデータであってよい。例えば、計算結果は、温度の変化率、温度の変化速度、又は、滴下速度（すなわち単位時間当たりの滴下量）であってよい。

【0027】

撮影装置５０は、製品の生産工程３０の少なくとも一部を撮影し、生産工程３０の映像（例えば動画又は静止画）を生成する。撮影装置５０は、映像の撮影に併せて生産工程３０中の音声を録音してよい。以下「映像」というときは音声を含む場合と含まない場合の両者を含む。例えば、撮影装置５０は、生産工程３０の全体像及び／又は一部のみを撮影してよい。撮影装置５０は、映像を表示装置１００に送信する。

【0028】

端末６０Ａ及び端末６０Ｂは、表示装置１００から映像及び変化点と関連する情報を受け取り、これらを表示する。端末６０Ａ及び端末６０Ｂは、製品の関係者の端末であってよい。例えば、端末６０Ａ及び端末６０Ｂは、製品の生産者及び／又は購入者の端末であってよい。以下、特に断らない限り、端末６０Ａは製品の生産者の端末であるものとし、端末６０Ｂは製品の購入者の端末であるものとする。

【0029】

図１の例では２つの端末を示したが、端末は３以上であってよい。また、端末は１つであってもよい。例えば、表示装置１００が生産者の端末６０Ａを兼ねてもよい。端末６０Ａ等の具体的な表示内容は後に詳述する。

【0030】

表示装置１００は、撮影装置５０からの映像、及び／又は、センサー４０からのセンサーデータに基づいて、生産工程中の変化を示す変化点を特定する。表示装置１００は、生産工程３０の映像とともに変化点と関連する情報を端末２００Ａ及び２００Ｂに出力する。表示装置１００は、入力部１１０、変化特定部１２０、対比部１３０、画像表示部１４０、レポート出力部１５０及び通信部１６０を備える。

【0031】

端末６０Ａ、端末６０Ｂ、及び、表示装置１００は、ＰＣ（パーソナルコンピュータ）、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、または汎用コンピュータ等のコンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。

【0032】

これに代えて、端末６０Ａ、端末６０Ｂ、及び、表示装置１００は、それぞれの用途に応じて設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。表示装置１００は、１台の装置（コンピュータ）により実装されてよく、又は、役割分担がされた複数台の装置により実現されてもよい。表示装置１００において、以下では特に説明しないが、メモリ／ハードディスク等が備えられ、処理に必要な情報は適宜記憶され、入力部１１０及び変化特定部１２０等の各処理モジュール間で情報が伝達される。

【0033】

端末６０Ａ、端末６０Ｂ、及び、表示装置１００は、互いに通信してよい。例えば、端末６０Ａ、端末６０Ｂ、及び、表示装置１００は、ネットワーク２０を介して通信する。

【0034】

入力部１１０は、センサー４０、撮影装置５０、表示装置１００のユーザ、端末６０Ａ及び／又は端末６０Ｂのユーザから様々な入力を受け取る。例えば、入力部１１０は、購入者の端末６０Ａから、生産工程に関するデータ、変化点に対応するテキスト、変化点フラグ、変化点の指定等を受け取る。入力部１１０は、これらのデータの少なくとも一部を表示装置１００のユーザから受け取ってもよい。入力部１１０は、受け取った入力を予め定められた処理部（例えば、画像表示部１４０等）に提供する。

【0035】

変化特定部１２０は、生産工程の少なくとも一部を撮影した映像に基づいて、生産工程中の変化を示す変化点を特定する。変化特定部１２０は、時間の経過により映像に生じた変化を検出し、映像の変化の生じた時点を変化点として特定してよい。変化特定部１２０は、センサーデータに生じた変化を検出し、センサーデータの変化の生じた時点を変化点として特定してもよい。変化特定部１２０は、ユーザからの映像中の時点の指定を入力し、指定された時点を変化点として特定してもよい。

【0036】

対比部１３０は、生産工程に関する情報及び／又は生産工程の映像に基づいて、類似する生産工程を検出する。対比部１３０は、複数の生産工程の相違点を抽出する。

【0037】

画像表示部１４０は、表示装置１００の処理結果を端末等に表示する。例えば、画像表示部１４０は、映像とともに変化点と関連する情報を１又は複数の端末（例えば端末６０Ａ及び端末６０Ｂ）に表示させる。例えば、画像表示部１４０は、映像をシークバーと共に表示し、シークバー上に変化点を表示してよい。画像表示部１４０により、端末（例えば製品の生産者及び購入者の端末）間で生産工程の映像や変化点の情報を共有することができる。

【0038】

レポート出力部１５０は、生産工程と関する情報をレポートとして出力する。例えば、レポート出力部１５０は、変化点と関連する情報をレポートとして出力してよい。また、レポート出力部１５０は、生産工程の実行結果をレポートに含めて出力してよい。

【0039】

通信部１６０は、複数の端末（例えば端末６０Ａ及び端末６０Ｂ）間の通信を可能にする。例えば、通信部１６０は、複数の端末（例えば端末６０Ａ及び端末６０Ｂ）の間でメッセージの通信、及び／又は、音声通話を実行してよい。通信部１６０により、複数の端末間で、共有した映像や変化点について議論したり、必要な指示を送信したりすることができる。

【0040】

このように、システム１０によれば、表示装置１００が生産工程の映像を処理し、変化点等を付与することで、製品の生産者及び購入者が製品の生産工程の重要性の高い部分に関する映像や情報を共有することができる。

【0041】

図２は、本実施形態に係るシステム１０による生産工程の映像表示のフローを示す。システム１０は、例えば、Ｓ１００～Ｓ５００の各処理を実行することにより、生産工程の変化点を特定し、生産工程に関するレポートを出力する。

【0042】

まず、Ｓ１００において、入力部１１０は、生産工程に関するデータを取得する。例えば、表示装置１００の入力部１１０は、センサー４０が生産工程３０において測定したセンサーデータを取得してよい。

【0043】

センサーデータは、センサー４０による測定結果を時刻ごとに記録した時系列データであってよい。一例として、センサーデータは１秒おきに測定した温度データであってよい。入力部１１０は、センサー４０が過去に測定したセンサーデータを取得してよい。これに代えて、後述するように入力部１１０はセンサー４０からリアルタイムのセンサーデータを取得してよい。

【0044】

入力部１１０は、製品の生産工程３０の少なくとも一部を撮影した映像を取得してよい。入力部１１０は、撮影装置５０が過去に撮影した映像を取得してよい。入力部１１０は、映像中の時刻とセンサーデータにおける時刻との同期を取ってよい。例えば、入力部１１０は、同時刻においてセンサーデータが示す時刻と、映像中の時刻との差分（以下、「時間差分」ともいう）を記録しておくか、予め一方の時刻を調整して他方に合わせてよい。上記に代えて、後述するように入力部１１０は撮影装置５０からリアルタイムのライブ映像を取得してよい。

【0045】

入力部１１０は、複数の端末の一部（例えば生産者の端末６０Ａ）から、生産工程を説明する製造手順を取得してよい。例えば、入力部１１０は、生産工程に含まれる複数の工程ごとに、生産者が実行する手順、原料、操作方法及び／又は注意点等を説明したテキストを製造手順として取得してよい。

【0046】

図３は、本実施形態に係る製造手順の一例を示す。図３の例では、工程１、工程２、工程３、工程４…を含む生産工程の製造手順が示される。工程１の説明として「粉体用ロートを使って、フラスコ内に原料Ａを１００ｇ仕込む。」が含まれ、工程２の説明として「粉体用ロートを使ってフラスコ内に原料Ｂを５０ｇ仕込む。」が含まれ、工程３の説明として「液体用ロートを使って、フラスコ内に溶媒Ｃを２００ｍＬ仕込む。」が含まれ、工程４の説明として「攪拌機の回転数を１５０ｒｐｍに調整する。」が含まれる。

【0047】

次にＳ２００において、表示装置１００は、製品の生産工程の少なくとも一部を撮影した映像及び／又はセンサーデータに基づいて、生産工程中の変化点を特定する。

【0048】

図４は、図２のＳ２００のサブフローの一例を示す。表示装置１００は、図２のＳ２１０からＳ２４０のフローを実行することにより、変化点を特定してよい。

【0049】

まず、Ｓ２１０において、入力部１１０は、複数の端末の一部（例えば生産者の端末６０Ａ）から、変化点フラグを入力する。変化点フラグとは、生産工程の変化点を特定するために用いる条件であってよい。例えば、入力部１１０は、変化点フラグの少なくとも一部として、時点又は時間帯の指定を入力してよい。

【0050】

例えば、入力部１１０は、変化点フラグの少なくとも一部として、センサーデータが満たすべき条件を入力してよい。センサーデータが満たすべき条件とは、センサーデータが予め定められた値及び／又は範囲になる、又は、センサーデータが予め定められた程度に変化する等であってよい。

【0051】

例えば、入力部１１０は、変化点フラグの少なくとも一部として、映像が満たすべき条件を入力してよい。映像が満たすべき条件とは、時間の経過により映像に生じた変化であてよい。例えば、映像が満たすべき条件とは、映像が予め定められた状態になる、又は、映像が予め定められた程度に変化する等であってよい。一例として、映像が満たすべき条件とは、映像中の予め定められたエリア又は自動認識等で検出される対象物のコントラスト、輝度、色調、大きさ、及び／又は、位置が、予め定められた態様で変化する等であってよい。

【0052】

具体的には、映像が満たすべき条件とは、「映像中の反応溶液に予め定められた色の変化が観察される」、「映像中の反応溶液全体に白い多数の領域（例えば、沸騰や気体生成反応による泡）が観察される」、「映像中の反応溶液の下部に異なる色の領域（例えば、沈殿反応による沈殿物）が観察される」、又は「映像中の反応溶液に水平の線が観察される（例えば、相分離の界面）が観察される」等であってよい。

【0053】

例えば、入力部１１０は、変化点フラグの少なくとも一部として、上記の２以上の組み合わせの条件を入力してよい。例えば、入力部１１０は、予め定められた時間帯において観察される、予め定められた映像の変化を変化点フラグとして入力してよい。

【0054】

図５Ａは、本実施形態に係る変化点フラグの入力画面５００の一例を示す。例えば、入力部１１０は、生産者の端末６０Ａに図５Ａに示すような入力画面５００を表示させ、当該入力画面を介して変化点フラグを入力してよい。

【0055】

図５Ａでは、時刻入力欄５０２、時刻入力欄５０４及び時刻入力欄５０６のそれぞれに、変化点フラグとして時刻１～３（３：０４、１０：４９、１３；４２）が入力されている。これにより、映像において時刻１を満たす時点、時刻２を満たす時点、時刻３を満たす時点のそれぞれが変化点の候補となる。変化点フラグとなる時刻の条件は、追加ボタン５１０で追加し、削除ボタン５１２で削除できてよい。

【0056】

図５Ａでは、センサー条件入力欄５２０に、変化点フラグとして「１：００（１分）以内の温度変化が１０℃を超える」が入力されている。これにより、センサーデータにおいて「１：００（１分）以内の温度変化が１０℃を超える」ことが検出された時点が変化点の候補になる。変化点フラグとなるセンサーデータの条件は、追加ボタン５３０で追加し、削除ボタン５３２で削除できてよい。

【0057】

図５Ａでは、映像条件入力欄５４０に、変化点フラグとして「０．５秒以内のコントラスト変化が３倍を超える」が入力されている。これにより、映像（全体又は予め定められた一部領域）において「０．５秒以内のコントラスト変化が３倍を超える」ことが検出された時点が変化点の候補になる。変化点フラグとなるセンサーデータの条件は、追加ボタン５５０で追加し、削除ボタン５５２で削除できてよい。

【0058】

入力部１１０は、端末のユーザから入力された全ての変化点フラグを入力してよい。例えば、ユーザが入力画面５００の登録ボタン５６０を押したことに応じて、入力部１１０が入力済の変化点フラグを入力してよい。

【0059】

図５Ｂは、本実施形態に係る変化点フラグのデータの一例を示す。表示装置１００は、入力部１１０が入力した変化点フラグを、項目（例えば、図示するように「対象」、「時間」、「変数」、及び、「条件」）ごとに分解した形式で保持してよい。この場合、表示装置１００は、「対象」が「時間」の間に、「変数」が「条件」を満たすことを変化点フラグとして扱ってよい。例えば、図５Ｂには、「センサ（温度計）の温度変化が１分以内に１０℃を超えること（Ｓ１）」、「センサ（温度計）の昇温速度が１℃／分を未満となる時間が３分以上続いたこと（Ｓ２）」、「映像の０．５秒以内のコントラスト変化が３倍を超えたこと（Ｖ１）」、及び、「映像の輝度が１を超える時間が２秒以上続いたこと（Ｖ２）」が変化点フラグとして示されている。

【0060】

次にＳ２２０において、変化特定部１２０が、Ｓ２１０で入力された変化点フラグに基づいて変化点候補を特定する。変化特定部１２０は、変化点フラグに合致する変化点フラグを特定してよい。

【0061】

例えば、変化点フラグとして時刻が入力されていた場合、変化特定部１２０は、生産工程の映像における当該時刻の時点を変化点候補として特定してよい。

【0062】

例えば、変化点フラグとしてセンサーデータが満たすべき条件（以下「センサー条件」ともいう）が入力されていた場合、変化特定部１２０は、センサーデータを分析してセンサー条件を満たす時点を特定する。変化特定部１２０は、センサーデータにおいてセンサー条件を満たす時点と映像との時間差分とから、対応する生産工程の映像中の時点を算出し、算出した当該時点を変化点候補として特定してよい。

【0063】

例えば、変化点フラグとして生産工程の映像が満たすべき条件（「映像条件」ともいう）が入力されていた場合、変化特定部１２０は、映像を分析して映像条件を満たす映像中の時点を変化点候補として特定してよい。

【0064】

変化点フラグとして複数の条件が入力されていた場合、変化特定部１２０は、複数の条件の全てを満たす映像中の時点を変化点候補として特定してよい。これに加えて／代えて変化特定部１２０は、複数の条件の一部（例えば、１個、２個又は３個以上）を満たす映像中の時点を変化点候補として特定してよい。変化特定部１２０は、複数の条件の組み合わせ（「ＡＮＤ」、「ＯＲ」、又は、これらの組み合わせ）を満たす時点を変化点候補として特定してよい。

【0065】

変化特定部１２０は、特定した変化点候補を出力してよい。例えば、変化特定部１２０は、変化点候補を生産者の端末６０Ａに送信し、端末６０Ａの画面に表示させてよい。

【0066】

図６は、本実施形態に係る変化点候補の一例を示す。図６では、変化特定部１２０が特定した候補１～５の変化点候補が示されている。候補１、候補３及び候補５は、変化点フラグとして入力された時刻（３：０４、１０：４９、１２：１５）を満たす時点に対応する。候補２及び候補３は、変化点フラグとして入力された映像条件（コントラスト変化が閾値を超えた）を満たす映像の時点に対応する。候補４は、変化点フラグとして入力されたセンサー条件（温度変化が閾値を超えた）を満たす映像の時点に対応する。図６に示すように、変化特定部１２０は、変化点候補の情報として映像における時刻と対応するセンサーデータにおける時刻の両方を記録してよい。

【0067】

次にＳ２３０において、変化特定部１２０は、変化点の指定を受け取る。例えば、端末６０Ａのユーザは、変化点候補から変化点を選択し、選択した結果を表示装置１００に送信してよい。変化特定部１２０は、生産者の端末６０Ａから選択された変化点を受け取ってよい。

【0068】

更に変化特定部１２０は、変化点と製造手順との対応関係を受け取ってよい。例えば、端末６０Ａのユーザは、製造手順の工程の切り替えがどの変化点に対応するのかの指定を、表示装置１００に送信してよい。変化特定部１２０は、生産者の端末６０Ａから変化点と製造手順との対応関係を受け取ってよい。例えば、変化特定部１２０は、製造手順において複数の工程を区切る変化点の指定を事後的に受け取ってよい。一例として、変化特定部１２０は、特定の変化点が工程１と工程２の区切りとなることを示す情報を受け取ってよい。

【0069】

また、変化特定部１２０は、生産工程中にリアルタイムで工程を区切る変化点の指定を受け取ってよい。例えば、変化特定部１２０は、作業を行う作業者が１つの工程の完了後、その場で完了ボタン等を押す等により、生産工程中にリアルタイムで完了を示す情報が入力されたことに応じて、複数の工程を区切る変化点の指定を受け取ってよい。

【0070】

変化特定部１２０は、製造手順の工程の切り替えがどの変化点に対応するのかの指定を映像を分析することにより取得してよい。例えば、変化特定部１２０は、生産工程の映像が予め定められた条件を満たした場合に１つの工程が完了したと判断して、現在の工程と次の工程を区切る変化点の指定を受け取ってよい。一例として、変化特定部１２０は、生産工程の映像において、容器や器具中の材料（例えば、漏斗中の溶液）が空になったことを検出したことに応じて、現在の工程と次の工程とを区切る変化点を取得してよい。

【0071】

次にＳ２４０において、変化特定部１２０は、変化点を記録する。変化特定部１２０は、Ｓ２３０で指定を受けた変化点を記録してよい。変化特定部１２０は、変化点と製造手順との対応関係を合わせて記録してよい。

【0072】

図７は、本実施形態に係る変化点の一例を示す。図７では、特定された変化点１～５が示されている。変化点１～５は、候補１～５の変化点候補に対応している。すなわち、図７では、候補１～５が全て変化点として特定された場合を示している。変化特定部１２０は、変化点の情報として映像における時刻と対応するセンサーデータにおける時刻の両方を記録してよい。

【0073】

変化特定部１２０は、変化点の情報として、どの工程間の区切りとなるか、及び／又は、どの工程に含まれるかの情報を記録してよい。例えば、図７の例では、変化点１が製造手順の工程１と工程２の区切りとなること、変化点２が工程２に含まれること、変化点３が製造手順の工程２と工程３の区切りとなること、変化点４が工程３に含まれること、及び、変化点５が製造手順の工程３と工程４の区切りとなることが示されている。

【0074】

図２のＳ２１０～Ｓ２４０において説明したように、変化特定部１２０は、変化点の候補である変化点候補を出力し、変化点候補の中からユーザに指定されたものを変化点として特定してよい。

【0075】

次にＳ３００において、対比部１３０は、生産工程に関する情報及び／又は生産工程の映像に基づいて、類似する生産工程を検出する。例えば、対比部１３０は、別の生産工程の変化点をサーチして、Ｓ２００で特定された変化点と類似する変化点を探索する。一例として、対比部１３０は、変化点前後の映像及び／又はセンサーデータが類似するものを別の生産工程から探索してよい。

【0076】

対比部１３０は、映像及び／又はセンサーデータが類似する別の生産工程を検出してよい。一例として、対比部１３０は、映像が類似する別の生産工程の製造手順における工程を特定してよい。一例として、対比部１３０は、センサーデータが類似する別の生産工程（例えば、測定値の変動範囲、及び／又は、上昇してから下降する等の変動の仕方が類似する生産工程）の製造手順における工程を特定してよい。

【0077】

対比部１３０は、製造手順が類似する生産工程を検出してよい。例えば、対比部１３０は、製造手順に含まれる工程の説明のテキストが類似する別の生産工程を検出してよい。一例として、対比部１３０は、工程の説明のテキストが類似する別の生産工程の製造手順における工程を特定してよい。対比部１３０は、テキストの類似の判断をレーベンシュタイン距離、編集距離、自然言語処理技術等の既存の手法により実行してよい。

【0078】

対比部１３０は、生産工程に関する情報及び／又は生産工程の映像に基づいて、複数の生産工程の相違点を抽出してよい。例えば、対比部１３０は、類似すると判断した生産工程同士の、映像、センサーデータ及び／又は工程の説明における相違点を抽出してよい。

【0079】

次にＳ４００において、入力部１１０は、変化点に対応するテキストを入力する。例えば、端末６０Ａのユーザは、変化点を説明するテキストを入力して表示装置１００に送信してよい。入力部１１０は、生産者の端末６０Ａからテキストを受け取り、変化特定部１２０はテキストを変化点に対応付けて記録してよい。入力部１１０は、変化点が特定される理由になった変化点フラグに関する情報を変化点に対応するテキストとして入力してもよい。

【0080】

次にＳ５００において、画像表示部１４０は、Ｓ１００で取得された映像とともに変化点と関連する情報を複数の端末に表示させる。画像表示部１４０は、製品の生産者の端末６０Ａ、及び、製品の購入者の端末６０Ｂに映像等を表示してよい。例えば、画像表示部１４０は、映像と共に、生産工程の時間経過を示すシークバーを表示し、変化点をシークバー上に表示してよい。また、画像表示部１４０は、表示中の映像に係る生産工程と類似する別の生産工程の映像を併せて表示するか、又は、当該別の生産工程の映像に表示を切り替えてよい。

【0081】

図８は、本実施形態において画像表示部１４０が表示する表示画面８００の一例を示す。Ｓ５００において画像表示部１４０は、複数の端末（例えば、生産者の端末６０Ａ及び購入者の端末６０Ｂ）に表示画面８００を表示してよい。画像表示部１４０は、表示画面８００において、生産工程の映像８１０、シークバー８２０、工程全体図８３０、工程説明８４０、センサーデータ説明８５０等を表示してよい。

【0082】

画像表示部１４０は、複数の端末に実質的に同一の表示画面８００を表示してよい。例えば、画像表示部１４０は、後述する同時視聴端末表示８１４以外は同一の表示画面８００を複数の端末に表示してよい。

【0083】

映像８１０は、Ｓ１００で取得された生産工程の映像を含んでよい。画像表示部１４０は、操作ボタン８１２で、映像の再生、停止、音量、早送り、巻き戻し等の映像操作を受け付けてよい。画像表示部１４０は、映像８１０を拡大する拡大機能を提供してよい。例えば、画像表示部１４０は、映像８１０の一部の領域に対してクリック、タップ又はピンチアウト等の操作がされたことに応じて、当該領域を拡大表示してよい。また、画像表示部１４０は、拡大ボタン（図示せず）を表示画面８００に表示してもよく、拡大ボタンをクリック等した後に表示されるカーソルで指定された領域又はドラッグされた領域を拡大表示してよい。

【0084】

画像表示部１４０は、表示画面８００（又は映像８１０）を同時に視聴している別の端末を同時視聴端末表示８１４として表示してよい。例えば、画像表示部１４０は、図８に示すように、端末６０Ａの表示画面８００の同時視聴端末表示８１４部分に、表示画面８００を同時に視聴する端末６０Ｂの表示をしてよい。端末６０Ｂの表示画面８００の同時視聴端末表示８１４部分には、端末６０Ａが表示される。端末６０Ａ、端末６０Ｂ等の端末名の代わりに、端末のユーザ、ニックネーム、顔写真、ライブ映像及び／又は、ＩＤ等が表示されてもよい。

【0085】

シークバー８２０は、映像８１０における再生時間全体を示し、現在位置８２２は再生時間全体における現在の再生位置を示す。表示画面８００は、シークバー８２０と共に現在の再生時刻（図中の６：３０）及び／又は残りの再生時間（図中の８：５１）を含んでよい。

【0086】

図中に（１）～（６）の▼で示される変化点マーク８２４は、再生時間全体における変化点の位置を示す。（１）～（６）の変化点は、図７に示した変化点に対応するものであってよい。画像表示部１４０は、図７等で示した変化点の情報を元に、再生時間全体における各工程（工程１～４）の占める時間帯を示す工程表示８２６を変化点とともに表示してよい。

【0087】

画像表示部１４０は、表示画面８００での変化点の指定に対応して、指定された変化点に対応する時点の映像を表示してよい。例えば、入力部１１０は、端末６０Ａ及び／又は端末６０Ｂのユーザからシークバー８２０上に表示された変化点の指定を入力し（例えば、（１）の変化点マーク８２４を表示画面８００上でクリックする）、これに応じて画像表示部１４０は、入力された変化点の指定に対応する時点の映像（例えば（１）に対応する変化点１の時刻３：０４の映像）を表示してよい。

【0088】

画像表示部１４０は、表示画面８００での変化点の指定に対応して変化点に関する情報を表示してよい。例えば、入力部１１０は、端末６０Ａ及び／又は端末６０Ｂのユーザからシークバー８２０上に表示された変化点の指定（例えば、図９のようにカーソル９１０を（２）の変化点マーク９２４上に重ねる等）を入力し、これに応じて画像表示部１４０は、Ｓ４００で入力された当該変化点に対応するテキスト（例えば図９の説明テキスト９２０）を表示してよい。

【0089】

画像表示部１４０は、生産工程の映像とともに生産工程の全体図８３０を表示してよい。例えば、生産工程が製品を生産するまでに、全体で工程１～１０の工程を含む場合、映像８１０で再生中の映像がどの工程を含むのか、及び／又は、映像の現在時刻がどの工程に対応するのかを、画像表示部１４０は、全体図８３０に表示してよい。

【0090】

例えば、画像表示部１４０は、再生中の映像８１０の再生時間全体に含まれる工程の大きさ、色、フォント、位置、枠、修飾等を他の工程と異ならせる等の方法で、再生時間全体に含まれる工程を目立たせてよい。図８の例においては、映像８１０の再生時間全体に含まれる工程１～４が、全体図８３０において濃く表示されている。

【0091】

例えば、画像表示部１４０は、映像の現在時刻に対応する工程（今現在、映像８１０に表示されている画像に対応する工程）の大きさ、色、フォント、位置等を他の工程と異ならせる等の方法で、現在時刻に対応する工程を目立たせてよい。図８の例においては、現在表示中の映像に対応する工程２の枠が、全体図８３０において太く表示されている。

【0092】

画像表示部１４０は、Ｓ１００で取得した製造手順の工程説明８４０を表示画面８００に表示してよい。画像表示部１４０は、映像の現在時刻に対応する工程（例えば工程２）に対応する説明のテキスト「粉体用ロートを使ってフラスコ内に原料Ｂを５０ｇ仕込む。」を表示してよい。

【0093】

画像表示部１４０は、製造手順の工程説明８４０に加えて／代えて、Ｓ４００で取得した変化点に対応するテキストを表示してもよい。例えば、画像表示部１４０は、映像８１０と共に、直近の変化点（すなわち、現在位置８２２の直前に位置する（２）に対応する変化点２）、直近以前の変化点、直後の変化点（すなわち、現在位置８２２の直後に位置する（３）に対応する変化点２）及び／又は、直後以後の変化点に対応するテキストを表示してよい。

【0094】

画像表示部１４０は、更に詳細説明ボタン８４２及び類似工程ボタン８４４を、製造手順の工程説明８４０の付近に表示してよい。詳細説明ボタン８４２がいずれかの端末（例えば、端末６０Ａ及び／又は端末６０Ｂ）に押されたことに応じて、画像表示部１４０は、映像の現在時刻に対応する工程（例えば工程２）の更に詳細な情報（例えば、使用している原料、器具、装置の情報等）及び／又は関連する情報を表示してよい。類似工程ボタン８４４がいずれかの端末（例えば、端末６０Ａ及び／又は端末６０Ｂ）に押されたことに応じて、画像表示部１４０は、Ｓ３００において予め検出しておいた、映像の現在時刻に対応する工程（例えば工程２）と類似する工程の映像を表示してよい。

【0095】

画像表示部１４０は、映像８１０と共に、生産工程３０においてセンサー４０から出力されるセンサーデータ説明８５０を表示してよい。画像表示部１４０は、映像の現在時刻（例えば、６：３０）に対応する時刻のセンサーデータ（例えば、映像の時刻６：３０に対応する時刻１２：０８：３０のセンサーデータ）を表示してよい。例えば、図８の例では、映像の６：３０の時点における温度計のデータ（ｘｘｘ℃）がセンサーデータ説明８５０として表示されている。

【0096】

詳細ボタン８５２がいずれかの端末（例えば、端末６０Ａ及び／又は端末６０Ｂ）に押されたことに応じて、画像表示部１４０は、センサーデータの詳細を表示してよい。具体的な表示例は後述する。

【0097】

画像表示部１４０は、表示画面８００に更にメッセージボタン８７０及び通話ボタン８７２を表示してよい。入力部１１０がこれらのボタンが複数の端末６０のいずれかに押されたことを感知したことに応じて、通信部１６０は、複数の端末６０間の通信を可能にしてよい。

【0098】

例えば、メッセージボタン８７０が端末６０Ａに押されたことに応じて、通信部１６０は、ボタンを押した端末６０Ａにメッセージを入力させ、メッセージを、表示画面８００を同時に視聴する別の端末（例えば、端末６０Ｂ）に送信してよい。通信部１６０は、チャット画面のようにメッセージを時系列で連続的に表示してよい。例えば、通話ボタン８７２が端末６０Ａに押されたことに応じて、通信部１６０は、ボタンを押した端末６０Ａと、表示画面８００を同時に視聴する別の端末（例えば、端末６０Ｂ）との間の音声通話、及び／又は、映像通話を開始してよい。

【0099】

通信部１６０は、端末から入力されたメッセージを特定の時間のみに端末６０Ｂに送信するか、又は、映像８１０上に表示してよい。例えば、端末６０Ａが映像再生中の特定の時間（例えば、６：３０）にメッセージ「一度に材料を投入せず、少しずつ投入します」を送信した場合、通信部１６０は当該メッセージを映像の６：３０又はその近傍のタイミングにおいて、予め定められた時間の間（例えば１０秒間）、表示画面８００の通信欄又は映像８１０上に表示してよい。

【0100】

画像表示部１４０は、表示画面８００に更にレポートボタン８８０を表示してよい。レポートボタン８８０が複数の端末６０のいずれかに押されたことを、入力部１１０が感知したことに応じて、レポート出力部１５０は、生産工程と関する情報をレポートとして出力してよい。例えば、レポート出力部１５０は、変化点と関連する情報、及び／又は、生産工程の実行結果をレポートに含めて出力してよい。

【0101】

本実施形態によれば、図８で示したように、表示画面８００の中では、変化点が映像と共に詳細に表示され、生産工程において注目すべき変化の情報を、複数の端末（例えば端末６０Ａと６０Ｂ）のユーザ間で共有することができる。更に本実施形態によれば、生産工程の映像や変化点の情報が提示された状況で、メッセージ通信や通話を行うことができるので、複数の当事者（例えば、製品の生産者と購入者）間で生産工程についての質問、回答、指示、意見交換、注意喚起等のやりとりを迅速かつ詳細に行うことが可能となる。本実施形態によれば、生産工程の映像単体や説明単体のみのやりとりを行う場合と比較して、情報共有・交換がスムーズに行われる結果、当事者間で交わされるメッセージ、通話及び／又はデータ通信の頻度及び／又は量を削減し、ひいては、情報共有・交換に伴う計算資源、メモリ資源及び通信資源を削減することができる。

【0102】

図１０は、センサーデータの詳細表示の一例を示す。例えば、詳細ボタン８５２がいずれかの端末に押されたことに応じて、画像表示部１４０は、センサーデータ画面１０００を複数の端末（例えば端末６０Ａ及び端末６０Ｂ）に表示してよい。画像表示部１４０は、センサーデータ画面１０００において、センサーデータにおける許容できる値の範囲を表示してよい。例えば、画像表示部１４０は、センサーデータについて過去の測定上／理論上の上限や下限等を表示してよい。

【0103】

画像表示部１４０は、センサーデータ画面１０００において、センサーデータの時系列データを表示してよい。例えば、画像表示部１４０は、時系列データを図１０に示すように、横軸を時間経過、縦軸をセンサー４０の測定値とするグラフ１０２８として表示してよい。

【0104】

画像表示部１４０は、時系列データの時間経過と合わせて、変化点を示す変化点マーク１０２４を表示してよい。画像表示部１４０は、時系列データの時間経過と合わせて、各工程（工程１～４）の占める時間帯を示す工程表示１０２６を表示してよい。

【0105】

画像表示部１４０は、センサーデータ画面１０００に切り替わる直前の映像の時刻（例えば、図８に示す「６：３０」）の生産工程の映像１０３２を、時系列データと合わせて表示してよい。画像表示部１４０は、時系列データの表示を妨げないように映像１０３２を小さく表示してよい。

【0106】

画像表示部１４０は、センサーデータ画面１０００に切り替わる直前の映像の時刻（例えば、図８に示す「６：３０」）と、当該時刻のセンサーデータ（例えば、表示欄１０３０の「ｘｘｘ℃ ６：３０」）を表示してよい。

【0107】

画像表示部１４０は、いずれかの端末からの指示を受けて、指定された時刻のセンサーデータを表示欄１０３０に表示してよい。例えば、いずれかの端末がカーソル１０１０をグラフ１０２８に重ねたことに応じて、重なった点に対応する時刻のセンサーデータを表示欄１０３０に表示してよい。

【0108】

画像表示部１４０は、映像ボタン１０４０をセンサーデータ画面１０００に表示してよい。いずれかの端末が映像ボタン１０４０を押したことに応じて、画像表示部１４０は、映像を主とする画面（例えば、図８の画面表示８００）に表示を切り替えてよい。

【0109】

図１１は、類似工程表示画面１１００の一例を示す。例えば、類似工程ボタン８４４がいずれかの端末に押されたことに応じて、画像表示部１４０は、類似工程表示画面１１００を複数の端末（例えば端末６０Ａ及び端末６０Ｂ）に表示してよい。

【0110】

画像表示部１４０は、類似工程表示画面１１００において、類似する複数の工程の映像を表示する。例えば、図１１では、製造対象が異なる２つの工程：プロセスＩＤ：００１（ＸＸＸ樹脂製造）の工程２の映像１１１０、及び、プロセスＩＤ：００３（ＸＹＺ樹脂製造）の工程２の映像１１２０が表示される。

【0111】

画像表示部１４０は、映像１１１０及び映像１１２０と合わせて、各工程の説明を表示する。例えば、図８では工程の説明１１１２として「（工程２）粉体用ロートを使ってフラスコ内に原料Ｂを５０ｇ仕込む。」が表示されている。更に、工程の説明１１１４として「（工程２）粉体用ロートを使ってフラスコ内に原料Ｂを８０ｇ仕込む。」が表示されている。

【0112】

画像表示部１４０は、複数の生産工程の相違点を表示してもよい。画像表示部１４０は、Ｓ３００で対比部１３０が抽出した相違点を、類似工程表示画面１１００に表示してよい。例えば、図１１においては、相違点の説明１１４０に「製造対象」、「原料Ｂの投入量」及び「測定温度」が、相違点として表示されている。

【0113】

図１２は、本実施形態において画像表示部１４０が表示する表示画面１２００の別の一例を示す。画像表示部１４０は、図８の製造手順の工程説明８４０に示すような一つの工程（工程２）のみを表示することに代えて／加えて、製造手順の説明１２４０に示すような複数の工程の説明を表示してよい。

【0114】

画像表示部１４０は、製造手順の説明１２４０において、映像の現在時刻に対応する工程（例えば工程２）に対応する説明のテキスト「粉体用ロートを使ってフラスコ内に原料Ｂを５０ｇ仕込む。」を強調して表示してよい。例えば、画像表示部１４０は、当該テキストのフォントを大きくする、太くする、色を変える、下線を引く、枠で囲む等の強調表示を行ってよい。

【0115】

図１３は、本実施形態において画像表示部１４０が表示する表示画面１３００の別の一例を示す。画像表示部１４０は、現在進行中（すなわちリアルタイム）の生産工程の映像１３１０を表示画面１３００に表示してよい。画像表示部１４０は、現在進行中であることを「Ｌｉｖｅ」という文字で示すリアルタイム表示１３１２を映像１３１０に併せて表示してよい。画像表示部１４０は、センサーデータ１３５０として、現在のセンサー４０の測定値を表示してよい。画像表示部１４０は、表示画面１３００において、シークバー１３２０と共にに、映像１３１０とセンサーデータ１３５０とが同期した時刻を表示してもよい（図１３の例だと「６：３０」）。

【0116】

本実施形態においてＳ１００～Ｓ５００の変化点の特定はリアルタイムに実行されてよいが、変化点フラグの入力に係るＳ２１０は事前に実行されてよい。端末（例えば、端末６０Ａ）のユーザが、変化点候補を変化点に指定するかの判断をその場で入力することで変化特定部１２０が変化点を特定し、これに応じて画像表示部１４０がシークバー１３２０上に変化点マーク１３２４を表示してよい。これに代えて、変化特定部１２０が事前に入力された変化点フラグのみに基づいて変化点をリアルタイムで特定していってもよい。

【0117】

対比部１３０は、リアルタイムで映像表示する工程の将来を予測して、画像表示部１４０を介して表示画面１３００に表示してもよい。例えば、対比部１３０は、リアルタイムで映像表示する工程と、過去に記録した別の生産工程とを、映像、センサーデータ、変化点、及び／又は、説明するテキストの観点から対比し、閾値以上の類似性が認められた場合に、その別の生産工程で現在時刻以降に生じた変化点及び／又は工程に係る情報を、画像表示部１４０を介して表示画面１３００に表示してもよい。一例として、画像表示部１４０は、映像１３１０中に、予測した将来として「１３分後に白濁しました。」というメッセージを表示してよい。

【0118】

図１４は、レポート出力部１５０が出力するレポート１４００の一例を示す。例えば、図８のレポートボタン８８０がいずれかの端末に押されたことに応じて、レポート出力部１５０は、レポート１４００を複数の端末（例えば端末６０Ａ及び端末６０Ｂ）の画面上、複数の端末におけるファイル及び／又は紙に出力してよい。

【0119】

レポート１４００は、生産工程を特定する識別情報（例えば「プロセスＩＤ：００１（ＸＸＸ樹脂製造）」）、及び、レポートの対象となる工程（例えば工程１～４）を含んでよい。レポート１４００は、使用した原料、資材、時間、人員、費用等の生産工程に使用した資源を含んでよい。図１４の例では、レポート１４００に「原料：原料Ａ１００ｇ、原料Ｂ５０ｇ、溶媒Ｃ２００ｍＬ…」及び「所要時間：１５分」が記載されている。

【0120】

レポート１４００は、生産工程の成否に関する情報（例えば、生産量、収率、品質、不良の発生有無等）を含んでよい。図１４の例では、レポート１４００に「理論収量：１００ｇ」、「生成量：９１ｇ」、「収率：９１％」、「不純物含有量：９ｇ」、「成否：成功」が記載されている。レポート１４００は、その他の分析結果を含んでもよい。

【0121】

レポート１４００は、変化点に関する情報を含んでよい。図１４の例では、レポート１４００に図７に示した変化点の例が記載されている。レポート１４００は、センサーデータに関する情報を含んでよい。図１４の例では、レポート１４００に図１０に示した時系列データの例が記載されている。

【0122】

レポート１４００は、少なくとも一部の工程の写真を含んでよい。例えば、レポート出力部１５０は、生産工程の映像をキャプチャした写真をレポートに含めてよく、当該写真がどの工程かを示すテキストも合わせてレポートに含めてよい。

【0123】

図１５は、レポート出力部１５０が出力するレポート１５００の一例を示す。レポート１５００は、複数の工程を配置したガンチャートを含んでよい。例えば、レポート出力部１５０は、各工程の所要時間、原料及び／又は生産予定量等に基づいて、各工程の実行予定を作成し、グラフ上に実行予定を配置することでガンチャートを配置してよい。

【0124】

レポート出力部１５０は、図１４及び図１５に示したレポート１４００に記載された事項以外にもさまざまな事項をレポートに記載してよい。例えば、レポート出力部１５０は、生産工程が目指す目的や設定された経緯を記載してよい。

【0125】

本実施形態の変形例において、表示装置１００は工程の映像の一部を省略してよい。例えば、映像において時間的に隣接する変化点の間の時間が長くなる場合、その変化点間の時間はあまり変化の生じない重要性の低い映像である可能性が高い。そこで、変化特定部１２０は、隣接する変化点間の時間が閾値を超える場合、その変化点間の映像の一部をカットしてよい。これにより、表示装置１００のメモリ資源を節約することができる。

【0126】

本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。

【0127】

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0128】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。

【0129】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のコンピュータ等のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0130】

図１６は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。

【0131】

本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インターフェイス２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。

【0132】

ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。

【0133】

通信インターフェイス２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。

【0134】

ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。

【0135】

プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。

【0136】

例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェイス２２２２に対し、通信処理を命令してよい。通信インターフェイス２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

【0137】

ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。

【0138】

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0139】

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。

【0140】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0141】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。「Ａ及び／又はＢ」の表記は「Ａ、Ｂ、又は、Ａ及びＣ」を示すものであってよい。「Ａ、Ｂ及び／又はＣ」の表記は「Ａ、Ｂ及びＣのいずれか１つか、又は、これらの２つ以上のいずれかの組み合わせ」を示すものであってよい。

【符号の説明】

【0142】

１０ システム
２０ ネットワーク
３０ 生産工程
４０ センサー
５０ 撮影装置
６０Ａ 端末
６０Ｂ 端末
１００ 表示装置
１１０ 入力部
１２０ 変化特定部
１３０ 対比部
１４０ 画像表示部
１５０ レポート出力部
１６０ 通信部
５００ 入力画面
５０２ 時刻入力欄
５０４ 時刻入力欄
５０６ 時刻入力欄
５１０ 追加ボタン
５１２ 削除ボタン
５２０ センサー条件入力欄
５３０ 追加ボタン
５３２ 削除ボタン
５４０ 映像条件入力欄
５５０ 追加ボタン
５５２ 削除ボタン
５６０ 登録ボタン
８００ 表示画面
８１０ 映像
８１２ 操作ボタン
８１４ 同時視聴端末表示
８２０ シークバー
８２２ 現在位置
８２４ 変化点マーク
８２６ 工程表示
８３０ 全体図
８４０ 工程説明
８４２ 詳細説明ボタン
８４４ 類似工程ボタン
８５０ センサーデータ説明
８５２ 詳細ボタン
８７０ メッセージボタン
８７２ 通話ボタン
８８０ レポートボタン
９１０ カーソル
９２０ 説明テキスト
９２４ 変化点マーク
１０００ センサーデータ画面
１０１０ カーソル
１０２４ 変化点マーク
１０２６ 工程表示
１０２８ グラフ
１０３０ 表示欄
１０３２ 映像
１０４０ 映像ボタン
１１００ 類似工程表示画面
１１１０ 映像
１１１２ 工程の説明
１１１４ 工程の説明
１１２０ 映像
１１４０ 相違点の説明
１２００ 表示画面
１２４０ 製造手順の説明
１３００ 表示画面
１３１０ 映像
１３１２ リアルタイム表示
１３２０ シークバー
１３２４ 変化点マーク
１３５０ センサーデータ
１４００ レポート
２２００ コンピュータ
２２０１ ＤＶＤ－ＲＯＭ
２２１０ ホストコントローラ
２２１２ ＣＰＵ
２２１４ ＲＡＭ
２２１６ グラフィックコントローラ
２２１８ ディスプレイデバイス
２２２０ 入／出力コントローラ
２２２２ 通信インターフェイス
２２２４ ハードディスクドライブ
２２２６ ＤＶＤ－ＲＯＭドライブ
２２３０ ＲＯＭ
２２４０ 入／出力チップ
２２４２ キーボード

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】