JP6482295B2

JP6482295B2 - Video distribution system and video playback device

Info

Publication number: JP6482295B2
Application number: JP2015013732A
Authority: JP
Inventors: 青木　哲郎; 哲郎青木; 正勝兼子
Original assignee: THE UNIVERSITY OF ELECTRO-COMUNICATINS
Current assignee: THE UNIVERSITY OF ELECTRO-COMUNICATINS
Priority date: 2015-01-27
Filing date: 2015-01-27
Publication date: 2019-03-13
Anticipated expiration: 2035-01-27
Also published as: JP2016139934A

Description

本発明は、多数のユーザが動画を閲覧できる動画配信システム及び動画再生装置に関する。 The present invention relates to a moving image distribution system and a moving image reproducing apparatus that allow a large number of users to view moving images.

主にソーシャル・ネットワーキング・サービスを主眼に置いて、動画ストリームにコメントを付す動画配信システムが普及している（例えば、特許文献１参照）。特許文献１に係る動画配信システムは、動画編集環境を必要とせず、動画上の任意の時間軸上にコメントを付すことができる。 A video distribution system that attaches comments to a video stream mainly using social networking services has become widespread (see, for example, Patent Document 1). The moving image distribution system according to Patent Document 1 does not require a moving image editing environment, and can add a comment on an arbitrary time axis on the moving image.

特開2012-186834号公報JP 2012-186834

特許文献１に開示される動画配信システムは、視聴者の反響を動画上のコメントの数として目視で容易に確認できるものの、動画そのものが見辛くなってしまうという、互いに相反する問題がある。また、動画に表示されている複数の特定の対象を結びつけたいという要求に必ずしも応えていないことも問題であった。 The moving image distribution system disclosed in Patent Document 1 has a conflicting problem that the moving image itself becomes difficult to see although the viewer's response can be easily confirmed visually as the number of comments on the moving image. Another problem is that it does not always meet the demand for connecting a plurality of specific objects displayed in a moving image.

本発明はかかる問題を解決し、画面内の多様な関係性を的確に表すことができる動画配信システム及び動画再生装置を提供することを目的とする。 It is an object of the present invention to provide a moving image distribution system and a moving image reproducing apparatus that can solve such problems and can accurately represent various relationships in a screen.

上記課題を解決するために、本発明の動画配信システムは、動画データを再生する動画再生処理部と、動画データを一意に識別する動画ＩＤが格納される動画ＩＤフィールドと、動画データの時間軸上の再生位置情報である再生時間が格納される再生時間フィールドと、動画データに基づく動画上に描画される線分の始点座標と終点座標を有する線分情報が格納される線分情報フィールドと、線分に紐付けられるコメント本文が格納されるコメント本文フィールドとを有するコメントテーブルと、動画再生処理部が動画データを再生する際に、コメントテーブルから、動画データの再生時間に等しい再生時間フィールドのレコードの、線分情報フィールドに格納されている線分の始点座標と終点座標に基づいて線分を描画すると共に、線分に係るコメントについて、コメント本文フィールドのコメント本文を出力する線分描画処理部とを具備する。
更に、動画表示領域に動画再生処理部が再生する動画を表示し、動画表示領域に線分描画処理部が描画する線分を表示し、動画表示領域の他に設けられるコメント表示欄に線分描画処理部が出力するコメント本文を表示する表示部と、表示部に表示されるコメント及び／または線分を選択する操作部と、操作部から操作情報を得て、操作情報の種類に応じて動画再生処理部及び／または線分描画処理部に操作情報を引き渡すＧＵＩ制御部とを具備する。
ＧＵＩ制御部は、操作部の操作情報が所定の線分を選択する指示である場合に、表示部に表示される複数の線分のうち、選択された線分をハイライト表示し、選択された線分に属するコメントのみを表示部に表示させるべく線分描画処理部に指示する。 In order to solve the above problems, a moving image distribution system according to the present invention includes a moving image reproduction processing unit for reproducing moving image data, a moving image ID field in which a moving image ID for uniquely identifying moving image data is stored, and a time axis of moving image data. A playback time field storing playback time as upper playback position information, and a line segment information field storing line segment information having start point coordinates and end point coordinates drawn on a video based on video data; , A comment table having a comment text field storing a comment text linked to a line segment, and a playback time field equal to the playback time of the video data from the comment table when the video playback processing unit plays the video data Draws a line segment based on the start point and end point coordinates stored in the line segment information field of For that comment, including a line segment drawing processing unit that outputs the comment text Comment text field.
Furthermore, the moving image played back by the moving image playback processing unit is displayed in the moving image display region, the line segment drawn by the line segment drawing processing unit is displayed in the moving image display region, and the line segment is displayed in the comment display field provided in addition to the moving image display region. A display unit that displays a comment text output by the drawing processing unit, an operation unit that selects a comment and / or a line segment displayed on the display unit, operation information obtained from the operation unit, and depending on the type of operation information A GUI control unit that delivers operation information to the moving image reproduction processing unit and / or the line segment drawing processing unit.
When the operation information of the operation unit is an instruction to select a predetermined line segment, the GUI control unit highlights and selects the selected line segment from the plurality of line segments displayed on the display unit. The line drawing processing unit is instructed to display only the comments belonging to the line segment on the display unit.

本発明により、画面内の多様な関係性を的確に表すことができる動画配信システム及び動画再生装置を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。 According to the present invention, it is possible to provide a moving image distribution system and a moving image reproducing apparatus that can accurately represent various relationships in a screen.
Problems, configurations, and effects other than those described above will be clarified by the following description of embodiments.

本実施形態に係る動画配信システムの概略図である。It is the schematic of the moving image delivery system which concerns on this embodiment. クライアント及びサーバのハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of a client and a server. メインサーバと、データベースサーバと、コメントサーバと、動画サーバと、アプリサーバのソフトウェア機能を示すブロック図である。It is a block diagram which shows the software function of a main server, a database server, a comment server, a moving image server, and an application server. 各種テーブルのフィールド構成を示す図である。It is a figure which shows the field structure of various tables. クライアントのソフトウェア機能を示すブロック図である。It is a block diagram which shows the software function of a client. 本実施形態に係る動画配信システムのタイムチャートである。It is a time chart of the moving image delivery system which concerns on this embodiment. クライアントの動画再生における動作の流れを示すフローチャートである。It is a flowchart which shows the flow of operation | movement in the moving image reproduction of a client. クライアント上で動画の再生中にコメントを付す動作の流れを示す図である。It is a figure which shows the flow of the operation | movement which attaches a comment during reproduction | regeneration of a moving image on a client. クライアント上で動画の再生中にコメントを付す動作の流れを示す図である。It is a figure which shows the flow of the operation | movement which attaches a comment during reproduction | regeneration of a moving image on a client. グリッドの概念を示す概略図である。It is the schematic which shows the concept of a grid. 動画表示領域における、グリッドによる線分始点及び終点の正規化を説明する概要図と、グリッドによる線分始点及び終点の正規化を説明する一部拡大図である。FIG. 5 is a schematic diagram for explaining normalization of a line segment start point and end point by a grid and a partially enlarged view for explaining normalization of a line segment start point and end point by a grid in a moving image display area. コメントを特定して動画の再生位置をシークする動作を説明する概略図である。It is the schematic explaining the operation | movement which specifies the comment and seeks the reproduction | regeneration position of a moving image. コメントを特定して動画の再生位置をシークする動作を説明する概略図である。It is the schematic explaining the operation | movement which specifies the comment and seeks the reproduction | regeneration position of a moving image.

例えば、サッカーの試合の動画で、シュートのシーンがあった時に、シュートの軌跡を表したいという要求がある。この場合、動画を表示する画面領域内にシュートの軌跡をなぞる斜めの線分を表示できるようにすることが望ましい。そして、動画を表示する画面領域内に、表示された線分に対し、コメントを付すことが求められる。
本実施形態に係る動画配信システムは、クライアントにおいて、動画再生中に、動画表示領域内に点あるいは任意の線分を描画する。そして、その描画された点あるいは線分に、コメントを付して、点あるいは線分とコメントとを関連付ける。 For example, when there is a shooting scene in a video of a soccer game, there is a request to represent the shooting trajectory. In this case, it is desirable that an oblique line tracing the trajectory of the shoot can be displayed in the screen area displaying the moving image. And it is requested | required to attach a comment with respect to the displayed line segment in the screen area | region which displays a moving image.
The moving image distribution system according to the present embodiment draws dots or arbitrary line segments in the moving image display area during moving image reproduction at the client. Then, a comment is attached to the drawn point or line segment, and the point or line segment is associated with the comment.

［全体構成］
図１は、本実施形態に係る動画配信システム１０１の概略図である。
ユーザ１０２は、デスクトップパソコン１０３ａ、ノートパソコン１０３ｂ、あるいはスマートフォン１０３ｃ等のクライアント１０３を用いて、インターネット１０４を通じてメインサーバ１０５に接続し、動画を閲覧する。実際の動画ストリームは動画サーバ１０６から受信することができる。
ユーザ１０２が、クライアント１０３上のｗｅｂブラウザや動画再生専用アプリケーションプログラム（以下「動画アプリ」と略す）を用いて所定のＵＲＬを指定すると、ｗｅｂブラウザまたは動画アプリはメインサーバ１０５にアクセスする。
メインサーバ１０５は、ＵＲＬに含まれる動画ＩＤに基づき、データベースサーバ１０７及びコメントサーバ１０８にアクセスする。
データベースサーバ１０７は、指定された動画ＩＤに紐付いている動画情報をメインサーバ１０５に返信する。
コメントサーバ１０８は、指定された動画ＩＤに紐付いているコメント情報をメインサーバ１０５に返信する。
メインサーバ１０５は、データベースサーバ１０７から返信された動画情報と、コメントサーバ１０８から返信されたコメント情報に基づき、ＨＴＭＬ文書を動的に作成して、クライアント１０３に返信する。
クライアント１０３のｗｅｂブラウザまたは動画アプリは、ＨＴＭＬ文書を読み込み、表示部の画面上に動画再生画面を描画する。 [overall structure]
FIG. 1 is a schematic diagram of a moving image distribution system 101 according to the present embodiment.
A user 102 uses a client 103 such as a desktop personal computer 103a, a notebook personal computer 103b, or a smartphone 103c to connect to the main server 105 through the Internet 104 and browse a moving image. The actual moving image stream can be received from the moving image server 106.
When the user 102 designates a predetermined URL using a web browser on the client 103 or a moving image reproduction dedicated application program (hereinafter abbreviated as “moving image application”), the web browser or moving image application accesses the main server 105.
The main server 105 accesses the database server 107 and the comment server 108 based on the moving image ID included in the URL.
The database server 107 returns the moving image information associated with the specified moving image ID to the main server 105.
The comment server 108 returns the comment information associated with the designated moving image ID to the main server 105.
The main server 105 dynamically creates an HTML document based on the moving image information returned from the database server 107 and the comment information returned from the comment server 108 and returns the HTML document to the client 103.
The web browser or moving image application of the client 103 reads an HTML document and draws a moving image reproduction screen on the screen of the display unit.

例えば、クライアント１０３がパソコンの場合、ＨＴＭＬ文書を読み込んだ後、ＨＴＭＬ文書に含まれているアプリサーバ１０９のＵＲＬに基づき、アプリサーバ１０９にアクセスして、ＪａｖａＳｃｒｉｐｔ（登録商標）やＦｌａｓｈ（登録商標）、ＡｃｔｉｏｎＳｃｒｉｐｔ等で記述されている動画再生用スクリプトを受信し、これを実行する。クライアント１０３がスマートフォンの場合は、スマートフォンにインストールされる動画アプリが動画再生機能を備えているので、アプリサーバ１０９にはアクセスしない。なお、スマートフォンのｗｅｂブラウザに対応した動画再生用スクリプトを作成してもよいし、逆にパソコン用の動画再生アプリケーションプログラムを提供してもよい。
クライアント１０３の動画再生用スクリプトまたは動画アプリは、ＨＴＭＬ文書に含まれている動画サーバ１０６のＵＲＬに基づき、動画サーバ１０６にアクセスして、動画ストリームデータを受信し、動画を再生する。また、ＨＴＭＬ文書に含まれているコメント情報に基づき、指定された再生時間に線分を動画再生画面に、コメントをコメント表示欄に表示する。 For example, when the client 103 is a personal computer, after reading an HTML document, the application server 109 is accessed based on the URL of the application server 109 included in the HTML document, and JavaScript (registered trademark) or Flash (registered trademark) is accessed. , Receives a moving image playback script described in ActionScript or the like, and executes it. When the client 103 is a smartphone, the video application installed on the smartphone has a video playback function, and thus the application server 109 is not accessed. Note that a movie playback script corresponding to the web browser of the smartphone may be created, or a movie playback application program for a personal computer may be provided.
The moving image playback script or the moving image application of the client 103 accesses the moving image server 106 based on the URL of the moving image server 106 included in the HTML document, receives the moving image stream data, and reproduces the moving image. Further, based on the comment information included in the HTML document, a line segment is displayed on the moving image reproduction screen and a comment is displayed in the comment display column at the designated reproduction time.

［ハードウェア構成］
図２Ａは、クライアント１０３のハードウェア構成を示すブロック図である。
クライアント１０３は、バス２０１に接続された、周知のＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、ハードディスク装置やフラッシュメモリ等の不揮発性ストレージ２０５、表示部２０６及び操作部２０７を備える。
バス２０１には更に、インターネット１０４に接続するためのＮＩＣ（Network Information Card）２０８と、動画を再生する際に付随して再生される音を発するスピーカ２０９に音声信号を供給するＤ／Ａ変換器２１０が接続されている。
なお、図２Ａのブロック図に示すクライアント１０３は、図１に示されるデスクトップパソコン１０３ａ、ノートパソコン１０３ｂ、そしてスマートフォン１０３ｃを包含する上位概念で記載されている。
例えばスマートフォン１０３ｃの場合、表示部２０６は液晶ディスプレイであり、操作部２０７は液晶ディスプレイに被さる静電式位置検出装置を含む。そして、表示部２０６と操作部２０７はタッチパネルディスプレイを構成する。また、スマートフォン１０３ｃの場合、ＮＩＣ２０８はＬＴＥ（Long Term Evolution）等の無線通信機能や無線ＬＡＮインターフェースが該当する。更に、シリアルポートを用いたＰＰＰ（Point to Point Protocol）接続も、本明細書におけるＮＩＣ２０８が指し示す概念として含まれる。つまり、図２ＡにおけるＮＩＣ２０８は、インターネット１０４に接続するための、物理的及び／又は論理的な広義のインターフェースを指す。 [Hardware configuration]
FIG. 2A is a block diagram illustrating a hardware configuration of the client 103.
The client 103 includes a known CPU 202, ROM 203, RAM 204, non-volatile storage 205 such as a hard disk device or flash memory, a display unit 206, and an operation unit 207 connected to the bus 201.
The bus 201 further includes a network information card (NIC) 208 for connecting to the Internet 104, and a D / A converter that supplies an audio signal to a speaker 209 that emits a sound reproduced when a moving image is reproduced. 210 is connected.
The client 103 shown in the block diagram of FIG. 2A is described in a high-level concept including the desktop personal computer 103a, the notebook personal computer 103b, and the smartphone 103c shown in FIG.
For example, in the case of the smartphone 103c, the display unit 206 is a liquid crystal display, and the operation unit 207 includes an electrostatic position detection device that covers the liquid crystal display. The display unit 206 and the operation unit 207 constitute a touch panel display. In the case of the smartphone 103c, the NIC 208 corresponds to a wireless communication function such as LTE (Long Term Evolution) or a wireless LAN interface. Further, PPP (Point to Point Protocol) connection using a serial port is also included as a concept indicated by the NIC 208 in this specification. In other words, the NIC 208 in FIG. 2A indicates a broad physical and / or logical interface for connecting to the Internet 104.

図２Ｂは、サーバ２１１のハードウェア構成を示すブロック図である。ここで言うサーバ２１１は、図１に示すメインサーバ１０５、データベースサーバ１０７、コメントサーバ１０８、アプリサーバ１０９、動画サーバ１０６の全てに共通する。
サーバ２１１は、バス２１２に接続された、周知のＣＰＵ２１３、ＲＯＭ２１４、ＲＡＭ２１５、ハードディスク装置やフラッシュメモリ等の不揮発性ストレージ２１６及びＮＩＣ２１７を備える。なお、図２Ａのクライアント１０３の構成に含まれている表示部２１８及び操作部２１９は、図２Ｂに示すサーバ２１１の構成としては省略されている。 FIG. 2B is a block diagram illustrating a hardware configuration of the server 211. The server 211 referred to here is common to all of the main server 105, the database server 107, the comment server 108, the application server 109, and the moving image server 106 shown in FIG.
The server 211 includes a known CPU 213, ROM 214, RAM 215, non-volatile storage 216 such as a hard disk device and flash memory, and a NIC 217 connected to the bus 212. Note that the display unit 218 and the operation unit 219 included in the configuration of the client 103 in FIG. 2A are omitted from the configuration of the server 211 illustrated in FIG. 2B.

［サーバ２１１のソフトウェア機能］
図３Ａは、メインサーバ１０５のソフトウェア機能を示すブロック図である。
ｗｅｂサーバプログラム３０１は、クライアント１０３から送信される要求を受信して、その要求に応じてＨＴＭＬ（Hyper Text Markup Language）文書や任意のファイル等をクライアント１０３に返信する。また、要求内容に該当するｃｇｉ（Common Gateway Interface）あるいはアプレット等のプログラムを起動して、その実行結果をクライアント１０３に送信する。なお、ｗｅｂサーバプログラム３０１の機能はこれ以降に説明する図３Ｂのデータベースサーバ１０７、図３Ｃのコメントサーバ１０８、図３Ｄの動画サーバ１０６及び図３Ｅのアプリサーバ１０９において共通である。 [Software function of server 211]
FIG. 3A is a block diagram illustrating software functions of the main server 105.
The web server program 301 receives a request transmitted from the client 103 and returns an HTML (Hyper Text Markup Language) document, an arbitrary file, or the like to the client 103 in response to the request. In addition, a program such as a cgi (Common Gateway Interface) or an applet corresponding to the requested content is started and the execution result is transmitted to the client 103. The function of the web server program 301 is common to the database server 107 in FIG. 3B, the comment server 108 in FIG. 3C, the moving image server 106 in FIG. 3D, and the application server 109 in FIG.

認証処理部３０２は、ユーザマスタ３０３を参照して、ユーザ１０２の認証処理を行う。認証処理部３０２はクライアント１０３から送信されるユーザ１０２の認証情報を受信すると、ユーザマスタ３０３を参照して、ユーザ１０２が動画配信システム１０１における正規のユーザ１０２であるか否かを確認する。そして、正規ユーザであればこれを認証した結果として、クライアント１０３へ周知のＣｏｏｋｉｅを返送する。
ＨＴＭＬ生成処理部３０４は、クライアント１０３から送信される動画ＩＤに基づいて、データベースサーバ１０７及びコメントサーバ１０８に問い合わせを行う。すなわち、ＨＴＭＬ生成処理部３０４はデータベースサーバ１０７及びコメントサーバ１０８に対するクライアントとしての機能を備える。ＨＴＭＬ生成処理部３０４はデータベースサーバ１０７から、指定された動画ＩＤに紐付いている動画情報を受信し、コメントサーバ１０８から、指定された動画ＩＤに紐付いているコメント情報を受信する。そして、データベースサーバ１０７から返信された動画情報と、コメントサーバ１０８から返信されたコメント情報に基づき、ＨＴＭＬ文書を動的に作成して、クライアント１０３に返信する。 The authentication processing unit 302 refers to the user master 303 and performs an authentication process for the user 102. Upon receiving the authentication information of the user 102 transmitted from the client 103, the authentication processing unit 302 refers to the user master 303 and confirms whether or not the user 102 is a regular user 102 in the video distribution system 101. If the user is an authorized user, a known cookie is returned to the client 103 as a result of authentication.
The HTML generation processing unit 304 makes an inquiry to the database server 107 and the comment server 108 based on the moving image ID transmitted from the client 103. That is, the HTML generation processing unit 304 has a function as a client for the database server 107 and the comment server 108. The HTML generation processing unit 304 receives the moving image information associated with the designated moving image ID from the database server 107 and receives the comment information associated with the designated moving image ID from the comment server 108. Based on the moving image information returned from the database server 107 and the comment information returned from the comment server 108, an HTML document is dynamically created and returned to the client 103.

図３Ｂは、データベースサーバ１０７のソフトウェア機能を示すブロック図である。
動画情報登録部３０５は、クライアント１０３からメインサーバ１０５を通じて受信した新規な動画に関する情報を、動画テーブル３０６に追記録する。
動画情報出力部３０７は、クライアント１０３からメインサーバ１０５を通じて受信した、動画ＩＤに紐付く情報を動画テーブル３０６から読み出し、メインサーバ１０５へ返信する。 FIG. 3B is a block diagram showing software functions of the database server 107.
The moving image information registration unit 305 additionally records information on a new moving image received from the client 103 through the main server 105 in the moving image table 306.
The moving image information output unit 307 reads information associated with the moving image ID received from the client 103 through the main server 105 from the moving image table 306 and returns the information to the main server 105.

図３Ｃは、コメントサーバ１０８のソフトウェア機能を示すブロック図である。
コメント登録部３０８は、クライアント１０３からメインサーバ１０５を通じて受信した動画ＩＤと新規なコメントを、コメントテーブル３０９に追記録する。
コメント出力部３１０は、クライアント１０３からメインサーバ１０５を通じて受信した動画ＩＤに紐付くコメントをコメントテーブル３０９から読み出し、メインサーバ１０５へ返信する。 FIG. 3C is a block diagram illustrating software functions of the comment server 108.
The comment registration unit 308 additionally records the moving image ID and the new comment received from the client 103 through the main server 105 in the comment table 309.
The comment output unit 310 reads a comment associated with the moving image ID received from the client 103 through the main server 105 from the comment table 309 and returns the comment to the main server 105.

図３Ｄは、動画サーバ１０６のソフトウェア機能を示すブロック図である。
動画登録部３１１は、クライアント１０３から受信した新規な動画データを、動画ファイルとして動画ファイルディレクトリ３１２に格納する。
動画出力部３１３は、クライアント１０３から受信した動画ＩＤに紐付く動画ファイルを動画ファイルディレクトリ３１２から読み出し、クライアント１０３へ動画ストリームとして送信する。 FIG. 3D is a block diagram illustrating software functions of the moving image server 106.
The moving image registration unit 311 stores the new moving image data received from the client 103 in the moving image file directory 312 as a moving image file.
The moving image output unit 313 reads a moving image file associated with the moving image ID received from the client 103 from the moving image file directory 312 and transmits it to the client 103 as a moving image stream.

図３Ｅは、アプリサーバ１０９のソフトウェア機能を示すブロック図である。
動画アプリファイルディレクトリ３１４には、クライアント１０３がパソコンである場合に用いられる動画再生用スクリプトが格納されている。ｗｅｂサーバプログラム３０１は、クライアント１０３から送信される動画再生用スクリプトの送信要求を受信すると、動画アプリファイルディレクトリ３１４から動画再生用スクリプトを読み出し、クライアント１０３へ返信する。 FIG. 3E is a block diagram illustrating software functions of the application server 109.
The movie application file directory 314 stores a movie playback script used when the client 103 is a personal computer. When the web server program 301 receives the transmission request for the video playback script transmitted from the client 103, the web server program 301 reads the video playback script from the video application file directory 314 and returns it to the client 103.

［データ構造］
図４は、各種テーブルのフィールド構成を示す図である。
ユーザマスタ３０３は、ユーザＩＤフィールドと、パスワードハッシュ値フィールドと、ユーザ名フィールドを有する。
ユーザＩＤフィールドには、ユーザ１０２を一意に識別するユーザＩＤが格納されている。
パスワードハッシュ値フィールドには、ユーザＩＤに対応するパスワードのハッシュ値が格納されている。
ユーザ名フィールドには、ユーザ１０２の氏名が格納されている。
また、ユーザマスタ３０３にはこの他に、メールアドレス等、ユーザ１０２に関する個人情報等が格納されるが、発明に直接的には関係しないので詳細は割愛する。 [data structure]
FIG. 4 is a diagram showing the field configuration of various tables.
The user master 303 has a user ID field, a password hash value field, and a user name field.
A user ID that uniquely identifies the user 102 is stored in the user ID field.
The password hash value field stores the hash value of the password corresponding to the user ID.
The name of the user 102 is stored in the user name field.
In addition to this, the user master 303 stores personal information about the user 102 such as an e-mail address, but the details are omitted because it is not directly related to the invention.

動画テーブル３０６は、動画ＩＤフィールドと、動画フレームサイズフィールドと、表示倍率フィールドと、グリッド分割数フィールドと、動画サーバＵＲＬフィールドと、動画ファイルパスフィールドと、投稿者ＩＤフィールドを有する。
動画ＩＤフィールドには、投稿される動画を一意に識別する動画ＩＤが格納される。
動画フレームサイズフィールドには、投稿された動画のフレームサイズが格納される。
表示倍率フィールドには、投稿された動画をクライアント１０３にて再生する際に、動画に適用する表示倍率が格納される。
動画フレームサイズと表示倍率は、投稿される動画のフレームサイズは千差万別であるため、クライアント１０３の表示部２０６に表示する際に適切な表示倍率を設定するために必要な情報である。
グリッド分割数フィールドには、動画の画面を分割する分割数が格納される。このグリッドはコメントの線分を定める際に重要な情報である。グリッドの詳細については図１０及び図１１にて後述する。
動画サーバＵＲＬフィールドには、動画サーバ１０６のＵＲＬが格納される。動画サーバ１０６は単一であるとは限らない、つまり複数設けられる場合もあるので、このフィールドが必要になる。
動画ファイルパスフィールドには、動画サーバ１０６において動画ＩＤにて特定される動画のパス名が格納される。動画サーバＵＲＬと動画ファイルパスを繋ぎ合わせて、動画のＵＲＬが形成される。
投稿者ＩＤフィールドには、動画投稿者のユーザＩＤが格納される。
また、動画テーブル３０６にはこの他に、動画投稿者が記述する動画のタイトル、動画登録時のコメント、ユーザタグ等が格納されるが、発明に直接的には関係しないので詳細は割愛する。 The moving image table 306 includes a moving image ID field, a moving image frame size field, a display magnification field, a grid division number field, a moving image server URL field, a moving image file path field, and a contributor ID field.
The moving image ID field stores a moving image ID that uniquely identifies a moving image to be posted.
The frame size of the posted moving image is stored in the moving image frame size field.
The display magnification field stores a display magnification to be applied to a moving image when the posted moving image is played back by the client 103.
The moving image frame size and the display magnification are information necessary for setting an appropriate display magnification when displayed on the display unit 206 of the client 103 because the frame size of the posted moving image is various.
In the grid division number field, the division number for dividing the moving picture screen is stored. This grid is important information for defining comment lines. Details of the grid will be described later with reference to FIGS.
The URL of the moving image server 106 is stored in the moving image server URL field. This field is necessary because there is not always a single moving image server 106, that is, a plurality of moving image servers 106 may be provided.
The moving image file path field stores the path name of the moving image specified by the moving image ID in the moving image server 106. The URL of the moving image is formed by connecting the moving image server URL and the moving image file path.
The user ID of the video poster is stored in the poster ID field.
In addition to this, the moving image table 306 stores the title of the moving image described by the moving image contributor, the comment at the time of moving image registration, the user tag, etc., but the details are omitted because they are not directly related to the invention.

コメントテーブル３０９は、動画ＩＤフィールド、コメント投稿者ＩＤフィールド、再生時間フィールド、線分情報フィールド及びコメント本文フィールドを有する。
動画ＩＤフィールドは、動画テーブル３０６の同名フィールドと同じである。
コメント投稿者ＩＤフィールドには、コメントを投稿したユーザ１０２のユーザＩＤが格納される。
再生時間フィールドには、コメントが投稿された時点の、動画上の再生時間（時間軸上の再生位置）が格納される。
線分情報フィールドには、動画上に描画される線分の情報が格納される。
コメント本文フィールドには、ユーザ１０２によって投稿されたコメントの本文が格納される。
線分情報フィールドは更に、線分種類サブフィールド、始点座標サブフィールド及び終点座標サブフィールドを有する。
線分種類サブフィールドには、画面に描画される線分の種類を示す属性情報が格納される。本願出願時点では、通常の線分か、矢印かを識別する情報が格納される。
始点座標サブフィールドには、線分の始点座標が格納される。
終点座標サブフィールドには、線分の終点座標が格納される。但し、線分の代わりに点が指定された場合、終点座標サブフィールドは、値が格納されず、空欄となる（ＮＵＬＬ）。
なお、コメントテーブル３０９はコメント本文を修飾する情報として、言語設定、フォント種類、フォントサイズ、文字修飾情報等を含めることも可能であるが、詳細は割愛する。 The comment table 309 includes a moving image ID field, a comment poster ID field, a playback time field, a line segment information field, and a comment text field.
The moving image ID field is the same as the field with the same name in the moving image table 306.
The comment contributor ID field stores the user ID of the user 102 who posted the comment.
The playback time field stores the playback time on the moving image (playback position on the time axis) when the comment is posted.
In the line segment information field, information of line segments drawn on the moving image is stored.
In the comment text field, the text of the comment posted by the user 102 is stored.
The line segment information field further includes a line segment type subfield, a start point coordinate subfield, and an end point coordinate subfield.
In the line segment type subfield, attribute information indicating the type of line segment drawn on the screen is stored. At the time of filing the present application, information for identifying a normal line segment or an arrow is stored.
The starting point coordinate subfield stores the starting point coordinates of the line segment.
In the end point coordinate subfield, the end point coordinates of the line segment are stored. However, when a point is specified instead of a line segment, the end point coordinate subfield is blank (NULL) without storing a value.
The comment table 309 can include language setting, font type, font size, character modification information, and the like as information for modifying the comment text, but details are omitted.

［クライアント１０３のソフトウェア機能］
図５は、クライアント１０３のソフトウェア機能を示すブロック図である。
図５に示されるソフトウェア機能は、スマートフォン１０３ｃの場合は動画アプリにより、パソコンの場合はｗｅｂブラウザと動画再生用スクリプトにより実現される。
メインサーバ１０５から受信したＨＴＭＬ文書に含まれている動画ＩＤ、動画フレームサイズ、表示倍率、グリッド分割数、動画サーバＵＲＬ及び動画ファイルパス等の情報は、制御情報メモリ５０１に記憶される。
メインサーバ１０５から受信したＨＴＭＬ文書に含まれている再生時間やコメント本文等の情報は、コメントメモリ５０２に記憶される。コメントメモリ５０２には、コメントテーブル３０９を動画ＩＤで絞り込んだレコードが格納される。
動画再生処理部５０３は、制御情報メモリ５０１に格納されている動画サーバＵＲＬ及び動画ファイルパスに基づいて、動画サーバ１０６にアクセスし、動画ストリームデータを受信する。動画サーバ１０６から送信される動画ストリームデータは、動画再生処理部５０３によって圧縮動画データのデコード等の動画再生処理が行われる。動画再生処理部５０３は再生中の動画の再生時間を現在再生時間メモリに書き込み、更新し続ける。また、動画再生処理部５０３は、ＧＵＩ制御部５０４から指示されるシーク制御情報を受け、シーク制御情報を動画サーバ１０６に送ると共に、現在再生時間メモリ５０５の内容を更新する。 [Software Function of Client 103]
FIG. 5 is a block diagram illustrating software functions of the client 103.
The software functions shown in FIG. 5 are realized by a video application in the case of the smartphone 103c, and by a web browser and a video playback script in the case of a personal computer.
Information such as a moving image ID, a moving image frame size, a display magnification, a grid division number, a moving image server URL, and a moving image file path included in the HTML document received from the main server 105 is stored in the control information memory 501.
Information such as the playback time and comment text included in the HTML document received from the main server 105 is stored in the comment memory 502. The comment memory 502 stores records obtained by narrowing down the comment table 309 by the moving image ID.
The moving image reproduction processing unit 503 accesses the moving image server 106 based on the moving image server URL and the moving image file path stored in the control information memory 501, and receives the moving image stream data. The moving image stream data transmitted from the moving image server 106 is subjected to moving image reproduction processing such as decoding of compressed moving image data by the moving image reproduction processing unit 503. The moving image reproduction processing unit 503 writes the reproduction time of the moving image being reproduced in the current reproduction time memory and continues to update it. In addition, the moving image reproduction processing unit 503 receives seek control information instructed from the GUI control unit 504, sends the seek control information to the moving image server 106, and updates the contents of the current reproduction time memory 505.

線分描画処理部５０６は、現在再生時間メモリ５０５を参照して、コメントメモリ５０２に格納されているコメントから表示部２０６に表示すべきコメント及び線分を特定して、表示制御部５０７にコメント及び線分の表示情報を送出する。また、ＧＵＩ制御部５０４から指示されるコメント選択制御情報を受け、選択されたコメントに付されている再生時間をＧＵＩ制御部５０４に返す。
表示制御部５０７は、動画再生処理部５０３が生成する動画情報、線分描画処理部５０６が生成する線分表示情報、ＧＵＩ制御部５０４が生成するＧＵＩ画面情報を合成して、表示部２０６に表示画面を表示する。 The line segment drawing processing unit 506 refers to the current playback time memory 505, identifies a comment and a line segment to be displayed on the display unit 206 from the comments stored in the comment memory 502, and sends a comment to the display control unit 507. And display information of the line segment. Also, it receives the comment selection control information instructed from the GUI control unit 504, and returns the playback time attached to the selected comment to the GUI control unit 504.
The display control unit 507 combines the moving image information generated by the moving image reproduction processing unit 503, the line segment display information generated by the line segment drawing processing unit 506, and the GUI screen information generated by the GUI control unit 504, into the display unit 206. Display the display screen.

ＧＵＩ制御部５０４は、表示部２０６と操作部２０７と併せてＧＵＩ（Graphical User Interface）を構成する。ＧＵＩ制御部５０４は、操作部２０７から、動画の再生、一時停止、シーク制御、コメントの選択及びコメントの新規入力等の操作情報を受け取り、操作情報の種類に応じて、動画再生処理部５０３、線分描画処理部５０６等に引き渡す。なお、コメント新規入力の際は、現在再生時間メモリ５０５から現在の動画再生時間を取得して、現在の動画再生時間をコメント情報と共にコメントメモリ５０２及びコメント送信部５０８に引き渡す。
コメント送信部５０８は、ユーザ１０２によって新規に追加されたコメント情報を、動画ＩＤと現在の動画再生時間とユーザＩＤと共にコメントサーバ１０８に送信する。 The GUI control unit 504 constitutes a GUI (Graphical User Interface) in combination with the display unit 206 and the operation unit 207. The GUI control unit 504 receives operation information such as playback, pause, seek control, comment selection, new comment input, and the like from the operation unit 207, and the video playback processing unit 503, according to the type of operation information, Delivered to the line segment drawing processing unit 506 or the like. When a new comment is input, the current video playback time is acquired from the current playback time memory 505, and the current video playback time is delivered to the comment memory 502 and the comment transmission unit 508 together with the comment information.
The comment transmission unit 508 transmits the comment information newly added by the user 102 to the comment server 108 together with the moving image ID, the current moving image reproduction time, and the user ID.

［動作の流れ］
図６は、本実施形態に係る動画配信システム１０１のタイムチャートである。
ユーザ１０２が、クライアント１０３上のｗｅｂブラウザや動画アプリを用いて所定のＵＲＬを指定すると、ｗｅｂブラウザまたは動画アプリはメインサーバ１０５にアクセスして、ＨＴＭＬ文書を要求する（Ｓ６０１）。
メインサーバ１０５は、クライアント１０３から受け取った要求に含まれる動画ＩＤに基づき、データベースサーバ１０７にアクセスする（Ｓ６０２）。
データベースサーバ１０７は、指定された動画ＩＤに紐付いている動画情報をメインサーバ１０５に返信し（Ｓ６０３）、メインサーバ１０５はこれを受信する（Ｓ６０４）。すなわち、データベースサーバ１０７は、動画テーブル３０６をメインサーバ１０５から指定された動画ＩＤでレコードを特定し、そのレコードの内容をメインサーバ１０５に返信する。
メインサーバ１０５は、クライアント１０３から受け取った要求に含まれる動画ＩＤに基づき、コメントサーバ１０８にアクセスする（Ｓ６０５）。
コメントサーバ１０８は、指定された動画ＩＤに紐付いているコメント情報をメインサーバ１０５に返信し（Ｓ６０６）、メインサーバ１０５はこれを受信する（Ｓ６０７）。すなわち、コメントサーバ１０８は、コメントテーブル３０９をメインサーバ１０５から指定された動画ＩＤでレコードを特定し、そのレコードの内容をメインサーバ１０５に返信する。
なお、ステップＳ６０２とＳ６０５は、この順序で実行する必要はない。どちらが先でもよいし、マルチスレッドあるいはマルチタスクとして略同時に実行してもよい。 [Flow of operation]
FIG. 6 is a time chart of the moving image distribution system 101 according to the present embodiment.
When the user 102 designates a predetermined URL using a web browser or a video application on the client 103, the web browser or the video application accesses the main server 105 and requests an HTML document (S601).
The main server 105 accesses the database server 107 based on the moving image ID included in the request received from the client 103 (S602).
The database server 107 returns the moving image information associated with the specified moving image ID to the main server 105 (S603), and the main server 105 receives this (S604). That is, the database server 107 identifies a record with the moving image ID designated from the main server 105 in the moving image table 306 and returns the content of the record to the main server 105.
The main server 105 accesses the comment server 108 based on the moving image ID included in the request received from the client 103 (S605).
The comment server 108 returns comment information associated with the designated moving image ID to the main server 105 (S606), and the main server 105 receives the comment information (S607). In other words, the comment server 108 identifies a record in the comment table 309 with the moving image ID designated from the main server 105, and returns the content of the record to the main server 105.
Note that steps S602 and S605 need not be executed in this order. Either may be executed first, or may be executed substantially simultaneously as a multithread or multitask.

メインサーバ１０５は、データベースサーバ１０７から返信された動画情報と、コメントサーバ１０８から返信されたコメント情報に基づき、ＨＴＭＬ文書を動的に作成して、クライアント１０３に返信する（Ｓ６０８）。そして、クライアント１０３はメインサーバ１０５から送られたＨＴＭＬ文書を受信する（Ｓ６０９）。すなわち、メインサーバ１０５は、作成するＨＴＭＬ文書の中に、データベースサーバ１０７から受け取った動画テーブル３０６のレコードと、コメントサーバ３０９から受け取ったコメントテーブル３０９のレコードを埋め込む。
クライアント１０３のｗｅｂブラウザまたは動画アプリは、ＨＴＭＬ文書を読み込み、表示部２０６の画面上に動画再生画面を描画する。
クライアント１０３がパソコンの場合、ＨＴＭＬ文書を読み込んだ後、ＨＴＭＬ文書に含まれているアプリサーバ１０９のＵＲＬに基づき、アプリサーバ１０９に動画再生用スクリプトを要求する（Ｓ６１０）。アプリサーバ１０９は、クライアント１０３から受け取った要求に基づき、クライアント１０３へ動画再生用スクリプトを送信し（Ｓ６１１）、クライアント１０３はこれを受信して実行する（Ｓ６１２）。
なお、クライアント１０３がスマートフォン１０３ｃの場合は、動画アプリが動画再生機能を備えているので、アプリサーバ１０９にはアクセスしない。すなわち、ステップＳ６１０、Ｓ６１１及びＳ６１２を実行しない。 The main server 105 dynamically creates an HTML document based on the moving image information returned from the database server 107 and the comment information returned from the comment server 108, and returns the HTML document to the client 103 (S608). Then, the client 103 receives the HTML document sent from the main server 105 (S609). That is, the main server 105 embeds the record of the moving image table 306 received from the database server 107 and the record of the comment table 309 received from the comment server 309 in the HTML document to be created.
The web browser or moving image application of the client 103 reads the HTML document and draws a moving image reproduction screen on the screen of the display unit 206.
When the client 103 is a personal computer, after reading the HTML document, the application server 109 is requested for a moving image playback script based on the URL of the application server 109 included in the HTML document (S610). Based on the request received from the client 103, the application server 109 transmits a moving image playback script to the client 103 (S611), and the client 103 receives and executes it (S612).
When the client 103 is the smartphone 103c, the video application has a video playback function, and thus the application server 109 is not accessed. That is, steps S610, S611, and S612 are not executed.

クライアント１０３の動画再生用スクリプトまたは動画アプリは、ＨＴＭＬ文書に含まれている動画サーバ１０６のＵＲＬに基づき、動画サーバ１０６に動画ストリームデータを要求する（Ｓ６１３）。
動画サーバ１０６は、クライアント１０３から受け取った要求に基づき、指定された動画ストリームデータをクライアント１０３へ送信する（Ｓ６１４）。クライアント１０３はこの動画ストリームデータを受信し、動画を再生する（Ｓ６１５）。また、ＨＴＭＬ文書に含まれているコメント情報に基づき、指定された再生時間に線分を動画再生画面に、コメントをコメント表示欄に表示する。 The moving image playback script or the moving image application of the client 103 requests the moving image stream data from the moving image server 106 based on the URL of the moving image server 106 included in the HTML document (S613).
Based on the request received from the client 103, the video server 106 transmits the specified video stream data to the client 103 (S614). The client 103 receives the moving image stream data and reproduces the moving image (S615). Further, based on the comment information included in the HTML document, a line segment is displayed on the moving image reproduction screen and a comment is displayed in the comment display column at the designated reproduction time.

図７は、クライアント１０３の動画再生における動作の流れを示すフローチャートである。
処理を開始すると（Ｓ７０１）、クライアント１０３のＧＵＩ制御部５０４は、現在のクライアント１０３の動作状態が動画再生中であるか否かを確認する（Ｓ７０２）。ステップＳ７０２で動画再生中でないと判定されると（Ｓ７０２のＮＯ）、次にＧＵＩ制御部５０４は、現在のクライアント１０３の動作状態が一時停止中であるか否かを確認する（Ｓ７０３）。
ステップＳ７０２において、現在のクライアント１０３の動作状態が動画再生中である場合（Ｓ７０２のＹＥＳ）、またはステップＳ７０３において現在のクライアント１０３の動作状態が一時停止中である場合（Ｓ７０３のＹＥＳ）、ＧＵＩ制御部５０４は線分描画処理部５０６を稼働する。 FIG. 7 is a flowchart showing an operation flow in moving image reproduction of the client 103.
When the process is started (S701), the GUI control unit 504 of the client 103 confirms whether or not the current operation state of the client 103 is playing a moving image (S702). If it is determined in step S702 that the moving image is not being played back (NO in S702), the GUI control unit 504 confirms whether or not the current operation state of the client 103 is paused (S703).
If the current operation state of the client 103 is being played back in step S702 (YES in S702), or if the current operation state of the client 103 is temporarily stopped in step S703 (YES in S703), GUI control is performed. The unit 504 operates the line segment drawing processing unit 506.

線分描画処理部５０６は、現在再生時間メモリ５０５を参照して現在の動画再生時間を確認し、コメントメモリ５０２を参照して、現在の動画再生時間において表示すべきコメントがあるか否かを確認する（Ｓ７０４）。もし、ステップＳ７０４で、表示すべきコメントが存在するとされた場合は（Ｓ７０４のＹＥＳ）、線分描画処理部５０６は当該コメントの線分情報とコメント本文に基づき、線分を動画再生画面に表示するとともに、コメントをコメント表示欄に表示する処理（コメント表示処理）を行う（Ｓ７０５）。 The line segment drawing processing unit 506 confirms the current video playback time with reference to the current playback time memory 505, and refers to the comment memory 502 to determine whether there is a comment to be displayed at the current video playback time. Confirmation is made (S704). If it is determined in step S704 that there is a comment to be displayed (YES in S704), the line segment drawing processing unit 506 displays the line segment on the video playback screen based on the line segment information and the comment text of the comment. In addition, a process of displaying the comment in the comment display field (comment display process) is performed (S705).

ステップＳ７０４で表示すべきコメントが存在しない場合（Ｓ７０４のＮＯ）、またはステップＳ７０５を実行した後には、ＧＵＩ制御部５０４は操作部２０７からコメントの入力があるか否かを確認する（Ｓ７０６）。もし、ステップＳ７０６で、操作部２０７からコメントの入力があるとされた場合（Ｓ７０６のＹＥＳ）、ＧＵＩ制御部５０４は当該コメントの線分情報とコメント本文をコメントメモリ５０２とコメント送信部５０８に引き渡す。コメント送信部５０８は、ＧＵＩ制御部５０４から受け取ったコメント情報を、コメントサーバ１０８に送信する処理（コメント送信処理）を行う（Ｓ７０９）。 When there is no comment to be displayed in step S704 (NO in S704), or after executing step S705, the GUI control unit 504 checks whether or not a comment is input from the operation unit 207 (S706). If it is determined in step S706 that a comment is input from the operation unit 207 (YES in S706), the GUI control unit 504 delivers the comment line segment information and the comment text to the comment memory 502 and the comment transmission unit 508. . The comment transmission unit 508 performs processing (comment transmission processing) for transmitting the comment information received from the GUI control unit 504 to the comment server 108 (S709).

ステップＳ７０６で操作部２０７からコメントの入力がない場合（Ｓ７０６のＮＯ）、またはステップＳ７０７を実行した後には、ＧＵＩ制御部５０４は、操作部２０７からコメントの選択操作があるか否かを確認する（Ｓ７０８）。もし、ステップＳ７０８で、操作部２０７からコメントの選択操作があるとされた場合（Ｓ７０８のＹＥＳ）、ＧＵＩ制御部５０４は当該コメントの選択情報を線分描画処理部５０６に引き渡す。線分描画処理部５０６はコメントメモリ５０２を参照して、ＧＵＩ制御部５０４にコメントに対応する動画の再生時間情報を返す。ＧＵＩ制御部５０４は動画再生処理部５０３を制御して、線分描画処理部５０６から受け取った動画の再生時間情報にシークさせるシーク制御（コメント選択処理）を行う（Ｓ７０９）。
ステップＳ７０３で、クライアント１０３の動作状態が一時停止中でない場合（Ｓ７０３のＮＯ）、ＧＵＩ制御部５０４は一連の処理を終了する（Ｓ７１０）。
なお、ステップＳ７０４、Ｓ７０６及びＳ７０８は、動作の順序を問わない。更に、ステップＳ７０４、Ｓ７０６及びＳ７０８では、マルチスレッドまたはマルチタスク等の並列動作で実行することが好ましい。 When no comment is input from the operation unit 207 in step S706 (NO in S706), or after executing step S707, the GUI control unit 504 confirms whether there is a comment selection operation from the operation unit 207. (S708). If it is determined in step S708 that there is a comment selection operation from the operation unit 207 (YES in S708), the GUI control unit 504 hands over the comment selection information to the line segment drawing processing unit 506. The line segment drawing processing unit 506 refers to the comment memory 502 and returns the playback time information of the moving image corresponding to the comment to the GUI control unit 504. The GUI control unit 504 controls the moving image reproduction processing unit 503 to perform seek control (comment selection processing) that seeks to the reproduction time information of the moving image received from the line drawing processing unit 506 (S709).
If it is determined in step S703 that the operation state of the client 103 is not temporarily stopped (NO in S703), the GUI control unit 504 ends a series of processes (S710).
Steps S704, S706, and S708 may be performed in any order. Furthermore, in steps S704, S706, and S708, it is preferable to execute the operations in parallel operations such as multithreading or multitasking.

［動画の再生とコメントの投稿］
図８Ａ、図８Ｂ、図９Ｃ及び図９Ｄは、クライアント１０３上で動画の再生中にコメントを付す動作の流れを示す図である。
図８Ａに示すように、クライアント１０３の表示部２０６には、動画表示領域８０１、コメント表示欄８０２、シークバー８０３及びコメント入力欄８０４が表示されている。
動画表示領域８０１は、動画とコメント線分が表示される領域である。
コメント表示欄８０２は、動画の再生に伴うコメントが表示される領域であり、動画表示領域８０１の右隣に設けられている。
シークバー８０３は、カーソル８０５の位置によって現在の動画の時間軸上の再生位置を示すと共に、カーソル８０５をドラッグすることで動画の再生位置を変更するための、表示及び操作領域である。シークバー８０３は、動画表示領域８０１の下に配置され、シークバー８０３の左隣には、再生・一時停止ボタン８０６が設けられている。なお、再生・一時停止ボタン８０６をマウスでクリックする代わりに、動画表示領域８０１を直接マウスでクリックすることで、一時停止／再生の指示をすることもできる。
コメント入力欄８０４は、動画の再生に伴うコメントを登録するための入力欄であり、シークバー８０３の下に配置されている。また、コメント入力欄８０４の右端には登録ボタン８０７が設けられている。 [Play videos and post comments]
8A, 8B, 9C, and 9D are diagrams illustrating a flow of an operation for adding a comment during reproduction of a moving image on the client 103. FIG.
As shown in FIG. 8A, a moving image display area 801, a comment display field 802, a seek bar 803, and a comment input field 804 are displayed on the display unit 206 of the client 103.
The moving image display area 801 is an area in which moving images and comment line segments are displayed.
The comment display field 802 is an area in which comments associated with moving image playback are displayed, and is provided on the right side of the moving image display area 801.
The seek bar 803 is a display and operation area for indicating the playback position of the current moving image on the time axis according to the position of the cursor 805 and changing the playback position of the moving image by dragging the cursor 805. The seek bar 803 is disposed below the moving image display area 801, and a play / pause button 806 is provided on the left side of the seek bar 803. In addition, instead of clicking the playback / pause button 806 with a mouse, a pause / play instruction can be given by directly clicking the moving image display area 801 with the mouse.
The comment input field 804 is an input field for registering a comment accompanying the reproduction of the moving image, and is arranged below the seek bar 803. A registration button 807 is provided at the right end of the comment input field 804.

今、図８Ａにおいて、動画表示領域８０１には夜空の海辺に満月が映っている動画が表示されている例について説明する。
ユーザ１０２は図８Ａに示すように、コメントを書き込みたい動画の再生時間のタイミングで、再生・一時停止ボタン８０６をマウス等のポインティングデバイスでクリックして、動画の再生を一時停止する。
次に、ユーザ１０２は図８Ｂに示すように、動画表示領域８０１内の、線分を描きたい箇所の始点にマウスカーソル８０８を移動して、線分を描きたい箇所の終点までドラッグする。すると、動画表示領域８０１には、マウスカーソル８０８がドラッグされた位置に、線分Ｐ８０９が表示される。なお、動画再生中に再生・一時停止ボタン８０６をクリックせずに、動画再生領域８０１の、線分を描きたい箇所の始点でマウスをクリックすれば、動画の再生が一時停止され、そのままドラッグすることで線分を描画することもできる。すなわち、再生・一時停止ボタン８０６のクリック動作は必須ではない。
そして、ユーザ１０２は図９Ｃに示すように、コメント入力欄８０４に、コメントを記入して登録ボタン８０７をクリックする。なお、登録ボタン８０７のクリックの代わりに操作部２０７の改行キーを押してもよい。すると、図９Ｄに示すように、コメント入力欄８０４に記入したコメントがコメント表示欄８０２に動画再生時間と共に表示される。 Now, in FIG. 8A, an example in which a moving image in which a full moon appears on the seaside of the night sky is displayed in the moving image display area 801 will be described.
As shown in FIG. 8A, the user 102 clicks the playback / pause button 806 with a pointing device such as a mouse at the timing of the playback time of the moving image to which a comment is to be written, and pauses the playback of the moving image.
Next, as shown in FIG. 8B, the user 102 moves the mouse cursor 808 to the start point of the part where the line segment is to be drawn in the moving image display area 801 and drags it to the end point of the part where the line segment is to be drawn. Then, in the moving image display area 801, a line segment P809 is displayed at the position where the mouse cursor 808 is dragged. If the mouse is clicked at the start point of the video playback area 801 where a line segment is to be drawn without clicking the play / pause button 806 during video playback, the video playback is paused and dragged as it is. You can also draw line segments. That is, the click operation of the play / pause button 806 is not essential.
Then, as shown in FIG. 9C, the user 102 enters a comment in the comment input field 804 and clicks the registration button 807. Note that a line feed key of the operation unit 207 may be pressed instead of clicking the registration button 807. Then, as shown in FIG. 9D, the comment entered in the comment input field 804 is displayed in the comment display field 802 together with the moving image playback time.

また、図８Ｂにおいて、ユーザ１０２が新規に線分を作成する代わりに、既に他のユーザ１０２によって作成され、動画表示領域８０１内に表示されている線分に対してコメントを記入することも可能である。ユーザ１０２は、既に動画表示領域８０１内に表示されている線分をマウスでクリックし、それ以降は図９Ｃと同様に、コメントを登録する。 In FIG. 8B, instead of the user 102 creating a new line segment, it is also possible to enter a comment on the line segment already created by another user 102 and displayed in the video display area 801. It is. The user 102 clicks a line segment already displayed in the moving image display area 801 with the mouse, and thereafter registers a comment as in FIG. 9C.

図８Ａ、図８Ｂ、図９Ｃ及び図９Ｄの説明で判るように、動画の再生中は、動画表示領域８０１には動画の他にユーザ１０２が投稿した線分が表示される。ユーザ１０２が投稿したコメント本文は、コメント表示欄８０２に表示されるが、基本的に動画表示領域８０１には表示されない。したがって、動画表示領域８０１がコメントで埋め尽くされる、という不具合は原理的に生じない。
勿論、必要やユーザ１０２の趣向等に応じて、選択された線分に属するコメントを動画表示領域８０１に表示させてもよい。 As can be seen from the description of FIGS. 8A, 8B, 9C, and 9D, during playback of a moving image, a line segment posted by the user 102 is displayed in the moving image display area 801 in addition to the moving image. The comment text posted by the user 102 is displayed in the comment display field 802 but is not basically displayed in the moving image display area 801. Therefore, the problem that the moving image display area 801 is filled with comments does not occur in principle.
Of course, the comment belonging to the selected line segment may be displayed in the moving image display area 801 according to necessity, user's preference, or the like.

［グリッド］
ユーザ１０２が投稿する線分の始点座標及び終点座標は千差万別である。しかし、ユーザ１０２が試聴する動画に対して興味を示す対象は限られる。したがって、線分の投稿タイミングや、線分の場所及び形態には類似する傾向が生じると考えられる。そこで、類似する線分をまとめることを考える。線分の投稿時点では線分の始点座標及び終点座標がそのままコメントサーバ１０８内のコメントテーブル３０９に格納されるが、クライアント１０３の表示部２０６に表示される動画表示領域８０１では、始点座標と終点座標が近い数の線分が一つの線分と見做されて表示される。この始点座標と終点座標の類似を判断するための基準としては、動画表示領域８０１をグリッド単位で仮想的に分割したものが用いられる。 [grid]
The start point coordinates and end point coordinates of the line segment posted by the user 102 are various. However, the object which shows interest in the moving image that the user 102 listens to is limited. Therefore, it is considered that there is a similar tendency in the line segment posting timing and the line segment location and form. Therefore, consider combining similar line segments. At the time of posting the line segment, the start point coordinates and end point coordinates of the line segment are stored as they are in the comment table 309 in the comment server 108, but in the moving image display area 801 displayed on the display unit 206 of the client 103, the start point coordinates and the end point coordinates are stored. A number of lines with close coordinates are considered as one line and displayed. As a reference for determining the similarity between the start point coordinates and the end point coordinates, a moving image display area 801 virtually divided in grid units is used.

図１０は、グリッドの概念を示す概略図である。
図１０において、動画表示領域８０１におけるグリッド分割数は「２」である。このグリッド分割数は、動画表示領域８０１を縦に２、横に２に分割することを意味する。つまり、図１０に示すように、動画表示領域８０１にはＡ１００１、Ａ１００２、Ａ１００３、Ａ１００４の合計４個のブロックが設けられる。すなわち、動画表示領域８０１に整数倍で相似する４個のブロックが設けられることになる。そして、各ブロックの頂点が線分の始点または終点になる。図１０において、ブロックの頂点の数はＰ１００５、Ｐ１００６、Ｐ１００７、Ｐ１００８、Ｐ１００９、Ｐ１０１０、Ｐ１０１１、Ｐ１０１２、Ｐ１０１３の９個である。すなわち、ブロック頂点数は以下の式で表すことができる。
ブロック頂点数＝（グリッド分割数＋１）^２
そして、これら頂点同士を結ぶ線分が、動画に登録可能な線分になる。 FIG. 10 is a schematic diagram showing the concept of a grid.
In FIG. 10, the number of grid divisions in the moving image display area 801 is “2”. The number of grid divisions means that the moving image display area 801 is divided vertically into 2 and horizontally. That is, as shown in FIG. 10, the moving image display area 801 is provided with a total of four blocks of A1001, A1002, A1003, and A1004. That is, four blocks that are similar to each other by an integral multiple are provided in the moving image display area 801. Then, the vertex of each block becomes the start point or end point of the line segment. In FIG. 10, the number of vertices of the block is nine of P1005, P1006, P1007, P1008, P1009, P1010, P1011, P1012, and P1013. That is, the number of block vertices can be expressed by the following equation.
Number of block vertices = (number of grid divisions + 1) ²
And the line segment which connects these vertexes becomes a line segment which can be registered into a moving image.

図１１Ａは、動画表示領域８０１における、グリッドによる線分始点及び終点の正規化を説明する概要図である。
図１１Ｂは、グリッドによる線分の始点及び終点の正規化を説明する一部拡大図である。
図１１ＡのブロックＡ１１０１を注目すると、このブロックＡ１１０１の左下に線分の始点または終点である点Ｐ１１０２が設けられている。
ブロックＡ１１０１内の点Ｐ１１０２は、図１１Ｂに示すようにブロックＡ１１０１を領域Ｄ１１０３、Ｄ１１０４、Ｄ１１０５、Ｄ１１０６に四分割する。そして、四分割した領域内の点Ｐ１１０２を、その領域に含まれるブロックＡ１１０１の頂点に、正規化する。図１１Ｂでは、点Ｐ１１０２は領域Ｄ１１０５の中に含まれているので、点Ｐ１１０２は頂点Ｐ１１０７に正規化される。 FIG. 11A is a schematic diagram for explaining normalization of a line segment start point and end point by a grid in the moving image display area 801.
FIG. 11B is a partially enlarged view illustrating normalization of the start point and end point of the line segment by the grid.
When attention is paid to the block A1101 in FIG. 11A, a point P1102 which is the start point or end point of the line segment is provided at the lower left of the block A1101.
A point P1102 in the block A1101 divides the block A1101 into regions D1103, D1104, D1105, and D1106 as shown in FIG. 11B. Then, the point P1102 in the divided area is normalized to the vertex of the block A1101 included in the area. In FIG. 11B, since the point P1102 is included in the region D1105, the point P1102 is normalized to the vertex P1107.

このように、線分の始点と終点を正規化することで、複数のユーザが投稿した、始点と終点が類似する線分を一つの線分と見做すことができる。結果として、本来なら別々の線分に属しているコメント同士を、一つの線分に紐付けられるようになる。線分は動画中のユーザ１０２の興味を指し示すので、線分から動画中の話題になるシーンを特定することが可能になる。線分に紐付けられるコメントの数に応じて、周知のヒートマップに準じた色分けを行うと、更にユーザ１０２の興味を視覚的に表現できる。 In this way, by normalizing the start point and end point of a line segment, a line segment with a similar start point and end point posted by a plurality of users can be regarded as one line segment. As a result, comments that originally belong to different line segments can be linked to one line segment. Since the line segment indicates the interest of the user 102 in the moving image, it becomes possible to specify a scene that becomes a topic in the moving image from the line segment. If the color coding according to the well-known heat map is performed according to the number of comments linked to the line segment, the interest of the user 102 can be further visually expressed.

［コメントの選択］
図４、図８及び図９の説明でわかるように、動画に対して投稿される全てのコメントは、動画の再生時間と線分情報に紐付けられている。このことは、コメントから動画の再生時間を特定することができることを意味する。また、一つの線分には複数のコメントが紐付けられることから、線分を特定することでコメントを絞り込むことができる。更に、コメントを特定すれば、動画の再生時間を特定することができる。 [Select comments]
As can be seen from the description of FIG. 4, FIG. 8, and FIG. 9, all comments posted to a moving image are linked to the playback time and line segment information of the moving image. This means that the playback time of the moving image can be specified from the comment. In addition, since a plurality of comments are linked to one line segment, the comments can be narrowed down by specifying the line segment. Furthermore, if the comment is specified, the playback time of the moving image can be specified.

図１２Ａ、図１２Ｂ、図１３Ｃ及び図１３Ｄは、コメントを特定して動画の再生位置をシークする動作を説明する概略図である。なお、図面の都合上、図１２Ａ、図１２Ｂ、図１３Ｃ及び図１３Ｄにおいて、コメントの選択動作に直接関係がないコメント入力欄８０４の表示を省略している。
図１２Ａにおいて、動画の再生中または一時停止中に、シークバー８０３上に範囲始点Ｐ１２０１及び範囲終点Ｐ１２０２を、マウスでクリックすることで指定する。すると、図１２Ｂに示すように、シークバー８０３上のカーソル８０５が範囲終点Ｐ１２０２に移動し、動画表示領域８０１には範囲始点Ｐ１２０１から範囲終点Ｐ１２０２迄に登録された線分が表示される。そして、コメント表示欄８０２には動画表示領域８０１に表示されている線分に属するコメントが全て表示される。コメント表示欄８０２に表示しきれないコメントはコメント表示欄８０２をスクロールすることで見ることができる。
図１２Ｂでは、線分Ｌ１２０３、Ｌ１２０４、Ｌ１２０５、Ｌ１２０６の四本の線分が表示されている。すなわち、動画の再生時間範囲を限定することで、動画表示領域８０１に表示される線分を絞り込む。
なお、範囲始点Ｐ１２０１と範囲終点Ｐ１２０２をマウスでドラッグすることで、動画の再生時間範囲を変更し、動画表示領域８０１に表示される線分を更に絞り込むことも可能である。 12A, 12B, 13C, and 13D are schematic diagrams for explaining an operation of specifying a comment and seeking a playback position of a moving image. For convenience of drawing, in FIG. 12A, FIG. 12B, FIG. 13C, and FIG. 13D, the display of the comment input field 804 that is not directly related to the comment selection operation is omitted.
In FIG. 12A, the range start point P1201 and the range end point P1202 are specified by clicking with the mouse on the seek bar 803 during reproduction or pause of the moving image. Then, as shown in FIG. 12B, the cursor 805 on the seek bar 803 moves to the range end point P1202, and the line segment registered from the range start point P1201 to the range end point P1202 is displayed in the moving image display area 801. In the comment display field 802, all the comments belonging to the line segment displayed in the moving image display area 801 are displayed. Comments that cannot be displayed in the comment display field 802 can be viewed by scrolling the comment display field 802.
In FIG. 12B, four line segments L1203, L1204, L1205, and L1206 are displayed. That is, by limiting the moving image playback time range, the line segments displayed in the moving image display area 801 are narrowed down.
It should be noted that by dragging the range start point P1201 and the range end point P1202 with a mouse, it is possible to change the playback time range of the moving image and further narrow the line segments displayed in the moving image display area 801.

次に、図１２Ｂに示すように、動画表示領域８０１に表示されている線分のうち、一つの線分をマウスでクリックする。すると、図１３Ｃに示すように、クリックされた線分はハイライト表示され、クリックされなかった線分は輝度が低下する。そして、コメント表示欄８０２には動画表示領域８０１にてクリックされた線分に属するコメントのみが表示される。
図１３Ｃでは、線分Ｌ１２０４がハイライト表示されている。そして、他の線分Ｌ１２０３、Ｌ１２０５及びＬ１２０６は低輝度にて表示されている。すなわち、線分を特定することで、コメント表示欄８０２に表示されるコメントを絞り込むことが可能である。
次に、図１３Ｃに示すように、コメント表示欄８０２に表示されているコメントのうち、所望の一つのコメントをマウスでクリックする。すると、図１３Ｄに示すように、クリックされたコメントは強調表示される。そして、シークバー８０３上のカーソル８０５は、クリックされたコメントの再生時間の位置へ移動する。
図１３Ｃではマウスオーバーされたコメントに下線が表示されている。このコメントをクリックすると、図１３Ｄに示すように、当該コメントのみがコメント表示欄８０２に表示され、シークバー８０３上のカーソル８０５がコメントの再生時間の位置へ移動する。 Next, as shown in FIG. 12B, one of the line segments displayed in the moving image display area 801 is clicked with the mouse. Then, as shown in FIG. 13C, the clicked line segment is highlighted, and the brightness of the line segment not clicked decreases. In the comment display field 802, only comments belonging to the line segment clicked in the moving image display area 801 are displayed.
In FIG. 13C, the line segment L1204 is highlighted. The other line segments L1203, L1205, and L1206 are displayed with low luminance. That is, by specifying the line segment, it is possible to narrow down the comments displayed in the comment display field 802.
Next, as shown in FIG. 13C, one desired comment among the comments displayed in the comment display field 802 is clicked with the mouse. Then, as shown in FIG. 13D, the clicked comment is highlighted. Then, the cursor 805 on the seek bar 803 moves to the position of the playback time of the clicked comment.
In FIG. 13C, an underline is displayed in the comment over the mouse. When this comment is clicked, only the comment is displayed in the comment display field 802 as shown in FIG. 13D, and the cursor 805 on the seek bar 803 moves to the position of the comment playback time.

上記の実施形態には、以下に示す応用例が可能である。
（１）上述の実施形態では、グリッド分割数を固定値にしていたが、動画の再生時間に応じて動的にグリッド分割数を変化させることも可能である。コメントサーバ１０８内のコメントテーブル３０９には、ユーザ１０２が投稿した時点の座標情報を保持してあるので、グリッド分割数が変動しても、線分の始点及び終点の座標はクライアント１０３上で再計算することで対応が可能である。動画中のシーンに応じてグリッド分割数を変化させることで、線分とコメント都の関連性を適切に設定することが可能になるだけではなく、コメントの統計情報を算出する際にグリッド分割数を適切な値に調節することも考えられる。 In the above embodiment, the following application examples are possible.
(1) In the above-described embodiment, the number of grid divisions is a fixed value. However, the number of grid divisions can be dynamically changed according to the playback time of a moving image. Since the comment table 309 in the comment server 108 holds the coordinate information at the time of posting by the user 102, the coordinates of the start point and end point of the line segment are reproduced on the client 103 even if the number of grid divisions changes. It is possible to cope by calculating. By changing the number of grid divisions according to the scene in the video, it is possible not only to set the relationship between the line segment and the comment capital appropriately, but also to calculate the number of grid divisions when calculating statistical information on comments. It is also possible to adjust the value to an appropriate value.

（２）選択した線分に必要に応じてコメントを表示させることも可能である。またその際、線分の角度が４５°を超える場合は、コメントを表示するフォントを縦書用のフォントにて表示させることが好ましい。また、フォントサイズの変更、色分け、強調、下線、上付き、下付き等、コメントの文字に装飾を加える機能を備えてもよい。このように動画配信システム１０１を構築することで、動画を用意するだけでプレゼンテーション資料を容易に作成することが可能になる。 (2) A comment can be displayed on the selected line segment as necessary. At that time, when the angle of the line segment exceeds 45 °, it is preferable to display the font for displaying the comment in the font for vertical writing. In addition, a function of adding decorations to comment characters such as font size change, color coding, emphasis, underline, superscript, and subscript may be provided. By constructing the moving image distribution system 101 in this way, presentation materials can be easily created simply by preparing a moving image.

（３）本実施形態に係る動画配信システム１０１は、図１に示すように、クライアント１０３と、メインサーバ１０５、データベースサーバ１０７、コメントサーバ１０８、動画サーバ１０６、そしてアプリサーバ１０９という、それぞれ独立したサーバで構成される。しかし、サーバの構成はこれに限られず、例えばメインサーバ１０５、データベースサーバ１０７、コメントサーバ１０８は単一のサーバとして一体化することも可能である。すなわち、サーバの構成は負荷と処理能力に応じて、１又は複数の機器に、機能を集約させてもよく、逆に分散させてもよい。更に、クライアント１０３も含めて、これらを一体化して単一の装置で構成することも不可能ではない。その際、一体化された装置には最低限、
動画データを再生する動画再生処理部５０３と、
動画ＩＤフィールドと、再生時間フィールドと、線分情報フィールドと、コメント本文フィールドとを有するコメントテーブル３０９と、
動画再生処理部５０３が動画データを再生する際に、コメントテーブル３０９から、動画データの再生時間に等しい再生時間フィールドのレコードの、線分情報フィールドにおける線分の始点座標と終点座標に基づいて線分を描画すると共に、コメント本文フィールドのコメント本文を出力する線分描画処理部５０６と、
動画表示領域に動画再生処理部３０９が再生する動画を表示し、動画表示領域に線分描画処理部５０６が描画する線分を表示し、動画表示領域の他に設けられるコメント表示欄に線分描画処理部３０９が出力するコメント本文を表示する表示部２０６と
が必要である。
クライアント１０３のコメントメモリ５０２は、コメントサーバ１０８が備えるコメントテーブル３０９のキャッシュメモリであると考えることができる。 (3) As shown in FIG. 1, the video distribution system 101 according to the present embodiment includes a client 103, a main server 105, a database server 107, a comment server 108, a video server 106, and an application server 109. Consists of servers. However, the configuration of the server is not limited to this. For example, the main server 105, the database server 107, and the comment server 108 can be integrated as a single server. That is, the configuration of the server may be aggregated into one or a plurality of devices according to the load and processing capability, or may be distributed on the contrary. Furthermore, it is not impossible to configure these devices including the client 103 as a single device. At that time, at least for the integrated device,
A video playback processing unit 503 for playing back video data;
A comment table 309 having a video ID field, a playback time field, a line segment information field, and a comment body field;
When moving picture reproduction processing unit 503 reproduces the moving image data, from the comment table 309, equal playback time field records the reproduction time of the moving image data, based on the start point coordinates and end point coordinates of the line segment in the segment information field lines A line drawing processing unit 506 for drawing the minutes and outputting the comment body in the comment body field;
The moving image reproduced by the moving image reproduction processing unit 309 is displayed in the moving image display area, the line segment drawn by the line segment drawing processing unit 506 is displayed in the moving image display area, and the line segment is displayed in the comment display column provided in addition to the moving image display area. A display unit 206 that displays the comment text output by the drawing processing unit 309 is required.
The comment memory 502 of the client 103 can be considered as a cache memory of the comment table 309 provided in the comment server 108.

（４）クライアント１０３におけるコメント投稿作業を明確化させるために、「投稿モード」と「閲覧モード」の２つの状態を設けることが考えられる。この場合、閲覧モード中には座標の選択やコメントの投稿といったコメント入力処理を行わず、投稿モード中には線分の描画や選択等の処理を行わない。このように動作モードを分けることで、マウスクリックやタップ等の動作指示内容を単純化させ、クライアント１０３のソフトウェアの負荷を軽くすることができる。 (4) In order to clarify the comment posting work in the client 103, it is conceivable to provide two states of “posting mode” and “browsing mode”. In this case, comment input processing such as selection of coordinates and posting of comments is not performed during the browsing mode, and processing such as line segment drawing and selection is not performed during the posting mode. By dividing the operation modes in this way, it is possible to simplify operation instruction contents such as mouse clicks and taps, and lighten the software load on the client 103.

本実施形態においては、動画配信システム１０１を開示した。
以上の説明によって判るように、本実施形態に係る動画配信システム１０１は、投稿されるコメントに座標情報を持たせた。そして、動画表示領域８０１の中に直接コメントを表示する代わりに、座標情報に基づく任意の点あるいは線分を表示し、その点あるいは線分に紐付くコメントを、動画表示領域８０１の隣に設けたコメント表示欄８０２に表示する。このように、動画の中に点あるいは線分を表示させることで、画面に表示されている事象の関係性を明確に表示させることができる。更に、コメントが多数投稿されても、動画の表示に大きな影響を及ぼさない。
本実施形態に係る動画配信システム１０１は、周知のソーシャル・ネットワーキング・サービスに利用するだけでなく、教育、各種製造現場や医療現場等の職務訓練、プレゼンテーション、情報解析等、様々な用途に幅広く利用可能である。 In the present embodiment, the moving image distribution system 101 is disclosed.
As understood from the above description, the moving image distribution system 101 according to the present embodiment has coordinate information in the posted comment. Then, instead of displaying the comment directly in the moving image display area 801, an arbitrary point or line segment based on the coordinate information is displayed, and a comment associated with the point or line segment is provided next to the moving image display area 801. Is displayed in the comment display field 802. Thus, by displaying a point or a line segment in the moving image, the relationship between the events displayed on the screen can be clearly displayed. Furthermore, even if a large number of comments are posted, the display of the moving image is not greatly affected.
The video distribution system 101 according to the present embodiment is not only used for well-known social networking services, but also widely used for various purposes such as education, job training at various manufacturing sites and medical sites, presentations, information analysis, etc. Is possible.

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
例えば、上記した実施形態は本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、更にはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の揮発性あるいは不揮発性のストレージ、または、ＩＣカード、光ディスク等の記録媒体に保持することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 The embodiments of the present invention have been described above. However, the present invention is not limited to the above-described embodiments, and other modifications and application examples are provided without departing from the gist of the present invention described in the claims. including.
For example, in the above-described embodiment, the configuration of the apparatus and the system is described in detail and specifically in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the configuration including all the configurations described. Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. Moreover, it is also possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
Each of the above-described configurations, functions, processing units, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit. Further, each of the above-described configurations, functions, and the like may be realized by software for interpreting and executing a program that realizes each function by the processor. Information such as programs, tables, and files that realize each function must be held in a volatile or non-volatile storage such as a memory, hard disk, or SSD (Solid State Drive), or a recording medium such as an IC card or an optical disk. Can do.
In addition, the control lines and information lines are those that are considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

１０１…動画配信システム、１０２…ユーザ、１０３…クライアント、１０４…インターネット、１０５…メインサーバ、１０６…動画サーバ、１０７…データベースサーバ、１０８…コメントサーバ、１０９…アプリサーバ、２０１…バス、２０２…ＣＰＵ、２０３…ＲＯＭ、２０４…ＲＡＭ、２０５…不揮発性ストレージ、２０６…表示部、２０７…操作部、２０８…ＮＩＣ、２０９…スピーカ、２１０…Ｄ／Ａ変換器、２１１…サーバ、２１２…バス、２１３…ＣＰＵ、２１４…ＲＯＭ、２１５…ＲＡＭ、２１６…不揮発性ストレージ、２１７…ＮＩＣ、２１８…表示部、２１９…操作部、３０１…ｗｅｂサーバプログラム、３０２…認証処理部、３０３…ユーザマスタ、３０４…ＨＴＭＬ生成処理部、３０５…動画情報登録部、３０６…動画テーブル、３０７…動画情報出力部、３０８…コメント登録部、３０９…コメントテーブル、３１０…コメント出力部、３１１…動画登録部、３１２…動画ファイルディレクトリ、３１３…動画出力部、３１４…動画アプリファイルディレクトリ、５０１…制御情報メモリ、５０２…コメントメモリ、５０３…動画再生処理部、５０４…ＧＵＩ制御部、５０５…現在再生時間メモリ、５０６…線分描画処理部、５０７…表示制御部、５０８…コメント送信部、８０１…動画表示領域、８０２…コメント表示欄、８０３…シークバー、８０４…コメント入力欄、８０５…カーソル、８０６…再生・一時停止ボタン、８０７…登録ボタン、８０８…マウスカーソル DESCRIPTION OF SYMBOLS 101 ... Movie distribution system, 102 ... User, 103 ... Client, 104 ... Internet, 105 ... Main server, 106 ... Movie server, 107 ... Database server, 108 ... Comment server, 109 ... Application server, 201 ... Bus, 202 ... CPU , 203 ... ROM, 204 ... RAM, 205 ... nonvolatile storage, 206 ... display unit, 207 ... operation unit, 208 ... NIC, 209 ... speaker, 210 ... D / A converter, 211 ... server, 212 ... bus, 213 ... CPU, 214 ... ROM, 215 ... RAM, 216 ... nonvolatile storage, 217 ... NIC, 218 ... display unit, 219 ... operation unit, 301 ... web server program, 302 ... authentication processing unit, 303 ... user master, 304 ... HTML generation processing unit, 305... Movie information registration unit, 30 ... Movie table, 307 ... Movie information output unit, 308 ... Comment registration unit, 309 ... Comment table, 310 ... Comment output unit, 311 ... Movie registration unit, 312 ... Movie file directory, 313 ... Movie output unit, 314 ... Movie application File directory, 501 ... Control information memory, 502 ... Comment memory, 503 ... Movie playback processing unit, 504 ... GUI control unit, 505 ... Current playback time memory, 506 ... Line segment drawing processing unit, 507 ... Display control unit, 508 ... Comment transmission unit, 801 ... video display area, 802 ... comment display field, 803 ... seek bar, 804 ... comment input field, 805 ... cursor, 806 ... play / pause button, 807 ... registration button, 808 ... mouse cursor

Claims

A video playback processing unit for playing back video data;
A moving image ID field storing a moving image ID for uniquely identifying the moving image data, a reproduction time field storing a reproduction time as reproduction position information on the time axis of the moving image data, and a moving image based on the moving image data A comment table having a line segment information field for storing line segment information having start point coordinates and end point coordinates to be drawn, and a comment text field for storing a comment text linked to the line segment;
When the moving image reproduction processing unit reproduces the moving image data, the line segment stored in the line segment information field of the record of the reproduction time field equal to the reproduction time of the moving image data is retrieved from the comment table. Drawing a line segment based on the start point coordinate and the end point coordinate, and for the comment related to the line segment, a line segment drawing processing unit that outputs the comment body of the comment body field;
The video that the video playback processing unit plays back is displayed in the video display area, the line segment that the line segment drawing processing unit draws is displayed in the video display area, and a comment display provided in addition to the video display area A display unit for displaying the comment text output by the line drawing processing unit in a column ;
An operation unit for selecting the comment and / or the line segment displayed on the display unit;
A GUI control unit that obtains operation information from the operation unit and delivers the operation information to the moving image reproduction processing unit and / or the line segment drawing processing unit according to the type of the operation information ;
The GUI control unit highlights the selected line segment among the plurality of line segments displayed on the display unit when the operation information of the operation unit is an instruction to select a predetermined line segment. Display and instruct the line segment drawing processing unit to display only the comments belonging to the selected line segment on the display unit,
Video distribution system.

Furthermore,
An operation unit for outputting operation information;
A comment transmission unit for registering the comment text input from the operation unit in the comment table together with the playback time of the video to be played back by the video playback processing unit and line segment information linked to the comment text. The moving image distribution system according to claim 1, further comprising:

The moving image distribution system according to claim 2, wherein a plurality of pieces of line segment information having similar start point coordinates and end point coordinates are integrated based on the number of divisions of the moving image display area.

The GUI control unit may further reproduce the moving image playback to move the reproduction position of the moving image data to a moving image reproduction time belonging to the selected comment when the operation information of the operation unit is an instruction to select one comment. The moving image distribution system according to claim 3, wherein the moving image distribution system instructs the processing unit.

A video playback processing unit for playing back video data;
When the moving image reproduction processing unit reproduces the moving image data, a reproduction time field that stores reproduction time information that is reproduction position information on the time axis of the moving image data is drawn on the moving image based on the moving image data. From a comment table having a line segment information field for storing line segment information having start point coordinates and end point coordinates of a line segment, and a comment body field for storing a comment body text linked to the line segment, the video data Drawing a line segment based on the start and end point coordinates of the line segment stored in the line segment information field of the record of the playback time field equal to the playback time, and for the comment relating to the line segment, A line drawing processing unit for outputting the comment text in the comment text field;
The video that the video playback processing unit plays back is displayed in the video display area, the line segment that the line segment drawing processing unit draws is displayed in the video display area, and a comment display provided in addition to the video display area A display unit for displaying the comment text output by the line drawing processing unit in a column ;
An operation unit for selecting the comment and / or the line segment displayed on the display unit;
A GUI control unit that obtains operation information from the operation unit and delivers the operation information to the moving image reproduction processing unit and / or the line segment drawing processing unit according to the type of the operation information ;
The GUI control unit highlights the selected line segment among the plurality of line segments displayed on the display unit when the operation information of the operation unit is an instruction to select a predetermined line segment. Display and instruct the line segment drawing processing unit to display only the comments belonging to the selected line segment on the display unit,
Video playback device.