JP2019148681A - テキスト修正装置、テキスト修正方法およびテキスト修正プログラム - Google Patents

Abstract

【課題】音声の書き起こし結果の修正の作業量を軽減することを目的とする。【解決手段】テキスト修正装置は、音声データに基づいて認識された文章データを複数のテキスト単位に分割する分割部と、分割された前記複数のテキスト単位のうち、何れかのテキスト単位の指定が入力装置を介して入力された場合、指定されたテキスト単位を修正対象として特定する特定部と、前記指定されたテキスト単位を修正可能な状態で表示装置に表示する表示制御部と、前記指定されたテキスト単位に対する修正を前記文章データに反映する修正部と、を含む。【選択図】図１

Description

本発明は、テキスト修正装置、テキスト修正方法およびテキスト修正プログラムに関する。

音声データをテキスト化する作業は、書き起こし等と称される。音声データを書き起こしする手法としては、手動による書き起こしの手法と、音声認識による自動書き起こしの手法とがある。

手動による書き起こしは、コンピュータを操作する作業者が、再生中の音声を聞きながら、キーボード等の入力装置を用いて、音声に対応する文字を入力し、当該入力装置からの入力に基づいてコンピュータがテキスト化する作業である。音声認識による自動書き起こしは、コンピュータが、音声データを音声認識することで、自動で音声をテキスト化する処理である。

関連する技術として、不要語を含まない書き起こしテキストから不要語を含む文法モデルを生成し、その文法モデルを用いて実際の音声を音声認識する技術が提案されている（例えば、特許文献１を参照）。また、下記の特許文献２、特許文献３の技術も提案されている。

特開２０１８−４９４７号公報 特開平９−１９０４３６号公報 特開２００９−２１７６６５号公報

手動による書き起こしの場合、操作者によるタイプミスや漢字の変換誤り等により、本来の意味とは異なる誤った単語を含むテキストデータが生成される場合がある。音声認識による自動書き起こしの場合、音声データの音声認識が行なわれた結果、単語が誤って認識されることがある。この場合も、誤った単語を含むテキストデータが生成される。誤った単語は、修正される必要がある。

誤った単語の修正作業は、コンピュータを操作する作業者が、キーボードを用いて、行なう。１つの文章には、複数の単語が含まれる。作業者は、キーボードを用いて、誤った単語の箇所まで、カーソルを移動する操作を行い、誤った単語を削除し、正しい単語に修正する作業を行う。複数の単語が誤っている場合、該作業が、複数回行なわれる。

また、１回の音声の再生では、単語が聞き取りにくい場合がある。この場合、作業者が、修正対象の単語に対応する音声を繰り返し再生する操作を行い、単語の修正作業を行なう。以上のように、音声の書き起こし結果を修正する場合、修正作業が煩雑になる。

１つの側面として、本発明は、音声の書き起こし結果の修正の作業量を軽減することを目的とする。

１つの態様では、テキスト修正装置は、音声データに基づいて認識された文章データを複数のテキスト単位に分割する分割部と、分割された前記複数のテキスト単位のうち、何れかのテキスト単位の指定が入力装置を介して入力された場合、指定されたテキスト単位を修正対象として特定する特定部と、前記指定されたテキスト単位を修正可能な状態で表示装置に表示する表示制御部と、前記指定されたテキスト単位に対する修正を前記文章データに反映する修正部と、を含む。

１つの側面によれば、音声の書き起こし結果の修正の作業量を軽減することができる。

テキスト修正装置の一例を示す図である。 ディスプレイに表示される画面例を示す図（その１）である。 ディスプレイに表示される画面例を示す図（その２）である。 文章データが指定された場合の流れの一例を示すフローチャートである。 部品テーブルの一例を示す図である。 第１の例におけるキー押下時の処理の流れを示すフローチャート（その１）である。 第１の例におけるキー押下時の処理の流れを示すフローチャート（その２）である。 第２の例におけるキー押下時の処理の流れを示すフローチャート（その１）である。 タイマイベントハンドラ処理の流れの一例を示すフローチャートである。 時間テーブルの一例を示す図である。 第２の例におけるキー押下時の処理の流れを示すフローチャート（その２）である。 学習済みモデルによる推定の一例を示す図である。 ディスプレイに表示される画面例を示す図（その３）である。 ディスプレイに表示される画面例を示す図（その４）である。 第３の例におけるキー押下時の処理の流れを示すフローチャート（その１）である。 第３の例におけるキー押下時の処理の流れを示すフローチャート（その２）である。 ディスプレイに表示される画面例を示す図（その５）である。 ディスプレイに表示される画面例を示す図（その６）である。 第２の実施形態の処理の流れの一例を示すフローチャートである。 修正モード処理の流れの一例を示すフローチャートである。 テキスト修正支援装置のハードウェア構成の一例を示す図である。 ディスプレイに表示される画面例を示す図（その７）である。

＜第１の実施形態＞
図１を参照して、第１の実施形態のテキスト修正装置について、説明する。テキスト修正装置１は、音声データに基づく文章データに含まれる単語等の修正や編集等に用いられる装置である。

例えば、テキスト修正装置１は、音声データを含む動画データのうち音声の字幕を修正する際に用いられる。テキスト修正装置１は、テレビジョンの放送における字幕の修正等に用いられてもよい。テキスト修正装置１は、例えば、パーソナルコンピュータであり、コンピュータの一例である。

テキスト修正装置１には、キーボード２とディスプレイ３とスピーカ４とが接続されている。第１の実施形態および第２の実施形態において、テキスト修正装置１に対する入力は、キーボード２等の入力装置により行なわれるものとする。

以下、テキスト修正装置１は、音声データを音声認識して、音声データをテキスト化するものとして説明する。また、テキスト修正装置１を操作する作業者（以下、ユーザと称する）が、音声データの音声を聞きながら、キーボード２に、音声に対応する文字を入力することで、テキスト修正装置１が、音声データをテキスト化してもよい。

例えば、ユーザが、音声データが録音されたテープの音声を聞きながら、キーボード２等の入力装置に対し、音声に対応する文字を入力することで、テキスト修正装置１が、音声データをテキスト化してもよい。また、会議等の会話を、ユーザが聞きながら、キーボード２に、音声に対応する文字を入力することで、テキスト修正装置１が、音声データをテキスト化してもよい。

音声認識によりテキスト化された文章データと、ユーザがキーボード２を用いて文字を入力してテキスト化された文章データとは、何れも、音声データに基づく文章データである。該文章データは、テキストデータである。

テキスト修正装置１は、制御部１１と記憶部１２と通信部１３とを含む。制御部１１は処理部２０と動画再生部２１と音声認識部２２と形態素解析部２３と形態素特定部２４と表示制御部２５と修正部２６とタイマイベントハンドラ２７と修正候補推定部２８と音声再生制御部２９とを含む。

記憶部１２は、音声データを含む動画データや音声データに基づく文章データ、テーブル等の情報を記憶している。通信部１３は、ネットワークを介して、外部のサーバ等と通信を行う。

処理部２０は、各種の処理を行なう。動画再生部２１は、記憶部１２に記憶されている動画データを再生する制御を行う。該制御により、ディスプレイ３の画面に動画が再生され、スピーカ４から音声が流れる。音声認識部２２は、動画データのうち音声部分の音声認識を行い、音声をテキスト化する。テキスト化された文章データは、記憶部１２に記憶される。これにより、動画データのうち音声部分の書き起こしが行なわれる。

形態素解析部２３は、文章データを解析して、文章データを複数の形態素に分割する。形態素は、テキスト単位の一例である。文章データは、単語や語句等に分割されてもよい。この場合、単語や語句等がテキスト単位に対応する。

形態素特定部２４は、複数の形態素のうち、ユーザの操作により指定された修正対象の形態素を特定する。形態素特定部２４は、特定部の一例である。

表示制御部２５は、表示装置であるディスプレイ３の画面の表示制御を行う。修正部２６は、テキスト修正装置１を操作するユーザが、キーボード２等の入力装置に入力した修正内容に基づいて、形態素に対する修正を反映する。

タイマイベントハンドラ２７は、テキスト修正装置１に実装されるインターバルタイマがカウントする一定時間ごとに、イベントに関する処理を行なう。

修正候補推定部２８は、過去の複数の文章データを入力とした機械学習により得られる学習済みモデルに基づいて、文章データに含まれる複数の形態素のうち、修正対象の形態素についての修正候補を推定する。音声再生制御部２９は、スピーカ４から流れる形態素の音声等の再生速度を制御する。

図２および図３は、第１の実施形態において、表示装置であるディスプレイ３に表示される画面例を示す。図２は、文章データの修正前の画面例であり、図３は、文章データの修正後の画面例である。画面３０は、ディスプレイ３に表示される画面である。画面３０は、文章データ表示領域３１と動画表示領域３２とテキスト表示領域３３とテキスト修正領域３４とを含む。

文章データ表示領域３１には、複数の文章データが選択可能に表示される。例えば、１つの動画データの音声データがテキスト化されると、複数の文章データが生成される。以下、１つの文章データは、句点から句点までの文字列であるものとするが、１つの文章データには、句点から句点までの１つの文字列が複数含まれていてもよい。図２では、「当社のＤプランニングは、最新美術を使っています。」という文章が選択されているものとする。

動画表示領域３２は、動画再生部２１が動画データを表示する領域であり、該動画表示領域３２において動画が再生される。テキスト表示領域３３は、音声認識部２２が、再生中の動画データのうち音声部分を音声認識して、テキスト化した文章データ（書き起こされた文章）を表示する領域である。該テキスト表示領域３３は、例えば、字幕である。

テキスト修正領域３４は、文章データに含まれる形態素を修正するための領域である。テキスト修正領域３４には、テキスト表示領域３３と同じ文章データが表示される。テキスト修正領域３４に表示されている文章データは、修正をすることができる。

テキスト修正領域３４は、ガイド表示領域３４Ｇを含む。ガイド表示領域３４Ｇには、文章データを形態素解析して得られる各形態素のそれぞれに対応するショートカットキーが表示される。該ショートカットキーは、形態素を特定する特定情報の一例である。

図２において、文章データ「当社のＤプランニングは、最新美術を使っています。」は、「当社」から「います」までの１０個の形態素に分割される。「当社」には、ショートカットキー「Ａ」が対応付けられ、「います」には、ショートカットキー「Ｊ」が対応付けられる。表示制御部２５は、各形態素のそれぞれに対応付けて、ディスプレイ３のテキスト修正領域３４に、ショートカットキーを表示する。

各形態素は、通常モードと修正モードとの何れかに切り替わる。通常モードは、形態素の修正が有効でないモードである。修正モードは、形態素の修正が有効なモードである。

図２において、「Ｄプランニング」は「ディープラーニング」の誤りであり、「美術」は「技術」の誤りであるとする。該誤りは、音声認識部２２の音声認識の誤りに起因する。ユーザによるキーボード２を用いた入力の場合、上記誤りは、キーの操作ミスや誤変換等に起因する。

通常モードにおいて、テキスト修正装置１を操作するユーザが、キーボード２を用いて、形態素「Ｄ」の誤りを修正する場合、キー「Ｃ」を入力する。キー「Ｃ」が入力されると、キーボード２は、キー「Ｃ」の入力を示す信号をテキスト修正装置１に出力する。

テキスト修正装置１の処理部２０は、上記信号に基づいて、キー「Ｃ」が入力されたことを検出する。該検出に応じて、形態素特定部２４は、ショートカットキー「Ｃ」に対応する形態素「Ｄ」が修正対象として指定されたことを特定する。

上記のキー「Ｃ」入力されたことの検出に応じて、ショートカットキー「Ｃ」に対応する形態素「Ｄ」が、通常モードから修正モードに切り替わる。これにより、形態素「Ｄ」の修正が有効になる。

この際、表示制御部２５は、ショートカットキー「Ｃ」に対応する形態素「Ｄ」を、強調表示する。これにより、形態素「Ｄ」が選択された状態になり、修正対象となる形態素を視覚的に提示できる。図２の例では、選択された箇所が、網掛けで示されている。

以下、表示制御部２５は、修正対象の形態素を強調表示（色の変更や背景色の変更等）するものとして説明するが、表示制御部２５は、修正対象を任意の表示態様に変更してもよい。

指定された形態素が通常モードから修正モードに切り替わる際、修正対象の形態素（入力されたキーに対応する形態素）は上書きモードとして、切り替わってもよい。修正モードが、上書きモードになることで、誤っている形態素を削除する作業が省かれるため、書き起こし結果の修正の作業量が少なくなる。

上述したように、形態素「Ｄ」が選択されている。ユーザが、キーボード２を用いて、「ディー」を入力すると、テキスト修正装置１は、該入力を受け付ける。これにより、修正部２６は、形態素「Ｄ」という文字を「ディー」という文字に修正する。

形態素「プランニング」は、正しくは「プラーニング」である。ユーザは、形態素「プランニング」を修正する場合、キー「Ｄ」を入力して、修正対象の形態素「プランニング」を指定してもよいが、特殊操作キーを入力して、形態素「プランニング」を指定してもよい。該特殊操作キーは、例えば、Ｔａｂキーである。

例えば、形態素「Ｄ」と形態素「プランニング」とは連続している。この場合、形態素「Ｄ」が修正された後、次の形態素を指定するＴａｂキーの入力が検出されると、形態素特定部２４は、形態素「プランニング」が修正対象として指定されたことを特定する。

従って、ショートカットキー「Ｃ」に対応する形態素「Ｄ」が選択されている状態で、Ｔａｂキーの入力をテキスト修正装置１が受け付けると、表示制御部２５は、次の形態素「プランニング」を修正対象として、強調表示する制御を行う。

ユーザが、キーボード２を用いて、「プラーニング」を入力すると、テキスト修正装置１は、該入力を受け付ける。これにより、修正部２６は、形態素「プランニング」という文字を「プラーニング」という文字に修正する。

上述したように、「美術」は「技術」の誤りである。通常モードにおいて、ユーザが、ショートカットキー「Ｇ」に対応するキーボード２のキー「Ｇ」を入力すると、キー「Ｇ」が入力されたことが検出される。

表示制御部２５は、ショートカットキー「Ｇ」に対応する形態素「美術」を修正対象として強調表示する。これにより、形態素「美術」の修正が可能になる。ユーザが、キーボード２を用いて、「技術」を入力すると、テキスト修正装置１は、該入力を受け付ける。これにより、修正部２６は、形態素「美術」という文字を「技術」という文字に修正する。

以上の修正により、図３に示されるように、修正前の文章データ「当社のＤプランニングは、最新美術を使っています。」は、正しい文章データ「当社のディープランニングは、最新技術を使っています。」に修正される。

上述したように、テキスト修正領域３４において、各形態素のそれぞれにショートカットキーが対応付けられて表示される。各ショートカットキーは、キーボード２のキーに対応している。表示されている文章データのうち、誤っている形態素に対応するショートカットキーのキー入力が検出されると、形態素特定部２４は、入力されたキーに応じて、修正対象の形態素を特定する。

キーボード２のカーソルキーを操作して、文章データの１文字ずつ修正する場合、修正箇所まで、カーソルを移動する操作が必要になり、修正作業が煩雑になる。

第１の実施形態では、上述したように、修正対象の形態素を、ショートカットキーにより特定することができるため、テキスト修正領域３４に表示されている文章データ（書き起こし結果）の修正の作業量が軽減する。

次に、図４を参照して、文章データが指定された場合の処理の流れについて説明する。上述したように、画面３０のうち、文章データ表示領域３１には、複数の文章データが表示されている。

ユーザが、キーボード２を用いて、文章データ表示領域３１に含まれる複数の文章データのうち何れかを指定する操作を行うと、該操作が検出される。該操作の検出に応じて、形態素解析部２３は、指定された文章データを、記憶部１２から取得する（ステップＳ１）。

形態素解析部２３は、ステップＳ１で取得された文章データを解析して、複数の形態素に分割する（ステップＳ２）。表示制御部２５は、ステップＳ２で分割された形態素の数に応じて、ＵＩ（User Interface）部品を生成する。ＵＩ部品は、各形態素を表示し、形態素の文字列を修正するための部品である。ＵＩ部品は、例えば、テキストボックスである。

表示制御部２５は、各ＵＩ部品に、アルファベット記号を付与する（ステップＳ３）。上述の例の場合、表示制御部２５は、「当社の」という形態素のＵＩ部品に、「Ａ」というアルファベット記号を付与する。

ＵＩ部品の数が多い場合（アルファベットの種類数を超えた場合）、各ＵＩ部品に、「ＡＡ」等のように、複数のアルファベット記号が付与されてもよいし、「Ａ０」等のように、アルファベットと数字との組み合わせが付与されてもよい。

表示制御部２５は、文章データの各形態素のＵＩ部品、およびＵＩ部品に対応付けられたアルファベット記号を、テキスト修正領域３４に表示する（ステップＳ４）。ステップＳ４の処理が終了すると、キーボード２からのキー入力の待ち状態に移行する。

図５は、部品テーブルの一例を示す。部品テーブルは、番号と形態素とアルファベット記号とＵＩ部品との項目を含む。番号ごとに、形態素とアルファベット記号とＵＩ部品とが対応付けられる。部品テーブルは、記憶部１２に記憶される。

形態素解析部２３は、分割された複数の形態素に、アルファベット記号およびＵＩ部品を対応付けて、部品テーブルに記録する。部品テーブルのＵＩ部品は、ＵＩ部品を識別するための情報である。形態素解析部２３は、各形態素のそれぞれに異なるアルファベット記号およびＵＩ部品を対応付ける。

表示制御部２５は、ディスプレイ３の画面３０に各ＵＩ部品を表示する際に、部品テーブルを参照する。そして、表示制御部２５は、テキスト修正領域３４の各形態素にそれぞれ対応するように、ガイド表示領域３４Ｇに、対応するアルファベット記号を表示する。

次に、図６および図７を参照して、第１の例におけるキー入力時の処理について説明する。キー入力時の段階では、上述したように、文章データが指定されており、キーボード２からのキー入力の待ち状態になっている。

上記のキー入力の待ち状態においては、文章データの各形態素のＵＩ部品は、通常モードになっている。ユーザが、キーボード２の何れかのキーを入力すると、何れのキーが入力されたかについての情報（入力キーの情報）が取得される（ステップＳ１１）。

処理部２０は、修正モードフラグがＯＮになっているかを判定する（ステップＳ１２）。修正モードフラグがＯＮである場合、何れかの形態素のＵＩ部品が修正モードになっている。

ステップＳ１２でＮＯの場合、何れの形態素に対応するＵＩ部品も修正モードになっていない。処理部２０は、ステップＳ１１で取得された入力キーの情報に基づいて、入力キーに対応するＵＩ部品があるかを判定する（ステップＳ１３）。

例えば、上述した例の場合、キーボード２のうち、ショートカットキー「Ａ」から「Ｊ」のキーが入力された場合、ステップＳ１３でＹＥＳとなる。この場合、ショートカットキーのキー入力に応じて、形態素特定部２４は、修正対象の形態素を特定する。

ステップＳ１３でＹＥＳの場合、処理部２０は、対応するＵＩ部品を修正可能状態に変更する（ステップＳ１４）。これにより、指定された形態素は、修正可能な状態になる。上述した例では、「Ｇ」のキーが入力された場合、ショートカットキー「Ｇ」に対応する形態素「技術」のＵＩ部品「部品Ｇ」が修正可能な状態に変更される。

そして、処理部２０は、修正モードフラグをＯＮに設定する（ステップＳ１５）。これにより、指定された形態素に対応するＵＩ部品が、通常モードから修正モードに移行する。ＵＩ部品が修正モードに移行することで、対応する形態素の修正が可能になる。

ステップＳ１３でＮＯの場合、入力キーに対応するＵＩ部品がないため、ステップＳ１４およびＳ１５の処理は実行されない。ステップＳ１３でＮＯの場合、またはステップＳ１５の処理が終了後、キーボード２からのキー入力の待ち状態に移行する。

ステップＳ１２でＹＥＳの場合、修正モードフラグはＯＮになっており、何れかの形態素のＵＩ部品が修正モードになっている。この場合、処理は、「Ａ」から、図７のステップＳ６に移行する。

図７を参照して、「Ａ」以降の処理について説明する。処理部２０は、ステップＳ１１で取得された入力キーの情報に基づいて、修正モード中に入力されたキー（入力キー）が特殊操作キーであるかを判定する（ステップＳ１６）。

特殊操作キーは、予め設定されている。第１の実施形態では、修正内容確定、キャンセル、次の形態素選択、挿入および削除の５つの特殊操作キーが、予め設定されている。５つの特殊操作キーには、それぞれ、異なるキーが割り当てられている。

上述した例では、次の形態素を選択するための特殊操作キーには、Ｔａｂキーが割り当てられている。他の特殊操作キーにも、それぞれ独自のキーが割り当てられている。特殊操作キーの数は、任意の数であってもよい。

ステップＳ１６でＮＯの場合、入力キーは、何れの特殊操作キーにも該当しない。この場合、処理は「Ｂ」に移行し、図６に示されるように、処理は終了する。ステップＳ１６でＮＯとなる場合、指定された形態素のＵＩ部品が修正モードであり、且つ入力キーが特殊操作キーに該当しない。

上記の場合、入力キーは、ユーザがキーボード２に入力したキーは、形態素を修正するためのキーであることが想定される。これにより、修正モードであるＵＩ部品の文字が修正される。修正モードフラグがＯＮの状態で、特殊操作キーでないキーが入力されていくと、文字の修正が行われていく。

ステップＳ１６でＹＥＳであり、且つ入力キーが修正内容確定に割り当てられたキーである場合、処理部２０は、指定された形態素に対応するＵＩ部品を、修正モードから通常モードに変更する（ステップＳ２０）。

修正内容確定に割り当てられた特殊操作キーが入力された場合、既に指定された形態素（指定された形態素のＵＩ部品）に対する修正が行われている。修正部２６は、指定された形態素に対する修正を反映する（ステップＳ２１）。処理部２０は、修正モードフラグをＯＦＦに設定する（ステップＳ２２）。その後、処理は、「Ｂ」に移行する。

ステップＳ１６でＹＥＳであり、且つ入力キーがキャンセルに割り当てられたキーである場合、処理部２０は、修正モードフラグをＯＦＦに設定する（ステップＳ２２）。その後、処理は、「Ｂ」に移行する。

ステップＳ１６でＹＥＳであり、且つ入力キーが次の形態素選択に割り当てられたキーである場合、処理部２０は、指定された形態素に対応するＵＩ部品を通常モードに変更する（ステップＳ２４）。

修正部２６は、指定された形態素に対する修正を反映する（ステップＳ２５）。例えば、指定された形態素が「Ｄ」である場合、上述したように、形態素「Ｄ」は、「ディー」に修正される。該修正が反映されることにより、テキスト修正領域３４に表示されていた形態素「Ｄ」は「ディー」として表示される。

処理部２０は、指定された形態素の次のＵＩ部品を修正可能状態に変更する（ステップＳ２６）。例えば、指定された形態素の次の形態素は「プランニング」であり、該形態素「プランニング」のＵＩ部品が修正可能状態に変更される。

ステップＳ１６でＹＥＳであり、且つ入力キーが挿入に割り当てられたキーである場合、処理部２０は、指定された形態素に対応するＵＩ部品を通常モードに変更する（ステップＳ２７）。

処理部２０は、指定された形態素に対応するＵＩ部品の次にＵＩ部品を新規に追加する（ステップＳ２８）。これにより、テキスト修正領域３４の表示内容が変化し、部品テーブルの内容も変化する。そして、処理部２０は、追加された形態素に対応するＵＩ部品を修正可能状態に変更する（ステップＳ２９）。

ステップＳ１６でＹＥＳであり、且つ入力キーが削除に割り当てられたキーである場合、処理部２０は、指定された形態素に対応するＵＩ部品を削除する（ステップＳ３０）。修正部２６は、指定された形態素に対する修正（削除）を反映する（ステップＳ３１）。

これにより、テキスト修正領域３４に表示されていたＵＩ部品（指定された形態素のＵＩ部品）は削除される。処理部２０は、修正モードフラグをＯＦＦに設定する（ステップＳ３２）。これにより、修正モードから通常モードに移行する。その後、処理は、「Ｂ」に移行する。

図６および図７の処理は、キーボード２のキーが入力されるごとに行なわれる。テキスト修正領域３４に表示されている複数の形態素のうち何れかが指定されると、修正対象の形態素が特定され、対応するＵＩ部品が修正可能状態に変更される。これにより、複数の形態素のうち、修正対象の形態素の修正を行うことができる。

そして、特殊操作キーが入力されると、入力された特殊操作キーに対応する処理が行なわれる。

例えば、形態素「美術」が「技術」に修正された後に、次の形態素選択に割り当てられた特殊操作キーのキー入力が検出されると、形態素特定部２４は、ショートカットキーＧに対応する形態素が修正対象であると特定する。修正部２６は、キーボード２に対する入力に応じて、修正内容を反映する。これにより、テキスト修正領域３４におけるショートカットキーＧに対応する形態素の修正が確定し、修正後の形態素「技術」が表示される。

次に、図８および図９を参照して、第２の例におけるキー押下時の処理の流れについて説明する。第２の例の処理は、第１の例の処理に、指定された形態素、または該形態素を含む連続した複数の形態素に対応する音声を再生する処理を追加したものである。

図８のフローチャートにおいて、ステップＳ１１〜Ｓ１５は、上述した第１の例と同様であるため、説明を省略する。ステップＳ１５の処理後、一定時間ごとにイベントを発生させるためにインターバルタイマを有効化する（ステップＳ１５−１）。

図９のフローチャートを参照して、タイマイベントハンドラ処理の流れを説明する。タイマイベントハンドラ処理が行われる際には、修正対象の形態素が指定されており、且つ指定された形態素のＵＩ部品が修正可能な状態になっている。
タイマイベントハンドラ２７は、記憶部１２に記憶されている時間テーブルを参照して、指定された形態素の開始時刻を取得する（ステップＳ４１）。

図１０は、時間テーブルの一例を示す。時間テーブルは、記憶部１２に記憶されており、番号と形態素とアルファベット記号とＵＩ部品と開始時刻と終了時刻と間隔との項目を含む。

番号と形態素とアルファベット記号とＵＩ部品とは、上述した部品テーブルと同様である。開始時刻は、動画データに含まれる音声のうち、対応する形態素の音声の開始時刻を示す。終了時刻は、動画データに含まれる音声のうち、対応する形態素の音声の終了時刻を示す。間隔は、開始時刻から終了時刻までの間隔を示す。

図９に示されるように、タイマイベントハンドラ２７は、音声再生開始時刻を、ステップＳ４１で取得した再生時刻に設定する（ステップＳ４２）。これにより、音声再生時刻が、指定された形態素の音声の開始時刻に設定される。

音声再生制御部２９は、時間テーブルの終了時刻を参照して、動画データに含まれる音声を、ステップＳ４２で設定された音声再生開始時刻から、指定された形態素の終了時刻まで再生する制御を行う（ステップＳ４３）。これにより、スピーカ４から、指定された形態素の音声が流れる。この際、動画データが再生されてもよい。

テキスト修正装置１には、一定期間ごとにタイマイベントハンドラ２７を呼び出すためのインターバルタイマが実装されており、タイマイベントハンドラ２７は、一定期間ごとに、呼び出されて、図９に示される処理が行なわれる。これにより、指定された形態素の音声が、繰り返し、スピーカ４から流れる。

図１１は、図８の「Ａ」から「Ｂ」までの処理の流れを示すフローチャートである。ステップＳ２０〜Ｓ３２は、上述した第１の例と同様であるため、説明を省略する。修正モードフラグがＯＮになっている状態で、修正内容確定の特殊操作キーの入力が検出されると、インターバルタイマが無効化される（ステップＳ３３−１）。

タイマイベントハンドラ２７は、ステップＳ３３−１タイマが無効化されると呼び出されなくなる。

上述したタイマイベントハンドラ処理が行なわれることにより、指定された形態素に対応する音声が繰り返し再生される。ユーザは、キーボード２を用いて、指定された形態素の修正を行う。ユーザが形態素の修正を行っている間、修正対象の形態素の音声が、スピーカ４から流れることにより、ユーザは、形態素の音声を把握し易くなる。

修正内容が確定すると、指定された形態素の音声をスピーカ４から繰り返して流す必要がなくなる。このため、ステップＳ３３−１で、インターバルタイマが無効化される。

指定された形態素がキャンセルされる場合、指定された形態素の音声をスピーカ４から繰り返して流す必要がなくなる。このため、ステップＳ２３の後、インターバルタイマが無効化される（ステップＳ３３−２）。

指定された形態素が削除される場合、指定された形態素の音声をスピーカ４から繰り返して流す必要がなくなる。このため、ステップＳ３２の後、インターバルタイマが無効化される（ステップＳ３３−３）。

上述した例では、指定された形態素に対応する音声が繰り返し再生されるが、指定された形態素を含む連続した複数の形態素が再生されてもよい。例えば、タイマイベントハンドラ２７は、指定された形態素、および該形態素を含む前後の所定数の形態素の音声を再生させるように制御を行ってもよい。

この場合、タイマイベントハンドラ２７は、時間テーブルを参照して、指定された形態素の前後所定数の形態素について、最も早い開始時刻と最も遅い終了時刻とを特定する。音声再生制御部２９は、上記最も早い開始時刻から最も遅い終了時刻までの複数の形態素の音声を、スピーカ４から流させる制御を行う。これにより、指定された形態素、および該形態素を含む前後の所定数の形態素の音声が、スピーカ４から流れる。

指定された形態素の音声だけでなく、前後の所定数の形態素の音声が、スピーカ４から流れることにより、ユーザは、指定された形態素を含む文脈を認識することができる。例えば、指定された形態素の音声だけがスピーカ４から流れる場合、「美術」という音声だけが繰り返し流れる。

一方、指定された形態素の音声だけでなく、前後の形態素の音声が流れる場合、「最新美術を」という音声が繰り返し流れる。ユーザは、スピーカ４から流れる「最新美術を」という音声を聞くことで、「美術」という形態素が、正しくは「技術」であることを、把握しやすくなる。

音声再生制御部２９は、文章データの全体を再生させる制御を行ってもよいし、文章データの文頭から指定された形態素までの複数の形態素を再生させる制御を行ってもよい。音声再生制御部２９が再生させる対象の形態素の数は任意であってよい。

また、音声再生制御部２９は、指定された形態素を、通常速度より低速に再生してもよい。例えば、指定された形態素「美術」という音声が、低速にスピーカ４から流れることで、ユーザは、形態素「美術」を聞き取り易くなる。

次に、第３の例におけるキー押下時の処理について説明する。第３の例は、指定された形態素の修正候補を提示する例である。修正候補は、修正候補推定部２８が、過去の文章データを入力として機械学習が行なわれた学習済みモデルに基づいて、推定を行なう。

機械学習としては、例えば、Sequence-to-Sequenceが利用されてもよい。Sequence-to-Sequenceは、ＲＮＮ（Recurrent Neural Network）を活用した機械学習の一種であり、単語の並び順の推定に適している。学習済みモデルは、Sequence-to-Sequence以外の任意の機械学習により生成されるものであってもよい。

例えば、テキスト修正装置１の外部のデータベース（過去の記事データやテレビの字幕データ等）に記憶されている過去の多数の文章データを入力として、Sequence-to-Sequenceによる機械学習が行なわれた学習済みモデルが生成されているとする。

通信部１３が、ネットワークを介して、外部の装置やデータベース等から、上記学習済みモデルを取得し、取得された学習済みモデルが記憶部１２に記憶されてもよい。また、テキスト修正装置１が、上記機械学習を行い、学習済みモデルを記憶部１２に記憶してもよい。

修正候補推定部２８は、記憶部１２に記憶されているSequence-to-Sequenceにより機械学習が行なわれた学習済みモデルを取得し、該学習済みモデルを用いて、指定された文章データの各形態素の並び順から、指定された形態素の修正候補を推定する。

図１２に示されるように、修正候補推定部２８は、取得した学習済みモデルを用いて、「は」「最新」「技術」「を」「使って」という並び順が最もあり得ると推定する。その結果、修正候補推定部２８は、指定された形態素「美術」の修正候補は「技術」であると推定する。

表示制御部２５は、テキスト修正領域３４のうち、指定された形態素に対応するように、修正候補を表示する制御を行う。図１３の例に示されるように、修正候補「技術」とともに、該修正候補「技術」を指定するための候補選択指示（数字キーの「０」）が表示される。複数の修正候補がある場合には、各修正候補に応じて、異なる修正候補指示（例えば、異なる数字キー）が表示されてもよい。

図１３の例の場合、ユーザが、キーボード２のうち、数字キーの「０」を入力すると、該入力が検出され、修正候補「技術」が確定する。図１４は、確定後の画面例を示す。第３の例では、指定された形態素について、推定された修正候補が表示される。

これにより、指定された形態素の修正を行う際に、ユーザは、キーボード２を用いて、修正候補を特定する操作を行えばよく、修正内容のキー入力の操作が不要になるため、書き起こし結果の修正の作業量が軽減される。

図１５および図１６を参照して、第３の例におけるキー入力時の処理の流れについて説明する。図１５のフローチャートにおいて、ステップＳ１１〜Ｓ１５は、上述した第１の例および第２の例と同様であるため、説明を省略する。

ステップＳ１５の処理後、修正候補推定部２８は、上記の学習済みモデルを用いて、各形態素の並び順から、指定された形態素の修正候補を推定し、表示制御部２５は、修正候補をテキスト修正領域３４に表示する制御を行う（ステップＳ１５−２）。

図１６のフローチャートにおいて、ステップＳ２０〜Ｓ３２は、上述した第１の例および第２の例と同様であるため、説明を省略する。

図１６のフローチャートにおいて、ステップＳ２６の処理後に、ステップＳ１５−２と同様の処理（修正候補の推定および表示の処理）が行なわれる（ステップＳ３４−１）。また、ステップＳ２９の処理後に、ステップＳ１５−２と同様の処理（修正候補の推定および表示の処理）が行なわれる（ステップＳ３４−２）。

指定された形態素の次の形態素の修正が行われる場合、および挿入された形態素の修正が行われる場合、新たな形態素の修正が行われるため、修正候補が表示されることが好ましい。

一方、修正内容確定の特殊操作キーが入力された場合、キャンセルの特殊操作キーが入力された場合および削除の特殊操作キーが入力された場合には、新たな形態素の修正が行われないため、修正候補を表示する処理は行なわれなくてもよい。

＜第２の実施形態＞
次に、第２の実施形態について説明する。第２の実施形態におけるテキスト修正装置１の構成は、図１に示した第１の実施形態と同様である。第２の実施形態では、表示制御部２５は、動画データに含まれる音声データの再生に応じて、再生中の形態素の所定数前の形態素を操作可能な状態で表示する。

図１７に示されるように、画面３０のうち、表示制御部２５は、テキスト表示領域３３に、文章データの文頭から音声再生中の形態素まで表示する。また、表示制御部２５は、テキスト修正領域３４に、文章データの文頭から音声再生中の形態素まで表示するとともに、音声再生中の形態素の所定数前の形態素の表示態様を変更する。以下、表示態様の変更は、上述したように、テキスト修正領域３４に表示されている形態素の強調表示（色の変更や背景色の変更等）であるものとして説明する。

図１７の例では、音声再生中の形態素は「使って」であり、該形態素の２つ前（所定数前）の形態素「美術」の表示態様が変更されている。音声再生の進行に伴い、音声再生中の形態素が進み、強調表示される形態素も進む。

図１７の例のように、音声再生中の形態素「使って」の２つ前の形態素「美術」が強調表示されている状態で、キーボード２に対する所定の操作が検出されると、形態素特定部２４は、修正対象の形態素「美術」を特定する。これにより、形態素「美術」を修正することが可能な状態になる。

例えば、形態素「美術」が強調表示されている際に、所定のキー（例えば、エンターキー）の入力が検出されると、形態素特定部２４は、形態素「美術」を修正対象として特定する。これにより、形態素「美術」を修正することが可能な状態になる。形態素「美術」の修正が可能な状態になると、音声再生制御部２９は、修正対象の形態素「美術」を繰り返し、且つ低速に再生する制御を行う。

ユーザは、キーボード２を用いて、形態素「美術」を修正する操作を行う。この際、スピーカ４から、形態素「美術」が、繰り返し、且つ低速に流れている。ユーザが、キーボード２を用いて、「技術」と入力したとする。この場合、図１８に示されるように、形態素「美術」は「技術」に修正される。

図１９および図２０は、第２の実施形態の処理の流れを示すフローチャートである。処理部２０は、記憶部１２に記憶されている分割された各形態素を記憶部１２から取得する（ステップＳ５１）。

処理部２０は、記憶部１２に記憶されている時間テーブルを参照して、各形態素のそれぞれの開始時刻および終了時刻を取得する（ステップＳ５２）。表示制御部２５は、ステップＳ５１で取得された各形態素を、順番に連結する（ステップＳ５３）。

処理部２０は、時間テーブルを参照して、現在の再生時刻に対応する形態素を特定する（ステップＳ５４）。表示制御部２５は、特定された形態素の所定数前の形態素の表示態様を変更する（ステップＳ５５）。

処理部２０は、キーボード２に対する所定のキーの入力操作が検出されたかを判定する（ステップＳ５６）。ステップＳ５６でＹＥＳの場合、修正モード処理が行われる（ステップＳ５７）。ステップＳ５７でＮＯの場合、修正モード処理は行われない。

次に、図２０を参照して、ステップＳ５７の修正モード処理について説明する。修正モード処理が開始されるときには、修正対象の形態素が形態素特定部２４により特定されている。

処理部２０は、時間テーブルを参照して、ステップＳ５４で特定された形態素の所定数前の形態素（表示態様が変更されている形態素）の開始時刻を取得する（ステップＳ６１）。

音声再生制御部２９は、ステップＳ６１で取得された開始時刻から、表示態様が変更されている形態素の音声を低速で再生する制御を行う。該制御に基づいて、スピーカ４から、上記形態素の音声が流れる。該形態素の音声が低速でスピーカ４から流れることで、ユーザは、修正対象の形態素の音声を聞き取り易くなる。

音声再生制御部２９は、強調表示されている形態素だけでなく、該形態素を含む前後の複数の形態素の音声を再生する制御を行ってもよい。この場合、上記形態素を含む連続した複数の形態素の音声がスピーカ４から流れる。

音声再生制御部２９は、強調表示されている形態素の音声、または該形態素を含む連続した前後の複数の形態素の音声を通常の速度で再生する制御を行ってもよい。また、表示制御部２５は、画面３０に再生速度を調整するためのスライダーバーを表示する制御を行ってもよい。

ユーザによるスライダーバーの操作に基づいて、音声再生制御部２９は、任意の再生速度で、強調表示されている形態素の音声、または該形態素を含む連続した前後の複数の形態素の音声が再生される。

処理部２０は、特殊操作キーの入力があったかを判定する（ステップＳ６３）。ステップＳ６３でＮＯの場合、処理は、ステップＳ６２に移行する。これにより、強調表示されている形態素の音声、または該形態素を含む連続した前後の複数の形態素の音声が繰り返し再生される。

ステップＳ６３でＹＥＳの場合であり、且つ入力キーが修正内容確定に割り当てられたキーである場合、処理部２０は、表示態様が変更されている形態素に対応するＵＩ部品を通常モードに変更する（ステップＳ６４）。

修正内容確定に割り当てられた特殊操作キーが入力された場合、強調表示されている形態素の修正が確定するため、修正部２６は、指定された形態素に対する修正を反映する（ステップＳ６５）。

ステップＳ６３でＹＥＳの場合であり、且つ入力キーがキャンセルに割り当てられたキーである場合、修正がキャンセルされるため、修正モード処理は、終了する。

ステップＳ６６でＹＥＳであり、且つ入力キーが削除に割り当てられたキーである場合、処理部２０は、強調表示されている形態素に対応するＵＩ部品を削除する（ステップＳ６６）。修正部２６は、指定された形態素に対する修正（削除）を反映する（ステップＳ６７）。これにより、テキスト修正領域３４に表示されていたＵＩ部品は削除される。

ステップＳ６８でＹＥＳであり、且つ入力キーが挿入に割り当てられたキーである場合、処理部２０は、強調表示されている形態素に対応するＵＩ部品を通常モードに変更する（ステップＳ６８）。

処理部２０は、強調表示されている形態素に対応するＵＩ部品の次にＵＩ部品を新規に追加する（ステップＳ６９）。これにより、テキスト修正領域３４の表示内容が変化し、部品テーブルの内容も変化する。そして、処理部２０は、追加された形態素に対応するＵＩ部品を修正可能状態に変更する（ステップＳ７０）。

ステップＳ７０の処理が行われた後、修正対象は、新規に追加されたＵＩ部品に移り、処理は、ステップＳ６２に移行する。

＜テキスト修正装置のハードウェア構成の一例＞
次に、図２１の例を参照して、テキスト修正装置１のハードウェア構成の一例を説明する。図２１の例に示すように、バス１００に対して、プロセッサ１１１とRandom Access Memory(RAM)１１２とRead Only Memory(ROM)１１３とが接続される。また、該バス１００に対して、補助記憶装置１１４と媒体接続部１１５と通信インタフェース１１６とが接続される。

プロセッサ１１１はＲＡＭ１１２に展開されたプログラムを実行する。実行されるプログラムとしては、実施形態における処理を行うテキスト修正プログラムが適用されてもよい。

ＲＯＭ１１３はＲＡＭ１１２に展開されるテキスト修正プログラムを記憶する不揮発性の記憶装置である。補助記憶装置１１４は、種々の情報を記憶する記憶装置であり、例えばハードディスクドライブや半導体メモリ等が適用されてもよい。媒体接続部１１５は、可搬型記録媒体１１５Ｍと接続可能に設けられている。

可搬型記録媒体１１５Ｍとしては、可搬型のメモリ（例えば、光学ディスクや半導体メモリ等）が適用されてもよい。この可搬型記録媒体１１５Ｍに実施形態の処理を行うテキスト修正プログラムが記録されていてもよい。

制御部１１の各部は、与えられたテキスト修正プログラムをプロセッサ１１１が実行することにより実現されてもよい。記憶部１２は、ＲＡＭ１１２や補助記憶装置１１４等により実現されてもよい。通信部１３は、通信インタフェース１１６により実現されてもよい。

ＲＡＭ１１２、ＲＯＭ１１３、補助記憶装置１１４および可搬型記録媒体１１５Ｍは、何れもコンピュータ読み取り可能な有形の記憶媒体の一例である。これらの有形な記憶媒体は、信号搬送波のような一時的な媒体ではない。

＜その他＞
テキスト修正装置１は、第１の実施形態の機能と第２の実施形態の機能との両者を有していてもよい。図２２は、第１の実施形態と第２の実施形態との両者が適用された場合の画面３０の例である。

図２２に示されるように、テキスト修正領域３４の各形態素にはそれぞれ、ショートカットキーが対応付けられて表示されている。図２２の例の場合、音声は、「使って」まで再生されている。

何れかのショートカットキーに対応するキー入力が検出されると、第１の実施形態で説明したように、ショートカットキーに対応する形態素が特定され、特定された形態素の修正が可能になる。

また、音声再生中の形態素「使って」の２つ前の形態素「美術」が強調表示されている状態で、キーボード２に対する所定の入力（エンターキー等の入力）が検出されると、強調表示されている形態素「美術」が修正対象の形態素であると特定される。これにより、修正対象の形態素を修正することが可能な状態になる。

上述した第１の実施形態および第２の実施形態は、以上に述べた形態に限定されるものではなく、第１の実施形態および第２の実施形態の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。

１ テキスト修正装置
２ キーボード
３ ディスプレイ
４ スピーカ
１１ 制御部
１２ 記憶部
１３ 通信部
２０ 処理部
２１ 動画再生部
２２ 音声認識部
２３ 形態素解析部
２４ 形態素特定部
２５ 表示制御部
２６ 修正部
２７ タイマイベントハンドラ
２８ 修正候補推定部
２９ 音声再生制御部
１１１ プロセッサ
１１２ ＲＡＭ
１１３ ＲＯＭ

Claims (10)

1. 音声データに基づいて認識された文章データを複数のテキスト単位に分割する分割部と、
   分割された前記複数のテキスト単位のうち、何れかのテキスト単位の指定が入力装置を介して入力された場合、指定されたテキスト単位を修正対象として特定する特定部と、
   前記指定されたテキスト単位を修正可能な状態で表示装置に表示する表示制御部と、
   前記指定されたテキスト単位に対する修正を前記文章データに反映する修正部と、
   を備えるテキスト修正装置。
2. 前記表示制御部は、前記テキスト単位を特定する特定情報を、前記複数のテキスト単位のそれぞれに対応付けて、前記表示装置に表示し、
   前記特定部は、前記入力装置が複数の前記特定情報のうち何れかの特定情報を指定する操作を検出した場合、検出された特定情報に対応するテキスト単位を修正対象として特定する、
   請求項１記載のテキスト修正装置。
3. 前記表示制御部は、前記音声データが再生される場合、前記音声データに対応する前記複数のテキスト単位のうち再生中のテキスト単位より所定数前のテキスト単位を操作可能な状態で表示する制御を行い、
   前記所定数前のテキスト単位に対する前記入力装置からの操作が検出されると、前記特定部は、検出された所定数前のテキスト単位を修正対象として特定する、
   請求項１または２記載のテキスト修正装置。
4. 前記表示制御部は、前記修正対象のテキスト単位の前記表示装置における表示態様を変更する、
   請求項１乃至３のうち何れか１項に記載のテキスト修正装置。
5. 前記修正部は、前記複数のテキスト単位のうち指定されたテキスト単位を、上書き修正して前記文章データに反映させる、
   請求項１乃至４のうち何れか１項に記載のテキスト修正装置。
6. 前記テキスト修正装置はさらに、
   過去の複数のテキスト単位の並び順を入力として機械学習が行なわれた学習済みモデルに基づいて、前記文章データの前記複数のテキスト単位から、修正対象のテキスト単位の修正候補を推定する修正候補推定部、を備え、
   前記表示制御部は、前記修正対象のテキスト単位と対応付けて、前記修正候補を前記表示装置に表示する、
   請求項１乃至５のうち何れか１項に記載のテキスト修正装置。
7. 前記テキスト修正装置はさらに、
   前記複数のテキスト単位のうち前記入力装置からの指定を受け付けたテキスト単位に対応する前記音声データを含む前後の所定数のテキスト単位に対応する音声を繰り返し再生する制御を行う音声再生制御部、
   を備える請求項１乃至６のうち何れか１項に記載のテキスト修正装置。
8. 前記音声再生制御部は、前記音声を繰り返し再生する制御を行う際に、再生速度を低速にする、
   請求項７記載のテキスト修正装置。
9. テキスト修正装置によるテキスト修正方法において、
   前記テキスト修正装置が有する分割部が、音声データに基づいて認識された文章データを複数のテキスト単位に分割し、
   前記テキスト修正装置が有する特定部が、分割された前記複数のテキスト単位のうち、何れかのテキスト単位の指定が入力装置を介して入力された場合、指定されたテキスト単位を修正対象として特定し、
   前記テキスト修正装置が有する制御部が、前記指定されたテキスト単位を修正可能な状態で表示装置に表示し、
   前記テキスト修正装置が有する修正部が、前記指定されたテキスト単位に対する修正を前記文章データに反映する、
   テキスト修正方法。
10. テキスト修正装置のテキスト修正プログラムにおいて、
    前記テキスト修正装置が有する分割部に、音声データに基づいて認識された文章データを複数のテキスト単位に分割させ、
    前記テキスト修正装置が有する特定部に、分割された前記複数のテキスト単位のうち、何れかのテキスト単位の指定が入力装置を介して入力された場合、指定されたテキスト単位を修正対象として特定させ、
    前記テキスト修正装置が有する制御部に、前記指定されたテキスト単位を修正可能な状態で表示装置に表示させ、
    前記テキスト修正装置が有する修正部に、前記指定されたテキスト単位に対する修正を前記文章データに反映させる、
    テキスト修正プログラム。

Images