[go: up one dir, main page]

KR102439165B1 - 상식 지식과 언어학적 패턴을 이용한 서술문 신뢰도 평가 시스템 및 그 방법 - Google Patents

상식 지식과 언어학적 패턴을 이용한 서술문 신뢰도 평가 시스템 및 그 방법 Download PDF

Info

Publication number
KR102439165B1
KR102439165B1 KR1020200161606A KR20200161606A KR102439165B1 KR 102439165 B1 KR102439165 B1 KR 102439165B1 KR 1020200161606 A KR1020200161606 A KR 1020200161606A KR 20200161606 A KR20200161606 A KR 20200161606A KR 102439165 B1 KR102439165 B1 KR 102439165B1
Authority
KR
South Korea
Prior art keywords
reliability
common sense
statement
expression vector
feature expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200161606A
Other languages
English (en)
Other versions
KR20210065066A (ko
Inventor
박종철
박한철
유진선
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20210065066A publication Critical patent/KR20210065066A/ko
Application granted granted Critical
Publication of KR102439165B1 publication Critical patent/KR102439165B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

본 발명은 일반 상식 지식과 추출된 언어학적 패턴을 이용하는 심층 신경망(deep neural network)을 통해 서술문의 신뢰도를 평가하는 서술문 신뢰도 평가 시스템 및 그 방법에 관한 것으로서, 신뢰도 평가가 요구되는 서술문 텍스트를 수신하는 수신부, 지식베이스를 기반으로 상기 서술문 텍스트에 포함된 내용어(content word) 간의 관계를 이용하여 상식 지식 정보를 추출하며, 상기 서술문 텍스트와 상기 상식 지식 정보를 통해 상식 기반의 신뢰도 자질 표현 벡터를 생성하는 상식 처리부, 상기 서술문 텍스트에서 언어학적 패턴과 각 패턴에 관계된 단어들을 선택하여 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 생성하는 언어학적 패턴 처리부 및 상기 상식 기반의 신뢰도 자질 표현 벡터와 상기 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 결합한 심층 신경망을 통해 신뢰도 분류를 수행하여 신뢰도를 평가하는 신뢰도 평가부를 포함한다.

Description

상식 지식과 언어학적 패턴을 이용한 서술문 신뢰도 평가 시스템 및 그 방법{STATEMENTS CREDIBILITY ASSESSING SYSTEM USING COMMONSENSE KNOWLEDGE AND LINGUISTIC PATTERNS AND THE METHOD THEREOF}
본 발명은 상식 지식과 언어학적 패턴을 이용한 서술문 신뢰도 평가 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 일반 상식 지식과 추출된 언어학적 패턴을 이용하는 심층 신경망(deep neural network)을 통해 서술문의 신뢰도를 평가하는 기술에 관한 것이다.
온라인 매체를 통해 전파되는 다양한 텍스트 정보들은 유용한 내용을 담고 있기도 하지만, 때로는 고의적으로 날조되어 객관적 진실성이 결여되어 있거나, 진실성과 별개로 불분명한 출처와 불확실한 표현의 사용 등으로 인해 주관적으로 믿기 어려운 내용들을 포함하기도 한다. 이러한 신뢰하기 어려운 정보들은 다양한 사회적 문제와 진실에 대한 혼란을 야기할 수 있기 때문에 문제 예방 차원에서 주어진 정보의 신뢰도를 평가하는 기술에 대한 요구가 증가하고 있다.
기존의 선행 특허 제10-1983517호(2019.05.22)는 문서와 같이 길이가 긴 텍스트에서 문맥 정보를 활용하여 문장들의 신뢰도를 평가하는 기법들을 제안하였다. 그러나 온라인 소셜 미디어를 통해 주로 전파되는 길이가 짧은 서술문의 경우 관련 문맥 정보들이 거의 포함되어 있지 않기 때문에 신뢰도를 평가하기에 어려운 점이 있다.
짧은 서술문에 결여된 문맥 정보 문제를 해결하고자 2017년에 간행된 ACL proceedings에 수록된 “Liar, liar pants on fire: A new benchmark dataset for fake news detection”인 논문과 2018년에 간행된 COLING proceedings에 수록된 “Multi-source multi-class fake news detection”인 논문에서는 짧은 서술문에 직접적으로 관련된 증거 문서와 메타 정보(예를 들면, 서술자 정보 및 서술문의 출처 등)를 활용하는 심층 신경망 기반 신뢰도 평가 모델인 Hybrid CNN(Convolutional Neural Network)과 MMFD(Multi-source Multi-class Fake news Detection framework)를 각각 제안하였다.
다만, 전술한 논문들은 직접적으로 관련된 정보를 이용함으로써 신뢰도 평가의 성능을 크게 향상 시켰지만, 많은 경우에 있어서(예를 들면, 새로운 사건) 이러한 직접적인 관련 정보들을 항상 이용할 수 있는 것은 아니라는 문제점이 존재하였다.
또한, 문맥 정보를 확인하는 대신 짧은 서술문 그 자체로부터 신뢰도를 평가하는 방법으로, 2017년에 간행된 EMNLP proceedings에 수록된 “Truth of varying shades: Analyzing language in fake news and political fact-checking”인 논문은 신뢰도 평가에 관계된 유의미한 언어학적 패턴(예를 들면, 주관적인 단어의 사용 및 감정 단어 사용 등)을 대용량의 데이터를 통해 분석하고, 수동적으로 선별된 패턴들을 이용하여 신뢰도를 평가하는 모델을 제안하였다. 이러한 모델들은 남을 속이려고 할 때 의도치 않게 발생되는 문체의 특징과 불확실성을 나타나는 단어들의 선택과 같은 언어학적 특징을 이용하여 신뢰도를 평가하는 방법이다. 그러나, 이는 수동으로 조사되었기 때문에 아직 알려지지 않은 신뢰도 평가와 관련된 언어학적 패턴들은 고려되지 못하였으며, 현존하는 관련 언어학적인 자원(예를 들면, 감정 사전)으로는 각 패턴에 속하는 모든 어휘들을 포함하는데 어려움이 있기 때문에 신뢰도 평가에 있어서 한계가 존재하였다.
본 발명의 목적은 심층 신경망을 이용하여 일반 상식 지식에 근거한 신뢰도 평가 자질과 자동 추출된 언어학적 패턴 기반의 신뢰도 평가 자질을 동시에 활용하여 짧은 서술문의 신뢰도를 평가하고자 한다.
또한, 짧은 서술문에 직접적으로 관련된 증거 문서와 메타 정보는 항상 이용할 수 없기 때문에, 본 발명은 상시 시용 가능한 일반 상식 지식 정보를 대안으로 이용하여 신뢰도를 평가하고자 한다.
기존 언어학적 패턴 기반의 신뢰도 평가는 수동으로 확인된 소수의 관련 패턴들과 각 패턴에 관련된 언어학적 자원에 수록된 소수의 어휘들에 기반하기 때문에 신뢰도 평가 능력의 한계가 존재하였다. 이러한 문제를 해결하고자 본 발명의 목적은 심층 신경망을 이용하여 데이터를 통해 알려지지 않은 신뢰도 평가 관련 패턴을 학습하고, 각 패턴에 속한 보다 많은 어휘들을 자동으로 판단함으로써, 기존 언어학적 패턴의 범위를 크게 확장시키고자 한다.
본 발명의 실시예에 따른 서술문 신뢰도 평가 시스템은 신뢰도 평가가 요구되는 서술문 텍스트를 수신하는 수신부, 지식베이스를 기반으로 상기 서술문 텍스트에 포함된 내용어(content word) 간의 관계를 이용하여 상식 지식 정보를 추출하며, 상기 서술문 텍스트와 상기 상식 지식 정보를 통해 상식 기반의 신뢰도 자질 표현 벡터를 생성하는 상식 처리부, 상기 서술문 텍스트에서 언어학적 패턴과 각 패턴에 관계된 단어들을 선택하여 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 생성하는 언어학적 패턴 처리부 및 상기 상식 기반의 신뢰도 자질 표현 벡터와 상기 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 결합한 심층 신경망을 통해 신뢰도 분류를 수행하여 신뢰도를 평가하는 신뢰도 평가부를 포함한다.
상기 상식 처리부는 상기 서술문 텍스트에 포함된 모든 내용어(content word) 간의 관계적 지식을 상기 지식베이스에서 순위화하여 상기 상식 지식 정보를 추출하는 상식 추출부 및 상기 서술문 텍스트와 상기 상식 지식 정보를 입력으로 하는 심층 신경망(Deep Neural Network)을 통해 상기 상식 기반의 신뢰도 자질 표현 벡터를 추출하는 벡터 생성부를 포함할 수 있다.
상기 상식 추출부는 복수의 트리플(triple)을 포함하는 상기 지식베이스를 기반으로, 상기 서술문 텍스트에 포함된 내용어 중에서 최소 한가지를 포함하는 트리플을 상기 지식베이스에서 추출하며, 추출된 트리플의 내용어가 상기 서술문 텍스트에 포함되는지 유무에 따라 유사도 점수를 부여할 수 있다.
상기 상식 추출부는 상기 추출된 트리플 중 내용어가 상기 서술문 텍스트에 모두 포함되는 경우에 1점을 부여하고, 그렇지 않은 경우에는 단어 사이의 유사도를 측정하여 1점 미만의 기 설정된 유사도 점수를 부여할 수 있다.
상기 상식 추출부는 유사도 점수가 부여된 트리플 중 상위 m개의 트리플로 구성된 상기 상식 지식 정보를 추출할 수 있다.
상기 벡터 생성부는 심층 신경망을 통해 인코딩된 상기 서술문 텍스트에 대한 서술문 벡터와 상기 상식 지식 정보에 대한 상식 지식 벡터 사이의 유사도를 기반으로 각 지식들에 대한 가중치를 산출하며, 상기 상식 지식 벡터의 가중치 합과 상기 서술문 벡터와의 결합(concatenation)을 통해 상기 상식 기반의 신뢰도 자질 표현 벡터를 생성할 수 있다.
상기 언어학적 패턴 처리부는 상기 서술문 텍스트를 입력으로 하는 심층 신경망의 다 측면 자가 주의집중 메커니즘을 통해 학습된 서로 다른 N개의 언어학적 패턴과 각 패턴에 관계된 단어들을 선택하여 상기 언어학적 패턴 기반의 자질 표현 벡터를 생성할 수 있다.
상기 신뢰도 평가부는 상기 상식 기반의 신뢰도 자질 표현 벡터와 상기 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 결합하여 심층 신경망을 통해 가장 높은 확률 값을 가진 신뢰도 라벨을 최종 신뢰도 점수를 선택하여 상기 서술문 텍스트에 대한 신뢰도를 평가할 수 있다.
본 발명의 실시예에 따른 서술문 신뢰도 평가 방법은 신뢰도 평가가 요구되는 서술문 텍스트를 수신하는 단계, 지식베이스를 기반으로 상기 서술문 텍스트에 포함된 내용어(content word) 간의 관계를 이용하여 상식 지식 정보를 추출하며, 상기 서술문 텍스트와 상기 상식 지식 정보를 통해 상식 기반의 신뢰도 자질 표현 벡터를 생성하는 단계, 상기 서술문 텍스트에서 언어학적 패턴과 각 패턴에 관계된 단어들을 선택하여 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 생성하는 단계 및 상기 상식 기반의 신뢰도 자질 표현 벡터와 상기 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 결합한 심층 신경망을 통해 신뢰도 분류를 수행하여 신뢰도를 평가하는 단계를 포함한다.
상기 상식 기반의 신뢰도 자질 표현 벡터를 생성하는 단계는 상기 서술문 텍스트에 포함된 모든 내용어(content word) 간의 관계적 지식을 상기 지식베이스에서 순위화하여 상기 상식 지식 정보를 추출하는 단계 및 상기 서술문 텍스트와 상기 상식 지식 정보를 입력으로 하는 심층 신경망(Deep Neural Network)을 통해 상기 상식 기반의 신뢰도 자질 표현 벡터를 추출하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 짧은 서술문에 직접적으로 관련된 증거 문서와 메타 정보를 이용할 수 없는 상황에서도, 일반 상식 지식과 자동으로 추출된 언어학적 패턴을 이용하여 직접 관련 정보를 이용한 신뢰도 평가 방법과 유사한 품질의 자동 신뢰도 평가를 수행할 수 있다.
또한, 본 발명의 실시예에 따르면, 짧은 서술문에 직접적으로 관련된 증거 문서와 메타 정보를 이용 가능한 경우, 해당 정보들을 추가적으로 결합하여 더욱 높은 성능의 자동 신뢰도 평가를 수행할 수 있다.
도 1은 본 발명의 실시예에 따른 서술문 신뢰도 평가 시스템의 세부 구성을 블록도로 도시한 것이다.
도 2는 본 발명의 실시예에 따른 상식 처리부의 세부 구성을 블록도로 도시한 것이다.
도 3은 본 발명의 실시예에 따른 주의 집중 메커니즘을 이용한 신경망 구조를 도시한 것이다.
도 4는 본 발명의 실시예에 따른 자가 주의 집중 메커니즘을 이용한 신경망 구조를 도시한 것이다.
도 5는 본 발명의 실시예에 따른 서술문 신뢰도 평가 방법의 동작 흐름도를 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 실시예들은, 일반 상식 지식과 자동으로 추출된 언어학적 패턴을 이용하는 심층 신경망(deep neural network) 모델을 활용하여, 짧은 길이의 서술문에 대한 신뢰도를 평가하는 것을 특징으로 한다.
보다 구체적으로, 짧은 서술문에 대해서 심층 신경망 모델은 인간이 지닌 일반 상식에 근거한 신뢰도 평가 자질을 추출하고, 이와 동시에 자동으로 추출된 언어학적 패턴에 기반한 신뢰도 평가 자질을 추출한다. 이를 통해, 본 발명은 일반 상식 지식 및 언어학적 패턴에 기반한 신뢰도 평가 자질을 함께 고려하여 짧은 길이의 서술문에 대한 신뢰도를 평가하고자 한다.
본 발명에서 언급되는 일반 상식은 특정 개체, 사건에 대한 특별한 지식(예를 들어, 통계치)이 아니라, 모든 인간이 공유하는 세상에 대한 공통된 일반적 지식(예를 들면, 원인 - 결과(공부 - 성적 향상))을 의미한다.
본 발명에서 일반 상식 지식을 이용하는 근거는 서술문의 작성자가 타인을 속이기 위해 서술문의 일부 내용을 조작하는 과정에서 부주의로 상식에 위배되는 진술 일부를 포함할 수 있다는 가정이다.
이하에서는 도 1 내지 도 5를 참조하여 본 발명의 실시예에 따른 서술문 신뢰도 평가 시스템 및 방법에 대해 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 서술문 신뢰도 평가 시스템의 세부 구성을 블록도로 도시한 것이며, 도 2는 본 발명의 실시예에 따른 상식 처리부의 세부 구성을 블록도로 도시한 것이다. 또한, 도 3은 본 발명의 실시예에 따른 주의 집중 메커니즘을 이용한 신경망 구조를 도시한 것이며, 도 4는 본 발명의 실시예에 따른 자가 주의 집중 메커니즘을 이용한 신경망 구조를 도시한 것이다.
도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 서술문 신뢰도 평가 시스템은 일반 상식 지식과 추출된 언어학적 패턴을 이용하는 심층 신경망(deep neural network)을 통해 서술문의 신뢰도를 평가한다.
이를 위해, 본 발명의 실시예에 따른 서술문 신뢰도 평가 시스템(100)은 수신부(110), 상식 처리부(120), 언어학적 패턴 처리부(130) 및 신뢰도 평가부(140)를 포함한다. 이 때, 상식 처리부(120)는 상식 추출부(121) 및 벡터 생성부(122)를 포함할 수 있다.
수신부(110)는 신뢰도 평가가 요구되는 서술문 텍스트를 수신한다.
수신부(110)는 신뢰도 판단의 대상이 되는 짧은 길이의 서술문 텍스트를 수신하며, 수신된 서술문 텍스트는 상식 처리부(120) 및 언어학적 패턴 처리부(130) 각각으로 전달된다. 예를 들면, 짧은 길이의 서술문 텍스트는 온라인 소셜 미디어 텍스트일 수 있으며, 여기서 짧은 길이란 10개 이내의 단어(또는 어휘)들이 조합된 형태를 나타낼 수 있다.
상식 처리부(120)는 지식베이스를 기반으로 서술문 텍스트에 포함된 내용어(content word) 간의 관계를 이용하여 상식 지식 정보를 추출하며, 서술문 텍스트와 상식 지식 정보를 통해 상식 기반의 신뢰도 자질 표현 벡터를 생성한다.
보다 상세하게는 도 2에 도시된 바와 같이, 상식 처리부(120)는 서술문 텍스트에 포함된 모든 내용어(content word) 간의 관계적 지식을 지식베이스에서 순위화하여 상식 지식 정보를 추출하는 상식 추출부(121) 및 서술문 텍스트와 상식 지식 정보를 입력으로 하는 심층 신경망(Deep Neural Network)을 통해 상식 기반의 신뢰도 자질 표현 벡터를 추출하는 벡터 생성부(122)를 포함할 수 있다.
상식 추출부(121)는 서술문 텍스트에 포함되는 모든 내용어(content word) 간의 관계적 지식을 지식베이스에서 순위화하여 상식 지식 정보를 추출하는 과정을 수행할 수 있다.
상세히 설명하면, 일반 상식 지식은 하기의 [예시 1]과 같이 트리플(triple)의 형태와 두 내용어 사이의 관계(relation)로 구성된다.
[예시 1]
트리플: (learning, Causes, intelligence)
내용어: learning, intelligence
관계: Causes
본 발명의 실시예에 따른 서술문 신뢰도 평가 시스템(100)은 복수의 트리플을 저장한 지식 베이스(예를 들면, ConceptNet)를 이용하며, 지식 베이스는 다양한 관계 정보를 포함하나, 하기의 [표 1]에 나타난 26개의 관계를 활용할 수 있다. 다만, 본 발명은 전술한 지식 베이스 외에, 기술적 사상 및 영역으로부터 벗어나지 않는 범위에서 다양한 지식 베이스를 사용할 수 있다.
사용된 관계 'IsA','PartOf','HasA','UsedFor','CapableOf',
'AtLocation','Causes','HasSubevent',
'HasFirstSubevent','HasLastSubevent',
'HasPrerequisite','HasProperty','MotivatedByGoal',
'ObstructedBy','Desires','CreatedBy','Antonym',
'DistinctFrom','SymbolOf','DefinedAs','MannerOf',
'LocatedNear','HasContext','CausesDesire','MadeOf',
'ReceivesAction'
제외된 관계 'RelatedTo','ExternalURL','dbpedia','FormOf', 'DerivedFrom','EtymologicallyRelatedTo', 'EtymologicallyDerivedFrom,'SimilarTo','Synonym',
본 발명의 실시예에 따른 상식 추출부(121)는 복수의 트리플(triple)을 포함하는 지식베이스를 기반으로, 서술문 텍스트에 포함된 내용어 중에서 최소 한가지를 포함하는 트리플을 지식베이스에서 추출하며, 추출된 트리플 중에서 내용어 사이의 관계(relation)를 포함하는 트리플을 제외할 수 있다. 이후에, 상식 추출부(121)는 추출된 트리플의 두 내용어가 모두 서술문 텍스트에 포함되는 경우, 1점의 유사도 점수를 부여하고, 그렇지 않은 경우에는 추출된 트리플에 포함되나 서술문 텍스트에 등장하지 않은 단어와 서술문 텍스트에 등장한 단어 사이의 유사도를 측정하여 기 설정된 유사도 점수(예를 들면, 1점 미만의 점수)를 트리플에 부여할 수 있다. 이때, 본 발명의 실시예에서는 사전 학습된 워드 임베딩(word embedding) 모델을 이용하여 코사인 유사도를 계산하지만, 다양한 방법으로 단어 간의 유사도를 측정할 수 있다.
이에 따라서, 상식 추출부(121)는 유사도 점수가 부여된 트리플 중 상위 m개(본 발명에서는 m=10으로 사용)의 트리플을 추출하여 m개의 트리플로 구성된 상식 지식 정보를 추출할 수 있다.
벡터 생성부(122)는 서술문 텍스트와 상식 추출부(121)에서 추출된 트리플을 입력으로 하는 심층 신경망을 통해 상식 기반의 신뢰도 자질 표현 벡터를 생성할 수 있다.
보다 구체적으로, 벡터 생성부(122)는 도 3에 도시된 바와 같은 주의 집중 메커니즘(Attention Mechanism, 300)을 이용한 신경망 구조를 나타내며, 신뢰도 평가를 위한 중요 지식들을 선별하기 위해 컨벌루션 신경망(Convolutional Neural Networks, CNN)을 이용하여 서술문 벡터와 상식 지식 벡터 사이의 유사도를 기반으로 각 지식들의 가중치를 산출할 수 있다. 이 때, 서술문 벡터는 서술문 텍스트가 인코딩된 것이며, 상식 지식 벡터 또한 상식 지식 정보가 인코딩된 것을 나타낸다.
벡터 생성부(122)는 서술문 벡터 및 상식 지식 벡터를 소프트맥스(softmax) 함수에 통과시켜 서술문 벡터와 상식 지식 벡터 사이의 유사도 점수의 총 합이 1이 될 수 있도록 정규화 시킬 수 있다. 이에, 벡터 생성부(122)는 정규화된 가중치를 토대로 상식 지식 벡터의 가중치 합을 계산한 후, 상식 지식 벡터의 가중치 합과 인코딩된 서술문 벡터와의 결합(concatenation)을 통해 상식 기반의 신뢰도 자질 표현 벡터를 생성할 수 있다.
이렇게 생성된 상식 기반의 신뢰도 자질 표현 벡터는 신뢰도 판단(예를 들면, 일반 상식에 의해 지지되는 서술인지 아닌지)을 위해 사용될 수 있는 중요 지식들에 대한 정보를 포함하고 있으며, 덜 중요한 정보들(또는, 신뢰도가 낮은 정보들)은 거의 포함하지 않게 된다.
언어학적 패턴 처리부(130)는 서술문 텍스트에서 언어학적 패턴과 각 패턴에 관계된 단어들을 선택하여 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 생성한다.
언어학적 패턴 처리부(130)는 도 4에 도시된 바와 같은 서술문 텍스트를 입력으로 하는 심층 신경망의 다 측면 자가 주의집중 메커니즘(multi-headed Self-Attention Mechanism, 400)을 통해 학습된 서로 다른 N개의 언어학적 패턴과 각 패턴에 관계된 단어들을 선택하여 언어학적 패턴 기반의 자질 표현 벡터를 생성할 수 있다.
보다 구체적으로, 언어학적 패턴 처리부(130)는 심층 신경망으로 사용하는 도 4에 도시된 자가 주의 집중 메커니즘(400)을 이용하여 학습과정에서 신뢰도 평가에 기여하는 서로 다른 N개의 서로 다른 패턴을 자동으로 학습하며, 각 패턴은 신뢰도 평가에 있어서 유사한 역할을 수행하는 단어들에 높은 가중치를 부여할 수 있다. 일 예로, 데이터가 많은 경우 N개의 개수를 더 증가시킬 수 있으며, N개의 개수가 많아질수록 알려지지 않은 더 많은 언어학적 패턴들을 학습할 수 있다. 또한, 언어학적 패턴 처리부(130)는 신경망을 활용하기 때문에 표면적인 형태가 다른 단어더라도 유사한 패턴의 기능을 하는 단어들은 유사한 벡터 값을 지니고 있기 때문에 이를 인식할 수 있으므로, 각 패턴마다 더 많은 단어들을 탐색할 수 있다.
이 때, 각 패턴은 집중된 단어들의 표현을 토대로 각각 표현 벡터를 생성하며, N개의 표현 벡터들은 1층의 ReLU(Rectified Linear Unit) 활성화 다중 레이어 퍼셉트론(Multi-layer perceptron)의 입력으로 들어가 하나의 벡터로 비선형 변환됨으로서 언어학적 패턴 처리부(130)는 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 생성할 수 있다.
신뢰도 평가부(140)는 상식 기반의 신뢰도 자질 표현 벡터와 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 결합한 심층 신경망을 통해 신뢰도 분류를 수행하여 신뢰도를 평가한다.
구체적으로, 신뢰도 평가부(140)는 심층 신경망으로 2층의 ReLU 활성화 다중 레이어 퍼셉트론을 사용하며, 상식 기반의 신뢰도 자질 표현 벡터와 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 결합하여 심층 신경망의 입력으로 하며, 심층 신경망의 소프트맥스(softmax) 레이어를 통과한 k개의 신뢰도 라벨의 분포를 표현하여 그 중 가장 높은 확률 값을 가진 신뢰도 라벨을 최종 신뢰도 점수로 선택하여 서술문 텍스트에 대한 신뢰도를 평가할 수 있다.
일 예로, 본 발명의 실시예에 따른 서술문 신뢰도 평가 시스템(100)은 1점부터 5점 혹은 6점까지의 리커트 스케일(Likert Scale)을 사용할 수 있다.
이하에서는 본 발명의 실시예에 따른 서술문 텍스트에 대한 신뢰도 평가 성능을 나타낸 실험 결과에 대해 설명하고자 한다.
신뢰도 평가 성능 실험
본 발명의 우수성을 입증하기 위해 기존에 수동으로 조사된 언어학적 패턴을 이용하는 모델(수동 패턴 모델)과 직접 관련 문맥 정보인 증거 문서와 메타 정보를 이용하는 하이브리드 CNN(Hybrid CNN) 및 MMFD의 세 가지 모델과 비교하였다. 또한, 제안하는 본 발명이 증거 문서와 메타 정보와 함께 사용될 때의 효과를 확인하기 위해 제안하는 본 발명에 추가적으로 해당 정보를 결합한 모델의 성능을 조사하였다.
실험에서 사용된 데이터는 신뢰도 라벨이 5-리커트 스케일인 NewsTrust와 6-리커트 스케일인 LIAR 데이터 셋을 활용하였다. 성능 척도는 정확도(accuracy)를 이용하였으며, 실험 결과는 하기의 [표 2]와 같다.
모델 정확도 (%)
NewsTrust LIAR
수동 패턴 모델 48.00 25.88
Hybrid CNN 47.37 26.94
MMFD 46.47 31.56
본 발명 50.04 27.22
본 발명 (증거 문서 + 메타 정보) 55.47 37.21
[표 2]에 도시된 바와 같이, 본 발명의 실시예에 따른 서술문 신뢰도 평가 시스템 및 방법은 짧은 서술문에 직접적으로 관련된 증거 문서와 메타 정보를 이용할 수 없는 상황에서도, 일반 상식 지식과 자동으로 추출된 언어학적 패턴을 이용하여 직접 관련 정보를 이용한 신뢰도 평가 방법과 유사하거나 더 높은 품질의 자동 신뢰도 평가를 수행하는 것을 확인할 수 있다. 더욱이, 본 발명은 짧은 서술문에 직접적으로 관련된 증거 문서와 메타 정보를 이용이 가능한 경우 해당 정보들을 추가적으로 결합하여 더욱 높은 성능의 자동 신뢰도 평가를 수행하는 것을 확인할 수 있다.
도 5는 본 발명의 실시예에 따른 서술문 신뢰도 평가 방법의 동작 흐름도를 도시한 것이다.
도 5의 방법은 도 1에 도시된 본 발명의 실시예에 따른 서술문 신뢰도 평가 시스템에 의해 수행된다.
도 5를 참조하면, 단계 510에서, 신뢰도 평가가 요구되는 서술문 텍스트를 수신한다.
단계 510은 신뢰도 판단의 대상이 되는 짧은 길이의 서술문 텍스트를 수신하며, 수신된 서술문 텍스트는 단계 521 및 단계 530 각각으로 전달된다. 예를 들면, 짧은 길이의 서술문 텍스트는 온라인 소셜 미디어 텍스트일 수 있으며, 여기서 짧은 길이란 10개 이내의 단어(또는 어휘)들이 조합된 형태를 나타낼 수 있다.
단계 521에서, 서술문 텍스트에 포함된 모든 내용어(content word) 간의 관계적 지식을 지식베이스에서 순위화하여 상식 지식 정보를 추출할 수 있다.
본 발명의 실시예에 따른 단계 521은 복수의 트리플(triple)을 포함하는 지식베이스를 기반으로, 서술문 텍스트에 포함된 내용어 중에서 최소 한가지를 포함하는 트리플을 지식베이스에서 추출하며, 추출된 트리플 중에서 내용어 사이의 관계(relation)를 포함하는 트리플을 제외할 수 있다. 이후에, 단계 521은 추출된 트리플의 두 내용어가 모두 서술문 텍스트에 포함되는 경우, 1점의 유사도 점수를 부여하고, 그렇지 않은 경우에는 추출된 트리플에 포함되나 서술문 텍스트에 등장하지 않은 단어와 서술문 텍스트에 등장한 단어 사이의 유사도를 측정하여 기 설정된 유사도 점수(예를 들면, 1점 미만의 점수)를 트리플에 부여할 수 있다. 이때, 본 발명의 실시예에서는 사전 학습된 워드 임베딩(word embedding) 모델을 이용하여 코사인 유사도를 계산하지만, 다양한 방법으로 단어 간의 유사도를 측정할 수 있다.
이에 따라서, 단계 521은 유사도 점수가 부여된 트리플 중 상위 m개(본 발명에서는 m=10으로 사용)의 트리플을 추출하여 m개의 트리플로 구성된 상식 지식 정보를 추출할 수 있다.
단계 522에서, 서술문 텍스트와 상식 지식 정보를 입력으로 하는 심층 신경망(Deep Neural Network)을 통해 상식 기반의 신뢰도 자질 표현 벡터를 추출할 수 있다.
보다 구체적으로, 단계 522는 주의 집중 메커니즘(Attention Mechanism, 300)을 이용한 신경망 구조를 나타내며, 신뢰도 평가를 위한 중요 지식들을 선별하기 위해 컨벌루션 신경망(Convolutional Neural Networks, CNN)을 이용하여 서술문 벡터와 상식 지식 벡터 사이의 유사도를 기반으로 각 지식들의 가중치를 산출할 수 있다. 이 때, 서술문 벡터는 서술문 텍스트가 인코딩된 것이며, 상식 지식 벡터 또한 상식 지식 정보가 인코딩된 것을 나타낸다.
단계 522는 서술문 벡터 및 상식 지식 벡터를 소프트맥스(softmax) 함수에 통과시켜 서술문 벡터와 상식 지식 벡터 사이의 유사도 점수의 총 합이 1이 될 수 있도록 정규화 시킬 수 있다. 이에, 단계 522는 정규화된 가중치를 토대로 상식 지식 벡터의 가중치 합을 계산한 후, 상식 지식 벡터의 가중치 합과 인코딩된 서술문 벡터와의 결합(concatenation)을 통해 상식 기반의 신뢰도 자질 표현 벡터를 생성할 수 있다.
단계 530에서, 서술문 텍스트에서 언어학적 패턴과 각 패턴에 관계된 단어들을 선택하여 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 생성한다.
단계 530은 서술문 텍스트를 입력으로 하는 심층 신경망의 다 측면 자가 주의집중 메커니즘(multi-headed Self-Attention Mechanism, 400)을 통해 학습된 서로 다른 N개의 언어학적 패턴과 각 패턴에 관계된 단어들을 선택하여 언어학적 패턴 기반의 자질 표현 벡터를 생성할 수 있다.
보다 구체적으로, 단계 530은 심층 신경망으로 사용하는 자가 주의 집중 메커니즘을 이용하여 학습과정에서 신뢰도 평가에 기여하는 서로 다른 N개의 서로 다른 패턴을 자동으로 학습하며, 각 패턴은 신뢰도 평가에 있어서 유사한 역할을 수행하는 단어들에 높은 가중치를 부여할 수 있다. 일 예로, 데이터가 많은 경우 N개의 개수를 더 증가시킬 수 있으며, N개의 개수가 많아질수록 알려지지 않은 더 많은 언어학적 패턴들을 학습할 수 있다. 또한, 단계 530은 신경망을 활용하기 때문에 표면적인 형태가 다른 단어더라도 유사한 패턴의 기능을 하는 단어들은 유사한 벡터 값을 지니고 있기 때문에 이를 인식할 수 있으므로, 각 패턴마다 더 많은 단어들을 탐색할 수 있다.
이 때, 각 패턴은 집중된 단어들의 표현을 토대로 각각 표현 벡터를 생성하며, N개의 표현 벡터들은 1층의 ReLU(Rectified Linear Unit) 활성화 다중 레이어 퍼셉트론(Multi-layer perceptron)의 입력으로 들어가 하나의 벡터로 비선형 변환됨으로서 단계 530은 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 생성할 수 있다.
단계 540에서, 상식 기반의 신뢰도 자질 표현 벡터와 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 결합한 심층 신경망을 통해 신뢰도 분류를 수행하여 신뢰도를 평가한다.
구체적으로, 단계 540은 심층 신경망으로 2층의 ReLU 활성화 다중 레이어 퍼셉트론을 사용하며, 상식 기반의 신뢰도 자질 표현 벡터와 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 결합하여 심층 신경망의 입력으로 하며, 심층 신경망의 소프트맥스(softmax) 레이어를 통과한 k개의 신뢰도 라벨의 분포를 표현하여 그 중 가장 높은 확률 값을 가진 신뢰도 라벨을 최종 신뢰도 점수로 선택하여 서술문 텍스트에 대한 신뢰도를 평가할 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (13)

  1. 신뢰도 평가가 요구되는 서술문 텍스트를 수신하는 수신부;
    지식베이스를 기반으로 상기 서술문 텍스트에 포함된 내용어(content word) 간의 관계를 이용하여 상식 지식 정보를 추출하며, 상기 서술문 텍스트와 상기 상식 지식 정보를 통해 상식 기반의 신뢰도 자질 표현 벡터를 생성하는 상식 처리부;
    상기 서술문 텍스트에서 언어학적 패턴과 각 패턴에 관계된 단어들을 선택하여 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 생성하는 언어학적 패턴 처리부; 및
    상기 상식 기반의 신뢰도 자질 표현 벡터와 상기 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 결합한 심층 신경망을 통해 신뢰도 분류를 수행하여 신뢰도를 평가하는 신뢰도 평가부
    를 포함하되,
    상기 상식 처리부는
    상기 서술문 텍스트에 포함된 모든 내용어(content word) 간의 관계적 지식을 상기 지식베이스에서 순위화하여 상기 상식 지식 정보를 추출하는 상식 추출부; 및
    상기 서술문 텍스트와 상기 상식 지식 정보를 입력으로 하는 심층 신경망(Deep Neural Network)을 통해 상기 상식 기반의 신뢰도 자질 표현 벡터를 추출하는 벡터 생성부를 포함하며,
    상기 벡터 생성부는
    심층 신경망을 통해 인코딩된 상기 서술문 텍스트에 대한 서술문 벡터와 상기 상식 지식 정보에 대한 상식 지식 벡터 사이의 유사도를 기반으로 각 지식들에 대한 가중치를 산출하며, 상기 상식 지식 벡터의 가중치 합과 상기 서술문 벡터와의 결합(concatenation)을 통해 상기 상식 기반의 신뢰도 자질 표현 벡터를 생성하는 것을 특징으로 하는 서술문 신뢰도 평가 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 상식 추출부는
    복수의 트리플(triple)을 포함하는 상기 지식베이스를 기반으로, 상기 서술문 텍스트에 포함된 내용어 중에서 최소 한가지를 포함하는 트리플을 상기 지식베이스에서 추출하며, 추출된 트리플의 내용어가 상기 서술문 텍스트에 포함되는지 유무에 따라 유사도 점수를 부여하는, 서술문 신뢰도 평가 시스템.
  4. 제3항에 있어서,
    상기 상식 추출부는
    상기 추출된 트리플 중 내용어가 상기 서술문 텍스트에 모두 포함되는 경우에 1점을 부여하고, 그렇지 않은 경우에는 단어 사이의 유사도를 측정하여 1점 미만의 기 설정된 유사도 점수를 부여하는 것을 특징으로 하는, 서술문 신뢰도 평가 시스템.
  5. 제4항에 있어서,
    상기 상식 추출부는
    유사도 점수가 부여된 트리플 중 상위 m개의 트리플로 구성된 상기 상식 지식 정보를 추출하는, 서술문 신뢰도 평가 시스템.
  6. 삭제
  7. 제1항에 있어서,
    상기 언어학적 패턴 처리부는
    상기 서술문 텍스트를 입력으로 하는 심층 신경망의 다측면 자가 주의집중 메커니즘을 통해 학습된 서로 다른 N개의 언어학적 패턴과 각 패턴에 관계된 단어들을 선택하여 상기 언어학적 패턴 기반의 자질 표현 벡터를 생성하는, 서술문 신뢰도 평가 시스템.
  8. 제1항에 있어서,
    상기 신뢰도 평가부는
    상기 상식 기반의 신뢰도 자질 표현 벡터와 상기 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 결합하여 심층 신경망을 통해 가장 높은 확률 값을 가진 신뢰도 라벨을 최종 신뢰도 점수를 선택하여 상기 서술문 텍스트에 대한 신뢰도를 평가하는, 서술문 신뢰도 평가 시스템.
  9. 서술문 신뢰도 평가 시스템에 의해 각 단계가 수행되는 서술문 신뢰도 평가 방법에 있어서,
    상기 서술문 신뢰도 평가 시스템의 수신부에 의해, 신뢰도 평가가 요구되는 서술문 텍스트를 수신하는 단계;
    상기 서술문 신뢰도 평가 시스템의 상식 처리부에 의해, 지식베이스를 기반으로 상기 서술문 텍스트에 포함된 내용어(content word) 간의 관계를 이용하여 상식 지식 정보를 추출하며, 상기 서술문 텍스트와 상기 상식 지식 정보를 통해 상식 기반의 신뢰도 자질 표현 벡터를 생성하는 단계;
    상기 서술문 신뢰도 평가 시스템의 언어학적 패턴 처리부에 의해, 상기 서술문 텍스트에서 언어학적 패턴과 각 패턴에 관계된 단어들을 선택하여 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 생성하는 단계; 및
    상기 서술문 신뢰도 평가 시스템의 신뢰도 평가부에 의해, 상기 상식 기반의 신뢰도 자질 표현 벡터와 상기 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 결합한 심층 신경망을 통해 신뢰도 분류를 수행하여 신뢰도를 평가하는 단계
    를 포함하되,
    상기 상식 기반의 신뢰도 자질 표현 벡터를 생성하는 단계는
    상기 서술문 텍스트에 포함된 모든 내용어(content word) 간의 관계적 지식을 상기 지식베이스에서 순위화하여 상기 상식 지식 정보를 추출하는 단계; 및
    상기 서술문 텍스트와 상기 상식 지식 정보를 입력으로 하는 심층 신경망(Deep Neural Network)을 통해 상기 상식 기반의 신뢰도 자질 표현 벡터를 추출하는 단계를 포함하며,
    상기 상식 기반의 신뢰도 자질 표현 벡터를 추출하는 단계는
    심층 신경망을 통해 인코딩된 상기 서술문 텍스트에 대한 서술문 벡터와 상기 상식 지식 정보에 대한 상식 지식 벡터 사이의 유사도를 기반으로 각 지식들에 대한 가중치를 산출하며, 상기 상식 지식 벡터의 가중치 합과 상기 서술문 벡터와의 결합(concatenation)을 통해 상기 상식 기반의 신뢰도 자질 표현 벡터를 생성하는 것을 특징으로 하는 서술문 신뢰도 평가 방법.
  10. 삭제
  11. 삭제
  12. 제9항에 있어서,
    상기 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 생성하는 단계는
    상기 서술문 텍스트를 입력으로 하는 심층 신경망의 다측면 자가 주의집중 메커니즘을 통해 학습된 서로 다른 N개의 언어학적 패턴과 각 패턴에 관계된 단어들을 선택하여 상기 언어학적 패턴 기반의 자질 표현 벡터를 생성하는, 서술문 신뢰도 평가 방법.
  13. 제9항에 있어서,
    상기 신뢰도를 평가하는 단계는
    상기 상식 기반의 신뢰도 자질 표현 벡터와 상기 언어학적 패턴 기반의 신뢰도 자질 표현 벡터를 결합하여 심층 신경망을 통해 가장 높은 확률 값을 가진 신뢰도 라벨을 최종 신뢰도 점수를 선택하여 상기 서술문 텍스트에 대한 신뢰도를 평가하는, 서술문 신뢰도 평가 방법.
KR1020200161606A 2019-11-26 2020-11-26 상식 지식과 언어학적 패턴을 이용한 서술문 신뢰도 평가 시스템 및 그 방법 Active KR102439165B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190153409 2019-11-26
KR1020190153409 2019-11-26

Publications (2)

Publication Number Publication Date
KR20210065066A KR20210065066A (ko) 2021-06-03
KR102439165B1 true KR102439165B1 (ko) 2022-09-01

Family

ID=76396772

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200161606A Active KR102439165B1 (ko) 2019-11-26 2020-11-26 상식 지식과 언어학적 패턴을 이용한 서술문 신뢰도 평가 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102439165B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114139536B (zh) * 2021-11-01 2025-01-10 杭州市健康城市指导中心(杭州市献血服务中心) 线上健康影响评价方法、装置、计算机设备及存储介质
KR102659389B1 (ko) * 2021-11-29 2024-04-23 한국과학기술원 신뢰도와 언어폭력 간 의존성을 이용한 언어폭력 수정 및 텍스트 신뢰도 증강 시스템 및 그 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140051606A (ko) * 2012-10-23 2014-05-02 에스케이텔레콤 주식회사 Rdf 기반의 문장 온톨로지를 이용한 일관성 평가 방법 및 장치
KR101835345B1 (ko) * 2016-02-29 2018-03-07 경기대학교 산학협력단 지식베이스 기반의 개념그래프 확장 시스템
WO2018217948A1 (en) * 2017-05-23 2018-11-29 Google Llc Attention-based sequence transduction neural networks
KR20190123397A (ko) * 2018-04-24 2019-11-01 성균관대학교산학협력단 가짜 리뷰 판별을 위한 분류 모델 선정 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이재윤 외 1인, "지식 그래프를 이용한 영상 기반 상식 추론", 2019 추계학술발표대회 논문집 제26권 제2호, 2019.11.02., pp.994-997. 1부.*

Also Published As

Publication number Publication date
KR20210065066A (ko) 2021-06-03

Similar Documents

Publication Publication Date Title
US12141532B2 (en) Device and method for machine reading comprehension question and answer
Saha et al. Hate-alert@ dravidianlangtech-eacl2021: Ensembling strategies for transformer-based offensive language detection
CN110532353B (zh) 基于深度学习的文本实体匹配方法、系统、装置
US11264023B2 (en) Using multiple modality input to feedback context for natural language understanding
Guibon et al. Multilingual fake news detection with satire
Zhao et al. ZYJ123@ DravidianLangTech-EACL2021: Offensive language identification based on XLM-RoBERTa with DPCNN
Le et al. Text classification: Naïve bayes classifier with sentiment Lexicon
CN112149386B (zh) 一种事件抽取方法、存储介质及服务器
US20200160196A1 (en) Methods and systems for detecting check worthy claims for fact checking
CN110457585B (zh) 负面文本的推送方法、装置、系统及计算机设备
CN115146068B (zh) 关系三元组的抽取方法、装置、设备及存储介质
Schütz et al. Automatic sexism detection with multilingual transformer models
CN113961666B (zh) 关键词识别方法、装置、设备、介质及计算机程序产品
CN114357204B (zh) 媒体信息的处理方法及相关设备
Çakır et al. Multi-task regularization based on infrequent classes for audio captioning
KR102439165B1 (ko) 상식 지식과 언어학적 패턴을 이용한 서술문 신뢰도 평가 시스템 및 그 방법
Tang et al. OCR-oriented master object for text image captioning
Przybyła et al. Verifying the robustness of automatic credibility assessment
Jin et al. Adversarial robustness for large language NER models using disentanglement and word attributions
Oswal Identifying and categorizing offensive language in social media
Lindén et al. Evaluating combinations of classification algorithms and paragraph vectors for news article classification
CN111950265A (zh) 一种领域词库构建方法和装置
CN112446206A (zh) 一种菜谱标题的生成方法及装置
KR102690029B1 (ko) 빅데이터 기반 원고의 상업적 출판 여부에 대한 의사결정 정보 및 출판기획전략 정보의 생성 방법, 장치 및 시스템
Das et al. Language identification of Bengali-English code-mixed data using character & phonetic based LSTM models

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20201126

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211229

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220826

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220829

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220830

End annual number: 3

Start annual number: 1

PG1601 Publication of registration