문맥과 의미 정보를 사용한 뉴로 심볼릭 앙상블 언어 표현

Abstract

초거대 언어 모델의 등장으로 자연어 처리는 한 단계의 벽을 뛰어 넘는 계기가 되었다. 하지만, 초거대 언어 모델은 문맥에서 추출한 정보만을 사용하기 때문에 성능 향상을 위해 단순히 모델의 크기 또는 데이터의 양을 늘리는 방법을 선택했다. 이러한 방법은 언어 모델이 소비하는 자원의 양을 증가시켜왔다. 본 논문에서는 문맥적인 정보만을 사용하는 언어 모델에 어휘의 의미 정보를 함께 학습하는 뉴로 심볼릭 앙상블 언어 표현 방법을 제안한다. 한국어 어휘망(UWordMap)에서 상위어, 용언의 의미제약 정보 추출했으며, 단어의 의미 벡터를 추가로 사용했다. 4가지 영역에 대해서 뉴로 심볼릭 앙상블 언어 표현 모델을 테스트 했으며, 기계 독해 영역에서 기존 모델보다 좋은 성능을 보였다. 또한 기존의 모델보다 학습이 수렴하는 속도가 빠르며, 응용 영역의 데이터가 부족한 경우 기존 모델보다 좋은 성능을 보였다.

With the advent of the giant language model, natural language processing has presented an opportunity to break through the wall. However, since super-large language models only use information extracted from the context, they chose to simply increase the size of the model or the amount of data to improve performance. This approach increases the resources consumed by the language model. In this paper, we propose a Neuro Symbolic Ensemble Language Representation (NSELR) that learns the semantic information of vocabulary together with a language model that uses only contextual information. This model uses the semantic constraint information of hypernym and verb-noun relation in the Korean WordNet (UWordNet) and additionally uses the semantic vectors of words. The NSELR was tested in four domains, and it showed better performance than the existing model in the machine reading comprehension. In addition, the speed of learning convergence was faster than that of the existing model, and when there was insufficient data in the application area, it showed better performance than the existing model.