Nhận dạng thực thể được đặt tên trong văn bản Tiếng Việt sử dụng học máy và ứng dụng trong đảm bảo an ninh mạng

Tóm tắt

Tóm tắt—  Nhận dạng thực thể được đặt tên (hoặc “được gán nhãn”: Named Entity Recognization - NER) trong văn bản Tiếng Việt hiện đang là một bài toán có nhiều thách thức do không có nhiều tập dữ liệu chuẩn hoặc có nhưng chưa đủ lớn và các mô hình nhận dạng thường được xây dựng chủ yếu dựa trên phương pháp học sâu. Trong bài báo này, nhóm tác giả trình bày một cách tiếp cận có hệ thống trong việc xây dựng mô hình nhận dạng thực thể của các văn bản Tiếng Việt, từ bước thu thập, xây dựng tập dữ liệu cho đến áp dụng, tinh chỉnh các mô hình học máy. Đặc biệt, nhóm tác giả cũng đề xuất các kịch bản ứng dụng và chứng minh khả năng áp dụng mô hình nhận dạng thực thể được đặt tên hiệu quả trong giải quyết các bài toán đảm bảo an ninh, an toàn thông tin mạng. Cụ thể, nhóm tác giả xây dựng tập dữ liệu gồm hơn 5000 văn bản thu thập từ các mạng xã hội sử dụng Tiếng Việt, đặt tên và gán 1 trong 4 nhãn định trước cho các thực thể; sau đó, áp dụng mô hình huấn luyện trước XLM-RoBERTa với các tham số ban đầu được tinh chỉnh phù hợp để nhận dạng các thực thể này. Kết quả thử nghiệm cho thấy hệ thống là hiệu quả với khả năng nhận dạng thực thể của mô hình và đạt độ đo F1- measure lên đến 95.6%, trội hơn so với một số hệ thống NER cho văn bản Tiếng Việt trên cùng tập dữ liệu mà nhóm tác giả đã xây dựng. Mô hình đề xuất cũng đã được ứng dụng trong xây dựng các hệ thống hỗ trợ đảm bảo an ninh mạng hiện nay.

Abstract— Named Entity Recognition (NER) in Vietnamese documents is currently a challenging task because of the lacking of standard datasets, or these datasets might be not large enough. Moveover, recognition models are often built mainly based on deep learning methods. In this paper, we present a systematic approach in building entity recognition models of Vietnamese documents, beginning with collecting and building data sets then applying and refining machine learning models. In addition to that, we also propose some scenarios of application which proof the capability of our model in dealing with information security problems. Specifically, we built a dataset of more than 5000 documents collected from social networks using Vietnamese, naming and assigning 1 of 4 predefined labels to the entities in the documents and then apply the pre-training model XLM-RoBERTa with the appropriate fine-tuned initial parameters to recognize these entities. Preliminary results show that the proposed system is effective with the ability to recognize the entity of the model and achieve the F1- measure up to 95.6%, which is better than some NER systems curently available for Vietnamese documents on the same dataset which we have built. The proposed model has been used in building support systems for cybersecurity protection currently.