Xử lý văn bản tiếng Việt và xây dựng hệ mật kép an toàn

Abstract

Thu nhập dữ liệu được xử lý một cách ngẫu nhiên, qua đó có thể tin tưởng mẫu dữ liệu là đảm bảo tính ngẫu nhiên. Xử lý ngôn ngữ tự nhiên nói chung và xử lý văn bản nói riêng có sử dụng mô hình học máy với phương pháp cực đại Entropy để giúp các từ phân tách ra có nghĩa, tạo ra từ điển bao gồm số lượng từ lớn đủ để mã hóa văn bản. Đếm tần suất từ giúp việc gán mã ID sau này thuận tiện, tối ưu. Đánh số định danh cho từng từ giúp quá trình mã hóa và giải mã văn bản dễ dàng. Sử dụng bộ sinh số ngẫu nhiên BBS đảm bảo độ an toàn và tính ngẫu nhiên cho dãy số được sinh ra. Thuận toán đơn giản, hiệu suất cao.