Trong phần trước của series, chúng ta đã tìm hiểu về cách xử lý dữ liệu phân loại (Categorical Data). Ở phần tiếp theo này, chúng ta sẽ tìm hiểu về cách xử lý dữ liệu văn bản (Text Data), một dạng dữ liệu phi cấu trúc mà chúng ta thường xuyên gặp phải.
Giới thiệu
Trong các phần trước, chúng ta đã tìm hiểu về cách xử lý dữ liệu số liên tục (Continuous Numeric Data) và dữ liệu phân loại (Categorical Data). Trong phần này, chúng ta sẽ tìm hiểu về cách làm việc với dữ liệu văn bản, một dạng dữ liệu phi cấu trúc phong phú mà chúng ta thường gặp. Dữ liệu văn bản bao gồm các tài liệu, từ, câu, và đoạn văn khác nhau. Đây là một dạng dữ liệu phi cấu trúc và thường rất nhiễu, làm cho việc áp dụng các thuật toán học máy trực tiếp trên dữ liệu thô trở nên khó khăn. Trong bài viết này, chúng ta sẽ tìm hiểu các phương pháp phổ biến và hiệu quả để trích xuất các đặc trưng ý nghĩa từ dữ liệu văn bản. Những đặc trưng này sau đó có thể được sử dụng để xây dựng mô hình học máy hoặc học sâu một cách dễ dàng.
Sự cần thiết
Feature Engineering là một công thức bí mật để xây dựng các mô hình học máy hiệu suất cao hơn và tốt hơn. Đặc điểm tuyệt vời chỉ cần một thiết kế tuyệt vời và bạn có thể chinh phục các thử thách trên Kaggle. Kỹ thuật xử lý dữ liệu rất quan trọng đối với dữ liệu văn bản, vì dữ liệu văn bản là dạng dữ liệu phi cấu trúc và các thuật toán học máy hầu như không thể làm việc trực tiếp với dữ liệu thô. Vì vậy, chúng ta cần chuyển đổi văn bản thành các biểu diễn số học mà thuật toán học máy hiểu được. Ngay cả khi có các kỹ thuật xử lý tự động, bạn vẫn cần hiểu các khái niệm cốt lõi trước khi áp dụng chúng vào các mô hình "hộp đen". Hãy nhớ, nếu bạn được tặng một hộp công cụ để sửa chữa nhà, bạn nên biết cách sử dụng máy khoan và búa!