Xây kho ngữ liệu tiếng Việt gồm năm việc: xác định mục đích và tiêu chí chọn mẫu, thu thập văn bản hoặc lời nói kèm siêu dữ liệu, gán nhãn theo hướng dẫn viết sẵn có đo độ đồng thuận, xin đồng ý của người nói, và chia sẻ theo điều kiện rõ ràng.
Ngôn ngữ học ngữ liệu đã quen với các kho lớn của tiếng Anh, nhưng với tiếng Việt, nhiều đề tài vẫn phải tự xây kho: phương ngữ một vùng, lời nói trẻ em, ngôn ngữ mạng xã hội, văn bản hành chính một thời kỳ. Kho tự xây chỉ có giá trị khoa học khi được thiết kế cẩn thận và mô tả đủ để người khác kiểm lại. Bài này đi theo vòng đời của một kho.
Thiết kế kho trước khi thu
Mục đích quyết định mọi thứ
Một kho để nghiên cứu thanh điệu phương ngữ cần ghi âm chất lượng cao, người nói đa dạng tuổi và giới. Một kho để nghiên cứu từ vựng báo chí cần văn bản cân đối giữa các báo và các năm. Viết mục đích ra, rồi suy ra tiêu chí chọn mẫu, quy mô và loại nhãn cần gán.
Tận dụng tài nguyên đã có
Trước khi tự xây, hãy tìm xem đã có tài nguyên phù hợp chưa. Cộng đồng VLSP (Vietnamese Language and Speech Processing) công bố và tổ chức chia sẻ nhiều bộ dữ liệu tiếng Việt; dự án Universal Dependencies có treebank tiếng Việt. Điều kiện sử dụng mỗi bộ khác nhau, đọc kỹ giấy phép trước khi dùng.
Quy mô và chọn mẫu: bao nhiêu là đủ?
Đủ theo câu hỏi, không theo con số đẹp
Không có quy mô chuẩn cho mọi kho. Một nghiên cứu ngữ âm về một hiện tượng thanh điệu có thể chỉ cần vài chục người nói, mỗi người đọc một danh sách từ có kiểm soát. Một nghiên cứu từ vựng văn phong cần kho văn bản lớn hơn nhiều. Hãy lập luận quy mô bằng câu hỏi: hiện tượng mình quan tâm xuất hiện thường xuyên đến mức nào, cần bao nhiêu lần xuất hiện để so sánh các nhóm.
Cân đối các nhóm
Nếu so sánh theo tuổi, giới, vùng, mỗi ô của bảng chéo cần đủ người nói. Một kho có nhiều nữ trung niên ở thành phố và rất ít nam thanh niên ở nông thôn sẽ không cho phép so sánh hai nhóm này, dù tổng số người nói lớn. Lập bảng phân bố mục tiêu trước, theo dõi trong lúc thu, điều chỉnh việc tuyển người nói.
Làm thử trước
Thu và gán nhãn một mẫu nhỏ, đo thời gian thực tế cho mỗi phút ghi âm hay mỗi nghìn từ. Con số đo được từ mẫu thử là căn cứ đáng tin nhất để tính kinh phí và tiến độ cho toàn bộ kho, thay vì ước đoán ban đầu.
Thu thập văn bản và lời nói khác nhau ở đâu
Hai loại ngữ liệu có quy trình và rủi ro khác hẳn nhau:
| Khía cạnh | Ngữ liệu văn bản | Ngữ liệu lời nói |
|---|---|---|
| Nguồn | Sách, báo, văn bản hành chính, trang mạng | Ghi âm phỏng vấn, hội thoại tự nhiên, đọc mẫu câu |
| Siêu dữ liệu tối thiểu | Nguồn, tác giả, ngày, thể loại, giấy phép | Người nói (mã), tuổi, giới, nơi sinh sống, bối cảnh, thiết bị ghi |
| Định dạng lưu gốc | Văn bản thuần UTF-8, giữ bản gốc tải về | WAV không nén, ghi rõ tần số lấy mẫu và độ sâu bit |
| Rủi ro pháp lý | Bản quyền của tác giả, điều khoản trang web | Quyền riêng tư người nói, giọng nói là dữ liệu cá nhân |
| Công đoạn tốn công nhất | Làm sạch và chuẩn hoá | Phiên âm và căn thời gian |
Với lời nói, nên ghi thêm một tệp mô tả buổi ghi: ngày, nơi, người phỏng vấn, tạp âm môi trường. Những chi tiết này tưởng thừa nhưng giúp giải thích các bất thường khi phân tích ngữ âm sau này.
Phiên âm và gán nhãn
Công cụ
ELAN, do Viện Tâm lý ngôn ngữ học Max Planck phát triển, cho phép gán nhiều tầng nhãn căn theo thời gian trên tệp âm thanh hoặc video: tầng lời nói, tầng dịch, tầng chú thích ngữ pháp. Praat dùng nhiều cho phân tích ngữ âm, đo cao độ, đánh dấu ranh giới âm tiết bằng TextGrid. Với văn bản, gán nhãn từ loại hay thực thể có thể dùng bảng tính cho kho nhỏ, hoặc công cụ gán nhãn chuyên dụng cho kho lớn.
Hướng dẫn gán nhãn
Viết hướng dẫn trước khi gán: định nghĩa mỗi nhãn, ví dụ đúng, ví dụ dễ nhầm, cách xử lý trường hợp lưng chừng. Với tiếng Việt, hướng dẫn phải nói rõ ranh giới từ, cách ghi từ địa phương, cách ghi phát âm lệch chuẩn (ghi theo phát âm hay theo chính tả chuẩn, hay cả hai trên hai tầng).
Đo độ đồng thuận
Cho ít nhất hai người gán độc lập trên cùng một mẫu, tính hệ số đồng thuận như Cohen kappa (hai người) hoặc Krippendorff alpha (nhiều người). Đồng thuận thấp không phải lỗi của người gán mà thường là hướng dẫn chưa rõ. Sửa hướng dẫn, gán lại mẫu, rồi mới gán toàn bộ.
Khi phiên âm tiếng Việt có phương ngữ, hãy thống nhất cách ghi những chữ không có dạng chính tả chuẩn, và giữ một bảng ghi chú từ địa phương kèm nghĩa. Bảng này về sau trở thành tài nguyên có ích cho chính kho, và giúp người gán nhãn mới vào nhóm không phải đoán.
Đồng thuận của người nói và đạo đức nghiên cứu
Phiếu đồng ý viết bằng ngôn ngữ người nói hiểu. Nêu rõ ghi âm để làm gì, ai được nghe, có công bố không, công bố dạng nào (âm thanh, văn bản phiên âm, chỉ số liệu tổng hợp), lưu bao lâu, rút lại thế nào.
Tách các mức đồng ý. Người nói có thể đồng ý cho nhóm nghiên cứu dùng nhưng không đồng ý công bố âm thanh. Phiếu nên có các ô chọn riêng để kho sau này được chia sẻ đúng mức từng người cho phép.
Ẩn danh hoá. Thay tên người nói bằng mã, xoá hoặc thay thế tên người, địa danh nhỏ, chi tiết nhận dạng trong bản phiên âm. Giọng nói vẫn có thể nhận ra người, nên âm thanh cần mức hạn chế cao hơn văn bản.
Hội đồng đạo đức. Nếu trường hoặc viện có hội đồng đạo đức nghiên cứu, nộp hồ sơ trước khi ghi âm. Với trẻ em và nhóm dễ tổn thương, cần đồng ý của người giám hộ và quy trình chặt hơn.
Chia sẻ có điều kiện
Các mức truy cập
Không phải kho nào cũng mở hoàn toàn. Một mô hình phổ biến: siêu dữ liệu và mô tả kho công khai; văn bản phiên âm đã ẩn danh chia sẻ theo giấy phép mở; âm thanh gốc chỉ cấp cho người ký cam kết sử dụng. Ghi điều kiện này trong tài liệu kho.
Tài liệu kho
Kèm theo kho là một tài liệu mô tả: mục đích, cách chọn mẫu, số người nói và phân bố, hướng dẫn gán nhãn, độ đồng thuận đo được, giấy phép, cách trích dẫn. Thiếu tài liệu này, kho gần như không dùng lại được.
Nơi gửi
Gửi vào kho lưu trữ mở có mã định danh bền vững như Zenodo, hoặc kho của trường. Với âm thanh hạn chế truy cập, chọn kho hỗ trợ chế độ truy cập theo yêu cầu.
Lỗi hay gặp khi xây kho ngữ liệu
Những lỗi này thường chỉ lộ ra khi đã quá muộn để sửa:
- Ghi âm bằng định dạng nén mất dữ liệu, không dùng được cho phân tích ngữ âm.
- Không ghi siêu dữ liệu người nói ngay tại buổi ghi, về sau không nhớ.
- Gán nhãn bởi một người duy nhất, không có số đo đồng thuận.
- Phiếu đồng ý chỉ có một câu chung chung, không thể chia sẻ kho về sau.
- Trộn văn bản Unicode dựng sẵn và tổ hợp, tìm kiếm cho kết quả thiếu.
- Không ghi phiên bản kho, người khác trích dẫn kho đã sửa mà không biết.
Câu hỏi thường gặp
Kho ngữ liệu khác bộ dữ liệu thông thường thế nào?
Kho ngữ liệu là tập văn bản hoặc lời nói được chọn theo tiêu chí có chủ đích, kèm siêu dữ liệu và thường có nhãn ngôn ngữ học. Nó được thiết kế để đại diện cho một loại ngôn ngữ, không chỉ là tập hợp văn bản tình cờ có.
Có được thu thập bài đăng mạng xã hội làm ngữ liệu không?
Cần xem điều khoản của nền tảng, quy định về dữ liệu cá nhân và ý kiến hội đồng đạo đức. Kể cả khi thu thập được, việc công bố nguyên văn kèm tên người dùng thường không phù hợp; nên ẩn danh và chỉ chia sẻ có điều kiện.
Nên ghi âm ở định dạng nào?
Nên ghi WAV không nén, tần số lấy mẫu và độ sâu bit đủ cho mục đích phân tích, ghi rõ thông số trong siêu dữ liệu. Bản nén chỉ dùng để nghe thử hoặc chia sẻ rộng.
ELAN và Praat khác nhau thế nào?
ELAN mạnh ở gán nhiều tầng nhãn căn theo thời gian trên âm thanh và video, hợp với phiên âm hội thoại. Praat mạnh ở phân tích ngữ âm như cao độ, phổ, ranh giới âm. Nhiều dự án dùng cả hai.
Hệ số đồng thuận bao nhiêu là chấp nhận được?
Ngưỡng chấp nhận tuỳ loại nhãn và lĩnh vực, các tác giả khác nhau đề xuất mức khác nhau. Hãy báo cáo con số đo được, nêu tài liệu tham chiếu cho ngưỡng bạn dùng, và mô tả cách xử lý bất đồng.
Người nói muốn rút lại dữ liệu thì làm thế nào?
Phiếu đồng ý nên ghi cách liên hệ để rút lại. Khi có yêu cầu, xoá dữ liệu của người đó khỏi kho và phiên bản sau, ghi chú thay đổi. Dữ liệu đã nằm trong kết quả công bố tổng hợp thì giải thích rõ giới hạn này từ đầu.
