Nhận dạng chữ tiếng Việt từ bản quét cũ làm được với các công cụ có hỗ trợ tiếng Việt như Tesseract, nhưng kết quả hay sai dấu và nhầm ơ, ư, đ. Muốn dùng được, bạn cần tiền xử lý ảnh, sửa lỗi hệ thống hàng loạt, chuẩn hoá Unicode và đo tỷ lệ lỗi trên một mẫu kiểm.
Báo chí, sách Quốc ngữ đầu thế kỷ trước, tạp chí in roneo, luận văn đánh máy là kho tư liệu lớn mà nhiều đề tài cần đọc bằng máy. Nhận dạng chữ quang học (OCR) biến ảnh thành văn bản tìm kiếm được, nhưng tiếng Việt có hệ dấu dày đặc, chữ in cũ có mực loang, giấy ố. Một trang tưởng nhận dạng tốt khi nhìn lướt có thể sai dấu ở nhiều chữ. Bài này đi theo đúng thứ tự xử lý.
Tiền xử lý ảnh: phần quyết định nửa kết quả
Độ phân giải và chế độ màu
Công cụ nhận dạng làm việc tốt nhất khi nét chữ đủ lớn. Với chữ in cỡ nhỏ của báo cũ, ảnh nên đủ độ phân giải để mỗi chữ cao vài chục điểm ảnh. Quét ở độ phân giải thấp rồi phóng to không thêm được chi tiết. Lưu bản gốc màu hoặc xám, chỉ chuyển sang đen trắng trên bản sao dùng để nhận dạng.
Nắn thẳng, cắt mép, tách cột
Ảnh nghiêng làm công cụ đọc lẫn dòng. Nắn thẳng (deskew), cắt bỏ mép đen của máy quét, và với báo nhiều cột, xác định vùng cột trước. Các phần mềm nhận dạng có chức năng phân tích bố cục, nhưng với báo cũ bố cục phức tạp, đánh dấu vùng thủ công cho một mẫu thường cho kết quả tốt hơn.
Nhị phân hoá và khử nhiễu
Chuyển ảnh sang đen trắng (nhị phân hoá) với ngưỡng thích nghi giúp tách chữ khỏi nền giấy ố không đều. Khử nhiễu nhẹ để bỏ chấm bẩn. Cẩn thận: khử nhiễu mạnh làm mất dấu chấm của dấu nặng và nét nhỏ của dấu hỏi, đúng những thứ tiếng Việt cần nhất. Luôn so trước sau ở mức phóng to.
Chọn công cụ nhận dạng có tiếng Việt
Các lựa chọn dưới đây đều có hỗ trợ tiếng Việt ở các mức khác nhau; kiểm trên mẫu của chính bạn trước khi chọn:
| Công cụ | Kiểu | Điểm mạnh | Lưu ý |
|---|---|---|---|
| Tesseract | Mã nguồn mở, chạy dòng lệnh hoặc qua giao diện | Miễn phí, có dữ liệu ngôn ngữ tiếng Việt, xử lý hàng loạt, tích hợp được vào mã | Cần tiền xử lý tốt; chạy với mã ngôn ngữ vie |
| Phần mềm nhận dạng thương mại trên máy tính | Phần mềm có giấy phép | Phân tích bố cục tốt, giao diện sửa lỗi thuận tiện | Kiểm danh sách ngôn ngữ hỗ trợ của phiên bản bạn mua |
| Dịch vụ nhận dạng trên đám mây của các hãng lớn | Dịch vụ trực tuyến | Thường xử lý tốt ảnh chụp và bố cục phức tạp | Tài liệu phải gửi lên máy chủ bên ngoài; cân nhắc quyền và bảo mật |
| Nền tảng nhận dạng chữ viết tay như Transkribus | Nền tảng trực tuyến, có thể huấn luyện mô hình | Hợp chữ viết tay và kiểu chữ lạ khi có dữ liệu huấn luyện | Cần chép tay một lượng trang làm mẫu huấn luyện |
Không có công cụ thắng mọi loại tài liệu. Một nhóm nghiên cứu báo chí cũ có thể dùng Tesseract cho khối lượng lớn, và dùng phần mềm khác cho những trang bố cục rối. Điều quan trọng là đo trên cùng một mẫu để so sánh công bằng.
Với kho lớn, việc chọn công cụ nên dựa trên thử nghiệm có kiểm soát: cùng một bộ trang mẫu, cùng bản chép chuẩn, đo tỷ lệ lỗi cho từng công cụ. Ghi phiên bản công cụ, vì kết quả có thể thay đổi rõ giữa các phiên bản.
Lỗi dấu điển hình và cách nhận ra
Những cặp hay nhầm
Lỗi tiếng Việt thường gặp nhất là nhầm dấu hỏi và dấu ngã, mất dấu nặng (chấm dưới dễ bị coi là bẩn), nhầm ơ với o, ư với u khi móc bị mờ, đ với d khi gạch ngang mờ, và â, ê, ô mất mũ. Chữ in cũ còn có dấu đặt lệch vị trí so với quy ước hiện nay, công cụ có thể gán dấu sai nguyên âm.
Lỗi do Unicode chứ không do nhận dạng
Văn bản tiếng Việt có hai cách lưu chữ có dấu: dạng dựng sẵn (một ký tự) và dạng tổ hợp (chữ gốc cộng dấu rời). Trông giống hệt nhau nhưng máy coi là khác. Kết quả trộn hai dạng làm tìm kiếm thiếu, đếm tần suất sai. Chuẩn hoá toàn bộ về dạng NFC ngay sau khi nhận dạng.
Chính tả cũ không phải lỗi
Văn bản đầu thế kỷ có cách viết khác hiện nay. Đừng để bộ sửa lỗi tự động “sửa” chính tả cũ thành chính tả mới trên bản lưu trữ. Nếu cần bản chuẩn hoá cho phân tích, tạo bản riêng và ghi rõ.
Sửa lỗi hàng loạt mà không làm hỏng văn bản
Sửa từng chữ bằng tay không khả thi với hàng nghìn trang. Quy trình hợp lý:
- Nhận dạng một mẫu, so với bản chép tay chuẩn để lập danh sách lỗi lặp lại.
- Với lỗi có quy luật (một chuỗi sai luôn tương ứng một chuỗi đúng), lập bảng thay thế và áp dụng bằng biểu thức chính quy hoặc mã nhỏ.
- Kiểm mỗi luật thay thế trên mẫu để chắc nó không sửa sai những chữ đúng.
- Đánh dấu những chữ không có trong từ điển âm tiết tiếng Việt để người kiểm xem xét.
- Ghi lại mọi luật đã áp dụng, giữ bản nhận dạng gốc chưa sửa.
Tiếng Việt có tập âm tiết hữu hạn, nên một danh sách âm tiết hợp lệ là công cụ kiểm tra mạnh: chữ nào không thuộc danh sách gần như chắc là lỗi, trừ tên riêng nước ngoài và từ mượn. Cách này không bắt được lỗi biến chữ đúng thành một chữ đúng khác, như “mã” thành “mả”, nên vẫn cần đọc kiểm mẫu.
Quy trình mẫu cho một bộ báo cũ
Chia lô theo chất lượng
Chia các số báo thành lô theo năm và chất lượng in. Mỗi lô chọn vài trang làm mẫu, chép tay chuẩn. Thử vài cấu hình tiền xử lý và công cụ trên mẫu, chọn cấu hình cho tỷ lệ lỗi thấp nhất cho từng lô. Lô in đẹp và lô in mờ có thể cần cấu hình khác nhau.
Chạy và lưu đầu ra
Chạy nhận dạng hàng loạt, lưu song song văn bản thuần và một định dạng giữ vị trí chữ trên trang như hOCR hoặc ALTO nếu công cụ hỗ trợ. Định dạng giữ vị trí cho phép làm tệp PDF tìm kiếm được, và cho phép tô sáng chữ trên ảnh khi tra cứu.
Sửa và ghi nhật ký
Áp dụng bảng luật sửa lỗi, chuẩn hoá NFC, đánh dấu chữ ngoài từ điển âm tiết. Ghi nhật ký: lô nào, cấu hình nào, luật nào, tỷ lệ lỗi trước và sau sửa. Nhật ký này chính là phần phương pháp của bài báo sau này, và giúp làm lại khi có công cụ tốt hơn.
Đo tỷ lệ lỗi trên mẫu
Tỷ lệ lỗi ký tự và lỗi từ
Hai thước đo thông dụng là tỷ lệ lỗi ký tự (CER) và tỷ lệ lỗi từ (WER), tính bằng số thao tác thêm, xoá, thay cần để biến kết quả nhận dạng thành bản chuẩn, chia cho độ dài bản chuẩn. Với tiếng Việt, một lỗi dấu là một lỗi ký tự nhưng làm sai cả âm tiết, nên báo cả hai.
Chọn mẫu kiểm
Chọn ngẫu nhiên một số trang từ các nhóm khác nhau (năm xuất bản, chất lượng in), chép tay chuẩn cẩn thận, có người thứ hai đọc lại. Đo riêng theo nhóm để biết lỗi tập trung ở đâu. Một con số trung bình chung có thể che mất một nhóm trang rất tệ.
Báo cáo trong bài viết
Nếu kết quả nghiên cứu dựa trên văn bản nhận dạng, phần phương pháp nên nêu công cụ, phiên bản, bước tiền xử lý, cách sửa lỗi và tỷ lệ lỗi đo được trên mẫu. Người đọc nhờ đó đánh giá được độ tin cậy của các con số tần suất phía sau.
Câu hỏi thường gặp
Tesseract có nhận dạng được tiếng Việt không?
Có. Tesseract có dữ liệu ngôn ngữ tiếng Việt, chạy với mã vie. Kết quả phụ thuộc nhiều vào chất lượng ảnh và tiền xử lý; với bản in cũ, cần kiểm và sửa lỗi dấu.
Vì sao văn bản nhận dạng tìm kiếm không ra dù nhìn thấy chữ?
Thường do trộn hai dạng Unicode dựng sẵn và tổ hợp, hoặc ký tự lạ trông giống chữ Việt. Chuẩn hoá toàn bộ văn bản về NFC và kiểm ký tự lạ sẽ khắc phục phần lớn trường hợp.
Có nên khử nhiễu mạnh trước khi nhận dạng?
Không nên khử quá tay. Dấu nặng và dấu hỏi là những nét rất nhỏ, dễ bị xoá cùng với bẩn. Thử vài mức trên mẫu, so kết quả nhận dạng, chọn mức cho tỷ lệ lỗi thấp nhất.
Tỷ lệ lỗi bao nhiêu thì dùng được cho nghiên cứu?
Tuỳ mục đích. Tìm kiếm thô chịu được lỗi nhiều hơn phân tích tần suất chính xác hay trích dẫn nguyên văn. Hãy đo, báo cáo con số, và kiểm xem lỗi có tập trung ở nhóm văn bản nào làm lệch kết luận không.
Có nên dùng dịch vụ nhận dạng trực tuyến cho tư liệu lưu trữ không?
Được nếu điều khoản sử dụng tư liệu cho phép gửi ảnh ra máy chủ bên ngoài. Với tư liệu nhạy cảm hoặc chưa được phép công bố, dùng công cụ chạy trên máy của bạn.
Văn bản chữ viết tay tiếng Việt có nhận dạng được không?
Công cụ nhận dạng chữ in thường cho kết quả kém với chữ viết tay. Các nền tảng nhận dạng chữ viết tay cho phép huấn luyện mô hình riêng từ những trang đã chép tay, phù hợp khi khối lượng đủ lớn.
