Chuẩn siêu dữ liệu theo ngành: DDI cho khảo sát, Darwin Core

Chuẩn siêu dữ liệu theo ngành là bộ trường mô tả thống nhất để máy đọc và ghép được dữ liệu. Khảo sát xã hội dùng DDI để mô tả nghiên cứu, bảng hỏi và từng biến; dữ liệu mẫu vật, quan sát sinh vật dùng Darwin Core; Dublin Core là lớp mô tả chung mà hầu hết kho đều hiểu.

Một đoạn mô tả tự do viết kỹ đến đâu thì máy vẫn không biết đâu là địa bàn, đâu là thời gian, đâu là tên loài. Muốn bộ dữ liệu của bạn được gom vào cổng tìm kiếm chung, được lọc theo tỉnh hay theo loài, được ghép với dữ liệu nhóm khác, thì phần mô tả phải theo các trường đã thống nhất. Bài này giới thiệu ba chuẩn hay gặp nhất với người làm khoa học xã hội và sinh học, kèm công cụ và mức cần thiết cho đề tài nhỏ.

Vì sao mô tả tự do không đủ cho máy đọc?

Hai nhóm cùng ghi “khảo sát tại đồng bằng sông Cửu Long năm 2023”: một nhóm viết vào trường mô tả, nhóm kia ghi vào tiêu đề, nhóm thứ ba ghi “ĐBSCL” và “Q3/2023”. Người đọc hiểu cả ba, nhưng công cụ tìm kiếm muốn lọc theo vùng và năm thì không. Chuẩn siêu dữ liệu giải quyết bằng cách quy định trường nào chứa thông tin gì, theo khuôn nào, thường kèm danh mục từ vựng có kiểm soát.

Thêm vào đó, chuẩn theo ngành mô tả được những thứ đặc thù mà mô tả chung không có chỗ: với khảo sát là cách chọn mẫu, câu hỏi gốc của từng biến, quy tắc bước nhảy; với sinh học là vị trí thu mẫu, người định danh loài, cách bảo quản mẫu. Đây là lý do kho dữ liệu chuyên ngành thường yêu cầu theo chuẩn riêng chứ không chỉ điền mẫu chung.

So sánh nhanh ba chuẩn

Ba chuẩn phục vụ ba tầng khác nhau, không thay thế nhau.

Dublin Core: nền chung mà kho nào cũng hiểu

Mười lăm phần tử cơ bản

Dublin Core có 15 phần tử gốc: title, creator, subject, description, publisher, contributor, date, type, format, identifier, source, language, relation, coverage, rights. Khi điền form gửi dữ liệu lên Zenodo hay kho DSpace của trường, bạn đang điền gần như đúng các trường này dưới tên tiếng Việt hoặc tiếng Anh của giao diện.

Điền sao cho máy dùng được

date ghi dạng YYYY-MM-DD; coverage ghi địa bàn và khoảng thời gian; language dùng mã như vi; rights ghi tên giấy phép chuẩn. Dublin Core không đủ để mô tả biến hay mẫu vật, nhưng điền đúng thì bộ dữ liệu đã tìm được qua phần lớn công cụ tìm kiếm học thuật.

DDI: mô tả khảo sát tới từng câu hỏi

Hai nhánh của DDI

DDI có hai dòng chính: DDI Codebook (trước đây gọi là DDI 2) mô tả một bộ dữ liệu đã hoàn tất theo kiểu sổ mã, và DDI Lifecycle (DDI 3) mô tả cả vòng đời từ thiết kế bảng hỏi tới lưu trữ, cho phép dùng lại câu hỏi giữa các đợt. Với đề tài khảo sát một lần, DDI Codebook là đủ.

DDI chứa những gì

Phần mô tả nghiên cứu (tên, nhà tài trợ, phạm vi địa lý, đơn vị phân tích, phương pháp chọn mẫu, tỷ lệ trả lời), phần mô tả tệp, và phần mô tả biến: tên, nhãn, câu hỏi nguyên văn, nhãn giá trị, mã thiếu, thống kê tần suất. Nếu bạn đã có từ điển dữ liệu tốt, phần biến của DDI gần như chép sang.

Công cụ hỗ trợ

IHSN Metadata Editor do Mạng lưới Khảo sát Hộ gia đình Quốc tế (IHSN) cùng Ngân hàng Thế giới phát triển, miễn phí, đọc được tệp SPSS, Stata để sinh mô tả biến rồi xuất DDI. Hệ thống danh mục NADA dùng DDI để đăng các bộ vi dữ liệu; Thư viện Vi dữ liệu của Ngân hàng Thế giới là một ví dụ. Kho Dataverse cũng nhận và xuất siêu dữ liệu theo DDI. Có cả phần mềm thương mại như Colectica cho DDI Lifecycle.

Darwin Core: mỗi quan sát là một dòng có chuẩn

Các trường hay dùng

Darwin Core định nghĩa các thuật ngữ như occurrenceID (mã duy nhất của bản ghi), basisOfRecord (mẫu bảo quản, quan sát người, quan sát máy), scientificName, eventDate, decimalLatitude, decimalLongitude, geodeticDatum, countryCode, recordedBy, identifiedBy. Bảng quan sát chỉ cần đổi tên cột theo các thuật ngữ này là đã gần chuẩn.

Đưa lên GBIF

GBIF (Global Biodiversity Information Facility) dùng Darwin Core làm chuẩn tiếp nhận. Đơn vị có thể dựng máy chủ IPT (Integrated Publishing Toolkit) hoặc nhờ một nút GBIF có sẵn IPT để đóng gói bảng thành Darwin Core Archive, kèm siêu dữ liệu tập dữ liệu, rồi công bố. Mỗi tập dữ liệu công bố trên GBIF được cấp DOI.

Lưu ý với dữ liệu nhạy cảm

Vị trí chính xác của loài quý hiếm có thể bị lợi dụng để săn bắt. Darwin Core có trường ghi mức làm nhoè toạ độ (coordinateUncertaintyInMeters, dataGeneralizations), dùng để công bố toạ độ thô hơn kèm ghi chú lý do.

Ánh xạ một bảng quan sát có sẵn sang Darwin Core

Ví dụ bảng ghi chép thực địa có các cột: số thứ tự, ngày, tên loài, toạ độ, người ghi. Các bước chuyển:

1. Thêm cột occurrenceID chứa mã duy nhất và bền vững cho từng dòng, ví dụ ghép mã đề tài với số thứ tự; không dùng số thứ tự trần vì dễ trùng khi gộp bảng.
2. Đổi tên cột ngày thành eventDate và đưa giá trị về dạng YYYY-MM-DD.
3. Đổi tên cột tên loài thành scientificName, tách tên Việt sang vernacularName; kiểm chính tả tên khoa học với danh lục chuẩn.
4. Đổi toạ độ sang độ thập phân, đặt vào decimalLatitude và decimalLongitude, ghi hệ toạ độ ở geodeticDatum, ví dụ WGS84. Nếu số liệu gốc theo hệ VN-2000, chuyển đổi trước và ghi rõ trong mô tả.
5. Thêm basisOfRecord cho mọi dòng, ví dụ HumanObservation cho quan sát trực tiếp hoặc PreservedSpecimen cho mẫu bảo quản.
6. Đổi cột người ghi thành recordedBy, thêm countryCode là VN.

Sau sáu bước, bảng đã sẵn sàng để nạp vào IPT. Phần còn lại là siêu dữ liệu cấp tập dữ liệu: tiêu đề, mô tả, phạm vi địa lý và phân loại, người liên hệ, giấy phép. Với dữ liệu có bản đồ phạm vi Việt Nam, phần mô tả địa lý cần nhất quán với lãnh thổ quốc gia đầy đủ, gồm cả quần đảo Hoàng Sa và Trường Sa.

Siêu dữ liệu theo chuẩn có thay thế được README không?

Không. Chuẩn siêu dữ liệu giúp máy tìm và lọc; README giúp người hiểu những điều không có trường nào chứa: vì sao chọn mẫu như vậy, những hạn chế đã biết, những sự cố trong lúc thu thập. Hai thứ bổ sung cho nhau. Thông thường phần mô tả nghiên cứu trong DDI hay siêu dữ liệu tập dữ liệu trên GBIF có trường tóm tắt phương pháp, nhưng chi tiết vẫn nên ở tài liệu đi kèm.

Đề tài nhỏ có cần quan tâm không?

Luận văn, đề tài cấp cơ sở. Điền đủ Dublin Core khi gửi kho, cộng từ điển dữ liệu tốt, là mức hợp lý. Không cần học DDI chi tiết.

Khảo sát có mẫu lớn, sẽ dùng lại nhiều năm. Đáng làm DDI Codebook, nhất là khi đơn vị có ý định đưa vào kho vi dữ liệu hoặc chia sẻ với đối tác quốc tế.

Dữ liệu quan sát sinh vật, mẫu tiêu bản. Nên đặt tên cột theo Darwin Core ngay từ bảng nhập liệu. Chi phí gần như bằng không, lợi ích lớn khi sau này gửi GBIF hoặc ghép với dữ liệu bảo tàng.

Ngành khác. Nhiều ngành có chuẩn riêng, ví dụ ISO 19115 cho dữ liệu địa lý. Tra danh mục chuẩn của FAIRsharing để biết ngành mình dùng chuẩn nào và kho nào tiếp nhận.

Câu hỏi thường gặp