HocThuatSo.comHọc Thuật Số
Gửi thư
Kho lưu trữ mở

Tệp lớn và dữ liệu nhạy cảm trên kho mở: truy cập có điều kiện

Bộ dữ liệu quá lớn hoặc chứa thông tin nhạy cảm vẫn đưa lên kho mở được: chia tệp hợp lý, tra giới hạn dung lượng hiện hành, dùng bản ghi hạn chế truy cập và thoả thuận sử dụng dữ liệu.

Tệp lớn và dữ liệu nhạy cảm trên kho mở: truy cập có điều kiện

Với tệp lớn, tra giới hạn dung lượng hiện hành của kho, chia dữ liệu theo đơn vị có nghĩa và kèm mã kiểm tra toàn vẹn; vượt giới hạn thì xin hạn mức hoặc chọn kho chuyên ngành. Với dữ liệu nhạy cảm, công khai siêu dữ liệu, hạn chế tệp, xét từng yêu cầu truy cập và ràng buộc người dùng bằng thoả thuận sử dụng dữ liệu.

Hai trường hợp này là lý do phổ biến khiến nhà nghiên cứu nói “dữ liệu có sẵn khi có yêu cầu” rồi không bao giờ chia sẻ. Kho mở hiện nay có công cụ cho cả hai. Bài này đi qua cách làm, theo thứ tự bạn sẽ phải quyết định.

Giới hạn dung lượng: tra ở đâu, vượt thì làm gì

Giới hạn dung lượng mỗi bản ghi, số tệp, kích thước mỗi tệp thay đổi theo thời gian và theo loại tài khoản. Đừng dựa vào con số trong bài viết cũ; tra trang trợ giúp hiện hành của kho.

KhoTra giới hạn ởKhi vượt
ZenodoTrang trợ giúp về tải tệp, phần giới hạnLiên hệ đội hỗ trợ xin hạn mức lớn hơn, nêu lý do và dung lượng
OSFTrang trợ giúp về giới hạn lưu trữ, khác nhau cho dự án riêng tư và công khaiNối kho ngoài, hoặc gửi dữ liệu lớn lên kho chuyên dụng rồi liên kết
Harvard DataverseChính sách của kho, phần dung lượngLiên hệ đội hỗ trợ của kho trước khi tải
figshareTrang trợ giúp, giới hạn theo tài khoản cá nhân hay tổ chứcDùng tài khoản tổ chức nếu trường có
Kho chuyên ngànhHướng dẫn nộp dữ liệu của khoNhiều kho ngành gen, ảnh y sinh, thiên văn sinh ra để chứa dữ liệu rất lớn

Trước khi xin thêm dung lượng, tự hỏi: có cần đưa dữ liệu thô không, hay dữ liệu đã xử lý cộng mã xử lý là đủ để tái lập kết quả? Nhiều bộ dữ liệu giảm hàng chục lần khi bỏ tệp trung gian có thể sinh lại.

Chia tệp sao cho người dùng dễ tải

Chia theo đơn vị có nghĩa

Chia theo đợt thu thập, theo địa điểm, theo loại dữ liệu, không chia máy móc theo dung lượng. Người dùng chỉ cần một tỉnh thì tải một tệp, không phải tải cả bộ.

Tránh tệp nén chia mảnh

Tệp nén cắt thành nhiều phần bắt buộc tải đủ mới giải nén được; hỏng một phần là hỏng cả. Nếu phải nén, nén từng đơn vị thành một tệp độc lập.

Kèm mã kiểm tra toàn vẹn

Tạo mã kiểm tra (checksum) như SHA-256 cho từng tệp, ghi vào một tệp danh sách đi kèm. Người dùng so mã sau khi tải để chắc tệp không hỏng. Nhiều kho tự hiển thị mã MD5 cho từng tệp; tệp danh sách của bạn bổ sung, không thay thế.

Định dạng mở và nén hợp lý

Dữ liệu bảng lớn có thể dùng định dạng cột nén hiệu quả hơn CSV thuần; nhưng kèm hướng dẫn đọc trong README, và cân nhắc giữ một bản CSV mẫu nhỏ để người dùng xem nhanh cấu trúc.

Dữ liệu nhạy cảm: ẩn danh trước, hạn chế sau

Bước đầu tiên không phải chọn chế độ truy cập, mà là giảm độ nhạy của chính dữ liệu. Bỏ định danh trực tiếp như tên, số điện thoại, địa chỉ, số giấy tờ. Xử lý định danh gián tiếp: gộp tuổi thành nhóm, gộp địa bàn nhỏ lên cấp lớn hơn, bỏ hoặc mã hoá các biến hiếm có thể nhận ra một người trong cộng đồng nhỏ. Ghi lại các bước xử lý vào tài liệu đi kèm.

Sau ẩn danh, chia dữ liệu thành hai lớp: lớp công khai đủ để tái lập phần lớn kết quả, và lớp hạn chế chứa biến chi tiết hơn. Không phải bộ dữ liệu nào cũng tách được, nhưng khi tách được, phần lớn người dùng không cần xin quyền.

Mọi quyết định chia sẻ phải nằm trong phạm vi cam kết với người tham gia và hồ sơ đã được hội đồng đạo đức duyệt, cùng quy định hiện hành của Việt Nam về bảo vệ dữ liệu cá nhân. Nếu phiếu đồng thuận không nhắc tới chia sẻ dữ liệu, hỏi hội đồng đạo đức trước khi đưa lớp hạn chế lên bất kỳ đâu.

Tạo bản ghi hạn chế truy cập

Trình tự chung trên Zenodo hay Dataverse; tên chức năng khác nhau theo kho:

  1. Tạo bản ghi với siêu dữ liệu công khai đầy đủ: mô tả, biến có trong dữ liệu, điều kiện truy cập. Không đưa thông tin nhạy cảm vào siêu dữ liệu.
  2. Đặt tệp ở chế độ hạn chế. Trên Zenodo, chọn quyền truy cập hạn chế và bật cho phép người dùng gửi yêu cầu; trên Dataverse, đánh dấu từng tệp hạn chế và bật xin quyền truy cập.
  3. Viết điều kiện truy cập: ai được xin, cần nêu mục đích gì, cần cam kết gì.
  4. Đính kèm thoả thuận sử dụng dữ liệu, hoặc đặt điều khoản sử dụng trên kho.
  5. Chỉ định người xét duyệt và người thay thế, để yêu cầu không bị bỏ quên khi một người vắng mặt.
  6. Ghi trong tuyên bố sẵn có dữ liệu của bài: dữ liệu hạn chế, xin ở đâu, điều kiện gì.

Siêu dữ liệu và DOI vẫn công khai, nên bộ dữ liệu vẫn được tìm thấy và trích dẫn dù tệp bị khoá.

Thoả thuận sử dụng dữ liệu nên có gì

Thoả thuận sử dụng dữ liệu (data use agreement) không cần dài, nhưng nên có các điều khoản sau. Đơn vị bạn có thể có mẫu riêng; hỏi phòng quản lý khoa học hoặc bộ phận pháp chế.

  • Mục đích sử dụng được phép, gắn với đề xuất người xin đã nêu.
  • Cam kết không tìm cách nhận diện lại người tham gia, không liên kết với dữ liệu khác nhằm mục đích đó.
  • Yêu cầu bảo mật khi lưu trữ, không chia sẻ tiếp cho người khác.
  • Cách trích dẫn bộ dữ liệu và ghi nhận nguồn khi công bố.
  • Thời hạn sử dụng và việc huỷ dữ liệu khi hết hạn hoặc xong dự án.
  • Thông báo cho chủ dữ liệu khi phát hiện sự cố.

Xét duyệt yêu cầu truy cập

Trả lời trong thời gian hợp lý. Hạn chế truy cập không có nghĩa là im lặng. Đặt cho nhóm một thời hạn trả lời nội bộ và giữ đúng.

Xét theo tiêu chí đã công bố. Duyệt hay từ chối dựa trên điều kiện ghi trong bản ghi, không dựa trên việc người xin có phải đồng nghiệp quen hay không.

Ghi sổ. Lưu danh sách người được cấp quyền, ngày cấp, mục đích. Đây là bằng chứng khi hội đồng đạo đức hay nhà tài trợ hỏi.

Bàn giao khi rời nhóm. Người xét duyệt rời đơn vị phải bàn giao quyền quản lý bản ghi, nếu không yêu cầu sẽ treo vô thời hạn.

Lỗi hay gặp với tệp lớn và dữ liệu nhạy cảm

Những lỗi sau gặp nhiều khi nhóm làm lần đầu:

  • Tải lên dữ liệu đã ẩn danh nhưng quên tệp nhật ký xử lý hay tệp trung gian còn cột định danh nằm trong cùng thư mục nén.
  • Ghi tên cơ sở y tế, tên thôn, tên lớp học vào phần mô tả công khai, khiến dữ liệu tưởng ẩn danh vẫn nhận ra được.
  • Đặt chế độ hạn chế nhưng không bật chức năng xin truy cập, người dùng không có đường nào để hỏi.
  • Chia bộ dữ liệu thành hàng trăm tệp nhỏ không tên rõ nghĩa, không có danh sách đi kèm.
  • Tải tệp lớn qua mạng không ổn định mà không kiểm mã toàn vẹn sau khi tải, tệp trên kho bị cụt.

Tình huống tham khảo: một nhóm có bộ ảnh hiển vi vài trăm gigabyte kèm thông tin bệnh nhân. Nhóm bỏ thông tin định danh khỏi tên tệp và thuộc tính ảnh, gửi bộ ảnh lên một kho chuyên ngành ảnh y sinh, đưa bảng đặc điểm bệnh nhân đã gộp nhóm lên Zenodo ở chế độ hạn chế, và nối hai bản ghi bằng định danh liên quan. Bài báo trích cả hai DOI. Người dùng muốn tái lập phần phân tích ảnh không cần xin quyền; chỉ ai cần đặc điểm lâm sàng mới phải ký thoả thuận.

Câu hỏi thường gặp

Giới hạn dung lượng của Zenodo hiện là bao nhiêu?

Giới hạn có thể thay đổi, nên tra trang trợ giúp hiện hành của Zenodo. Khi bộ dữ liệu vượt giới hạn chuẩn, liên hệ đội hỗ trợ để xin hạn mức, kèm lý do và dung lượng cụ thể.

Dữ liệu phỏng vấn có thể đưa lên kho mở không?

Có thể, nếu người tham gia đồng ý và bản ghi đã được ẩn danh kỹ. Thường dùng chế độ hạn chế truy cập kèm thoả thuận sử dụng, vì lời kể dễ chứa chi tiết nhận diện.

Bản ghi hạn chế truy cập có được tính là dữ liệu mở không?

Không hoàn toàn mở, nhưng đáp ứng yêu cầu chia sẻ của nhiều tạp chí và nhà tài trợ khi có lý do chính đáng và quy trình xin truy cập rõ ràng.

Mã kiểm tra checksum dùng để làm gì?

Để người tải về kiểm tệp có giống hệt tệp gốc không. Nếu mã tính trên máy họ khác mã bạn công bố, tệp đã hỏng hoặc tải thiếu.

Ai nên xét duyệt yêu cầu truy cập dữ liệu?

Thường là tác giả liên hệ hoặc người quản lý dữ liệu của nhóm, kèm một người thay thế. Với dữ liệu rất nhạy cảm, có thể cần ý kiến hội đồng đạo đức hoặc ban quản lý dữ liệu của đơn vị.

Cần tư vấn cụ thể cho trường hợp của bạn?

Chúng tôi sẽ liên hệ trong vòng 24 giờ.

Đăng ký tư vấn ngay

Bài viết liên quan

🧭
Bạn đang ở chặng nào của đường học vị?
Nhập chỗ bạn đang đứng và đích bạn nhắm — công cụ trả về số năm, chi phí và việc phải làm từng chặng.
Xem lộ trình của tôi →
Miễn phí, không cần tài khoản. Xem tất cả công cụ

Bạn cần hỗ trợ thêm?

Để lại thông tin, chúng tôi sẽ liên hệ trong 24 giờ.

hoặc
[email protected]