Mã hoá theo nhóm trong phần mềm định tính gồm bốn việc: chốt sổ mã và phiên bản phần mềm, mỗi người mã hoá dưới tên riêng, gộp các dự án con về một dự án chính bằng chức năng gộp, rồi chạy công cụ so sánh để tìm chỗ lệch và họp thống nhất. Chỉ số đồng thuận là công cụ tìm chỗ cần bàn, không phải điểm thi.
Đề tài cấp bộ, dự án hợp tác hay nhóm nghiên cứu sinh cùng hướng dẫn thường có hai tới năm người cùng mã hoá. Khó khăn không nằm ở thao tác gắn mã mà ở chỗ ghép phần việc lại mà không ghi đè nhau, và chứng minh được với phản biện rằng các mã được dùng nhất quán. Phần dưới đây đi qua thao tác ở ba phần mềm thương mại phổ biến; tên menu có thể khác giữa các phiên bản, hãy đối chiếu với hướng dẫn chính thức của bản bạn dùng.
Chuẩn bị trước khi mở phần mềm
Phần lớn rắc rối khi gộp bắt nguồn từ việc bỏ qua khâu này:
- Thống nhất phần mềm và phiên bản cho cả nhóm; gộp dự án khác phiên bản có thể không được hoặc buộc nâng cấp.
- Một người tạo dự án gốc: nhập tài liệu, tạo ca, thuộc tính, sổ mã vòng đầu. Các thành viên nhận bản sao của chính dự án gốc này, không tự tạo dự án riêng từ đầu.
- Quy ước đơn vị mã hoá: gắn mã cho cả lượt lời, cả đoạn, hay câu. Đơn vị không thống nhất là nguồn lệch lớn nhất khi so.
- Quy ước ai được thêm mã mới và thêm vào đâu, ví dụ thư mục “Mã đề xuất” chờ họp duyệt.
- Chia tài liệu: phần chung để cả nhóm cùng mã hoá và so sánh, phần riêng mỗi người một nhóm tài liệu.
- Đặt tên tệp dự án con theo tên người và ngày.
Gộp dự án và nhận diện người mã hoá trong ba phần mềm
Mỗi phần mềm một cách tổ chức, nhưng nguyên tắc chung là mọi người làm trên bản sao của cùng một dự án gốc rồi gộp lại.
| Việc | NVivo | ATLAS.ti | MAXQDA |
|---|---|---|---|
| Nhận diện người mã hoá | Hồ sơ người dùng với chữ viết tắt, nhập khi mở phần mềm | Tên người dùng đăng nhập trong phần mềm, gắn với mỗi trích đoạn và mã | Tên người dùng khi đăng nhập dự án |
| Gộp phần việc | Nhập một dự án vào dự án khác | Chức năng gộp dự án | Gộp dự án, hoặc xuất nhập phần việc nhóm |
| Làm cùng lúc | Dịch vụ cộng tác trên máy chủ | Bản web cộng tác | Theo dịch vụ đi kèm của nhà phát triển |
| So sánh người mã hoá | Truy vấn so sánh mã hoá | Chế độ đồng thuận giữa người mã hoá | Công cụ đồng thuận giữa người mã hoá |
Trước mỗi lần gộp, sao lưu dự án chính. Gộp xong, mở vài tài liệu chung để kiểm: đoạn mã hoá của từng người còn nguyên, không có mã bị nhân đôi do hai người tạo cùng tên mã với khác biệt nhỏ như dấu cách hay chữ hoa.
Theo dõi ai mã hoá gì
Trong NVivo
Khi mở dự án, NVivo hỏi người dùng hiện tại; chữ viết tắt này gắn với mọi đoạn mã hoá. Hiển thị dải mã theo người dùng ở lề tài liệu để thấy hai người gắn mã nào trên cùng một đoạn. Nếu nhiều người dùng chung một máy, nhắc nhau đổi người dùng trước khi làm, không thì toàn bộ phần mã hoá bị ghi nhầm tên.
Trong ATLAS.ti và MAXQDA
Mỗi trích đoạn và mỗi mã ghi người tạo. Có thể lọc danh sách trích đoạn theo người tạo để xem riêng phần việc của từng người. Với MAXQDA, đăng nhập dự án bằng tên riêng ngay từ đầu; đổi tên sau sẽ không cập nhật các đoạn đã mã hoá.
Ghi nhớ của nhóm
Thống nhất mỗi người ký tên hoặc chữ viết tắt ở đầu ghi nhớ, và có một ghi nhớ chung ghi các quyết định đã chốt trong họp nhóm, kèm ngày.
Chỉ số đồng thuận trong phần mềm tính thế nào?
NVivo: truy vấn so sánh mã hoá
Chọn hai người dùng hoặc hai nhóm người dùng, chọn các mã và tài liệu cần so. Kết quả cho mỗi cặp mã và tài liệu gồm tỷ lệ đồng thuận và hệ số kappa. Điểm cần hiểu: NVivo tính theo đơn vị ký tự với văn bản. Phần văn bản mà cả hai đều không gắn mã cũng được tính là đồng ý, nên với mã hiếm, tỷ lệ đồng thuận phần trăm có thể rất cao dù hai người gần như không trùng nhau ở đoạn đã gắn. Đọc kappa và mở từng ô để xem đoạn lệch.
ATLAS.ti: chế độ đồng thuận
ATLAS.ti có chế độ riêng cho đồng thuận giữa người mã hoá, tính tỷ lệ phần trăm và họ hệ số alpha của Krippendorff ở các mức khác nhau, theo nhóm mã hoặc theo mã. Phần mềm yêu cầu các mã được đặt trong nhóm ngữ nghĩa và tài liệu được chọn rõ, nên cần chuẩn bị cấu trúc nhóm mã trước.
MAXQDA: công cụ đồng thuận
MAXQDA cho chọn mức so sánh: có hay không có mã trong tài liệu, tần suất mã trong tài liệu, hoặc mức đoạn với ngưỡng phần trăm chồng lấn do bạn đặt. Kết quả có tỷ lệ phần trăm và hệ số hiệu chỉnh ngẫu nhiên. Ngưỡng chồng lấn ảnh hưởng lớn tới kết quả, nên ghi rõ ngưỡng đã dùng.
Đọc kết quả: tìm chỗ lệch, không chạy theo con số
Mục đích chính của so sánh là tìm những mã mà định nghĩa còn mơ hồ. Một mã có hệ số thấp thường rơi vào ba kiểu: hai người hiểu khác nhau phạm vi của mã; một người gắn đoạn dài, một người gắn đoạn ngắn; hoặc một mã chồng lên mã khác. Mở các đoạn lệch, đọc cùng nhau, rồi sửa định nghĩa trong sổ mã.
Một số truyền thống định tính, như phân tích chủ đề theo hướng phản tư, không coi đồng thuận giữa người mã hoá là thước đo chất lượng. Nếu nhóm theo hướng đó, vẫn có thể dùng công cụ so sánh để khơi mở thảo luận, nhưng đừng trình bày hệ số như bằng chứng độ tin cậy. Nêu rõ trong chương phương pháp nhóm dùng so sánh với mục đích gì.
Khi báo cáo chỉ số, ghi phần mềm và phiên bản, chỉ số nào, đơn vị so sánh, số tài liệu và số mã đưa vào so, và việc đã làm với chỗ lệch. Một con số đứng một mình không nói được gì.
Cuộc họp thống nhất sổ mã
Họp ngắn và đều đặn hiệu quả hơn họp dài một lần. Một buổi có thể theo trình tự:
- Trước họp, người điều phối gộp dự án và chạy so sánh trên phần tài liệu chung, lọc ra năm tới mười mã lệch nhiều nhất.
- Trong họp, với mỗi mã, mở hai ba đoạn lệch, từng người nói vì sao gắn hoặc không gắn.
- Chốt định nghĩa mới, thêm tiêu chí loại trừ và ví dụ biên vào mô tả mã.
- Quyết định với mã đề xuất mới: nhận, gộp vào mã có sẵn, hay bỏ.
- Ghi biên bản vào ghi nhớ chung, có ngày và người dự.
- Sau họp, mỗi người rà lại phần tài liệu đã mã hoá theo định nghĩa mới trên bản sao mới nhất của dự án gốc.
Lặp lại chu trình cho tới khi các mã chính ổn định, rồi mới chia phần tài liệu còn lại cho từng người mã hoá riêng.
Lỗi hay gặp khi mã hoá theo nhóm
Những lỗi này thường chỉ lộ ra khi gộp:
| Lỗi | Hậu quả | Cách phòng |
|---|---|---|
| Mỗi người tự tạo dự án từ đầu | Gộp ra tài liệu và mã bị nhân đôi | Luôn phát bản sao của một dự án gốc |
| Dùng chung một tên người dùng | Không so được ai mã hoá gì | Mỗi người một hồ sơ hoặc tên đăng nhập |
| Đổi tên mã trên bản riêng | Sau gộp có hai mã gần giống nhau | Chỉ đổi tên mã trên dự án gốc sau họp |
| Khác phiên bản phần mềm | Không gộp được | Chốt phiên bản cho cả nhóm từ đầu |
| Không thống nhất đơn vị mã hoá | Hệ số thấp giả do lệch ranh giới đoạn | Quy ước đơn vị trong sổ mã |
Câu hỏi thường gặp
Kappa bao nhiêu thì chấp nhận được?
Không có mốc chung cho mọi nghiên cứu định tính. Quan trọng hơn là bạn đã xem các đoạn lệch, chỉnh định nghĩa mã và báo cáo minh bạch cách tính, đơn vị so sánh.
Có cần mọi người mã hoá toàn bộ dữ liệu không?
Thường không. Nhóm cùng mã hoá một phần dữ liệu để thống nhất sổ mã và so sánh, phần còn lại chia nhau mã hoá riêng theo định nghĩa đã chốt.
Gộp dự án có ghi đè phần việc của người khác không?
Gộp đúng cách sẽ cộng dồn đoạn mã hoá của từng người. Rủi ro ghi đè đến từ việc dùng chung tên người dùng hoặc mã trùng tên khác nghĩa, nên luôn sao lưu trước khi gộp.
Một người dùng NVivo, một người dùng MAXQDA có làm nhóm được không?
Rất khó trong thực tế. Chuẩn REFI-QDA giúp chuyển dự án nhưng không thay được quy trình gộp và so sánh của cùng một phần mềm. Nên thống nhất một phần mềm.
Có phải báo cáo hệ số đồng thuận trong bài báo không?
Tuỳ truyền thống phương pháp và yêu cầu tạp chí. Nếu báo cáo, ghi rõ chỉ số, phần mềm, đơn vị so sánh và cách xử lý chỗ lệch; nếu không, mô tả quy trình thống nhất sổ mã.
