Báo cáo tác động đề tài: trích dẫn, altmetrics và bằng chứng sử dụng

Báo cáo tác động tốt trả lời bốn câu: đề tài giải quyết vấn đề gì, đóng góp chính là gì, ai đã dùng kết quả và dùng thế nào, bằng chứng nằm ở đâu. Trích dẫn và altmetrics chỉ là một phần; bằng chứng sử dụng cụ thể mới là phần thuyết phục nhất.

Nhiều đề tài khi nghiệm thu chỉ liệt kê số bài, số trích dẫn, điểm chỉ số tạp chí. Những con số đó cho biết đề tài đã công bố, nhưng không cho biết kết quả có ai dùng. Các nguyên tắc đánh giá nghiên cứu như Tuyên bố San Francisco (DORA) và Tuyên ngôn Leiden đều khuyên kết hợp chỉ số với đánh giá định tính. Bài này đưa ra một khung một trang và cách gom bằng chứng từ ngày đầu đề tài.

Khung báo cáo tác động một trang

Khung dưới đây có thể điều chỉnh theo biểu mẫu của đơn vị. Mỗi phần chỉ vài câu.

Đặt chỉ số học thuật ở gần cuối là có chủ ý: người đọc nhớ phần đầu nhất, và phần đầu nên là câu chuyện về vấn đề và người dùng.

Các loại bằng chứng ngoài trích dẫn

Được dùng trong đào tạo

Kết quả được đưa vào đề cương môn học, giáo trình, tài liệu tập huấn cán bộ. Bằng chứng: đề cương có ghi tài liệu, giáo trình có trích, danh sách lớp tập huấn và tài liệu phát. Cơ sở dữ liệu Open Syllabus cũng thu thập đề cương môn học của nhiều trường nước ngoài, có thể tra xem bài có được đưa vào đề cương không.

Được dùng trong văn bản và quy trình

Kết quả được trích trong báo cáo, đề án, hướng dẫn chuyên môn, tiêu chuẩn, quy trình nội bộ của cơ quan, doanh nghiệp. Bằng chứng: bản văn bản có trích, thư xác nhận của cơ quan sử dụng, biên bản tham vấn.

Sản phẩm được chuyển giao, ứng dụng

Giống cây, quy trình kỹ thuật, phần mềm, bộ dữ liệu, thiết bị được đơn vị khác dùng. Bằng chứng: hợp đồng chuyển giao, giấy xác nhận ứng dụng, số lượt tải bộ dữ liệu hoặc phần mềm theo thống kê của kho, các bài khác dùng bộ dữ liệu đó.

Được truyền thông và công chúng tiếp nhận

Bài báo, chương trình truyền hình, phỏng vấn, hoạt động cộng đồng. Bằng chứng: danh sách bài báo kèm ngày, trang chi tiết Altmetric, số người tham dự hoạt động.

Kết hợp trích dẫn và altmetrics cho đúng mức

Trích dẫn cho thấy cộng đồng khoa học dùng kết quả; altmetrics cho thấy sự chú ý ngoài giới học thuật. Cả hai đều có độ trễ và giới hạn: đề tài kết thúc sau hai năm thường chưa có nhiều trích dẫn, còn điểm chú ý phụ thuộc ngành và ngôn ngữ. Khi báo cáo, nêu số kèm nguồn và ngày tra, và quan trọng hơn, chọn ra vài trường hợp cụ thể: một bài được nhóm quốc tế dùng làm nền cho nghiên cứu của họ, một bài được báo lớn đưa tin.

Không cần đưa mọi chỉ số. Đưa số trích dẫn, kèm chỉ số chuẩn hoá theo ngành nếu đơn vị có công cụ, và điểm chú ý của một hai bài nổi bật là đủ. Chỉ số tạp chí như hạng Q không phải là bằng chứng tác động của đề tài; chúng nói về tạp chí.

Thu thập bằng chứng dần trong suốt đề tài

Phần khó nhất của báo cáo tác động là tìm lại bằng chứng sau vài năm. Cách giải quyết là thu thập khi nó xảy ra.

1. Ngay khi bắt đầu, tạo một thư mục bằng chứng chung cho nhóm và một bảng tính với các cột: ngày, loại bằng chứng, mô tả, người dùng kết quả, tệp lưu, người ghi.
2. Mỗi khi có sự kiện như được mời tham vấn, có đơn vị xin số liệu, có bài báo đưa tin, lưu ngay tài liệu gốc vào thư mục và ghi một dòng vào bảng.
3. Mỗi khi công bố, ghi DOI, chia sẻ bằng đường dẫn DOI, và đặt lịch tra lại trích dẫn, điểm chú ý sau sáu tháng.
4. Mỗi quý, một thành viên dành nửa giờ rà bảng: bổ sung, xin thư xác nhận khi cần, kiểm đường dẫn còn sống.
5. Khi kết thúc, lọc bảng lấy những bằng chứng mạnh nhất cho báo cáo một trang; giữ phần còn lại làm phụ lục.

Thư xác nhận từ đơn vị sử dụng nên xin khi quan hệ hợp tác còn tốt và người phụ trách còn nhớ việc. Xin sau vài năm thường rất khó.

Những điều khiến báo cáo tác động yếu đi

Liệt kê mọi thứ. Ba bằng chứng mạnh thuyết phục hơn ba mươi dòng không kiểm được.

Dùng tính từ thay bằng chứng. “Có tác động sâu rộng” không nói gì; “được (cơ quan) sử dụng trong (văn bản), trang (số)” thì kiểm được.

Nhầm sản phẩm với tác động. Viết xong một bài, tổ chức một hội thảo là sản phẩm của đề tài. Tác động là điều người khác làm nhờ sản phẩm đó.

Nhận công quá mức. Khi kết quả là một trong nhiều đầu vào của một quyết định, nói rõ như vậy. Hội đồng có kinh nghiệm nhận ra ngay sự phóng đại.

Không ghi ngày và nguồn cho chỉ số. Trích dẫn và điểm chú ý thay đổi liên tục; con số không có ngày tra không kiểm lại được.

Báo cáo tác động trong các khung đánh giá hiện nay

Ở một số nước, báo cáo tác động đã thành một phần chính thức của việc đánh giá nghiên cứu. Khung đánh giá REF của Vương quốc Anh yêu cầu các trường nộp những “nghiên cứu tình huống tác động” (impact case study), mỗi bản kể một câu chuyện tác động kèm bằng chứng. Nhiều quỹ tài trợ cũng chuyển sang mẫu lý lịch dạng tường thuật, cho người nộp trình bày đóng góp bằng lời thay vì chỉ liệt kê chỉ số.

Ở Việt Nam, biểu mẫu nghiệm thu đề tài thường đã có mục kết quả ứng dụng, chuyển giao. Khung một trang trong bài này dùng được cho mục đó, và cũng dùng lại được khi viết hồ sơ xin tài trợ mới: một đề tài trước có bằng chứng tác động rõ là lý lịch tốt nhất cho đề tài sau.

Một ví dụ giả định ngắn

Đề tài về quy trình bảo quản sau thu hoạch cho một loại trái cây. Báo cáo một trang mở bằng vấn đề tổn thất sau thu hoạch ở vùng trồng; đóng góp chính là một quy trình đơn giản dùng vật liệu sẵn có. Phần người dùng nêu hai hợp tác xã đã áp dụng thử và một trung tâm khuyến nông đã đưa quy trình vào tài liệu tập huấn. Phần bằng chứng có thư xác nhận của hai hợp tác xã, bản tài liệu tập huấn có ghi nguồn, và hai bài báo địa phương đưa tin. Phần chỉ số học thuật nêu ba bài công bố, số trích dẫn tra trên một cơ sở dữ liệu kèm ngày tra.

Không có con số nào ấn tượng trong ví dụ này, nhưng mỗi dòng đều kiểm được, và người đọc hiểu ngay đề tài đã thay đổi điều gì cho ai.

Câu hỏi thường gặp