23.2.23

ChatGPT: nghiên cứu của chúng tôi cho thấy AI có thể tạo ra các bài báo học thuật đủ tốt để đăng lên các tạp chí – cũng như có một số tạp chí đã cấm nó

CHATGPT: NGHIÊN CỨU CỦA CHÚNG TÔI CHO THẤY "AI" CÓ THỂ TẠO RA CÁC BÀI BÁO HỌC THUẬT ĐỦ TỐT ĐỂ ĐĂNG LÊN CÁC TẠP CHÍ –CŨNG NHƯ CÓ MỘT SỐ TẠP CHÍ ĐÃ CẤM NÓ

Xuất bản: 26 tháng 1 năm 2023 1 giờ 38 phút chiều theo giờ GMT
Cập nhật: 27 tháng 1 năm 2023 4 giờ 34 phút chiều theo giờ GMT

Ảnh: Shutterstock

Một số nhà xuất bản tạp chí học thuật lớn nhất thế giới đã cấm hoặc hạn chế tác giả của họ sử dụng con chatbot tiên tiến, ChatGPT. Vì lý do bot sử dụng thông tin từ internet để đưa ra các câu trả lời dễ đọc cho những câu hỏi nên các nhà xuất bản lo lắng rằng những công trình không chính xác hoặc đạo văn có thể lọt vào tài liệu học thuật.

Vài nhà nghiên cứu đã đưa ChatGPT vào danh sách đồng tác giả trong các nghiên cứu học thuật và một số nhà xuất bản đã chuyển sang cấm hành động này. Nhưng tổng biên tập của Science, một trong những tạp chí khoa học hàng đầu trên thế giới, đã đi một bước xa hơn, cấm sử dụng bất kỳ văn bản nào từ chương trình AI trong các bài báo đã nộp cho tạp chí.

Không có gì lạ khi việc sử dụng các chatbot như vậy được các nhà xuất bản học thuật quan tâm. Nghiên cứu gần đây của chúng tôi, xuất bản trong Finance Research Letters, cho thấy có thể dùng ChatGPT để viết ra một bài báo tài chính có khả năng được tạp chí học thuật chấp nhận. Mặc dù con bot hoạt động tốt hơn trong một vài lĩnh vực so với số còn lại, việc bổ sung kiến ​​thức chuyên môn của chúng tôi đã giúp khắc phục các hạn chế của chương trình trong mắt những biên tập viên các tạp chí.

Tuy nhiên, chúng tôi lập luận rằng các nhà xuất bản và nhà nghiên cứu không nhất thiết phải coi ChatGPT là mối đe dọa mà nên xem nó là một trợ lý quan trọng đầy tiềm năng cho nghiên cứu – một trợ lý điện tử với chi phí thấp hoặc thậm chí miễn phí.

Ý nghĩ của chúng tôi: nếu chỉ cần dùng ChatGPT là dễ dàng đạt được các kết quả tốt thì có lẽ chúng ta có thể bổ sung điều gì đó để biến các kết quả tốt này thành những kết quả tuyệt vời.

Trước tiên, chúng tôi yêu cầu ChatGPT tạo bốn phần tiêu chuẩn của một nghiên cứu: ý tưởng nghiên cứu, đánh giá tài liệu (đánh giá nghiên cứu học thuật trước đó về cùng chủ đề), bộ dữ liệu và đề xuất để thử nghiệm và kiểm tra. Chúng tôi chỉ xác định chủ đề chung và yêu cầu đầu ra phải có khả năng được xuất bản trên “một tạp chí tài chính tốt”.

Đây là phiên bản số một trong những cách chúng tôi chọn sử dụng ChatGPT. Đối với phiên bản hai, chúng tôi đã dán vào cửa sổ ChatGPT gần 200 bản tóm tắt (giản lược) về các nghiên cứu thích hợp hiện có.

Sau đó, chúng tôi đã yêu cầu chương trình chú ý đến những thông tin trên khi tạo bốn phân đoạn nghiên cứu. Cuối cùng, đối với phiên bản ba, chúng tôi đã thêm "kiến thức chuyên môn" – thông tin đầu vào từ các nhà nghiên cứu hàn lâm. Chúng tôi đọc các câu trả lời mà chương trình máy tính tạo ra và đưa ra các đề xuất cải tiến. Khi làm thế, chúng tôi đã tích hợp chuyên môn của mình với chuyên môn của ChatGPT.

Sau đó, chúng tôi đã yêu cầu một nhóm gồm 32 người đánh giá, mỗi người đánh giá một phiên bản về cách ChatGPT có thể được sử dụng để tạo ra một nghiên cứu học thuật. Những người phản biện được yêu cầu đánh giá xem kết quả đầu ra có đủ toàn diện, chính xác hay không và liệu nó có đóng góp đủ mới lạ để được xuất bản trên một tạp chí tài chính học thuật “tốt” hay không.

Điều rút ra được ở đây là tất cả những nghiên cứu này nhìn chung đều được các chuyên gia đánh giá chấp nhận được. Chuyện này thật đáng kinh ngạc: một chatbot được cho là có khả năng tạo ra các ý tưởng nghiên cứu học thuật chất lượng. Điều này đặt ra những câu hỏi cơ bản xung quanh ý nghĩa của sự sáng tạo và quyền sở hữu những ý tưởng sáng tạo — những câu hỏi chưa ai có câu trả lời chắc chắn.

ChatGPT có thể giúp dân chủ hóa quá trình nghiên cứu. Ảnh: Shutterstock

Điểm mạnh và điểm yếu

Kết quả cũng làm nổi bật một số điểm mạnh và điểm yếu tiềm ẩn của ChatGPT. Chúng tôi thấy rằng các phần nghiên cứu khác nhau được đánh giá khác nhau. Ý tưởng nghiên cứu và bộ dữ liệu có xu hướng được đánh giá cao. Phần tài liệu và đề xuất thử nghiệm được đánh giá thấp hơn nhưng vẫn ở mức chấp nhận được.

Chúng tôi ngờ rằng ChatGPT đặc biệt mạnh trong việc lấy một tập hợp các văn bản bên ngoài và kết nối chúng lại với nhau (bản chất của ý tưởng nghiên cứu) hoặc lấy các phần dễ nhận biết từ một tài liệu và điều chỉnh chúng (ví dụ là tóm tắt dữ liệu – một "đoạn văn bản" dễ nhận biết trong hầu hết các nghiên cứu).

Một điểm yếu tương đối của nền tảng trở nên rõ ràng khi nhiệm vụ phức tạp lên – khi có quá nhiều giai đoạn trong quy trình khái niệm. Các đánh giá tài liệu và kiểm tra có xu hướng rơi vào danh mục này. ChatGPT có xu hướng làm tốt ở một số nhưng không phải tất cả các bước. Dường như các nhà phê bình đã để ý thấy điều đó.

Tuy nhiên, chúng tôi đã khắc phục được những hạn chế này trong phiên bản nâng cao nhất (phiên bản ba), trong đó chúng tôi đã làm việc cùng ChatGPT để đưa ra kết quả có thể chấp nhận được. Tất cả các phần của nghiên cứu nâng cao sau đó được các nhà phê bình đánh giá cao, điều này cho thấy vai trò của các nhà nghiên cứu hàn lâm vẫn chưa thể bị xóa bỏ hoàn toàn.

Các hệ quả đạo đức

ChatGPT là một công cụ. Trong nghiên cứu của mình, chúng tôi đã chỉ ra rằng, nếu cẩn thận, nó có thể được dùng để tạo ra một nghiên cứu tài chính chấp nhận được. Ngay cả khi không được quan tâm, nó vẫn tạo ra công trình có vẻ đúng.

Điều này có một số hệ quả đạo đức rõ ràng. Tính liêm chính của nghiên cứu vốn đã là một vấn đề cấp bách trong giới học thuật và các trang web như RetractionWatch cứ đều đặn đăng tải các nghiên cứu giả mạo, đạo văn và sai hoàn toàn. ChatGPT có thể khiến vấn đề này trở nên tồi tệ hơn không?

Trả lời ngắn gọn là có. Nhưng đây là chuyện đã rồi. Công nghệ cũng chỉ ngày càng tốt hơn (và nhanh nữa). Làm sao chúng ta công nhận và giám sát vai trò của ChatGPT trong nghiên cứu một cách chính xác là câu hỏi lớn hơn cho dịp khác. Nhưng những phát hiện của chúng tôi cũng hữu ích về mặt này – nhờ nhận thấy rằng phiên bản nghiên cứu ChatGPT kết hợp chuyên môn của nhà nghiên cứu vượt trội hơn hẳn, chúng tôi chứng tỏ đầu vào của các nhà nghiên cứu con người vẫn rất quan trọng trong việc tạo ra nghiên cứu chấp nhận được.

Hiện tại, chúng tôi cho rằng các nhà nghiên cứu nên xem ChatGPT như một trợ lý chứ không phải như một mối đe dọa. Nó có lẽ đặc biệt thích hợp làm trợ lý cho các nhóm nghiên cứu có xu hướng thiếu nguồn tài chính để tìm (người) hỗ trợ truyền thống như: các nhà nghiên cứu nền kinh tế mới nổi, sinh viên cao học và các nhà nghiên cứu mới bắt đầu sự nghiệp. Có thể ChatGPT (và các chương trình tương tự) sẽ giúp dân chủ hóa quá trình nghiên cứu.

Nhưng các nhà nghiên cứu cần lưu ý về lệnh cấm sử dụng con bot trong việc chuẩn bị các bài báo. Rõ ràng là có nhiều quan điểm vô cùng khác nhau về công nghệ này, thế nên cần cẩn thận khi dùng ChatGPT.

Bài viết này đã được cập nhật vào ngày 27 tháng 1 nhằm phản ánh tin tức các nhà xuất bản học thuật xử lý vấn đề ChatGPT trong chính sách biên tập của họ.

Tác giả

Brian Lucey
Michael Dowling

Brian Lucey

Giáo sư Tài chính Quốc tế và Hàng hóa, Cao đẳng Trinity Dublin

Michael Dowling

Giáo sư Tài chính, Đại học Thành phố Dublin

Tuyên bố công khai

Các tác giả không làm việc, tư vấn, sở hữu cổ phần trong hoặc nhận tài trợ từ bất kỳ công ty hoặc tổ chức nào có thể hưởng lợi từ bài viết này và không có sự trực thuộc nào ngoài giới chuyên môn của mình.

Huỳnh Thị Thanh Trúc dịch

Nguồn: ChatGPT: our study shows AI can produce academic papers good enough for journals – just as some ban it, The Conversation, Jan 26, 2023.

---

Bài có liên quan:

  • Vì sao người ta nói nhiều về ChatGPT?
  • Tương lai nào cho các nhà sản xuất nội dung? Cuộc trò chuyện với… ChatGPT!
  • Tóm tắt do ChatGPT viết qua mặt các nhà khoa học
  • ChatGPT được đưa vào danh sách tác giả trên các bài nghiên cứu: nhiều nhà khoa học không tán thành
  • ChatGPT sẽ làm chúng ta bớt cả tin không?
  • Print Friendly and PDF