Google đã ra mắt mô hình trí tuệ nhân tạo (AI) Gemini mới nhất của mình vào ngày 6 tháng 12, công bố đây là mô hình AI tiên tiến nhất hiện có trên thị trường, vượt qua GPT-4 của OpenAI.

Gemini là đa phương thức, có nghĩa là nó được xây dựng để hiểu và kết hợp các loại thông tin khác nhau. Nó có ba phiên bản (Ultra, Pro, Nano) để phục vụ các trường hợp sử dụng khác nhau và một lĩnh vực mà nó có vẻ đánh bại GPT-4 là khả năng thực hiện toán học nâng cao và mã hóa chuyên biệt.

Khi ra mắt, Google đã phát hành nhiều bài kiểm tra điểm chuẩn so sánh Gemini với GPT-4. Phiên bản Gemini Ultra đã đạt được “hiệu suất tiên tiến” ở 30 trên 32 điểm chuẩn học thuật được sử dụng trong quá trình phát triển mô hình ngôn ngữ lớn (LLM).

So sánh hiệu suất của Gemini và ChatGPT. Nguồn: Google

Tuy nhiên, đây chính là lúc các nhà phê bình trên internet chọc tức Gemini và đặt câu hỏi về các phương pháp được sử dụng trong bài kiểm tra điểm chuẩn cho thấy sự vượt trội của Gemini, cùng với hoạt động tiếp thị sản phẩm của Google.

Xúc tiến Gemini “gây hiểu lầm”

Một người dùng trên nền tảng truyền thông xã hội X làm việc trong lĩnh vực phát triển máy học đã đặt câu hỏi liệu tuyên bố của Gemini về tính ưu việt so với GPT-4 có đúng hay không.

Ông chỉ ra rằng Google có thể đang thổi phồng sự vượt trội của Gemini hoặc những ví dụ “hái anh đào” về tính ưu việt của nó. Tuy nhiên, anh ấy kết luận, “tôi cá là Gemini rất cạnh tranh và sẽ giúp GPT-4 kiếm được tiền” và sự cạnh tranh trong không gian này là tốt.

Tuy nhiên, ngay sau đó, anh ấy đã đăng bài thứ hai nói rằng Google nên “xấu hổ” vì quảng cáo sản phẩm “gây hiểu lầm” trong một video quảng cáo mà họ tạo ra để phát hành Gemini.

Đáp lại dòng tweet của anh ấy, những người dùng X khác đã lên tiếng về việc cảm thấy bị lừa dối bởi hình ảnh Song Tử của Google. Một người dùng cho biết những tuyên bố rằng Gemini sẽ kết thúc kỷ nguyên GPT-4 đã bị “hủy bỏ”.

Một người dùng khác, một nhà khoa học máy tính, cũng đồng ý và gọi việc Google mô tả sự vượt trội của Gemini là “không thành thật”.

Điểm chuẩn hỏng

Người dùng chỉ ra rằng Google đã đưa vào các điểm chuẩn sử dụng phiên bản GPT-4 đã lỗi thời thay vì dung lượng hiện tại của nó và do đó những so sánh là dư thừa.

Một lĩnh vực khác mà các nhà thám hiểm mạng xã hội quan tâm là các thông số mà Google sử dụng để so sánh mô hình Gemini của họ với GPT-4. Hơn nữa, lời nhắc đưa ra cho cả hai mô hình không giống nhau, điều này có thể có tác động lớn đến kết quả.

Người dùng cũng chỉ ra rằng kết quả đạt được bằng cách sử dụng các thử nghiệm được thực hiện trên một mô hình “hiện chưa được công bố rộng rãi”. Một người dùng khác chỉ ra rằng điểm số có thể khác nếu mẫu cao cấp của Gemini được thử nghiệm với phiên bản cao cấp của GPT-4 được gọi là “turbo”.

Để kiểm tra

Những người dùng mạng xã hội khác đã quyết định loại bỏ các điểm chuẩn do Google công bố và thay vào đó họ mô tả trải nghiệm của chính họ với Gemini so với GPT-4.

Anne Moss, người làm việc trong các dịch vụ xuất bản web và tự nhận là người dùng thường xuyên của AI, đặc biệt là GPT-4, cho biết cô đã sử dụng Gemini thông qua công cụ Bard của Google và cảm thấy “không hài lòng với trải nghiệm này”.

Cô kết luận rằng hiện tại cô sẽ bám sát GPT-4 để giải thích rằng những điểm khác biệt mà cô lưu ý bao gồm việc Gemini/Bard từ chối trả lời các câu hỏi chính trị và “nói dối” về việc biết thông tin cá nhân.

Một người dùng khác làm việc trong lĩnh vực phát triển ứng dụng đã đăng ảnh chụp màn hình, trong đó anh ta yêu cầu cả hai mô hình, thông qua cùng một lời nhắc, tạo mã dựa trên một bức ảnh. Anh ấy chỉ ra phản ứng kém cỏi của Gemini/Bard so với GPT-4.

Theo Google, họ có kế hoạch tung ra Gemini rộng rãi hơn cho công chúng vào đầu năm 2024. Mô hình này cũng sẽ được tích hợp với bộ ứng dụng và dịch vụ của Google.