ChatGPT là một chatbot AI được phát triển bởi OpenAI. Nó có khả năng thực hiện các cuộc trò chuyện tương tác, phản hồi như con người thông qua chatbot. Mặc dù người dùng có thể truy cập ChatGPT miễn phí, song, thực tế là OpenAI đã chi rất nhiều tiền để duy trì hoạt động của ChatGPT.

chatgpt

Sau đây là một số sự thật ít được biết đến về ChatGPT, qua đó có thể cung cấp cho bạn những khía cạnh khác nhau về việc phát triển và vận hành một dịch vụ AI.

Thực tế, chi phí chạy ChatGPT là 100,000 USD mỗi ngày.

Theo phân tích, ChatGPT được lưu trữ trên Microsoft Azure Cloud nên OpenAI không phải mua phòng máy chủ vật lý để thiết lập. Theo tốc độ hiện tại, Microsoft tính phí 3$ một giờ cho một GPU A100 và mỗi từ được tạo trên ChatGPT có giá 0,0003$.

Một phản hồi từ ChatGPT thường sẽ có ít nhất 30 từ, do đó, mỗi phản hồi đơn lẻ từ ChatGPT sẽ tiêu tốn ít nhất 1 xu cho công ty. Hiện tại, người ta ước tính rằng OpenAI đang chi ít nhất 100 nghìn đô la mỗi ngày hoặc 3 triệu đô la mỗi tháng cho chi phí vận hành.

Mỗi truy vấn ChatGPT duy nhất sử dụng ít nhất 8 GPU

Theo Goldstein, Phó giáo sư tại Maryland, một GPU NVIDIA A100 đơn lẻ có khả năng chạy mô hình 3 tỷ tham số trong khoảng 6ms. Với tốc độ này, một GPU NVIDIA A100 có thể mất 350 mili giây để in ra chỉ một từ trên ChatGPT.

Với phiên bản 3.5 mới nhất của ChatGPT có hơn 175 tỷ tham số, để có được đầu ra cho một truy vấn, nó cần ít nhất 5 GPU A100 để tải mô hình và văn bản. ChatGPT có khả năng xuất khoảng 15-20 từ mỗi giây, do đó, nó cần một máy chủ có ít nhất 8 GPU A100.

ChatGPT không có câu trả lời cho tất cả các câu hỏi của bạn

Mặc dù cho thấy là chatbot AI dẫn đầu xu thế, nhưng ChatGPT được đào tạo bằng cách sử dụng các mô hình được tạo từ năm 2021 hoặc trước đó. Do vậy, nó có thể không cung cấp cho bạn câu trả lời chính xác cho tất cả các truy vấn.

ChatGPT có hơn một triệu người dùng

Chỉ trong vài ngày kể từ khi ra mắt chính thức, ChatGPT đã có hơn 1 triệu người dùng. Mặc dù hầu hết trong số này có thể không phải là người dùng tích cực, nhưng OpenAI chắc chắn đã thu hút được nhiều người dùng trong một khoảng thời gian ngắn. Tuy nhiên, công ty này cần làm nhiều hơn thế để bán lẻ tất cả những người dùng nhằm biến ChatGPT trở thành một công cụ AI có lợi nhuận.

Tham khảo và dịch tại: OpenAI’s ChatGPT chatbot: Here’s how much it costs to run per day

Đọc thêm về ChatGPT tại: https://techmaster.vn/posts/37414/hoi-dap-voi-chatgpt

Các lộ trình dự kiến khai giảng ngay sau Tết Nguyên Đán 2023:
DevOps: https://devops.techmaster.vn/
AWS: https://aws.techmaster.vn/
Flutter: https://flutter.techmaster.vn/