Setelah mengalami kesuksesan besar, ChatGPT banyak digunakan publik untuk berbagai kepentingan. Mulai dari membantu memperbaiki tulisan, penerjemahan, hingga ide copy product. Namun seiring dengan pertumbuhan pengguna belakangan ChatGPT mengalami penurunan mutu dan makin memburuk pada layanan yang ada.

Beberapa perintah yang diberikan tidak segera dikerjakan dan hasilnya juga semakin memburuk. Selama ini ChatGPT juga memiliki problem pada hal kredibilitas, dimana temuan-temuan jurnal atau artikel yang diberikan ternyata tidak pernah dibuat. Hal ini semakin memperparah misinformasi dan menjadi tantangan tersendiri bagi pengembang.

Sebenarnya bagaimana sih cara kerja ChatGPT sehingga menjadi lambat? Saat kita memasukkan kueri, ChatGPT harus menganalisisnya, memahami konteksnya, dan memberikan respons yang akurat dan bijaksana. Proses ini tidak sesederhana kelihatannya dan membutuhkan daya komputasi yang besar.

Inilah sebabnya terkadang pihak pengembang juga menghadapi masalah seperti ChatGPT tidak berfungsi dengan benar. Dan perlu diingat, ada ratusan ribu pengguna yang menanyakan pertanyaan seperti itu dan terkadang, server tidak dapat memenuhi semua permintaan tersebut. Apalagi jika seluruh perintah tersebut dilakukan secara realtime.

Salah satu alasan utama ChatGPT melambat adalah karena keterbatasan teknis arsitektur GPT. Arsitektur GPT adalah model pembelajaran mendalam yang memerlukan banyak daya komputasi untuk beroperasi. Saat Anda berinteraksi dengan ChatGPT, kueri kita dikirim ke server yang memprosesnya, yang dapat memakan waktu cukup lama.

Koneksi internet atau kinerja perangkat kita juga dapat memengaruhi waktu respons ChatGPT. Koneksi internet yang lambat berarti permintaan kita memerlukan waktu beberapa saat untuk mencapai server, yang pada gilirannya, meningkatkan waktu respons secara keseluruhan. Demikian pula, perangkat lama atau perangkat dengan sumber daya terbatas akan kesulitan menangani pemrosesan yang diperlukan oleh ChatGPT.

Selain itu, secara sederhana, model bahasa adalah program komputer yang membantu komputer memahami cara manusia berbicara dan menulis. ChatGPT sendiri menggunakan model bahasa yang sering kali berukuran besar dan kompleks. Model-model ini memerlukan sumber daya komputasi yang signifikan untuk beroperasi. Hal ini menyebabkan keterlambatan waktu pemrosesan, terutama saat menangani kueri yang lebih kompleks atau berdurasi panjang.

Alasan lain lambatnya kinerja ChatGPT adalah kesulitan dalam memproses kueri yang kompleks. NLP (Natural Language Processing) adalah tugas kompleks yang membutuhkan banyak daya komputasi karena membantu AI memahami kueri. Jadi, saat ChatGPT menerima kueri yang kompleks, pemrosesannya memerlukan waktu lebih lama, sehingga menyebabkan waktu respons lebih lambat. Selain itu jika kita menggunakan akun gratis biasanya memiliki sumber daya dan bandwidth yang terbatas, sedangkan akun berbayar memiliki jumlah sumber daya yang lebih besar dan bandwidth yang lebih tinggi. ChatGPT lebih menyukai akun berbayar dan menawarkan konektivitas yang lebih baik meskipun ada permintaan, waktu respons lebih cepat, dan akses awal ke fitur-fitur baru. Hal ini pada gilirannya memperlambat konektivitas akun gratis.

Sumber: https://www.mlyearning.org/why-is-chatgpt-slow/