Studi Apple Ungkap Kelemahan Penalaran AI OpenAI, Google dan Meta

AKURAT.CO Sebuah studi terbaru dari Apple mengungkap bahwa kemampuan penalaran kecerdasan buatan (AI) belum sekuat yang selama ini dipercaya. Temuan ini menyoroti keterbatasan model bahasa besar (LLM) yang dikembangkan perusahaan teknologi global.

LLM dari OpenAI, Google dan Meta dikenal memiliki kemampuan analisis yang mengesankan. Namun, penelitian Apple menunjukkan bahwa kemampuan tersebut lebih dekat pada pengenalan pola daripada penalaran logis yang mendalam.

Selama ini, kemampuan penalaran AI sering diukur menggunakan tolok ukur populer seperti GSM8K. Masalahnya, dataset yang terlalu sering digunakan berpotensi membuat model AI hanya mengingat jawaban dari data pelatihan.

Untuk mengatasi bias tersebut, peneliti Apple mengembangkan metode evaluasi baru bernama GSM-Symbolic. Metode ini mempertahankan struktur soal, tetapi mengubah variabel seperti angka, nama dan tingkat kompleksitas.

Selain itu, peneliti juga menambahkan informasi yang tidak relevan ke dalam soal untuk menguji ketahanan penalaran AI. Tujuannya adalah melihat apakah model benar-benar memahami masalah atau hanya mengikuti pola tertentu.

Hasil pengujian menunjukkan bahwa performa banyak model AI menurun ketika variabel soal diubah. Penurunan akurasi terjadi pada hampir semua model yang diuji, termasuk model dari OpenAI, Google dan Meta.

Dalam pengujian, model OpenAI cenderung memiliki performa lebih baik dibandingkan model sumber terbuka. Meski demikian, perbedaan hasil antar model tetap dianggap signifikan oleh para peneliti.

Penurunan performa menjadi lebih jelas ketika soal mengandung informasi tambahan yang tidak relevan. Banyak model AI justru salah menafsirkan detail tersebut dan memasukkannya ke dalam perhitungan.

Studi dari Apple mengungkap kelemahan serius dalam kemampuan LLM. "Cacat kritis dalam kemampuan LLM untuk benar-benar memahami konsep matematika dan membedakan informasi yang relevan untuk pemecahan masalah," dikutip dari Mashable, Minggu (1/2/2026).

Meski penelitian dilakukan oleh Apple yang juga mengembangkan teknologi AI sendiri, hasilnya tetap relevan bagi industri teknologi. Studi ini menjadi pengingat bahwa kemampuan AI perlu dinilai secara kritis, bukan hanya berdasarkan hype.