Büyük Dil Modelleri Çağında Bilgi Edinmek

Büyük dil modelleri (LLM) günlük çalışma düzenimin bir parçası haline geldiğinden beri, bilgiyle ilişkimin de sessizce değiştiğini fark ediyorum. Bu yazı, o değişimin elle tutulur bulduklarımın listesi — hem bir kullanım kılavuzu, hem bir uyarı yazısı.

Akıcılık yanılsaması

Dil modellerinin akıcı metinleri neden yanıltıcı olabilir?

Bir dil modeli, en yalın tanımıyla, metnin olası devamını tahmin eden bir sistemdir. Eğitim sırasında milyarlarca metinden dilin istatistiksel dokusunu öğrenir; bu doku yalnızca gramatik değil, kültürel ve kavramsaldır da. Bu yüzden ürettiği metin akıcıdır. Psikoloji araştırmaları da kolay okunan ve akıcı ifadelerin daha doğru algılandığını gösteriyor.

Ama akıcılık, doğrulukla aynı şey değildir. Model, bir gerçeği “biliyorken” de bir şeyleri uydururken de aynı kendinden emin tonda yazar. İşte bu ikisi arasındaki sessizlik, en tehlikeli kısımdır: yanlış bilgi, doğru bilgiyle aynı sesle konuşur.

Tarihçilikte bunun bir karşılığı var: tanıklar da kendinden emin olabilir. Bu yüzden eski yöntem, tanığın anlatısını değil, anlatının nereden geldiğini sorgular.

Doğrulama yeni okuryazarlıktır

Yapay zekâ çıktıları nasıl doğrulanmalı?

Dil modellerinden önce “kaynak doğrulama” belirli mesleklerin uzmanlık alanıydı. Artık değil. Modelin verdiği bir URL’yi açmak, bir sayıyı kendi hesaplamak, bir kodu gerçekten çalıştırmak — bunlar artık herkesin temel becerisi olmak zorunda.

Kendi uyguladığım kaba kural şu: model çıktısı, varsayılan olarak taslaktır. Yayınlamadan, göndermeden, karar vermeden önce doğrulanmamış hiçbir satır bende kalıcılaşmaz. Bu, işi yavaşlatan bir kural değil; tam tersine, taslağın hızını güvenle kullanmanın tek yolu.

Modellerin gerçekten parladığı yerler

Dil modelleri hangi işlerde gerçekten iyidir?

Deneyimimde LLM’ler şu işlerde tutarlı biçimde hızlıdır:

• İlk taslak üretmek: boş sayfa korkusunu ortadan kaldırır; kötü bir taslak, mükemmel bir boşluktan iyidir.
• Sıkıcı dönüşümler: biçim değişiklikleri, şablon doldurma, iskelet kod — mekanik her şey.
• Karşılıklı tercüme: teknik metinler arasında hızlı bir ilk çeviri.
• Bilinmeyene giriş: yeni bir kavramın haritasını çizmek; ama harita, arazi değildir¹ — mutlaka birincil kaynaklarla dolaşılır.

Modellerin yanıltıcı olduğu yerler

Dil modelleri hangi konularda hata yapar?

• Kaynak gösterme: Model, var olmayan bir kitaba, makaleye ya da API fonksiyonuna güvenle atıf yapabilir. 2023’te yapılan bir araştırmada GPT-3.5’in ürettiği kaynakların yarıdan fazlası, GPT-4’ünkülerin ise yaklaşık beşte biri uydurma çıktı. Bu yüzden her atıf tek tek açılıp kontrol edilmeli.
• Sayısal akıl yürütme: aritmetik, model için dil problemidir; hesap makinesi için değildir.
• Uzun zincirli mantık: her adımı doğru görünen bir argüman, bütün olarak yanlış olabilir.
• Kesinlik gerektiren alanlar: hukuk, tıp, para — burada model bir taslak asistanıdır, karar verici asla.

Öğrenme sorunu: kolaylığın bedeli

Yapay zekâ öğrenmeyi zorlaştırır mı?

En çok düşündüren konu bu: Öğrenme, tanımı gereği biraz zahmetlidir. Bilişsel psikolog Robert Bjork, 1994’te bu duruma “istenen zorluklar” (desirable difficulties) adını verdi. Aralıklı tekrar ya da kendini sınama gibi bazı zorluklar, öğrenmeyi o an yavaşlatır ama uzun vadede kalıcı hale getirir. Hazır cevaplar bu tür zorlukları ortadan kaldırabilir.

Modelden her cevabı hazır alarak geçen bir öğrenme süreci, hızlı görünür ama yüzeyde kalır. Kendi çapımda uyguladığım denge şu: bir şeyi öğrenmek istediğimde önce kendi notlarım ve kaynaklarımla uğraşıyorum; modeli ancak sonra, uğraştığım yerdeki boşlukları doldurmak için kullanıyorum. Üretmek istediğimde sıra tersine dönüyor.

Küçük bir manifesto

Dil modelleriyle çalışırken hangi ilkelere uymalı?

Uzun lafın kısası, dil modelleriyle yaşamak için tuttuğum ilkeler şunlar:

1. Akıcılık, kanıt değildir.
2. Her atıf doğrulanır; her sayı hesaplanır; her kod çalıştırılır.
3. Model bir taslak ortağıdır; imza sahibi değildir.
4. Öğrenirken önce kendi çaban, sonra modelin yardımı.
5. Yanlış bir cevabı hızlı almak, yavaş bir doğruyu bulmaktan pahalıya gelebilir.

Bunlar yazılımdan tarih yazımına kadar her yerde geçerli olan eski ilkelerin yeni kostümleri aslında. Belki de yapay zekâ çağının en büyük dersi, en eski dersi yeniden öğretmek olacak: gördüğüne inanma; gösterildiği gibi değil, olduğu gibi bak.

Dipnotlar

1. Bu ifade, düşünür Alfred Korzybski’nin “Harita, arazi değildir” (The map is not the territory) sözüne dayanır. ↩

Kaynakça

1. Bender, E. M., Gebru, T., McMillan-Major, A. ve Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency içinde (s. 610–623). ACM. https://doi.org/10.1145/3442188.3445922
2. Bjork, R. A. (1994). Memory and metamemory considerations in the training of human beings. J. Metcalfe ve A. P. Shimamura (Ed.), Metacognition: Knowing about knowing içinde (s. 185–205). MIT Press.
3. Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., Ishii, E., Bang, Y. J., Madotto, A. ve Fung, P. (2023). Survey of hallucination in natural language generation. ACM Computing Surveys, 55(12), 248. https://doi.org/10.1145/3571730
4. Reber, R. ve Schwarz, N. (1999). Effects of perceptual fluency on judgments of truth. Consciousness and Cognition, 8(3), 338–342. https://doi.org/10.1006/ccog.1999.0386
5. Walters, W. H. ve Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, 14045. https://doi.org/10.1038/s41598-023-41032-5