Benchgen

Türkçe Genel Kültür Benchmark

1 phaseActive

50 soruluk Türkçe genel kültür çoktan seçmeli (A/B/C/D) benchmark'ı. Coğrafya, tarih, bilim, edebiyat ve matematik gibi konuları kapsar. Model bağlantısı ve ek ayarlar ORTAM DEĞİŞKENLERİYLE (env-var-first) verilir; model.py gerekmez. Skorlama deterministiktir (tam eşleşme doğruluğu), LLM-as-judge gerektirmez.

Genel Bakış

Türkçe Genel Kültür Benchmark (Env)

50 soruluk, çoktan seçmeli (A/B/C/D) bir Türkçe genel kültür testidir. Amaç, env-var tabanlı çalıştırma akışını uçtan uca denemek için basit ve hızlı bir benchmark sağlamaktır.

Konular

Coğrafya, tarih, bilim, edebiyat, matematik ve genel kültür.

Görev

Modele her soru, dört şıkkıyla birlikte verilir. Modelin yalnızca doğru şıkkın harfini (A, B, C veya D) üretmesi beklenir.

Soru: Türkiye'nin başkenti hangisidir?
A) Ankara
B) İstanbul
C) İzmir
D) Bursa
Doğru şıkkın harfini yaz (A/B/C/D):

Skorlama

Deterministik — tam eşleşme doğruluğu (accuracy = doğru / toplam). Harici bir LLM-as-judge gerekmez. Lider tablosu accuracy (doğruluk) sütununa göre sıralanır.

Env-var-first

Model bağlantısı model.py ile değil, ortam değişkenleriyle verilir. Platform seçtiğiniz modelin api_url / api_key / model_name bilgilerini konteynere enjekte eder (GK_* önekiyle veya jenerik MODEL_* anahtarlarıyla).

Çalıştırma ekranındaki Advanced panelinden şunları ekleyebilirsiniz:

  • GK_SYSTEM_PROMPT — varsayılan sistem promptunu geçersiz kılar.
  • GK_MAX_QUESTIONS — yalnızca ilk N soruyu çalıştırır (hızlı deneme için, ör. 5).