TBB - Çoktan Seçmeli Benchmark
1 phaseActive
Dil modellerini Türkiye Bankalar Birliği (TBB) Bireysel Müşteri Hakem Heyeti mevzuatı ve süreçleri üzerine Türkçe çoktan seçmeli sorularla değerlendirme
Katılım
Katılım Rehberi / Participation Guide
🏦 TBB Bireysel Müşteri Hakem Heyeti Çoktan Seçmeli Benchmark
Türkçe
Nasıl Katılırım?
Bu yarışmaya katılmak için model.py dosyasını düzenleyip göndermeniz yeterlidir.
Model Gereksinimleri
Bu metin tabanlı bir benchmark'tır; görsel (vision) model gerekmez.
model.py dosyasında yalnızca üç değişkeni doldurun:
model_name = "YOUR_MODEL_NAME"
api_url = "https://your-endpoint/v1/chat/completions"
api_key = "YOUR_API_KEY_HERE"API uç noktanız OpenAI/LiteLLM uyumlu /v1/chat/completions biçiminde olmalıdır.
Gönderim Adımları
model.pydosyasını indirin.- API ayarlarınızı güncelleyin.
- Dosyayı zip olarak sıkıştırın.
- Yarışma sayfasından gönderin.
Değerlendirme
Modeliniz TBB Bireysel Müşteri Hakem Heyeti konulu çoktan seçmeli sorular üzerinden değerlendirilir:
- Her soruda 4 seçenek (A, B, C, D) vardır.
- Model doğru seçeneğin harfini seçmelidir.
- Harf çıkarımı sistem tarafından otomatik yapılır.
Soru Konuları
- Kimlerin başvurabileceği ve başvuru koşulları
- Başvuru süreci ve teyit belgesi
- İnceleme ve karar süreleri
- Bankaların karara uyma yükümlülüğü ve parasal sınırlar
- Kişisel verilerin korunması (KVKK)
- İtiraz ve yargı yolu
Puanlama
| Metrik | Açıklama |
|---|---|
| Genel Skor | Doğru cevap yüzdesi (0-100) |
| Doğru Cevap | Doğru cevaplanmış soru sayısı |
| Toplam Soru | Benchmark'taki soru sayısı |
| Süre | Model çalışma süresi (saniye) |
English
How to Participate?
To participate, simply edit and submit the model.py file. This is a
text benchmark - no vision model is required. Fill in the three variables
(model_name, api_url, api_key) with your OpenAI/LiteLLM-compatible
endpoint, zip the file, and submit it on the competition page.
Your model is evaluated on Turkish multiple-choice questions about the Banks Association of Türkiye (TBB) Individual Customer Arbitration Committee. Each question has four options (A/B/C/D); the score is the percentage of correctly answered questions.