MotionVideo
0:15DeepSeek model benchmark results and animation test
DeepSeek model benchmark results and animation test — @erhanmeydan による DeepSeek V4.1 Flash 1017 の作品。動画と作者の原投稿から作品の背景を確認できます。
0:11 · 4 いいね（収録時のデータ） · 1.2K 再生（収録時のデータ）
作者の投稿
作者の投稿と元の作品タイトルは原文のまま掲載しています。
DeepSeek, V4.1 Flash için “küçük güncelleme” diye DeepSeek-V4.1-Flash-1017'yi yayınladı. Kendi tablolarına bakınca sıçrama hiç küçük durmuyor.
Kendi video animasyon benchmarkımı da ekledim. Benim testime göre animasyonu bir kere daha çalışması gerekti ve 24 dakika sürdü. Ama bu rağmen 2 cent daha ucuza yaptı.
Önceki sürüme göre (DeepSeek’in kendi testlerine göre):
→ Terminal-Bench 4.0 (terminalde gerçek iş yaptırma): 31,2'den 42,3'e çıkmış
→ ProgramBench (sıfırdan program yazdırma): 20,3'ten 29,1'e
→ HLE (araçsız, çok zor sorular): 36,8'den 42,6'ya
→ Aynı işi daha kısa cevaplarla ve daha hızlı bitirdiği söyleniyor, ama bunun için rakam paylaşılmamış
Tabloda Opus 5 ve GPT-5.6 Sol da var.
→ DeepSWE (gerçek yazılım hatalarını çözme), Automation-Bench ve Agents’ Last Exam gibi agent testlerinde Opus 5'in önünde görünüyor
→ HLE, Terminal-Bench, ProgramBench ve görsel testlerin çoğunda Opus 5 hala açık ara önde (HLE’de 42,6'ya karşı 56,3)
→ ZeroBench’te GPT-5.6 Sol’un da gerisinde
→ Terminal-Bench, Claude Code altyapısıyla ölçülmüş. Rakiplerin aynı koşullarda ölçülüp ölçülmediği yazmıyor
これは作者の投稿であり、検証済みの生成プロンプトではありません。
