
Deepseek menaklukkan dunia seluler, dan sekarang sedang berkembang ke Windows-menjadi mengejutkan bahwa dengan dukungan Microsoft. Ya, raksasa perangkat lunak menambahkan model Deepseek R1 ke pengecoran AZure AI untuk memungkinkan pengembang menguji dan membangun aplikasi dan layanan berbasis cloud. Hari ini, Microsoft mengumumkan bahwa mereka membawa versi distilasi R1 ke Copilot+ PC.
Jenis distilasi dapat pertama kali digunakan untuk perangkat yang disediakan oleh chip Snapdragon X.
Model pertama adalah Deepseek-R1-Distil-Qwen -55B (yaitu, model parameter 1,5 miliar). Ini akan diunduh dari Microsoft’s AI Toolkit.
Microsoft harus menyesuaikan model -model ini untuk mengoptimalkannya berjalan pada perangkat dengan NPU. Sejumlah besar akses relai ke CPU, seperti operasi padat komputasi yang dioperasikan oleh blok transformator (blok transformator) pada NPU. Melalui optimasi, Microsoft mengelola waktu cepat pertama dari token pertama (130ms), dan throughput pengingat pendek (64 token) adalah 16 token per detik. Harap dicatat bahwa “token” mirip dengan vokal (yang penting, token menggunakan banyak karakter).
Microsoft adalah pendukung perusahaan OpenI (produsen chatgpt dan gpt -4o) dan berinvestasi dalam investasi dalam -dua, tetapi tampaknya tidak memainkan taman bermain “favorit” memiliki model GPT (openai), llama (meta ) (Meta), Mistral (Mistral AI), sekarang Deepseek.
Deepseek R1 di Azure Ai Casting Playground
Bagaimanapun, jika Anda lebih suka AI lokal, pertama unduh AI Toolkit untuk kode VS. Dari sana, Anda harus dapat mengunduh model lokal (seperti “Deepseek_R1_1_5” adalah model 1.5b). Akhirnya, cobalah untuk mencoba di taman bermain untuk melihat seberapa pintar versi distilasi R1.
“Model Distilasi” (disebut sebagai “Distilasi Pengetahuan”) adalah proses menggunakan model AI besar (lengkap Deepseek R1 dengan 671 miliar parameter) dan mentransfernya sebanyak mungkin ke model kecil sebanyak mungkin (seperti 15 100 juta parameter). Ini bukan proses yang sempurna, dan fungsi jenis distilasi tidak sebagus model penuh, tetapi ukurannya kecil.
sumber