微软发布3款Phi-3.5模子
微软本周借由Hugging Face发布了3款Phi-3.5模子，它们分离是Phi-3.5-mini、Phi-3.5-MoE，以及Phi-3.5-vision，且其中的Phi-3.5-MoE在扩充智商上卓著了好多比它还大的模子，智商还面临GPT-4o-mini。
Phi系列是微软所设立的微型道话模子（SLM），盼愿粗略在最大化AI智商的情状下缩小资源的使用，以于期骗局势中竣事具本钱效益的生成式AI部署。最早的Phi-1主要用来撰写Python局势代码，Phi-1.5把稳于扩充及融合，Phi-2强调对道话的融合，Phi-3则守旧道话融合、扩充当务，且在撰写局势代码的基准测试上也有可以的弘扬。
在新的Phi-3.5家眷中，Phi-3.5-mini领有38亿个参数，以3.4兆个Token进行10天的测验，守旧12.8万个Token的条理长度。
Phi-3.5-MoE则是个基于混杂各人（Mixture of Experts，MoE）架构的模子，内置16个各人及每个各人的38亿个参数，MoE的特点便是它并非每次皆会激活总共各人，而Phi-3.5-MoE每次只会激活两个各人。它所守旧的条理长度也为12.8万个Token，所以4.9兆个Token进行23天的测验。
上述两个模子皆是输入文本提醒，而Phi-3.5-vision则是个多模态模子，它领有42亿个参数，内置图像编码器、相连器、投影机，以及Phi-3 mini道话模子，守旧12.8万个Token的条理，可同期输入文本及图像，所以5,000亿个Token的数据进行6天的测验而成。
有别于Phi-3.5-mini及Phi-3.5-MoE皆守旧包括汉文与英文在内的十多种道话，当今Phi-3.5-vision仅守旧英文。
在微软这次发布的Phi-3.5模子中，最受瞩目的是Phi-3.5-MoE，它在好多基准测试中打败了Llama 3.1 8B与Gemini 1.5 Flash。
