加州大学伯克利分校研究人员推出Starling-7B：一款通过人工智能反馈强化学习（RLAIF）训练的开源大型语言模型（LLM）

本文介绍: 该数据集包含183,000个聊天提示，每个提示提供来自不同模型（如GPT-4、GPT-3.5-in struct、GPT-3.5-turbo、Mi str al-7B-In st r u ct和Lla m a2-7B）的七种响应，共计380万对比较。研究人员还用直接偏好优化（DPO）方法，将该模型与早期的开源模型（如Ze phy r a-7B、Ne u r al-Chat-7B和Tul u-2-DPO-70B）进行了测试。总之，Star ling-7B代表了LLM领域的重大进步，展示了通过人工智能反馈进行强化学习的可能性。

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengong zh in eng.io/

人工智能大型语言模型（LLM）在自然语言处理任务中扮演着重要角色。这些模型通过大量数据集进行训练，能够理解和生成类似人类的文本。它们已经彻底改变了自然语言处理的领域，因为它们能够理解和发展出类人的文本。这些模型在生活的各个领域都有着广泛的应用。

加州大学伯克利分校的研究人员最近推出了一款开源大型语言模型Star ling-7B。该模型通过从人工智能反馈中学习强化（RLAIF）进行训练。它不仅利用了我们最新开发的奖励训练和策略调整管道，还结合了新的GPT-4标记排名数据集Nec tar以及先进的奖励训练和策略调整管道。

Starling-7B: Increasing LLM Helpfulness & Harmlessness with RLAIF Star ling-7B的基础是GPT-4标记排名数据集Nec tar。该数据集包含183,000个聊天提示，每个提示提供来自不同模型（如GPT-4、GPT-3.5-in st r u ct、GPT-3.5-turbo、Mi st r al-7B-Inst r u ct和Llama2-7B）的七种响应，共计380万对比较。为了确保公平性，研究人员在使用GPT-4进行排名时，投入了大量精力来减少位置偏见，这一过程在数据集部分有详细说明。

https://huggingface.co/berkeley-nest/Starling-LM-7B-alpha 他们使用学习奖励模型对Openchat 3.5语言模型进行了改进，并取得了令人印象深刻的成果。AlpacaEval 评分从88.51%提高到91.99%，而MT-Bench 评分从7.81提高到8.09。这些指标作为标准，评估了聊天机器人的实用性。

研究人员还用直接偏好优化（DPO）方法，将该模型与早期的开源模型（如Ze phy ra-7B、Ne u ral-Chat-7B和Tul u-2-DPO-70B）进行了测试。尽管这些模型在Chat bot Arena中表现良好，但与顶级的SFT模型（如OpenHer mes 2.5和Op enchat 3.5）相比，它们还未能完全发挥RLHF的全部潜力。