蒙特卡罗和时序差分

你要听一段故事,但它绝不是平铺直叙的。数学故事里蕴藏着一种不动声色的哲学性,就像生活一样,有时你需要随机掷骰子蒙混过关,有时又得步步为营,计算每一步的得失。而蒙特卡罗方法和时序差分算法,正是这两种思维 ...

基于动态规划的强化学习算法

动态规划(Dynamic Programming,DP)是解决强化学习问题的一类方法,它通常假设环境的动态能够完全被马尔可夫决策过程(MDP)所建模。同时,它要求能精确获取状态转移模型和奖励函数(即假 ...

什么是价值函数?

在强化学习(Reinforcement Learning, RL)的领域中,价值函数(Value Function)是用来衡量某个状态或状态-动作对的“好坏”的核心概念。它们描述了智能体在特定策略下( ...

什么是马尔可夫决策过程?

马尔可夫决策过程(Markov Decision Process, MDP)是强化学习的核心基础,用于描述智能体与环境之间的交互关系。一个 MDP 通常由以下五要素构成:状态空间、动作空间、奖励函数、 ...

迈向推理时代:900+篇参考文献揭示长链思维的前世今生,最全综述来了

论文标题:Towards Reasoning Era: A Survey of Long Chain-of-Thought for Reasoning Large Language Models ...

什么样的偏好,才叫好的偏好?——揭秘偏好对齐数据的「三驾马车」

近年来,大语言模型(LLMs)的对齐研究成为人工智能领域的核心挑战之一,而偏好数据集的质量直接决定了对齐的效果。无论是通过人类反馈的强化学习(RLHF),还是基于「RL-Free」的各类直接偏好优化方 ...

一个轻量但不失高效的DPO训练框架:OpenDPO

DPO的损失函数可以做如下恒等变换,可以发现蓝色框中的结果是一个可以预计算的常数。因此,在使用DPO进行优化时,我们完全可以离线计算常数部分,在线只需要加载进行训练,这样和sft的训练相差无几。 根据 ...

一个轻量但不失高效的SFT训练框架:OpenSFT

OpenSFT,顾名思义,一个开源的SFT训练框架,基于 accelerator + deepspeed + ring flash attention 实现。 本项目实现了length-pack数据组 ...

蒙特卡洛法近似KL散度的艺术:从有偏估计到零方差优化

在强化学习和概率建模的世界里,KL散度如同一位沉默的裁判,默默地衡量着两个概率分布之间的差异。然而,当面对高维空间或复杂分布时,KL散度的计算常常令人望而却步。本文将揭示一种优雅的近似方法,利用蒙特卡 ...

大模型SFT经验

本文转载自https://zhuanlan.zhihu.com/p/809229182,作者ybq。 这篇文章介绍一下大模型的 sft 如何去做。相比较于上一篇文章介绍的 pretrain ,sft ...