RL 猜想

• 漫无目的的思考相当于预训练模型推理

如果把人类暂时比作一个 LLM，那么成长过程中的语言输入、视觉经验、社会互动和现实反馈，就类似于模型的预训练数据。人在成长中不断听到、看到、经历各种事件，类似 LLM 预训练。这一过程可以近似理解为一种广义的 distribution matching：人脑通过经验建立对世界的预测模型。

在这个类比中，LLM 的上下文长度可以对应为人类在时间中的连续意识流。模型在上下文窗口中不断预测下一个 token，而人在现实时间中不断生成念头、判断、语言和行动。当一个人没有明确目的时，脑中浮现的内容就像是在当前状态下进行采样，就好比预训练 LLM 直接用于推理。

总结

1. LTX 常规 Image to Video 更像“给定首帧，往后生成”。无法提取人物特征 embedding，然后再把这个身份约束注入生成。
2. A100 （80GB） 单卡推理 FP8，2K，24 帧 length 121；推理时长约 3 分钟不到。
3. 操作方式与 diffusion 生图类似，可以添加 lora 对人物进行微调，可以优化 prompt 来提升出视频效果，先前优化 diffusion 生图的方法，这边都适用。

LTX 相关资源收集

对熵，编码长度，MDL，压缩，柯氏压缩器的回忆梳理。

一、熵与编码长度

本节观点

熵就是一个随机变量能够被压缩到的“平均最短编码长度”的理论极限。

如果模型的平均编码长度越短，那么他和数据的真实分布（真实熵）就越接近。因为根据 cross-entropy（交叉熵） ，它和真实熵关系是：

$$H(p,q) = H(p) + KL(p\|q)$$

对部分 test-time compute / inference-time learning / reasoning models 的记录。

OpenAI O1

在 openai 官方发布中提到：

这里发现，随着强化学习（训练时间计算）和思考时间（测试时间计算）的增加，o1 的性能也在不断提高。这种方法的扩展限制与 LLM 预训练的限制有很大不同，这里正在继续研究。

Qwen 3

• 博客：Qwen3：思深，行速
• huggingface：https://huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f
• arxiv：https://arxiv.org/pdf/2505.09388

Scaling Laws for Neural Language Models

2020 年 openai 发布了文章 Scaling Laws for Neural Language Models ，其中提到了 scaling laws。一开始的 scaling laws 针对的是 Transformer models，但后续一些讨论更倾向于自回归类型（做 NTP）的模型，文中 summary 提到了最初 scaling laws 的几个点：

音频格式与编码

1. 声音是什么？

• 物理层面 ：空气分子的振动 → 声压随时间变化的波。
• 模拟信号 ：连续的波形，既有时间连续性，也有幅度连续性。

但计算机只能处理离散的数字，所以要“采样 + 量化”成数字信号。

2. 采样与量化（数字化的第一步）

声音本质：连续的模拟信号

针对 2024 年左右的 Qwen 模型的一些要点记录

Qwen 1.5 系列

开源模型，官方博客 1，官方博客 2

MCP github 主页， MCP 官方文档

MCP Server

# server.py
from mcp.server.fastmcp import FastMCP
from mcp.server.fastmcp.prompts import base

# Create an MCP server
mcp = FastMCP("Demo")


# Add an addition tool
@mcp.tool()
def add(a: int, b: int) -> int:
    """Add two numbers"""
    return a + b


# Add a dynamic greeting resource
@mcp.resource("greeting://{name}")
def get_greeting(name: str) -> str:
    """Get a personalized greeting"""
    return f"Hello, {name}!"

本文梳理了 DPO，GRPO 的主要特点、亮点以及相关资源链接。

DPO

论文：Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290, 2023

先来回顾以下 PPO，采用 PPO 的 RLHF 会经过 reward model tuning 和 Reinforcement Learning 2 个步骤：