对熵，编码长度，MDL，压缩，柯氏压缩器的回忆梳理。

一、熵与编码长度

本节观点

熵就是一个随机变量能够被压缩到的“平均最短编码长度”的理论极限。

如果模型的平均编码长度越短，那么他和数据的真实分布（真实熵）就越接近。因为根据 cross-entropy（交叉熵） ，它和真实熵关系是：

$$H(p,q) = H(p) + KL(p\|q)$$

Qwen 3

• 博客：Qwen3：思深，行速
• huggingface：https://huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f
• arxiv：https://arxiv.org/pdf/2505.09388

Scaling Laws for Neural Language Models

2020 年 openai 发布了文章 Scaling Laws for Neural Language Models ，其中提到了 scaling laws。一开始的 scaling laws 针对的是 Transformer models，但后续一些讨论更倾向于自回归类型（做 NTP）的模型，文中 summary 提到了最初 scaling laws 的几个点：

音频格式与编码

1. 声音是什么？

• 物理层面 ：空气分子的振动 → 声压随时间变化的波。
• 模拟信号 ：连续的波形，既有时间连续性，也有幅度连续性。

但计算机只能处理离散的数字，所以要“采样 + 量化”成数字信号。

2. 采样与量化（数字化的第一步）

声音本质：连续的模拟信号

在最新的前端开发技术中，React 是一个非常流行且被广泛采用的 JavaScript 库 之一。React 以声明式的方式处理用户界面，使开发者能够使用组件来构建可重用和可维护的界面。这篇文章将会带你从基础入门开始，愉快的学习 React！

参考 https://react.dev/learn

编辑器：VS Code（装插件：ESLint、Prettier、React Developer Tools 浏览器扩展）

1. 项目结构速览（脚手架生成）

许多工具都能够创建一个 react 模板项目，如 React Router (v7)。

DeepSeek-MoE

相关资源：github， 论文 DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models

针对 2024 年左右的 Qwen 模型的一些要点记录

Qwen 1.5 系列

开源模型，官方博客 1，官方博客 2

MCP github 主页， MCP 官方文档

MCP Server

# server.py
from mcp.server.fastmcp import FastMCP
from mcp.server.fastmcp.prompts import base

# Create an MCP server
mcp = FastMCP("Demo")


# Add an addition tool
@mcp.tool()
def add(a: int, b: int) -> int:
    """Add two numbers"""
    return a + b


# Add a dynamic greeting resource
@mcp.resource("greeting://{name}")
def get_greeting(name: str) -> str:
    """Get a personalized greeting"""
    return f"Hello, {name}!"

1. 背景

2023 年，妙鸭相机因其创意性的 AI 写真生成功能受到广泛关注，市场上也随之涌现了大量基于 Stable Diffusion（SD）模型的生图应用。作为一名技术爱好者，笔者在妙鸭相机发布后不久，进行了 Stable Diffusion + LoRA 的技术验证，并发现了搭建类似 AI 相机的可行性。

参考文章：妙鸭=SD + Lora? 对 SD+LoRA 的一些探索与验证

领导者思考

1. 领导者是什么

领导者是能够激发他人、整合资源并引导团队实现共同目标的人。他们的职责不仅是完成任务，更重要的是塑造团队的整体方向和价值观，包括：

• 设定方向 ：为团队提供清晰的愿景和战略。
• 影响他人 ：通过个人魅力、信任和专业能力影响团队成员的行为。为团队提供一个积极、安全的工作氛围，让每个成员都能贡献自己的独特优势。
• 创造价值 ：不仅关注目标结果，还注重实现过程中的学习、成长和可持续发展。