登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  文章 >  python教程

Python statistics.kde_random 怎样按核密度估计生成样本

来源:17golang原创

时间:2026-10-27 13:39:59 208浏览 收藏

我最近需要给一批连续数值补出一组“看起来仍像原数据”的样本。直接在最小值和最大值之间均匀取数,会把原数据的峰值和稀疏区全部抹平;只重复抽取原始值,又无法得到新的连续结果。这个场景可以用 Python 标准库的 statistics.kde_random:先用核密度估计把离散观测值平滑成一个概率密度,再从这个密度中随机抽样。

官方地址:https://docs.python.org/3/library/statistics.html#statistics.kde_random

它返回的不是一串已经生成好的数字,而是一个可以反复调用的抽样函数。seed 可以让同一组输入得到可复现的序列;h 控制平滑程度;kernel 只负责选择核函数的权重形状。

先准备一组适合 KDE 的观测值

这个函数适合连续数值或可以近似看作连续数值的数据,例如响应时长、测量结果和温度记录。输入必须非空,且最好先处理缺失值、明显的非法值和混杂类型。它不是凭空推断真实总体,而是把手里的样本当作分布形状的依据。

from statistics import kde_random

# 这些值代表已经清洗过的连续观测结果,单位可以是毫秒
latencies = [82.0, 91.5, 96.0, 101.0, 108.5, 112.0, 118.0]

# h 是平滑带宽;先用一个相对保守的值建立抽样器
rand_latency = kde_random(latencies, h=8.0, seed=20261027)

# 抽样器每调用一次就返回一个新的浮点样本
new_samples = [round(rand_latency(), 2) for _ in range(5)]
print(new_samples)

调用结果是浮点数,未必等于原始列表中的某个值。这正是 KDE 抽样与“从原列表随机挑一个”之间的差异:原始观测值附近会形成连续的密度,而不是只有几个离散桶。

观测数据、带宽、核密度估计与随机抽样之间的关系图
图1:观测数据经过核密度估计后,形成可持续抽样的概率密度函数。

kde_random 返回的是可重复调用的函数

把 kde_random 想成“创建一个抽样器”,而不是“马上生成结果”。先固定数据和参数,再在需要的地方调用返回值。这样做适合批量生成、按页生成,或者在测试中只改变抽样次数。

from statistics import kde_random

data = [1.2, 1.8, 2.1, 2.4, 3.0, 3.2]

# 同一个 seed 让两次创建的抽样器拥有相同的随机起点
first = kde_random(data, h=0.35, seed="demo-seed")
second = kde_random(data, h=0.35, seed="demo-seed")

# 逐次调用而不是一次传入数量;这样可以按业务需要停止或追加
left = [round(first(), 3) for _ in range(4)]
right = [round(second(), 3) for _ in range(4)]
print(left == right)  # 相同输入和 seed 时,结果序列可复现

复现只表示输入、参数和 seed 都相同。改变调用次数、调用顺序,或在同一个抽样器上插入一次额外调用,后续序列都会随随机状态推进而变化。因此测试时应在测试用例内部重新创建抽样器,避免共享一个已经被消费过的随机状态。

带宽 h 决定结果有多平滑

在实践中,h 往往比核函数名称更值得先调。较小的带宽更重视局部峰值,生成的样本会更贴近观测数据的细节;较大的带宽会把相邻峰值融合,结果更平滑,但可能掩盖小规模结构。没有脱离数据场景的“最佳 h”,应结合样本量、噪声和你要保留的细节来决定。

from statistics import kde_random

data = [10.0, 10.4, 10.7, 11.1, 14.8, 15.2, 15.5]

# 小 h 更强调两个局部区域,适合观察局部形状
local_rand = kde_random(data, h=0.25, seed=7)

# 大 h 更强调整体趋势,适合需要更平滑的合成样本
smooth_rand = kde_random(data, h=1.5, seed=7)

# 用相同 seed 只比较 h 的影响,避免把随机差异误判成带宽差异
local_batch = [round(local_rand(), 2) for _ in range(6)]
smooth_batch = [round(smooth_rand(), 2) for _ in range(6)]
print(local_batch)
print(smooth_batch)

比较时不要只盯着一两个返回值。抽样本身有随机性,更可靠的做法是为每个配置生成一批样本,再观察范围、集中区域和极端值。若目标是补齐训练数据,还要把合成样本与原始数据分开标记,避免后续把模拟数据误当成真实采集数据。

kernel 怎么选,seed 又解决什么问题

文档提供多种核函数。normal、logistic 和 sigmoid 会给每个样本点一定权重;rectangular、triangular、parabolic、quartic、triweight 与 cosine 更强调带宽范围内的点。多数工程场景先固定一种核,再调 h 更容易判断变化来自哪里。

seed 不改变密度形状,它只让随机抽样过程可重放。开发和测试可以固定 seed;生产环境如果希望每次生成不同样本,可以不传 seed,但应把输入参数和生成批次记录下来,方便出问题时复盘。

带宽、核函数和随机种子在 kde_random 中的职责边界图
图2:带宽控制平滑程度,kernel 决定权重形状,seed 控制抽样序列的复现性。

三个容易忽略的边界

第一,空数据会抛出 StatisticsError,因此不要把“没有观测值”当作可以生成默认样本的信号。第二,KDE 是对样本分布的估计,尾部可能产生超出观测最小值或最大值的结果;如果业务有硬边界,要在抽样后单独做业务裁剪,并记录这一步,而不是假设 KDE 自动遵守边界。第三,文档提示未来更准确的逆 CDF 估计实现可能让数值略有变化,所以固定 seed 适合复现当前运行逻辑,不应被当作跨未来版本的永久字节级承诺。

from statistics import StatisticsError, kde_random

def make_sampler(values, bandwidth, seed):
    # 先把空输入转换成明确的业务错误,避免错误出现在批处理深处
    if not values:
        raise ValueError("至少需要一个观测值")
    try:
        # 返回函数本身,调用方决定生成多少个样本
        return kde_random(values, h=bandwidth, seed=seed)
    except StatisticsError as exc:
        # 保留原始异常作为上下文,便于定位输入清洗问题
        raise ValueError("观测值不满足 KDE 抽样条件") from exc

sampler = make_sampler([3.1, 3.4, 3.8, 4.2], bandwidth=0.4, seed=11)
bounded = [min(5.0, max(0.0, sampler())) for _ in range(3)]
print(bounded)  # 裁剪是业务规则,不是 kde_random 的分布定义

适合把它用在哪里

如果你需要从小批量连续观测中构造一批带有原分布形状的模拟值,kde_random 的接口很轻:标准库即可使用,抽样器也容易封装进测试或数据预处理流程。它不适合作为完整的统计建模平台,也不应替代对样本代表性、异常值和业务边界的判断。我的经验是先固定一个有解释的 h,用 seed 建立可复现基线,再通过批量结果判断是否需要改变平滑程度。

常见追问

kde_random 和直接随机选择原始值有什么区别?

直接选择只能返回已有观测值;kde_random 根据核密度估计产生连续数值,能够保留局部集中趋势,同时允许出现原始点之间的新值。

seed 一定要传吗?

不一定。测试、演示和需要复现的批处理建议传入;追求每次随机变化时可以省略,但应保存生成配置。

为什么生成的值可能超出原数据范围?

核密度估计会在观测值周围形成连续分布,尾部抽样可能越过样本边界。若业务禁止越界,应明确增加裁剪或拒绝采样逻辑。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>