变分自编码器(VAE)实现及其数学原理探究 导言 要动手实现一个VAE不算太难,但是为了把它的数学原理搞清楚真的花了我不少时间,概率论没学好导致的。这里按照先讲代码实现,再深究数学原理的顺序来介绍VAE。希望能让像我一样的数学苦手可以比较容易地搞懂这玩意儿。(话说搞出VAE的那伙人是先通过数学方法证明模型成立再在计算机上实现,还是先做出来之后发现它work再进一步研究出数学原理的呢)。 现在主流的生成模型有:生成对抗网络(GAN),扩散模型 2024-10-06 #深度学习 图像生成
注意力机制 看完李沫讲解的Transformer,写一些笔记。只看了注意力机制而不是Transformer本身。 注意力层 输入一个(多个)请求query和许多对key和value(都是一维向量),使用某种相似度计算函数,查询出与query最相似的key对应的value的值。不同的相似度计算方法衍生出不同的注意力机制。 # Scaled Dot-Product Attention 最简单的注意力机制, 2023-05-05 #深度学习
《艾达的项圈》长评:读《艾达》有感,致以灰色的世界与理想的光辉 作品请在菠萝包轻小说搜索 轻微剧透。 很早之前看《辛德勒的名单》,里面大概有这样一个情节,德国人命令犹太人修建房屋,负责此事的犹太人工程向德国军官指出建筑的结构设计不合理会倒塌,于是军官接受了修改的意见,然后下令枪毙了她。 我一度为这位军官的行为的矛盾和不可理喻感到困惑,但现在却又渐渐理解了。比做正确的事情更重要的,是维护不可侵犯的权威。 《艾达》的尺度比较大。我不知道作者到底有过什么样的经历,读 2023-04-20 #小说 读后感
图像锐化 做法 做法很简单,就是把源图像卷积一下,托Pytorch的福,Python代码只需要几行 123456789101112import torch# 仅用于灰度图def sharpen(image: torch.Tenser) -> torch.Tensor kernel = torch.tensor([ [0.0, 1.0, 0.0], [1.0, -4.0 2023-04-11 #数字图像处理 需要改进
Bmp图像读取和灰化 本文实现对Bmp图像中24色彩位深的图像的读写,以及对读取出的图像进行灰化操作 Bmp图像 Bmp是一种比较简单的图形格式,其开头是文件头BmpFileHeader,包括校验码,文件大小等信息,后面跟着信息头BmpInfoHeader,记录了图像的长宽,位深度等信息,之后就是真正的图像数据。 文件头和信息头的格式千言万语不如直接放代码,其中很多字段没有注释,因为它们其实并不重要(对于24色彩位深图 2023-04-04 #数字图像处理
直方图均衡化 直方图处理 一副数字影像的直方图是一个离散函数h(rk)=nkh(r_k)=n_kh(rk)=nk,其中rkr_krk是第kkk个灰阶而nkn_knk是影像中带有灰阶rkr_krk的像素个数。一个正规化的直方图中p(rk)=nk/np(r_k)=n_k/np(rk)=nk/n,其中nnn为总的像素个数,也就是说p(rk)p(r_k)p(rk)代表灰阶rkr_krk出现的概率,加起 2023-03-21 #数字图像处理
代码块测试 公式 一个a可以产生a开头的句子a→ap∣ra \to ap | ra→ap∣r 结果就是a⇒rppppppppppppa \Rightarrow rppppppppppppa⇒rpppppppppppp,不方便解析 单行公式 一个四元式G=(Vt,Vn,S,P)G=(V_t,V_n,S,P)G=(Vt,Vn,S,P) VtV_tVt:非终结符集合 VnV_nVn:终结符集合 SSS:开始 2023-03-16 #测试用