嗨！我是hexmos的创始人shrijith venkatrama。目前，我正在构建liveapi，该工具使您的代码中生成api文档非常容易。 添加标签以提高图形可读性
将标签参数添加到值类：
class value: def __init__(self, data, _children=(), _op='', label=''): self.data = data self._prev = set(_children) self._op = _op self.label = label def __repr__(self): return f"value(data={self.data})" def __add__(self, other): return value(self.data + other.data, (self, other), '+') def __mul__(self, other): return value(self.data * other.data, (self, other), '-')a = value(2.0, label='a')b = value(-3.0, label='b')c = value(10, label='c')e = a * b; e.label = 'e'd = e + c; d.label = 'd'print(d._prev)print(d._op)print("---")print(e._prev)print(e._op)
更新draw_dot将标签包括在图中
最初，我们的节点表达式为：
dot.node(name=uid, label="{ data %.4f }" % (n.data,), shape='record')
>替换为：
dot.node(name=uid, label="{ %s | data %.4f }" % (n.label, n.data), shape='record')
现在draw_dot（d）返回：
带有标签的重新渲染图
让我们在表达式中添加一些节点-f和l
44543468844
生成图：
draw_dot(l)
我们上面构建的此图是布置节点的 forward-pass
。
我们要计算的>我们想知道输入（权重-a，b，c，d，e，f）如何影响输出（损耗函数l）。因此 – 我们想找到：dl/dl，dl/df，dl/de，dl/dd，dl/dc，dl/db，dl/da。
添加毕业参数以适应反射
class value: def __init__(self, data, _children=(), _op='', label=''): self.data = data self._prev = set(_children) self._op = _op self.label = label self.grad = 0.0 # 0 means no impact on output to start with
class value: def __init__(self, data, _children=(), _op='', label=''): self.data = data self._prev = set(_children) self._op = _op self.label = label self.grad = 0.0 # 0 means no impact on output to start with
更新节点图形信息
dot.node(name=uid, label="{ %s | data %.4f | grad %.4f }" % (n.label, n.data, n.grad), shape='record')
手动执行给定图的后传播
节点l
什么是dl/dl – 也就是说，如果我们少量更改l，它将如何影响输出l？答案显然是-1。
是，
l.grad = 1
表达
44543468844
节点d
l = d * fby known rules:dl/dd = fby derivation:dl/dd = (f(x+h) - f(x))/h = (d*f + h*f - d*f)/h = h*f/h =fthat is, dl/dd = f = -2.0
>所以，我们做
d.grad = -2.0
节点f
通过对称，我们得到dl/df = d = 4.0
是，
f.grad = 4.0
f.grad = 4.0
新的更新图是这样的：
>
如何对衍生物进行数值验证
def verify_dl_by_df(): h = 0.001 a = value(2.0, label='a') b = value(-3.0, label='b') c = value(10, label='c') e = a * b; e.label = 'e' d = e + c; d.label = 'd' f = value(-2.0, label='f') l = d * f; l.label = 'l' l1 = l.data a = value(2.0, label='a') b = value(-3.0, label='b') c = value(10, label='c') e = a * b; e.label = 'e' d = e + c; d.label = 'd' f = value(-2.0 + h, label='f') # bumb f a little bit l = d * f; l.label = 'l' l2 = l.data print((l2 - l1)/h)verify_dl_by_df() # prints out 3.9999 ~ 4
挑战 – 我们如何计算dl/dc？
我们知道dl/dd = -2.0-所以我们知道l如何受d。>>的影响
的问题是，c将如何影响l。
首先，我们可以计算“局部衍生物”，或者弄清楚c首先影响d。
。
是，
> dd/dc =？
我们知道：
d = c e
因此，一旦我们通过c进行区分，我们就会得到：dd/dc = 1
同样，dd/de = 1。
现在的问题是，如何将dd/dc和dl/dd组合在一起？
我们需要一些称为链条规则的东西：
因此，应用链条规则，我们得到：
dl/dc = dl/dd * dd/dcdl/dc = -2.0 * 1.0 = -2.0
同样，dl/de = -2.0
>
>
18574658665
找出dl/da和dl/db
我们知道：
dl/de = -2.0
我们想知道：
dl/da = dl/de * de/da
we know that:
e = a * bde/da = bde/da = b = -3.0
we can also find:
e = a * bde/db = ade/db = a = 2.0
>所以，现在要获得我们需要的东西：
dl/da = dl/de * de/da = -2.0 * -3.0 = 6.0dl/db = dl/de * de/db = -2.0 * 2.0 = -4.0
我们在python中设置了值，然后redraw以获取完整图：>
a.grad = 6.0b.grad = -4.0
参考
以上就是拼写的后传播 – 如karpathy所解释的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1356132.html
微信扫一扫 
支付宝扫一扫 
