最新AI人工智能概念:NVlink 说到多卡互联的技术,首先肯定要提到英伟达自己的NVswitch和NVlink。其中NVlink甚至可以将多块板卡上的计算单元进行联合工作。比如推理一个70B的模型需要80G的显存,一张4090的显存是24G,因此你需... 枫寒 人工智能 2024-10-19 73 阅读 0 评论
最新AI人工智能概念:infiniband 如果多张卡还是不够,需要多组服务器相连,相互通信和传输数据,除了通常使用的以太网以及光纤连接以外,最新的一种方式称为infiniband,无限带宽,听上去是不是就很猛。InfiniBand是一种高性能互连技术,广泛应... 枫寒 人工智能 2024-10-19 60 阅读 0 评论
最新一文掌握 Go 语言 I/O 操作中的 io.Reader 和 io.Writer 在Go语言中,io.Reader 和 io.Writer 是两个至关重要的接口,它们为处理输入输出操作提供了强大且灵活的抽象。本文将深入探讨这两个接口的机制、常见用例、潜在陷阱以及一些高级应用,帮助你更好地掌握Go语... 源自开发者 go 2024-10-19 76 阅读 0 评论
AI人工智能概念:chiplet 说一个题外分支,由于先进工艺产能有限,而且价格昂贵,所以现在出现了很多新的技术,尤其在国内,chiplet就是一种解决方案:用不同的工艺生产一块完整功能的“芯片”的不同部分:CPU和GPU用先进工艺,接口IO这些用传... 枫寒 人工智能 2024-10-17 87 阅读 0 评论
AI人工智能概念:算力 前面在讲芯片能力时都用性能来表述,实际在人工智能领域,大家更熟悉的一个描述可能是算力。所谓算力,就是计算能力,不过我们一般会以某种单位来进行表征,这包括使用什么样的数据精度,进行什么样的运算,来定义一款人工智能芯片的... 枫寒 人工智能 2024-10-17 99 阅读 0 评论
AI人工智能概念:算力单位 算力一般是以每秒多少次操作来作为计算量的。不过因为每次操作的数据精度不同,可能会有不同的位宽,并且可能数量太大需要加上一个前缀,因此就有会看到有FLOPS、TOPS等等。其中FL是float,浮点数的意思,T是ter... 枫寒 人工智能 2024-10-17 79 阅读 0 评论
AI人工智能概念:数据精度 前面说到算力会将每秒计算的次数,与某种数据精度一起作为衡量标准。所谓是数据精度,一般指浮点数(FP32)、半精度浮点数(FP16)、整型(INT8)等等。他们所占用的位宽依次减少,计算量相对也会依次降低。并且,浮点数... 枫寒 人工智能 2024-10-17 84 阅读 0 评论
AI人工智能概念:定点数和浮点数 前面说到了整数和浮点数,那么什么是浮点数呢?对应的二进制没法表示小数,所以还会有定点数。实际上都是以二进制为基础,用多少位表示整数,其余部分表示小数。在计算和数据表示中,定点数和浮点数是两种常见的数值表示方式,它们各... 枫寒 人工智能 2024-10-17 106 阅读 0 评论
AI人工智能概念:量化技术 前面说到算力会将每秒计算的次数,与某种数据精度一起构成评判芯片性能的指标。但是芯片通常会同时支持不同的数据精度,因此可能需要在精度之间进行转换。一般来说,从连续数转换为离散的过程,就称为量化。概念和定义量化技术(Qu... 枫寒 人工智能 2024-10-17 96 阅读 0 评论
使用 go-jsonstruct 快速生成 Go 结构体,支持 JSON 或 YAML! 在 Go 语言开发中,我们经常需要处理 JSON 或 YAML 格式的数据。为了方便地解析和操作这些数据,通常会定义相应的 Go 结构体与之对应。然而,手动编写这些结构体定义可能会非常繁琐,尤其是在处理复杂数据结构时... 源自开发者 go 2024-10-16 107 阅读 0 评论