C++对象模型-继承关系下的虚函数实现
汇编语言学习
SIMD简介 在深度学习中经常会涉及到向量和矩阵运算,在之前实现的算子中通常会采用循环或者开源的向量运算加速库来提高计算效率,例如openmp、EIGEN、MKL等等。这些库的底层除了利用处理器的并行化能力,还会调用指令集优化代码。这里的指令集优化,大多数使用的是SIMD指令。
Triton简介 Triton Inference Server是一个开源的推理服务软件,可以简化人工智能推理。Triton使团队能够从多个深度学习和机器学习框架中部署任何AI模型,包括TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO、Python、RAPIDS FIL等。Triton支持跨NVIDIA gpu、x86和ARM CPU或AWS Inferentia上的云、数据中心、边缘和嵌入式设备的推理。Triton为许多查询类型提供了优化的性能,包括实时、批处理、集成和音频/视频流。 主要特性包括:
TCM简介 TCM :TIghtly Coupled Memory 的缩写。为了弥补 Cache 访问的不确定性,而增加的 OnChip Memory. 有的 CPU 含有分立的 InstrucTIon TCM / Data TCM.TCM 包含在存储器的地址映射空间中,可以作为快速存储器来访问。TCM 使用物理地址,对 TCM 的写访问,受到 MMU 内部保护信息的控制。向 TCM 中的内存位置写入时,不会发生任何外部写入。
学习背景
基于虚函数实现动态多态很容易,只要重写基类虚方法即可:
多进程高并发代码框架 ```c++ #define _GNU_SOURCE #include #include #include #include #include
写在前面
写在前面
AI operator testing and optimization platform
An Open Source Machine Learning Framework for Everyone
Fast C++ logging library.