本文介绍分布式计算、云计算和集群计算的基本概念，梳理 RPC、P2P、资源调度、节点协作和大规模计算系统的组织方式。
本文整理并发计算的基本概念、编程模型和设计目标，讨论任务协作、线程组织、同步机制以及并发系统的可编程性与可读性。
本文概览并行计算的基本概念、共享/分布式内存、并行编程模型和常见硬件资源，帮助建立从算法到系统实现的并行计算认识。
本文介绍 MPI 消息传递模型，说明分布式进程之间的通信、同步和数据交换方式，以及消息传递在并行计算中的应用。
本文介绍 C++ 内存模型与原子操作，围绕 acquire/release、顺序一致性、线程间可见性和同步关系说明并发程序如何正确访问共享数据。
本文介绍缓存语言模型如何利用文档中词语和多词序列的重复出现提高后续预测概率，说明其在语音识别、统计语言建模和机器翻译中的作用及优势。
本文介绍数据级并行及其硬件实现，比较 SIMD、向量处理器、多线程处理器和 GPU Streaming Multiprocessor 等并行计算单元。