首页 技术 正文
技术 2022年11月17日
0 收藏 816 点赞 2,894 浏览 3747 个字

GitHub: https://github.com/storagezhang

Emai: debugzhang@163.com

华为云社区: https://bbs.huaweicloud.com/blogs/250328

内存池

内存池的存在主要就是减少调用 malloc 或者 new 的次数,减少内存分配所带来的系统开销,提升性能。

LevelDB 中的内存池是由类 Arena 实现的。Arena 先向系统申请一块大的内存,当其他组件需要申请内存时,Arena 先将已有的内存块分配给组件,如果不够用则再申请一块大的内存。当内存池对象析构时,分配的内存均被释放,这保证了内存不会泄漏。

申请内存和分配内存的区别:

  • 申请内存:向操作系统申请一块连续的内存空间。
  • 分配内存;将已经申请的内存分配给其他组件使用。

成员变量

// 指向当前内存块未分配内存的起始地址的指针
char* alloc_ptr_;
// 记录当前内存块未分配内存的大小
size_t alloc_bytes_remaining_;// 每个内存块的地址都存储在 vector 中
std::vector<char*> blocks_;// 原子变量:记录当前对象的内存总量
std::atomic<size_t> memory_usage_;

如图所示,Arena 的成员变量 blocks_ 存储若干个指针,每个指针指向一块内存。alloc_ptr_ 指向当前内存块未分配内存的起始地址,alloc_bytes_remaining_ 为当前内存块未分配内存的大小。

static const int kBlockSize = 4096;

Arena 以内存块为单位来管理内存,每个内存块的大小 kBlockSize 为 4096 KB。

构造函数与析构函数

Arena::Arena()
: alloc_ptr_(nullptr), alloc_bytes_remaining_(0), memory_usage_(0) {}Arena::~Arena() {
for (size_t i = 0; i < blocks_.size(); i++) {
delete[] blocks_[i];
}
}

构造函数初始化所有的成员变量,保证不会使用未初始化的变量。

析构函数释放 blocks_ 中每个指针指向的内存块。

内存分配接口

Arena 提供了 3 个 public 函数来简化内存分配。

Arena 的内存分配策略有三种,当申请 bytes 大小的内存时:

  • 如果 bytes 小于等于当前内存块剩余内存,直接在当前内存块上分配内存;
  • 如果 bytes 大于当前内存块剩余内存,调用 AllocateFallback 函数按照另外两种分配策略分配内存。

Allocate

inline char* Arena::Allocate(size_t bytes) {
// 不需要分配 0 字节的内存
assert(bytes > 0); // 申请的内存小于当前内存块剩余的内存,直接在当前内存块上分配内存
if (bytes <= alloc_bytes_remaining_) {
char* result = alloc_ptr_; // 从当前内存块中分配内存
alloc_ptr_ += bytes; // 计算当前内存块的剩余内存大小
alloc_bytes_remaining_ -= bytes;
return result;
} // 申请的内存大于当前内存块剩余的内存,使用 AllocateFallback 函数重新申请内存
return AllocateFallback(bytes);
}

Allocate 函数分配 bytes 大小的内存空间,返回指向所分配内存的指针。

AllocateAligned

char* Arena::AllocateAligned(size_t bytes) {
// 计算当前机器要对齐的字节数,最多 8 字节对齐,否则就按照当前机器的 void* 的大小来对齐
const int align = (sizeof(void*) > 8) ? sizeof(void*) : 8; // 字节对齐必须是 2 的次幂
// x & (x - 1) = 0 表示 x 是 2 的次幂
static_assert((align & (align - 1)) == 0,
"Pointer size should be a power of 2"); // A & (B - 1) = A % B
// reinterpret_cast<uintptr_t> 类型对应机器指针大小
size_t current_mod = reinterpret_cast<uintptr_t>(alloc_ptr_) & (align - 1); // 如果 current_mod = 0 表示 alloc_ptr_ 已经是字节对齐的
// 否则计算 align - current_mod,表示当前指针地址距离字节对齐的偏差
size_t slop = (current_mod == 0 ? 0 : align - current_mod); // 当前需要分配的字节大小加上对齐偏差就是最终需要分配的总大小
size_t needed = bytes + slop;
char* result; // 所需的内存小于当前内存块剩余的内存,直接在当前内存块上分配内存
if (needed <= alloc_bytes_remaining_) {
result = alloc_ptr_ + slop;
alloc_ptr_ += needed;
alloc_bytes_remaining_ -= needed;
} else {
// 所需的内存大于当前内存块剩余的内存,使用 AllocateFallback 函数重新申请内存
result = AllocateFallback(bytes);
} // 保证分配的内存起始地址是字节对齐的
assert((reinterpret_cast<uintptr_t>(result) & (align - 1)) == 0);
return result;
}

AllocateAligned 函数分配 bytes 大小的内存空间,且起始地址字节对齐,返回指向所分配内存的指针。

MemoryUsage

size_t MemoryUsage() const {
return memory_usage_.load(std::memory_order_relaxed);
}

MemoryUsage 函数返回当前分配给 Arena 对象的所有内存空间大小和所有指向内存块的指针大小之和。

内存分配内部实现

接上节中的 Arena 的内存分配策略,当申请 bytes 大小的内存时:

  • 如果 bytes 小于等于当前内存块剩余内存,直接在当前内存块上分配内存;
  • 如果 bytes 大于当前内存块剩余内存:
    • 如果 bytes 小于等于默认内存块大小的四分之一,新申请一个内存块,大小为默认内存块大小,在该内存块上分配内存;
    • 如果 bytes 大于默认内存块大小的四分之一,新申请一个内存块,大小为 bytes,分配内存。

AllocateFallback

char* Arena::AllocateFallback(size_t bytes) {
// 调用 AllocateNewBlock 申请一块大小为 bytes 的新内存块
if (bytes > kBlockSize / 4) {
// 在新申请的内存块中分配全部内存
char* result = AllocateNewBlock(bytes);
return result;
} // 调用 AllocateNewBlock 申请一块大小为 kBlockSize 的新内存块
alloc_ptr_ = AllocateNewBlock(kBlockSize);
alloc_bytes_remaining_ = kBlockSize; // 在新申请的内存块中分配 bytes 大小的内存
char* result = alloc_ptr_;
alloc_ptr_ += bytes;
alloc_bytes_remaining_ -= bytes;
return result;
}

当申请的内存大于当前内存块剩余内存时,AllocateFallback 函数会被调用,用来按照后两种分配策略分配内存。

这两种分配策略可以进一步减少内存分配的次数,但同时每块最后 \(\frac{1}{4}\) 的空间有可能会被浪费。

AllocateNewBlock

char* Arena::AllocateNewBlock(size_t block_bytes) {
// 申请一个大小为 block_bytes 的内存块
char* result = new char[block_bytes]; // 将该内存块的地址添加到 blocks 中
blocks_.push_back(result); // 记录当前对象内存分配总量
memory_usage_.fetch_add(block_bytes + sizeof(char*),
std::memory_order_relaxed);
return result;
}

AllocateNewBlock 函数申请一个大小为 block_bytes 的内存块。

总结

当向 Arena 申请 bytes 大小的内存时:

  • 如果 bytes 小于等于当前内存块剩余内存,直接在当前内存块上分配内存;
  • 如果 bytes 大于当前内存块剩余内存:
    • 如果 bytes 小于等于默认内存块大小的四分之一,新申请一个内存块,大小为默认内存块大小,在该内存块上分配内存;
    • 如果 bytes 大于默认内存块大小的四分之一,新申请一个内存块,大小为 bytes,分配内存。
相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,088
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,564
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,412
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,185
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,822
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,905