KVM MMU EPT内存管理

转载请注明：【转载自博客xelatex KVM】，并附本文链接。谢谢。

 

【注】文章中采用的版本：

Linux-3.11，https://www.kernel.org/pub/linux/kernel/v3.x/linux-3.11.tar.gz

qemu-kvm，git clone http://git.kernel.org/pub/scm/virt/kvm/qemu-kvm.git, 

          git checkout 4d9367b76f71c6d938cf8201392abe4bfb1136cb

 

先说几个英文缩写：

• GVA - Guest Virtual Address，虚拟机的虚拟地址
• GPA - Guest Physical Address，虚拟机的虚拟地址
• GFN - Guest Frame Number，虚拟机的页框号
• HVA - Host Virtual Address，宿主机虚拟地址，也就是对应Qemu中申请的地址
• HPA - Host Physical Address，宿主机物理地址
• HFN - Host Frame Number，宿主机的页框号

KVM中目前一般采用硬件虚拟化来对内存的MMU进行虚拟化，以提高访存的效率。在比较老的虚拟化技术中，一般采用SPT（Shadow Page Table）来实现MMU虚拟化，所以在KVM代码中有很多地方依然采用类似的命名方式。本文主要针对Intel体系架构Intel VT-x中EPT在KVM中的应用进行说明。

 

一、内存槽（slot）的注册和管理

 

上文中我提到KVM只提供机制，不提供策略。为了实现对内存区域的管理，采用了kvm_memory_slot结构来对应Qemu中的AddressSpace。Qemu将虚拟机的线性地址（物理地址）在KVM中注册为多个内存槽，如BIOS、MMIO、GPU、RAW。

Qemu的内存模型请参考官方文档 https://github.com/qemu/qemu/blob/master/docs/memory.txt 。

 

KVM中memory slot的数据结构：

<include/linux/kvm_host.h>

struct kvm_memory_slot {
    gfn_t base_gfn; // 该slot对应虚拟机页框的起点
    unsigned long npages; // 该slot中有多少个页
    unsigned long *dirty_bitmap; // 脏页的bitmap
    struct kvm_arch_memory_slot arch; // 体系结构相关的结构
    unsigned long userspace_addr; // 对应HVA的地址
    u32 flags; // slot的flag
    short id; // slot识别id
};

<arch/x86/include/asm/kvm_host.h>

struct kvm_arch_memory_slot {
    unsigned long *rmap[KVM_NR_PAGE_SIZES]; // 反向映射结构（reverse map）
    struct kvm_lpage_info *lpage_info[KVM_NR_PAGE_SIZES - 1]; // Large page结构（如2MB、1GB大小页面）
}; 

struct kvm {
	spinlock_t mmu_lock; // MMU最大的锁
	struct mutex slots_lock; // 内存槽操作锁
	struct mm_struct *mm; /* userspace tied to this vm，指向虚拟机内部的页存储结构 */
	struct kvm_memslots *memslots; // 存储该KVM所有的memslot
...
};

struct kvm_memslots {
	u64 generation;
	struct kvm_memory_slot memslots[KVM_MEM_SLOTS_NUM];
	/* The mapping table from slot id to the index in memslots[]. */
	short id_to_index[KVM_MEM_SLOTS_NUM];
};

static struct kvm *kvm_create_vm(unsigned long type)
{
...
    kvm->memslots = kzalloc(sizeof(struct kvm_memslots), GFP_KERNEL);
    if (!kvm->memslots)
        goto out_err_nosrcu;
    kvm_init_memslots_id(kvm);
...
}

static int kvm_vm_ioctl_create_vcpu(struct kvm *kvm, u32 id)
{
...
    vcpu = kvm_arch_vcpu_create(kvm, id);
...
    r = kvm_arch_vcpu_setup(vcpu);
...
}