typedef struct {
......
/* 存放记录脏页的位图，一个block元素可以表示的内存范围是256K个内存页 */
unsigned long *blocks[];
} DirtyMemoryBlocks;
typedef struct RAMList {
......
/* 虚机占用的所有主机上的RAM内存块集合 */
QLIST_HEAD(, RAMBlock) blocks;
/* 用户态从内核获取虚机脏页信息时保存到的结构体 */
DirtyMemoryBlocks *dirty_memory[DIRTY_MEMORY_NUM];
} RAMList;
struct RAMBlock {
......
/* 内存区域表示的最大范围，单位是字节 */
ram_addr_t max_length;
/* dirty bitmap used during migration */
/* 记录该内存区域脏页情况的位图，一个内存页对应一个bit位
它是一个长整形指针数组，整个数组元素长度加起来转换
成bit数等于max_length/4K
*/
unsigned long *bmap;
......
}
struct vcpu_vmx {
struct page *pml_pg;
......
}
vmcs_field_to_offset_table[] = {
......
FIELD(GUEST_PML_INDEX, guest_pml_index),
FIELD64(PML_ADDRESS, pml_address)
......
}
/* for KVM_SET_USER_MEMORY_REGION */
struct kvm_userspace_memory_region {
/* 内存区间所在的插槽 */
__u32 slot;
/* 当flags包含KVM_SET_USER_MEMORY_REGION标识时
表示开启这段内存的脏页记录
*/
__u32 flags;
/* 虚机内存区间物理地址 */
__u64 guest_phys_addr;
/* 虚机内存区间大小 */
__u64 memory_size; /* bytes */
/* 分配给这段内存区间的实际的用户态地址HVA */
__u64 userspace_addr; /* start of the userspace allocated memory */
};
/* for KVM_GET_DIRTY_LOG */
struct kvm_dirty_log {
__u32 slot;
__u32 padding1;
union {
void *dirty_bitmap; /* one bit per page */
__u64 padding2;
};
};
struct kvm_memory_slot {
gfn_t base_gfn;
unsigned long npages;
unsigned long *dirty_bitmap;
u32 flags;
....
};
KVM_SET_USER_MEMORY_REGION、KVM_GET_DIRTY_LOG，这两个接口Capability: KVM_CAP_USER_MEMORY
Architectures: all
Type: vm ioctl /* 虚机vm ioctl命令字 */
Parameters: struct kvm_userspace_memory_region (in)
Returns: 0 on success, -1 on error
struct kvm_userspace_memory_region {
__u32 slot;
__u32 flags;
__u64 guest_phys_addr;
__u64 memory_size; /* bytes */
__u64 userspace_addr; /* start of the userspace allocated memory */
};
/* for kvm_memory_region::flags */
#define KVM_MEM_LOG_DIRTY_PAGES (1UL << 0)
#define KVM_MEM_READONLY (1UL << 1)
Capability: basic
Architectures: all
Type: vm ioctl
Parameters: struct kvm_dirty_log (in/out)
Returns: 0 on success, -1 on error
/* for KVM_GET_DIRTY_LOG */
struct kvm_dirty_log {
/* 输入，指定要查询脏页的内存slot */
__u32 slot;
__u32 padding;
union {
/* 输出，保存kvm查询到的脏页 */
void __user *dirty_bitmap; /* one bit per page */
__u64 padding;
};
};
使能PML特性：
/* kvm模块初始化入口 */
vmx_init
kvm_init
kvm_arch_hardware_setup
vmx_x86_ops.hardware_setup
hardware_setup
/* 设置VMCS区域内存的内容
在VMLAUNCH和VMRESUME的时候被加载到VMCS区域
*/
setup_vmcs_config
/* 设置SECONDARY_EXEC_ENABLE_PML标识使能PML */
opt2 = SECONDARY_EXEC_VIRTUALIZE_APIC_ACCESSES | XXX | SECONDARY_EXEC_ENABLE_PML
adjust_vmx_controls(min2, opt2, MSR_IA32_VMX_PROCBASED_CTLS2, &_cpu_based_2nd_exec_control)
vmcs_conf->cpu_based_2nd_exec_ctrl = _cpu_based_2nd_exec_control;
设置PML Buffer地址和PML Index初始值：
/* vcpu创建入口 */
vmx_create_vcpu
vmx_vcpu_setup
/* 如果使能了PML特性，分配一个物理页给pml_pg用作PML Buffer */
if (enable_pml) {
vmx->pml_pg = alloc_page(GFP_KERNEL | __GFP_ZERO);
}
/* 将分配好的PML Buffer地址写入VMCS的对应区域，同时初始化PMLIndex为511 */
if (enable_pml) {
vmcs_write64(PML_ADDRESS, page_to_phys(vmx->pml_pg));
vmcs_write16(GUEST_PML_INDEX, PML_ENTITY_NUM - 1);
}
/* kvm ioctl入口 */
kvm_vm_ioctl
/* slot命令字，内核根据传入的参数
对应地增加，删除和更新slot
这里要跟踪slot的脏页，算在更新里面
*/
case KVM_SET_USER_MEMORY_REGION
kvm_vm_ioctl_set_memory_region
kvm_set_memory_region
__kvm_set_memory_region
/* 根据用户态传入的参数，设置slot，这里是开启脏页的记录*/
kvm_set_memslot
kvm_arch_commit_memory_region
kvm_mmu_slot_apply_flags
/* 根据intel vmx的特性开启脏页记录 */
if (new->flags & KVM_MEM_LOG_DIRTY_PAGES) {
if (kvm_x86_ops.slot_enable_log_dirty) {
/* 对于x86平台，如果intel提供了PML机制可以记录脏页，进入这个流程 */
kvm_x86_ops.slot_enable_log_dirty(kvm, new)
kvm_x86_ops.slot_enable_log_dirty <=> vmx_slot_enable_log_dirty
} else {
/* 在没有PML机制的情况下，使用页只读的方式记录脏页
* 判断两种情况，分别处理：
* 1. 首次迭代时位图都标记为1，不需要标记4k小页，但需要标记
* 2M的大页为只读，这样kvm在处理虚机大页访问异常时会将其拆
* 分成小页。
* 2. 对于其它轮次的迭代，需要将所有4k页的页表项都标记为只读
*/
int level =
kvm_dirty_log_manual_protect_and_init_set(kvm) ?
PG_LEVEL_2M : PG_LEVEL_4K;
kvm_mmu_slot_remove_write_access(kvm, new, level);
}
}
/*
* Dirty logging tracks sptes in 4k granularity, meaning that
* large sptes have to be split. If live migration succeeds,
* the guest in the source machine will be destroyed and large
* sptes will be created in the destination. However, if the
* guest continues to run in the source machine (for example if
* live migration fails), small sptes will remain around and
* cause bad performance.
*
* Scan sptes if dirty logging has been stopped, dropping those
* which can be collapsed into a single large-page spte. Later
* page faults will create the large-page sptes.
*/
vmx_slot_enable_log_dirty
kvm_mmu_slot_apply_flags
/* cpu_dirty_log_size存在表明开启了PML，使能脏页日志跟踪分两种情况
* 1: 对于4K普通的页，只需要清零D-bit状态位即可
* 2: 对于2M大页，除了清零D-bit状态位，还需要使能写保护
* 使得虚机访问大页页表时也能触发异常，陷入kvm后以4k页的粒度分配虚机的页
* 从而将大页拆分为小页
*/
if (kvm_x86_ops.cpu_dirty_log_size) {
/* 清零D状态位，方便硬件下一次统计 */
kvm_mmu_slot_leaf_clear_dirty(kvm, new);
/* 这里通过rmap数据，遍历指向slot包含的所有物理页的spte
* 针对每个spte调用__rmap_clear_dirty函数
*/
slot_handle_leaf_4k(kvm, memslot, __rmap_clear_dirty, false)
/* 开启所有2M大页页表项的写保护功能 */
kvm_mmu_slot_remove_write_access(kvm, new, PG_LEVEL_2M);
} else {
kvm_mmu_slot_remove_write_access(kvm, new, PG_LEVEL_4K);
}
/* 清零表项的Dirty位*/
__rmap_clear_dirty
spte_clear_dirty
/* 将kvm模块初始化时设置的Dirty默认值取出，用于设置spte的Dirty位 */
spte &= ~shadow_dirty_mask
mmu_spte_update
......
__set_spte
/* 更新spte表项 */
WRITE_ONCE(*sptep, spte)
/* 设置slot包含的所有页写保护WP */
kvm_mmu_slot_remove_write_access
slot_handle_large_level(kvm, memslot, slot_rmap_write_protect, false);
__rmap_write_protect(kvm, rmap_head, false)
spte_write_protect(sptep, pt_protect)
/* 清零页表项的bit 1，不允许CPU写物理页 */
spte = spte & ~PT_WRITABLE_MASK
mmu_spte_update
......
__set_spte
/* 更新spte表项 */
WRITE_ONCE(*sptep, spte)
大页拆小页的逻辑。代码如下：fast_page_fault
/*
* Currently, to simplify the code, write-protection can
* be removed in the fast path only if the SPTE was
* write-protected for dirty-logging or access tracking.
*/
if (fault->write &&
spte_can_locklessly_be_made_writable(spte)) {
new_spte |= PT_WRITABLE_MASK;
/*
* Do not fix write-permission on the large spte. Since
* we only dirty the first page into the dirty-bitmap in
* fast_pf_fix_direct_spte(), other pages are missed
* if its slot has dirty logging enabled.
*
* Instead, we let the slow page fault path create a
* normal spte to fix the access.
*
* See the comments in kvm_arch_commit_memory_region().
*/
if (sp->role.level > PG_LEVEL_4K)
break;
}
KVM_GET_DIRTY_LOG ioctl中实现了，由于第二步需要拿mmu_lock锁修改页表，并且不知道哪些页需要清零，因此会清零虚机所有页，而vcpu缺页退出guest态时，kvm处理缺页这个操作需要竞争mmu_lock，长时间持有mmu_lock会影响vcpu的内存访问性能，因此第二步的开销很大。KVM_CAP_MANUAL_DIRTY_LOG_PROTECT特性，将脏页获取分成了两个ioctl命令字，KVM_GET_DIRTY_LOG和KVM_CLEAR_DIRTY_LOG，对应之前的两个步骤，第一个命令字只负责拷贝dirty bitmap，第二个命令只负责清零脏页，用户态获取到dirty bitmap之后，可以知道哪些页是脏的，因此KVM_CLEAR_DIRTY_LOG可以是虚机所有页集合的子集，在修改页表时效率会更高。kvm_vm_ioctl
case KVM_GET_DIRTY_LOG:
kvm_vm_ioctl_get_dirty_log
kvm_get_dirty_log_protect
slots = __kvm_memslots(kvm, as_id);
memslot = id_to_memslot(slots, id);
/* x86架构使用PML机制获取脏页 */
kvm_arch_sync_dirty_log
kvm_x86_ops.flush_log_dirty <=> vmx_flush_log_dirty
/* kick每个vcpu让其vmexit，这样在vmexit的路径上可以更新pml buffer */
kvm_flush_pml_buffers
kvm_vcpu_kick
/* dirty bitmap获取到之后，如果使能了KVM_CAP_MANUAL_DIRTY_LOG_PROTECT
* 特性，则跳过清零脏页的步骤，直接拷贝dirty bitmap */
if (kvm->manual_dirty_log_protect) {
dirty_bitmap_buffer = dirty_bitmap;
} else {
/* 获取mmu_lock锁，修改页表，将对应位清零 */
spin_lock(&kvm->mmu_lock);
kvm_arch_mmu_enable_log_dirty_pt_masked(kvm, memslot,
offset, mask);
spin_unlock(&kvm->mmu_lock);
}
kvm_arch_flush_remote_tlbs_memslot
/* 拷贝dirty bitmap到用户态 */
copy_to_user(log->dirty_bitmap, dirty_bitmap_buffer, n)
vmx_handle_exit
if (enable_pml)
vmx_flush_pml_buffer(vcpu);
/* 遍历PML buffer的entry，将其更新到内存页所属的slot的dirty bitmap */
for (; pml_idx < PML_ENTITY_NUM; pml_idx++) {
gpa = pml_buf[pml_idx];
kvm_vcpu_mark_page_dirty(vcpu, gpa >> PAGE_SHIFT);
memslot = kvm_vcpu_gfn_to_memslot(vcpu, gfn);
mark_page_dirty_in_slot(vcpu->kvm, memslot, gfn);
}
KVM_CAP_MANUAL_DIRTY_LOG_PROTECT特性下清零脏页的流程：kvm_vm_ioctl
case KVM_CLEAR_DIRTY_LOG:
kvm_vm_ioctl_clear_dirty_log
kvm_clear_dirty_log_protect
/* 清零脏页前首先同步之前的脏页信息，使dirty bitmap处于最新状态 */
kvm_arch_sync_dirty_log
/* 将最新的脏页信息拷贝到用户态 */
copy_from_user(dirty_bitmap_buffer, log->dirty_bitmap, n)
/* 拿mmu_lock锁，准备清零脏页，也就是使能脏页日志 */
spin_lock(&kvm->mmu_lock)
kvm_arch_mmu_enable_log_dirty_pt_masked
spin_unlock(&kvm->mmu_lock)