Performance Best Practices for VMware vSphere 6.7

1. Hardware for Use with VMware vSphere

이 장에서는 VMware vSphere에 사용할 하드웨어를 선택하고 구성하는 방법에 대한 지침을 제공한다.

1. Hardware for Use with VMware vSphere

하드웨어 검증(Validate Your Hardware)

시스템을 배포하기 전에 다음 사항을 권장한다.

1. Hardware for Use with VMware vSphere

하드웨어 CPU 고려사항(Hardware CPU Considerations)

이 절에서는 vSphere 6.7과 함께 사용하기 위한 CPU에 대한 지침을 제공한다.

일반 CPU 고려사항

하드웨어를 선택할 때, vMotion™(DRS, DPM 및 기타 기능에 영향을 미침)과 VMware Fault Tolerance를 위해 VMware vSphere®의 CPU 호환성을 고려하는 것이 좋다. "VMware vMotion 및 Storage vMotion", "DRS(VMware Distributed Resource Scheduler)", "VMware Fault Tolerance" 등 참조.

사이드-채널 취약점

많은 현대의 CPU에서 집합적으로 "사이드-채널 취약점(Side-Channel Vulnerabilities)"으로 알려진 보안 취약점 부류가 발견되었다. 여기에는 Spectre, Meltdown, Foreshadow, L1TF 등으로 불리는 취약성이 포함된다. 이러한 취약점에 대한 완화 조치 중 일부는 성능에 상당히 영향을 미칠 수 있다. 이 주제의 복잡성뿐만 아니라 끊임없이 변화하는 특성 때문에, 이 책에서 완전히 다루지 않는다. VMware 제품과 관련된 이러한 취약성에 대한 최신 정보는 정기적으로 업데이트되는 VMware KB 문서 52245, 54951, 55636을 참조한다.

이러한 취약성은 시스템의 여러 부분에서 다양한 방법으로 완화될 수 있다. 취약성의 변종에 따라 하드웨어, 마이크로코드 또는 소프트웨어에서 완화(mitigation)가 발생할 수 있다.

하드웨어 완화

최근의 CPU 릴리스에는 성능에 거의 영향을 미치지 않고 이러한 취약성 중 일부를 해결할 수 있는 하드웨어 완화가 포함되어 있다. 따라서 이러한 CPU의 다른 측면에서의 성능 향상 외에도, 새로운 시스템에 대해 CPU를 선택하는 것은 특정 취약성에 대해 마이크로코드 또는 소프트웨어 완화가 필요한 구형 프로세서에 비해 훨씬 더 큰 성능 향상을 제공할 수 있다.

마이크로코드 완화

일부 사이드-채널 취약점은 마이크로코드로 완화할 수 있다. 마이크로코드는 CPU의 외부에서 볼 수 있는 명령 집합 아래의 CPU에서 실행되는 코드 계층이다. CPU와 함께 제공되는 마이크로코드는 BIOS 업데이트를 통해 또는 운영 체제를 통해 현장에서 업데이트될 수 있다.

ESXi의 일부 버전은 마이크로코드를 업데이트하여 특정 사이드 채널 취약점을 완화할 수 있다.

소프트웨어 완화

소프트웨어에서 일부 사이드-채널 취약점을 완화할 수 있다. 취약점에 따라 이러한 완화는 하이퍼바이저 수준이나 게스트 운영 체제 수준에서 이루어질 수 있다. 이러한 완화는 "ESXi의 사이드-채널 취약점 완화" 및 "게스트 운영체제에서 사이드-채널 취약점 완화"에서 설명한다.

하드웨어 지원 가상화

Intel®과 AMD의 프로세서는 대부분 가상화를 지원하고 성능을 개선하기 위한 하드웨어 기능을 포함하고 있다. 이러한 기능(하드웨어 지원 CPU 가상화, MMU 가상화, I/O MMU 가상화)은 아래에 설명되어 있다.

가상화 기술에 대한 자세한 내용은 다음 URL을 참조
https://www.vmware.com/techpapers/2009/software-and-hardware-techniques-for-x86-virtualiz-10036.html

하드웨어 지원 CPU 가상화(VT-x 및 AMD-V™)

VT-x(Intel processors) 또는 AMD-V(AMD processors)라고 하는 하드웨어 지원 CPU 가상화 지원은 민감한 이벤트와 명령어를 자동으로 트랩하여, 트랩 및 에뮬레이트 스타일 가상화를 가능하게 하며, 이러한 트랩 처리와 관련된 오버헤드를 줄일 수 있는 보조 기능을 제공한다.

버전 6.7부터 ESXi는 더 이상 소프트웨어 CPU 가상화를 지원하지 않는다.

하드웨어 지원 MMU 가상화(Intel EPT 및 AMD RVI)

AMD 프로세서의 경우 RVI(Rapid Virtualization Indexing) 또는 NTP(Nested Page Table)라고 하는 하드웨어 지원 MMU 가상화와, Intel 프로세서의 경우 EPT(Extended Page Table)이라고 하는 MMU 가상화는 MMU 가상화를 위한 하드웨어 지원을 제공하여 메모리 관리 유닛(Memory Management Unit) 가상화로 인한 오버헤드를 해결한다.

하드웨어 지원 MMU 가상화는 게스트 물리적 메모리를 호스트 물리적 메모리 주소에 매핑하는 추가 페이지 테이블 수준을 허용하므로 ESXi에서 섀도 페이지 테이블을 유지할 필요가 없다. 이로 인해 메모리 사용량이 감소하고 게스트 운영 체제가 페이지 테이블을 자주 수정하는 워크로드의 속도가 빨라진다. 하드웨어 지원 MMU 가상화는 대부분 워크로드의 성능을 향상시키지만, TLB miss를 서비스하는 데 필요한 시간을 증가시켜 TLB를 강조하는 워크로드의 성능은 감소시킨다.

그러나 이러한 증가된 TLB miss 비용은 "2MB 대용량 메모리 페이지"에 설명된 대로 게스트 운영 체제 및 애플리케이션이 대용량 메모리 페이지를 사용하도록 구성해서 줄일 수 있다.

버전 6.7부터 ESXi는 더 이상 소프트웨어 MMU 가상화를 지원하지 않는다.

하드웨어 지원 I/O MMU 가상화(VT-d 및 AMD-Vi)

하드웨어 지원 I/O MMU 가상화로 Intel 프로세서에서 VT-d(Directed I/O), AMD 프로세서에서 AMD I/O 가상화(AMD-Vi 또는 IOMMU)로 불리는 I/O MMU 가상화는 I/O DMA 전송 및 디바이스 인터럽트를 다시 매핑하는 I/O 메모리 관리 기능이다. 이 기능(엄밀히 말하면 CPU가 아닌 칩셋의 기능)은 가상 머신이 네트워크 카드, 스토리지 컨트롤러(HBA), GPU와 같은 하드웨어 I/O 디바이스에 직접 액세스할 수 있도록 할 수 있다.

하드웨어 지원 I/O MMU 가상화 사용에 대한 내용은 "DirectPath I/O"와 "SR-IOV(Single Root I/O Virtualization)"를 참조하기 바란다.

AES-NI 지원

vSphere 6.7에는 AES-NI(Intel의 Advanced Encryption Standard New Instruction Set)를 지원하는 하드웨어에서 성능이 크게 향상되거나 CPU 부하가 크게 감소하거나 둘 다 발생하는 기능이 포함되어 있다. 이 기능으로 최고의 성능을 얻으려면:

AES-NI를 지원하는 호스트는 기본적으로 호스트에서 실행 중인 가상 하드웨어 버전 7 이상의 가상 시스템에 노출된다. EVC(Enhanced vMotion Compatibility)를 사용하거나 CPU 마스크를 수정하여 원할 경우 변경할 수 있다(VMware KB 문서 1993 참조). AES-NI 패스스루를 사용하지 않도록 설정하는 것이 바람직할 수 있는 한 가지 상황은 AES-NI를 지원하는 호스트에서 그렇지 않은 호스트로 vMotion 호환성을 허용하는 경우다.

AES-NI를 사용하는 기능에 대한 자세한 내용은 "vSphere 가상 시스템 암호화 권장 사항", "VMware vMotion 권장 사항", "VMware vSAN"을 참조한다.

 

1. Hardware for Use with VMware vSphere

하드웨어 메모리 고려사항 (Hardware Memory Considerations)

이 절에서는 vSphere 6.7과 함께 사용할 메모리에 대한 지침을 제공한다.

Persistent Memory (PMem)

영구 메모리(Persistent memory, PMem)는 표준 서버 DIMM 슬롯에 맞지만 DRAM에 비해 다양한 장점을 가진 일종의 비휘발성 메모리다. PMem의 유형 및 구성 방식에 따라 다음과 같은 몇 가지 조합이 이점에 포함될 수 있다.

Intel Optane DC Persistent Memory Modules(DCPMM)와 NVDIMM-N 등 다양한 유형의 PMem을 사용할 수 있으며, PMem은 각각 아래에서 논의되며 지원하기 위해 설계된 서버에서만 사용할 수 있다. DCPMM은 다음 두 가지 모드 중 하나로 구성할 수 있다: 메모리 모드(Memory Mode) 및 앱 직접 모드(App Direct Mode).

ESXi 6.5 U3 및 6.7 EP10에서 Memory Mode를 활성화; 6.7 EP10은 App Direct Mode 지원.

Intel Optane DC Persistent Memory Modules (DCPMM)

DCPMM은 휘발성 DRAM보다 용량이 크고, GB당 비용이 저렴하지만 접근 속도가 약간 느린 PMem의 일종이다. DCPMM에서 사용할 수 있는 용량이 클수록 시스템당 더 많은 총 메모리가 허용될 수 있다.

Optane DC Persistent Memory Modes

위에서 언급한 바와 같이 DCPMM은 메모리 모드와 앱 다이렉트 모드 중 하나 또는 각 모드에서 부분적으로 구성할 수 있다.

PMem에서 최고의 성능을 얻으려면 App Direct Mode로 구성하고 vPMEM으로 사용하는 것이 좋다. 최고의 애플리케이션 성능을 얻기 위해서는 마이크로소프트 SQL 서버 2019와 같은 PMem-aware 애플리케이션이 필요할 것이다.

NVDIMM-N Persistent Memory

NVDIMM-N은 휘발성 DRAM과 같은 속도로 작동하지만 재부팅(또는 전원 장애 시 자동으로 저장)해도 컨텐츠가 보관되는 PMem의 일종이다.

NVDIMM-N은 항상 운영 체제에 PMem(DCPMM과 같은 메모리 모드는 없음)으로 표시되므로 ESXi 6.7 EP10과 같은 PMem 인식 운영 체제가 필요하다.

ESXi는 애플리케이션 직접 모드에서 DCPMMM을 사용하는 것과 같은 방식으로 NVDIMM-N을 사용할 수 있다.

NVDIMM-N PMem 성능에 대한 자세한 내용은 Persistent Memory Performance on vSphere 6.7을 참조하기 바란다.

 

1. Hardware for Use with VMware vSphere

하드웨어 네트워킹 고려사항(Hardware Networking Considerations)

이상적인 단일 포트 10Gb/s 이더넷 네트워크 어댑터는 PCIe x8(또는 그 이상) 또는 PCI-X 266을 사용해야 하며, 이중 포트 10Gb/s 이더넷 네트워크 어댑터는 PCIe x16(또는 그 이상)을 사용해야 한다. 실제 이더넷 디바이스(장치 자체에 내장된 브리지 칩 포함)에 대한 경로에는 가급적 "브리지 칩"(예: PCI-X에서 PCIe로 또는 PCI-X에서 PCI-X로)이 없어야 한다. 이상적으로 40Gb/s 이더넷 네트워크 어댑터는 PCI Gen3 x8/x16 슬롯(또는 그 이상)을 사용해야 한다.

단일 가상 스위치(vSwitch)와 물리적 네트워크 사이의 여러 물리적 네트워크 어댑터가 NIC 팀을 구성한다. NIC 팀은 하드웨어 장애나 네트워크 중단 시 수동적 페일오버를 제공할 수 있으며, 일부 구성에서는 트래픽을 물리적 네트워크 어댑터 전체에 분산시켜 성능을 높일 수 있다.

하나의 vSwitch에 연결된 여러 물리적 네트워크 어댑터 간에 로드 밸런싱을 사용할 경우 모든 NIC의 라인 속도가 동일해야 한다.

물리적 NIC가 연결된 물리적 네트워크 스위치(또는 스위치)가 LACP(Link Aggregation Control Protocol)를 지원하는 경우 이 기능을 사용하도록 물리적 네트워크 스위치와 vSwitch를 모두 구성하면 처리량과 가용성이 향상될 수 있다.

 

1. Hardware for Use with VMware vSphere

하드웨어 스토리지 고려사항(Hardware Storage Considerations)

백엔드 스토리지 구성은 성능에 큰 영향을 미칠 수 있다. 스토리지 구성에 대한 자세한 내용은 VMware vSphere 6.7용 vSphere Storage 문서를 참조하기 바란다.

예상보다 낮은 스토리지 성능은 ESXi와 관련된 문제가 아니라, 기본 스토리지 디바이스의 구성 문제로 인해 발생하는 경우가 가장 많다.

스토리지 성능은 워크로드, 하드웨어, 벤더, RAID 레벨, 캐시 크기, 스트라이프 크기 등에 따라 달라지는 방대한 주제다. 스토리지 벤더뿐 아니라 VMware의 적절한 설명서를 참조하기 바란다.

많은 워크로드가 I/O 작업의 지연 시간에 매우 민감하다. 따라서 저장 장치를 올바르게 구성하는 것이 중요하다. 이 절의 나머지 부분에는 최적의 스토리지 성능을 위해 VMware에서 권장하는 사례 및 구성이 나열되어 있다.

vSphere Flash Infrastructure 계층은 PCIe 플래시 카드 또는 SAS 또는 SATA 연결 SSD 드라이브로 구성될 수 있으며, PCIe 플래시 카드는 일반적으로 SSD 드라이브보다 성능이 우수하다.

VVol 성능은 스토리지 하드웨어 벤더마다 크게 다르므로 선택한 스토리지 하드웨어가 예상하는 VVol 성능을 제공하는지 확인한다.

개선 정도는 스토리지 하드웨어에 따라 다르지만 VAAI는 스토리지 확장성을 향상시키고, 여러 유형의 스토리지 작업에 대한 스토리지 지연 시간을 줄일 수 있으며, 스토리지 작업에 대한 ESXi 호스트 CPU 활용률을 낮출 수 있으며, 스토리지 네트워크 트래픽을 줄일 수 있다.

SAN에서 VAAI는 다음과 같은 기능을 제공한다.

블록 제로화("Write Same"라고도 함)는 eager-zeroed 씩 디스크의 생성 속도를 높이고, lazy-zeroed 씩 디스크와 씬 디스크에서 처음 쓰기 성능을 향상시킬 수 있다.

Dead space reclamation(UNMAP 명령 사용)를 통해 호스트는 더 이상 사용되지 않는 블록을 스토리지로 전송할 수 있다. 어레이 측에서 씬 프로비저닝된 LUN에서는 스토리지 어레이 하드웨어가 더 이상 필요하지 않은 블록을 재사용할 수 있다.

이 맥락에서 "씬 프로비저닝"은 스토리지 어레이의 LUN을 말하며, "Virtual Disk Types"에 설명되어 있는 씬 프로비저닝 VMDK와 구별된다.

NAS 기기에서 VAAI는 다음과 같은 기능을 제공한다.

NAS 네이티브 스냅샷 디스크를 사용하여 가상 머신 스냅샷을 처음 생성하는 것은 VMware redo 로그로 스냅샷을 생성하는 것보다 느리다. 이러한 성능 영향을 줄이려면 NAS 네이티브 스냅샷을 사용하여 가상 시스템의 스냅샷을 생성하는 동안 가상 시스템에서 과도한 쓰기 I/O 로드를 방지할 것을 권장한다.
마찬가지로 NAS 네이티브 스냅샷을 사용하여 연결된 클론을 생성하는 것은 redo 로그를 사용하는 동일한 작업보다 약간 느릴 수 있다.

VAAI에 대한 자세한 내용은 VMware vSphere Storage API - Array Integration(VAAI)을 참조한다(vSphere 5.1용으로 작성되었지만 대부분의 컨텐츠는 vSphere 6.7에 적용됨). ESXi에서 VAAI를 사용하는 방법을 구성하는 방법에 대한 자세한 내용은 "ESXi Storage Consideration"을 참조하기 바란다.

그러나 VLAN과 VPN은 초과 구독은 제거하지 않지만 대역폭을 특정 트래픽에 우선하거나 비례적으로 할당할 수 있는 방법을 제공하는 QoS(네트워크 서비스 품질) 기능을 사용할 수 있도록 허용한다. 이 문제에 대한 다른 접근 방법은 "Network I/O Control(NetIOC)"를 참조.

이렇게 손실된 네트워크 패킷을 복구하면 성능이 크게 저하된다. 데이터가 삭제되었는지 확인하는 데 걸리는 시간 외에도, 재전송은 새로운 거래에 사용될 수 있는 네트워크 대역폭을 사용한다.

예를 들어, 전체 대역폭 잠재력을 공급하기 위해 단일 포트 32Gb/s 파이버 채널 HBA 카드는 최소 PCIe 2세대 x8 또는 PCIe 3세대 x4 슬롯(각 방향에서 최대 32Gb/s의 순 최대치가 가능한)에 설치해야 하며 이중 포트 32Gb/s 파이버 채널 HBA 카드는 최소 PCIe 3세대 x8 슬롯 이상에 설치해야 한다(각 방향에서 최대 64Gb/s의 순 최대치가 가능).

이러한 고성능 카드는 일반적으로 느린 PCIe 슬롯에서도 작동하지만 최대 처리량은 슬롯의 가용 대역폭에 의해 제한될 수 있다. 이는 블록 크기가 큰 I/O를 많이 사용하는 워크로드에 가장 적합하며, 이 카드들이 가장 높은 처리량을 개발하는 경향이 있기 때문이다.

1. Hardware for Use with VMware vSphere

하드웨어 BIOS 설정(Hardware BIOS Settings)

서버의 기본 하드웨어 BIOS 설정이 최적의 성능을 위해 항상 최선의 선택은 아닐 수 있다. 이 절에는 특히 새 서버를 처음 구성할 때 확인할 수 있는 BIOS 설정이 나열되어 있다.

일반 BIOS 설정

BIOS를 업데이트한 다음, 새 BIOS 옵션을 사용할 수 있게 되거나 이전 옵션의 설정이 변경된 경우 BIOS 설정을 다시 방문한다.

하드웨어 지원 가상화 기능을 변경한 후에는 변경 사항을 적용하기 전에 일부 시스템의 전원을 완전히 꺼야 할 수 있다. 자세한 내용은 http://communities.vmware.com/docs/DOC-8978을 참조하기 바란다.

전원 관리 BIOS 설정

VMware ESXi는 소프트웨어에서 호스트를 완전히 사용하지 않을 때 전력을 절약할 수 있는 모든 호스트 전원 관리 기능을 포함하고 있다("ESXi의 호스트 전원 관리" 참조). 하드웨어에서 제공하는 전원 관리 기능을 ESXi에서 가장 유연하게 사용(또는 사용하지 않음)할 수 있도록 BIOS 설정을 구성한 다음 ESXi 내에서 전원 관리를 선택하는 것이 좋다.

그러나 I/O 지연 시간에 매우 민감한 소수의 멀티스레드 워크로드에 대해 C-states는 성능을 저하시킬 수 있다. 이러한 경우 BIOS에서 사용하지 않도록 설정하여 더 나은 성능을 얻을 수 있다.

C1E와 심층 C-상태 구현은 서로 다른 프로세서 벤더와 세대마다 다를 수 있기 때문에, 결과는 달라질 수 있다.

 

 

 

2. ESXi and Virtual Machines

2. ESXi and Virtual Machines

ESXi 일반 고려 사항(ESXi General Considerations)

이 절에서는 ESXi의 여러 가지 일반적인 성능 고려 사항에 대한 지침을 제공한다.

ESXi 6.7에서는 기본적으로 가상 하드웨어 버전 14를 사용하여 가상 시스템을 생성한다. 이 기본값은 호스트, 클러스터 또는 전체 데이터 센터에 대해 변경할 수 있다.

 

2. ESXi and Virtual Machines

ESXi CPU 고려사항(ESXi CPU Considerations)

이 절에서는 VMware ESXi의 CPU 고려 사항에 대한 지침을 제공한다.

이 절의 나머지 부분에는 최적의 CPU 성능을 위해 VMware에서 권장하는 사례 및 구성이 나열되어 있다.

ESXi의 Side-Channel 취약점 완화

"Side-Channel Vulnerabilities"에서 설명한 바와 같이, 하이퍼바이저 수준에서 일부 사이드 채널 취약점에 대한 완화가 이루어진다. 이 절에서는 이러한 완화 조치에 대한 간략한 개요를 제공한다.

Speculative Execution 취약점(Spectre, Meltdown, Foreshadow 등으로 알려진)

최신 ESXi 릴리스를 사용해서 어떤 Spectre, Meltdown, Foreshadow 보안 취약성을 완화할 수 있는지에 대한 자세한 내용은 VMware KB 문서 52245, 54951 및 55636을 참조하기 바란다.

"Side-Channel Vulnerabilities"에서 설명한 바와 같이, 이러한 취약성 중 일부는 최근의 CPU 버전에서 완화되며, 잠재적으로 성능에 미치는 영향이 적다.

L1 Terminal Fault(L1 TF)에 대한 스케줄러 옵션 취약점 완화

특정 사이드-채널의 취약성 중 하나인 L1 Terminal Fault(L1 TF) 취약점(CVE-2018-3646)은 선택을 하고 추가 조치를 취해야 한다. 이 취약점은 하이퍼스레딩을 사용하도록 설정한 경우 가상 시스템 간(또는 VM과 ESXi 간)에서 정보 누출을 잠재적으로 허용한다.

VMware KB 문서 55806에서 설명한 것처럼 성능 영향을 크게 주지 않고 이 취약성(sequential-context attack vector)의 한 부분을 자동으로 해결하는 업데이트를 많은 vSphere 버전에서 사용할 수 있다.

이러한 동일한 업데이트는 이 취약성의 다른 부분(concurrent-context attack vector)을 해결할 수 있지만 기본적으로 해결하지는 않는다. 이 취약성의 이 부분을 해결하려면 새로운 ESXi 스케줄러(ESXi Side-Channel-Aware Scheduler라고 함)를 수동으로 사용하도록 설정해야 하며, 이로 인해 특정 가상 시스템 실행 시 상당한 성능 영향과 제한 사항이 있을 수 있다.

Side-Channel-Aware Scheduler(SCAv1)의 초기 버전은 ESXi의 이전 버전 업데이트에서 사용할 수 있게 되었다. SCAv1은 스케줄러가 코어당 하나의 스레드만 사용하도록 제한한다. ESXi 6.7 Update2와 함께 두 번째 버전(SCAv2)이 출시되었다. SCAv2는 멀티스레딩을 지원하지만 동일한 코어에 있는 서로 다른 VM의 스레드를 동시에 스케줄링하지는 않는다. 거의 모든 경우에 SCAv2는 SCAv1보다 낮은 성능의 페널티를 부과한다.

VMware KB 문서 56931에 설명된 HTAware Mitigation Tool를 실행하여 SCAv1 사용 시 발생할 수 있는 잠재적인 문제에 대한 보고서를 얻는다. 이 도구를 사용하여 SCAv1, SCAv2 및 다양한 관련 설정 및 옵션을 활성화 또는 비활성화할 수도 있다.

스케줄러에 대한 자세한 내용은 VMware KB 문서 55806 및 Performance of vSphere 6.7 Scheduling Options(https://www.vmware.com/techpapers/2018/scheduler-options-vsphere67u2-perf.html)을 참조하기 바란다.

UP : SMP HAL/Kernel

하드웨어 추상화 레이어(HAL)와 커널:UP와 SMP의 두 가지 유형이 있다. UP는 역사적으로 "유니프로세서(uniprocessor)를 의미했다, 그러나 이제는 "싱글-코어(single-core)"로 읽혀여야 한다. SMP는 역사적으로 "대칭 다중 프로세서(symmetric multi-processor)"를 의미했지만, 이제는 멀티-코어(multi-core)로서 읽혀져야 한다.

UP 운영 체제 버전은 단일 코어 시스템용이다. 멀티 코어 시스템에 사용되는 경우 UP 운영 체제 버전은 코어 중 하나만 인식하여 사용한다. 멀티 코어 머신을 완전히 활용하기 위해 필요한 SMP 버전도 싱글 코어 머신에서 사용할 수 있다. 그러나 추가 동기화 코드 때문에 단일 코어 시스템에 사용되는 SMP 운영 체제 버전은 동일한 시스템에서 사용되는 UP 운영 체제 버전보다 약간 느리다.

Windows를 실행하는 기존 가상 시스템을 다중 코어에서 단일 코어로 변경할 때 HAL은 보통 SMP로 유지된다. 최상의 성능을 위해 HAL을 수동으로 UP로 변경해야 한다.

하이퍼스레딩(Hyper-Threading)

누마(NUMA, Non-Uniform Memory Access)

이 절에서는 NUMA 하드웨어에서 ESXi를 실행할 때 최상의 성능을 얻는 방법을 설명한다.

NUMA 가상 머신을 생성할 수 있는 다른 기능인 가상 NUMA(vNUMA)는 "Virtual NUMA(vNUMA)"에 설명되어 있다.

일부 시스템에서 노드 인터리빙(Interleaved Memory라고도 함)에 대한 BIOS 설정은 시스템이 NUMA 시스템처럼 동작하는지 아니면 UMA(Uniform Memory Accessing) 시스템처럼 동작하는지 결정한다. 노드 인터리빙이 사용되지 않도록 설정된 경우 ESXi는 시스템을 NUMA로 감지하고 NUMA 최적화를 적용한다. 노드 인터리빙을 사용하도록 설정한 경우 ESXi에서 시스템을 NUMA로 감지하지 못한다. 자세한 내용은 서버 설명서를 참조하십시오.

ESXi와 함께 NUMA 시스템을 사용하는 방법에 대한 자세한 내용은 vSphere Resource Management를 참조하기 바란다.

수동 NUMA 구성

ESXi의 지능형, 적응형 NUMA 스케줄링 및 메모리 배치 정책은 모든 가상 시스템을 투명하게 관리할 수 있으므로 관리자는 손으로 노드 간에 가상 시스템을 밸런싱하는 복잡성을 처리할 필요가 없다. 그러나 수동 제어는 이 기본 동작을 재정의하기 위해 사용할 수 있으며 고급 관리자는 NUMA 배치를 수동으로 설정하는 것을 선호할 수 있다(고급 옵션의 numa.nodeAffinity).

기본적으로 ESXi NUMA 스케줄링 및 관련 최적화는 총 CPU 코어가 4개 이상이고 NUMA 노드당 CPU 코어가 2개 이상인 시스템에서만 사용하도록 설정된다.

이러한 시스템에서는 가상 머신을 다음과 같은 두 범주로 분리할 수 있다.

평균 메모리 액세스 지연 시간의 이러한 잠재적 증가는 가상 NUMA("Virtual NUMA(vNUMA)"에서 설명)를 적절하게 구성함으로써 완화할 수 있으므로 게스트 운영 체제가 메모리-로컬리티 관리 작업의 일부를 담당할 수 있다.

이러한 차이 때문에 일부 환경에서는 vCPU가 더 이상 없는 가상 시스템에 대해 각 물리적 NUMA 노드의 코어 수만큼 약간의 성능 이점이 있을 수 있다.

반대로, 일부 메모리 대역폭 병목 현상이 발생한 워크로드는 한 NUMA 노드 내에 들어갈 가상 머신을 여러 NUMA 노드로 분할할 때 사용할 수 있는 총 메모리 대역폭의 증가로 이득을 얻을 수 있다. 이 분할은 maxPerMachineNode 옵션을 사용하여 NUMA 노드당 배치할 수 있는 vCPU 수를 제한함으로써 달성할 수 있다(Virtual NUMA(vNUMA)를 참조하여 vNUMA에 미치는 영향도 고려한다).

하이퍼 스레드 시스템에서, vCPU 수가 NUMA 노드의 코어 수보다 크지만, 각 물리적 NUMA 노드의 논리적 프로세서 수보다 적은 가상 시스템은 원격 메모리가 있는 전체 코어 대신 로컬 메모리가 있는 논리적 프로세서를 사용하면 이점을 얻을 수 있다. numa.vcpu.preferHT 플래그를 사용하여 특정 가상 시스템에 대해 이 동작을 구성할 수 있다.

스눕 모드(Snoop Mode) 선택

캐시 데이터 일관성을 유지하기 위해 메모리 관련 작업에는 "스누핑"이 필요하다. 스누핑은 프로세서가 로컬 및 원격 프로세서의 캐시 내용을 검색하여 요청된 데이터의 복사본이 해당 캐시에 있는지 여부를 결정하는 메커니즘이다.

다섯 가지의 스눕 모드(모든 모드를 모든 프로세서에서 사용할 수 있는 것은 아님)가 있다.

COD(Cluster-on-die) 모드에서는 프로세서 내에서 NUMA 노드를 부팅 시간에 구성할 수 있다. 이 기능은 논리적으로 프로세서를 단일 NUMA 노드(모든 프로세서 리소스를 포함하는) 또는 여러 NUMA 노드(각각 CPU 코어 집합, 마지막 수준 캐시의 부분 및 통합 메모리 컨트롤러로 구성된 노드)로 분할할 수 있다.

SNC(Sub-NUMA Cluster)는 Cluster-on-die와 유사하지만 마지막 레벨 캐시(LLC)를 사용하는 방식에 차이가 있다.

특정 환경에 가장 적합한 스눕 모드는 해당 환경의 특정 워크로드와 기본 하드웨어 모두에 따라 다르므로 이 선택을 할 때 서버 제조업체의 지침을 따를 것을 권장한다.

스눕 모드 및 다이의 클러스터에 대한 자세한 내용은 VMware KB 문서 2142499 및 https://software.intel.com/en-us/articles/intel-xeon-processor-e5-2600-v4-product-family-technical-overview를 참조하기 바란다. sub-NUMA 클러스터에 대한 자세한 내용은 https://software.intel.com/en-us/articles/intel-xeon-processor-scalable-family-technical-overview를 참조하기 바란다.

ESXi에서 호스트 전원 관리

ESXi의 호스트 전원 관리는 전원이 켜져 있는 동안 ESXi 호스트의 전원 소비를 줄이도록 설계되어 있다.

호스트 전원 관리는 전원이 켜진 호스트에는 적용되지만, 매우 다른 절전 기술인 Distributed Power Management는 필요하지 않을 때 ESXi 호스트의 전원을 끄려고 시도한다. 이는 "VMware Distributed Power Management(DPM)"에 설명되어 있다.
호스트 전원 관리와 분산 전원 관리를 함께 사용하여 전력 절약을 최적화할 수 있다.

ESXi의 Power Policy 옵션

전원 정책 선택에 대한 자세한 내용은 vSphere Resource Management에서 "Select a CPU Power Management Policy"을 찾아보기 바란다.

사용자 지정 정책에 대한 개별 전원 관리 매개 변수 수정에 대한 자세한 내용은 vSphere Resource Management에서 "Select a CPU Power Management Policy"을 찾아보기 바란다.

또한 서버의 BIOS 설정은 "Hardware BIOS Settings"에 설명된 대로 올바르게 구성되었는지 확인하십시오.

전력 관리 기술의 가용성 확인

경우에 따라 기본 하드웨어에는 ESXi에서 전력을 절약하기 위해 사용할 수 있는 기술 중 하나 이상이 없거나 이러한 기술을 ESXi에서 사용할 수 없게 되는 경우도 있다. 이것은 문제를 일으키지는 않지만, 시스템이 필요 이상으로 많은 전력을 사용하는 결과를 초래할 수 있다.

원하는 경우 다음 단계를 수행하여 하드웨어에 이러한 기술이 있는지, ESXi에서 사용할 수 있는지 확인하십시오.

    1. vSphere Client를 사용하여 관심 호스트를 선택한다.
    2. 해당 호스트에 대한 Configure 탭을 선택한다.
    3. Configure 탭의 왼쪽 창에서 Hardware에서 Power Management를 선택한다.
    4. Technology 필드에는 해당 호스트에서 ESXi에서 현재 사용할 수 있는 기술 목록(ACPI P-상태, ACPI C-상태 또는 둘 다)이 표시된다. 최고의 절전을 위해 ESXi에서 두 가지 기술을 모두 사용할 수 있기를 원할 것이다.
전원 정책 선택

균형 조정의 기본 전원 정책은 일반적으로 CPU 집약적 또는 메모리 집약적 워크로드의 성능에 영향을 미치지 않는다. 그러나 균형 조정 정책은 대기 시간에 민감한 워크로드의 성능을 약간 떨어뜨리는 경우도 있을지 모른다. 이 경우 고성능 전원 정책을 선택하면 완전한 하드웨어 성능이 제공된다. 이에 대한 자세한 내용은 "Running Network Latency Sensitive Workloads"을 참조하십시오.

 

2. ESXi and Virtual Machines

ESXi 메모리 고려사항

아래의 절은 ESXi 메모리 고려사항에 대한 지침을 제공한다.

메모리 오버헤드

가상화는 자체 코드와 데이터 구조에 필요한 추가 메모리 때문에 필요한 물리적 메모리의 양을 증가시킨다. 이 추가 메모리 요구 사항은 다음과 같은 두 가지 구성 요소로 분리할 수 있다.

1    VMkernel 및 다양한 호스트 에이전트(hostd, vpxa 등)에 대한 시스템 차원의 메모리 공간 오버헤드.

ESXi는 호스트가 메모리 압박을 받을 때 시스템 스왑 파일을 사용하여 이 메모리 오버헤드를 최대 1GB까지 줄일 수 있도록 허용한다. 이 기능을 사용하려면 먼저 시스템 스왑 파일을 수동으로 생성해야 한다. ESXi 콘솔에서 esxcli sched swap set -d true -n <datastore name> 명령을 실행하여 이 작업을 수행할 수 있다.
스왑 파일은 1GB이며 지정된 데이터스토어의 루트에 생성된다.

이 시스템 스왑 파일은 가상 시스템별 메모리 공간 오버헤드의 VMX 구성 요소에서 메모리 페이지를 저장하는 가상 시스템별 스왑 파일과 다르다.

2    각 가상 시스템의 추가 메모리 공간 오버헤드.

가상 머신별 메모리 공간 오버헤드는 다음과 같은 범주로 추가로 나눌 수 있다.

이러한 목적으로 예약된 메모리 양은 vCPU 수, 게스트 운영 체제의 구성된 메모리, 게스트 운영 체제가 32비트인지 64비트인지, VMM 실행 모드, 가상 시스템에 사용하도록 설정된 기능 등 다양한 요소에 따라 달라진다. 이러한 오버헤드에 대한 자세한 내용은 vSphere Resource Management를 참조하기 바란다.

가상 시스템의 전원을 켤 때 VMM 및 가상 디바이스 메모리 요구 사항은 완전히 예약되어 있지만, VMX 스왑이라는 기능은 가상 시스템당 VMX 메모리 예약을 크게 줄여 호스트 메모리가 오버 커밋될 때 더 많은 메모리를 스왑 아웃할 수 있다. 이는 각 가상 시스템에 예약된 오버헤드 메모리의 상당한 감소를 나타낸다.

각 가상 시스템에 대한 VMX 스왑 파일 생성(따라서 해당 가상 시스템에 대한 호스트 메모리 예약 감소)은 자동으로 수행된다. 기본적으로 이 파일은 가상 시스템의 작업 디렉토리(가상 시스템의 .vmx 파일에서 workingDir에 의해 지정된 디렉토리 또는 이 변수가 설정되지 않은 경우 .vmx 파일이 있는 디렉토리에서)에 생성되지만 sched.swap.vmxSwapDir로 다른 위치를 설정할 수 있다.

필요한 디스크 공간은 다양하지만 대형 가상 시스템의 경우에도 일반적으로 100MB 미만(일반적으로 가상 시스템이 3D 그래픽용으로 구성된 경우 300MB 미만)이다. sched.swap.vmxSwapEnabled를 FALSE로 설정하여 VMX 스왑 파일 생성을 사용하지 않도록 설정할 수 있다.

VMX 스왑 파일은 호스트 캐시 또는 일반 호스트 수준 스왑과 전혀 관련이 없으며, 두 파일 모두 "Memory Overcommit Techniques"에 설명되어 있다.

또한 ESXi는 페이지 공유(32페이지의 "메모리 오버 커밋 기술" 참조)와 같은 최적화 기능을 제공하여 기본 서버에서 사용되는 물리적 메모리 양을 줄인다. 어떤 경우에는 이러한 최적화가 오버헤드에 의해 차지하는 메모리보다 더 많은 메모리를 절약할 수 있다.

메모리 사이징

가상 시스템에 할당하는 메모리 양을 주의하여 선택하십시오.

작업 세트를 유지하는 데 필요한 양을 초과하여 가상 시스템에 할당된 메모리는 일반적으로 파일 시스템 캐시를 위해 게스트 운영 체제에 의해 사용된다. 호스트 수준의 메모리 리소스가 부족해지면 ESXi는 일반적으로 메모리 벌룬("Memory Overcommit Techniques"에서 설명)을 사용하여 이러한 캐시에 사용된 메모리 부분을 회수할 수 있다.

그러나 메모리를 과도하게 할당하면 가상 시스템 메모리 오버헤드가 불필요하게 증가한다. ESXi는 일반적으로 오버할당된 메모리를 회수할 수 있지만 이 오버할당된 메모리와 관련된 오버헤드는 회수할 수 없으므로 더 많은 가상 시스템을 지원하는 데 사용될 수 있는 메모리를 소비한다.

메모리 오버 커밋 기술

ESXi는 페이지 공유, 벌루닝, 메모리 압축, 호스트 캐시로 스왑, 정기적인 스와핑 등 5가지 메모리 관리 메커니즘을 사용하여 각 가상 시스템에 필요한 시스템 물리적 메모리 양을 동적으로 줄인다.

메모리 관리에 대한 자세한 내용은 Understanding Memory Resource Management in VMware vSphere 5.0(이 백서에서는 vSphere 5.0을 특히 다루지만 대부분의 개념은 vSphere 6.7에 적용됨) 및 Memory Overcommitment in the ESX Server를 참조하기 바란다.

메모리 오버 커밋이 가상 시스템의 성능에 영향을 미치기 시작하는 것으로 의심되는 경우 다음 단계를 수행하십시오.

메모리 오버 커밋이 워크로드 성능에 영향을 미치기 시작하는 지점은 워크로드에 따라 크게 달라진다. 이 절에서 설명하는 영역은 대부분의 작업 부하와 관련이 있을 것이다. 그러나 이러한 작업 부하 중 일부는 다른 작업 부하보다 성능에 더 일찍 영향을 미칠 것이다.

    1. vSphere Client에서 해당 가상 시스템을 선택하고 Monitor > Performance > Advanced을 선택한 다음 오른쪽 상단의 Memory 선택 드롭다운에서 Ballooned memory(Average)을 확인한다.
      벌루닝이 없는 경우 ESXi는 과도한 메모리 압박을 받지 않으므로 메모리 오버 커밋이 해당 가상 시스템의 성능에 영향을 미치지 않는다는 것을 알 수 있다.

      이 표시기는 벌룬 드라이버가 가상 시스템에 설치되어 있고 작동이 차단되지 않은 경우에만 의미가 있다.
      일부 풍선은 매우 정상적이며 문제를 나타내지 않는다.

    2. vSphere Client에서 해당 가상 시스템을 선택하고 Monitor > Performance > Advanced을 선택한 다음 오른쪽 상단의 Memory 선택 드롭다운에서 Memory를 선택한 Consumed 메모리와 Active 메모리의 값을 비교한다. 소비량이 활성보다 높은 경우, 이는 게스트가 현재 최상의 성능을 위해 필요한 모든 메모리를 확보하고 있음을 시사한다.
    3. vSphere Client에서 해당 가상 시스템을 선택하고 Monitor > Utilization를 선택한 다음 Guest Memory 창을 확장한 다음 Swapped 및 Compressed 값을 확인한다. 여기서 0이 아닌 값은 호스트 수준에서 스와핑 또는 압축을 나타내며, 이는 보다 유의미한 메모리 압력을 나타낸다.
    4. 해당 가상 시스템 내에서 게스트 운영 체제 스왑 작업을 확인한다.
      이는 스왑 활동이 게스트 운영 체제 내의 다른 문제와 전적으로 관련될 수도 있지만(또는 게스트 메모리 크기가 단순히 너무 작다는 표시일 수도 있음) 벌룬이 성능에 영향을 미치기 시작할 수 있음을 나타낼 수 있다.

메모리 페이지 공유

vSphere 6.0(및 일부 이전 릴리스에 대한 패치 또는 업데이트에 포함)부터 페이지 공유는 가상 시스템 내에서 기본적으로 사용하도록 설정되지만("VM 내 공유"), 가상 시스템 간의 페이지 공유("VM 간 공유")는 동일한 "salt" 값을 가질 때만(아래 설명 참조) 사용 가능하다. 이러한 변경은 가상 머신에 대한 최고의 보안을 보장하기 위해 이루어졌다.

페이지 공유를 사용하도록 설정해도 공유되지 않는 2MB 대용량 메모리 페이지("2MB Large Memory Pages" 참조)가 널리 보급되어 있기 때문에, 이러한 변화는 대부분의 배포에서 메모리 사용량에 작은 영향을 미칠 가능성이 있다.

그러나 소규모 메모리 페이지를 광범위하게 사용하는 환경(예: 많은 VDI 구축)에서는 가상 머신 간에 페이지를 공유하는 것이 메모리 사용량을 상당히 줄일 수 있다.

기본적으로 특정 가상 시스템의 salt 값인 가상 시스템의 vc.uuid는 단일 ESXi 호스트의 가상 시스템 간에 항상 고유하므로 VM 간 페이지 공유를 차단한다.

다음 방법 중 하나를 사용하여 VM 간 페이지 공유를 활성화할 수 있다.

참고 호스트 구성 옵션 Mem에 대한 자세한 내용은 다음을 참조하십시오.ShareForceSalting은 VMware KB 문서 2097593을 참조하십시오.

페이지 공유 및 관련 보안 문제에 대한 자세한 내용은 VMware KB 문서 2080735 및 2097593을 참조하기 바란다.

메모리 스왑 최적화

위의 "메모리 오버 커밋 기술"에서 설명한 바와 같이 ESXi는 호스트 수준 스와핑 없이 제한된 양의 메모리 오버커밋을 지원한다. 그러나 오버 커밋이 너무 커서 다른 메모리 회수 기법이 충분하지 않으면 ESXi는 호스트 수준의 메모리 스와핑을 사용하며 가상 시스템 성능에 상당한 영향을 줄 수 있다.

이 절에서는 호스트 수준의 스와핑을 방지하거나 줄이는 방법을 설명하고, 불가피한 경우 성능에 미치는 영향을 줄이는 기법을 제시한다.

호스트 캐시로 스왑을 사용하는 것과 일반 스왑 파일을 SSD에 저장하는 것은 호스트 스왑 성능을 향상시키기 위한 두 가지 다른 접근 방식이다. 호스트 캐시로 스왑하면 잠재적으로 제한된 SSD 공간을 최대한 활용하는 동시에 일부 SSD가 가장 잘 작동하는 대규모 블록 크기에 최적화된다.

일반 스왑 파일을 SSD에 배치하는 것과 SSD의 호스트 캐시로 스왑을 사용하는 것은 호스트 스왑 성능을 향상시키기 위한 두 가지 다른 접근 방식이다. 호스트의 전체 스왑 파일 요구에 충분한 SSD 공간을 확보하는 것은 이례적이기 때문에 호스트 캐시로 스왑할 때 로컬 SSD를 사용하는 것이 좋다.

실행 중인 가상 시스템에 적용할 때 이러한 메모리 예약의 효과는 점진적으로만 나타날 수 있다. 즉시 전체 효과를 보려면 가상 시스템의 전원을 껐다가 켜야 한다.

그러나 리소스 예약을 구성하면 시스템에서 실행할 수 있는 가상 시스템의 수가 감소한다는 점에 유의해야 한다. 이는 ESXi가 모든 예약(가상 시스템 및 오버헤드 모두에 대해)을 충족할 수 있을 만큼 호스트 메모리를 충분히 사용할 수 있으며, 그렇게 하면 사용 가능한 메모리가 예약된 양보다 적게 감소할 경우 가상 시스템의 전원을 켜지 않기 때문이다.

메모리 예약은 ESXi가 가상 시스템에 예약하는 물리적 메모리 양에 대한 보장된 하한 값이다. 각 가상 시스템의 설정 창에서 vSphere Client를 통해 구성할 수 있다(가상 시스템을 마우스 오른쪽 버튼으로 클릭하고 Edit Settings을 선택하고 Virtual Hardware 탭을 선택하고 Memory를 확장한 다음 원하는 예약을 설정).

2MB 대용량 메모리 페이지

ESXi는 일반적인 4KB 메모리 페이지 외에도 2MB 메모리 페이지(일반적으로 "대형 페이지"라고 함)를 제공한다. (일부 CPU는 1GB 메모리 페이지를 지원하지만 이 책에서 "대형 페이지"라는 용어는 2MB 페이지를 지칭할 때만 사용된다는 점에 유의하기 바란다.)

ESXi는 가능한 경우 언제든지 이 2MB 시스템 메모리 페이지를 게스트 운영 체제에 할당하며, 게스트 운영 체제에서 요청을 하지 않더라도 이렇게 한다(게스트 운영 체제 메모리 고려 사항("Guest Operating System Memory Considerations"에서 설명한 것처럼 큰 페이지의 모든 이점은 게스트 운영 체제와 애플리케이션이 이 페이지를 함께 사용할 때만 제공된다)). 대형 페이지를 사용하면 TLB misses를 크게 줄일 수 있어 대부분의 작업 부하, 특히 활성 메모리 작업 세트가 큰 작업 세트의 성능을 향상시킬 수 있다. 또한 큰 페이지는 가상 머신당 메모리 공간 오버헤드를 약간 줄일 수 있다.

큰 페이지를 사용하면 페이지 공유 동작도 바꿀 수 있다. ESXi는 일반적으로 메모리 요구와 관계없이 페이지 공유를 사용하지만(vSphere 6.0에서 이 동작이 변경된 방식을 읽으려면 "Memory Page Sharing" 참조), ESXi는 대형 페이지를 공유하지 않는다. 따라서 대형 페이지의 경우, 메모리 오버 커밋이 큰 페이지를 작은 페이지로 분할하도록 요구할 정도로 충분히 높을 때까지 페이지 공유는 일어나지 않을 수 있다. 자세한 내용은 VMware KB 문서 1021095 및 1021896을 참조하기 바란다.

 

3. Guest Operating Systems

4. Virtual Infrastructure Management