[번역] Detailed write-up on my VMware vSphere 7 nested homelab networking setup

출처 : https://www.jeffreykusters.nl/2020/05/06/detailed-write-up-on-my-vmware-vsphere-7-nested-homelab-networking-setup/

Homelab.png

완전히 중첩된 VMware 홈랩 설정에 대해 많은 문의가 쇄도하고 있다. 사람들은 대부분 네트워킹 비트를 설정하는데 어려움을 겪고 있는 것 같다. 나는 이 블로그 포스트에서 전반적인 위상에 대해 설명하지만, 이 블로그 포스트는 네트워크 구성에 대한 더 많은 세부사항을 포함할 것이다. 또한 pfSense 어플라이언스를 Vyos 어플라이언스로 교체하고 NSX-T를 도입하는 등 몇 가지 변경 사항을 적용했다(이는 물리적 네트워크 구성에 전혀 변경되지 않지만).

나는 가능한 한 많은 스크린샷을 사용하여 단계별 과정을 만들 것이다.

물리적 ESXi 호스트

나는 Supermicro SYS-5028D-TN4T 서버를 사용하고 있다. 4개의 물리적 NIC와 IPMI 포트가 있지만 내 실험실이 완전히 중첩되어 있기 때문에 하나의 NIC만 사용한다. 스위치에 포트를 저장할 수 있도록 NIC의 IPMI를 공유하기도 했다.

Vyos 어플라이언스를 사용하여 물리적 장치와 중첩된 라우팅

내 홈 네트워크는 192.168.2.0/24에서 실행되는 단순한 플랫 네트워킹일 뿐이고 내 ISP 라우터는 192.168.2.254 기본 게이트웨이가 된다.

Vyos 어플라이언스를 사용하여 물리적 홈랩과 홈랩 환경에서 사용하는 모든 VLAN 사이를 라우팅한다. 어플라이언스에 NIC 두 개를 구성했다. 하나의 NIC가 내 물리적 홈 네트워크(업링크)에 연결되고 다른 NIC가 내 홈랩 환경에 연결됨:

Nested-Homelab-4736-2.png

인터페이스 구성을 살펴보면 192.168.2.145/24로 구성된 인터페이스 eth0이 표시되며 eth1은 여러 vif 인터페이스에서 세분화된다. 라우팅 가능한 모든 VLAN에 대한 하위 인터페이스:

image.png

예를 들어 홈랩의 ESXi 관리 네트워크는 서브넷 172.16.11.0/24가 있는 VLAN 1611입니다. 해당 VLAN은 IP 주소 172.16.154/24를 가진 Vyos 어플라이언스의 VIF 1611에 의해 라우팅된다. VLAN 1611의 기본 게이트웨이 입니다. Vyos 라우터는 내 ISP 라우터 192.168.2.254/24에 0.0.0.0/0 경로를 가지고 있다.

ESXi에서 VLAN을 사용하도록 설정하는 방법

중첩된 환경에서 VLAN 사용을 지원하려면 물리적 ESXi 호스트 네트워크 구성에 대해 몇 가지 단계를 수행해야 한다. 물리적 NIC를 살펴보면 단일 연결된 1000Mbps 인터페이스를 볼 수 있다. 나머지 3개 NIC은 연결이 끊김:

Nested-Homelab-0215.png

우선 두 개의 vSwitch가 필요하다.

Nested-Homelab-0226.png

첫 번째 스위치에는 단일 업링크(Supermicro에서 구성된 유일한 물리적 NIC)가 있다. 이 vSwitch에는 두 개의 포트 그룹이 있다:

  1. 홈 네트워크에서 물리적 ESXi 호스트에 연결할 수 있는 관리 vmkernel 포트. 이 관리 인터페이스는 IP 주소 192.168.2.35/24 및 기본 게이트웨이 192.168.2.145/24로 구성된다.
  2. 홈 네트워크 192.168.2.0/24 내에서 실행되는 모든 VM을 보유하는 가상 시스템 포트 그룹. Linux 점프 호스트 및 Vyos 어플라이언스의 업링크 인터페이스인 Windows AD / Jumphost:

Nested-Homelab-0316.png

정말 간단해. 두 번째 vSwitch는 VLAN 마법이 발생하는 곳이다. 업링크가 없는 vSwitch 입니다. Vyos 어플라이언스는 첫 번째 vSwitch를 업링크와 물리적 네트워크 192.168.2.0/24와 이 분리된 vSwitch의 VLAN을 연결한다. 분리된 vSwitch에는 두 개의 가상 시스템 포트 그룹만 있음:

  1. 중첩-ESXi
  2. ESXi-Mgmt

VLAN 4095의 마법

중첩-ESXi 스위치는 VLAN 4095로 구성된다. 이것은 기본적으로 VLAN 트렁크 포트로 바꾼다. 이는 이제 게스트 VLAN 태깅을 지원한다는 것을 의미한다. 이제 중첩된 ESXi 서버에 관리 인터페이스를 생성하고 중첩된 ESXi 호스트 자체에 VLAN 1611로 태그를 지정할 수 있다. 일부 VMware 장치를 중첩된 ESXi 호스트(예: vCenter Server, NSX-T Manager 및 NSX-T Edge)가 아닌 물리적 ESXi 호스트에서 직접 실행하려고 하기 때문에 ESXi-Mgmt는 VLAN 1611을 사용하는 기본 포트 그룹입니다. ESXi 관리 네트워크 VLAN 1611 172.16.11.0/24에 액세스해야 하므로 물리적 호스트에 VLAN 백업 포트 그룹도 생성해야 했다. 나는 여기가 그것이 약간 애매하게 되는 곳이라고 상상할 수 있다.

추가 스크린샷

몇 가지 단계/스크린샷으로 설정 과정을 안내해 주겠다.

중첩-ESXi vSwitch:

Nested-Homelab-0413.png

MTU 9000 및 보안 설정 구성(promiscuous, forged transmits, MAC changes 허용)

다음은 중첩-ESXi 포트 그룹 구성:

Nested-Homelab-0500.png

중첩된 홈랩에서 VLAN 지원을 사용하려면 이 포트 그룹에 VLAN 4095를 구성하는 것이 필수적이다. 또한 중첩된 가상화를 지원하는 데 필요한 보안 설정을 사용하도록 설정하십시오.

Nested-Homelab-4095.png

VLAN 1611의 물리적 ESXi 호스트에서 실행되는 VM을 지원하는 ESXi-Mgmt 포트 그룹:

Nested-Homelab-1137.png

윈도우즈 점프 호스트는 IP 주소 192.168.2.36/24를 가지며 192.168.2.145/24를 기본 게이트웨이로 사용하는 Vyos 라우터를 사용하고 있다. 192.168.2.254(내 ISP 라우터)로 가는 0.0.0.0/0 경로는 인터넷 액세스를 가능하게 한다.

Nested-Homelab-1520.png

중첩된 vCenter 및 ESXi

물리적 ESXi 호스트에 vCenter Server를 배포하고 단일 클러스터에 32GB RAM과 16개의 CPU가 있는 중첩된 ESXi 호스트 4개를 배포했다. 물론 과다 구독은 가능하지만, 이렇게 하면 높은 CPU 및 RAM 수 수요와 함께 중첩된 중첩을 실행할 수 있다. vCenter Server에 로그인하여 네트워크 설정을 자세히 살펴보기:

vCenter는 두 개의 업링크(다른 두 개의 업링크는 NSX-T용)와 여러 개의 포트 그룹이 있는 Distributed Switch를 한 개 보유하고 있음:

  • ESXi Management VLAN 1611
  • vMotion VLAN 1612
  • vSAN VLAN 1613
  • Overlay VLAN 1615
  • Uplink 01 VLAN 50(north/south 트래픽용 NSX-T와 Vyos 간 VLAN)
  • Uplink 02 VLAN 60(north/south 트래픽용 NSX-T와 Vyos 간 VLAN)

물리적 ESXi 호스트의 기본 vSwitch도 MTU 9000을 실행 중이므로 원하는 곳이면 어디에서든 MTU 9000을 구성할 수 있다. 일부 스크린샷:

Nested-Homelab-1720.png

VLAN 1611을 사용하는 ESXi 관리 포트 그룹:

Nested-Homelab-1803.png

중첩된 ESXi 호스트의 관점에서 본 네트워크 토폴로지:

Nested-Homelab-1849.png

중첩된 ESXi 호스트의 VMkernel 인터페이스 구성(여기에서도 적절한 MTU를 설정한다):

Nested-Homelab-1914.png

NSX-T는 어떠한가?

그리고 지금은 그것으로 끝 :-)이다. 현재 Kubernetes 및 NSX-T 3.0을 사용하여 vSphere 7.0으로 중첩된 홈랩 구성을 재구성하고 있다. 시간이 부족해서 시간이 좀 더 걸리지만, 나도 그 모험들에 대해 블로그를 할 것이다. 꼭 채널 고정!

이 중첩된 설정에 대해 질문이 있는 경우 내게 연락하는 방법을 알 수 있다(Twitter가 가장 좋다).