Olá,
O ESXi foi feito para entregar o máximo de recursos para as vms, o ESXi é capaz de trabalhar com pouquíssima memória, quase nada, só para atender as máquinas virtuais.
Usando as técnicas de ballloning, compress, transparent page sharing (TPS) e swap por exemplo, o host se vira com a falta de recurso, mas haverá momentos que a queda desempenho nas vms será sentida, portanto sempre recomendo evitar deixar o host sem recursos para si, principalmente se estivermos falando de um ambiente com cluster, uma simples ação de por o host em modo de manutenção pode falhar, por causa de falta de recursos.
Sucesso !