A resposta é bem simples: o hélio vaza. O hélio é um átomo muito pequeno e o látex é um material bastante poroso em relação ao átomo de hélio (se você for comprar balões, verá que existem alguns que "mantêm o hélio" e procuram ser mais grossos e menos porosos).

O equilíbrio de peso que mantém um balão flutuando não deixa muito espaço para vazamentos; então, quando uma pequena quantidade vaza, o balão desce.

Veja Como funcionam os balões de hélio para mais detalhes sobre o peso que um balão de hélio pode levantar.

Artigos relacionados

Mais links interessantes (em inglês)