O carvão é carbono. Carvão ativado é aquele que foi tratado com oxigênio para abrir milhares de pequeninos poros entre os átomos de carbono. Veja essa informação retirada da Enciclopédia Britannica (em inglês).

    "O uso de técnicas de fabricação especiais resulta em carvões altamente porosos com áreas de 300 a 2.000 m2 de superfície por grama. Esses assim chamados carvões ativos ou ativados são amplamente usados para adsorver substâncias odoríferas ou coloridas de gases ou líquidos".

A palavra adsorver é importante aqui. Na adsorção as moléculas de uma substância se fixam à superfície de outra substância. A enorme área de superfície do carvão ativado dá a ele vários lugares de ligação. Quando certas substâncias químicas passam próximas da superfície do carbono, unem-se a essa superfície e são aprisionadas.

O carvão ativado é bom em aprisionar outras impurezas que tenham carbono como base (substâncias químicas orgânicas), como também substâncias como o cloro. Muitas outras substâncias químicas não são atraídas pelo carbono (sódio, nitratos, etc) passando direto por ele. Isso significa que um filtro de carbono ativado vai remover certas impurezas, mas vai ignorar outras. Isso também significa que, uma vez que todos os locais de ligação estejam preenchidos, um filtro de carvão ativado para de funcionar. Nesse ponto deve-se substituir o filtro.

Esses links o ajudarão a aprender mais: