La población de Torrebaja se concentra en sus dos núcleos habitados: Torrebaja con 443 habitantes y la aldea de Torre-Alta, que dista aproximadamente dos kilómetros de Torrebaja, con 30 habitantes. 

Podríamos hablar también de otro núcleo, el barrio de Los Pajares, que antes dependía del municipio de Castielfabib y ahora depende de Torrebaja, tras la aprobación del expediente de segregación mencionado en el punto anterior. Actualmente este barrio está integrado en el núcleo de Torrebaja.