Alphonse Pallu naît à Tours en 1808. Très tôt, il s'engage dans l'industrie auprès de son père. En 1836, il s'installe à Pontgibaud, dans le Puy-de-Dôme, où il dirige des mines de plomb argentifère et des fonderies. Il possède également des carrières d'onyx en Algérie.

En 1848, il est élu maire de Pontgibaud et conseiller général, ce qui lui permet de siéger aux côtés de Morny. Les négociations qu'il mène aboutissent à l'échange de 1856, confirmé par sénatus-consulte l'année suivante. Pallu comprend très vite tout l'intérêt que présente Le Vésinet, proche de Paris et bien desservi par le chemin de fer.