Le "château des Ormes" des Schérer de Scherbourg du était relié à la rue du Bourg par un chemin, future avenue du Général De Gaulle. Celui-ci traversait le "pacot", un pâturage loué par le vulnérable bureau de la charité, ancêtre du CCAS. À l'est du pacot, on trouvait déjà en 1730 la ferme et le manoir du sieur Vandraken (site actuel du pôle petite enfance). Le lieu-dit "Pacot Vandrack" en 1830 donnera son nom au quartier.
Le maire bâtisseur Marcel Caloone monte le dossier de l'ensemble HLM moderne comprenant 1035 logements pour 4000 habitants.
La construction employant le béton armé débute en 1961 sous la direction de l'architecte Robert Clément pour les quatre tours et les barres (1965), Charles Abadie réalisant les maisons (1963) puis les écoles avec salle de sports (1967). Le centre social ouvre en 1970. Radio Pacot Lambersart émet dès 1982.
Le plan de rénovation urbaine du quartier marque le quatrième mandat (2008 à 2014) de Marc-Philippe Daubresse, député-maire, ancien ministre au logement et à la ville. L'avenue du Parc voit s'édifier à ses extrémités le Pôle Animation avec médiathèque et une grande salle de sports polyvalente près du parc Jean-Louis Borloo. Les immeubles Paradisier, Camélias et Jardins Saint-Clément notamment, permettent de reloger les habitants des immeubles déconstruits. Le quartier s'est métamorphosé : bienvenue au Pacot-Vandracq.