Le Pavillon de l'Ermitage est le seul vestige qui subsiste du château de Bagnolet. Il se trouve au n° 148 de la rue de Bagnolet, à l'angle de la rue des Balkans, qui marquait la limite du parc du château. Le Pavillon a été construit vers 1720[3] pour la duchesse d'Orléans par un architecte nommé Serin, pas autrement connu. Il est orné de peintures de Jean Valade représentant la Tentation de saint Antoine.

À l'origine, il était couvert d'un toit plat avec une balustrade, à l'italienne. Les deux fenêtres latérales de l'avant-corps sur jardin sont des ajouts.

Lors du morcellement du domaine, l'Hermitage, entouré de 11 600 m2 de terrain, constitua un lot. Il appartint notamment au baron de Batz, qui s'en servit comme « petite maison », puis à partir de 1792, comme lieu de réunion politique pour préparer la libération du roi Louis XVI. C'est là que fut arrêtée la Grandmaison, maîtresse du baron, qui finit sur l'échafaud.

En 1820, le pavillon appartint à François Pomerel, dont les initiales sont gravées sur la façade, dont le gendre le vendit à l'Assistance Publique en 1887. Il est depuis incorporé à l'hôpital Debrousse.