Le bâtiment principal du Collège a été construit en 1935 au coeur du quartier Montcalm de la ville de Québec, au 1150 du boulevard René-Lévesque Ouest, entre les rues Holland et Belvédère. En 1935, c’était pratiquement en campagne et Québec était beaucoup moins illuminée la nuit, ce qui explique l’observatoire situé sur le toit du Collège.
Au bâtiment principal se sont ajoutés, au fil des ans, la résidence des Jésuites, l’aile Marquette (à droite sur la photo ci-contre), le gymnase Côté et le gymnase Jalbert. Une parcelle du terrain a été cédée à la ville de Québec qui y a érigé la succursalle « Collège des Jésuites » de la bibliothèque municipale.
Le Collège occupe un immense terrain qui apparaît comme un îlot de verdure au coeur du quartier Montcalm, quartier principalement résidentiel et institutionnel qui s’étend en haute-ville de Québec entre la rue Cartier et l’Université Laval.
Bordé d’arbres, le terrain est gazonné et comporte un parc boisé, un terrain de soccer, une piste de course à pied, un terrain de football et trois terrains de stationnement. Le Collège est situé à quelques minutes du Vieux-Québec.
