徐家汇书院，是徐家汇源众多建筑中最“年轻”的一幢。与它紧邻的徐家汇天主堂、观象台，以及不远处相望的徐家汇藏书楼、徐汇中学、圣母院旧址等，都是百岁上下的“前辈”。那书院所在的地块，又有着怎样的前世今生，发生过哪些历史故事呢？
书院所在的教堂广场南侧、漕溪北路西侧一带，历史上曾是徐家汇观象台最早所在地。1872年观测机构初建时，位于一幢今天已不存在的二层西式洋房中，这处房屋比现在的徐家汇天主堂还古老，后来和天主堂共存过很久。我们今天能基本确定它的所在位置——这个“一个半世纪不间断气象播报”的传奇的起点，现在已融入了书院大楼偏南部分的某一处空间。
1901年，观象台因为业务拓展迅速，迁入位置偏西的新建大楼（今气象博物馆所在建筑）。空置了不长时间后，老楼迎来了同样颇具盛名的新主人：爱国教育家马相伯创立的震旦大学。这所“东方巴黎大学”于1908年东迁卢家湾地区。随后，观象台老楼继续其教育用途。由天主教会附属的“蒙学班”发展而来的“类思小学”迁入。
到了1925年，同样是由教会创办、之前四年曾经暂借不远处《圣教杂志》社房舍的“徐汇师范学校”，因为招生范围扩大，便在小学和暂借处之间的空地上建造起新校舍——这个校舍所在地，基本相当于兼容了今天书院大楼的北半部分和楼前部分广场地块。几乎同时，类思小学按当时的办学规则，成为师范学校的附属，新的校名“徐汇师范学校附属小学”，简称便是“汇师小学”。
在1968年至1989年间，约莫是现今书院大楼最北侧部分，存在过一排候车室。在此期间，沪西南重要的长途汽车客运站点——西区汽车站，曾设立于天主教堂前、漕溪北路旁，历经20余年，才搬去更靠西南的吴中东路、中山西路口今址。另外，在2006年至2013年间，徐汇区档案局（馆）曾在差不多同一位置建成办公场所，使用过漕溪北路100号门牌，后来迁往浦北路。
值得一提的是，如今教堂广场中间及偏北的部分，也就是徐家汇天主教会权威刊物《圣教杂志》社旧址处，早在19世纪60年代也曾建起一幢三层老楼。它的最早使用者，是中国自然博物馆的鼻祖，也是如今上海自然博物馆的前身——1868年建立的徐家汇博物院。
1938年后，这幢老楼又成为教区神父住所，一度使用漕溪北路240号作为门牌，附近还曾短暂建立过一些慈善诊疗所。博物院旧址老楼最后的用途，是西区汽车站办公楼。之后，在20世纪90年代配合地铁1号线建设的洪流中，老楼轰然倒下，也正式开启了这一地块的“广场时代”。