1937年7月7日，日本军国主义分子发动了卢沟桥事变，由此中国人民也拉开了全国性的抗日战争的序幕。国民党政府好像一开始就已认识到战局对己不利，所以在北平（今北京）沦陷以前，就命令清华大学等高校准备南迁。7月底，北平、天津相继陷入敌手，北方各大学被迫纷纷南迁。为了便于加强对战时大学的领导，国民党政府教育部遂命令北京大学、清华大学和天津的南开大学在湖南省府长沙合组新校，定名为长沙临时大学。1937年8月在南京成立筹备委员会，以北京大学校长蒋梦麟、清华大学校长梅贻琦、南开大学校长张伯苓、湖南省教育厅长朱经农、湖南大学校长皮宗石以及胡适、顾毓秀、何廉、傅斯年、杨振声为筹委会委员，教育部部长王世杰为主任委员。8月28日，教育部又指定蒋梦麟、梅贻琦、张伯苓3人为筹委会常务委员，杨振声为秘书主任，负责办理校址勘定、科系设置、师资招聘、学生收受以及新设备的置设等事宜，并即派人前往长沙进行具体的筹备工作。9月13日，筹委会在长沙举行第一次会议。9月28日，开始启用国立长沙临时大学关防。10月18日，学生开始报到；10月25日开学；11月1日，临时大学正式上课。这样，3校就在长沙开始了合作办学、并肩创业的新篇章。当时的临大，有教师148人，学生（包括他校借读生在内）约1450人。北大、清华、南开3校原来院系较多，此时进行了调整、归并。如将历史、社会学合为一系；哲学、心理、教育合为一系；地质、地理、气象合为一系等。长沙临时大学共设有文、理、工、法、商4个学院，17个学系：文学院，下设中国文学系、外国文学系、历史社会学系、哲学心理教育学系等4系。理学院，下设物理学系、化学系、生物学系、算学系、地质地理气象学系等5系。工学院，下设土木工程学系、机械工程学系、电机工程学系、化学工程学系等4系。法商学院，下设政治学系、经济学系、法律学系、商学系等4系。临时大学的校址设在长沙原圣经书院、德涵女校旧址及四十九标营房等地。文学院因院址在衡山县南岳，与校本部距离较远，所以也称为长沙临时大学南岳分校。长沙临时大学的校务，由3校校长蒋梦麟、梅贻琦、张伯苓组成的3人常委会主持，并由蒋梦麟兼总务长、梅贻琦兼教务长、张伯苓兼建设长。为了分别办理各项事务，又设立了课程委员会、教室宿舍设备委员会、军训队等各种组织。各系的系务则由各系的教授会主席主持。临时大学的创设，正值抗战开始，举国振奋的时候，因此全校师生对抗战救国怀着满腔的热忱，迫切希望听到外面的消息。开办初期，学校曾邀请各界人士前来讲演，其中有八路军驻长沙办事处负责人共产党人士徐特立、出狱不久的陈独秀、国民党高级将领陈诚以及新闻界著名人士张秀鸾等。他们讲演的内容虽多为预测国际形势，分析抗战发展前途，但由于政治立场不同，思想观点各异，讲演的政治倾向和目的很不一样。像徐特立介绍延安和八路军抗日情况及动员民众问题的讲演，引起学生极大的兴趣，“大家都用严肃的态度听讲，以热烈的情绪鼓掌，掌声时常打断他的讲话。”这也反映出当时校方“兼容并包”的传统学风。因此有人说：“这个在搬迁中的临时大学，设备虽然简陋，大家却那末富有朝气。而生活愈简单，做事的效率便愈高，纠纷也愈少。”而且3个学校合在一起，“短长互见，可取长补短；而人才集中，也为任何一校所不及”。
临时大学只在长沙进行了一个学期的教学工作。1937年底，南京沦陷。日本侵略军自华北及长江一带步步进逼，局势日紧，举国震动。于是临时大学又奉国民政府教育部之命，于1938年1月议定，迁往云南省昆明市。随即派人到昆明准备校舍，添置设备，并动员学生填写入滇志愿书。因为原来临时大学的学生中有一大批人或去从军，或去战地服务，或去陕北学习，至2月10日，总共赴滇学生为820人。
1938年2月中旬，临时大学开始搬迁。人员分成两路，一路主要是女生以及身体较弱不适于长途跋涉或不愿参加步行者，概经粤汉路至广州，取道香港至越南海防，而后经由滇越路进入云南；一路则组成湘黔滇旅行团，徒步经晃县、贵阳、盘县等地前往昆明。参加旅行团的学生244人，教师有闻一多、曾昭抡、黄子坚、李继侗、袁复礼、许维遹、李嘉言、王钟山、毛应斗、郭海峰、吴徵镒等11人。全体教师组成辅导团，并成立湘黔滇旅行团指导委员会，由黄子坚任主席，李继侗、曾昭抡、袁复礼为委员。聘请国民党中将黄师岳担任团长。全团分为两个大队三个中队，实行军事管理，旅行途中必须绝对服从领导。2月20日，两部大卡车载上行李先行出动，大队随后出发。一路上，每天清早，师生们早餐刚毕，就踏上征途向西前进，少则五六十里，多则八九十里。
他们根据沿途村镇分布的情况，选择适当的地点休息、宿营。除了每天要完成的步行任务，师生们也沿途观赏了些风景名胜：他们瞻仰了红岩碑、伏波祠、诸葛洞等名胜古迹，领略了桃花源、飞云岩、火牛洞、九峰山等幽美壮丽的风光。他们还访问了侗家村落和苗民彝民的山寨，亲身接触了各地的风土人情，亲眼看到了国民党统治下的人民特别是少数民族人民的困苦生活，并亲手采集了各种动植物标本。有一部分爱好文艺的学生，在闻一多先生的指导下，还组织了歌谣采访组，该小组最坚定的成员、哲学心理教育学系的学生刘兆吉，不辞辛劳，在3500里的旅程中采集到了2000多首歌谣，后来选择一部分出版，定名为《西南采风录》。他们还在沿途进行了抗日救亡宣传活动，向各族人民痛斥日本军国主义者的罪恶，号召大家起来，把日本鬼子赶出中国去。在贵州炉山曾举行过苗汉联欢大会，苗民们吹芦笙跳舞，同学们则放声高歌，其乐融融。4月28日，经过68天的长途跋涉，“湘黔滇旅行团”的全体师生在团长黄师岳的组织领导下，整队进入金马坊，阔步在长街之上，在昆明各方面人士和先期到达的师长同学们的热情欢迎下，“精神旺盛”地到达了预定地点。这次旅行，不仅使师生们的身体得到了锻炼，而且也在一定程度上培养了他们吃苦的本领和集体生活的习惯。在这次难忘的旅行中，大家都学到了很多的东西。
1938年 4月，临时大学由长沙迁到昆明后，4月 2日，即奉国民党政府教育部令，正式更名为国立西南联合大学。5月2日学生注册，5月4日开始上课。由此，习惯上也把“5月4日”作为西南联大正式成立的日子。
刚开始时，由于缺少集中的校舍，学校被迫分为两部分：理学院、工学院设在昆明，借昆华农校、昆华工校、昆华师范、昆华中学及拓东路迤西会馆、全蜀会馆、江西会馆上课，称为西南联大本校。本校设一校务会议，由两院院长、教务长、总务长、建设长及教授代表5人组成，负责处理两院院务及本校经常事务。文学院、法商学院设在蒙自，租借原法国银行及原法国领事馆旧址等地为校舍，称为西南联大蒙自分校。分校也设一校务会议，由两院院长及教授代表4人组成，并互推主席1人，负责两院教务及有关事务。分校只开办了一学期，即迁回昆明。
西南联大的院系设置，与长沙临时大学时期基本相同。1938年8月，增设师范学院，内设国文、英语、史地、公民训育、数学、理化、教育等7个系，以及师范专修科。其它院系也有局部调整，原历史社会学系分为历史学系和社会学系，分别隶属文学院和师范学院。工学院则增设了航空工程学系、电讯专修科，并增设大学先修班。至此，西南联大共有5个学院，26个系，2个专修科，1个先修班，成为当时国内规模最大的高等学府。
西南联大的校务由校常务委员会主持。常务委员会是联大最高行政领导机构，仍由3校校长蒋梦麟、梅贻琦、张伯苓及秘书主任杨振声组成，而以梅贻琦为主席（原定3校校长轮流担任常委会主席，实际上蒋梦麟和张伯苓均在重庆国民党政府中任职，常委会主席一职则由常驻昆明管理校务的梅贻琦担任）。在常务委员会下，校一级的行政机构有：总务处，先后有周炳琳、沈履、郑天挺任总务长；教务处，先后有潘光旦、樊际昌、周炳琳、杨石光任教务长；训导处，由查良钊任训导长。联大设有校务会议和教授会两种组织：校务会议由常务委员、秘书主任、教务长、总务长、训导长，各学院院长及教授代表12人组成，以常务委员会主席为主席；教授会由全体教授、副教授组成，是一种咨议机构。各学院院务由院务委员会主持，各系的系务也由各系教授会主席（后改称系主任）主持。另外，在常务委员会的领导下，西南联大还设立了各种专门委员会，组织教师参加学校管理工作，协助常务委员会分别办理各项行政和教学事务。8年期间，联大共设立过70余个专门委员会，每个委员会设主席1人，委员数人，均为兼任，不计报酬，其任务完成后即行撤销。
此外，北大、清华、南开3校还各自保留着自己原有的某些行政和教学组织系统，各自设有办事处，负责处理各校自身的事务。3校参加联大工作的教职员，除了由联大发给聘书外，各校还单独发给聘书。战前在3校学习的学生，入联大继续就读的，仍保留原校学籍，毕业时分别由各校发给毕业证书。
1939年夏，西南联大开始使用在昆明大西门外所购买的120余亩土地上建造起来的新校舍。新校舍包括100余所低矮的土墙泥地草顶（也有部分铁皮顶）的平房以及比较高大一点的图书馆和饭厅。文、理、法商3个学院的教室、实验室和学生宿舍全部设在这里。师范学院也在新校舍附近，并设有图书馆分馆。工学院仍设在拓东路迤西、全蜀及江西3会馆旧址。需要一提的是，西南联大在蒙自分校撤销后又于1940年在四川叙永设立了分校。这是因为抗日战争进入相持阶段后，日寇加强了对西南大后方的军事轰炸，1940年昆明连遭轰炸，联大校舍亦未幸免，图书馆、生物实验室、宿舍都各有一部分被毁。因此，在1940年8月，西南联大奉教育部令，在四川叙永设立了分校，准备在以后战势紧急时再往四川转移。并规定，凡1940年录取的联大新生都一律到叙永分校报到。1941年1月2日叙永分校新生报到，1月6日开始上课。分校下设理、工、文法3个学院，并附设1个先修班，共有学生千人左右。由于在仓促之间建立，物质匮乏，分校的生活条件十分艰苦，校舍分设在一些破败的庙宇里，学生终日伴着泥菩萨学习和生活。次年夏，日寇轰炸减少，昆明局势稍趋稳定，联大迁校之议遂作罢论。8月底，叙永分校迁回昆明，并入本校之中，吃了半年多苦的游子也回到了大本营。
这样，从北平、天津各自独立的3校南迁长沙共建长沙临时大学到撤离长沙，经过长途跋涉在昆明大会师改称西南联合大学。1年之中，由于日寇的步步紧逼，也使这3所高校间的团结合作越来越紧密。虽然条件比原来要艰苦得多，但西南联大却充分发挥了合作办学的优势，在中国高等教育史上写下了重重的一笔。
