1848年革命失败后，欧洲革命暂时转入低潮。马克思和恩格斯在革命低潮时期除从事艰巨的理论研究工作外，还进行顽强的革命实践活动。
19世纪50～60年代，马克思着重对政治经济学进行深入的研究，着手撰写他的不朽名著《资本论》，恩格斯则对军事科学进行系统地、深入的研究，获得了巨大的成就。他们利用美国的《纽约每日论坛报》和其他报刊，就当时的国际重大事件发表了许多政论文章，抨击资产阶级的反动统治和殖民主义罪恶；力主用革命战争推翻欧洲反动势力的主要支柱——沙皇专制制度，实现欧洲各民族的独立和国家的统一，支持殖民地被压迫民族的解放斗争；号召各国无产阶级和被压迫人民共同斗争。
马克思和恩格斯为迎接新的革命高潮的到来，还做了各方面的组织准备。他们在英国先进工人中积极进行宣传和教育工作，争取职工会活动家和宪章派左翼领导哈尼、琼斯等人，通过他们去影响广大的英国工人群众。他们特别注意培养国际工人运动的领导骨干，想方设法同各地的革命老战士建立联系，把原共产主义者同盟成员埃卡留斯、列斯纳以及威廉·李卜克内西等团结在自己的周围，教育他们努力学习、刻苦钻研革命理论，掌握战斗武器，迎接必将到来的新的革命高潮。随着资本主义经济的发展，无产阶级的队伍也迅速扩大，到19世纪60年代，欧洲的产业工人已达874万，手工业工人则有1123.5万。1857年爆发的世界性经济危机，使无产阶级处境大为恶化。无产阶级同资产阶级之间的矛盾和斗争日益尖锐。60年代初，欧美各国的工人阶级已从小资产阶级民主派中分离出来，走上独立自主的道路。工人运动蓬勃发展起来。1859年7月，伦敦建筑工人在其他行业工人的积极支援下，举行了大罢工，打破了1848年革命失败后欧洲工人运动的长期沉寂局面。
1859年，意大利、德国爆发了重新争取民族统一的斗争；1861～1865年，美国人民进行了反对南方奴隶主叛乱的南北战争；1863年，波兰爆发反对沙俄统治的民族起义。国际上这一系列重大革命事件，要求各国无产阶级加强支援和团结战斗，促进了无产阶级支持被压迫民族斗争的统一行动。
1863年，在法国巴黎和马赛等地成立了细木工会、炼铁工人联合会，法国工人积极参加政治斗争和国际斗争。美国建立了全国性的工人联合会。在意大利、比利时、瑞士、西班牙、丹麦等国，工人组织也陆续建立，并开展了有组织的活动和罢工斗争。工人阶级的国际团结愿望日益增强。
1863年，波兰人民发生反对沙俄统治的民族起义。马克思、恩格斯认为，波兰的独立将是对沙皇反动势力的沉重打击，也是欧洲无产阶级解放斗争的重要条件。他们动员全欧无产阶级全力支援波兰的革命运动。当沙皇出动了十倍于波兰起义者的军队，对起义进行血腥镇压时，欧洲无产阶级和民主派的愤怒爆发了。1863年7月22日，英国工人在伦敦举行群众大会声援波兰人民，法国工人代表也参加了这次大会。11月10日，英国工人会议通过致法国工人的《呼吁书》，呼吁团结起来共同战斗，并建议召开有各国代表参加的国际会议，“建立各国人民之间的团结”。1864年9月28日，在伦敦圣马丁堂召开了盛大的国际性会议，再次讨论声援波兰人民和国际工人联合斗争的问题。参加大会的除了英、法两国的工人外，还有当时侨居在伦敦的德国、意大利、波兰、爱尔兰的工人代表和一些欧洲小资产阶级民主主义流亡者。马克思应邀出席了这次大会。大会通过法国工人的倡议，决定成立国际性的工人组织，并选出一个由英、法、德、意等国工人代表组成的临时中央委员会（后来改称为总委员会）。马克思作为德国工人代表被选入中央委员会，担任德国通讯书记。在临时中央委员会1864年10月11日的会议上，这个组织正式定名为“国际工人协会”。
第一国际成立后，最主要的任务是制定“国际”的纲领和章程。为此成立了专门的九人起草委员会。起草委员会的成员对于“国际”的目的和任务存在着根本不同的看法，发生激烈的争论，最后，起草委员会决定把起草任务交给马克思。
马克思及其支持者，要求把“国际”建设成一个团结、教育、组织和领导欧美无产阶级进行反对资本主义斗争的工具，因此，“国际”的纲领必须建立在科学社会主义的基础上。但是纲领又必须能够被当时不同水平的工人运动所接受。马克思用“实质上坚决，形式上温和”的办法，即没有用“共产主义”、“共产党”一类字眼，而是通过回顾无产阶级反对资产阶级斗争的发展来阐明无产阶级争取解放的道路，把《共产党宣言》中的基本思想融入第一国际的《成立宣言》和《共同章程》之中。马克思在《成立宣言》中阐明，在资本主义条件下，社会财富的增长和工业的成就未能消除工人阶级的贫困，工人阶级在经济上和政治上都受到压迫。《宣言》提出两个任务：消灭生产资料私有制；建立无产阶级政党，以便用革命手段夺取政权。《宣言》的结尾是“全世界无产者，联合起来！”马克思在《共同章程》中指出，工人阶级的目的不是建立新的特权，而是消灭一切阶级统治。工人阶级只有用政治斗争和暴力革命的手段，才能达到伟大的目的——自身的经济解放。《章程》还规定，“国际”建立在民主集中制的原则基础上。这两份纲领性的文献在11月1日被总委员会一致通过，这是马克思的革命原则和革命策略的光辉胜利。
马克思名义上只是总委员会的一名委员，实际上领导了第一国际的全部日常工作。恩格斯当时由于在曼彻斯特工作，没有直接参加“国际”的领导，但在每一个重大问题上，马克思都征求恩格斯的意见，并多次请恩格斯为总委员会起草报告或材料。1870年，恩格斯移居伦敦后，也被选入总委员会。马克思和恩格斯是第一国际的实际创建人和真正的领袖。
