当路德在瓦特堡隐居时，维滕堡的宗教改革正如火如荼地推进。此时的领导是卡尔斯塔特和梅兰希顿。他们鼓励那些不愿意继续修道的修士和修女还俗，离开修道院，过世俗的生活。1521年11月，维滕堡奥古斯丁修道院的四十名修士有十五人选择离开，开了修士离开修道院的先河。此后，各地的修士和修女纷纷效仿。不仅如此，即使未离开的修士也可以结婚。同年，有三位修士结婚，美因茨的大主教要逮捕他们，卡尔斯塔特为此写了《论独身生活》的著作回击，宣称修士不但可以结婚，而且可以生子。他还躬亲示范，与一名少女结婚。次年一月召开的奥古斯丁修道院修士大会通过决议，指出每位修士都可以不受限制地离开修道院，取消修士托钵行乞和献祭。
他们还改革了教会圣礼。依据传统的圣礼，在进行讲道和举行圣餐时，神职人员要穿上神职服饰，在主理圣餐之前要禁食和认罪，要用拉丁语宣讲设立圣餐之言，大家要唱颂歌圣诗，当然最根本的是不让平信徒领圣杯，饼直接放在信徒的舌头上，以免他们洒落。但是现在这一切都变了。卡尔斯塔特穿着世俗服装在教堂讲道，在举行圣餐时，他用非常简短的拉丁文背诵弥撒，但是在祈祷文中省略了所有涉及献祭的话语。他用德语宣讲设立圣餐之言：“这杯是用我的血立的永恒的新约，是灵和心的秘诀，这血是为赦免你们的罪而流的。”最令正统神职人员惊诧和愤怒的是，他将盛满酒的圣杯递给了平信徒，饼也不再被高高举起。他们还反对偶像崇拜，要求将圣母玛利亚等圣徒的雕像移出教堂。
路德时刻关注着维滕堡的改革，那里的运动让他揪心，他实在是不放心，于是，在1521年12月，他身穿骑士服冒险返回维滕堡一探究竟。亲自观察之后，他对当地的运动比较满意，安心返回瓦特堡，并撰写著作支持改革者，写信安慰他们，指导改革事宜。但是当路德听传闻说有人主张使用暴力，进行叛乱时，他撰写了《劝诫全体基督徒严防暴乱和激愤的书信》，旗帜鲜明地反对暴乱，说无论动机如何，暴乱都是不正确的，过激的、无理性的行动不但无益于改革，相反还会破坏它。他要求人们保持克制，指出反对上帝设立的政府就是反对上帝。由上不难看出，路德之所以与罗马教会决裂是因为后者完全不愿意认错和改错，做出适当的改革。路德不是革命家，他并不想进行激进的革命，只想从事温和的改革，革新教会，恢复原初教会的纯洁虔诚的属灵生活。事实上，在与以教皇为首的罗马教廷决裂之后，路德所从事的主要工作就是防止宗教改革矫枉过正，走向极端，采取激进举措。因此，他此后的主要论敌已经不仅是罗马天主教会，而是他昔日的战友和支持者。
除了这些和平之举之外，更激进的宗教改革行动发生了，出现了反宗教的骚动。一部分学生和市民携带刀剑闯入教堂，不允许神父做弥撒，他们把弥撒书搬下来，将神父哄下圣坛。不但如此，还出现了冲击修道院、毁坏圣像和圣坛、攻击神职人员的事件。同时，在维滕堡已经出现了宣扬世界末日来临、要人们通过暴力在尘世建立天国的茨维考先知，骚乱有愈演愈烈之势。这些都在路德的意料之外，违背了他的观点，他惊呼魔鬼已经闯入了他的羊群。萨克森选侯本人虽然同情宗教改革，但是他作为统治者有必要维持社会秩序，而作为虔诚的基督徒，他也质疑这些举动是否是真正的基督徒应该干的事情。路德担心事态变得严重，叛乱频发之后，这位开明的选侯将会受到帝国的压力而被迫屈服，这样宗教改革的大业就会完蛋。因此，路德决定永远离开隐居的瓦特堡，返回维滕堡，阻止激进的变革发生。但是现在形势变化了，他这一次回维滕堡面临的危险要远远大于他在沃尔姆斯帝国会议所面临的危险，因为那时他有帝国颁发的安全许可证，萨克森选侯也可以暗中帮助他，以济金根和胡腾为首的骑士则公开声明坚决支持他。但是现在这一切都没有了。他现在已经是教皇和皇帝通缉的要犯。离开了瓦特堡，选侯不可能为他提供有力的保护，不可能为了他而公开对抗罗马教廷和帝国皇帝，这一点选侯在劝他不要回去时已经明言了。当胡腾邀请他与济金根会面，商量组织同盟，发动起义时，他拒绝了：“我不愿意靠暴力和流血来维护福音。”总之，返回维滕堡是极其危险的。但是路德认为回去是上帝的旨意，躲避是不被允许的，所以他义无反顾地选择回去。1522年3月7日，路德结束隐居生活，返回维滕堡。
在9日的礼拜上，路德登台，开始了连续八天的讲道，向信众讲解不能用暴力改革教会这一基本主张，这就是著名的“祈求神助的布道”。他指出，爱，而不是外在的东西，才是最重要的，人们要消灭他们深恶痛绝的教会的诸种弊端，但是毁坏祭坛、捣毁圣像、废除弥撒并不能完成这。他说：“帮助和赞成废止弥撒的人认为这样做是有《圣经》根据的。我同意，但是秩序何存？这件事情做得过火了，完全不顾合宜的秩序并且触犯了你们的邻居。如果你们事先用迫切的祷告向上帝呼告，并得到当局的帮助，那么，人们肯定会说这一切是从上帝那里来的。”只有人真的相信《圣经》，内心因为信而发生改变，就能革除弊端。路德宣扬信仰上帝、爱邻居和忍耐，要求会众先理解上帝的话语和旨意，从信心和爱出发来决定选择何种圣礼，要先赢得人心，不要冲动，急于求成，打倒一切。
事实证明了路德的领袖地位和影响力，在他讲道之后，茨维考先知被驱逐，卡尔斯塔特因其激进的改革主张和抨击路德是“维滕堡的新教皇”而被议会解职，黯然离开那里。激进的改革举措终止，维滕堡的骚乱平息，恢复了秩序。
尽管路德凭借个人的魅力和权威地位平息了动乱，让教会和社会恢复了秩序，但是一旦像他这样权威的领袖不在了，还有谁能担当大任，维持教会秩序，不使信徒迷失方向呢？教会应该如何进行改革的问题摆在了宗教改革领袖面前。他们意识到重要的是贯彻路德神学的精神，对圣礼和教会组织等等进行一系列的改革，使教会成为属灵的团契，并向平信徒传讲福音，使他们成为被上帝教导的人。1525年之后，鉴于教会改革的不明状况，路德建议接替已故兄长“智者”腓特烈担任选侯的“坚定者”约翰（John the Steadfast）视察辖区内的教会。但是路德一向宣扬基督徒的自由，主张用宣讲神言和福音来保持教会的纯洁性，反对通过世俗权力迫使人们认同和追随圣礼仪式，他要求进行视察是否违背了自己的改革原则呢？他从前的学生阿格里科拉（John Agricola）提出了疑问。路德回复说，他并没有违背自己的改革主张，基督徒在信仰上是绝对自由的，但是在世俗国度中要服从世俗权力，不能任意胡来。不过，他也强调，世俗诸侯主持视察工作，不是以诸侯的身份，而是以教会的基督徒的身份。
1527年底，约翰选候决定视察辖区内的所有教会，要求梅兰希顿等人拟定视察条例。路德仔细审察了该条例。次年7月，视察开始。路德本人在健康恢复之后亲自参与了视察。视察的结果让改教领袖们大吃一惊：教会在财务上非常混乱，礼拜仪式不统一，在信仰和牧养上有很大的问题。尽管农民受了洗，领了圣餐，但是他们却不知道基督教的任何教义，甚至不知道使徒信经、主祷文和十诫。但是在路德看来，不知道基督教的教义的基督徒根本不是真基督徒，而是异教徒。农民野蛮粗俗，爱酗酒享乐胜过爱主日崇拜。最糟糕的是，作为牧羊人的牧师没有能力进行宣讲和布道，不让羊群误入歧途。
为此，路德提出了很多建议，做了很多工作。首先，推进教会的统一化、规范化的管理。最初临时向萨克森选侯辖区派出监督督导各地的教会，统一教会的财务，没收罗马教会的教产以支付牧师的工资和支持教会的建设，然后由诸侯在各个教区任命常设的监督进行督导。这样，新教从组织上就脱离了罗马教廷的管制。
其次，普及教育。早在确立视察制度之前的1524年，路德就已经写了《致德国所有城市的议员的信》，呼吁他们重视教育，加大对教育的投入，要求男孩和女孩都入学接受教育，宣称教育能培养出能干、博学、具有道德的市民，不让一个年轻人受教育比玷污一个处女的罪更大。在看到视察结果之后所写的《论让孩子在学校学习的讲道》中，他强调宗教教育的重要性，指出它并不只是精英教育，只培养神学硕士和博士，而且还要培养向未受教育的人传播福音、真道和在教会服事的普通牧师。
再次，路德积极参与教会的牧养，充当教会的牧师和牧师的精神导师。他不但翻译了《圣经》，使平信徒和牧师能够读到上帝的话语，而且还亲自为他所说的“野蛮的异教徒”（实质上是缺乏教育的基督徒）预备教理问答。事实上，他早就意识到撰写教理问答的必要性，只是因为他过于繁忙，所以委托他人代理。但是他后来发现他们所写的教理问答粗制滥造，最糟糕的是，完全没有按照他的神学思想写。譬如，有的问答说人是有罪的，应该永受惩罚，但是上帝派他的儿子耶稣基督代替人们受罚，如果人们愿意顺服上帝，爱他，那么，他们的罪就得赦免。这里的“如果”分明强调了人的能动性，而不是强调赦免罪是上帝白白的恩典，这就与敌基督教皇的观点相距不远了。有的问答甚至将经文表里意义对立起来，对圣礼加以寓意化的理解，而这是被他称为异端和宗教狂热者的做法。
路德决定亲自动手，他相当投入地干这件事，最终写了两份教理问答：为儿童和没有受过很好教育的基督徒写的《小教理问答》以及为儿童家长和教牧人员写的《大教理问答》。它们都论述了作为反映罪的镜子的十诫、宣扬罪得赦免的使徒信经、接纳怜悯的主祷文，在附录部分除了论述受洗和圣餐这两项圣礼之外，还简要论述了各种祷告和悔罪的方式。相比而言，《小教理问答》直接陈述正确的信仰，而《大教理问答》除了增加篇幅论述婚姻之外，还对这些信仰进行了详尽的解释，并且始终贯彻路德对基督教信仰的理解及其对他所反对的那些观点的批判。在解释只敬拜主那条诫命时，他指出罗马教会主张敬拜圣徒是错误的，在解释使徒信经第三条“我信圣灵”时，他说人凭借自己的理性和力量无法相信第二条“我信我主耶稣基督”，而圣灵通过福音召唤人，用他的恩赐光照人，使人成圣和真信。在解释主祷文的祈求“免我们的债”时，他强调人们每天都犯罪，罪有应得，当受惩罚，但是上帝施恩，赦免罪人。最后在解释圣礼时，他批判宗教改革激进派对圣礼的寓意化理解。路德对他的教理问答非常满意，说，如果要将他的著作毁灭，那么，他非常高兴能留下《论被缚的意志》和《小教理问答》。
路德还对圣礼和崇拜仪式进行改革。他并不主张像他的同事们当初在维滕堡所做的那样进行大张旗鼓的改革，而只是要消除教皇制度的弊端，废除其中宣扬人的功劳的成分。1523年，他制订了《弥撒和聚会的准则》。他认为主的晚餐只是感谢上帝和借着基督与上帝相交，因而他取消了弥撒中要求神父代替信徒献祭的祝圣文。他放弃了过去以圣餐为中心的崇拜，而以福音书、使徒书信和讲道为核心，并允许信徒直接领圣餐。不过弥撒还是像过去一样以拉丁文的形式举行。但是路德后来意识到未受过良好教育、听不懂拉丁文的平信徒没法注意到他坚决抵制的献祭已经被取消了，所以，在1526年，他又制定了《德文弥撒》，进一步简化仪式，并且完全用德语举行弥撒。
不仅如此，路德还在崇拜仪式中充分地运用了音乐。在他看来，音乐是上帝的一种美好恩赐，仅次于他的话语，是人的内心情感的管家。它能令魔鬼无法忍受，驱逐它们，能唤醒和感化信徒，使沮丧的人振作，令傲慢的人谦卑恭顺，让报复的人软化。在神奇的音乐中，人们能够看见上帝的智慧和异能，会借着音乐赞美主，尊主为大。因为教堂特有的结构使得唱出来的声音比说话的声音传得远，所以为了让信徒听懂祭司吟诵的福音书和使徒书信中的每一句经文，路德为它们预备了伴奏的音乐。在过去的崇拜仪式上，主持仪式的祭司和诗班是主角，而会众是完全被动的，偶尔用母语应和一下。但是路德要求所有会众都积极参与崇拜，人人充当祭司，用母语唱诗颂主。因此，后人称路德是会众唱诗之父。
路德不但鼓励会众唱赞美诗，而且还亲自创作赞美诗。1524年，他出版了收录有八首赞美诗的《基督教小诗集》。同年，他与好友还出版了《新德意志宗教歌曲集》，收录了三十八首赞美诗，其中十三首为他所创，而最著名的就是他隐居瓦特堡期间所创、后来被恩格斯称为“德国十六世纪宗教改革的行军曲”的《我们的上帝是坚固的堡垒》：
我们的上帝是坚固的堡垒，
坚固保障永不颓；
致命凶恶虽在包围，
他作帮助我何畏。
路德的这些诗歌构成了新教礼拜赞美诗的基础。
路德不但积极参与教会的建立，而且还做教会的牧师。他勤于讲道，仅在1528年，他就在一百四十五天讲了一百九十五次道。尽管他每年都要在圣诞节、复活节、圣灵降临节等重要节日围绕同一主题讲道，但是从不重复，每次都给人新鲜感，让听众有新的感动和收获。作为一个好牧师，路德除了讲道之外，还进行教牧关怀，关心他的羊群的信仰生活，抚慰他们的心灵。他向备受撒旦折磨的信徒传授他自己亲身经历而总结出的一套驱赶撒旦的方法：首先，用《圣经》记载的上帝的话语驱赶撒旦，耶稣基督也是这样做的。撒旦力图摧毁的是人对上帝的信仰和信心，因而保持它们，撒旦就无可奈何；其次，撒旦容易引诱和试探处在沮丧孤独状态下的人，因而要避免孤独，找到属灵的良师益友；再次，在沮丧孤独状态下要学会娱乐，譬如听音乐，因为魔鬼憎恶令人喜悦的音乐；最后，嘲笑奚落撒旦，甚至要怀着对他的蔑视“勇敢地犯罪”，因为撒旦是骄傲的，而嘲笑和蔑视他就会令他愤怒、沮丧，无计可施。
路德是教会的牧师，也是牧师的精神导师。早在二十年代，他就已经开始训练和培养牧师，帮助他们在教会服事。在三十年代，他意识到要对想做牧师的人进行严格的训练和考核，规范牧师的按立和安置。1535年，应他的要求，萨克森选侯规定辖区内的尚未被主教按立但想要成为牧师的人必须到维滕堡大学神学系学习，接受考核和按立。他所在的神学系继续坚持他过去推行的改革，要求学生直接学习《圣经》、早期教父的著作和古典语言，同时恢复一度被废弃的辩论课，严格考核学生对他所倡导的信仰的认同和把握程度。
除了指导牧师培养工作，路德还亲自授课，撰写讲章。他早年在维滕堡大学做教授时就非常热爱保罗的书信，特别是《罗马书》和《加拉太书》，并撰写了《〈加拉太书〉注释》，因为在他看来该书最清楚地论述了如何称义这个核心问题，而一旦人们错误地理解了它，那么，整个基督教的教义就会完全丢失。为了向更多的人宣讲福音真道，他花费三年时间写作有关《加拉太书》的系列讲章，在1535年完成了这项工作。在结集出版这些系列讲章时，为了与他早年完成的《〈加拉太书〉注释》区别开来，它们被命名为《大〈加拉太书〉注释》。该书后来被称作“宗教改革的大宪章”，路德本人也极其看重此书，说它是“我的凯瑟琳·波拉”（Katherina von Bora，即他的妻子）。
