卡特总统向苏联提出撤军的最后期限——1980年2月20日到了，而苏联根本没有从阿富汗撤军的意图。卡特总统恼怒地正式宣布：美国将抵制莫斯科奥运会！
然而，美国奥委会不愿接受卡特的命令，他们的运动员渴望参赛！为了迫使美国奥委会参加抵制活动，不去莫斯科参赛，卡特政府使用了一切手段：如果美国奥委会不参加抵制活动，政府将不再对美国奥委会的工作给予支持；将考虑收回美国奥委会总部及其科罗拉多斯普林斯训练中心的产权，因为它们属于国有资产；政府还将考虑，不再支持允许市民在退税单上留下向美国奥委会捐助一美元的栏目立法。
对于联邦政府粗暴干涉其内部事务，美国奥委会提出了强烈抗议。美国奥委会曾经是一个独立的体育机构。但美国国会1978年通过的业余体育法，使其丧失了昔日的独立地位，转化成了管理所有业余体育项目的官方机构。根据《业余体育法》的规定，美国奥委会必须向政府负责。面对政府的巨大压力，美国奥委会陷入了进退两难的艰难处境。根据奥林匹克宪章的规定，各国奥委会必须在奥运会开幕前六周，对国际奥委会的参赛邀请作出答复。
1980年5月24日，夹在政府巨大压力和运动员强烈抗议中间的美国奥委会举行会议，就是否参加莫斯科奥运会投票表决。在走投无路的情况下，美国奥委会违心地以1604票对797票的结果选择了抵制——美国运动员的眼泪没能改变抵制的决定。为了安抚已获提名的奥运选手，美国奥委会给他们每人颁发了一枚纪念性的金牌。
美国政府的决定，令1984年洛杉矶奥运会组委会主席尤伯罗斯痛心疾首：“假如这算我们最严厉的报复手段的话，那我们国家一定是太虚弱了。以不派几百名运动员参加奥运会相要挟，并不算什么国际策略。”
英国历来是美国最忠实的政治盟友，抵制奥运会的风潮在英国得到了热烈的响应。英国外交大臣卡林顿勋爵会见了英国体育界领导人，千方百计说服他们不要去莫斯科。英国奥委会为此举行了多次会议，其中最关键的一次是在英国下院3月17日辩论之后举行的。英国上院对此也进行了辩论，大多数议员反对派队前往莫斯科参赛。上院辩论时，不少运动员身穿运动服在议会走廊里静坐示威。
上院辩论结束之后的几天，英国奥委会进行了投票表决，但结果却出人意料：赞成参加莫斯科奥运会的意见占了上风！英国奥委会的表决结果，对西欧大多数举棋难定的奥委会是极大的触动。法国、意大利、瑞士、瑞典、丹麦、西班牙、奥地利、比利时、芬兰、希腊等国家的奥委会，相继作出了到莫斯科参赛的决定。西欧各国奥委会的决定，给澳大利亚人以勇气。虽然澳大利亚政府是美国重要的政治盟友，但其奥委会却以一票的微弱多数决定参加莫斯科奥运会。
不久之后，日本和中国奥委会先后作出了抵制莫斯科奥运会的决定。
此时，西欧最重要的奥委会——联邦德国奥委会的态度，就成为世界关注的中心。联邦德国俗称西德。美国政府不断向西德政府施加压力，要求其无论如何都要与美国保持一致。而苏联政府领导人在出席南斯拉夫总统铁托的葬礼时，也与西德总理进行了会晤，要求西德政府不要对本国奥委会施加压力，以使运动员能够去莫斯科参赛。生活在两个超级大国夹缝之中的西德左右为难，无所适从，最后决定将皮球踢给本国的奥委会，让他们自己作出抉择。
让奥委会自己作出抉择，不过只是一个托辞而已。西德奥委会负责人早就向政府表示过渴望去莫斯科参赛的强烈愿望。无可奈何的西德外交部长根舍，几乎是在恳求奥委会的领导人：“我在主观上也支持你们去莫斯科参赛，我也知道抵制奥运会不对，但美国的压力实在太大了。想一想美国在第二次世界大战之后给过我们多少精神和物质上的支持！想一想美国为我们重建家园作过多少贡献！作为美国的盟国，我们真的是别无选择！”
苏联政府了解西德奥委会强烈的参赛意愿。但苏联方面也非常清楚，美国不断在向西德政府施压，迫使西德政府私下阻止其奥委会参赛。为了说服西德奥委会所有委员顶住美国的压力，同意到莫斯科参赛，东德奥委会领导人与西德奥委会领导人一起，联合秘密起草了一份以西德奥委会名义发表的宣言。
1980年5月15日，西德奥委会在杜塞尔多夫举行全体会议投票表决。开会的前一天，西德总统邀请所有与会者出席招待会，向他们介绍了政府的立场。第二天，德国电视一台实况转播了西德奥委会的大会辩论。在辩论中，虽然国际奥委会副主席威利·道默和国际奥委会西德委员贝托尔特·拜茨据理力争，坚持去莫斯科参加奥运会，但最后的投票结果却是59：40，西德奥委会决定抵制1980年奥运会！
曾在当时投了抵制票的西德奥委会委员，德国体育基金会主席，两获奥运会马术盛装舞步金牌的约瑟夫·内卡曼，在其回忆录中沉重地追述投票时的心情：“我深深地感到左右为难：一方面，我认为有必要坚持政治原则；另一方面，我理解运动员的深切失望，抵制使他们丧失了到奥运赛场去一显身手的宝贵机会。但最后，我心中的公民战胜了我心中的运动员。1980年5月15日在杜塞尔多夫投票时，我选择了抵制……这个选择今天比当时更令我痛心！在没有能够参加莫斯科奥运会的运动员面前，我感到深切的内疚。我永远不能原谅自己未尽一切努力去为他们奋争的行为。对于一个运动员而言，一生中可能只有一次参加奥运会的机会；失去的机会将永远不会重来。”
又岂止是运动员失去的机会永远不会重来？！作为抵制莫斯科奥运会的西德奥委会主席，有很大可能成为基拉宁勋爵继任者的威利·道默，永远地失去了当选国际奥委会主席的可能！
然而，美国发起的抵制运动并没有获得成功！当80个国家和地区奥委会最终决定前往莫斯科参赛时，奥林匹克运动渡过了又一场深重的危机。
