1901年5月21日，国际奥委会在巴黎全会上将第三届奥运会的主办权授予美国芝加哥市。从法国首都传来的喜讯，令芝加哥的大学生们兴奋不已。但还没等到他们为此热烈庆祝一番，情况已经发生变化：路易安那州的首府圣路易将在1903年庆祝其百年历史。该州已获得世博会的举办权，他们要向世界展示自己的风采。而如果能够拿下1904年奥运会的主办权，把百年大庆推迟到1904年，将奥运会、世博会和百年大庆融为一体，圣路易将无限风光。美国总统罗斯福理解圣路易人的愿望，劝说芝加哥放弃主办奥运会的机会。得到芝加哥的放弃承诺之后，罗斯福致电国际奥委会，希望将1904年的奥运举办权改授给圣路易。罗斯福保证：圣路易将吸取巴黎奥运会的教训，办一届令人满意的奥运会。
面对美国总统的请求和芝加哥的放弃，当时还很弱小的国际奥委会不情愿地把第3届奥运会的主办权改授给了圣路易。圣路易世博会组委会主席弗朗希斯对国际奥委会的支持感激不已。与巴黎不同，圣路易奥运会成立了自己的组委会。组委会主席苏维万声称，将把圣路易奥运会办成有史以来最为精彩的体育盛会。与巴黎世博会用所谓的国际锦标赛取代奥运会不同，圣路易世博会则把博览会上所有的体育表演都冠名为“奥林匹克”比赛。就连密苏里州学校的比赛，基督教青年会的锦标赛也被纳入了奥运会的范畴。这同样害苦了国际奥委会和奥林匹克史学家，他们不得不在事后对近400个“奥运会冠军”进行鉴别。经过反复考证，专家们确认：只有100个左右才是真正的奥运会冠军。
事实证明：接受圣路易，是国际奥委会继选择巴黎之后的又一个重大失误。在本世纪初，要想远涉重洋到美国去参加奥运会，惟一的交通工具是轮船。且不论船票价格之昂贵，仅长达10天的旅程就足以令欧洲选手们望而却步。前往参赛的仅有96名来自加拿大、德国、希腊、古巴、奥匈帝国、南非、英国、法国、挪威、瑞士、澳大利亚等国的选手，剩下的全是清一色的美国人——525名男运动员加6名女运动员。整个比赛如同点缀了少数外国选手的美国锦标赛。
顾拜旦在回忆录中曾写道：“圣路易奥运会没有什么吸引力，我没有兴趣去那里观看比赛。”他不喜欢这个密苏里河与密西西比河交汇处的城市，该城“没有任何一个地方美丽，没有一个地方还保留着原来的风格。”“我预感到，这次奥运会与这个城市会相匹配的。”果然不出男爵所料：欧洲运动员到达圣路易之后，一个个都皱起眉头：从城市建筑到住宿条件，几乎没有一样令人称心的地方。运动场的更衣室是一个大厅，几百名运动员挤在一起更衣。更衣之后没有休息的地方，厕所里更是没有配草纸。
美国选手并不在乎欧洲人的抱怨，他们活得颇为潇洒。与巴黎奥运会相比，圣路易奥运会已经正规了许多。主体项目田径比赛至少是在乔治·华盛顿大学正规的运动场上举行的，那里可容纳观众4万人。虽然跳高、跳远的场地很差，但起码有一条良好的煤渣跑道——不过跑道却长达536.45米！
圣路易奥运会从1904年7月1日正式开始。但此前的几个月里，各种在“奥林匹克”旗帜下组织的比赛五花八门，从中学生的比赛到教会的体育活动。狂热的体育迷们涌入各个比赛场地，为自己的“奥林匹克选手”欢呼不已。虽说每场比赛的观众都没超过2000人，但他们发出的欢呼声听上去仿佛有上万人在助兴。
美国人喜欢金子。于是，圣路易奥运会第一次在奥运史上设立了金牌：冠军获金牌，亚军获银牌，第三名获铜牌。美国运动员在煤渣跑道上大显身手，大有百战百胜之势。美国白人运动员阿尔希·哈恩夺得60米、100米和200米金牌，成为著名的短跑明星。后来，他写了一本《如何短跑》的书，大受读者青睐。其他田径项目，如跨栏、中长跑、投掷、跳跃等，也都是美国选手的一统天下。客观地说，圣路易田径比赛的成绩比过去两届有了很大的提高，有的成绩就当时的训练和比赛条件而言已经相当不错。
与田径项目的长足进步相比，游泳比赛还是难以让人满意。与雅典奥运会时的海湾，巴黎奥运会时的河流相比，圣路易建设了专用水池，供游泳比赛使用。这是一个很大的进步，它向游泳池迈进了关键的一步。圣路易人为他们的发明感到高兴，颇为得意地宣称：安全第一，水池最安全。不过圣路易人没有透露他们的水池条件极差：池水只有齐胸部深。转身蹬池时，许多人滑倒在池底。
圣路易奥运会的大部分工作语言为英语。但开明的美国人遵守了体育世界的传统：体操比赛的工作语言为德语，击剑比赛的工作语言为法浯。而奥运会的重要书面语言依然是法语。
