1910年6月1日，霍元甲结合时势，在农劲荪等武术界同仁协助下，在上海创办了“中国精武体操会”（后改名精武体育会）。孙中山先生赞扬霍元甲“欲使国强，非人人习武不可”之信念和将霍家拳公诸于世的高风亮节，亲笔写下了“尚武精神”四个大字，惠赠精武体育会。
当时上海蓬莱路一带为日侨聚居之地，日本柔道会得知霍元甲勇挫俄、英两国大力士，今又创立了“精武体操会”，很不服气, 特从国内选派十几名武术高手，由柔道会长亲自率领来华，以研究为名，请霍元甲等人来技击馆比武，双方各自择定公证人。
比赛开始时，霍元甲先命徒弟刘振声出阵，令其采用诱敌之法，寻机取胜，刘振声上场后，稳如泰山一般，日方人员认为有机可乘，使用多种招数，竟没有撼动他。即使日方派出其力气最大者上阵，也被刘振声一脚踢得倒地不能动弹。刘振声以静制动，以逸待劳，连胜日方五人。日本领队见此情形非常恼火，便出阵向霍元甲挑战，二人一经交手，未经几个回合，日本领队便领教到霍元甲的厉害，于是企图暗中伤人，谁知霍元甲已看出破绽，虚显一招，当场用肘将其臂骨磕断。日方队员见此情形，便蜂拥而上，当即被中方公证人制止。这时，日本人改变了策略，在比赛后举行宴会招待霍元甲。席间听闻霍元甲患有呛咳症，并在此次比武中也有外伤，就介绍一名叫秋野的医生为霍元甲治病。平生胸怀坦荡的霍元甲毫无怀疑之心，欣然接受。并留住虹口白渡桥的秋野医院。霍元甲服药后，病情不但没有好转，反而逐渐恶化。此时精武会欲接霍元甲出院，秋野百般阻挠，后经多方周旋才出院，由精武会同仁陈子正救治，因中毒太深而无药可救，于1910年9月14日长逝于上海精武体育会。霍元甲的徒弟和朋友们拿着霍元甲每日吃的药去化验，才知是一瓶慢性烂肺药，明白了这是日本人暗下的毒手。逝世时年仅42岁。霍元甲逝世后，当时精武会弟子和上海武术界爱国人士为霍元甲举行了隆重葬礼，敬献了“成仁取义”挽联，安葬于上海北郊。转年，由弟子刘振声扶柩归里，迁葬于小南河村南。上海精武会由元甲之弟元卿、次子东阁任教。各地分会相继分起，十数年后，海内外精武分会达43处，会员逾40万之众。
有传说霍元甲被日本人下毒药害死之后，他的爱徒陈真替他报仇。这个传说在1960年代末70年代初首次被李小龙搬上银幕（电影《精武门》，李小龙饰陈真）。但其实历史上并没有“陈真”这个人物，“陈真”是艺术家们根据刘振声的若干事迹塑造出来的，目的是为了让故事情节更加好看，但是历史上，刘振声的确是霍元甲的大弟子，霍元甲被日本人下毒害死也是真实的。1989年修建霍元甲陵园时，对霍元甲遗骨进行化验，证实是被毒死的。 此外还有有关霍元甲的长篇历史小说《津门大侠霍元甲》（作者：冯育楠，百花文艺出版社），通过作者考证的一些史料，基本再现了一代大侠霍元甲的风貌。
在国人的印象中，北有霍元甲，南有黄飞鸿，南北双侠都是中国武林有史可查的大英雄。霍元甲拳打西洋拳师、脚踢东洋武士；黄飞鸿无影脚名扬武林，威震香江。但在走访了研究中国武林历史的学者后，人们心目中的两位英雄被请下了神坛。据史料考证及霍家嫡传子孙的陈述，霍大侠一生从未登过擂台，更无同海外武士交手的经历。霍元甲本是天津小南河村的普通农民，业余时间习武，后来为了生计，辗转到天津市做买卖。由于霍元甲武术功底好，经常路见不平拔刀相助，因此在天津渐渐有了名气。
在李连杰主演的电影《霍元甲》中，霍元甲成年后在擂台上连胜38场，只要再打败秦爷便可成“津门第一”……影片中，李连杰演绎了霍元甲 “全能武术冠军”的功底，他用刀、枪、棍、剑力挫四国高手，由私斗霸主转变为抗击外国侵略者的民族英雄……
历史上，霍元甲仅有两次打擂的经历，而这两次准备与其交手的外国大力士最后都闻风而逃，霍元甲不战而胜。其一，是1901年，有一俄国人来津在戏园卖艺，他在报纸上发广告，自称“世界第一大力士”，打遍中国无敌手。霍元甲看了广告极为气愤，并提出要与之决一雌雄。或许是迫于霍元甲的气势，“俄国大力士”竟灰溜溜地逃离了天津。由此，霍元甲声名鹊起。其二，是1909年，英国大力士奥比音在上海登广告，辱我为“东亚病夫”，霍元甲应友人之邀赴上海比武。慑于霍元甲的威名，奥比音最终未敢交手随即消失。
1909年春，上海滩刮起了一股霍元甲旋风。旋风起源于前来中国走穴淘金的英国大力士奥皮音。这个来自英伦的 “型男”在位于四川北路的亚波罗影戏院（ApolloTheatre）表演举重、健美等，严格地说，无非是个走江湖、卖把式的洋艺人，在技击格斗方面，只会些花拳绣腿的招式。洋卖艺的当然也要吆喝，指望大清国人民有钱的捧个钱场、没钱的捧个人场。奥皮音的吆喝有点过头，在舞台上公然表示要与华人打一场擂台，被报刊记者们一炒作，成了对“东亚病夫”的挑衅与侮辱，深深地伤害了大清人民那本就敏感而易受伤的感情，于是，“沪人哗然”，群情汹汹，渴望着本土英雄们挺身而出，为国争光。霍元甲就在这个时候闪亮登场。
为霍元甲在幕后做策划的，是他的哥儿们农劲荪。农劲荪在天津经商，身家富裕，在经济上一直照顾霍元甲。据说他也是霍元甲在政治上的启蒙者及几乎所有事业的幕后主持者，正是在他的谆谆教诲及不懈的包装下，霍元甲从靠拳头吃饭的一介武夫，最终树立了类似民族英雄般的光辉形象。
农劲荪是同盟会会员，他的背后还有一个更为隐秘的推动者：陈其美。陈其美是孙中山的助手，也是当时籍籍无名的蒋介石的结拜兄弟。身为青帮骨干与同盟会高级干部，陈其美在上海负责协调这两大帮派的造反事宜。依靠黑帮闹革命屡战屡败后，同盟会便越来越深刻地感觉到必须建立自己的武装。此时，大清政府正在全面推进政治体制改革，出现了中国历史上前所未有的宽容局面，在地方自治运动中，一些以强身健体为旗号的民间准军事力量纷纷出现，同盟会自然也要抓住机遇，“希望十年内训练出千万名既有强健体魄，又有军事技能的青年以适应大规模革命运动和改良军事的需要”（陈其美语录）。霍元甲在江湖上名头响亮，而且又是农劲荪的哥儿们，自然是第一选择。
事实证明，同盟会策动霍元甲迎战已经在上海家喻户晓的奥皮音，是一次十分成功的“借势公关”。报刊连篇累牍地进行报道，霍、奥之战俨然成为事关中华民族尊严与脸面、彰显“黄魂”（即黄种人的魄力）的巅峰对决。
万众瞩目之下，策划者们开始在上海著名的“张园”内搭建大擂台，“高达4尺，宽广20尺”。霍元甲在报上刊登广告，高举爱国主义的大旗：“世讥我国为病夫国，我即病夫国中一病夫，愿与天下健者一试”，并宣称“专收外国大力士，虽铜筋铁骨，无所惴焉！”
吊足胃口的霍、奥之战，最后没有上演。主流的说法是，奥皮音被霍元甲和其所代表的中国真功夫吓破了胆，落荒而逃。“不战而屈人之兵，善之善者也”，这样的结局，自然是大长了中国人民的志气，大灭了帝国主义分子的威风。
而据居间担任翻译的另一同盟会会员、孙中山的小同乡陈公哲回忆: “奥皮音初来中国，不晓国人拳术比赛方法，只取西洋拳术比赛规则，手戴皮套，只击腰围上部，不许足踢。霍元甲则以中国擂台打斗方法，手足并用，无所限制，如有死伤，各安天命。彼此协商，未能获得协议。 ”其实，奥皮音无非是个跑码头的卖艺人而已，“嘴大”并不意味着“无脑”，自知之明还是有的，没必要非把大英帝国的荣誉套在自己身上，与中国功夫名家性命相搏。
总之，在这场高调宣扬的比武中，霍元甲已经不战而胜。为了满足台下观众的热情（笔者尚未查证到同盟会设定的入场券票价），主办者只好邀请观众上台打擂，“以不伤对方为原则，以身体倒地分胜负”。一场关系到民族荣誉的大战，至此演变为一场集体联欢。霍元甲及其徒弟自然是轻松获胜，自此在上海滩打响了名头。
