世纪初，美国进入钢铁时代，需求旺盛，赢利丰厚。钢铁是工业的基础产业，谁控制了它，谁就控制了全美企业。摩根自然不会轻易放过，但他是迟来者，要出人头地，必须有坚定的毅力与决心。
摩根首先出资2亿美元重组了美国中西部各州的钢铁大联合，取名“联邦钢铁公司”。然而，它在钢铁业中属于小字辈，前面是钢铁大王卡内基，如一座大山横在他面前。
但此时的卡内基已近晚年，决定放弃财产与事业，开始社会性的捐赠，这为摩根的扩张提供了机会。
“卡内基钢铁”公司总裁许瓦布前往纽约大学演讲，摩根有意与他邻座，相互认识，彼此投机，相见恨晚。
摩根破例与许瓦布恳谈到深夜，尤其是对卡内基钢铁企业的发展前景，两人都十分关注，观点也越来越一致。
纽约，圣安德高尔夫球俱乐部。卡内基与许瓦布玩兴正浓，当打到第90洞时，许瓦布最终说服了卡内基向J·P·摩根出卖公司股份，卡内基在纸上写下1.5美元，摩根马上领会到对方要价是每股1.5美元。于是出资5亿美元购得卡内基铁路公司股份，此举震动了整个美国。
1901年4月1日，摩根组建了美国钢铁公司，资金8.5亿美元。1个月后，资金上升到10.18亿美元并发行3.01亿的新公司债券。
摩根控制了美国钢铁公司，也就控制了10亿资产的钢铁型企业，职工16.8万人，控制了全国产量的65%。摩根的钢铁公司与洛克菲勒的石油公司形成了美国的两大托拉斯集团，两家集团几乎占了全国企业总产值的1/3多，美国与世界为两大财团的势力感到震惊。
摩根在人们的眼中成为不可一世的大人物，《华尔街日报》以调侃的口气写下一段对话：
牧师：“约翰尼，你说谁创造了世界？”
约翰尼：“上帝在公元前4004年创造了这个世界，J·P·摩根在1901年重新组织了这个世界。”
摩根在胜利的喜悦中不无担忧，因为全美钢铁公司需要大量的铁矿。摩根审视全美矿产图，将目光锁定在五大湖铁矿区。他非常明白，要得到那里的铁矿，必须向洛克菲勒开战。此举，无疑是虎口夺食。但不入虎穴，焉得虎子？
在洛克菲勒控制的铁矿中，摩根最感兴趣的是马瑟比矿山，那是全美最大的铁矿，品质居全美第一，洛克菲勒当初以50万美元强行从别人手中购得。
一天，摩根单刀直入，亲自登门与洛克菲勒面谈，直接提出购买该矿山和五大湖的矿石运输船。老洛克菲勒是商场的人精，故意卖关子，说公司的事他不管了，要摩根与他的儿子商谈具体事务。摩根却志谋深算，欲擒故纵，不再找洛氏谈此事。不久，小洛克菲勒却找上门来。
“我不是专为卖矿山而来的！”小洛克菲勒卖关子道。
“究竟有何贵干？”摩根装做不知。
“我是来传达老父的话。”
“怎么说？”摩根故作镇静。
“他赞同你的梦想。”
“究竟要多少？”
“7 500万。”小洛克菲勒轻描淡写地说道。
摩根心里狠狠地咒骂：该死的赚钱魔王，几年前卡内基仅仅出过500万美元的买价！这个价格已经超过你们当初购入价的10倍，现在要价7 500万，未免太狠毒了！
“交易是以贵公司的钢铁股票支付。”这句话再次让摩根心里一震。经过仔细盘算，摩根不怕洛氏拥有钢铁公司的股票，自己有强大的势力，从长远着想，摩根认为值。他伸出右手，默默地紧握着对方，一字一句地说：
“就这么谈定了，请转告令尊，现在，美国必须靠纽约的力量———东部的新领导层来推动，这个时代已经来临！
摩根迫使洛克菲勒退出了钢铁企业，彻底巩固了自己钢铁大王的地位。
