查理将第一战指向老岳父德西得利乌斯的伦巴底王国。岳父公然收留卡洛曼遗孀及其幼子的行为，一直令查理耿耿于怀。查理在对德西得利乌斯深表不满之余，在新任罗马教皇哈德良一世的鼓励下，772年与伦巴底公主蒂塞德拉塔离婚。伦巴底国王立即做出回应，同年，他武力威逼罗马教皇哈德良一世为卡洛曼遗孤涂油加冕，并公开申斥查理非法侵占兄弟国土的行为。至此，双方彻底决裂。
773年，哈德良一世请求查理发兵保护宗教圣地的安全。查理于是发“正义之师”，翻越阿尔卑斯山，直抵波河流域的伦巴底王国。然后，查理兵分几路，分别袭击伦巴底军队。法兰克军队强势推进，伦巴底人溃不成军，卡洛曼遗孀和幼子终被法兰克军队所虏，从此不知所终。当法兰克王国各路人马会合一处时，查理统领全军直捣伦巴底首府帕维亚，将城池里三层外三层包围起来。774年4月复活节这天，查理来到罗马，接受了教皇非法授予的“罗马贵族长”头衔。同时，这位基督教虔诚教徒占领罗马，与教皇哈德良一世共同促成法兰克剑与十字架的联姻。从此，他每征服一个野蛮国家，便命令对方必须皈依基督教。6月，帕维亚城无力对抗法兰克军队的围困，德西得利乌斯率部向查理投降，结果被这位前女婿送到了修道院，没过多久便一命呜呼了。查理在帕维亚召开加冕仪式，戴上王冠的他自封为伦巴底国王。出征伦巴底，查理喜获大丰收，当真出乎他意料之外。与此相比，另一场对萨克森人的征服，却显得旷日持久且困难重重起来。
萨克森人与法兰克人有着比较接近的血缘关系，他们同属日耳曼人，不同的是，萨克森人一直保留着日耳曼人的传统宗教信仰，而不像法兰克人那样全面接受了罗马文明的熏染。这主要是由于自蛮族大迁徙以来，萨克森人一直盘踞在德国北方，与罗马鲜有接触的缘故。萨克森人粗犷彪悍，作战勇敢，依然崇信原始血亲复仇的习俗。他们不时地侵犯法兰克边境地区，抢掠财物，甚至残杀法兰克人。772年，查理以此为理由向萨克森人宣战，开始了他对萨克森人的第一次征伐。当然，查理如此大张旗鼓地出兵萨克森，还有其更重要的理由：将萨克森人占据的广阔地区纳入法兰克王国版图，进而一统日耳曼人所有部落或者王国。为了掩饰这一野心昭彰的目的，查理打起了传播基督教福音的旗号，宣扬此次进军萨克森意在为同胞塑造一个文明社会。怀着如此美好的意愿，查理挥师北上，然而，令他同样意想不到的是，他这一次征服工作却一直从772年延续到了804年，先后进攻次数达18次之多，持续时间之久，难度之大，位列查理所有征服战争之首。
初次进入萨克森的法兰克军队，在战事进展上可谓势如破竹。贪生怕死的日耳曼贵族们闻听查理大军压境，纷纷开城投降。几乎没费多少力气，查理便在一年内令威悉河流域的萨克森人手中都捧起了《圣经》。773年夏，就在萨克森战事空闲之际，查理接到了当时的教皇哈德良一世的邀请，引兵前往伦巴底。临行前，查理在萨克森布置了传教士和军队，以保证自己对被占领区的绝对控制。谁知，他前脚刚走，萨克森人叛乱立即死灰复燃。774年，查理在伦巴底称王后，马不停蹄地回师萨克森。在接下来的数年内，查理把主要精力投入到巩固征服成果上。在莱茵河及其右岸支流美茵河之间的军事要道上，查理命人修造了大量的皇家行宫庄园和军事工事，著名的帕德勃恩行宫既建造于此时，每当日耳曼有战事时，这里就是查理的驻跸之处。777年，查理开始将萨克森划分成几大传教区，每个教区均设立主教，以此在军事征服的基础上进一步加强思想控制。不过事情紧接着又出现了变化。
778年，查理远征西班牙的军队在撤退途中，于比利牛斯山脉的龙塞沃列斯山口遭敌伏击，近2万人的断后部队全军覆没。这一消息传出，先前被法兰克军队征服的各个地区，都弥漫起躁动不安的气息。本已逃亡丹麦的萨克森人首领韦杜金德，此时趁机返回萨克森，积极号召萨克森人起来反对法兰克人的统治。紧接着，他将威悉河入海口处的不来梅教区的教堂捣毁，将主教驱逐，恢复萨克森人的传统宗教信仰。然后，他率军直逼莱茵河，向法兰克军队开战。不过，令韦杜金德失望的是，他的同胞中有相当一部分贵族已被基督教拉拢到查理那边，所以，还没等查理动手，萨克森人中的那些亲法兰克贵族便与当地法兰克驻军一起消灭了叛乱军队。韦杜金德幸免于难，仍旧逃往丹麦，而他手下那些未战死的4500名起义者，则被交给了查理。这一次，法兰克国王开杀戒了。779年，在阿勒尔河畔的费尔登，查理命令将这4500名起义者尽皆斩首。此后，为了进一步预防萨克森人的叛乱行为，查理扶植萨克森人做当地伯爵。同时，他还强制推行《萨克森异教区法规》，设立法庭，以法令的形势强调基督教教会和法兰克王国统治神圣不可侵犯的地位。此外，他还采取了一些比较残酷的政策，比如，可以接受私人检举，不经开庭审理便可置被检举者于死地。
政策严厉了，统治加强了，但萨克森人中仍有不惧死亡者。782年，韦杜金德再度领导其子民与查理对抗，结果，于783年被查理的法兰克钢铁之师两度痛击到再无还手之力，以至于日后一提及法兰克骑兵，萨克森人便胆战心惊。在查理威慑力的重压下，韦杜金德终于改信基督教。可事情还没完，792年，查理在讨伐阿瓦尔人时失利，这一次，萨克森北部边防先起叛乱，并迅速向南扩展。查理立即用兵镇压，直到804年，法兰克军队最终歼灭北方的起义军。之后，查理向北部地区大量移民，并将所有心怀叵测者流放至边境处的斯拉夫人那里。一切停当之后，历时32年的萨克森征服战终于结束了，萨克森最终被收入法兰克王国的版图。
就在进行北部拓疆的同时，查理接到来自西班牙的求助信。原来，西班牙国内正笼罩在教派斗争中，那些阿拔斯王朝的支持者结成联盟，支持阿拔斯王朝而反对后倭马亚王朝的统治。西班牙人这时的求助对于查理正中下怀，他曾经无数次把注意力投向比利牛斯山脉那边，认真留意西班牙的风向，以便随时出兵开拓法兰克王国在南部的疆土。接到求助信后，778年，查理带兵进入西班牙北方。在与当地支持阿拔斯王朝的穆斯林兵合一处后，他们攻占了后倭马亚王朝的一些城池，不过，法兰克军队也付出了损兵折将的代价。最后，查理围攻西班牙东北部的重镇撒拉戈撒，两月有余尚无任何斩获，此时又传来萨克森人起事的消息，国王不得不做出撤兵的决定。778年8月15日，当法兰克军队行至比利牛斯山脉的龙塞沃列斯山口时，遭到加斯科尼人的伏击。法兰克军队携带了大批战利品，且行军已久，难免困乏，所以，当加斯科尼人从山上猛冲下来时，法兰克人立时大乱，旋即只有招架之功并无还手之力。眼看法兰克大军有全军覆没的危险，查理的外甥罗兰伯爵挺身而出，带领近2万人马断后，掩护大部队安全撤离。结果，罗兰伯爵和他那2万人马全部死于加斯科尼人之手。后来，罗兰伯爵的事迹不断流传，终形成一部描写基督教与伊斯兰教开展圣战的史诗《罗兰之歌》。而龙塞沃列斯山口一役，的确挫了法兰克军队的锐气。不过，查理很快便振作起来，在以后的20年中，他6次兵发西班牙，打击那里的穆斯林，最终在西班牙北部建立起一个边境国“西班牙三月国”。
西班牙战事结束后，查理意识到该将他对巴伐利亚公爵塔西罗的不满作个了结了。自从757年年轻的塔西罗向矮子丕平称臣以来，他一直想着独立，不过，他的分裂主张受到公国内一部分贵族和教皇的坚决反对，他只得暂时作罢。不久，塔西罗开始将基督教福音向东面的斯洛文尼亚传播，直到772年赢得“新君士坦丁”的美誉。这让查理更增疑虑，787年，他指挥法兰克军队兵分三路围剿塔西罗及其党羽。眼见法兰克大军压境，塔西罗孤立无援，万般无奈只得与东面的信奉异教的阿瓦尔国结盟。这一近乎疯狂的行为让他很快便付出了代价，那些反对他的贵族站在法兰克军队一边，视他为卖国贼与叛教者。788年，已是孤家寡人的塔西罗最终向查理俯首请罪，他及其儿子被法兰克国王以叛逆罪幽禁修道院。硝烟散去的巴伐利亚公国正式成为查理的伯爵领地。而那些胆敢帮助塔西罗的阿瓦尔人，此时也引得查理大动干戈了。
阿瓦尔人是柔然人的一支，本居住在亚洲，与匈奴人有着血缘关系，西迁欧洲后统治着现在的匈牙利一带。阿瓦尔人能征惯战，尤其擅长骑射，他们一度侵犯法兰克王国边境。对此，查理早就有打击之意，现在终于有时间了。
795年，查理派儿子小丕平和埃瑞克侯爵进攻阿瓦尔公国，不料侯爵中了敌军埋伏而战死。次年，小丕平攻破阿瓦尔公国最后的据点宁格堡。随同捷报一起传回法兰克王国的，还有15辆大车的金银财宝。当这些载有阿瓦尔财宝的车辆络绎于途中时，由于超负荷载重，队伍不得不经常停下来休息。查理开始分配至今为止他得到的最大一笔财富，他先让国库充盈起来，然后将一大部分金银赠给教皇；此外，那些教俗贵族和士兵也是他的赏赐对象。
除了以上所述的这些主要征战，查理在其46年的统治中，前前后后进行了54次征服战争。相应地，法兰克王国的版图也迅速膨胀起来。查理初登王位时，他的管辖范围仅相当于今天的法国、瑞士、比利时、荷兰以及德国的部分地区。而当他于暮年彻底收起法兰克剑时，他的帝国已囊括了西欧的大部分地区：东依易北河、多瑙河，南临地中海并辖意大利北半部，西枕大西洋波涛，北抵北海。脚踏如此辽阔的疆域，800年12月25日，查理接受教皇利奥三世的加冕，获得“伟大的罗马人皇帝”盛誉。这样，自西罗马帝国灭亡后，西欧第一次被如此大范围地统一起来，合并为查理帝国。这些成就连同查理伟大的军事才能，令他具备了作为“欧洲之父”的武功方面的条件；而他文治方面的天分也绝不逊色，他令法兰克剑与十字架成功联姻，已表明他并非只有匹夫之勇。以传播基督教福音的名义，他一统西欧大部分地区，同样，手拿十字架的他，将一展其治理庞大帝国的才能。
