虽然艾尔伯特亲王已彻底征服了维多利亚女王，而且他也做出了令世界瞩目的事情，但英国贵族圈中仍有不少人不喜欢他，他们不只嫌他不够风雅，最重要的是认为他不具备英国气质，在他们眼里，他永远是个异邦人。正是这样，当外交大臣帕默斯顿子爵这个地道的英国人与亲王接触频繁时，他们之间的争斗便愈发表现为德意志特质与英国特质的对抗了。
帕默斯顿子爵在外交界一贯以头脑敏锐、手腕强硬著称，在他的四处游走下，大英帝国的国家利益俨然成为欧洲的“正义与公理”。那些被损害了利益的外国人私底下发泄对他的不满，德意志就流行着这样的歌谣：“假如魔鬼有子孙，首选就是帕默斯顿。”这些对于这位英国外交大臣来说是不屑理会的，他常说：“英国很强大，完全可以随心所欲。”所以，当其他官员阻碍他做什么决断时，他便照例甩出一句“我负责”而后独自行事。很快，他的这种行事风格危及到了英国王室的尊严及英国利益。
到了1848年，民主革命在欧洲大陆间蔓延，法国、德意志、奥地利、意大利和匈牙利等国均出现了王室垮台的局面。同样作为一国君主的维多利亚女王当然同情那些王室，但她及其丈夫突然发现英国对这些国家的外交政策竟是站在起义者一边。而且，就在当年的4月10日，英国的宪章运动又一次爆发，王室深恐工人阶级推翻宪法，进而废除君主政体。帕默斯顿在这等时候还伸长了脑袋去管其他国家的事情，还一心想着要用他的外交手腕去促进欧洲的自由主义，而他这种自由主义在维多利亚女王和艾尔伯特眼里无非是暴民横行、党派纷争。尤其是艾尔伯特，从德意志的前途考虑，他认为德意志诸邦应该统一在普鲁士治下，分裂状态只能是阻碍社会发展。这种经过深思熟虑后的见解，亲王认为帕默斯顿这种人是绝不会想到的，他认为这位外交大臣只是一味地蛮干，凡事仅凭直觉，这里一下那里一下，缺乏事先的审慎思考。亲王这边如此认为，而帕默斯顿那边也已经感觉到来自女王和其丈夫的阻力，他那雷厉风行的作风开始膨胀，于是，索性时常甩开王室独断专行起来。他很晚才把外交部的重要公文呈给女王，致使女王根本来不及批改，甚至有时候就免去呈报女王这一环节，直接送出去。最令女王大为光火的是，明明她批改了公文，可外交大臣发出去的却仍是她批改前的公文。后来，怒火中烧的女王将此事告知比尔首相，后者告诫了帕默斯顿。谁知，这样做的结果竟是连首相也经常看不到重要公文了。于是，这位夹在中间的首相也在焦虑中生出了愤恨，这种愤恨与女王明显的愤怒、艾尔伯特亲王不失理性的仇视，终使三人开始密谋如何迫使帕默斯顿辞职了。
到了1850年，英国人对帕默斯顿的外交政策也感到厌倦了，上议院通过了一项反对他的议案，可是，当它传到下议院时，帕默斯顿亲自出马，对反对意见进行了抗辩。在他时而激昂时而贴心时而释惑时而抨击的长长演说中，那则反对议案被击得粉碎。帕默斯顿在外交大臣的位子上纹丝不动，反而一时被人称颂。到了这时，女王不得不抬出宪法授予她的权利，发出书面警告：如果外交大臣再不按规矩办事，那么只得将其罢免了。这一招的确让帕默斯顿的自命不凡稍稍收敛了些，但他私底下却还是我行我素，终于事情到了难以收拾的地步。
1851年12月2日，路易·拿破仑发动政变，在法国恢复帝制，成为法兰西皇帝拿破仑三世。12月3日，帕默斯顿在会见法国大使时公开表示他对路易·拿破仑政变的赞同，而他的态度并未和任何人商量过。两日后，比尔首相将女王的旨意传达给他：对于法国刚刚发生的大事，英国政府应保持中立态度。帕默斯顿紧接着给英国驻巴黎大使发去了公文，公文内容是他在3日时对法国大使言及的赞许法国政变之辞；而且，这一公文仍然未呈交女王或者首相过目。比尔首相忍无可忍了，他罢免了帕默斯顿。维多利亚顿时如释重负，艾尔伯特亲王也感觉到了胜利的喜悦，他推荐格兰维尔做了外交大臣。一切迹象表明，艾尔伯特亲王掌握了英国的外交事务。
然而，在这个问题上，艾尔伯特的胜利是暂时的。没过多久，比尔内阁倒台了，这要拜帕默斯顿在国内的影响所赐。这次上台的是比尔的拥护者与辉格党的联合内阁，首相是阿伯顿勋爵，外交大臣的位子虽坐上的是克莱伦顿勋爵，但帕默斯顿也堂而皇之地成为了内政大臣。不过，这仅是事情变化的开始。1853年7月，俄国为控制巴尔干半岛，公然占领多瑙河流域的土耳其附属国，进而向土耳其内部入侵。俄国势力的东扩无疑打破了欧洲均势，直接威胁到英国的利益。于是，强国的外交大臣们又开始忙碌了。恰在此时，强烈主张英国讨伐俄国的帕默斯顿突然辞职。这在英国百姓中引起一片哗然，人们纷纷将矛头对准艾尔伯特亲王，说他这个异邦人是卖国贼，是俄国人的走狗，他受俄国人指使逼迫一心为英国人谋利益的帕默斯顿辞了职。甚至，人们还将怒气撒到女王头上。到了1854年初，人们甚至说女王和艾尔伯特被抓起来关进了伦敦塔。当然，这些纯属谣言，是人们在战前神经紧张的表现。最终，当英国军队出现在克里米亚战场时，人们看到了艾尔伯特与所有英国人同样强烈的反俄情绪。不久，帕默斯顿也收回了辞呈。民愤平息了，上下两院也在议会上肯定了艾尔伯特亲王忠于英国的爱国心，也确定了他在任何国事上均有对女王提出建议的权利。至此，这位异邦人在英国的地位才真正被英国人确认。克里米亚战争中，英国士兵死亡6万余人。阿伯顿勋爵在战争接近尾声时打算与俄国人谈判，女王和艾尔伯特亲王立即给他写信打消其和谈的念头，同时，女王到各处检阅军队。1855年9月，英法联合舰队占领被其围攻了近一年的塞瓦斯托波尔港口，这一港口是俄国黑海舰队根据地，它的陷落迫使俄军接受了失败的命运。正是女王夫妇在战争中的强硬态度，反倒拉近了他们与已是首相的帕默斯顿的关系。虽然双方在战后仍显示出对外交事务上不同的态度，但在首相职位上的帕默斯顿明显比过去内敛些了，尽管他支持意大利独立，他还是决定把这件事交与外交大臣去做了。而对于维多利亚的长女与普鲁士王子联姻的事，双方一拍即合，他们都认为借此将英、普王室联合起来对两国发展极为有利。
在国事不忙的时候，女王和亲王共同教育他们的孩子。有一阵子，为了躲开喧嚣，他们一家买下了苏格兰阿伯丁郡荒原中的巴莫罗别墅，艾尔伯特将别墅改建成他亲自设计的城堡。这种世外桃源的生活让女王一家流连忘返。可是，在为国事操劳之下，艾尔伯特亲王的身体开始衰弱了，他又患上了顽固的失眠症。1861年初，维多利亚经历了丧母之痛，肯特公爵夫人因病去世。这种痛苦一直萦绕着女王，她看到丈夫的身体每况愈下，风湿症和风寒病又接连袭击了他。尽管如此，当美国爆发内战的消息传来时，深知英国与美国北方多有冲突的艾尔伯特亲王唯恐英国卷入美国内战，于是，他拖着病体对将发出去的公文提出修改建议，把那些可能导致战争的激烈措辞修改得尽量婉转。孰料，这竟成为亲王最后一次为政务劳碌。
1861年12月14日，维多利亚女王永远失去了艾尔伯特亲王——她年仅42岁的丈夫、助手和亲信。此时，她感觉自己的人生帷幕也随着丈夫的去世而落下了。
