唐宋时期来华的蕃客穆斯林即回回民族的先民在中国建立起自己的社区——蕃坊，兴建礼拜寺和公共墓地。随着东西方政治、经济、文化、宗教频繁的往来，东来中国的阿拉伯人、波斯人及其他信仰伊斯兰教的各国穆斯林日益增多，中国出现相当数量的“蕃客”“蕃商”“胡贾”。经过几个世纪的繁衍发展，到了五代、两宋时，出现“蛮裔商贾”“三世蕃客”“五世蕃客”。他们为后来回族的形成和发展奠定了历史基础。
北宋、西夏时期，在以今宁夏为中心的西夏故地已经有了回回先民活动踪迹的记载。《宋史》卷490《大食传》中记载：“天禧三年，遣使蒲麻勿陀婆离、副使蒲加心等来贡。先是，其入贡路繇沙州，涉夏国，抵秦州。乾兴初，赵德明请道其国中，不许。至天圣元年来贡，恐为西人钞略，乃诏自今取海路繇广州至京师。”大食及西域各国来贡的使团中有一定数量的回回先民。
蒙元时期，中西交通进一步开通，大批的西域回回东迁。蒙元时期的回回主要是指河中及其以西广大地区信奉伊斯兰教的各族人民。元朝境内的回回人，来源于蒙古西征时从中亚、波斯等地俘掠的工匠或平民，先后签调来的军队，在元朝政府任职的官员和学者以及来华经商而留居的商人，以及唐宋时期就寓居中国的波斯、大食人的后裔。回回人属于色目人阶层，在社会上享有仅次于蒙古人的社会地位，在政治上得到蒙古统治阶层的信任，在中央和地方的一些重要职位都有回回人的踪迹。元中统四年时，中都（即元大都）有回回人约三千户，而且多为富商大贾。窝阔台时期就用回回工匠3000户建立起了专门制造纳失失的荨麻林（今河北张家口西南洗马林）匠局，这些工匠大部分是撒马尔干人。元代大量的回回人从事纺织、建筑、兵械、造势、金银玉器等行业的加工制造。元代“令探马赤随处入社，与编民等”。东来的回回人喜欢在中国居住，“皆以中原为家，江南尤多，不复回首故国也”，形成了“元时回回遍天下，及是居甘肃者尚多”的局面。元代回回人在政府中大量任职，并且元朝把任用回回人为官作为一种制度。《元史·世祖纪》：“（至元二年二月）甲子，以蒙古人充各路达鲁花赤，汉人充总管，回回人充同知，永为定制。”
在这个大背景下，宁夏也形成了大量回回人进入留居的局面。宁夏的六盘山地区，是成吉思汗及其后代汗王避暑和用兵的重要地区。蒙古军队中就有东来的回回人。1227年，蒙古攻灭了西夏，大肆屠杀西夏国内的人民，再加上地震等自然灾害，造成部分城镇化为废墟，居民逃离家园，大批田地荒芜。为了补充劳动力和守备力量，蒙古签发大批“回回军”到西夏故地进行屯垦。至元八年（1271年）九月，元世祖“签西夏回回军”。至元二十八年（1291年）十一月，朝廷“以甘肃旷土赐昔宝赤合散等，俾耕之”。元甘肃行省含今甘肃大部、宁夏西部、内蒙古西部和青海西宁地区。合散是回回人，曾任甘肃行省参知政事。元代曾在开成路置屯田总管府，有一部分回回军士来到六盘山一带屯田。回回军士及亲属多数居住在黄河两岸至六盘山麓条件比较好的地区。这样就形成了“元时回回遍天下，居陕、甘、宁者尤多”的局面。
元代宁夏回族的一个重要来源就是元代著名回回政治家赛典赤·赡思丁的后裔来到宁夏。赛典赤·赡思丁的长子纳速拉丁，曾任陕西平章政事，他“子孙众多，分为纳、速、拉、丁四姓，居留各省，故宁夏有纳家户，长安有剌（拉）家村，今宁夏纳氏最盛”。现在永宁纳家户就是一个回民聚居区。
元代宁夏回回人增多的一个重要原因就是安西王阿难答和其所属部队的大部分人改信伊斯兰教。阿难答是安西王忙哥剌之子。安西王统治区域为关陇、河西地区，是西域与中原交通的要道，元代大批回回人入华，所以在这一带分布有相当数量的回回人。当时的司天少监每年都要把推算的回回历按时呈送给安西王忙哥剌，以便向他封地内的回回人颁布使用。阿难答从小就由回回人抚养长大，受到伊斯兰教的熏陶。至元十七年（1280年），阿难答即安西王位。阿难答遂使所统率的15万蒙古军队中的大部分人改信了伊斯兰教。
元代回回留居宁夏以及蒙古贵族改信伊斯兰教，为以后宁夏回族的发展奠定了人口和分布格局上的基础。
明代有大量的回回人迁入灵州和固原地区。迁入的回回人因信仰伊斯兰教的关系，聚居于清真寺附近，形成大量的回回村、回回营、回回屯。从而使人口分布形成“大分散，小集中”的格局。在原有的分布基础上形成了许多比较大的回族聚居点。一些在这个时代修建的清真寺就见证了这一历史发展情况。明及清前期的发展，使回族在西北及宁夏形成了相当规模的人口，《河湟诸役纪要》中说：“迄明末清初，西起瓜、沙，东至环、庆，北抵银、夏，南及洮、岷，所谓甘回及东干回之踪迹，已无处无之。”乾隆四十六年（1781年）陕西巡抚毕沅在奏折中称：“宁夏至平凉千余里，尽系回庄。”由于回族在宁夏一带居住得十分密集，故当年在甘肃等地有“回七汉三”的说法。回族人口在宁夏的集中分布，是新中国成立宁夏回族自治区的人口基础。
