1937年7月7日，驻兵华北的日本军队在北平城西南卢沟桥附近挑起事端，并由此开始了全面侵华战争。
“卢沟桥事变”后，通过扩大事态，发动全面侵华战争很快成为日本政府的共识。7月11日，日本内阁召开紧急会议，讨论并通过华北方案，同时发表声明，宣布“立即增兵华北”。7月17日，日军参谋本部制定《对华战争指导纲要》，以占领华北为目标，预定时间为两个月；全面进攻占领全中国，预定时间为3～4个月。日军在兵力集结就绪后，分三路进犯华北，形成对北平的包围态势。7月29日，北平失守。翌日，天津失陷。
日军占领平、津后，一面扩大战区，一面使部队集结完成后，实施华北作战。8月下旬，日军参谋本部成立华北方面军，总兵力约37万人。日本基于三个月内灭亡中国的基本判断，采取“速战速决”战略，沿铁路线长驱直入，以重兵歼灭中国军队，攻占政治经济中心地区。华北日军于8月占领张家口后，完成战略展开，开始实施大规模华北会战。1937年9月底，沿津浦铁路南进的日军占领沧州，进抵德县，准备进攻山东。10月13日，占领恩县、平原。至此，日本军队将战火引入山东境内。在日军整个侵华战争部署中，夺取山东是一项重要战略目标。10月中旬，日军向济南方向进攻。此时作为山东省政府主席兼第三集团军总司令的韩复榘，虽已对日本决绝，并率部在鲁北地区阻敌作战，但拥兵自重、保存实力意识仍占主导地位，未能全力以赴抵敌，贻误了不少战机。11月5日日军分兵三路南下：一路向东先后占领陵县、临邑；一路向西南攻占临清、高唐；一路沿津浦线南下，侵占禹城。11月中旬日军逼近黄河北岸，韩复榘部队退至黄河南岸。这样，山东黄河以北地区大部沦陷。
1937年8月13日，日本大举进攻上海。翌日，日本内阁决定出兵青岛，开辟山东战场，以配合平津、上海的战事。8月下旬在青日侨开始撤离，至月底共有2万余日侨撤离青岛，日本工厂和商店也随之关闭。12月4日，蒋介石电令沈鸿烈实行“焦土抗战”，相机撤离青岛。18日，沈鸿烈下令炸毁日本在青岛的几大纱厂、青岛啤酒厂、铃木丝厂、丰田油厂、两家橡胶厂、四方发电厂以及船坞等设施。25日沈又下令将困在胶州湾内20余艘舰船凿沉于港口主航道之中。期间，设于青岛的国立山东大学迁至西安；胶济铁路局107台机车、213辆客车、1858辆货车大部调往陇海、粤汉两线；四方机车工厂主要机器设备和360名技术人员也迁往内地。青岛官绅富商、市民百姓或迁移内地，或到乡村避战逃难，市区一片恐慌。
1937年12月18日，日本大本营正式下达大陆命34号，命令华北方面军使用第二军攻占济南、青岛，夺取胶济铁路全线。12月23日，日军开始分两路强渡黄河：一路由济阳过河，于25日占领周村，并沿胶济线东侵；一路由齐河过河，27日占领济南，并沿津浦线南侵，至31日占领长清、肥城、莱芜、泰安，1938年1月4日入侵宁阳、兖州、曲阜、蒙阴。日军前锋直逼汶上、济宁，运河成为山东的最后防线。
与此同时，日军加紧了侵占青岛的步伐。12月26日，日本海军封锁青岛海上交通，1938年1月10日凌晨，日本第四舰队出动40余艘舰艇，未发一弹侵占青岛。日本陆军14日侵占高密，15日进入胶州，19日进入青岛市区。至此，山东津浦、胶济两铁路线主要城镇全部沦陷。
1938年2月，日本大本营制订《中国事变帝国陆军作战指导纲要》，提出确保胶济、津浦沿线已占地区，不扩大现有地区以外的作战面。华北方面军仍然强烈要求扩大战果，沿津浦线向南突进，直取徐州。3月中旬滕县保卫战后，日军已进至鲁南地区。日军第五师团2月22日从潍县南下，23日占领莒县、沂水，3月开始向临沂大举进攻。日军在攻占鲁南地区滕县——峄县——临沂一线后，仍决计孤军深入进攻徐州。与此同时，日军自青岛沿青烟公路先后占领了烟台以及胶东半岛各县，并进一步向周边地区扩展，谋求扩大占领区域。
1938年4月上旬，日本大本营决定放弃不扩大作战面的方略，由南北夹击徐州，以图迅速消灭中国军队主力，使中国尽快丧失抵抗能力。7日日军下达徐州作战命令，参战日军共25万人。18日会战开始后，日军于5月5日进至濮县，11日攻陷郓城，14日占领菏泽；与此同时，日军自济宁西犯，先后占领金乡、鱼台。至5月下旬徐州会战结束时，山东大部地区沦陷。此时留驻山东的日军有第一四、第一二师团全部及第一三、第一一、第一一九师团各一部，另有三个守备队，共计约4万余人，主要控制着中心城市、重要港口以及铁路交通线，借以支持日军向正面战场进攻。
在日本大举军事进攻的同时，还采取政治诱降的策略，积极寻找亲日人物，成立政权机构，实施“以华制华”的统治政策。
1938年1月日军侵占南京、镇江、济南、青岛等重要城市后，近卫内阁于16日发表不以国民政府为对手的政府声明，提出“期望真能与帝国合作的中国新政权的建立与发展”，表明日本军部主流派要把整个中国置于其扶植政权统治下的方针，作为国策正式确定下来。
1938年8月14日，日本关东军制定的《对时局处理大纲》中明确提出：“华北政权大致以五省自治为最终目标，先将河北及山东二省（将来包括山西）组成一个政权。另将察南、察北合并建立一个政权”；“两政权内各配以有能力的日本顾问”；有关政治、经济等问题，由设在北平、张家口的特务机关长，通过日本顾问，对其进行幕后指导。在谋求建立政权之前，日军在占领区域内首先组织了“地方维持会”，拉拢依附分子出任首脑。1937年12月27日，日军占领济南。1938年1月1日即挂牌成立“济南治安维持会”，由原皖系军阀亲日分子马良出任会长。维持会实际隶属于伪中华民国临时政府，直接受日本华北方面军特务部济南特务机关长指挥。集中于维持会的一批旧军阀、政客、亲日分子成为日后伪山东省政权的骨干力量。1938年1月10日，日军占领青岛，17日“青岛治安维持会”成立，赵琪任会长，亦隶属于伪临时政府，受青岛特务机关长指挥。山东其他城镇沦陷之初也成立了地方治安维持会，日本占领者据此控制了当地行政事务。随着日军侵占区域的扩大和各地抗日武装的不断涌现，占领地后方安全开始受到严重威胁，分散的维持会难以应付局面，日本占领者抓紧建立统一的全省伪政权组织。
伪中华民国临时政府成立后，其管辖范围与日本华北方面军统辖范围一致，由平津扩展至河北、山东及山西、河南、江苏等省的部分地区，华北方面军司令部也于1938年1月日由天津迁往北平，以加强对临时政府的“指导”。山东省日伪政权的行政系统基本仿照南京国民政府时期已有的形式，分为四个层次，即省级、道（市）级、县级、基层（区乡镇）行政组织系统。3月5日，伪临时政府发布成立山东省公署的命令，任命马良为省长。为加强控制，日本占领者采取派遣“顾问”的方式，“进行内部指导”。“顾问”由日军任用或聘请日本人充任，政府行政若无其同意不得实施。省公署日本顾问由西田畊一充任，1943年11月由园田庆幸接任，直至1945年8月。1940年3月，汪精卫“国民政府”成立后，临时政府改为“华北政务委员会”，山东省公署受其管辖。1943年8月，省公署改称省政府，并设省保安司令部，省长兼保安司令。这一体制一直延续到日本战败。
伪山东省公署设置的同时，也开始建立省以下地方机构，全省划为两个市公署和四个道公署。济南市公署成立于1938年4月6日，直属省公署，由日人任市公署顾问。青岛特别市公署成立于1939年1月10日，直接隶属临时政府管辖，同样设日本顾问和辅佐官。道作为省与县之间的一级行政组织，为“所辖各县之行政监督指导及省长委任事项之执行机关”。道区政权组织虽然成立，但由于日伪兵力限制，占领区与国统区、抗日根据地犬牙交错，时有变化，三类政权组织并存，因而日伪政权所能施政的范围多局限于城镇和交通干线。1938年，山东省公署设立鲁东、鲁西、鲁南、鲁北4道。1940年6月，为加强对地方的控制，省公署将4道撤销，全省改划为济南、登州、莱潍、青州、沂州、兖济、泰安、曹州、东临、武定10个道区。
1944年，山东省政府又对地方政府机构设置作了部分改动，成立青州特别行政公署，辖益都、淄川、博山、长山、临淄、桓台等县，同时成立张店地区专员公署，原设青州道公署取消。至此，道（市）区变为9个道（市）特别行政公署和1个专员公署。各道成立时间与变化情况。
县级政权是日本占领时期省、道之下的一级政权组织。1938年5月15日，伪山东省公署颁布《山东省县公署组织暂行规则》，规定各县建立县公署，置县知事1人，分设秘书及警务、财政、教育、建设等科（局）。10月以后，县公署相继增设了县征收处、县保卫团等机构。至1939年底，全省105个县（即墨、胶县划归青岛市，直隶伪临时政府管辖）中，成立伪县公署的有95个县。至1940年底，全省伪县公署计有104个。日本占领者通过设于各地的特务机关向县公署派出联络员，指挥、监督政权组织和行政人员的活动，将施政纳入其统辖之下。1943年8月，伪县公署改称为县政府，机构设置依旧。
日本占领者对县以下政权组织的控制，主要是通过恢复重建区乡镇长制度与保甲制度来实施。1939年伪临时政府决定重建保甲制度，并强制推行保甲条例。山东省公署据此制订了各县保甲办法和经费征收办法，1940年后在占领区实施。保甲制度集地方行政、军事、经济活动为一体，力图通过“地方自治”维持地方治安，较区乡镇长制度强化了对民众的控制功能。从1940年4月开始，日本占领区各县实行户口填报，到年底80余县共设置22148保、356160甲，30.7万人被编入保甲自卫团。1941年6月94县上报统计，已编联保3672保，编保35738保，38万甲，自卫团员32万余人。至1944年日占区编成保甲者共5575乡镇，56622村，5632联保，54116保，51万甲，18366个自卫团，计30万人。
日本占领者在军事占领下组织起系统的行政机构，利用其推行政治上“以华制华”、经济上“以战养战”的殖民政策，建立殖民统治秩序。随着省、道、县三级政权的建立，各类亲日分子、旧官僚、地主豪绅进入管理机构和组织。据伪山东省公署统计，1940～1941年省政权系统新任命各级职员3875人，1944年任命965人。全省百余县政权各级官吏达数万人。
为加强对各级地方政权的控制，根据日本军方与临时政府行政委员会1938年4月签订的关于派遣政府顾问的约定，日本顾问及辅佐官“协力援助”行政、法制、军事、治安及警务等事项，日军在各地的特务机关成为地方政权的幕后操控者。1938年初日军在济南、青岛设置特务机关，负责组建和指挥山东、青岛市伪政权，此后又在烟台、益都、济宁等地设立特务机关。在向省、市派出顾问及辅佐官的同时，特务机关还向道、县派出联络员（“顾问”），具体负责对施政的监控，未派专人的县份则由日军“宣抚班”人员兼任。日籍职员也被各级政权任用，1940年山东省公署中即有161人，翌年增至226人。1942年11月后，日军特务机关改称“陆军联络部”，其联络员改以“新民会”参事名义继续操纵县政。日本对地方各级政府部门和基层政权人员的物色和管理，以及对各级机构的控制操纵，表明军事占领状态下的政权组织只能是为其所用的伪政权。
