汉语成语的来源相当广泛，有很多成语都来源于神话寓言，像“精卫填海”来源于《山海经》；“愚公移山”出自《列子·汤问》；“火中取栗”出自寓言《猴子与猫》。也有很多成语出自于历史故事，例如“望梅止渴”出自《世说新语·假谲》；“闻鸡起舞”出自《晋书·祖逖传》；“四面楚歌”出自《史记·项羽本纪》。古代人的诗文语句常常发展成为一些成语，如“虎视眈眈”出自《周易·颐》；“舍生取义”出自《孟子·告子上》；“老骥伏枥”出自曹操的《夏步出门行》；“物换星移”出自王勃的《滕王阁序》”。另外，有时候人们的口头俗语同样可以发展成为成语。如“狼子野心”、“众志成城”等就出自古时的俚语；如“拐弯抹角”等就出自后世的口语。 每句成语的背后都隐含着很多文化信息。
从上面举的例子里面我们不难发现，成语大多数是四音节的。这与汉语语言片断双音节化有相当大关系，双音与双音结合是现代汉语的一个重要倾向。可“四音节”并不是成语的标志，还有的成语是三音节或者更多音节的。像“既来之，则安之”、“树欲静而风不止”、“工欲善其事，必先利其器”等也是成语。
既然四字性不可以作为判断成语的标准，那么拿什么作为标准呢？成语一定具有双重性的意义，在字面上是一个意思，实际上却是另一种意思。也正是因为这个原因，我们不可以望文生义，拿构成成语的成分的意义简单相加，一定要透过字面义来进一步深入理解。像“凤毛麟角”，表面上是“凤凰的毛麒麟的角”，其实上指“稀少而可贵的人才或事物”。
成语的结构一般很定型，不可能任意变动词序、抽换或者增减之中的成分。像“任重道远”不可以改成“道远任重”等。当然，在一定条件下，成语也可灵活运用。
因为成语有精练、形象之特点，所以在语言中得到了广泛运用。成语言简意赅，若使用得当，可让语言简洁，增加修辞效果。像毛泽东的《别了，司徒雷登》：“总之是没有人去理他，使得他‘茕茕孑立，形影相吊’，没有事可做了，只好夹起皮包走路。”里边用了成语“茕茕孑立，形影相吊”，鲜明简洁地勾勒出了司徒雷登孤立无援、可怜兮兮的样子。
一句话，成语是一类具有意义的双层性、比喻性与结构的定型性的语言形式。
