煤是古代植物遗体的堆积层埋在地下后，经过长时期的地质作用而形成的。据研究，几乎所有的植物遗体，只要具备了成煤的条件，都可以转化成煤。不过，低等植物遗体所形成的煤，分布范围小，厚度薄，很少被人利用。那些分布广、规模大、利用广泛的煤，都是高等植物的遗体（主要是古代的蕨类、松柏类以及一些被子植物的遗体）形成的。
在地球的历史上，最有利于成煤的地质年代主要是晚古生代的石炭纪、二叠纪，中生代的侏罗纪以及新生代的第三纪。这是因为，在这几个时期内，地球上的气候非常温暖潮湿，地球表面到处长满了高大的绿色植物，尤其在湖沼、盆地等低洼地带和有水的环境里，封印木、鳞木等古代蕨类植物生长得特别茂盛。
当时，高大的树木倒下以后，就会被水淹没了，这就造成了倒木和氧隔绝的情况。在缺氧的环境里，植物体不会很快地分解、腐烂。随着倒木数量的不断增加，最终形成了植物遗体的堆积层。这些古代植物遗体的堆积层在微生物的作用下，不断地被分解，又不断地化合，渐渐形成了泥炭层，这是煤的形成的第一步。
由于地壳的运动，泥炭层下沉了。泥炭层被泥沙、岩石等沉积物覆盖起来。这时，泥炭层一方面受到上面的泥沙、岩石等的沉重压力，另一方面，也是更重要的方面，泥炭层又受到地热的作用。在这样的条件下，泥炭层开始进一步发生变化：先是脱水，被压紧，从而比重加大，而且石炭的含量逐渐增加，氧的含量逐渐减少，腐殖酸的含量逐渐降低。完成这几个过程以后，泥炭就变成了褐煤。
褐煤如果继续不断地受到增高的温度和压力的作用，就会引起内部分子结构、物理性质和化学性质的进一步变化，褐煤就逐渐变成了烟煤或无烟煤了。
开滦、阳泉等煤田，是在古生代的石炭纪至二叠纪时期形成的，这个时期的成煤植物是古代的蕨类植物。大同的武宁煤田，是在中生代的侏罗纪形成的，这个时期的成煤植物有古代的苏铁、松柏类、银杏类等裸子植物。抚顺和云南的小龙潭煤田，是在新生代的第三纪形成的，这个时期的成煤植物是古代裸子植物中的松柏类和原始的被子植物。
