行政处罚主体主要是行政机关，但是行政机关也并不自然地就享有行政处罚权。而非行政机关在有法律法规授权的情况下也可以成为行政处罚主体。
我们国家对行政处罚主体的设定主要有三种形式：
第一，通过法律、法规、规章规定某一行政机关具有行政处罚权，这种形式是设定行政处罚主体的主要形式。如《治安管理处罚条例》将治安行政处罚权授予公安机关。
第二，法律、法规和规章规定非行政机关对某项具体事务享有行政处罚权。如《公共场所卫生管理条例》第14条规定："凡有下列行为之一的单位或个人，卫生防疫机构可以根据情节轻重给予警告、罚款、停业整顿、吊销卫生许可证的行政处罚。"
第三，法律、法规、规章规定某一行政机关可以把处罚权授予另一行政机关。如《治安管理处罚条例》第33条第2款规定："警告、50元以下的罚款，可以由公安派出所裁决;在农村，没有公安派出所的地方，可以由公安机关委托乡(镇)人民政府裁决。"