В 30-е гг. произошло окончательное становление органов массовых репрессий. В 1927 г. Объединенное государственное политическое управление (ОГПУ, бывшее ВЧК) получило право рассмотрения дел во внесудебном порядке. «Тройка» (в нее включались, помимо сотрудника ОГПУ, еще представители обкомов ВКП (б) и исполкомов местных Советов) имела полномочия выносить любой приговор и немедленно приводить его в исполнение без права обжалования. Даже и в судах с декабря 1934 г. действовал особый порядок производства дел по обвинениям в террористической деятельности – в десятидневный срок, без адвоката, негласно и с немедленным приведением приговора в исполнение без права на обжалование.
К 1930 г. относится создание Управления лагерями ОГПУ. С 1931 г. оно именовалось Главным управлением лагерей – ГУЛАГ. Заключенные ГУЛАГовских лагерей занимались тяжелыми хозяйственными работами в разных частях страны, например, на стройках. Один из крупнейших объектов, построенных в 30-е гг. заключенными – Беломорско-Балтийский канал на севере страны. Однако представление, будто советская экономика держалась на принудительном труде заключенных, неверно. Предельная численность довоенного ГУЛАГа – около 2 млн человек (предел – 2,6 млн в 1950 г.) из 176 млн живших в стране. Работали они лопатой и кайлом, в то время как рабочие на заводах использовали современную технику. В 1934 г. ОГПУ полностью вошло в состав НКВД, после чего именно этот комиссариат стал основным карательным органом с неограниченными полномочиями. Во главе НКВД встал фактически руководивший ОГПУ после смерти Ф. Э. Дзержинского Г. Г. Ягода.