Pracę w organach bezpieczeństwa NKWD rozpoczął w 1939 roku, gdy pracował w komitecie centralnym od 1937 do 1939 roku. Stamtąd został przeniesiony w lutym 1939 roku do Ludowego Komisariatu Spraw Wewnętrznych NKWD, gdzie objął stanowisko zastępcy ludowego komisarza spraw wewnętrznych NKWD ZSRR Lawrientija Berii - odpowiedzialny za sprawy kadrowe. Po ataku Niemiec na Związek Radziecki 22 czerwca 1941 roku, Krugłow został przeniesiony do Armii Czerwonej, gdzie został członkiem rady wojennej Frontu Odwodowego i Zachodniego.
Od 1943 do 1945 roku Krugłow był także zastępcą szefa kontrwywiadu wojskowego Smiersz, Wiktora Abakumowa. Na tym stanowisku Krugłow kierował ścisłą ochroną konferencji techerańskiej, w której uczestniczyli Stalin, Roosevelt i Churchill. To samo zadanie wykonywał podczas dwóch następnych spotkań "Wielkiej Trójki" w Jałta|Jałcie na Krymie i konferencji w Poczdamie, za co został odznaczony przez Amerykanów orderem "Legion of Merit", a przez Brytyjczyków orderem "Knight of the British Empire".
Po wojnie Krugłow powrócił do organów bezpieczeństwa państwowego, gdzie objął stanowisko ministra bezpieczeństwa państwowego w MGB. Sprawował to stanowisko aż do 1953 roku. Po śmierci Stalina, MGB zostało włączone do struktur Ministerstwa Spraw Wewnętrznych MVD, a ministrem SW został ponownie Ławrientij Beria, wcześniej zdjęty z tego stanowiska przez Stalina.
26 czerwca 1953 roku Berię aresztowano, a Siergiej Krugłow stanął po stronie spiskowców, za co zastąpił Berię na stanowisku ministra spraw wewnętrznych MVD ZSRR. Sprawował stanowisko ministra MVD aż do 1954 roku, kiedy w miejsce MVD utworzono Komitet Bezpieczeństwa Państwowego KGB, na którego czele jako przewodniczący stanął Iwan Sierow. W lipcu 1958 roku Krugłow przeszedł na emeryturę z powodu złego stanu zdrowia. Jak mówią pogłoski, popełnił samobójstwo 6 lipca 1966 roku, rzucając się pod pociąg.