Karierę w aparacie bezpieczeństwa rozpoczął w 1921 roku w gruzińskiej CzeKa; po przekształceniu CzeKa w "GPU" - Państwowy Zarząd Polityczny, a "GPU" w OGPU Zjednoczony Państwowy Zarząd Polityczny , przez 7 lat pracował w OGPU w kilku miejscowościach w Gruzji.
Od grudnia 1938 roku pierwszy zastępca ludowego komisarza spraw wewnętrznych Ławrientija Berii, oraz naczelnik Głównego Zarządu Bezpieczeństwa Państwowego NKWD (GUGB). Ponosi odpowiedzialność za masowy mord na polskich oficerach w Katyniu (Zbrodnia katyńska), jeden z członków kolegium specjalnego w sprawie jeńców polskich, tzw. trójki NKWD: Iwan L. Basztakow Bachczo Bogdan Zacharewicz Kobułow, i Wsiewołod N. Mierkułow - faktyczny kierownik operacji "rozładowania" obozów jenieckich i więzień w kwietniu i maju 1940 roku. Od 3 lutego 1941 roku do 20 lipca 1941 roku sprawował stanowisko ludowego komisarza bezpieczeństwa państwowego NKGB, następnie od lipca 1941 roku do 1943 roku był ponownie naczelnikiem Głównego Zarządu Bezpieczeństwa Państwowego GUGB przy Ludowym Komisariacie Spraw Wewnętrznych NKWD. Po ponownej reorganizacji aparatu bezpieczeństwa ZSRR, zlikwidowaniu "GUGB" i ponownym utworzeniu Ludowego Komisariatu Bezpieczeństwa Państwowego NKGB w 1943 roku Mierkułow stanął na jego czele, do czasu przekształcenia komisariatu w Ministerstwo Bezpieczeństwa Państwowego "MGB", czyli do 1946 roku).
Zwolniony ze służby bezpieczeństwa w maju 1946 roku, został zastępcą, a następnie szefem głównego zarządu dóbr zagranicznych przy Radzie Ministrów ZSRR. W 1950 roku - ministrem kontroli państwowej.
Po śmierci Józefa Stalina i ponownym przejęciu kontroli nad resortem przez Ławrientija Berię został mianowany jego zastępcą w Ministerstwie Spraw Wewnętrznych MVD. Po aresztowaniu Berii w 1953 roku, jako jego pierwszy zastępca został także aresztowany w sierpniu 1953 roku i stracony 23 grudnia 1953 roku.