RSHA został utworzony 27 września 1939 roku na mocy rozkazu Heinricha Himmlera, (obowiązującego od 1 października 1939 roku). W skład RSHA wchodziła Tajna policja państwowa "Gestapo" oraz służba bezpieczeństwa Sicherheitsdienst, SD. Pierwszym szefem RSHA był Reinhard Heydrich "(Chef der Sicherheitspolizei und des SD)" od 1939 roku, do swojej śmierci w 1942 roku. Po śmierci Reinharda Heydricha, który zginął po zamachu w Pradze, kierownictwo nad RSHA objął Bruno Streckenbach. Jego miejsce zajął w styczniu 1943 roku Ernst Kaltenbrunner, sprawując owo stanowisko do końca wojny. Reichssicherheitshauptamt (RSHA) nadzorował również Einsatzgruppen - oddziały specjalne, które dopuściły się masowych mordów w krajach okupowanych przez Trzecią Rzeszę, zwłaszcza w Związku Radzieckim i Polsce.
RSHA dzielił się początkowo na 6, pózniej na 7 departamentów:
- Departament I - personalny (Bruno Streckenbach)
- Departament II - administracja i prawo (Warner Brest, pózniej płk. dr. Hans Nockenmann)
- Departament III - Sicherheitsdienst, służba bezpieczeństwa (Otto Ohlendorf)
- Departament IV - tajna policja państwowa "Gestapo" (Heinrich Müller)
- Departament V - policja kryminalna "Kripo" (Arthur Nebe)
- Departament VI - wywiad zagraniczny SD (Heinz Jost, później Walter Schellenberg)
- Departament VII - ideologiczny (por. Franz Six)
Na czele Głównego Urzędu Bezpieczeństwa Rzeszy stali:
- Reinhard Heydrich - 1939 r. - 1942 r.
- Bruno Streckenbach - 1942 r. - 1943 r.
- Ernst Kaltenbrunner - 1943 r. - 1945 r.