Nazwa krainy pochodzi od nazwy plemienia Mazowszan. Wczesnośredniowieczne osadnictwo mazowieckie skupiało się na lewym brzegu Wisły, w okolicach dzisiejszej Rawy, skąd kolonizowano prawobrzeżne obszary rzeki: północny - rejon między Skrwą a Narwią i wschodni - obszar nad Bugiem i środkową Narwią. W tym okresie na Mazowszu powstawały wyłącznie osady otwarte. Dopiero w X-XI wieku zaczęto wznosić pierwsze grody, jednak ta działalność była już związane z panowaniem Polan.
Do państwa wielkopolskich Polan ziemie mazowieckie zostały przyłączone prawdopodobnie już w I połowie X wieku. W okresie wczesnopiastowskim na terenie Mazowsza nie utworzono osobnej diecezji, wcielając północne Mazowsze do archidiecezji gnieźnieńskiej, a południowe do diecezji poznańskiej. Dopiero w roku 1075 założono dwa biskupstwa: płockie i mazowieckie. Biskupstwo mazowieckie, w wyniku reorganizacji struktury kościelnej w 1124 roku, ponownie włączono do biskupstwa poznańskiego, tworząc archidiakonat czerski. W czasie zamętu związanego z powstaniem pogańskim, namiestnik Mazowsza jeszcze z nadania Mieszka II, Masław, próbuje w latach 1037-1047 zbudować swoje państwo. Jednak Kazimierz Odnowiciel, który odbudowuje piastowską monarchię, zadaje mu klęskę w bitwie stoczonej nad Wisłą.
W 1207 Mazowsze stało się dzielnicą należącą do Konrada, brata Leszka Białego i od tego czasu stanowiło odrębną całość pod względem dynastycznym, politycznym i prawnym. W tym okresie wykształcił się podział Mazowsza na trzy regiony: ziemię rawską, ziemię płocką i ziemię warszawsko-czerską. Od 1374/1381 do 1429 na tej ostatniej panował Janusz I, który przeniósł jej stolicę do Warszawy; zasłużył się ponadto lokowaniem na pn.-ws. (okolice Łomży) wielu miast i wsi, do czego przyczyniło się zażegnanie zagrożenia ze strony Litwy po Unii Krewskiej.
W miarę wymierania książąt poszczególne ziemie powracały do Korony: rawska w 1462 r. po śmierci Władysława II i Ziemowita IV, płocka w 1495 po śmierci księcia Janusza II, warszawsko-czerska w 1526. Po przyłączeniu Mazowsza do Korony, zachowano podział na trzy regiony; województwo rawskie, województwo płockie i województwo mazowieckie. województwo rawskie składało się z trzech ziem: rawskiej, sochaczewskiej i gostynińskiej. Województwo płockie dzieliło się na 8 powiatów: płocki, bielski, raciąski, sierpski, płoński, szreński, niedzborski i mławski. Trzy ostatnie, jako że leżały między Wkrą, Łydynią a Prusami, nosiły miano ziemi zawkrzeńskiej. Województwo mazowieckie składało się z ziem: czerskiej, warszawskiej, wiskiej, wyszogrodzkiej, zakroczynskiej, ciechanowskiej, łomżyńskiej, różańskiej, liwskiej i nurskiej.
W XVI w. była to najgęściej zaludniona kraina na ziemiach polskich, z której pochodził główny żywioł zasiedlający Mazury, Podlasie, Litwę i Ruś.