A Károlyi család legkorábbi őse, aki már viselte a „Károlyi” nevet a Kaplony nembeli Károlyi András volt, akit egy 1320 február 8-án kelt oklevél említ, mint Andreas de Karul de genere Kuplon. A dédunokái Károlyi Bertalan (1450) Zsigmond király nagykövete a Sárkányrend vitéze és Károlyi Lancz László a nagykárolyi vár építője (1482) és Mátyás király vitéze. Károlyi Lancz László ükunokája Károlyi Zsuzsanna, Bethlen Gábor erdélyi fejedelem első felesége (1605), míg Károlyi Bertalan ükunokája Károlyi Mihály a nagykárolyi vár átalakítója (1592), báró (1609), és Szatmár vármegye főispánja (1618).

Báró Károlyi Mihály fia báró Károlyi László, erős vágvárra alakítatja át a nagykárolyi várat és haláláig Szatmár vármegye főispánja. Egyetlen felnőttkort megért gyermeke Károlyi Sándor kuruc generális, Szatmár megye főispánja, „a nagy telepítő”, a grófi cím elnyerője (1712). Fia gróf Károlyi Ferenc huszárezred parancsnok, főispán, a nagykárolyi nyomda és az első gyógyszertár megalapítója. A kuruc generális unokája gróf Károlyi Antal, ezredes, a bécsi testőrség kapitánya, főispán, templomépítő. Gróf Károlyi Antal egyetlen fia Károlyi József, lebontatja a várat és helyébe egy barokk palotát épít, vezeti a vármegye csapatát a győri Napóleon elleni csatába.

Báró Károlyi László (1622-1689)

Báró Károlyi Sándor (1669-1743)

Gróf Károlyi Ferenc (1705-1758)

Gróf Károlyi Antal (1732-1791)

Gróf Károlyi József (1768-1803)

Gróf Károlyi Józsefnek három fia éli meg a felnőttkort: György, Lajos és István. Közülük, mi Károlyi György leszármazási ágával folytatjuk, mert a nagykárolyi birtokrészt ez az ág örökli. Gróf Károlyi György, főispán, reformpolitikus, koronaőr, MTA alapító tagja, a nagykárolyi kórház megalapítója. Károlyi György fiai közül (Viktor, Tibor, Gábor, Gyula és István) Istvánnal, Tiborral és Gyulával foglalkozunk a továbbiakban. A szatmári birtokokat István nevű fia örökli, aki 1892-1895 között egy lovagvárrá alakítja át a barokk palotát. Nincsenek fiú utódai, a birtokot Tibor testvére örökli. Gróf Károlyi Tibor az Ecsedi-láp lecsapoló társaság elnöke, unokája gróf Károlyi Gyula, Horthy Paulett férje, míg lányunokája Consuello ifj. Horthy Miklós felesége.

Gróf Károlyi György (1802-1877)

Gróf Károlyi Györgyné, Gróf Zichy Ilona (1818-1903)

Gróf Károlyi Gyula (1837-1890)

Gróf Károlyi Tibor (1843-1904)

Gróf Károlyi István (1845-1907)

Károlyi György, Gyula nevű fiának első hazasságából született gróf Károlyi Mihály (a Vörös gróf), második házasságából gróf Károlyi József, aki elkiséri az utolsó magyar királyt (IV. Károlyt) Madeirára.

A család jelenlegi leszármazottai gróf Károlyi Lajos, Károlyi Imre unokája jelenleg Braziliában él; gróf Károlyi György Károlyi József unokája (aki IV. Károly királyt kíséri Madeirára) a fevervárcsurgói kastélyban lakik és gróf Károlyi László gróf Károlyi István (a reformkori Károlyi György testvére) ükunokája a fóti kastélyba költözött be 1995-ben).