Działalność samorządowa i polityczna
W latach 1998–2005 przez dwie kadencje była radną miasta i gminy Syców, wybrana z listy Komitetu Odnowy Sycowa, a następnie (2002) z listy Obywatelskiej Wspólnoty Samorządowej.
W 2002 roku bez powodzenia kandydowała na urząd burmistrza Sycowa z listy Obywatelskiej Wspólnoty Samorządowej.
W 2004 roku bez powodzenia kandydowała do Parlamentu Europejskiego z listy Prawa i Sprawiedliwości.
W latach 2005–2011 była członkiem PiS.
W wyborach parlamentarnych w 2005 roku została wybrana z listy PiS do Sejmu V kadencji. Od 22 maja 2006 do 15 listopada 2007 była wiceministrem sprawiedliwości w rządach Kazimierza Marcinkiewicza oraz Jarosława Kaczyńskiego.
Ponownie wybrana do Sejmu z listy PiS w wyborach parlamentarnych w 2007 oraz 2011 roku. W Sejmie VI kadencji była członkiem sejmowej komisji śledczej ds. zbadania nielegalnych nacisków na kształt ustawy o grach i zakładach wzajemnych, powstałej w wyniku ujawnienia tzw. afery hazardowej.
W 2009 roku bez powodzenia kandydowała do Parlamentu Europejskiego z listy PiS.
W Sejmie VII kadencji przystąpiła do Klubu Parlamentarnego Solidarna Polska, za co 18 listopada 2011 została wykluczona z PiS. Objęła funkcję wiceprzewodniczącego KP Solidarna Polska, a 24 marca 2012 na kongresie założycielskim partii Solidarna Polska Zbigniewa Ziobro została wybrana jej wiceprezesem (ponownie 14 grudnia 2013).
W wyborach do Parlamentu Europejskiego w 2014 roku bez powodzenia kandydowała z listy Solidarnej Polski.
W lipcu 2014 roku Solidarna Polska nawiązała współpracę z Polską Razem Jarosława Gowina, tworząc wspólny Klub Parlamentarny Sprawiedliwa Polska. Kempa została jego wiceprzewodniczącą. Od marca 2015 działa on pod nazwą Zjednoczona Prawica.
W wyborach parlamentarnych w 2015 roku z powodzeniem kandydowała do Sejmu z listy PiS. 16 listopada 2015 została powołana na stanowisko ministra bez teki w rządzie Beaty Szydło. Objęła także funkcję szefa Kancelarii Prezesa Rady Ministrów.
W grudniu 2015 skierowała pismo do prezesa Trybunału Konstytucyjnego, w którym poinformowała go o wstrzymaniu publikacji wyroku TK w Dzienniku Ustaw. Był to pierwszy taki przypadek w historii orzecznictwa Trybunału Konstytucyjnego.