Tepelné čerpadlo sa skladá zo štyroch základných častí:

  • výparník – primárna časť;
  • kompresor – zabezpečuje cirkuláciu média (kvapaliny) v tepelnom čerpadle;
  • kondenzátora – sekundárna časť;
  • expanzného ventilu.

Jednotlivé časti sú prepojené potrubím a navzájom tvoria uzatvorený okruh. V ňom cirkuluje teplonosná látka. Spravidla ide o kvapalinu, ktorá sa odparuje pri veľmi nízkych teplotách až -32 °C.
Do výparníku sa privádza okolitým vzduchom nízkopotenciálne teplo zo vzduchu, vody alebo zeme, čo spôsobuje vyparovanie chladiva (dochádza k zmene skupenstva). Pary chladiva sa stávajú nositeľom tepelnej energie a prenáša sa do kompresora. Vzduchová cesta predstavuje primárny okruh. V ďalšej fáze kompresor prudko stlačí plynné chladivo a vďaka fyzikálnemu princípu kompresie pri vyššom tlaku stúpa teplota. Následne je energia ohriatymi parami chladiva privedená do kondenzátora, kde sa prenáša do vody cirkulujúcej vo vykurovacom systéme. Ide o sekundárny okruh. Následne sa chladivo vracia späť cez expanzný ventil do tekutej formy a vstrekuje sa do výparníku, aby sa tu opäť vyparilo pri nižšom (vyparovacom) tlaku. Je pripravené odoberať teplo z okolitého zdroja tepla a celý proces sa opakuje.
Tepelné čerpadlo tak funguje na obdobnom princípe ako chladnička („chladnička naruby“), no namiesto z potravín v priestore chladničky odoberá teplo z prírodných zdrojov tepla v okolitom prostredí napr. z vonkajšieho vzduchu, vody či pôdy a odovzdáva ho tepelnej sústave – vykurovacím telesám alebo podlahovému vykurovaniu.