Am ehesten lässt sich das Funktionsprinzip einer Wärmepumpe mit jenem eines Kühlschranks vergleichen. Der einzige Unterschied ist, dass die beiden Geräte auf entgegengesetzte Weise arbeiten. So entzieht der Kühlschrank dem Raum Wärme, während die Pumpe sie dagegen über die Heizkörper wieder in den Raum leitet. Bei anderen Systemen ist es dagegen der Fall, dass sie Strom direkt in Wärme umwandeln. Die Wärmepumpe nutzt diese Energie jedoch, um damit aus der Luft oder der Erde Wärme zu beziehen, die danach für die Heizung genutzt werden kann.
Weiterhin befindet sich innerhalb einer Wärmepumpe ein spezielles Kältemittel, das abwechselnd flüssig und verdampfend ist. Schon bei recht niedrigen Temperaturen verdampft dieses Mittel und ist dann dazu in der Lage, Wärme aufzunehmen. Steigt die Temperatur wieder, dann kann die Energie wieder abgegeben werden. Danach kondensiert das Kältemittel wieder – ein stetiger Kreislauf.
Es gibt verschiedene Arten von Wärmepumpen auf dem Markt, wie zum Beispiel Luft-Wasser-Wärmepumpen. Diese unterschiedlichen Bauarten basieren auf der Nutzung der jeweiligen Wärmequellen. So entsteht Umweltwärme zum Beispiel durch das Anreichern von Luft oder Wasser durch Sonnenlicht, woraus wiederum Energie entsteht. Die in der Erde gespeicherte Wärmeenergie fördert man dagegen durch Tiefenbohrungen. Sogar industrielle Abwärme, die beispielsweise in Serverräumen entsteht, lässt sich effektiv verwerten: Hier kann die Wärmepumpe teilweise sogar ein ganzes Gebäude damit beheizen. Die Grundfunktion einer Wärmepumpe ist jedoch immer gleich: Es wird stets mit einem Kühlmittel Energie aus der Umgebung erzogen und danach in Nutzwärme umgewandelt.