電圧というパラメータが他と決定的に異なる点は、二点間の差を表すパラメータという事です。しかし普段そんな事は意識せずに使っていると感じるのは、系のGNDを0Vとして考えているから、二点間の引き算をする必要がない為と思います。

この様に、ある所を０V（GND)と規定して考えた時の電圧を「電位」、
GND以外を基準として考えた場合を「電位差」と解釈すると分かりやすいと思います。

しかし。電位も飽くまで基準電圧との差なので、電位差の一種であり、二点間の差を表す事に違いはないです。