「連れ」「相方」って…?

「連れ」とか「相方」って付き合ってる(交際中の)相手を指す単語ですよね?あるいは旦那さんが奥さんを呼ぶ時とか*1。違うのかなぁ??
もちろん、日本語の字面の意味は「同伴者」とか「相手方」とかニュートラルな意味だと思うんだけど、例えば昔の友人とサシ飲みする時に「高校時代の連れと飲みました」とは言わないよなぁ…と。何の説明もなしに普通に使ったら、「元カレ(元カノ)と飲みました」って意味に取られるんじゃないのか*2?あるいはそう誤解されても仕方ないだろ?と。それとも「連れ」「相方」の使い方には地域差(←「関西は別です」とか)があるんですか??
先日、ちょっと指摘を受けたので気になりました…(笑)

*1:漫才コンビの相手方」という意味は割愛する。

*2:少なくとも僕はそういう意味に取るぞ。