文法書の記述は疑ってください。

・目的語の代名詞は動詞の前に置きます。

じゃあ、動詞が2コあったらどこに置くの？
→一番関係が深い動詞の直前です。

Tu vas visiter le Louvre dimanche ?

男性名詞・直接目的語・ひとつなので、le Louvre を代名詞化すると le になります。le Louvre を直接目的語として機能させている動詞は、visiter それとも veux（vouloir）？
→ もちろん visiter ですね。その直前に置けばいいのです。

Oui, je vais le visiter avec un copain.

決して、
Oui, je vais le visiter dimanche. と言ったり書いたりしてはいけません。
なぜならば、そんなコミュニケーションは存在しないからです。

Tu as visité le Louvre dimanche ?
動詞は visiter で、その動詞が複合過去形に活用しているのです。
ということは、動詞は as visité なのです。

（例えば）Oui, je l'ai visité dimanche avec un copain. となります。

決して、
Oui, je l'ai visité dimanche. と言ったり書いたりしてはいけません。
なぜならば、そんなコミュニケーションは存在しないからです。

必ず新情報を加える。
それができていなければコミュニケーションではないし、そんな問題集は役に立たないのです。

Tu as envie de visiter le Louvre ?
　- Non, je …

考えてみましょう。
ご参考まで