彼の過去に不信感、というのは、その過去が現在の彼にも滲んでいるからなのでしょうか。
それとも、あれこれと想像力が働いてしまい不安になってしまっているのでしょうか。

彼に会うことで不信感や不安感が解決するのであれば、どんどん会いに行くのが良いように思います。

頑張るのって、疲れてしまいますよね。
自然体で自由な質問者さんでは居られませんか？
あまりにも無理して一緒にいるようでしたら、一度距離を置いてもいいのかなぁとも思います。
離れてみることで、これまで見えなかったものがクリアになることも多いですよ。

ご自身が心からの笑顔でいられるかどうか。
それが一番大事なことだと思います。