上司に襲われた

以下、＼(^o^)／でVIPがお送りします

上司に襲われた
長文です。
私20前半。40過ぎ上司。

5月に上司が出張でこちらの会社に何週間かいたときに、みんなと1回だけ食事に行きました。その後社内メールで会社の携帯とプライベートの連絡先教えてほしいと言われ交換しました。私の会社は電話連絡を頻繁にとるのでめずらしくありません。
仲がいい女の先輩はその上司と去年まで同じ勤務地で、連絡先も知っているし二人で食事にも行ったと聞きました。面倒見がいいため皆に慕われています。
その後仕事終わりや休みの日の朝など電話が頻繁にかかってきました。内容は私の仕事を心配してくれたり世間話など、普通です。
またこっちにくるから観光案内をしてほしいと頼まれました。当日になって普通のホテルに泊まって行くという話になり、シングルがなかったと言われ同じ部屋に泊まることに。
さすがにあれ？と思いましたが、本当にいい上司だったのでまさかそんなはずないと本気で思ってました。
私は先に寝てたら、夜中急に私のベッドに入ってきて胸を揉まれ、キスされました。嫌だと拒否したらやめてくれましたが、朝方また襲われました。
もう襲われている最中は頭の中パニックで嫌だ、もういいと押し返すくらいしかできませんでした。その後上司は何事もなかったように車で送ってくれました。
私はぼーっとしていて何を話したか覚えてません。

このことは誰にも話していません。話せません。被害者ヅラしても自分に警戒心が無さすぎたことが一番の原因だとわかっています。なかったことにしようと思いました。
でもその上司がこの前また出張で会社にきたときに、声をきくだけで気持ち悪く動悸が収まりませんでした。普通にできませんでした。
今もたまにメールがきますが返信してません。しかし返信しないと社内メールまできます。

会社を辞めようとも考えましたが、周りの人と仕事は好きなのでやっぱり辞めたくないです。

どうしたらいいかわかりません。
メールはこのまま無視するべきでしょうか？はっきり言うべきでしょうか？
誰かに相談するのも、どこまで話したらいいかわかりません。