大手勤め(幼馴染)から「底辺とつるんで被害受けたくないから縁切るわ」って言われた

以下、＼(^o^)／でVIPがお送りします

「お前らは問題起こしたり捕まっても復帰できるような職場にいるからいいよな、失うものがない分好き放題できる
でも俺はもしものことがあったらクビになるだけでなく、最悪全国・世界でニュースになってこれまで何億人(何兆人？)が築いてきた信用がなくなる
だから昔から変わらず危なっかしいお前らとは付き合えないし俺の人生に入ってこないでくれ」

みたいなことを言われたんだがどう反論すればいい？
確かにグループの多くはヤンチャな奴だが、俺はビビリだから何もしてないのに一緒にされる意味が分からん