知り合いの車で運転中寝たらキレられたんだが…

以下、＼(^o^)／でVIPがお送りします

知り合い3人で東京に行って、知り合いA（運転手）には「いつでも（眠くなったら）寝ていい」って言われてて
何も言わず寝たら、知り合いB（助手席）に

「寝るときは断り入れるのがマナーだろ、Aさん以外運転できないんだから
　Aさんに降りろって言われたら、降りなきゃいけないんだぞ、一番寝たいのはAさんなんだよ」
って言われて、マジで？？ってなってなにも言えなかったんだが

とりあえずAさんには「今日は申し訳ないです」っていって、俺は気にしてないよって言われたし大丈夫だとおもうんだけど

マナー的には断ったほうがいいのか？