接待员在有家具的公寓工作，他可以不参加清真寺里的聚礼拜和集体拜吗？

我住在一个海湾国家，在一个有家具的公寓做接待员，距离清真寺约50米，我能够非常清楚地听到宣礼和成拜词，但我不能去，因为房主首先不同意，他说：也许会有人在你去做礼拜的时候来租房，他还说，你可以在这儿做礼拜。我和清洁工就在客厅里做礼拜，他原是一个印度教徒，感谢真主，他已经信仰了伊斯兰教。我俩轮流去做聚礼拜，有时候我去做聚礼拜，有时候他去做聚礼拜；因为我们不能离开的这个地方，而没有人看守，我也可以在雇主不知道的情况下去做礼拜，但我担心如果我去清真寺做主命拜，丢下清洁工，离开房子，可能会有未婚青年带着女人来开房，印度的清洁工不明白这种事情。但在我身上发生过一次，感谢真主，我阻止了发生类似的罪恶，真主足以为我作证。
我能够丢下工作，因为我不能担保房主，但我想说，也许我在这里可以防止有可能会发生的通奸的问题，求主佑护。