La verdad es que no, a menos que vos y tu pareja tengan una relación abierta. Pero de todos modos no creo que nadie lo deje de hacer por lo que digan otros.
Solo hay que tener en cuenta si vale la pena, porque después que se arruine la relación nunca más volverá a ser lo mismo. Yo preferiría seguir soltera y hacer lo que quiera, o tener acordado una relación abierta desde el principio, así no hay mal entendidos.