故事发生在两百多年前的波士顿。海丝特•白兰胸前佩戴标志着通奸的红色“A”字站在古老的刑台上示众。她手中抱着这个罪孽的证据：一个出生仅数月的婴儿。在人们无情的注视下，她拒绝了年轻牧师阿瑟•丁梅斯代尔提出的忏悔要求。 之后，海丝特在城外远离人群的一间小茅屋里住了下来。她以做针线活维生，并细心地照料女儿珠儿。这时，海丝特的丈夫来到了美国。他满怀仇恨地改名为罗杰•齐灵渥斯，以医生的身份暗中察访与海丝特通奸的同犯。 很快七年过去了，珠儿已成长为一个美丽可爱的小姑娘，而海丝特因为热心接济和帮助别人，赢得了人们的尊敬，使胸前那本来代表耻辱的红字变成了美好善良德行的象征。而经过多年的窥探，罗杰也认定了丁梅斯代尔牧师就是那个隐藏的同犯。于是他千方百计地接近牧师，旁敲侧击，冷嘲热讽，不停地在精神上对牧师进行折磨。 海丝特为了使丁梅斯代尔逃离她丈夫的阴影，决心带着女儿和他一起逃走，却被罗杰发现，计划失败了。而对罗杰的恐惧和自己隐瞒罪责的煎熬使丁梅斯代尔的健康每况愈下。终于在离开尘世前夕，他在全体教众的面前，挽着海丝特和他们的女儿珠儿登上了刑台，用以生命为代价的深切忏悔换取了道德上的新生。