造谣诽谤他人，无论是针对个人还是他人的配偶，都是一种不道德的行为，在法律上也可能构成诽谤罪。诽谤罪是指故意捏造并散布虚构的事实，损害他人名誉的行为。如果诽谤行为严重到一定程度，诽谤者可能会面临法律责任。
根据《中华人民共和国刑法》的规定，诽谤罪分为两个层次：
情节一般的诽谤：处三年以下有期徒刑、拘役、管制或者剥夺政治权利。
情节严重的诽谤：处三年以上十年以下有期徒刑。情节严重通常指的是诽谤行为导致被害人自杀、精神失常等严重后果，或者诽谤行为在公众中造成特别恶劣的影响。
如果有人造谣诽谤你的妻子出轨，你可以采取以下措施：
收集证据：保存所有有关诽谤的言论、文章、短信、网络截图等证据。
法律咨询：咨询律师，了解自己的权利和可能的法律途径。
名誉恢复：如果诽谤内容被广泛传播，可能需要通过法律途径要求诽谤者公开道歉，恢复名誉。
刑事报案：如果诽谤行为构成犯罪，可以向公安机关报案，要求追究诽谤者的刑事责任。
民事诉讼：可以提起民事诉讼，要求诽谤者赔偿因诽谤造成的损失，包括精神损害赔偿。
在处理此类问题时，应当谨慎行事，依法维权，避免采取过激行为，以免给自己带来不必要的麻烦。

《中华人民共和国刑法》第二百四十六条以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。