仅凭缺乏确凿证据就认定某人为诈骗者并不必然导致诽谤罪的成立。
诽谤罪乃是指蓄意编造并广为传播虚假事实，其足以对他人的人格尊严进行贬损，同时毁坏了他/她的美誉度。
若仅仅是在无任何证据支持的情况下随意发表言论，并且该言论并未得到广泛传播，也未能对他人的声誉产生严重影响，那么通常情况下，这并不构成诽谤罪。
然而，此类行为仍属不当，有可能引发民事纷争。

《中华人民共和国刑法》第二百四十六条
【侮辱罪、诽谤罪】以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。
前款罪，告诉的才处理，但是严重危害社会秩序和国家利益的除外。
通过信息网络实施第一款规定的行为，被害人向人民法院告诉，但提供证据确有困难的，人民法院可以要求公安机关提供协助。