依照《中华人民共和国刑法》第二百九十三条之规定，构成寻衅滋事罪须具备以下要素：实施了基于无理起因或无端挑衅而破坏社会公共秩序的行为，例如肆意殴打他人、追逐辱骂、强行索取或占有他人财物等。若对方以扫帚作为武器对您进行攻击，且其行为性质恶劣，那么便有可能被认定为寻衅滋事罪。
然而，在判定是否构成犯罪时，我们必须深入剖析案件的所有细节，包括行为人的主观意图、采取的手段以及所产生的实际影响等多方面因素。若情节轻微，则可能无法构成犯罪，或者将依据其他相关法律法规进行处理。因此，对于是否构成寻衅滋事罪这一问题，我们需要结合具体案情进行全面评估和判断。

《中华人民共和国刑法》第二百九十三条【寻衅滋事罪】有下列寻衅滋事行为之一，破坏社会秩序的，处五年以下有期徒刑、拘役或者管制：
（一）随意殴打他人，情节恶劣的；
（二）追逐、拦截、辱骂、恐吓他人，情节恶劣的；
（三）强拿硬要或者任意损毁、占用公私财物，情节严重的；
（四）在公共场所起哄闹事，造成公共场所秩序严重混乱的。
纠集他人多次实施前款行为，严重破坏社会秩序的，处五年以上十年以下有期徒刑，可以并处罚金。”