购房意向金被中介机构拒绝退还的情况并非必然涉及到犯罪诈骗行为。
根据刑法规定，构成诈骗罪需具备以下几个要素：
首先必须是以非法占有他人财产为目的；
其次，行为人采用虚构事实、隐瞒真相等欺骗手段；
最后是骗取了数额较大的公私财物。
因此，如果中介机构没有正当理由而拒绝退还购房意向金，那么这很可能构成了违约行为。
在此之前，您需要仔细查阅与中介机构签署的合同中有关意向金退还的详细条款和条件。
如果合同已经明确规定了退还意向金的条件，并且中介机构违反了这些约定，那么您可以尝试与他们进行沟通协商解决问题。
如果协商无法达成共识，您还可以向相关监管部门进行投诉，甚至直接向法院提起民事诉讼，请求中介机构按照合同约定退还意向金，同时承担相应的违约赔偿责任。
然而，如果中介机构能够提供充分的证据来证明其拒绝退还意向金具有合法性和合理性，那么这种情况便不能视为违约行为。