确实可行。
首先要明确的是，若此时您手中所持有的仅仅是离婚协议，却缺乏正式的离婚证件以及法院所出具的离婚调解书或者判决书，那么您与伴侣之间仍然被认定为未解除婚姻关系的合法夫妻。
在此前提下，如有必要修改子女户口信息，您完全可以携带结婚证明前往相关机构进行办理。
尽管离婚协议中已经将抚养权授予女方，但是这并不妨碍女方作为监护人为子女办理户口迁移手续。
请您放心，只要尽到母亲的职责，为孩子更好地成长提供良好环境，您有权办理此项事务。

《户口登记条例》第十条
公民迁出本户口管辖区，由本人或者户主在迁出前向户口登记机关申报迁出登记，领取迁移证件，注销户口。
公民由农村迁往城市，必须持有城市劳动部门的录用证明，学校的录取证明，或者城市户口登记机关的准予迁入的证明，向常住地户口登记机关申请办理迁出手续。
公民迁往边防地区，必须经过常住地县、市、市辖区公安机关批准。