针对非法储存危险物质这一罪行，通常在以下几种情况下会予以立案追究其刑事责任：
首先是非法存储具有危害性的诸如毒害性、放射性以及传染病病原体等物质，然而所存储的数量已经达到了足以对公共安全产生严重威胁的地步。
其次，若储存地点过于接近拥挤人群，或者储存的危险物质极易被他人轻易获取并在使用过程中，从而引发实际存在的潜在威胁，那么也有可能构成犯罪行为并面临相应刑事指控。

《中华人民共和国刑法》第一百二十五条
【非法制造、买卖、运输、邮寄、储存枪支、弹药、爆炸物罪、非法制造、买卖、运输、储存危险物质罪】非法制造、买卖、运输、邮寄、储存枪支、弹药、爆炸物的，处三年以上十年以下有期徒刑；情节严重的，处十年以上有期徒刑、无期徒刑或者死刑。
非法制造、买卖、运输、储存毒害性、放射性、传染病病原体等物质，危害公共安全的，依照前款的规定处罚。
单位犯前两款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照第一款的规定处罚。