根据刑事诉讼法第99条第一款规定，被害人由于被告人的犯罪行为遭受物质损失的，在刑事诉讼中，有权提起附带民事诉讼。

那么，只要因被告人的犯罪行为遭受物质损失都可以提起附带民事诉讼吗？

答案是否定的。

根据《刑事审判参考》第26号案例所述，司法实践中，被害人因犯罪行为遭受物质损失的情况比较复杂，因犯罪性质而各有不同。对于被告人侵犯被害人（单位）财产权而使被害人遭受物质损失的，刑法第六十四条规定：犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。

据此，被害人因被告人的犯罪行为遭受的物质损失可以分为两类：

一类是被害人因犯罪行为遭受了物质损失，但被告人并未因此占有或者获得被害人的财物，此类涉及的犯罪行为主要有杀人、伤害、故意毁坏财物、破坏生产经营以及生产、销售伪劣商品犯罪等；

另一类是被害人因犯罪行为遭受的物质损失，是由被告人非法占有、处置而造成的，此类涉及的犯罪行为主要有抢劫、盗窃、诈骗、侵占、贪污、挪用等。

对因前一类犯罪行为遭受的物质损失，被害人可以提起附带民事诉讼请求赔偿。

而对后一类犯罪行为给被害人造成的物质损失，根据《最高人民法院关于适用<中华人民共和国刑事诉讼法>的解释第一百七十六条:被告人非法占有、处置被害人财产的，应当依法予以追缴或者责令退赔。被害人提起附带民事诉讼的，人民法院不予受理。追缴、退赔的情况，可以作为量刑情节考虑。

据此，在该种情形下，被害人无法提起刑事附带民事诉讼，但其损失会由司法机关依法对被告人予以追缴或者责令退赔。