诈骗4万元已退回，依然会被人民处以相应的刑事处罚，但可以酌情从轻或减轻。
对于退赃、退赔的，综合考虑犯罪性质，退赃、退赔行为对损害结果所能弥补的程度，退赃、退赔的数额及主动程度等情况，可以酌情减轻量刑。
诈骗罪的认定如下：
1、诈骗罪与借贷行为的界限。借款人由于某种原因，长期拖欠不还的，或者编造谎言或隐瞒而骗取款物，到期不能偿还的，只要没有非法占有的目的，也没有挥霍一空，不赖帐，不再弄虚作假骗人，确实打算偿还的，仍属借贷纠纷，不构成诈骗罪；
2、诈骗罪与代人购物拖欠货款行为的界限。对以代人购买紧缺商品的名义，取走货款，没买到东西，又擅自挪用货款，拖欠不还款的行为，应着重考察其真实目的、双方的关系、事情的起因、代办人的具体行为、拖欠的情节、后果等等，从而正确判断其是否有非法占有的意图。如能明确想代人购物，因故未能买到挪用仍拟归还的，不能以诈骗罪论处。如果以代购为名，行诈骗之实，骗取大量财物，大肆挥霍，根本无意归还，也无力归还的，应以诈骗罪论处；
3、诈骗罪与集资办企业因亏损躲债的界限。如果确实是集资经商办企业，但因经营不善，亏损负债，为躲债而外出，仍属财产债务纠纷。这同诈骗犯以集资办企业为名，捞到钱财就逃之夭夭，以实现其非法占有的目的，有本质区别。
综上所述，是否可减轻量刑，可找律师咨询，获取解决方案，律师在刑事案件不同阶段可发挥不同的作用。
【法律依据】：
《中华人民共和国刑法》第二百六十六条
【诈骗罪】诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。本法另有规定的，依照规定。