09_reconcille_history

#! /usr/bin/env python
# -*- encoding: utf-8 -*-
import erppeek
import sys
from config_test import odoo_configuration_user
import datetime
import re

###############################################################################
# Odoo Connection
###############################################################################


def init_openerp(url, login, password, database):
    openerp = erppeek.Client(url)
    uid = openerp.login(login, password=password, database=database)
    user = openerp.ResUsers.browse(uid)
    tz = user.tz
    return openerp, uid, tz

openerp, uid, tz = init_openerp(
    odoo_configuration_user['url'],
    odoo_configuration_user['login'],
    odoo_configuration_user['password'],
    odoo_configuration_user['database'])

##################################################################
##########                  SET LOGGER                  ##########
##################################################################
class Logger(object):
    def __init__(self, filename='Default.log'):
        self.terminal = sys.stdout
        self.log = open(filename, "a")

    def write(self, message):
        self.terminal.write(message)
        self.log.write(message)

log_file = 'log_' + datetime.datetime.now().strftime("%Y-%m-%d %H_%M_%s")+'.log'
print "stdout = ./"+log_file
sys.stdout = Logger(log_file)
print datetime.datetime.now().strftime("%Y-%m-%d %H_%M_%s")

###############################################################################
# Script
###############################################################################

id_journal_CEP = 49
id_compte_comptable_CEP = 743 # 512210 - CEP Compte courant
id_journaux_CB0X = [96,95,97,90,91,92]
compte_comptable_frais_bancaires_CEP = 504 #correspond au compte comptable 627500 Frais Comm /CB
contact_contract_number = "CONTRAT 8815597     REM 0"
contactless_contract_number = "CONTRAT 8815598     REM 0"
pattern_telecollecte="CB LA LOUVE"

total_ok = 0
plusieurs_possibilites = 0
aucune_possibilite = 0

mode_test = True

def delta_day(date,force_delay=None):
    date_1 = datetime.datetime.strptime(date, "%Y-%m-%d")
    if force_delay==None :
        delay_day = 1
        if (date_1.weekday() == 5):
            delay_day = 2
    else :
            delay_day = force_delay
    end_date = date_1 + datetime.timedelta(days=delay_day)
    res = end_date.strftime('%Y-%m-%d')
    print "date session : ", date
    print "delay_day : ",delay_day 
    print "date max : ", res
    return res


def already_reconcilled(move_lines):
    for move_line in move_lines :
        if move_line.reconciled:
	    return True
    return False

def reconcile_pos(date_debut, date_fin, statement_name=None):
    cas_0 = 0
    cas_1 = 0
    cas_2 = 0
    total_cas = 0
    print ">>>>>>> START UPDATING >>>>>>>>>>"

    if statement_name==None:
        CB0Xstatements = openerp.AccountBankStatement.browse([('date', '>=', date_debut),('date', '<', date_fin),('journal_id', 'in', id_journaux_CB0X)],order='id')
    else :
        CB0Xstatements = openerp.AccountBankStatement.browse([('name', '=',statement_name)])

    for statement in CB0Xstatements:
        print "==========================================="
        print "Avancement : ", total_cas, " / ", len(CB0Xstatements)
        print "     => Cas 0 : ", cas_0, " / ", total_cas
        print "     => Cas 1 : ", cas_1, " / ", total_cas
        print "     => Cas 2 : ", cas_2, " / ", total_cas
        print "     => Autres cas non traités : ", total_cas-cas_0-cas_1-cas_2, " / ", total_cas
        print "     -> Total_ok : ", total_ok, " / Plusieurs_possibilites : ", plusieurs_possibilites, " / Aucune_possibilite :", aucune_possibilite 
        print datetime.datetime.now().strftime("%Y-%m-%d %H_%M_%s")
        total_cas = total_cas + 1
        print "===========================================", statement.name, " / ", statement.date

        if len(statement.line_ids)==0:
            cas_0 = cas_0+1
            print "CAS 0 : Il existe aucune ligne dans ce relevé CBXX."
            print "     WARNING Niveau 1 : session sans ligne de CB"
            continue
        pos_session = statement.line_ids[0].ref #on suppose que toutes les lignes d'un relevé on tous le même POS session => automatique dans le POS
        print "POS : ", pos_session

        account_id_credit = statement.journal_id.default_credit_account_id.id
        account_id_debit = statement.journal_id.default_debit_account_id.id
        res_contact = False
        res_contactless = False
        ligne_banque_cb_rapprochees = []

        ecriture_journal_cbXX_lettrees = openerp.AccountMoveLine.browse([('ref', '=', pos_session),('journal_id','=',statement.journal_id.id),('account_id','=',account_id_debit),('reconciled','=','True')])

        ####### CAS 1 : lettrage manuel complet déja fait (car fait manuellement ou bien en cas d'erreur) mais pas rapproché
        # s'il y a au moins une ligne de relevé POS qui n'a pas d'écriture comptable de banque assoriée. 
        if (len(ecriture_journal_cbXX_lettrees)>0):
            if len(statement.line_ids) != len(ecriture_journal_cbXX_lettrees):
                print "WARNING Niveau 2 : relevé de POS partiellement passé sur le journal de banque. Cas non géré."
            else :
                cas_1 = cas_1 + 1 
                print "CAS 1 : Il existe des écritures de débit sur le journal CBXX et elles sont toutes lettrées => lettrage déja fait à la main"
                ecritures_journal_banque = []
                ref_lettrage = []
                for l in ecriture_journal_cbXX_lettrees:
                    if l.full_reconcile_id.id not in ref_lettrage:
                        ref_lettrage.append(l.full_reconcile_id.id)
                print "     -> References de lettrage(", len(ref_lettrage), ") : ",ref_lettrage
                if len(ref_lettrage) != 1 :
                    print "         WARNING Niveau 1 : nombre de références de lettrage atypique"
                for id_reference_lettrage in ref_lettrage:
                    print "         ////////////////"
                    print "         -> Reference de lettrage courant : ", id_reference_lettrage
                    ecriture_cbXX_liees = openerp.AccountMoveLine.browse([('full_reconcile_id', '=', id_reference_lettrage),('journal_id','=',id_journal_CEP),('debit','=',0),('account_id','=',account_id_debit)])
                    print "         -> Ecritures sur le journal CBXX et le compte CBXX correspondant à cette réf de lettrage(", len(ecriture_cbXX_liees), ") : ", ecriture_cbXX_liees.id
                    if len(ecriture_cbXX_liees) != 1 :
                        print "         WARNING Niveau 1 : nombre d'écritures de banque atypique"
                    pieces_deja_inspectees = []
                    for ecriture_banque in ecriture_cbXX_liees:
                        print "                 $$$$$$$$$$$"
                        print "                  -> Ecriture journal de banque et compte CBXX lettré avec les écritures de vente (compte CBXX du journal CBXX) : ", ecriture_banque.id
                        print "                        Nombre d'écritures de la pièce de l'écriture :",len(ecriture_banque.move_id.line_ids)

                        if ecriture_banque.move_id.id in pieces_deja_inspectees :
                            print "                 Cette pièce a déjà été inspectée."
                            continue
                        pieces_deja_inspectees.append(ecriture_banque.move_id.id)

                        for ecriture_journal_banque in ecriture_banque.move_id.line_ids:
                            if ecriture_journal_banque.account_id.id != id_compte_comptable_CEP:
                                #print "             - Pas compte de banque : ", ecriture_journal_banque.account, ecriture_journal_banque.name, ecriture_journal_banque.id
                                continue
                            print "                          %%%%%%%%%%"
                            print "                         -> Ecriture journal de banque et compte de banque : ", ecriture_journal_banque.id
                            print "                             Numéro de la pièce :", ecriture_journal_banque.move_id.id
                            res = trouver_ligne(ecriture_journal_banque.date,ecriture_journal_banque.debit)
                            if res != False :
                                res_contact, res_contactless = res
                                for ligne_releve in [res_contact, res_contactless] :
                                    if ligne_releve == False:
                                        continue
                                    #verifier qu'elle est pas déjà rapprochée
                                    if len(ligne_releve.journal_entry_ids):
                                        print "                              WARNING Niveau 2: ligne de relevé de banque (id=",ligne_releve.id, ") déjà en partie ou totalement rapprochée"
                                    else :
                                        print "                            > Rapproché : ligne de relevé de banque id=",ligne_releve.id, " avec écriture du journal de banque id=",ecriture_journal_banque.id
                                        if mode_test == False :
                                            print ligne_releve.name
                                            ligne_releve.journal_entry_ids = [ecriture_journal_banque.move_id.id]
                                        ligne_banque_cb_rapprochees.append(ligne_releve)
                                

        ######### CAS 2 : aucun lettrage manuel ni rapprochement
        else : 
            cas_2 = cas_2 + 1 
            print "CAS 2 : aucune ligne de ce relevé de POS n'est liée à une écriture sur le journal de banque."
            res = trouver_ligne(statement.date,statement.balance_end_real)
            if res != False :
                res_contact, res_contactless = res
                if (res_contact != False):
                    move_contact = creer_ecriture_banque_et_rapprocher(statement,res_contact,account_id_credit, "CB classique")
                    ligne_banque_cb_rapprochees.append(res_contact)
                    pass
                if (res_contactless != False):
                    move_contactless = creer_ecriture_banque_et_rapprocher(statement,res_contactless,account_id_credit, "CB sans contact")
                    ligne_banque_cb_rapprochees.append(res_contactless)
                    pass
                if mode_test == False :
                    lettrage(statement,res_contactless,res_contact,account_id_credit,account_id_debit)

        #quelque soit le cas, générer l'écriture de frais bancaire et la rapprocher
#        for ligne in ligne_banque_cb_rapprochees : 
#            apairer_et_generer_lettrer_frais_bancaires(ligne)
#            pass
    if (date_debut != None and date_fin != None):
        directement_generer_lettrer_frais_bancaires_sans_apairer(delta_day(date_debut),delta_day(date_fin))



def trouver_ligne(date_session,total_amount):
    print "     > Trouver ligne"
    global total_ok
    global plusieurs_possibilites
    global aucune_possibilite

    date_max = delta_day(date_session)
    contact_lines = openerp.AccountBankStatementLine.browse([('journal_id','=',id_journal_CEP),('date', '>', date_session), ('date', '<=', date_max),('name','=like',pattern_telecollecte+"%"), ('note','=like',contact_contract_number+"%"),('journal_entry_ids', '=', False)])
    contactless_lines = openerp.AccountBankStatementLine.browse([('journal_id','=',id_journal_CEP),('date', '>', date_session), ('date', '<=', date_max),('name','=like',pattern_telecollecte+"%"), ('note','=like',contactless_contract_number+"%"),('journal_entry_ids', '=', False)])

    while (len(contact_lines)==0 and len(contactless_lines)==0):
        date_max = delta_day(date_max,1)
        contact_lines = openerp.AccountBankStatementLine.browse([('journal_id','=',id_journal_CEP),('date', '>', date_session), ('date', '<=', date_max),('name','=like',pattern_telecollecte+"%"), ('note','=like',contact_contract_number+"%"),('journal_entry_ids', '=', False)])
        contactless_lines = openerp.AccountBankStatementLine.browse([('journal_id','=',id_journal_CEP),('date', '>', date_session), ('date', '<=', date_max),('name','=like',pattern_telecollecte+"%"), ('note','=like',contactless_contract_number+"%"),('journal_entry_ids', '=', False)])

    print "                     Nb contact_line : ", len(contact_lines), " / Nb contactless_line : ", len(contactless_lines), " ==>> ", len(contact_lines)+len(contactless_lines)+len(contact_lines)*len(contactless_lines), "combinaisons à tester."

    res_contact = False
    res_contactless = False

    print "                     MONTANT CIBLE : ",total_amount

    for contact_line in contact_lines :
        for contactless_line in contactless_lines :
            if abs(contactless_line.amount + contact_line.amount - total_amount) < 0.00001:
                if ((res_contact == False) and (res_contactless == False)):
                    res_contact = contact_line
                    res_contactless = contactless_line
                    print "                     COMBINAISON contact + sans contact"
                else:
                    plusieurs_possibilites = plusieurs_possibilites + 1
                    print "                     => WARNING Niveau 2 : Impossible d'appairer, il y a plusieurs possibilités A."
                    print "                             - POSSIBILITE 1 :" 
                    if (res_contact != False):
                        print "                                 CONTACT [id="+str(res_contact.id)+"] : ",res_contact.name, res_contact.note, res_contact.amount
                    if (res_contactless != False):
                        print "                                 SANS CONTACT [id="+str(res_contactless.id)+"] : ",res_contactless.name, res_contactless.note, res_contactless.amount
                    print "                             - POSSIBILITE 2 : " 
                    print "                                     CONTACT [id="+str(contact_line.id)+"] : ",contact_line.name, contact_line.note, contact_line.amount
                    print "                                     SANS CONTACT [id="+str(contactless_line.id)+"] : ",contactless_line.name, contactless_line.note, contactless_line.amount
                    return False
    
    for contact_line in contact_lines :
        if abs(contact_line.amount-total_amount) < 0.00001:
            if ((res_contact == False) and (res_contactless == False)):
                res_contact = contact_line
                print "                     ATTENTION : session sans télecollecte CB sans contact"
            else:
                plusieurs_possibilites = plusieurs_possibilites + 1
                print "                    => WARNING Niveau 2 : Impossible d'appairer, il y a plusieurs possibilités B."
                print "                             - POSSIBILITE 1 :" 
                if (res_contact != False):
                    print "                             CONTACT [id="+str(res_contact.id)+"] : ",res_contact.name, res_contact.note, res_contact.amount
                if (res_contactless != False):
                    print "                             SANS CONTACT [id="+str(res_contactless.id)+"] : ",res_contactless.name, res_contactless.note, res_contactless.amount
                print "                             - POSSIBILITE 2 : " 
                print "                                 CONTACT [id="+str(contact_line.id)+"] : ",contact_line.name, contact_line.note, contact_line.amount
                return False

    for contactless_line in contactless_lines :
        if abs(contactless_line.amount-total_amount) < 0.00001:
            if ((res_contact == False) and (res_contactless == False)):
                res_contactless = contactless_line
                print "                     ATTENTION : session sans télecollecte CB classique"
            else:
                plusieurs_possibilites = plusieurs_possibilites + 1
                print "                  => WARNING Niveau 2 : Impossible d'appairer, il y a plusieurs possibilités C."
                print "                         - POSSIBILITE 1 :" 
                if (res_contact != False):
                    print "                             CONTACT [id="+str(res_contact.id)+"] : ",res_contact.name, res_contact.note, res_contact.amount
                if (res_contactless != False):
                    print "                             SANS CONTACT [id="+str(res_contactless.id)+"] : ",res_contactless.name, res_contactless.note, res_contactless.amount
                print "                         - POSSIBILITE 2 : " 
                print "                                  SANS CONTACT [id="+str(contactless_line.id)+"] : ",contactless_line.name, contactless_line.note, contactless_line.amount
                return False


    if ((res_contact == False) and (res_contactless == False)):
        aucune_possibilite = aucune_possibilite + 1
        print "                  => WARNING Niveau 2 : Impossible de trouver une possibilité -> il y a probablement des erreurs dans la ventilation des paiements de cette session de POS."
        return False
    else :
        total_ok = total_ok + 1
        if (res_contact != False):
            print "                     CONTACT [id="+str(res_contact.id)+"] : ",res_contact.name, res_contact.note, res_contact.amount
        if (res_contactless != False):
            print "                     SANS CONTACT [id="+str(res_contactless.id)+"] : ",res_contactless.name, res_contactless.note, res_contactless.amount

    return res_contact,res_contactless


def creer_ecriture_banque_et_rapprocher(statement,bank_line,account_id_credit,mode):
        print "     > Création de l'écriture de branque et rapprochement"
        print "         - Relevé CBxx de POS : ",statement.name, statement.id
        print "         - Ligne de relevé de banque : ",bank_line.name, bank_line.note, bank_line.id
        move_line_contact = {
                'name': 'Télecollecte '+mode+' '+statement.journal_id.name+' '+statement.date+' '+statement.name,
                'debit': 0.0,
                'credit': abs(bank_line.amount),
                'journal_id': id_journal_CEP,
                'date': statement.date,
                'account_id': account_id_credit,
                }
        print move_line_contact

        if mode_test == False :
            res = bank_line.process_reconciliation_wrapper([move_line_contact])
            return res


def lettrage(statement,res_contactless,res_contact,account_id_credit,account_id_debit):
        print "     > Lettrage"
        # LETTRER
        line_to_reconcil = []

        for move_line in statement.move_line_ids:
            if move_line.account_id.id == account_id_debit and move_line.id not in line_to_reconcil:
                line_to_reconcil.append(move_line.id)

        # => move_contactless
        if res_contactless != False :
            for move_line in res_contactless.journal_entry_ids[0].line_ids:
                if move_line.account_id.id == account_id_credit and move_line.id not in line_to_reconcil:
                    line_to_reconcil.append(move_line.id)

        # => move_contact
        if res_contact != False :
            for move_line in res_contact.journal_entry_ids[0].line_ids:
                if move_line.account_id.id == account_id_credit and move_line.id not in line_to_reconcil:
                    line_to_reconcil.append(move_line.id)

        print "         ->", len(line_to_reconcil), "lignes à lettrer portant les id : ", line_to_reconcil
        wizard_id = 1
        r = openerp.execute_kw('account.move.line.reconcile', 'trans_rec_reconcile_full', [wizard_id], {'context': {'active_ids': line_to_reconcil}})
        print r

def directement_generer_lettrer_frais_bancaires_sans_apairer(date_debut,date_fin):
    print "     > Rapporchement direct frais bancaires sans apairage avec les télecollectes"

    lines = openerp.AccountBankStatementLine.browse([('journal_id','=',id_journal_CEP),('date', '>', date_debut), ('date', '<=', date_fin),('name','=like',"*CB COM LA LOUVE "+"%"),('journal_entry_ids', '=', False)],offset=0)

    i = 0
    for line in lines:
        i = i+1
        print "==============================="
        print " Avancement : ",i, "/",len(lines)
        print "==============================="
        print "         name",line.name
        print "         note",line.note
        print "         amount",line.amount
        print "         date",line.date

        parse_name = re.compile(u"^\*CB COM LA LOUVE (?P<date>\d{6})$").search(line.name)
        parse_note = re.compile(u"^CONTRAT (?P<contract_number>\d{7}) REM (?P<rem>\d{5})$").search(line.note)

        move_line_data_credit = {
            'name': 'Frais télécollecte Contrat '+parse_note.group('contract_number')+" REM "+parse_note.group('rem')+" du "+parse_name.group('date'),
            'debit': line.amount * -1,
            'credit': 0.0,
            'journal_id': id_journal_CEP,
            'date': line.date,
            'account_id': compte_comptable_frais_bancaires_CEP,
        }
        print "         -> ligne de banque générée : ", move_line_data_credit
        if mode_test == False :
            print fees_line.process_reconciliation_wrapper([move_line_data_credit])

'''
def apairer_et_generer_lettrer_frais_bancaires(transaction_line):
    print "     > Rapporchement frais bancaires"
    parse_name = re.compile(u"^CB LA LOUVE          (?P<date>\d{6})$").search(transaction_line.name)
    parse_note = re.compile(u"^CONTRAT (?P<contract_number>\d{7})     REM (?P<rem>\d{5})$").search(transaction_line.note)
    name = "*CB COM LA LOUVE "+parse_name.group('date')
    note = "CONTRAT "+parse_note.group('contract_number')+" REM "+parse_note.group('rem')

    fees_lines = openerp.AccountBankStatementLine.browse([('name','=',name),('note','=',note),('journal_id','=',id_journal_CEP),('journal_entry_ids','=',False)])
    if len(fees_lines) == 0:
        print "         WARNING Niveau 3 : Aucune ligne de frais trouvée pour cette ligne de télécollecte avec ces critères de recherche :"
        print "             name",name
        print "             note",note
        print "             date",parse_name.group('date')
        return False
    if len(fees_lines) > 1:
        print "         WARNING Niveau 3 : Plusieurs lignes de frais trouvées pour cette ligne de télecollecte avec ces critères de recherche :"
        print "             name",name
        print "             note",note
        print "             date",parse_name.group('date')
        for i in fees_lines:
            print "         - Possibilité : "
            print "                 name",i.name
            print "                 note",i.note
            print "                 amount",i.amount
        return False

    fees_line = fees_lines[0]

    move_line_data_credit = {
        'name': 'Frais télécollecte Contrat '+parse_note.group('contract_number')+" REM "+parse_note.group('rem')+" du "+parse_name.group('date'),
        'debit': fees_line.amount * -1,
        'credit': 0.0,
        'journal_id': id_journal_CEP,
        'date': fees_line.date,
        'account_id': compte_comptable_frais_bancaires_CEP,
    }
    print "         -> ligne de banque générée : ", move_line_data_credit
    if mode_test == False :
        print fees_line.process_reconciliation_wrapper([move_line_data_credit])
    return True

def generer_toutes_ecritures_frais(date_debut, date_fin):
    # FONCTION DE TEST
    lines = openerp.AccountBankStatementLine.browse([('journal_id','=',id_journal_CEP),('date', '>', date_debut), ('date', '<=', date_fin),('name','=like',pattern_telecollecte+"%"),('journal_entry_ids', '=', False)],offset=0)
    c = 0
    c_ok=0
    for i in lines:
        print "=============================="
        print "contact :",c," / ",len(lines)
        print "     c_ok : ", c_ok, " / ",c
        print "=============================="
        print "id", i.id
        print "date", i.date
        print "name", i.name
        print "note", i.note
        print "amount", i.amount
        if apairer_et_generer_lettrer_frais_bancaires(i)==True:
            c_ok = c_ok+1
        c = c+1
'''

reconcile_pos('2017-04-15','2017-04-30')
#reconcile_pos(None, None, "CB04/2017/0217")
#reconcile_pos(None,None,"CB04/2017/0002")
#trouver_ligne("2017-01-05",142.42)
#directement_generer_lettrer_frais_bancaires_sans_apairer('2017-01-01','2017-04-30')

print "\n>>>>>>> DONE >>>>>>>>>>"
print datetime.datetime.now().strftime("%Y-%m-%d %H_%M_%s")