import pandas as pd
import mysql.connector
import time
nums=[]
t3 = time.strftime("%Y-%m-%d", time.localtime())
conn = mysql.connector.connect(host='192.168.1.125',user='spider', password='123456', database='spider')
cursor = conn.cursor()
cursor.execute('DELETE FROM eprc WHERE datediff(curdate(), days)>=14')
conn.commit()
cursor.execute('select * from eprc')
values = cursor.fetchall()
for v in values:
    nums.append(v[0])
cursor = conn.cursor()
cursor.execute('select * from building')
values2=cursor.fetchall()
dic={}
loca_dic={
            '堅尼地城': '堅尼地城/西營盤',
            '西營盤': '堅尼地城/西營盤',
            '西半山': '西半山',
            '金鐘': '中上環/金鐘',
            '中環': '中上環/金鐘',
            '上環': '中上環/金鐘',
            '山頂': '山頂',
            '灣仔': '灣仔/銅鑼灣',
            '銅鑼灣': '灣仔/銅鑼灣',
            '中半山': '中半山',
            '天后': '北角/炮台山/天后/大坑',
            '大坑': '北角/炮台山/天后/大坑',
            '北角': '北角/炮台山/天后/大坑',
            '炮台山': '北角/炮台山/天后/大坑',
            '北角半山': '北角半山',
            '大坑道': '跑馬地/東半山',
            '跑馬地': '跑馬地/東半山',
            '司徒拔道': '跑馬地/東半山',
            '樂活道': '跑馬地/東半山',
            '渣甸山': '跑馬地/東半山',
            '鰂魚涌': '鰂魚涌',
            '西灣河': '鰂魚涌',
            '筲箕灣': '筲箕灣',
            '太古城': '太古城',
            '柴灣': '柴灣/小西灣',
            '小西灣': '柴灣/小西灣',
            '藍灣半島': '柴灣/小西灣',
            '杏花村': '杏花村',
            '薄扶林': '薄扶林',
            '碧瑤灣': '薄扶林',
            '置富': '薄扶林',
            '碧麗道': '薄扶林',
            '赤柱': '赤柱/大潭',
            '大潭': '赤柱/大潭',
            '石澳': '赤柱/大潭',
            '舂磡角': '赤柱/大潭',
            '深水灣': '深水灣/淺水灣/壽臣山道',
            '壽臣山': '深水灣/淺水灣/壽臣山道',
            '淺水灣': '深水灣/淺水灣/壽臣山道',
            '貝沙灣': '貝沙灣',
            '海怡半島': '鴨脷洲',
            '鴨脷洲': '鴨脷洲',
            '深灣軒': '鴨脷洲',
            '南灣': '鴨脷洲',
            '黃竹坑': '香港仔/田灣/黃竹坑',
            '香港仔': '香港仔/田灣/黃竹坑',
            '田灣': '香港仔/田灣/黃竹坑',
            '深水埗': '深水埗/長沙灣',
            '長沙灣': '深水埗/長沙灣',
            '荔枝角': '深水埗/長沙灣',
            '長沙灣西': '長沙灣西',
            '旺角': '旺角/太子',
            '太子': '旺角/太子',
            '美孚': '美孚/華景',
            '油麻地': '佐敦/油麻地',
            '佐敦': '佐敦/油麻地',
            '尖沙咀': '尖沙咀/九龍站',
            '九龍站': '尖沙咀/九龍站',
            '奧運站': '奧運/大角咀',
            '大角咀': '奧運/大角咀',
            '南昌': '奧運/大角咀',
            '寶琳': '將軍澳',
            '調景嶺': '將軍澳',
            '將軍澳': '將軍澳',
            '坑口': '將軍澳',
            '日出康城': '日出康城',
            '石硤尾': '又一村/石硤尾',
            '九龍塘': '九龍塘/畢架山',
            '何文田': '何文田/京士柏',
            '京士柏': '何文田/京士柏',
            '藍田': '藍田/油塘',
            '油塘': '藍田/油塘',
            '九龍灣': '九龍灣',
            '牛頭角': '九龍灣',
            '啟德': '新蒲崗/啟德',
            '新蒲崗': '新蒲崗/啟德',
            '觀塘': '觀塘',
            '秀茂坪': '觀塘',
            '黃大仙': '九龍城/鑽石山',
            '樂富': '九龍城/鑽石山',
            '鑽石山': '九龍城/鑽石山',
            '九龍城': '九龍城/鑽石山',
            '彩虹': '九龍城/鑽石山',
            '土瓜灣': '土瓜灣',
            '紅磡': '紅磡/黃埔',
            '黃埔': '紅磡/黃埔',
            '汀角路': '大埔半山/康樂園',
            '康樂園': '大埔半山/康樂園',
            '大埔半山': '大埔半山/康樂園',
            '大埔墟': '大埔墟/太和',
            '太和': '大埔墟/太和',
            '粉嶺': '上水/粉嶺/古洞',
            '上水': '上水/粉嶺/古洞',
            '清水灣': '西貢',
            '飛鵝山': '西貢',
            '白沙灣': '西貢',
            '蠔涌/匡湖居': '西貢',
            '西貢市': '西貢',
            '西沙路': '西貢',
            '銀線灣': '西貢',
            '大網仔': '西貢',
            '大圍': '大圍',
            '大圍半山': '大圍',
            '沙田': '沙田',
            '火炭': '火炭/沙田半山/九肚山',
            '沙田半山': '火炭/沙田半山/九肚山',
            '九肚山': '火炭/沙田半山/九肚山',
            '馬鞍山': '馬鞍山',
            '愉景灣': '愉景灣',
            '屏山': '新田/十八鄉/大棠',
            '大棠': '新田/十八鄉/大棠',
            '新田': '新田/十八鄉/大棠',
            '十八鄉': '新田/十八鄉/大棠',
            '元朗': '元朗市中心/洪水橋/錦上路',
            '洪水橋': '元朗市中心/洪水橋/錦上路',
            '錦上路': '元朗市中心/洪水橋/錦上路',
            '屯門': '屯門',
            '藍地': '屯門',
            '龍鼓灘': '屯門',
            '深井（屯門）': '青山公路(屯門段)',
            '嘉湖山莊': '天水圍',
            '天水圍': '天水圍',
            '荃灣': '荃灣',
            '大窩口': '荃灣',
            '深井（荃灣）': '麗城/青山公路(荃灣段)',
            '青衣': '葵涌/青衣/馬灣',
            '馬灣': '葵涌/青衣/馬灣',
            '葵涌': '葵涌/青衣/馬灣',
            '大嶼山': '東涌/離島',
            '坪洲': '東涌/離島',
            '長洲': '東涌/離島',
            '南丫島': '東涌/離島',
            '大澳': '東涌/離島',
            '其他離島': '東涌/離島',
            '東涌': '東涌/離島'
        }
for v2 in values2:
    dic.update({v2[0]:v2[1]})
newindex=[]
#-------------------查重文件名--------------------------------
df=pd.read_excel(r'C:\Users\Administrator\Desktop\20190807.xls')
#-------------------------------------------------------------
rows=df.values.tolist()
columns=df.columns.tolist()
for row in rows:
    if row[-2] not in nums:
        if row[9]==row[9]:
            row[8]=dic.get(row[10])
            row[7]=loca_dic.get(row[8])
            row[9] = row[9].strip()
        if row[14] == row[14]:
            row[14] = row[14].strip()
        newindex.append(row)
        cursor.execute('INSERT into eprc VALUES("%s","%s")' % (row[-2], t3))
df2=pd.DataFrame(newindex,columns=columns)
df2.drop_duplicates(subset=['物業名稱','電話1'],keep='first',inplace=True)
#-------------------輸出文件名--------------------------------
df2.to_excel(r'C:\Users\Administrator\Desktop\20190807.xlsx',index=None)
#-------------------------------------------------------------
print('完成！刪除%s个重复项，剩余%s'%((df.shape[0]-df2.shape[0]),df2.shape[0]))
conn.commit()
cursor.close()
conn.close()
