#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2016-11-22 10:15:31
# Project: pyspider
import re, requests, hashlib, time
from pyspider.libs.base_handler import *


# import pymysql
# import sys, json


class Handler(BaseHandler):
    crawl_config = {
    }

    search_list = ['小麦粉', '低筋粉', '全麦面粉', '高筋面粉', '面粉', '美玫粉', '面包粉', '苏30面粉', '特白面粉', '特一面粉', '小米', '油条面粉', '泰国香米',
                   '白糯米', '大米', '东北大米', '东北小包大米', '糯米', '小包大米', '小西米', '血糯米', '鸡蛋面', '油面', '卷面', '蝴蝶意面', '螺丝通心粉',
                   '意大利螺丝面', '意大利直面', '绿豆粉丝', '龙口粉丝', '大米粉丝', '刀削面', '通心面', '河粉', '宽粉丝', '拉面', '山芋粉丝', '粉皮', '粉丝', '粉条',
                   '薏苡仁', '高粱米', '黄小米', '大西米', '燕麦米', '荞麦', '米仁', '黑豆', '黄豆', '小玉米渣', '玉米棒', '玉米粉', '玉米片', '弯形通心粉',
                   '蛋糕制作粉', '春卷皮', '大馄饨皮', '大米粉', '高粱粉', '燕麦', '锅贴皮', '黑米', '馄饨皮', '馄饨皮(小)', '水饺皮', '绿豆粉皮', '面条', '糯米粉',
                   '荞麦粉', '烧卖皮', '粟米', '通心粉', '细面条', '小馄饨皮', '小宽面条', '中粗面条', '麦仁', '烤麸', '面包糠', '切片年糕', '手指年糕', '赤豆',
                   '菜籽油', '大豆油', '花生油', '葵花籽油', '棉籽油', '玉米油', '红花籽油', '米糠油', '芝麻油', '棕榈油', '橄榄油', '椰子油', '核桃油', '杏仁油',
                   '葡萄籽油', '食用调和油', '色拉油', '多用途麦淇淋（黄油）', '酥皮油（麦淇淋）', '板油', '牛油', '猪油', '生抽', '老抽', '酱油', '美级鲜', '桶生抽',
                   '辣酱油', '白醋', '米醋', '康乐醋', '袋装米醋', '上海白醋', '镇江香醋', '味精', '细晶味精', '中盐味精', '双桥特小晶', '甜面酱', '蕃茄酱', '沙茶酱',
                   '郫县豆瓣酱', '黄豆酱', '咖喱块', '五香粉', '生姜粉', '胡椒粉', '鸡精', '花椒', '茴香', '孜然粉', '番茄酱', '辣椒酱', '辣酱', '香辣酱',
                   '叉烧酱', '排骨酱', '咖喱粉', '椒盐粉', '白胡椒粉', '粗黑胡椒碎', '海鲜酱', '蚝油王', '黑胡椒粉', '花椒粉', '花生酱', '黄汁粉', '浓汤宝', '芥末',
                   '辣椒粉', '特级蚝油', '麻辣鲜', '十三香', '姜黄粉', '辣味腌鸡料', '鲜辣粉', '辣油', '香糟卤', '洋葱粉', '油咖喱', '特级红甜椒粉', '草果', '香叶',
                   '番茄沙司', '火锅底料', '魔厨高汤', '瓶装糟卤', '蒸肉粉', '松肉粉', '豆豉油', '蚝油', '肉桂', '浓缩鸡汁', '大蒜粉', '丁香', '剁椒', '甘草',
                   '无碘海盐', '含碘盐', '小包装精盐', '油炸肉皮', '馋嘴鸭', '方腿', '鸡鸭血', '肉皮冻', '肉松', '水发肉皮', '水晶肉', '蹄筋', '鸭血', '盐水方腿',
                   '叉烧', '五香驴肉', '五香牛肉', '红肠', '火腿', '火腿肠', '烤肠(根)', '香肠', '熟羊肉', '香甜玉米肠', '一口肠', '松花蛋肠', '五香牛肉丝',
                   '鸡肉肠', '板鸭', '培根', '油三角塞肉', '新东阳肉松', '鸡排', '狮子头', '肉圆', '大排排条', '咕老肉', '骨肉相连', '黑胡椒肉片', '黑椒鸡块',
                   '黑椒鸡柳', '黑椒牛柳', '黑椒牛排', '黑椒肉片', '黑椒猪柳', '里脊肉串', '牛肉饼', '肉丸', '炸猪排', '走油肉', '走油蹄', '法式牛排', '香辣大鸡块',
                   '川香鸡柳', '蚝油牛肉', '蚝油牛肉片', '蚝油肉片', '鸡米花', '咖喱鸡腿', '辣鸡腿', '美味鸡块', '上浆大排', '上浆鸡丁', '上浆鸡柳', '上浆鸡片',
                   '上浆鸡丝', '上浆牛柳', '上浆牛肉片', '上浆肉丁', '上浆肉片', '上浆肉丝', '唐扬块', '五香猪排条', '西瓜子肉', '西式牛排', '香嫩排条', '芝麻排条',
                   '原味鸡块', '什锦串', '奥良腿排', '油面筋塞肉', '水面筋塞肉', '腊鸡腿', '金华火腿心', '火腿块', '中式腊肠', '腊肉', '鲜嫩火腿', '腊肠', '腊肠卷',
                   '腊鸭', '腊鸭根', '咸方肉', '咸鸡腿', '咸肋条', '咸肉', '咸肉块', '咸鸭', '咸猪脚', '熏火腿片', '猪大排', '猪皮', '膘夹心', '猪大肠', '猪骨',
                   '带皮方肉', '带皮肋条', '二号肉', '方肉', '肥膘', '后蹄膀', '后腿肉', '夹心肉', '精肉末', '精腿肉', '梅肉', '门腔', '带皮夹心肉', '去皮方肉',
                   '热气肋排', '热气小排', '肉膘', '肉丁', '肉糜', '牛肉片', '肉丝', '猪小排', '三号肉', '四号肉', '猪蹄膀', '猪尾骨', '一号肉', '猪肚', '猪耳',
                   '猪肝', '猪脚', '猪里脊肉', '猪里脊肉排', '猪肉', '猪肉饼', '猪手', '猪心', '肥牛肉', '夹心牛肉', '牛肋排', '牛舌', '牛骨', '牛后腿',
                   '牛里脊肉', '牛腩', '牛前肉', '牛肉串', '牛肉丁', '牛肉米', '牛肉末', '牛肉丝', '牛肉丸', '牛三排', '牛腿肉', '牛尾骨', '半片鸭', '带皮羊肉',
                   '羊肉', '羊肉(去皮)', '羊腿肉', '草鸡', '鸡翅尖', '鸡翅中', '鸡肫', '凤爪', '光鸡(鲜)', '鸡边腿', '鸡翅', '鸡串', '鸡丁', '鸡根', '鸡骨',
                   '鸡块', '鸡柳', '鸡片', '鸡肉糜', '鸡丝', '鸡腿', '鸡心', '鸡胸', '老母鸡', '三黄鸡', '手枪腿', '乌骨鸡', '鸡中翅', '翅中', '鸡肝',
                   '草鸡蛋', '鸡蛋', '散装鸡蛋', '光鸭', '老鸭', '鸭傍三节翅', '木鸭', '鸭边腿', '鸭翅', '鸭根', '鸭骨', '鸭脯肉', '鸭肉排', '鸭腿', '鸭腿排',
                   '鸭胸', '鸭肫', '掌中宝', '鸭蛋', '鸽子', '光鹅', '乳鸽', '兔肉', '鹌鹑蛋', '原味酸奶', '光明牛奶', '光明鲜牛奶（小盒）', '雀巢全脂即溶奶粉',
                   '碧优酸奶', '光明畅优', '光明酸奶', '酸奶', '蒙牛纯牛奶', '蒙牛牛奶', '蒙牛酸牛奶', '蒙牛酸酸乳', '蒙牛原味酸奶', '莫斯利安', '纯牛奶', '乳酸奶',
                   '奶粉', '三花淡奶', '光明奶油', '雀巢炼奶', '雀巢淡奶油', '鲜奶油', '淡奶油', '炼乳', '碎芝士', '巴氏鲜奶油', '金钻奶油', '雀巢矿泉水', '莹纯水',
                   '七喜', '百事可乐', '听装百事可乐', '听装七喜', '延中盐汽水', '统一冰红茶', '冰红茶', '蜂密柚子茶', '立顿原味红茶', '大麦茶', '果缤纷', '汇源苹果汁',
                   '鲜果粒橙汁', '美橙', '荷氏维果C', '汇源果汁', '浓缩橙汁', '雀巢果维橙C', '听装美橙', '椰浆', '雀巢美禄', '原味豆奶', '营养快线', '清美豆奶',
                   '阿华田', '乐口福', '果珍', '养乐多', '脉动维生素饮料', '佳得乐', '来一桶方便面', '来一桶红油老坛酸菜牛肉桶', '红烧牛肉面', '香菇炖鸡面', '香菇猪肉元',
                   '香辣牛肉面', '玉米羹', '八宝饭', '过桥米线[]', '麦片', '菜园小饼干', '饼干(小)', '迪斯尼饼干', '格力高星奇饼', '蝴蝶饼干', '巧克力曲奇', '夹心饼干',
                   '可滋夹心卷', '乐天小熊饼干', '王子夹心饼干', '威化饼干', '汉堡饼干', '好吃点饼干', '动物饼干', '百力滋（虾味）', '格力高百利滋', '康元鲜园小饼',
                   '康元香橙夹心', '康元香酥条', '康元字母饼干', '听装水煮笋', '糖水菠萝', '糖水黄桃', '玉米罐头', '玉米笋', '八宝粥', '食用冰', '荞麦包', '杂粮包',
                   '菜包子', '叉烧包', '葱油年糕', '大刀切', '大肉包', '桂冠豆沙包', '桂冠奶黄包', '桂冠鲜奶刀切馒头', '桂冠鲜肉汤圆', '桂冠芝麻汤圆', '海霸王奶黄包',
                   '海霸王热狗卷', '花卷', '奶黄包', '奶香刀切', '烧卖', '水饺', '小刀切', '小花卷', '小年糕', '速冻油条', '玉米小刀切', '鲜肉粽', '鲜肉包', '酱肉包',
                   '香菇青菜包', '红白小汤圆', '蛋奶馒头', '卡通猪肉包', '糯米烧卖', '思念迷你小肉粽', '思念小小玉珍珠汤圆', '思念芝麻汤圆', '苏阿姨荠菜馄饨', '湾仔码头大馄饨',
                   '湾仔码头猪肉水饺', '鲜肉汤圆', '咸蛋黄肉元', '猪肉水饺', '黑米馒头', '安井玉兔包', '安井杂粮包', '葱油花卷', '黑珍珠汤圆', '红白小园子', '荠菜馄饨',
                   '肉粽', '三鲜饺', '龙凤芝麻汤圆', '鲜肉蛋饺', '百叶包肉', '鲜肉百叶包', '皮鸭荷叶夹', '大蛋饺', '速冻藕饼', '速冻芋艿', '速冻板栗', '速冻蚕豆',
                   '速冻花菜', '速冻龙利鱼', '速冻毛豆', '速冻藕块', '速冻藕片', '速冻青刀豆', '速冻西兰花', '玉米粒(冻)', '美国粟米', '桂冠贡丸', '包心贡丸', '大昌杂菜',
                   '冻荸荠', '冻毛豆籽', '冻藕片', '冻青豆', '冻三色菜', '冷冻芋艿', '上好佳薯片', '仙贝经济包', '旺旺雪饼', '薯饼', '曲形薯条', '冷冻薯条',
                   '瑞士糖（牛奶味）', '绿箭口香糖', '巧克力酱', '格力高可珑（巧克力）', '士力架', '红茶', '乌龙茶', '黄茶', '白茶', '黑茶', '花茶', '袋泡茶', '紧压茶',
                   '黑砖茶', '花砖茶', '茯砖茶', '康砖茶', '金尖茶', '青砖茶', '米砖茶', '绿茶', '黄山贡菊', '大曲白酒', '旭洋小白干', '红葡萄酒', '啤酒', '青岛啤酒',
                   '黄酒', '石库门上海老酒', '特加饭', '白兰地', '酒酿', '酱瓜', '酱黄瓜', '酱豇豆', '辣萝卜干', '辣榨菜丝', '螺丝酱菜', '梅干菜', '泡菜', '泡椒',
                   '酸菜', '酸豇豆', '咸白菜', '咸菜', '咸豇豆', '肖山萝卜干', '小包榨菜', '斜桥榨菜', '榨菜', '榨菜丝', '榨菜头', '榨菜芯', '只头榨菜', '黄咸菜',
                   '萝卜干', '青雪菜', '糖醋大蒜头', '辣豇豆', '八宝菜', '地瓜干', '干香菇', '豇豆干', '地耳', '干红椒', '干黄花菜', '枸杞王', '白芷', '枸杞',
                   '黑木耳', '木耳', '袋装冬笋', '杂菜', '白果', '白果肉', '白扁豆', '白菜', '白萝卜', '白木耳', '半成品玉米棒', '宝塔菜', '荸荠', '扁豆', '扁尖',
                   '扁尖笋', '菠菜', '菜瓜', '菜苋', '蚕豆', '草头', '葱', '大白菜', '大黄豆', '大蒜肉', '大蒜头', '大蒜叶', '大头菜', '刀豆', '地瓜', '冬瓜',
                   '冬笋', '冬笋尖', '豆苗', '番茄', '橄榄菜', '光冬笋', '光茭白', '光土豆', '光莴笋', '光芋艿', '广东菜苋', '杭白菜', '杭白菊', '杭椒', '荷兰豆',
                   '荷兰芹', '荷叶', '红尖椒', '红椒', '红萝卜', '红圆椒', '胡萝卜', '花菜', '花王菜', '黄豆芽', '黄瓜', '黄椒', '黄心菜', '黄心芹', '黄圆椒',
                   '鸡毛菜', '尖椒', '豇豆', '茭白', '芥兰', '京葱', '韭菜', '韭黄', '韭芽', '菊花菜', '卷心菜', '苦瓜', '老黄瓜', '老南瓜', '莲藕', '莲芯',
                   '芦笋', '萝卜', '萝卜头', '绿豆', '绿豆芽', '绿圆椒', '马兰头', '马蹄片', '毛豆结', '毛茭白', '毛莴笋', '毛芋艿', '美芹', '米苋', '南瓜',
                   '牛心菜', '藕', '蓬蒿菜', '荠菜', '茄子', '芹菜', '青菜', '青大蒜', '青豆', '青豆瓣', '青椒', '青萝卜', '青蒜', '秋葵', '球生菜',
                   '日本南瓜', '山药', '山芋', '生菜', '生姜', '水芹', '水笋', '丝瓜', '蒜苗', '笋丁', '笋片', '笋丝', '塔菜', '甜青豆', '土豆', '娃娃菜',
                   '莴笋', '西兰花', '西芹', '鲜百合', '鲜荸荠', '鲜花菜', '鲜毛豆', '鲜西兰花', '鲜玉米棒', '鲜芋艿', '线椒', '香菜', '香葱', '香芋', '小菠菜',
                   '小番茄', '小黄豆', '小黄瓜', '小尖椒（红）', '小米辣椒', '小土豆', '洋葱', '夜开花', '樱桃番茄', '油麦菜', '有机花菜', '芋头', '圆菜', '圆椒',
                   '云豆', '云丝', '长南瓜', '蜘蛛菜', '竹笋', '紫菜', '紫甘蓝', '紫山芋', '白芝麻', '黑芝麻', '棕叶', '佛手瓜', '红心玉薯', '百灵菇', '茨菇',
                   '椴木香菇', '姬菇', '金针菜', '金针菇', '蘑菇', '平菇', '树菇', '鲜茶树菇', '鲜磨菇', '鲜木耳', '鲜香菇', '香菇', '蟹味菇', '杏鲍菇', '秀珍菇',
                   '珍珠菇', '鸡腿菇', '九制陈皮', '金丝蜜枣', '枣肉', '陈皮', '广式话梅', '蜜枣', '水晶蜜枣', '天喔蜜钱', '天喔蜜柚', '盐津葡萄', '红绿丝', '糖桂花',
                   '葡萄干', '桂圆肉', '红枣(包)', '礼品新建大红枣', '柠檬片', '山楂干', '无核金丝枣', '椰丝', '早康鸡心枣', '无核红枣', '草莓果酱', '果酱', '蓝莓果酱',
                   '甘草桃肉', '莲子', '菠萝', '草莓', '橙子', '大金桔', '帝皇蕉', '冬枣', '甘蔗', '贡柑', '贡桔', '桂圆', '哈密瓜', '红富士', '红提', '红枣',
                   '黄冠梨', '火龙果', '金桔', '进口香焦', '桔子', '芦柑', '美国黑提', '苹果', '脐橙', '砂糖桔', '砂糖芦柑', '生梨', '石榴', '桃子', '甜橙',
                   '西瓜', '香蕉', '香梨', '柚子', '无籽瓜', '野山珍核桃仁', '闽融腰果', '碧根果', '大金果', '核桃仁', '松仁', '碎板栗', '腰果', '瓜子仁',
                   '花生米', '开心果', '葵花籽仁', '临安小核桃', '无衣花生', '有衣花生', '开口笑', '荷包蛋', '糟卤蛋', '真空咸蛋', '蛋丝', '鸡蛋干', '酱蛋', '皮蛋',
                   '熟红心咸蛋', '咸蛋', '咸蛋黄', '沙拉酱', '可可粉', '摩卡咖啡', '白砂糖', '白糖', '冰糖', '绵白糖', '棠块冰糖', '糖粉', '红糖', '礼品虾仁',
                   '特级虾皮', '天然紫菜', '墨鱼丸', '袋装龙虾片', '桂冠鱼丸', '美味虾球', '鱼排', '河虾仁', '包心鱼丸', '葱花鱼丸', '干贝', '蛤蜊肉', '海带结',
                   '海带结(干)', '海带丝', '海蜇皮', '龙虾片', '目鱼卷', '目鱼条', '海藻粉', '虾皮', '虾仁', '虾丸', '鱼丸', '中开洋', '蟹肉棒', '水晶虾仁',
                   '冻棉鱼', '冻虾', '三角地虾仁', '海藻', '蝴蝶面包虾', '开洋', '秘制腊鱼', '特色鱼面筋', '鱼面筋', '白鲳', '带鱼', '小黄鱼', '白昌鱼', '白果子鱼',
                   '白米虾', '白鱼', '板鱼', '鳊鱼', '扁鱼', '冰鲜虾', '草虾', '鲳鱼', '大头虾', '东鲳鱼', '段带鱼', '桂鱼', '蛤蜊', '海参', '河虾', '黑鱼',
                   '花鲢鱼', '花蟹', '黄鳝', '黄鱼', '基围虾', '鲫鱼', '烤子鱼', '龙利鱼', '龙头烤', '鲈鱼', '鳗鱼', '毛蟹', '棉鱼(二去鲶鱼）', '牛蛙', '目鱼',
                   '泥鳅鱼', '青鱼', '青鱼(中段)', '肉塔鱼', '三去冬鲳鱼', '三文鱼', '鳝背', '鳝丝', '水发鱿鱼', '鳕鱼', '银鳕鱼', '银鱼', '鱿鱼', '沼虾',
                   '白鱼块', '剥皮鱼', '草鱼块', '花鲢头', '花鲢尾', '青鱼头', '青鱼中段', '蝽子', '小麦淀粉', '玉米淀粉', '小包装生粉', '澄面', '生粉', '马铃薯粉',
                   '麦芽糖', '功德林绿豆糕', '立丰香酥肉松', '核桃蛋糕原味', '豆沙面包', '海鲜汉堡', '圆蛋糕', '果酱面包', '香酥松', '中洋欧式蛋糕（原味.香橙.麦香）', '黄金糕',
                   '糯米糕', '菠萝面包', '蛋糕', '蛋黄派', '豆沙春卷', '法式小餐包', '法式长棍', '方蛋糕', '油条', '蜂糕', '好丽友派', '黄金烧卖', '吉士汉堡',
                   '夹心酥饼', '麦香汉堡胚', '面包', '奶油小面包', '南瓜饼', '年糕', '匹萨', '切片面包', '肉松面包', '沙琪玛', '山芋饼', '水果蛋糕', '苏阿姨松糕',
                   '卷心酥', '米果卷', '徐福记磨堡蛋糕', '椰丝面包', '云片糕', '葱油饼', '徐福记沙琪玛', '豆沙包', '核桃酥', '鸡仔饼', '肉松卷', '众望小麻花', '麻球',
                   '风味豆豉酱', '华夫饼', '纸杯蛋糕', '虎皮蛋糕', '桔红糕', '水晶年糕', '豆沙', '黑洋酥', '百叶', '百叶结', '百叶丝', '成品素鸡', '臭豆腐', '臭干',
                   '素鸡', '大油豆腐', '腐竹', '广合腐乳', '玉豆腐', '盒豆腐', '厚百叶', '麻腐', '马桥豆腐干', '玫瑰腐乳', '五香豆腐干', '五香干', '五香素鸡',
                   '五香小素鸡', '小油豆腐', '油豆腐', '油三角', '板豆腐', '油面筋', '豆腐衣', '豆浆', '绢豆腐', '老豆腐', '清美百叶', '清美百叶结', '清美豆腐',
                   '清美干丝', '清美素火腿', '清美香干', '清美小白干', '清美小素鸡', '清美小油豆腐', '清美油方', '清美油面筋', '水面筋', '香干', '小素鸡', '白干',
                   '大豆蛋白', '素肠', '素火腿', '豆豉', '南乳汁', '素鸭', '干丝', '兰花干', '冠生园蜂蜜', '椰果肉', '吉士粉', '碱粉', '焦磷酸钠', '卡拉胶',
                   '食碱', '苏打粉', '香甜泡打粉', '干酵母', '燕山发酵粉', '塔塔粉', '蛋糕油（起泡剂）', '泡打粉', '面包改良剂', '海鲜香精', '鸡肉香精', '牛肉香精',
                   '猪肉香精']
    not_search_type = ['家常菜', '上海菜', '北京菜', '私家菜', '清真菜', '湖北菜', '湖南菜', '山东菜', '山西菜', '浙江菜', '甘肃菜', '广东菜', '广西菜', '广州菜',
                       '江苏菜', '江西菜', '滇黔菜', '河南菜', '东北菜', '新疆菜', '福建菜', '安徽菜', '台湾菜', '其他西餐', '日本料理', '东南亚风味', '凉拌',
                       '素斋菜', '天津菜', '陕西菜', '海南菜', '四川菜', '少数民族菜', '炒面', '炒', '炖', '法国菜', '煎', '烤', '其他菜肴', '清蒸', '炸',
                       '韩国料理', '桂格 即食免煮燕麦片 1000g', 'Yakult 乳酸菌饮料 65ml', '丹特', '大洋世家',
                       '明治', '乐购', '利莆', '惠宜', 'GALLO', '全家', '河马莉', '星巴克', 'JOHN WEST', '丘比', 'lindt', 'FINE LIFE', '',
                       '亨氏', '饺子', '卡夫', '肌肉科技', '嘉宝', '乐天', '家乐福', '荷卡厨坊', '乌江龙 凉拌海带丝（野山椒味）70g',
                       '施皮茨', '骆驼', '五分文 芭蕉干', '味觉百撰', '雀巢', '意大利菜', '卡乐比', 'OVORA', '优亦伽', '伯爵', '罗森']

    @every(minutes=24 * 60)
    def on_start(self):
        # 薄荷网所有页面url（html暴露）
        # self.crawl('http://www.boohee.com/food', callback=self.index_page)
        for i in range(len(self.search_list)):
            self.crawl('http://www.boohee.com/food/search?keyword=' + str(self.search_list[i]),
                       callback=self.index_page,
                       # 传递参数
                       save=self.search_list[i])

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        for each in response.doc('a[href^="http"]').items():
            # 不抓规则：1，非本站信息
            if not each.attr.href.startswith("http://www.boohee.com"):
                continue
            elif each.attr.href.startswith("http://www.boohee.com/food/view_menu"):
                continue
            elif re.search("http://www.boohee.com/shiwu/.*", each.attr.href):
                self.crawl(each.attr.href, callback=self.detail_page, save=response.save)
            # 翻页爬取
            # elif re.search("http://www.boohee.com/food/group/.*", each.attr.href):
            #     self.crawl(each.attr.href, callback=self.index_page)
            # search爬取
            # elif re.search("http://www.boohee.com/food/search\?keyword=.*", each.attr.href):
            #     self.crawl(each.attr.href, callback=self.index_page, save=response.save)

    @config(priority=2)
    def detail_page(self, response):
        other_all = response.doc('.basic-infor > li').text().split('红绿灯')[0].strip().split(' ')
        name = response.doc('.crumb').text().split('/')[-1].strip()
        search_title = '别名：'
        other_name = ''
        if search_title in other_all:
            for i in range(len(other_all)):
                if search_title == other_all[i]:
                    other_name = other_all[i + 1]
                    other_name_list = other_name.split('、')
                    # 判断别名中是否存在所查找name
                    if response.save in other_name_list:
                        name = response.save
        else:
            other_name = ''
        type = response.doc('.crumb').text().split('/')[-2].strip()
        # 处理过滤分类数据
        if type not in self.not_search_type:
            result = {
                "url": response.url,
                'name': name,
                'type': type,
                'search': response.save,
                'contents': response.doc('.margin10 > .content').text().split('>>')[0].strip(),
                'other_name': other_name
            }
        else:
            result = None
        return result


        # on_result 将数据存储于数据库
        # def on_result(self, result):
        #     reload(sys)
        #     sys.setdefaultencoding('utf-8')
        #     if not result or not result['title']:
        #         return
        #     # 连接配置信息
        #     mysql_config = {
        #         'host': '127.0.0.1',
        #         'port': 3306,
        #         'user': 'root',
        #         'password': 'root',
        #         'db': 'logdb',
        #         'charset': 'utf8',
        #         'cursorclass': pymysql.cursors.DictCursor,
        #     }
        #     # 创建连接
        #     connection = pymysql.connect(**mysql_config)
        #     # 执行sql语句
        #     try:
        #         with connection.cursor() as cursor:
        #             # 执行sql语句，进行查询
        #             sql = 'insert boohee(url, title, contents, content) VALUES (%s, %s, %s, %s)'
        #             # 获取查询结果
        #             cursor.execute(sql, (str(result['url']), str(result['title']), str(result['contents']),
        #                                  json.dumps(result['content'], ensure_ascii=False)))
        #         # 没有设置默认自动提交，需要主动提交，以保存所执行的语句
        #         connection.commit()
        #     finally:
        #         connection.close()
