刮除选择器JSON中的所有项目并导出到新单元格

CodeWithAwais

我正在从JSON响应中抓取数据。我需要帮助刮取位置。有多个位置,我想知道是否有一种方法可以刮除所有位置。使用scrapy,我们可以执行.getall()来获取所有值,但是我不确定JSON如何工作。另外,如果我们可以将每个位置存储到具有loc_1,loc_2,loc_3等标头的新单元格,那将是很好的。

以下是位置选择器的屏幕截图: 在此处输入图片说明

# -*- coding: utf-8 -*-
import scrapy
import json

links_list = open('test.txt').read().split('\n')

class MainSpider(scrapy.Spider):
    name = 'main'
    start_urls = links_list

    def parse(self, response):
        resp = json.loads(response.body)
        lists = resp['results']
        for each in lists:
            try:
                links = each['url']
                if links:
                    yield response.follow(url=f'https://www.cbr.nl{links}', callback=self.parse_lists)
            except:
                pass

    
    def parse_lists(self, response):
        # scraping school's info
        schools = json.loads(response.body)
        name = schools['name']
        type_ = schools['vehicleCategory']
        lat = schools['lat']
        lng = schools['lon']

        # school's exams info
        exams_taken = schools['examInformationAllLocations']['allAttempts']
        pass_percentage = schools['examInformationAllLocations']['successfulAllAttemptsPercentage']

        # scraping school's contact info
        street_name = schools['contactInformation']['streetName']
        house_number = schools['contactInformation']['houseNumber']
        house_num_ext = schools['contactInformation']['houseNumberExtension']
        zip_code = schools['contactInformation']['zipCode']
        city = schools['contactInformation']['city']
        website = schools['contactInformation']['website']
        email = schools['contactInformation']['email']
        phone_1 = schools['contactInformation']['phone1']
        phone_2 = schools['contactInformation']['phone2']
        kvk = schools['contactInformation']['kvk']
        driving_school_num = schools['contactInformation']['drivingSchoolNumber']
        trade_associations = schools['contactInformation']['tradeAssociations']

        # scraping school's exams info
        
 

        yield {
            "Name": name if name else "N/A",
            "Vehicle Type": type_ if type_ else "N/A",
            "Latitude": lat if lat else "N/A",
            "Longitude": lng if lng else "N/A",
            "Street Name": street_name if street_name else "N/A",
            "House Number": house_number if house_number else "N/A",
            "Hourse Number Extension": house_num_ext if house_num_ext else "N/A",
            "Zip Code": zip_code if zip_code else "N/A",
            "City": city if city else "N/A",
            "Website": website if website else "N/A",
            "Email": email if email else "N/A",
            "Phone 1": phone_1 if phone_1 else "N/A",
            "Phone 2": phone_2 if phone_2 else "N/A",
            "KVK": kvk if kvk else "N/A",
            "Driving School Number": driving_school_num if driving_school_num else "N/A",
            "Trade Associations": trade_associations if trade_associations else "N/A",
            "Exams Taken": exams_taken if exams_taken else "N/A",
            "Pass Percentage": pass_percentage if pass_percentage else "N/A",
        }
阿怀斯

声明一个空列表。然后遍历位置

all_locations = []
locations = schools['examInformation']
for location in locations:
    exams_location = location['cbrLocation']
    all_locations.append(exams_location)

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

选择UICollectionView iOS中的所有项目,甚至看不见的单元格

来自分类Dev

将MATLAB单元格数组导出到csv文件中

来自分类Dev

如何检查用户是否选择了所有单元格或vb.net中datagridview中的任何单元格

来自分类Dev

选择列中的所有空白单元格

来自分类Dev

将所选单元格行中的特定数据导出到CSV文件中

来自分类Dev

获取一个子范围,该子范围具有除第一行中的单元格以外的所有单元格?

来自分类Dev

选择UITableView上的所有单元格

来自分类Dev

使用jQuery Datatables 2016将带有换行符的值导出到Excel中的单个单元格中

来自分类Dev

如何将<label for>设置为位于表格单元格中的选择器的ID

来自分类Dev

从SQL表选择到dgv时,替换所有单元格中的特定值

来自分类Dev

css选择器:除中的所有

来自分类Dev

转到单元格编辑模式,然后使用VBA选择所有单元格文本

来自分类Dev

使用CSS选择器和Python对表中的多行单元格进行Web爬取

来自分类Dev

在Powershell中使用ComOject Excel选择活动工作表中的所有单元格

来自分类Dev

刮除选择器JSON中的所有项目并导出到新单元格

来自分类Dev

如何检查用户是否在vb.net中选择了所有单元格或datagridview中的任何单元格

来自分类Dev

Excel VBA向下选择所有单元格

来自分类Dev

iOS禁用除一个单元格外的所有单元格上的UItableview选择

来自分类Dev

从RichTextBox中获取每一行,并使用C#导出到excel单元格

来自分类Dev

将选定单元格行中的特定数据导出到CSV文件中

来自分类Dev

我可以从Excel中的所有工作表中选择所有单元格吗?

来自分类Dev

DevExpress GridView选择并替换单元格中的项目吗?

来自分类Dev

jQuery选择器表>行>单元格>字段

来自分类Dev

从Access导出到Excel时单元格中的新行

来自分类Dev

R:使用rvest刮除表格中每个单元格的悬停文本标题

来自分类Dev

css选择器:除中的所有

来自分类Dev

CSS:悬停空白单元格:空选择器

来自分类Dev

如何选择网格单元格中的所有文本

来自分类Dev

VBA:将访问权限导出到 Excel -> 选择所有单元格 -> 格式化表格

Related 相关文章

  1. 1

    选择UICollectionView iOS中的所有项目,甚至看不见的单元格

  2. 2

    将MATLAB单元格数组导出到csv文件中

  3. 3

    如何检查用户是否选择了所有单元格或vb.net中datagridview中的任何单元格

  4. 4

    选择列中的所有空白单元格

  5. 5

    将所选单元格行中的特定数据导出到CSV文件中

  6. 6

    获取一个子范围,该子范围具有除第一行中的单元格以外的所有单元格?

  7. 7

    选择UITableView上的所有单元格

  8. 8

    使用jQuery Datatables 2016将带有换行符的值导出到Excel中的单个单元格中

  9. 9

    如何将<label for>设置为位于表格单元格中的选择器的ID

  10. 10

    从SQL表选择到dgv时,替换所有单元格中的特定值

  11. 11

    css选择器:除中的所有

  12. 12

    转到单元格编辑模式,然后使用VBA选择所有单元格文本

  13. 13

    使用CSS选择器和Python对表中的多行单元格进行Web爬取

  14. 14

    在Powershell中使用ComOject Excel选择活动工作表中的所有单元格

  15. 15

    刮除选择器JSON中的所有项目并导出到新单元格

  16. 16

    如何检查用户是否在vb.net中选择了所有单元格或datagridview中的任何单元格

  17. 17

    Excel VBA向下选择所有单元格

  18. 18

    iOS禁用除一个单元格外的所有单元格上的UItableview选择

  19. 19

    从RichTextBox中获取每一行,并使用C#导出到excel单元格

  20. 20

    将选定单元格行中的特定数据导出到CSV文件中

  21. 21

    我可以从Excel中的所有工作表中选择所有单元格吗?

  22. 22

    DevExpress GridView选择并替换单元格中的项目吗?

  23. 23

    jQuery选择器表>行>单元格>字段

  24. 24

    从Access导出到Excel时单元格中的新行

  25. 25

    R:使用rvest刮除表格中每个单元格的悬停文本标题

  26. 26

    css选择器:除中的所有

  27. 27

    CSS:悬停空白单元格:空选择器

  28. 28

    如何选择网格单元格中的所有文本

  29. 29

    VBA:将访问权限导出到 Excel -> 选择所有单元格 -> 格式化表格

热门标签

归档