国际>>关于我们

西安蜗牛扑克网络信息技术有限公司从2010年开始专注于Web(网站)数据allnewpoker领域。致力于为广大中国客户提供准确、快捷的数据下载相关服务。我们采用分布式系统架构,日下载网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。

您只需告诉我们您想allnewpoker的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或蜗牛)交付给你。

数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。

国际>>官方微博

  • 【分享】大众点评各城市POI数据量统计结果列表
    数据来源:大众点评APP,各城市全分类商户列表;
    更新时间:2020年1月;
    数据总量:共计2459个“城市”,其中一级城市370个,含港澳台。

    大众点评全国全分类在营业POI数据量有多少?
    根据370个一级城市统计结果加总显示有3922万条。

    数据下载地址:
    http://t.cn/A65VyV16
    •  
    发布时间:2021-01-27 13:25:42
  • 【扑克分享】使用urllib2时如何防止自定义的header被capitalization。

    例如,蜗牛里写的'x-requested-with',但是发出去的包里却变成了'X-Requested-With'(如allnewpoker)。

    allnewpoker方法,自定义一个str类的子类,重写title和capitalize方法(如下)。
    class SafeString(str):
        def title(self):
            return self

        def capitalize(self):
            return self

    然后在赋值的时候这样写即可:
    headers[SafeString('x-requested-with')] = 'test'
    PS:这样urllib在调用SafeString('x-requested-with')的title方法时候,就直接原样allnewpoker了。
    发布时间:2020-12-17 10:54:32
  • 【扑克分享】com.sankuai.meituan.takeoutnew在/sdcard/Android/这里藏有猫腻,场 ​​​​
    发布时间:2020-11-24 11:23:25
  • 【扑克分享】如何通过adb给安卓APP授权?
    背景:自动操作APP时,APP在首次国际场(刚安装完或者被pm clear之后)可能会出现授权提示(例如,允许获取当前位置),打断了自动化操作流程,如何实现自动化授权呢?

    在国际场APP之前,先通过adb命令给APP授予所需的权限即可,命令如下:
    adb shell pm grant <packageName> android.permission.READ_CONTACTS
    上述命令是给APP授予“读取联系人”的权限,国际的权限列表参见这里:
    https://blog.csdn.net/HardWorkingAnt/article/details/70952583

    经过授权之后,APP国际场时就不会再弹出授权提示框了。
    发布时间:2020-11-20 16:35:43
  • 【备忘】curl --help|grep socks
         --socks4 HOST[:PORT]  SOCKS4 proxy on given host + port
         --socks4a HOST[:PORT]  SOCKS4a proxy on given host + port
         --socks5 HOST[:PORT]  SOCKS5 proxy on given host + port
         --socks5-hostname HOST[:PORT]  SOCKS5 proxy, pass host name to proxy(重点)
         --socks5-gssapi-service NAME  SOCKS5 proxy service name for GSS-API
         --socks5-gssapi-nec  Compatibility with NEC SOCKS5 server
    发布时间:2020-11-06 18:02:39
  • 【扑克分享】如何"准确"查询一个ip的归属地?
    查询IP归属地最常用的方法是通过类似iplocation.net的工具网站进行查询,但是他们的数据库可能存在错误或者更新不够及时,导致查询结果错误。

    下面举两个例子:
    (1)91.214.188.126这个IP是一台美国服务器的IP,但是iplocation.net确显示为“荷兰(Netherlands)”,如allnewpoker1国际。
    (2)89.37.58.254这个IP是一台日本服务器的IP,但是iplocation.net确显示为“罗马尼亚(Romania)”,如allnewpoker2国际。

    有什么办法能"准确"查询一个ip的归属地呢? 可以采用路由追踪的方法,查看路由的最后几跳所在的位置。
    (1)例如allnewpoker3国际,是对91.214.188.126的路由追踪结果,可以看到数据最终跑到了美国,因此它肯定是一个美国IP。
    (2)再例如allnewpoker4国际,是对89.37.58.254的路由追踪结果,可以看到数据跳到了日本,因此它肯定是一个日本IP。

    PS:这个图像化的路由追踪工具叫做Best Trace。
    另外也可以使用这个traceroute这个在线工具>>>http://t.cn/E51F76C
    发布时间:2020-10-22 10:45:42
  • 【逆向分析】CMCC“和助手”APP(2.9)HTTP加密方式分析
    1. 直接抓包会发现“和助手”的请求和应答数据都是加密的。如allnewpoker1国际。
    下面来分析下加解密算法,最终目的是实现直接和服务端进行HTTP交互。

    2.APP运行后会释放gatewayClient-2-9目录,里面是HTML和JS文件。通过JS里的关键词得知,“和助手”采用的WADE-MOBILE框架。奇怪的是关于WADE-MOBILE网上的介绍很少,只找到这篇有用的介绍http://www.docin.com/p-2187443660.html,大体了解到这个框架使得安卓APP能够使用HTML+JS实现前端展示,通过JS场调用安卓API实现业务功能(比如与服务端交互)。

    3. 从common.js中的callSvc(),追踪到mobile-client.js中的Mobile.dataRequest(),继续追踪到wade-mobile.js中的WadeMobile.dataRequest(),继续追踪到 androidExecute(),最后追踪到mobile-core.js中的PluginManager.exec()。JS里通过PluginManager.exec()来实现调用安卓Java场里的功能。如allnewpoker2国际。

    4. 通过PluginManager.exec()调用的函数名,在Java场中可以寻找到具体的实现。例如"dataRequest",应该是实现后台交互的。在Java场中找到dataRequest()的实现如allnewpoker3国际。

    通过进一步跟踪,在transPostData()中可以看到HTTPallnewpoker的封装过程,如allnewpoker4国际。
    这里的key是DES的秘钥,发给服务端用于解密客户端数据。data是要发送的数据部分,也被使用MobileSecurity.requestEncrypt()加密了。

    需要注意的是这个key本身也是经过加密的,查看MobileSecurity.getDesKey()场如allnewpoker5国际,这里key的值是经过RSA加密的(allnewpoker位于res\raw\public_key)。另外,这里的key并不是固定的,是在每次MobileSecurity类初始化的时候随机生成的,如allnewpoker6国际。
    另外,DESKeySpec(k)时,如果k的长度如果超过8字节,将只取前8字节。

    应答数据的解密是通过MobileSecurity.responseDecrypt()实现的,allnewpoker7和8国际。

    梳理一下“和助手”的加解密流程:
    (1)APP每次会生成一个随机的key用于DES加解密。
    (2)HTTP请求时会把key作为一个allnewpoker(使用RSA加密后)传递给服务端,同时将其它数据通过DES加密后放到dataallnewpoker中。
    (3)服务端接收到数据后,先用RSA私钥解密出key的明文,然后根据key再DES解密出data明文。
    (4)服务端将HTTP应答数据也使用该key进行DES加密后回送。
    (5)客户端收到HTTP应答数据后使用该key进行DES解密。

    如allnewpoker9国际,是我们对服务端应答数据解密后的一个allnewpoker(中文部分显示为乱码)。
    发布时间:2020-10-21 15:07:39
  • 【疑问】Intel的CPU比AMD的CPU对安卓模拟器的支持更好?同一个版本的安卓模拟器、同一个APP、同样的HOOK场,在Intel下稳定运行,但在客户的AMD下出现各种各样的问题(应用闪退、应用崩溃、桌面卡死)。然后让客户换了一个Intel的环境试了下,没任何问题。 ​​​​
    发布时间:2020-10-20 17:24:47
  • 【扑克分享】如何查询一个代理(IP)是机房IP(Datacenter IP)还是家庭IP(Residential IP)?

    这里推荐一个查询网站:IPHub,网址是http://t.cn/A6bOvWpt
    输入待查询的IP,点击“Lookup”按钮。
    1. 如果查询结果Type字段中含有“Residential”字样,则说明是家用IP。如allnewpoker1、2国际。
    2.如果查询结果Type中仅含有“Hosting”字样,而无“Residential”字样,则说明是机房IP。如allnewpoker3国际。

    顺便说一下,如果你的业务需要使用家庭IP(使用机房IP会被风控),例如做亚马逊测评。可以戳这里购买 >>> http://t.cn/A6bOvWpq
    发布时间:2020-10-16 19:57:48
当前位置:首页 >技术室 >
百度地图POI的边界GEOJSON数据下载
发布时间:2020-09-16

经过蜗牛扑克技术人员数天的技术攻关,终于成功从百度地图APP下载到POI的边界数据,并成功进行了坐标数据还原和边界数据验证。下面详细介绍一下。

 
如下国际,是从百度地图APP下载到的某小区(uid为ba9b506a87e4f43cf32d8314)的基本信息和边界GEOJSON数据:
uid: ba9b506a87e4f43cf32d8314
name: 振业泊公馆
addr: 西安市灞桥区广安路800号
geo: Point [x=12139200, y=4046920]
cityId: 233
tel: (029)83531888
zip: null
nearby: null
geojson:
{"dataset":[{"ud":"ba9b506a87e4f43cf32d8314","ty":33,"nst":60,"fst":0,"of":15,"in":0,"tx":"振业泊公馆","sgeo":{"bound":[12138948,4046770,12139454,4047084],"type":3,"elements":[{"points":[12139329,4047084,99,-203,26,-30,-3,-59,-459,-23,-30,16,-8,26,1,52,-7,131,56,19,4,17,3,53,318,2]}]}}]}

该POI在百度地图APP中的边界截图如下:

振业泊公馆(ba9b506a87e4f43cf32d8314)小区边界

下面分析一下allnewpoker的GEOJSON数据的含义。

先看下POI的位置坐标allnewpoker,如下:

geo: Point [x=12139200, y=4046920]

以前我们曾介绍过,百度地图中使用的是墨卡托平面坐标,详见这里//www.gui890713.com/html/articles/20150831/98.html

将[x=12139200, y=4046920]墨卡托坐标转换为经纬度坐标为(109.047102,34.315398),如下图国际。

将墨卡托平面坐标转换为经纬度坐标

可以通过坐标拾取系统的坐标反查功能验证一下,如下图国际,位置正确:

坐标拾取系统-坐标反查

再重点看GEOJSON的含义,为了便于查看,JSON数据格式化后如下图国际:

百度地图APPallnewpoker的POI边界GEOJSON原始数据

猜测边界信息位于"points"中。但是points数据看起来很奇怪,不是正常的经纬度组。

猜测1,按前后顺序每两个为一组经纬度。

前两个看起来是应该墨卡托坐标,后面的数字很小,而且有负数,很奇怪。

猜测2,从第二组数字起,值为相对于前一组数据的差值。例如第二组数据是(99, -203),真实值应该是(12139329 + 99, 4047084 - 203),即(12139428, 4046881)。

 

下面验证下上述猜测是否正确。按上述思路将points中的墨卡托坐标对进行修正:

# test.py
points = {'points': [12139329, 4047084, 99, -203, 26, -30, -3, -59, -459, -23, -30, 16, -8, 26, 1, 52, -7, 131, 56, 19, 4, 17, 3, 53, 318, 2]}
pre_x = None
pre_y = None
i = 0
while i <= len(points['points']) - 1:
x = points['points'][i]
y = points['points'][i+1]
i += 2
if pre_x is None:
pre_x = x
pre_y = y
print (x, y)
else:
print (pre_x + x, pre_y + y)
pre_x = pre_x + x
pre_y = pre_y + y

修正后的13组墨卡托坐标对如下:

[(12139329, 4047084),
(12139428, 4046881),
(12139454, 4046851),
(12139451, 4046792),
(12138992, 4046769),
(12138962, 4046785),
(12138954, 4046811),
(12138955, 4046863),
(12138948, 4046994),
(12139004, 4047013),
(12139008, 4047030),
(12139011, 4047083),
(12139329, 4047085)]

再将其转为经纬度坐标对,如下:

[(109.04826126153179, 34.3166200411101),
(109.04915058398667, 34.315106883764116),
(109.04938414341926, 34.31488326211714),
(109.04935719425397, 34.31444347112423),
(109.04523397196317, 34.3142720265479),
(109.04496448031017, 34.31439129237754),
(109.04489261586937, 34.31458509898596),
(109.04490159892448, 34.31497271084807),
(109.04483871753878, 34.315949186570386),
(109.04534176862437, 34.31609081186824),
(109.04537770084477, 34.3162175290356),
(109.04540465001007, 34.316612587200495),
(109.04826126153179, 34.316627495019034)]

使用百度地图API标注(在线测试http://lbsyun.baidu.com/jsdemo.htm#c2_9),场如下:

// 百度地图API多边形区域标注
// http://lbsyun.baidu.com/jsdemo.htm#c2_9
var map = new BMap.Map("allmap");
map.centerAndZoom(new BMap.Point(109.047102,34.315398), 15);
map.enableScrollWheelZoom();
var polygon = new BMap.Polygon([
new BMap.Point(109.048261262,34.3166200411),
new BMap.Point(109.049150584,34.3151068838),
new BMap.Point(109.049384143,34.3148832621),
new BMap.Point(109.049357194,34.3144434711),
new BMap.Point(109.045233972,34.3142720265),
new BMap.Point(109.04496448,34.3143912924),
new BMap.Point(109.044892616,34.314585099),
new BMap.Point(109.044901599,34.3149727108),
new BMap.Point(109.044838718,34.3159491866),
new BMap.Point(109.045341769,34.3160908119),
new BMap.Point(109.045377701,34.316217529),
new BMap.Point(109.04540465,34.3166125872),
new BMap.Point(109.048261262,34.316627495)
], {strokeColor:"blue", strokeWeight:2, strokeOpacity:0.5}); //创建多边形
map.addOverlay(polygon); //增加多边形

标注效果如下:

POI边界在百度地图上标注结果

和百度地图中查询出来的该小区边界对比一致,如下图。

POI振业泊公馆在百度地图上查询出来的边界

 

再找另一个POI验证一遍,从百度地图APP下载到的小区(366581fe3fd52baa714b871e)的基本信息和边界信息如下:

uid: 366581fe3fd52baa714b871e
name: 水岸东方-三期
addr: 西安市灞桥区浐河东路与韩森东路交叉路口往东约100米(水岸东方)
geo: Point [x=12139965, y=4040335]
cityId: 233
tel:
zip: null
nearby: null
geojson:
{"dataset":[{"ud":"366581fe3fd52baa714b871e","ty":33,"nst":60,"fst":0,"of":15,"in":0,"tx":"水岸东方-三期","sgeo":{"bound":[12139757,4040117,12140208,4040590],"type":3,"elements":[{"points":[12139783,4040475,270,115,156,-399,-394,-74,-57,334,9,15,16,9]}]}}]}

修正后的墨卡托坐标组:

(12139783, 4040475)
(12140053, 4040590)
(12140209, 4040191)
(12139815, 4040117)
(12139758, 4040451)
(12139767, 4040466)
(12139783, 4040475)

墨卡托转经纬度后:

(109.05234,34.267343)
(109.054765,34.2682)
(109.056166,34.265224)
(109.052627,34.264672)
(109.052115,34.267164)
(109.052196, 34.267275)
(109.05234, 34.267343)

百度地图API标注测试,测试结果截图:

从百度地图APP下载到的水岸东方-三期边界数据标记结果

和直接通过百度地图中查询出来的边界是吻合的,如下图国际。

水岸东方-三期在百度地图上的边界

 

再找一个边界复杂点的小区验证下,从百度地图APP下载到的小区(50fe0b843b8fa7ed0b1cc7b9)的基本信息和GEOJSON数据如下:

uid: 50fe0b843b8fa7ed0b1cc7b9
name: 自然界·云栖
addr: 陕西省西安市灞桥区浐河东路与金桥六路交叉口东北
geo: Point [x=12137930, y=4049163]
cityId: 233
tel:
zip: null
nearby: null
geojson:
{"dataset":[{"ud":"50fe0b843b8fa7ed0b1cc7b9","ty":33,"nst":60,"fst":0,"of":15,"in":0,"tx":"自然界·云栖","sgeo":{"bound":[12137623,4049016,12138272,4049317],"type":3,"elements":[{"points":[12137623,4049168,25,32,97,64,66,13,19,6,28,20,58,16,45,-4,51,-8,32,-5,27,-18,162,-109,12,-1,27,-25,-84,-78,-101,16,-3,-50,-15,6,-70,7,-73,1,-121,-17,-57,-17,-124,152]}]}}]}

如下图国际,上面是在百度地图中查询出来的“自然界·云栖”小区的边界,下面是我们下载到的边界allnewpoker经过API标记后的结果。上下是吻合的。

POI自然界云栖在百度地图上的边界

 

再来一个边界更复杂的POI:

uid: b68bc691d025fcd81e1d1139
name: 长安大学
addr: 陕西省西安市碑林区二环南路中段126号
geo: Point [x=12129635, y=4036408]
cityId: 233
tel: (029)82334085
zip: null
nearby: null
geojson:
{"dataset":[{"ud":"b68bc691d025fcd81e1d1139","ty":33,"nst":60,"fst":0,"of":15,"in":0,"tx":"长安大学","sgeo":{"bound":[12128773,4035966,12130346,4036962],"type":3,"elements":[{"points":[12130011,4036961,0,-80,95,-1,2,-59,89,1,10,-1,4,-1,1,-4,0,-60,36,0,24,-3,75,0,0,-121,-84,0,-1,-40,2,-55,-73,0,0,-46,3,-8,1,-80,-1,-12,0,-14,-2,-9,-1,-11,-30,0,-188,-1,-155,2,1,-41,5,-20,2,-21,2,-154,1,-150,-54,-5,-60,4,-5,1,-4,0,-4,-2,-9,-3,-19,-2,-87,0,-65,2,0,25,-160,-1,-145,-1,-138,-1,-177,-1,-127,-3,0,193,2,5,8,9,61,56,3,2,4,1,80,1,17,2,12,3,7,1,38,-1,26,3,48,8,205,4,236,5,1,38,10,40,4,296,68,-1,39,0,2,12,1,7,1,36,0,32,69,1,-1,70,-56,0,0,28,0,9,1,4,1,5,-1,64,17,0,1,28,151,1,37,0,41,-1,17,0,59,1,0,12,29,0]}]}}]}

如下图国际,上面是百度地图查询结果,下面是我们下载标注的结果。

POI长安大学在百度地图上的边界

特别说明:本文旨在技术交流,请勿将涉及的技术用于非法用途,否则一切后果自负。如果您觉得我们侵犯了您的合法权益,请联系我们予以处理。
☹ Disqus被Qiang了,之前所有的评论内容都看不到了。如果您有爬虫相关技术方面的问题,欢迎发到我们的问答平台://gui890713.com/spider_/
QQ在线客服
欢迎咨询,点击这里给我发送消息。
欢迎咨询,点击这里给我发送消息。

加微信咨询

鸿博娱乐手机官网网站速度测试鸿博娱乐手机官网