无代码Web UI自动化工具Automa：自动化填写表单、执行重复性任务、屏幕截图、抓取网页信息等功能

 Automa 是一个免费、开源的浏览器插件，适用于firefox和Chrome ，它通过目前流行的 No Code 无代码方式，只需要拖拽模块就实现了浏览器自动化，比如自动网站登录、填写表格、执行重复性任务、截图或读取网站数据。

渗透用的各种Python脚本搜集

渗透测试从互联网找到了入侵内网的入口点之后剩下的就内网渗透测试了。

有人说到了内网还不容易，随便拿个hscan一抓一大把弱口令。我同意这个看法，但是在我看来，内网环境复杂得多，要想精确获取自己想要的目标，要处理的内容要多得多，只有获得了必要的信息，才有的抓的目标，我认为一般内网环境中的渗透测试最难和最重要的是精确的信息收集，剩下的自然可以顺理成章的进行常规的漏洞扫描和利用。如果有一张详细的资产列表、网络规划图和对应的密码列表，就没必要渗透了，直接获取各种权限就得了，但这样的几率很小，但是也是可能的，只要时间允许，也可以做邮件监控、社工分析等，但这是另外一回事了。

京东爬虫分析中国女性罩杯分布情况

 

作一个工科小男生，不是很懂罩杯到底是什么意思的，不过在做上面这个项目的过程中，发现在商品的评论中会有每个人购买该商品的颜色和大小的数据，哈哈~，这就激发了我的脑洞了，作为一个热（te）爱（bie）科（men）学（sao）的工科男瞬间就想到是不是通过这个分析一下中国女生/人的罩杯大小呢（滑稽~）

一、找到了京东的文胸分类

教你使用脚本抓取汤不热(Tumblr)小视频

前阵子看到有兄弟发了个脚本抓豆瓣的姑娘们，觉得挺有意思的，果然还是懂点技术流弊啊，其实我这帖子也请教了他。
最近迷上了汤不热，比较喜欢看上面的真人实拍的视频，心想着能不能自动去下载视频，然后放到我的谷歌屌丝版的VR眼镜里去欣赏，虽然都不长，但是毕竟是真人实拍，和AV还是有区别的。

于是上网找了一下有没有这样的脚本，发现已经有很多了，但是都不是很完美，于是，我准备自己动手改。找到一个看起来能用的脚本，于是就开始了我的改造计划。

要改造是因为汤不热页面的结构经常变动，页面结构一变，代码也要跟着变，而且视频的地址可能会经过多重跳转，可不是，在发这个文章之前，我发现前几天写的代码不能用了，因为界面结构变了，所以要调整。

这个脚本只能下载视频，不含图片，我觉得图片上网看看就好了，而且只是视频的地址，虽然Python有很多库可以直接下载，但是毕竟不是专业的，保存好地址可以放到迅雷了批量下载。ps：不知道为什么，有些地址在浏览器里可以很快速度下载，但是迅雷就没速度，不知道为啥，如果遇到迅雷没速度的，可以用浏览器直接下载。

版本是Python 2，有兴趣的，可以去谷歌一下Python2环境的搭建，我这里就不详细说了，我千言万语的表达，都胜过你去看个教程。遇到所有的错误，都可以在Google上找到。有问题我会尽量解答，无奈有回复限制。

代码如下：。

使用 Caddy 服务器软件自己搭建网页形式的文件共享

使用 Caddy 服务器软件！轻松将自己的电脑变成服务器，搭建一个属于自己的“网站”，从而将文件夹以网页的形式共享出去，让局域网甚至互联网上的其他电脑、手机、平板设备均能通过浏览器轻松访问和下载它们……

什么是 Caddy？

Caddy 实际上是一款免费开源的 WEB 服务器软件，可以让用户非常简单地在电脑上搭建出一个网站。它的特点是配置简单，入门容易，稍微研究下即能将自己的文件部署到局域网或互联网上，共享给其他设备通过浏览器进行访问。

 

虽说看起来 Caddy 似乎很高端的样子 (至少搭建网站服务器什么的对非专业人士确实有点难度)，但是 Caddy 本身是一个以「易用」为目标而开发的软件，使用它仅仅需要通过编写简单的“配置文件”即可，比起那些要用脚本和专业知识才能玩得转的服务器程序，Caddy 的门槛是大大降低了。对于想尝试自己搭建网页服务器而又没有太多基础的朋友应该说是很具有可玩性的。

Caddy 本身支持 macOS 和 Linux 系统，但本文主要介绍在 Windows 系统下的用法。

Caddy 基本使用 - 搭建基础网站

10 个最适合 Web 和 APP 开发的 NodeJS 框架

在浏览器以外运行 JavaScript 对于 JavaScript 爱好者来说非常神奇，同时也肯定是 web 应用程序开发界最受欢迎的进步之一。全球各地的开发者张开双臂拥抱 NodeJS。 对于新手来说，Node.js 是 JavaScript 运行时，允许你在浏览器之外服务器上运行 JavaScript 代码。它是基于谷歌 Chrome 的 V8 虚拟机引擎建立的，V8 虚拟机引擎用于在 Chrome 浏览器中支持 JavaScript。 NodeJS 逐渐普及的步伐是因为它可以让你只使用 JavaScript 就可以建立大规模、实时性、可扩展的移动和 Web 应用程序。 随着节点生态系统的增长，框架也开始着手加快工作流程。有许多的 Node.js 框架，允许你构建实时的端到端网络应用，而无需任何其他第三方 Web 服务器、应用服务器、工具和技术。 通用性的 Node 框架就像快递，Koa 和 Hapi 更加灵活，让你做你想要的一切，最大限度的满足开发需求。但是，在最初你需要投入更多的努力，更加依靠开发者作出正确的决策。 而另一方面，像 Mean.io，Meteor, Derby 和 Mojito，有自己的标准结构和技术体系，灵活性较差。然而这些框架不会给开发者太多做错误决策的空间。 让我们来看看目前可用的最好、最强大的 NodeJS 框架，并帮助你建立实时的、各种规模和复杂性的可扩展 Web 应用程序 1. Node.js Express 对于一个已经在使用 node.js 的开发人员来说，Express 或者”node.js express”并不是一个新鲜事。Express 框架提供了对 node.js 原生 API 的比较好的封装，从而使开发者更加容易地使用node.js。 Express 框架提供了用来开发强壮的 web/移动应用，以及 API 的所有功能。并且开发人员还能够方便地为它开发插件和扩展，从而增加 Express 的能力。下面列出了一些 Express 提供的基本的功能： - 可以和任何的第三方数据库进行通讯 - 可以使用任何的用户认证方式 - 可以使用任何符合 Express 接口定义的模板引擎 - 可以按照需要定义工程目录 通过使用 Node Express，你可以使用更少的代码来实现功能。至少通过使用 Node Express，你可以实现中间件来响应 http 请求，可以定义路由表来定义对不同请求的响应函数，还可以使用模板引擎来输出 html 页面。 对于一个 NodeJS 开发新手来说，Express 还提供了如下的好处：1）Express的学习曲线并不陡峭，可以很快上手；2）Express 有非常庞大的社区，和组织良好的文档，新手可以很容易得到所需要的一切。 Express 根据 MIT 协议进行开源，目前 StrongLoop 对它提供支持。 你可以通过 Express 的官方网站 expressjs.com 获得更多的信息。 2. Sail.js (node.js mvc) Sail 作为一个非常稳固的 nodejs 框架，提供了建立任何规模的 web 应用所需要的所有功能功能。 Sail.js 在底层使用了 express框架来提供对 http 请求的处理，同时使用 Socket.IO 框架来处理WebSocket 请求。同时作为一个前端应用开发框架，它允许开发人员选择他/她熟悉的技术来开发应用。 同时 Sail.js 也通过 waterline 框架实现了 ORM 功能。通过这个功能，你的应用程序可以在不进行大的修改的前提下，就可以从一个后端数据库，切换到另外一个后端数据库（也可以是一个NoSQL数据库）。 Sail 特别适合用来开发对数据的实时更新有较高要求的应用，比如多人棋类游戏，单页web应用等等。如果你对 Ruby, Django 或者 Zend 有一定的了解，那么你将非常容易理解Sail中的概念。 简单来说，Sail.js 既给开发者提供了一个优秀的 MVC 框架，也提供了一定的灵活性，让开发者可以自主选择前端开发方式和后端的数据库。 Sail.js 是由 Mike McNeil 创建的，现在由 Treeline and balderdash 提供支持。Sail.js 在 MIT 协议下开源。 你可以在网站sailsjs.org上找到更多关于这个框架的内容。 3. KOA KOA 是 node.js mvc 框架的后起之秀，在2013第四个季度才发布了第一个版本。开发 KOA 的人员基本来自 Express 开发团队，TJ Holowaychuk 是 KOA 开发团队的领导者。虽然 KOA 大部分开发人员来自 Express，但是他们使用了完全不同的技术来开发 KOA，并且 KOA 正成为 Express 一个强有力的竞争对手。 KOA 框架的核心是 ES6 的 generator。KOA 使用 generator 来实现中间件的流程控制，使用try/catch 来增强异常处理，同时在 KOA 框架中你再也看不到复杂的 callback 回调了。 KOA 框架本身非常小，只打包了一些必要的功能，但是它本身通过良好的模块化组织，让开发人员可以按照自己的想法来实现一个扩展性非常好的应用。 许多 JavaScript/Node.js 的忠实开发者都开始选择使用 KOA 来开发新的项目，因为 KOA 提供了更多的灵活性开发应用程序。 你可以通过koajs.com获取更多的信息。 4. Meteor Meteor 框架是 Node.js 上最出色的全栈框架。项目在 GitHub 上有 28K+ 的赞，拥有大量的自定义包，庞大的社区支持，非常好的教程和文档。在这个领域 Meteor 毫无疑问是王者，你可以用它构建纯 Javascript 的实时 Web 和 手机应用。 Meteor 最优秀的部分是，无论是服务器端的数据库访问，商业逻辑实现，还是客户端的展示，所有的流程都是无缝连接，开箱即用。整个框架使用统一的 API，Meteor API 同时适用于客户端和服务器端。 它使用的 DDP 协议可以让你在后端连接简单的数据库服务、企业数据仓库、甚至 IOT 传感器。Meteor 带有自己默认的栈，但又有足够的灵活性，可以让你选择自己的技术方案。如果你不需要尝试其他的框架或者没有其他的条件限制，你可以直接使用默认配置，进行 快速地应用开发。 Meteor 拥有专业化的开发团队，顶级风投的大量资金支持，这都让 Meteor 能够时刻保持业界领先。 你可以通过 meteor.com 网站进一步了解 Meteor。 5. Derby.js Derby.JS 跟它的直接竞争对手 Meteor、Mean.io、以及 Mojito 一样，也是一个全栈框架。它运行在 Nodejs + mongo + Redis 的上层。Derby 主要部分是一个叫做 Racer 的数据同步引擎，它能够让数据在数据库、服务器和浏览器之间的同步变得轻而易举。 Racer 的确能够让基于 Derby 框架的应用运行地更快，无论是在浏览器端还是服务器端，对于单页面应用来说，它都是一个完美的选择方案。Derby 经常被用来和业界老大 Meteor 进行比较，Meteor 项目已经开发了一段很长时间，因而能够提供更多的开箱即用的功能，使得在更短时间内开发复杂的 web 应用变得更加容易。 而 Derby 更适合于需要更快运行速度的应用，并且它的模块化方式能够让应用更灵活，更容易扩展。Derby 最近的发展有些缓慢，但它并没有出局，仍有改写 Nodejs 全栈框架游戏规则的潜力。 你可以通过 derbyjs.com 网站进一步了解 Derby。 6. Flatiron.js (Node.js MVC 框架) Flatiron 框架背后的核心思想是让你能使用它所提供的组件以及一些第三方库构建你自己的全栈框架。很酷不是吗？我个人十分的喜欢这种方式。然而，这带来的是更高的复杂度，并有可能会被使用错误组件的开发者搞得一团糟。 你能称之为一个由多个相互独立的组件松散地组建起来的全栈 MVC 框架。Flatiron 框架支持Director，一个从头到脚都使用JavaScript 搭建起来的，并不需要任何依赖项的 URL 路由组件。 通过一个叫 Plates 的模板引擎，Flatiron 能够支持模版语言，然而数据管理是通过 json 实现的，并能与任何一种数据库一起使用。Flatiron 现在由 Nodejitsu 以及其他的社区成员在进行维护，并做的相当不错，是一个不那么流行却值得一看的框架。 你能在 flatironjs.org 上获得更多信息。 7. Hapi Hapi 是为数不多的不依赖于 Express 的 node.js 框架，现在甚至已经完全独立于 Express 了。在最近一段时间中，很多开发者选择了 Hapi 而非 Express，这使得它或多或少变为了 Express 的竞争对手。 Hapi 在众多 nodejs 的框架中并非一个老牌选手，然而它却成功的在这当中创造了自己的一个生态圈。Hapi 致力于完全的分离 node HTTP 服务器、路由以及业务逻辑，并更多的聚焦于如何尽可能的通过配置而非代码来控制东西。 Hapi 最初是由 Eran Hammer 以及在 Walmart labs 的团队为了工作需要开发的。其后便以极快的速度受到了欢迎，现在已在 MIT 许可下成为一个开源的框架，能够免费的被下载和使用。 迪士尼、雅虎、Pebble、beats 音乐以及 Walmart 这样的公司都在使用 HAPI 作为他们旗下一个或多个项目的网络应用框架，它的影响力便可见一斑了。 你能在 hapijs.com上找到更多关于 Hapi 的信息。 8. Mean.IO Mean 是 Mongo DB，Express，Angular 和 Node.js 捆绑在一起的组合。基本上说只要有它，你就拥有了数据库层，服务器端和网页前端的整套工具，足以开发所有类型的现代网络应用。 Mean 是一个完整独立的包，它涵盖了应用开发的所有方面。尤其适合于那些需要快速开始开发的人。它内置多种技术而且在联合使用时变现非常好。可以用于创建任意大小和复杂度的应用。 使用 Mean，开发者可以避免经历混合和匹配不同的技术栈。通过 mean 栈，你可以减少安装和配置MongoDB，Express，Angular 和 Node.js需要的时间。Mean.io 的另一个巨大好处就是所有的栈都使用 JavaScript，服务器端 Express 对MongoDB 的访问(json)和通多 Angular 从 Node 到客户端。 在这里 – mean.io了解更多Mean.io的相关信息。 还有一个名为 mean.js 的 mean 分支也相当流行。 9. Mojito Mojito 由 Yahoo 开发并迅速取得成功。然而很快又带着关于框架的空前的成功坐到了冷板凳，就像Meteor 和 Mean stack 那样。 Mojito 同样是一个 MVC 应用框架，非常适合于创建使用 HTML5，JavaScript 和 CSS3 的高性能的网络和手机应用。Mojito 的根本目标是提供一个框架，该框架用于构建标准的基于跨平台的应用。使之可以同时运行在客户端和服务器端，并实现高性能。 你可以在 Yahoo 开发者网页—— mojito 获得更多信息。 10. Socket Stream SocketStream 是一个有趣的框架，专注于客户端和服务端数据的快速同步，它致力于前后端数据的实时更新。 它最大的特点是不严格要求你使用指定的客户端技术，也不限定数据库的 ORM。我趋向于将它和有同样功能的兄弟项目 Sail.js 做比较，它更适合做单页 web 应用，多用户游戏，聊天客户端，网络应用，交易平台以及所有的需要将数据从服务端实时推送到客户端的应用。 服务端和客户端使用 JSON 来传输数据，比较理想的是使用 websockets 在服务端事件发生时自动将数据推送到客户端，Socket stream 是由 Owen Barnes 创建，现在由 Paul Jensen 和团队维护，他们的工作让这个框架得到了应有的荣耀。 SocketStream framework 在最近几月获得了很好的发展，未来一片光明。 更多 SocketStream 信息请浏览 github 上的 – socketstream。 其它类似优秀框架还有：total.js, Geddy.JS, Locomotive, compound 和 Restify。 结论 Web 和应用开发的风景变化是非常快速的，开发人员转向快速框架和清洁项目交付（clean project delivery）。使用 node 框架的最大优势是提供了高层级结构的盒子，你可以关注扩展您的应用程序而不是努力在建设上支出。 框架提供了多样的特性，工作在不同的底层，试图解决构建实时的常见问题，并解决了可伸缩的和复杂的 Web 应用程序在速度上的问题。在这篇文章里讨论的框架是当今市场上最好的 node.js 框架。