一个关于网页抓取乱码的猜想
平时我们抓取的网页编码主要是utf-8 或者gbk型的处理不当经常会出现乱码的状况
大家现行的办法就是从网页源代码中提取出编码 事实上有些时候有些网页里并没有写编码格式
我最近有点想法
utf-8 和 gbk真正的区别是对字符编码的字节数
我们是否可以在读取流后直接读出字节数
默认utf-8存入后 再读一遍字节数
如果字节变化了 说明是gbk格式的
再转存就可以了
这样不提取编码照样可以找出网页的编码格式 而且适用于所有网页
不知道可行不 请各位大神指点
----------------解决方案--------------------------------------------------------
听起来不错
----------------解决方案--------------------------------------------------------
回复 2楼 hsjjgm
只是设想不知道可行不可行看来我只好自己去验证了
----------------解决方案--------------------------------------------------------
完全不用那么折腾,你只要用字节流读取,然后在用字节流输出就行了,乱码是因为从字节到字符的过程中产生的,那你输出的时候不要转换成String那就能规避这个问题.
----------------解决方案--------------------------------------------------------
回复 4楼 ren829
用字节流存成TXT在电脑上也不会乱码吗 ----------------解决方案--------------------------------------------------------