① 各种文件的所有格式类型，各用什么软件打开
1、Dwg格式的文件，可以用CAD软件打开。
② 大数据常用文件格式介绍
图片看不见的话可以看我CSDN上的文章：
https://blog.csdn.net/u013332124/article/details/86423952
最近在做hdfs小文件合并的项目，涉及了一些文件格式的读写，比如avro、orc、parquet等。期间阅读了一些资料，因此打算写篇文章做个记录。
这篇文章不会介绍如何对这些格式的文件进行读写，只会介绍一下它们各自的特点以及底层存储的编码格式 。
[图片上传失败...(image-a5104a-1547368703623)]
使用sequencefile还可以将多个小文件合并到一个大文件中，通过key-value的形式组织起来，此时该sequencefile可以看做是一个小文件容器。
[图片上传失败...(image-4d03a2-1547368703623)]
Parquet是一个基于列式存储的文件格式，它将数据按列划分进行存储。Parquet官网上的文件格式介绍图：
[图片上传失败...(image-92770e-1547368703623)]
我们可以看出，parquet由几个部分构成：
[图片上传失败...(image-391e57-1547368703623)]
Orc也是一个列式存储格式，产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。
[图片上传失败...(image-ba6160-1547368703623)]
目前列式存储是大数据领域基本的优化项，无论是存储还是查询，列式存储能做的优化都很多，看完上面对orc和parquet的文件结构介绍后，我们列式存储的优化点做一个总结：
在压缩方面 ：
在查询方面 ：
就网上找到的一些数据来看，Orc的压缩比会比Parquet的高一些，至于查询性能，两个应该不会差距太大。本人之前做过一个测试，在多数场景，hive on mr下，orc的查询性能会更好一些。换成hive on spark后，parquet的性能更好一些
本文介绍的4种大数据存储格式，2个是行式存储，2个是列式存储，但我们可以看到一个共同点：它们都是支持分割的。这是大数据文件结构体系中一个非常重要的特点， 因为可分割使一个文件可以被多个节点并发处理，提高数据的处理速度 。
另外，当前大数据的主要趋势应该是使用列式存储，目前我们公司已经逐步推进列式存储的使用，本人也在hive上做过一些测试，在多个查询场景下，无论是orc还是parquet的查询速度都完爆text格式的， 差不多有4-8倍的性能提升 。另外，orc和parquet的压缩比都能达到10比1的程度。因此，无论从节约资源和查询性能考虑，在大多数情况下，选择orc或者parquet作为文件存储格式是更好的选择。另外，spark sql的默认读写格式也是parquet。
当然，并不是说列式存储已经一统天下了，大多时候我们还是要根据自己的使用场景来决定使用哪种存储格式。
Sequencefile
https://blog.csdn.net/en_joker/article/details/79648861
https://stackoverflow.com/questions/11778681/advantages-of-sequence-file-over-hdfs-textfile
Avro和Sequencefile区别
https://stackoverflow.com/questions/24236803/difference-between-avrodata-file-and-sequence-file-with-respect-to-apache-sqoop
parquet
https://www.cnblogs.com/ITtangtang/p/7681019.html
Orc
https://www.cnblogs.com/ITtangtang/p/7677912.html
https://www.cnblogs.com/cxzdy/p/5910760.html
Orc和parquet的一些对比
https://blog.csdn.net/colorant/article/details/53699822
https://blog.csdn.net/yu616568/article/details/51188479
③ DAT用什么可以打开
DAT文件是DATA的缩写，因为旧版WINDOWS最多只支持3位的后缀名，故用DAT代表。
DAT并不是一种标准文件。许多软件都使用这个扩展名，但文件含义不同。而许多数据分析软件也用这个扩展名保存数据。所以这要看具体的软件情况来定。DAT文件，可以按照扩展名来看就是DATA的意思，即数据文件，这类文件并没有进行绝对化的定义，例如VCD光盘中的DAT文件就可以用一般的视频播放器打开，而QQ的DAT文件中则存储了用户信息，是无法使用常规方式打开的，只有QQ程序可以访问。还有一些其他程序都有自己对DAT文件的定义，要通过其特殊的程序来打开与之相关联的DAT文件。
DAT文件有三种主要格式，
一：纯文本文件，类似于TXT文件，可用记事本、写字板、UE等工具打开。
二：多媒体影像文件，可用XINGPEG、金山影霸、POWERDVD等软件打开。
三：电子邮件发送过来的附件格式，Microsoft Outlook和Exchange Server使用了特殊的数据封装方法在互联网上发送电子邮件，这个方法叫做TNEF，是传送中性封装格式(Transport Neutral Encapsulation Format)的缩写。
还有一些是不确定的数据文件，如：如杀毒软件病毒库，软件资料，WordPerfect合并数据，MacroModel文件 等
④ 各种类型的文件用什么软件来打开
★常见的文件后缀名
.ACA：Microsoft的代理使用的角色文档
.acf：系统管理配置
.acm：音频压缩管理驱动程序,为Windows系统提供各种声音格式的编码和解码功能
.aif：声音文件，支持压缩，可以使用Windows Media Player和QuickTime Player播放
.AIF：音频文件，使用Windows Media Player播放
.AIFC：音频文件，使用Windows Media Player播放
.AIFF：音频文件，使用Windows Media Player播放
.ani：动画光标文件扩展名，例如动画沙漏。
.ans：ASCII字符图形动画文件
.arc：一种较早的压缩文件，可以使用WinZip,WinRAR,PKARC等软件打开
.arj：压缩文件。可以使用WinZip,WinRAR,PKARC等软件打开
.asf：微软的媒体播放器支持的视频流，可以使用Windows Media Player播放
.asp：微软的视频流文件，可以使用Windows Media Player打开
.asp：微软提出的Active Server Page,是服务器端脚本，常用于大型网站开发，支持数据库连接，类似PHP。可以使用Visual InterDev编写，是目前的大热门
.asx：Windows Media 媒体文件的快捷方式
.au：是Internet中常用的声音文件格式，多由Sun工作站创建，可使用软件Waveform Hold and Modify 播放。Netscape Navigator中的LiveAudio也可以播放.au文件
.avi：一种使用Microsoft RIFF规范的Windows多媒体文件格式，用于存储声音和移动的图片
.bak：备份文件，一般是被自动或是通过命令创建的辅助文件，它包含某个文件的最近一个版本，并且具有于该文件相同的文件名
.bas Basic：语言源程序文件，可编译成可执行文件,目前使用Basic开发系统的是Visual Basic
.bat：批处理文件，在MS-DOS中，.bat文件是可执行文件，有一系列命令构成，其中可以包含对其他程序的调用
.bbs：电子告示板系统文章信息文件
.bfc：Windows的公文包文件
.bin：二进制文件，其用途依系统或应用而定
.bmp：Bitmap位图文件，这是微软公司开发Paint的自身格式，可以被多种Windows和Windows NT平台及许多应用程序支持，支持32位颜色，用于为Windows界面创建图标的资源文件格式。
.c：C语言源程序文件，在C语言编译程序下编译使用
.cab：Microsoft制订的压缩包格式，常用于软件的安装程序，使用Windows自带的实用程序，Extract.exe可以对其解压缩，WinZip,WinRAR等都支持这种格式
.cal：Windows 中的日历文件
.cdf：Internet Explorer的频道文件
.cdr：CorelDraw中的一种图形文件格式，它是所有CorelDraw应用程序中均能够使用的一种图形图像文件格式
.cdx：索引文件，存在于Dbase,Foxbase,Foxpro系统软件环境下
.cfg：配置文件，系统或应用软件用于进行配置自己功能，特性的文件
.chm：编译过后的HTML文件，常用于制作帮助文件和电子文档
.clp：在Windows下剪贴板中的文件格式
.cmd：用于Windows NT/2000的批处理文件，其实与BAT文件功能相同，只是为了与DOS/Windows 9x下的BAT有所区别
.cmf：声卡标准的音乐文件，FM合成器等可以回放
.cnf：NetMeetting会议连接文件
.cnt：联机帮助文件目录索引文件，通常和同名的.hlp文件一起保存
.col：由Autodesk Animator,Autodesk Animator Por等程序创建的一种调色板文件格式，其中存储的是调色板中各种项目的RGB值
.com：DOS可执行命令文件，一般小于64KB
.cpl：控制面板扩展文件，Windows操作系统使用
.cpp：C++语言源程序，非常强大的语言，在各种平台中都有相应的开发系统
.crd：Windows中的卡片文件
.crt：用于安全方面的证书认证文件
.cur：Windows下的光标资源文件格式，可用光标编辑软件编辑
.css：Text/css文件
.dat：数据文件，在应用程序中使用
.dat：VCD中的图象声音文件，VCD播放软件可调用，或是通过VCD机播放
.dbf：数据库文件，Foxbase,Dbase,Visual FoxPro,等数据库处理系统所产生的数据库文件
.dcx：传真浏览文档文件
.ddi：映象文件，DUP,HD,IMG等工具可展开
.dev：设备驱动程序
.dib：设备无关位图文件，这是一种文件格式，其目的是为了保证用某个应用程序创建的位图图形可以被其它应用程序装载或显示一样
.dir：目录文件
.dll：Windows动态连接库，几乎无处不在，但有时由于不同版本DLL冲突会造成败各种各样的问踢
.doc：是目前市场占有率最高的办公室软件Microsoft Office中的字处理软件Word创建的文档
.dos：Windows保留的MS-DOS的某些系统文件
.dot：Microsoft Word的文档模板文件，通过模板可以简化一些常用格式文档的创建工作,而且可以内嵌VBA程序来实现某些自动化功能
.drv：设备驱动程序文件，用在各种系统中
.dwg：AutoCAD的图纸文件，也是许多绘图软件都支持的格式，常用于共享数据
.dxb：AutoCAD创建的一中图形文件格式
.dxf：图形交换格式，一种计算机辅助设计的文件格式，最初开发用来与AutoCAD一起使用，以便于图形文件在应用程序之间的传递,它以ASCII方式储存图形，在表现图形的大小方面十分精确
.der：Certiticate文件
.dic：Txt文件
.emf：由Microsoft公司开发的Windows 32位扩展图元文件格式，其总体设计目标是要弥补在Microsoft Windows 3.1(Win16)中用的*.wmf文件格式的不足,使得图元文件更加易于使用
.eps：用PostScript语言描述的一种图形文件格式，以文本文件保存，在PostScript图形打印机上能打印出高品质的图形图象，最高能表示32位图形图象
.err：编译错误文件，存在于Dbase,Foxbase,Foxpro系列软件环境下
.exe：可执行文件，虽然后缀名相同，但具有不同的格式和版本
.exp：3DS使用的显示卡驱动程序
.exc：Txt文件
.flc：Autodesk Animator和Animatorpro的动画文件，支持256色，最大的图象象索是64000*64000,支持压缩，广泛用于动画图形中的动画序列，计算机辅助设计和计算机游戏应用程序
.fnd：保存的搜索结果
.fon：点阵字库文件
.for：Fortran语言程序
.fot：指向字体的快捷键
.fp： 配置文件，存在于Dbase,Foxbase,Foxpro系列软件的环境下
.fpt：备注字段文件，存在于Dbase,Foxbase,Foxpro系列软件的环境下
.frt：报表文件,存在于Dbase,Foxbase,Foxpro系列软件的环境下
.frx：报表文件,存在于Dbase,Foxbase,Foxpro系列软件的环境下
.fxp：编译后的程序，存在于Dbase,Foxbase,Foxpro系列软件的环境下
.gif：在各种平台的各种图形处理软件上均能够处理的，经过压缩的一种图形文件格式
.grh：方正公司的图象排版文件
.grp：Windows下的程序管理器产生的组窗口文件
.goc：Gocserve
.gra：MSGraph.Chart.5
.h： C语言源程序头文件
.hlp：Windows应用程序帮助文件
.hqx：Macintosh中使用BinHex将二进制文件编码为7位的文本文件，大多数Macintosh文件皆以.hqx出现(.bin极少使用)，在Macintosh中,可使用StuffIt Expander对.hqx解码，在Windows中可使用BinHex 13解码
.ht： 超级终端
.htm：保存超文本描述语言的文本文件，用于描述各种各样的网页，使用各种浏览器打开
.html：同.htm文件
.icm：图象配色描述文件
.ico：Windows中的图标文件，可以包含同一个图标的多种格式，使用图标编辑软件创建
.idf：MIDI乐器定义
.idx：索引文件，存在于Dbase,Foxbase,Foxpro系列软件的环境下
.iff：文件交换格式文件，这种文件格式多用于Amiga平台,在这种平台上它几乎可以存储各种类型的数据，在其它平台上，IFF文件格式多用于存储图象和声音文件
.image：MAcintosh磁盘映象文件，常见于萍果机的FTP网点，在Macintosh中由Shrink Wrap处理
.ime：Windows下的输入法文件
.img：磁盘映象文件，用HD-COPY,WinImage等工具打开后可以恢复到一张磁盘上
.inc：汇编语言包含文件，类似C/C++中的.H文件
.inf：Windows下的软件安装信息，Windows的标准安装程序根据此文件内的安装信息对软件，驱动程序等进行安装
.ini：Windows中的初始化信息文件,已经用的不多了，新的应用程序将设置保存在系统的注册表中
.jar：一种压缩文件，ARJ的新版本，不过不太流行，可以使用WinJar,Winrar等打开
.jpeg：一种图片压缩文件,同.jpg
.jpg：静态图象专家组制订的静态图象压缩标准，具有很高的压缩比，使用非常广泛，可使用PhotoShop等图象处理软件创建
.lnk：快捷方式，这个文件指向另一个文件，开始菜单的程序文件夹下每条项目都是一个LNK文件
.log：日志文件,通常用来记录一些事件之类
.lzh：一种古老的压缩文件，可以使用WinRAR打开
.mac：Macintosh中使用的一中灰度图形文件格式，在Macintosh Paintbrush中使用，其分辨率只能是720*567
.mag ：图形文件格式
.mdb ：Microsoft Access使用的数据库格式，是非常流行的桌面数据库
.men ：内存应用文件,存在于Dbase,Foxbase,Foxpro系列软件的环境下
.mid ：音频压缩文件，曾经非常流行，不过在现在的软件中用的很少了
rle ：一种压缩过的位图文件格式，RLE压缩方案是一种极其成熟的压缩方案，特点是无损失压缩，既节省了磁盘空间又不损失任何图像数据，但在打开这种压缩文件时，要花费更多时间，此外，一些兼容性不太好的应用程序可能会搭不开
.rm ：Windows下的RealPlayer所支持的视频压缩文件，网上非常流行的流式视频文件，很多实时视频新闻等都是采用这种格式的，不过，最新的Windows Media Video V8已经对其发起了强大的攻势
.rmi ：MIDI音序文件
.rtf ：丰富文本格式文件，以纯文本描述内容，能够保存各种格式信息，可以用写字版，Word等创建
.sav ：存档文件
.scp ：用于Windows系统中Internet拨号用户，自动拨号登录用的脚本文件，可避免手动登录时繁琐的键盘输入
.scr ：屏障保护文件
.sct ：屏幕文件
.scx ：屏幕文件
.set ：Microsoft备份集文件，用于保存要备份的内容，设置等信息
.shb ：指向一个文档的快捷方式
.snd ：Mac声音文件,Apple计算机公司开发的声音文件格式，被Macintosh平台和多种Macintosh应用程序所支持，支持某些压缩
.sql：查询文件，在Dbase,Foxbase,Foxpro系列软件的环境下使用
.svg ：SVG可以算是目前最火热的图像文件格式了，它是基于XML由WorldWideWebConsortium联盟开发的，SVG是可缩放的矢量图形
.svx ：Amiga声音文件，Commodore所开发的声音文件格式，被Amiga平台和应用程序所支持，不支持压缩
.swf ：flash是Micromedia公司的产品，严格说它是一种动画编辑软件，实际上它是制作出一种后缀名为.swf的动画，这种格式的动画能用比较小的体积来表现丰富的多媒体形式，并且还可以与HTML文件达到一种"水**融"的境界
.swg：虚拟内存交换文件，由操作系统使用
.sys：系统文件，驱动程序等，在不同的操作系统中有不同的定义
⑤ 文件类型为文件的是什么文件，怎样打开或运行
由于网络输送带下载工具在传输过程中出错，导致文件后缀名称丢失。
Windows是通过后缀名来识别各种文件，解决方案是最直接更改后缀名，如degreePDF、rm、avi、TMP、XLS、MDF、TXT、doc。
打开或运行的方法。
1.首先在桌面上找到“本电脑”图标，双击打开。
⑥ C语言读取大数据文件以及数据组装
我知道一个大数据的类型：int64。 用来定义数据的可以试是比较大的。
⑦ 如何读取txt文件中的大数据
java读取txt文件内容。可以作如下理解：
首先获得一个文件句柄。File file = new File(); file即为文件句柄。两人之间连通电话网络了。接下来可以开始打电话了。
通过这条线路读取甲方的信息：new FileInputStream(file) 目前这个信息已经读进来内存当中了。接下来需要解读成乙方可以理解的东西
既然你使用了FileInputStream()。那么对应的需要使用InputStreamReader()这个方法进行解读刚才装进来内存当中的数据
解读完成后要输出呀。那当然要转换成IO可以识别的数据呀。那就需要调用字节码读取的方法BufferedReader()。同时使用bufferedReader()的readline(）方法读取txt文件中的每一行数据哈。
⑧ 请问各位大神，大数据文件是什么文件啊，条件是Jpg格式，大小30Mb。请解释一下，谢谢大神。
单位有B、KB、MB、GB、TB，一B就是一个半角字符，所以一个中文就是2B，因为... 1024B等于1KB,1024KB等于1MB,1024MB等于1GB,1024GB等于1TB。 最小的文件...
⑨ 如何处理大数据文件+录入数据
客户在集群上提供了一份.sql文件，有2个多G，用vim等编辑器打不开，只能less一部分，而且内容有乱码（中文部分，也不清楚该份文件的编码格式）——改一下vim的字符集配置就可以解决。
下载文件到本地，尝试用notepad++打开，提示“File is to be opened by Notepate++”；用MySQL Workbench打开，出现卡死。
使用文件分割器，对其进行分割。把文件拆分成15等份，每份150MB。
通过less可以看到建表语句，为oracle，改成postgresql版，并建好表。打开1.zg，把insert into之外的语句删掉后，用Navicat for PostgreSQL工具运行sql，出现字符集错误。
提示：
关于处理大文件imsi_param2016.sql：
该文件有2个多G，存放的内容是客户oracle数据库中的某张表数据。用Linux的vim等编辑器不能打开，只能less一小部分。
①下载到本地；
②使用notepad++、MySQL Workbench等工具无法打开如此大的文件；
③使用postgresql运行.sql，出现字符集编码不一致导入失败的问题；
④使用“橘子分割”器，把文件拆分成15等份，每份150MB，再通过Java程序对文件进行处理，过滤得到完整的sql。把oracle表转换为postgresql版（因为to_date函数mysql没有）；
⑤再分别对15个sql文件，转码成UTF-8；
⑥用程序，把每个文件不完整的sql抽出，并整合成一份error.sql，再人工调整格式；
⑦15分sql文件，逐一运行，确实麻烦，写程序自动运行，一次搞定；
⑧经过如上处理，oracle可转为postgresql且错误率0%。