① 各種文件的所有格式類型，各用什麼軟體打開
1、Dwg格式的文件，可以用CAD軟體打開。
② 大數據常用文件格式介紹
圖片看不見的話可以看我CSDN上的文章：
https://blog.csdn.net/u013332124/article/details/86423952
最近在做hdfs小文件合並的項目，涉及了一些文件格式的讀寫，比如avro、orc、parquet等。期間閱讀了一些資料，因此打算寫篇文章做個記錄。
這篇文章不會介紹如何對這些格式的文件進行讀寫，只會介紹一下它們各自的特點以及底層存儲的編碼格式 。
[圖片上傳失敗...(image-a5104a-1547368703623)]
使用sequencefile還可以將多個小文件合並到一個大文件中，通過key-value的形式組織起來，此時該sequencefile可以看做是一個小文件容器。
[圖片上傳失敗...(image-4d03a2-1547368703623)]
Parquet是一個基於列式存儲的文件格式，它將數據按列劃分進行存儲。Parquet官網上的文件格式介紹圖：
[圖片上傳失敗...(image-92770e-1547368703623)]
我們可以看出，parquet由幾個部分構成：
[圖片上傳失敗...(image-391e57-1547368703623)]
Orc也是一個列式存儲格式，產生自Apache Hive，用於降低Hadoop數據存儲空間和加速Hive查詢速度。
[圖片上傳失敗...(image-ba6160-1547368703623)]
目前列式存儲是大數據領域基本的優化項，無論是存儲還是查詢，列式存儲能做的優化都很多，看完上面對orc和parquet的文件結構介紹後，我們列式存儲的優化點做一個總結：
在壓縮方面 ：
在查詢方面 ：
就網上找到的一些數據來看，Orc的壓縮比會比Parquet的高一些，至於查詢性能，兩個應該不會差距太大。本人之前做過一個測試，在多數場景，hive on mr下，orc的查詢性能會更好一些。換成hive on spark後，parquet的性能更好一些
本文介紹的4種大數據存儲格式，2個是行式存儲，2個是列式存儲，但我們可以看到一個共同點：它們都是支持分割的。這是大數據文件結構體系中一個非常重要的特點， 因為可分割使一個文件可以被多個節點並發處理，提高數據的處理速度 。
另外，當前大數據的主要趨勢應該是使用列式存儲，目前我們公司已經逐步推進列式存儲的使用，本人也在hive上做過一些測試，在多個查詢場景下，無論是orc還是parquet的查詢速度都完爆text格式的， 差不多有4-8倍的性能提升 。另外，orc和parquet的壓縮比都能達到10比1的程度。因此，無論從節約資源和查詢性能考慮，在大多數情況下，選擇orc或者parquet作為文件存儲格式是更好的選擇。另外，spark sql的默認讀寫格式也是parquet。
當然，並不是說列式存儲已經一統天下了，大多時候我們還是要根據自己的使用場景來決定使用哪種存儲格式。
Sequencefile
https://blog.csdn.net/en_joker/article/details/79648861
https://stackoverflow.com/questions/11778681/advantages-of-sequence-file-over-hdfs-textfile
Avro和Sequencefile區別
https://stackoverflow.com/questions/24236803/difference-between-avrodata-file-and-sequence-file-with-respect-to-apache-sqoop
parquet
https://www.cnblogs.com/ITtangtang/p/7681019.html
Orc
https://www.cnblogs.com/ITtangtang/p/7677912.html
https://www.cnblogs.com/cxzdy/p/5910760.html
Orc和parquet的一些對比
https://blog.csdn.net/colorant/article/details/53699822
https://blog.csdn.net/yu616568/article/details/51188479
③ DAT用什麼可以打開
DAT文件是DATA的縮寫，因為舊版WINDOWS最多隻支持3位的後綴名，故用DAT代表。
DAT並不是一種標准文件。許多軟體都使用這個擴展名，但文件含義不同。而許多數據分析軟體也用這個擴展名保存數據。所以這要看具體的軟體情況來定。DAT文件，可以按照擴展名來看就是DATA的意思，即數據文件，這類文件並沒有進行絕對化的定義，例如VCD光碟中的DAT文件就可以用一般的視頻播放器打開，而QQ的DAT文件中則存儲了用戶信息，是無法使用常規方式打開的，只有QQ程序可以訪問。還有一些其他程序都有自己對DAT文件的定義，要通過其特殊的程序來打開與之相關聯的DAT文件。
DAT文件有三種主要格式，
一：純文本文件，類似於TXT文件，可用記事本、寫字板、UE等工具打開。
二：多媒體影像文件，可用XINGPEG、金山影霸、POWERDVD等軟體打開。
三：電子郵件發送過來的附件格式，Microsoft Outlook和Exchange Server使用了特殊的數據封裝方法在互聯網上發送電子郵件，這個方法叫做TNEF，是傳送中性封裝格式(Transport Neutral Encapsulation Format)的縮寫。
還有一些是不確定的數據文件，如：如殺毒軟體病毒庫，軟體資料，WordPerfect合並數據，MacroModel文件 等
④ 各種類型的文件用什麼軟體來打開
★常見的文件後綴名
.ACA：Microsoft的代理使用的角色文檔
.acf：系統管理配置
.acm：音頻壓縮管理驅動程序,為Windows系統提供各種聲音格式的編碼和解碼功能
.aif：聲音文件，支持壓縮，可以使用Windows Media Player和QuickTime Player播放
.AIF：音頻文件，使用Windows Media Player播放
.AIFC：音頻文件，使用Windows Media Player播放
.AIFF：音頻文件，使用Windows Media Player播放
.ani：動畫游標文件擴展名，例如動畫沙漏。
.ans：ASCII字元圖形動畫文件
.arc：一種較早的壓縮文件，可以使用WinZip,WinRAR,PKARC等軟體打開
.arj：壓縮文件。可以使用WinZip,WinRAR,PKARC等軟體打開
.asf：微軟的媒體播放器支持的視頻流，可以使用Windows Media Player播放
.asp：微軟的視頻流文件，可以使用Windows Media Player打開
.asp：微軟提出的Active Server Page,是伺服器端腳本，常用於大型網站開發，支持資料庫連接，類似PHP。可以使用Visual InterDev編寫，是目前的大熱門
.asx：Windows Media 媒體文件的快捷方式
.au：是Internet中常用的聲音文件格式，多由Sun工作站創建，可使用軟體Waveform Hold and Modify 播放。Netscape Navigator中的LiveAudio也可以播放.au文件
.avi：一種使用Microsoft RIFF規范的Windows多媒體文件格式，用於存儲聲音和移動的圖片
.bak：備份文件，一般是被自動或是通過命令創建的輔助文件，它包含某個文件的最近一個版本，並且具有於該文件相同的文件名
.bas Basic：語言源程序文件，可編譯成可執行文件,目前使用Basic開發系統的是Visual Basic
.bat：批處理文件，在MS-DOS中，.bat文件是可執行文件，有一系列命令構成，其中可以包含對其他程序的調用
.bbs：電子告示板系統文章信息文件
.bfc：Windows的公文包文件
.bin：二進制文件，其用途依系統或應用而定
.bmp：Bitmap點陣圖文件，這是微軟公司開發Paint的自身格式，可以被多種Windows和Windows NT平台及許多應用程序支持，支持32位顏色，用於為Windows界面創建圖標的資源文件格式。
.c：C語言源程序文件，在C語言編譯程序下編譯使用
.cab：Microsoft制訂的壓縮包格式，常用於軟體的安裝程序，使用Windows自帶的實用程序，Extract.exe可以對其解壓縮，WinZip,WinRAR等都支持這種格式
.cal：Windows 中的日歷文件
.cdf：Internet Explorer的頻道文件
.cdr：CorelDraw中的一種圖形文件格式，它是所有CorelDraw應用程序中均能夠使用的一種圖形圖像文件格式
.cdx：索引文件，存在於Dbase,Foxbase,Foxpro系統軟體環境下
.cfg：配置文件，系統或應用軟體用於進行配置自己功能，特性的文件
.chm：編譯過後的HTML文件，常用於製作幫助文件和電子文檔
.clp：在Windows下剪貼板中的文件格式
.cmd：用於Windows NT/2000的批處理文件，其實與BAT文件功能相同，只是為了與DOS/Windows 9x下的BAT有所區別
.cmf：音效卡標準的音樂文件，FM合成器等可以回放
.cnf：NetMeetting會議連接文件
.cnt：聯機幫助文件目錄索引文件，通常和同名的.hlp文件一起保存
.col：由Autodesk Animator,Autodesk Animator Por等程序創建的一種調色板文件格式，其中存儲的是調色板中各種項目的RGB值
.com：DOS可執行命令文件，一般小於64KB
.cpl：控制面板擴展文件，Windows操作系統使用
.cpp：C++語言源程序，非常強大的語言，在各種平台中都有相應的開發系統
.crd：Windows中的卡片文件
.crt：用於安全方面的證書認證文件
.cur：Windows下的游標資源文件格式，可用游標編輯軟體編輯
.css：Text/css文件
.dat：數據文件，在應用程序中使用
.dat：VCD中的圖象聲音文件，VCD播放軟體可調用，或是通過VCD機播放
.dbf：資料庫文件，Foxbase,Dbase,Visual FoxPro,等資料庫處理系統所產生的資料庫文件
.dcx：傳真瀏覽文檔文件
.ddi：映象文件，DUP,HD,IMG等工具可展開
.dev：設備驅動程序
.dib：設備無關點陣圖文件，這是一種文件格式，其目的是為了保證用某個應用程序創建的點陣圖圖形可以被其它應用程序裝載或顯示一樣
.dir：目錄文件
.dll：Windows動態連接庫，幾乎無處不在，但有時由於不同版本DLL沖突會造成敗各種各樣的問踢
.doc：是目前市場佔有率最高的辦公室軟體Microsoft Office中的字處理軟體Word創建的文檔
.dos：Windows保留的MS-DOS的某些系統文件
.dot：Microsoft Word的文檔模板文件，通過模板可以簡化一些常用格式文檔的創建工作,而且可以內嵌VBA程序來實現某些自動化功能
.drv：設備驅動程序文件，用在各種系統中
.dwg：AutoCAD的圖紙文件，也是許多繪圖軟體都支持的格式，常用於共享數據
.dxb：AutoCAD創建的一中圖形文件格式
.dxf：圖形交換格式，一種計算機輔助設計的文件格式，最初開發用來與AutoCAD一起使用，以便於圖形文件在應用程序之間的傳遞,它以ASCII方式儲存圖形，在表現圖形的大小方面十分精確
.der：Certiticate文件
.dic：Txt文件
.emf：由Microsoft公司開發的Windows 32位擴展圖元文件格式，其總體設計目標是要彌補在Microsoft Windows 3.1(Win16)中用的*.wmf文件格式的不足,使得圖元文件更加易於使用
.eps：用PostScript語言描述的一種圖形文件格式，以文本文件保存，在PostScript圖形列印機上能列印出高品質的圖形圖象，最高能表示32點陣圖形圖象
.err：編譯錯誤文件，存在於Dbase,Foxbase,Foxpro系列軟體環境下
.exe：可執行文件，雖然後綴名相同，但具有不同的格式和版本
.exp：3DS使用的顯示卡驅動程序
.exc：Txt文件
.flc：Autodesk Animator和Animatorpro的動畫文件，支持256色，最大的圖象象索是64000*64000,支持壓縮，廣泛用於動畫圖形中的動畫序列，計算機輔助設計和計算機游戲應用程序
.fnd：保存的搜索結果
.fon：點陣字型檔文件
.for：Fortran語言程序
.fot：指向字體的快捷鍵
.fp： 配置文件，存在於Dbase,Foxbase,Foxpro系列軟體的環境下
.fpt：備注欄位文件，存在於Dbase,Foxbase,Foxpro系列軟體的環境下
.frt：報表文件,存在於Dbase,Foxbase,Foxpro系列軟體的環境下
.frx：報表文件,存在於Dbase,Foxbase,Foxpro系列軟體的環境下
.fxp：編譯後的程序，存在於Dbase,Foxbase,Foxpro系列軟體的環境下
.gif：在各種平台的各種圖形處理軟體上均能夠處理的，經過壓縮的一種圖形文件格式
.grh：方正公司的圖象排版文件
.grp：Windows下的程序管理器產生的組窗口文件
.goc：Gocserve
.gra：MSGraph.Chart.5
.h： C語言源程序頭文件
.hlp：Windows應用程序幫助文件
.hqx：Macintosh中使用BinHex將二進制文件編碼為7位的文本文件，大多數Macintosh文件皆以.hqx出現(.bin極少使用)，在Macintosh中,可使用StuffIt Expander對.hqx解碼，在Windows中可使用BinHex 13解碼
.ht： 超級終端
.htm：保存超文本描述語言的文本文件，用於描述各種各樣的網頁，使用各種瀏覽器打開
.html：同.htm文件
.icm：圖象配色描述文件
.ico：Windows中的圖標文件，可以包含同一個圖標的多種格式，使用圖標編輯軟體創建
.idf：MIDI樂器定義
.idx：索引文件，存在於Dbase,Foxbase,Foxpro系列軟體的環境下
.iff：文件交換格式文件，這種文件格式多用於Amiga平台,在這種平台上它幾乎可以存儲各種類型的數據，在其它平台上，IFF文件格式多用於存儲圖象和聲音文件
.image：MAcintosh磁碟映象文件，常見於萍果機的FTP網點，在Macintosh中由Shrink Wrap處理
.ime：Windows下的輸入法文件
.img：磁碟映象文件，用HD-COPY,WinImage等工具打開後可以恢復到一張磁碟上
.inc：匯編語言包含文件，類似C/C++中的.H文件
.inf：Windows下的軟體安裝信息，Windows的標准安裝程序根據此文件內的安裝信息對軟體，驅動程序等進行安裝
.ini：Windows中的初始化信息文件,已經用的不多了，新的應用程序將設置保存在系統的注冊表中
.jar：一種壓縮文件，ARJ的新版本，不過不太流行，可以使用WinJar,Winrar等打開
.jpeg：一種圖片壓縮文件,同.jpg
.jpg：靜態圖象專家組制訂的靜態圖象壓縮標准，具有很高的壓縮比，使用非常廣泛，可使用PhotoShop等圖象處理軟體創建
.lnk：快捷方式，這個文件指向另一個文件，開始菜單的程序文件夾下每條項目都是一個LNK文件
.log：日誌文件,通常用來記錄一些事件之類
.lzh：一種古老的壓縮文件，可以使用WinRAR打開
.mac：Macintosh中使用的一中灰度圖形文件格式，在Macintosh Paintbrush中使用，其解析度只能是720*567
.mag ：圖形文件格式
.mdb ：Microsoft Access使用的資料庫格式，是非常流行的桌面資料庫
.men ：內存應用文件,存在於Dbase,Foxbase,Foxpro系列軟體的環境下
.mid ：音頻壓縮文件，曾經非常流行，不過在現在的軟體中用的很少了
rle ：一種壓縮過的點陣圖文件格式，RLE壓縮方案是一種極其成熟的壓縮方案，特點是無損失壓縮，既節省了磁碟空間又不損失任何圖像數據，但在打開這種壓縮文件時，要花費更多時間，此外，一些兼容性不太好的應用程序可能會搭不開
.rm ：Windows下的RealPlayer所支持的視頻壓縮文件，網上非常流行的流式視頻文件，很多實時視頻新聞等都是採用這種格式的，不過，最新的Windows Media Video V8已經對其發起了強大的攻勢
.rmi ：MIDI音序文件
.rtf ：豐富文本格式文件，以純文本描述內容，能夠保存各種格式信息，可以用寫字版，Word等創建
.sav ：存檔文件
.scp ：用於Windows系統中Internet撥號用戶，自動撥號登錄用的腳本文件，可避免手動登錄時繁瑣的鍵盤輸入
.scr ：屏障保護文件
.sct ：屏幕文件
.scx ：屏幕文件
.set ：Microsoft備份集文件，用於保存要備份的內容，設置等信息
.shb ：指向一個文檔的快捷方式
.snd ：Mac聲音文件,Apple計算機公司開發的聲音文件格式，被Macintosh平台和多種Macintosh應用程序所支持，支持某些壓縮
.sql：查詢文件，在Dbase,Foxbase,Foxpro系列軟體的環境下使用
.svg ：SVG可以算是目前最火熱的圖像文件格式了，它是基於XML由WorldWideWebConsortium聯盟開發的，SVG是可縮放的矢量圖形
.svx ：Amiga聲音文件，Commodore所開發的聲音文件格式，被Amiga平台和應用程序所支持，不支持壓縮
.swf ：flash是Micromedia公司的產品，嚴格說它是一種動畫編輯軟體，實際上它是製作出一種後綴名為.swf的動畫，這種格式的動畫能用比較小的體積來表現豐富的多媒體形式，並且還可以與HTML文件達到一種"水**融"的境界
.swg：虛擬內存交換文件，由操作系統使用
.sys：系統文件，驅動程序等，在不同的操作系統中有不同的定義
⑤ 文件類型為文件的是什麼文件，怎樣打開或運行
由於網路輸送帶下載工具在傳輸過程中出錯，導致文件後綴名稱丟失。
Windows是通過後綴名來識別各種文件，解決方案是最直接更改後綴名，如degreePDF、rm、avi、TMP、XLS、MDF、TXT、doc。
打開或運行的方法。
1.首先在桌面上找到「本電腦」圖標，雙擊打開。
⑥ C語言讀取大數據文件以及數據組裝
我知道一個大數據的類型：int64。 用來定義數據的可以試是比較大的。
⑦ 如何讀取txt文件中的大數據
java讀取txt文件內容。可以作如下理解：
首先獲得一個文件句柄。File file = new File(); file即為文件句柄。兩人之間連通電話網路了。接下來可以開始打電話了。
通過這條線路讀取甲方的信息：new FileInputStream(file) 目前這個信息已經讀進來內存當中了。接下來需要解讀成乙方可以理解的東西
既然你使用了FileInputStream()。那麼對應的需要使用InputStreamReader()這個方法進行解讀剛才裝進來內存當中的數據
解讀完成後要輸出呀。那當然要轉換成IO可以識別的數據呀。那就需要調用位元組碼讀取的方法BufferedReader()。同時使用bufferedReader()的readline(）方法讀取txt文件中的每一行數據哈。
⑧ 請問各位大神，大數據文件是什麼文件啊，條件是Jpg格式，大小30Mb。請解釋一下，謝謝大神。
單位有B、KB、MB、GB、TB，一B就是一個半形字元，所以一個中文就是2B，因為... 1024B等於1KB,1024KB等於1MB,1024MB等於1GB,1024GB等於1TB。 最小的文件...
⑨ 如何處理大數據文件+錄入數據
客戶在集群上提供了一份.sql文件，有2個多G，用vim等編輯器打不開，只能less一部分，而且內容有亂碼（中文部分，也不清楚該份文件的編碼格式）——改一下vim的字元集配置就可以解決。
下載文件到本地，嘗試用notepad++打開，提示「File is to be opened by Notepate++」；用MySQL Workbench打開，出現卡死。
使用文件分割器，對其進行分割。把文件拆分成15等份，每份150MB。
通過less可以看到建表語句，為oracle，改成postgresql版，並建好表。打開1.zg，把insert into之外的語句刪掉後，用Navicat for PostgreSQL工具運行sql，出現字元集錯誤。
提示：
關於處理大文件imsi_param2016.sql：
該文件有2個多G，存放的內容是客戶oracle資料庫中的某張表數據。用Linux的vim等編輯器不能打開，只能less一小部分。
①下載到本地；
②使用notepad++、MySQL Workbench等工具無法打開如此大的文件；
③使用postgresql運行.sql，出現字元集編碼不一致導入失敗的問題；
④使用「橘子分割」器，把文件拆分成15等份，每份150MB，再通過Java程序對文件進行處理，過濾得到完整的sql。把oracle表轉換為postgresql版（因為to_date函數mysql沒有）；
⑤再分別對15個sql文件，轉碼成UTF-8；
⑥用程序，把每個文件不完整的sql抽出，並整合成一份error.sql，再人工調整格式；
⑦15分sql文件，逐一運行，確實麻煩，寫程序自動運行，一次搞定；
⑧經過如上處理，oracle可轉為postgresql且錯誤率0%。