CSV failu lasīšana Python

Šajā apmācībā mēs iemācīsimies lasīt CSV failus ar dažādiem formātiem Python ar piemēru palīdzību.

csvŠim uzdevumam mēs izmantosim tikai Python iebūvēto moduli. Bet vispirms mums būs jāimportē modulis kā:

 import csv 

Mēs jau esam apskatījuši pamatus, kā izmantot csvmoduli, lai lasītu un ierakstītu CSV failos. Ja jums nav ideju par csvmoduļa izmantošanu, skatiet mūsu apmācību par Python CSV: lasiet un rakstiet CSV failus

Csv.reader () pamata lietojums

Apskatīsim pamata piemēru, kā izmantot csv.reader()esošās zināšanas.

1. piemērs: lasiet CSV failus ar csv.reader ()

Pieņemsim, ka mums ir CSV fails ar šādiem ierakstiem:

 SN, nosaukums, 1. ieguldījums, Linuss Torvalds, Linux kodols 2, Tims Berners-Lī, 3. tīmeklis, Gvido van Rosums, Python programmēšana 

Mēs varam izlasīt faila saturu ar šādu programmu:

 import csv with open('innovators.csv', 'r') as file: reader = csv.reader(file) for row in reader: print(row) 

Rezultāts

 ('SN', 'Vārds', 'Ieguldījums') ('1', 'Linus Torvalds', 'Linux kodols') ('2', 'Tims Berners-Lī', 'Vispasaules tīmeklis') ('3' , 'Guido van Rossum', 'Python Programming') 

Šeit mēs esam atvēruši failu novators.csv lasīšanas režīmā, izmantojot open()funkciju.

Lai uzzinātu vairāk par failu atvēršanu Python, apmeklējiet vietni: Python File Input / Output

Pēc tam csv.reader()tiek izmantots faila nolasīšanai, kas atgriež iterējamu readerobjektu.

Pēc tam readerobjekts tiek atkārtots, izmantojot forcilpu, lai izdrukātu katras rindas saturu.

Tagad mēs aplūkosim CSV failus dažādos formātos. Pēc tam mēs uzzināsim, kā pielāgot csv.reader()funkciju to lasīšanai.

CSV faili ar pielāgotajiem atdalītājiem

Pēc noklusējuma CSV failā kā atdalītājs tiek izmantots komats. Tomēr dažos CSV failos var izmantot atdalītājus, kas nav komats. Daži populāri ir |un .

Pieņemsim, ka 1. piemērā esošais fails novators.csv kā tabulas atdalītāju izmantoja tab . Lai lasītu failu, funkcijai var nodot papildu parametru .delimitercsv.reader()

Ņemsim piemēru.

2. piemērs: lasiet CSV failu, izmantojot cilnes atdalītāju

 import csv with open('innovators.csv', 'r') as file: reader = csv.reader(file, delimiter = ' ') for row in reader: print(row) 

Rezultāts

 ('SN', 'Vārds', 'Ieguldījums') ('1', 'Linus Torvalds', 'Linux kodols') ('2', 'Tims Berners-Lī', 'Vispasaules tīmeklis') ('3' , 'Guido van Rossum', 'Python Programming') 

Kā redzam, izvēles parametrs delimiter = ' 'palīdz norādīt readerobjektu, no kura CSV failā mēs lasām cilnes kā atdalītāju.

CSV faili ar sākuma atstarpēm

Dažiem CSV failiem pēc atdalītāja var būt atstarpes raksturs. Kad mēs izmantojam noklusējuma csv.reader()funkciju, lai lasītu šos CSV failus, mēs iegūsim atstarpes arī izvadē.

Lai noņemtu šīs sākotnējās atstarpes, mums jānodod papildu parametrs, ko sauc skipinitialspace. Apskatīsim piemēru:

3. piemērs: lasiet CSV failus ar sākuma atstarpēm

Pieņemsim, ka mums ir CSV fails ar nosaukumu people.csv ar šādu saturu:

 SN, vārds, 1. pilsēta, Džons, Vašingtona 2, Ēriks, Losandželosa 3, Breda, Teksasa 

Mēs varam lasīt CSV failu šādi:

 import csv with open('people.csv', 'r') as csvfile: reader = csv.reader(csvfile, skipinitialspace=True) for row in reader: print(row) 

Rezultāts

 ('SN', 'Vārds', 'Pilsēta') ('1', 'Džons', 'Vašingtona') ('2', 'Ēriks', 'Losandželosa') ('3', 'Breds', ' Teksasa ') 

Programma ir līdzīga citiem piemēriem, bet tai ir papildu skipinitialspaceparametrs, kas ir iestatīts uz True.

Tas ļauj readerobjektam uzzināt, ka ierakstiem ir sākotnējā atstarpe. Rezultātā tiek noņemtas sākotnējās atstarpes, kas bija pēc atdalītāja.

CSV faili ar pēdiņām

Dažos CSV failos katram citam vai dažiem ierakstiem var būt pēdiņas.

Ņemsim par piemēru quotes.csv ar šādiem ierakstiem:

 "SN", "Vārds", "Citāti" 1, Buda, "Tas, par ko mēs domājam kļūt" 2, Marks Tvens, "Nekad nenožēlojiet neko, kas lika jums pasmaidīt" 3, Oskars Vailds, "Esi pats, visi citi jau ir paņemti" 

Izmantojot csv.reader()minimālā režīmā, rezultāts būs pēdiņās.

Lai tos noņemtu, mums būs jāizmanto cits izvēles parametrs ar nosaukumu quoting.

Apskatīsim piemēru, kā lasīt iepriekš minēto programmu.

4. piemērs: lasiet CSV failus ar pēdiņām

 import csv with open('person1.csv', 'r') as file: reader = csv.reader(file, quoting=csv.QUOTE_ALL, skipinitialspace=True) for row in reader: print(row) 

Rezultāts

 ('SN', 'Name', 'Quotes') ('1', 'Buddha', 'What we think we become') ('2', 'Mark Twain', 'Never regret anything that made you smile') ('3', 'Oscar Wilde', 'Be yourself everyone else is already taken') 

As you can see, we have passed csv.QUOTE_ALL to the quoting parameter. It is a constant defined by the csv module.

csv.QUOTE_ALL specifies the reader object that all the values in the CSV file are present inside quotation marks.

There are 3 other predefined constants you can pass to the quoting parameter:

• csv.QUOTE_MINIMAL - Specifies reader object that CSV file has quotes around those entries which contain special characters such as delimiter, quotechar or any of the characters in lineterminator.
• csv.QUOTE_NONNUMERIC - Specifies the reader object that the CSV file has quotes around the non-numeric entries.
• csv.QUOTE_NONE - Specifies the reader object that none of the entries have quotes around them.

Dialects in CSV module

Notice in Example 4 that we have passed multiple parameters (quoting and skipinitialspace) to the csv.reader() function.

This practice is acceptable when dealing with one or two files. But it will make the code more redundant and ugly once we start working with multiple CSV files with similar formats.

As a solution to this, the csv module offers dialect as an optional parameter.

Dialect helps in grouping together many specific formatting patterns like delimiter, skipinitialspace, quoting, escapechar into a single dialect name.

It can then be passed as a parameter to multiple writer or reader instances.

Example 5: Read CSV files using dialect

Suppose we have a CSV file (office.csv) with the following content:

 "ID"| "Name"| "Email" "A878"| "Alfonso K. Hamby"| "[email protected]" "F854"| "Susanne Briard"| "[email protected]" "E833"| "Katja Mauer"| "[email protected]" 

The CSV file has initial spaces, quotes around each entry, and uses a | delimiter.

Instead of passing three individual formatting patterns, let's look at how to use dialects to read this file.

 import csv csv.register_dialect('myDialect', delimiter='|', skipinitialspace=True, quoting=csv.QUOTE_ALL) with open('office.csv', 'r') as csvfile: reader = csv.reader(csvfile, dialect='myDialect') for row in reader: print(row) 

Output

 ('ID', 'Name', 'Email') ("A878", 'Alfonso K. Hamby', '[email protected]') ("F854", 'Susanne Briard', '[email protected]') ("E833", 'Katja Mauer', '[email protected]') 

From this example, we can see that the csv.register_dialect() function is used to define a custom dialect. It has the following syntax:

 csv.register_dialect(name(, dialect(, **fmtparams))) 

The custom dialect requires a name in the form of a string. Other specifications can be done either by passing a sub-class of Dialect class, or by individual formatting patterns as shown in the example.

While creating the reader object, we pass dialect='myDialect' to specify that the reader instance must use that particular dialect.

The advantage of using dialect is that it makes the program more modular. Notice that we can reuse 'myDialect' to open other files without having to re-specify the CSV format.

Read CSV files with csv.DictReader()

The objects of a csv.DictReader() class can be used to read a CSV file as a dictionary.

Example 6: Python csv.DictReader()

Suppose we have a CSV file (people.csv) with the following entries:

Name	Age	Profession
Jack	23	Doctor
Miller	22	Engineer

Let's see how csv.DictReader() can be used.

 import csv with open("people.csv", 'r') as file: csv_file = csv.DictReader(file) for row in csv_file: print(dict(row)) 

Output

 ('Name': 'Jack', ' Age': ' 23', ' Profession': ' Doctor') ('Name': 'Miller', ' Age': ' 22', ' Profession': ' Engineer') 

As we can see, the entries of the first row are the dictionary keys. And, the entries in the other rows are the dictionary values.

Here, csv_file is a csv.DictReader() object. The object can be iterated over using a for loop. The csv.DictReader() returned an OrderedDict type for each row. That's why we used dict() to convert each row to a dictionary.

Notice that we have explicitly used the dict() method to create dictionaries inside the for loop.

 print(dict(row)) 

Note: Starting from Python 3.8, csv.DictReader() returns a dictionary for each row, and we do not need to use dict() explicitly.

The full syntax of the csv.DictReader() class is:

 csv.DictReader(file, fieldnames=None, restkey=None, restval=None, dialect='excel', *args, **kwds) 

To learn more about it in detail, visit: Python csv.DictReader() class

Using csv.Sniffer class

The Sniffer class is used to deduce the format of a CSV file.

The Sniffer class offers two methods:

• sniff(sample, delimiters=None) - This function analyses a given sample of the CSV text and returns a Dialect subclass that contains all the parameters deduced.

An optional delimiters parameter can be passed as a string containing possible valid delimiter characters.

• has_header(sample) - This function returns True or False based on analyzing whether the sample CSV has the first row as column headers.

Let's look at an example of using these functions:

Example 7: Using csv.Sniffer() to deduce the dialect of CSV files

Suppose we have a CSV file (office.csv) with the following content:

 "ID"| "Name"| "Email" A878| "Alfonso K. Hamby"| "[email protected]" F854| "Susanne Briard"| "[email protected]" E833| "Katja Mauer"| "[email protected]" 

Let's look at how we can deduce the format of this file using csv.Sniffer() class:

 import csv with open('office.csv', 'r') as csvfile: sample = csvfile.read(64) has_header = csv.Sniffer().has_header(sample) print(has_header) deduced_dialect = csv.Sniffer().sniff(sample) with open('office.csv', 'r') as csvfile: reader = csv.reader(csvfile, deduced_dialect) for row in reader: print(row) 

Output

 True ('ID', 'Name', 'Email') ('A878', 'Alfonso K. Hamby', '[email protected]') ('F854', 'Susanne Briard', '[email protected]') ('E833', 'Katja Mauer', '[email protected]') 

As you can see, we read only 64 characters of office.csv and stored it in the sample variable.

This sample was then passed as a parameter to the Sniffer().has_header() function. It deduced that the first row must have column headers. Thus, it returned True which was then printed out.

Līdzīgi paraugs tika nodots Sniffer().sniff()funkcijai. Tas atgrieza visus atvasinātos parametrus kā Dialectapakšklasi, kas pēc tam tika saglabāta mainīgajā deduced_dialect.

Vēlāk mēs atkārtoti atvērām CSV failu un deduced_dialectmainīgo kā parametru nodevām csv.reader().

Tas ir pareizi varēja paredzēt delimiter, quotingun skipinitialspaceparametri office.csv failā bez mums skaidri pieminēt tos.

Piezīme: csv moduli var izmantot arī citiem failu paplašinājumiem (piemēram: .txt ), ja vien to saturs ir pareizā struktūrā.

Ieteicamā literatūra: rakstiet uz CSV failiem Python