Troubleshooting Unexpected 'False' Output in Pandas String Data Type Check

[Blignaut24]

Course Details

Course: Complete A.I. Machine Learning and Data Science: Zero to Mastery

Module: Milestone Project 2: Supervised Learning (Time Series Data)

Lesson: Turning Data Into Numbers

Timestamp: 04:07

My error

Hey, I'm currently working with a pandas DataFrame called df_tmp and I'm having an issue with one of the columns - "UsageBand". I am trying to check whether this column's datatype is a string using the command pd.api.types.is_string_dtype(df_tmp["UsageBand"]). According to my expectations, this command should return True if "UsageBand" is indeed of string type. However, I'm getting False as the output, which is causing some confusion. Can you help me understand why this might be happening and how I can resolve it?

• The user is working with a pandas DataFrame called df_tmp.
• The user has an issue with one of the columns - "UsageBand".
• The user is trying to check if "UsageBand" column's datatype is a string using the command pd.api.types.is_string_dtype(df_tmp["UsageBand"]).
• The user expects the command to return True if "UsageBand" is of string type.
• However, the command is returning False, causing confusion.
• The user is seeking help to understand why this might be happening and how to resolve it.

I would greatly appreciate the help.

My code

`

Convert string to categories

One way we can turn all of our data into numbers is by converting them into pandas categories.

We can check the difference datatypes compatible with pandas here:

Pandas Data types related functionality

df_tmp.head().T 

​

​

.dataframe tbody tr th {
    vertical-align: top;
}
​
.dataframe thead th {
    text-align: right;
}

</style>

​

  | 205615 | 274835 | 141296 | 212552 | 62755 -- | -- | -- | -- | -- | -- 1646770 | 1821514 | 1505138 | 1671174 | 1329056 9500.0 | 14000.0 | 50000.0 | 16000.0 | 22000.0 1126363 | 1194089 | 1473654 | 1327630 | 1336053 8434 | 10150 | 4139 | 8591 | 4089 132 | 132 | 132 | 132 | 132 18.0 | 99.0 | 99.0 | 99.0 | 99.0 1974 | 1980 | 1978 | 1980 | 1984 NaN | NaN | NaN | NaN | NaN NaN | NaN | NaN | NaN | NaN TD20 | A66 | D7G | A62 | D3B TD20 | A66 | D7 | A62 | D3 NaN | NaN | G | NaN | B NaN | NaN | NaN | NaN | NaN NaN | NaN | NaN | NaN | NaN Medium | NaN | Large | NaN | NaN Track Type Tractor, Dozer - 105.0 to 130.0 Hor... | Wheel Loader - 120.0 to 135.0 Horsepower | Track Type Tractor, Dozer - 190.0 to 260.0 Hor... | Wheel Loader - Unidentified | Track Type Tractor, Dozer - 20.0 to 75.0 Horse... Texas | Florida | Florida | Florida | Florida TTT | WL | TTT | WL | TTT Track Type Tractors | Wheel Loader | Track Type Tractors | Wheel Loader | Track Type Tractors NaN | NaN | NaN | NaN | NaN OROPS | OROPS | OROPS | EROPS | OROPS NaN | None or Unspecified | NaN | None or Unspecified | NaN NaN | NaN | NaN | NaN | NaN NaN | None or Unspecified | NaN | None or Unspecified | NaN NaN | NaN | NaN | NaN | NaN Direct Drive | NaN | Standard | NaN | Standard NaN | NaN | NaN | NaN | NaN NaN | NaN | NaN | NaN | NaN NaN | NaN | NaN | NaN | NaN NaN | NaN | NaN | NaN | NaN NaN | NaN | NaN | NaN | NaN 2 Valve | 2 Valve | 2 Valve | 2 Valve | 2 Valve NaN | NaN | NaN | NaN | NaN None or Unspecified | NaN | None or Unspecified | NaN | None or Unspecified NaN | NaN | NaN | NaN | NaN NaN | NaN | NaN | NaN | NaN NaN | None or Unspecified | NaN | None or Unspecified | NaN NaN | None or Unspecified | NaN | None or Unspecified | NaN NaN | NaN | NaN | NaN | NaN NaN | NaN | NaN | NaN | NaN NaN | NaN | NaN | NaN | NaN NaN | NaN | NaN | NaN | NaN NaN | NaN | NaN | NaN | NaN NaN | NaN | NaN | NaN | NaN NaN | NaN | NaN | NaN | NaN NaN | NaN | NaN | NaN | NaN NaN | NaN | NaN | NaN | NaN None or Unspecified | NaN | None or Unspecified | NaN | None or Unspecified Straight | NaN | Straight | NaN | PAT None or Unspecified | NaN | None or Unspecified | NaN | Lever NaN | Standard | NaN | Standard | NaN NaN | Conventional | NaN | Conventional | NaN 1989 | 1989 | 1989 | 1989 | 1989 1 | 1 | 1 | 1 | 1 17 | 31 | 31 | 31 | 31 1 | 1 | 1 | 1 | 1 17 | 31 | 31 | 31 | 31

​

</div>

pd.api.types.is_string_dtype(df_tmp["UsageBand"])

False

Error

In tutorial this output above needs to be True - Turning Data Into Numbers (04:07)

`#### Convert string to categories

One way we can turn all of our data into numbers is by converting them into pandas categories.

We can check the difference datatypes compatible with pandas here:

[Pandas Data types related functionality](https://pandas.pydata.org/pandas-docs/version/1.4/reference/general_utility_functions.html)

df_tmp.head().T 

<style scoped> .dataframe tbody tr th:only-of-type { vertical-align: middle; }

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

	205615	274835	141296	212552	62755
SalesID	1646770	1821514	1505138	1671174	1329056
SalePrice	9500.0	14000.0	50000.0	16000.0	22000.0
MachineID	1126363	1194089	1473654	1327630	1336053
ModelID	8434	10150	4139	8591	4089
datasource	132	132	132	132	132
auctioneerID	18.0	99.0	99.0	99.0	99.0
YearMade	1974	1980	1978	1980	1984
MachineHoursCurrentMeter	NaN	NaN	NaN	NaN	NaN
UsageBand	NaN	NaN	NaN	NaN	NaN
fiModelDesc	TD20	A66	D7G	A62	D3B
fiBaseModel	TD20	A66	D7	A62	D3
fiSecondaryDesc	NaN	NaN	G	NaN	B
fiModelSeries	NaN	NaN	NaN	NaN	NaN
fiModelDescriptor	NaN	NaN	NaN	NaN	NaN
ProductSize	Medium	NaN	Large	NaN	NaN
fiProductClassDesc	Track Type Tractor, Dozer - 105.0 to 130.0 Hor...	Wheel Loader - 120.0 to 135.0 Horsepower	Track Type Tractor, Dozer - 190.0 to 260.0 Hor...	Wheel Loader - Unidentified	Track Type Tractor, Dozer - 20.0 to 75.0 Horse...
state	Texas	Florida	Florida	Florida	Florida
ProductGroup	TTT	WL	TTT	WL	TTT
ProductGroupDesc	Track Type Tractors	Wheel Loader	Track Type Tractors	Wheel Loader	Track Type Tractors
Drive_System	NaN	NaN	NaN	NaN	NaN
Enclosure	OROPS	OROPS	OROPS	EROPS	OROPS
Forks	NaN	None or Unspecified	NaN	None or Unspecified	NaN
Pad_Type	NaN	NaN	NaN	NaN	NaN
Ride_Control	NaN	None or Unspecified	NaN	None or Unspecified	NaN
Stick	NaN	NaN	NaN	NaN	NaN
Transmission	Direct Drive	NaN	Standard	NaN	Standard
Turbocharged	NaN	NaN	NaN	NaN	NaN
Blade_Extension	NaN	NaN	NaN	NaN	NaN
Blade_Width	NaN	NaN	NaN	NaN	NaN
Enclosure_Type	NaN	NaN	NaN	NaN	NaN
Engine_Horsepower	NaN	NaN	NaN	NaN	NaN
Hydraulics	2 Valve	2 Valve	2 Valve	2 Valve	2 Valve
Pushblock	NaN	NaN	NaN	NaN	NaN
Ripper	None or Unspecified	NaN	None or Unspecified	NaN	None or Unspecified
Scarifier	NaN	NaN	NaN	NaN	NaN
Tip_Control	NaN	NaN	NaN	NaN	NaN
Tire_Size	NaN	None or Unspecified	NaN	None or Unspecified	NaN
Coupler	NaN	None or Unspecified	NaN	None or Unspecified	NaN
Coupler_System	NaN	NaN	NaN	NaN	NaN
Grouser_Tracks	NaN	NaN	NaN	NaN	NaN
Hydraulics_Flow	NaN	NaN	NaN	NaN	NaN
Track_Type	NaN	NaN	NaN	NaN	NaN
Undercarriage_Pad_Width	NaN	NaN	NaN	NaN	NaN
Stick_Length	NaN	NaN	NaN	NaN	NaN
Thumb	NaN	NaN	NaN	NaN	NaN
Pattern_Changer	NaN	NaN	NaN	NaN	NaN
Grouser_Type	NaN	NaN	NaN	NaN	NaN
Backhoe_Mounting	None or Unspecified	NaN	None or Unspecified	NaN	None or Unspecified
Blade_Type	Straight	NaN	Straight	NaN	PAT
Travel_Controls	None or Unspecified	NaN	None or Unspecified	NaN	Lever
Differential_Type	NaN	Standard	NaN	Standard	NaN
Steering_Controls	NaN	Conventional	NaN	Conventional	NaN
saleYear	1989	1989	1989	1989	1989
saleMonth	1	1	1	1	1
saleDay	17	31	31	31	31
saleDayOfWeek	1	1	1	1	1
saleDayOfYear	17	31	31	31	31

pd.api.types.is_string_dtype(df_tmp["UsageBand"])

False

Error

In tutorial this output above needs to be True - Turning Data Into Numbers (04:07)`

What I've tried so far

• I have revisited the previous lesson to check for any syntax errors but found none.