En vanlig textfil är ett av de vanligaste sätten att lagra typ av data på en dator. Det är inte bara mycket enkelt att skapa en textfil utan också otroligt lätt att redigera en eftersom den kan göras med något enkelt som det inbyggda Windows Notepad-verktyget. En textfil är också ett universellt format, vilket betyder att den är läsbar på flera plattformar inklusive Windows-datorer, Mac, Linux, telefoner, surfplattor och allt däremellan.
Om du har ett antal stora textbaserade filer som du behöver läsa igenom eller har sammanfogat flera textfiler till en för att underlätta saker är det vettigt att ta bort alla rader med text som är duplikat av varandra. Du kan gå igenom filen manuellt och ta bort dubbletterna själv, men det är mycket lättare att låta processen hanteras automatiskt. Här visar vi dig ett antal olika sätt på vilka du kan få dubbla rader bort från dina textfiler.
Använd ett tredjepartsverktyg för att radera duplikatlinjer
Ett enkelt och vanligt sätt att ta bort duplicerade rader från en textfil är att använda ett dedikerat tredjepartsverktyg.
1. TextCrawler TextCrawler är ett mycket kraftfullt freeware-program som huvudsakligen är byggt för att söka och ersätta data i textfiler. Tack och lov, trots sin kraft är TextCrawler fortfarande relativt lätt att använda och alternativet ta bort duplikatlinjer finns faktiskt i ett separat fönster, kallad Skrappaddan.
För att öppna Scratchpad-installationen och starta TextCrawler och gå till Verktyg-menyn> Scratchpad eller trycka på F2. Klistra in texten i fönstret och tryck på Do- knappen, alternativet ta bort dubblettrader bör väljas i rullgardinsmen som standard, det markerar det inte i förväg. Tryck sedan på Spara för att skapa en ny textfil eller kopiera och klistra in texten i din favorittextredigerare. Listrutan har också andra alternativ för att ta bort vita mellanslag och sortera texten i stigande eller fallande ordning.
Ladda ner TextCrawler
2. Anteckningsblock ++
Notepad ++ är en funktionsredigerare, men har inte en integrerad funktion för att ta bort duplicerade rader, men alternativet kan läggas till via det externa plugin-systemet Notepad ++ använder. Även om vissa redan ingår är TextFX-plugin inte installerat som standard och måste läggas till manuellt.
Klicka på Plugins> Plugin Manager> Visa Plugin Manager i Notepad ++ menyn och hitta plugin för TextFX Characters från listan. Markera rutan, klicka på Installera och starta om programmet när du uppmanas och TextFX-menyn kommer att finnas tillgänglig. För att använda funktionen för borttagning av duplikatlinjer, ladda en textfil i Notepad ++ och markera all text (Ctrl + A), gå till TextFX> TextFX Tools och välj alternativet "+ Sortera utmatningar endast UNIKA (vid kolumn) rader".
Gå tillbaka till samma TextFX Tools-meny och klicka antingen på “Sortera linjer skiftlägeskänsliga (i kolumnen)” eller “Sortera rader orsakskänsliga (vid kolumn)”, markerade med gult ovan. Detta tar bort dubblettraderna och antingen lämnar eller tar bort dem med olika hölje. Spara sedan filen igen.
Ladda ner Notepad ++
3. Duplicera linjer borttagare
Duplicate Lines Remover är från säkerhetsföretaget NoVirusThanks.org och har några användbara funktioner. Av någon anledning har programmets webbsida tagits bort från deras webbplats men tack och lov är den officiella nedladdningslänken fortfarande tillgänglig. Endast en installationsinstallation är tillgänglig men du kan göra programmet bärbart med hjälp av Universal Extractor.
För att ta bort dubbla rader, bläddra efter eller släppa en fil i fönstret, klicka på Kontrollera och om dubbla rader hittas, klicka på Fix och välj ett spara namn. Du kan också bearbeta ett antal filer på en gång, inklusive i undermappar, med fliken Filskanning. Tänk dock på att det automatiskt kommer att skapa .bak-säkerhetskopior och ersätta de ursprungliga filerna med de bearbetade filerna. Använd maskrutan och lägg till en filändelse för att stoppa allt som behandlas. En dedikerad kommandoradversion finns i paketet för mer avancerade användare.
Ladda ner Duplicate Lines Remover
4. TextMechanic Offline
Offline-delen av namnet är att skilja det här verktyget från online TextMechanic-tjänsten eftersom de två inte är relaterade. Detta verktyg är en bärbar körbar och värd på SourceForge. Förutom att ta bort duplicerade och tomma rader kan TextMechanic Offline också radera rader som innehåller specifik text eller hitta och ersätta text.
Klistra in texten som ska behandlas i TextMechanic-fönstret innan du trycker på knappen " Ta bort duplicerade linjer " följt av knappen " Ta bort tomma rader ". Om du inte trycker på båda knapparna kommer texten att innehålla tomma rader där dubblarna har tagits bort. Tryck till slut " Spara på Urklipp " så att den korrigerade texten kan klistras in i din textredigerare. Det här verktyget är skiftlägeskänsligt så linjerna måste vara identiska både i fall och innehåll om de ska tas bort.
Ladda ner TextMechanic offline
Radera duplikatlinjer med inbyggda Windows-kommandon
Med hjälp av en blandning av inbyggda Windows-kommandon är det möjligt att ta bort duplicerade rader från textfiler.
5. Använda ett batch script
Att sätta ihop dessa kommandon till ett enda batchskript möjliggör snabb och enkel bearbetning. Detta kan också vara användbart om din dator har några begränsningar som körs från tredje parts programvara. Skriptet vi använder hittades på StackOverflow och modifierades för att göra det enklare att använda.
Ladda bara ner DeDupe Zip-filen och extrahera den, det finns två BAT-filer inuti, den ena är skiftlägeskänslig och kommer inte att ändra rader om inte deras fall också är identiska, det andra skriptet är okänsligt för versaler. Om du vill ta bort duplicerade rader i en fil behöver du bara släppa textfilen till .BAT-filen och den kommer automatiskt att bearbeta och mata ut filen i samma mapp med ett _uppdaterat suffix. Raderna ordnas inte utan tas bort på plats, perfekt om du vill behålla samma radordning som originalet.
Ladda ner DeDupe-batchfiler
Radera duplikatlinjer med en onlinetjänst
Det finns många onlinetjänster som gör jobbet med att ta bort duplicerade rader från texten. Vi har valt ett par som ska täcka dina behov.
6. TextMechanic
För att inte förväxla med TextMechanic Offline-verktyget som inte är relaterat, den här webbplatsen har en mängd olika textbaserade manipuleringsverktyg online. Förutom att bara ta bort dubbla rader, om du vill ha alla andra verktyg tillgängliga på en gång, använd allt-i-ett-textmanipuleringsanteckningen.
Det finns två sätt att få din text in i fönstret, antingen använder knappen Ladda fil för att bläddra efter den eller tryck på den blå C-knappen för att rensa den aktuella texten i fönstret och klistra in din egen text i. Klicka sedan på knappen Ta bort duplicera rader, är känslig känslighet och rader av tomma rader tillgängliga för att kontrollera om din text kräver det. När du är klar klicka på Spara som eller tryck S för att markera all text, högerklicka och kopiera den (eller tryck Ctrl + C) redo för klistra in i en textredigerare.
Besök TextMechanic Ta bort duplikatlinjer
7. Ta bort dubbletter
Liksom TextMechanic.com ovan har webbplatsen TextFixer en mängd HTML-, nummer- och textmanipuleringsverktyg, varav sidan Duplicate Line Removal Tool bara är ett.
Klistra in texten som ska bearbetas i det övre fönstret, tryck på knappen Ta bort duplikatlinjer så kommer resultatet att visas i det nedre fönstret som är klart att väljas och kopieras. Detta verktyg har ett par användbara sorteringsalternativ som sortering i alfabetisk ordning eller omvänd sorteringsordning helt. Radavlägsnandet är skiftlägeskänsligt, så en enda versaler på en linje betyder skillnaden mellan den stannar eller tas bort.
Besök TextFixer Duplicate Line Removal Tool
Några andra online-verktyg för borttagning av linjer inkluderar DeDupeList.com, Remove Duplicate Lines by Text-Utils.com och List Scrubber Tool.
